JP2009146197A - 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 - Google Patents
画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 Download PDFInfo
- Publication number
- JP2009146197A JP2009146197A JP2007323471A JP2007323471A JP2009146197A JP 2009146197 A JP2009146197 A JP 2009146197A JP 2007323471 A JP2007323471 A JP 2007323471A JP 2007323471 A JP2007323471 A JP 2007323471A JP 2009146197 A JP2009146197 A JP 2009146197A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- processing
- scene
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】動画像、例えばTV放送等を高解像度化する場合に、不連続性が発生しても、演算処理に長い時間がかかる、演算結果に誤差が多く含まれる、得られる画像が劣化する等の問題が発生することを回避することができる画像処理装置の実現を課題とする。
【解決手段】継続して入力される複数の入力フレーム画像10の相互間の連続性をシーン変化検出処理11で解析し出力選択手段を備え、この出力選択手段は、連続性が認められた場合には超解像処理12で高解像度変換されたフレーム画像を選択出力し、連続性が認められない場合はフレーム記憶処理13によって記憶された前回の超解像処理画像を選択出力する。
【選択図】図1
【解決手段】継続して入力される複数の入力フレーム画像10の相互間の連続性をシーン変化検出処理11で解析し出力選択手段を備え、この出力選択手段は、連続性が認められた場合には超解像処理12で高解像度変換されたフレーム画像を選択出力し、連続性が認められない場合はフレーム記憶処理13によって記憶された前回の超解像処理画像を選択出力する。
【選択図】図1
Description
本発明は、高解像度化にかかる画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置に関する。
最近のテレビ受像機は表示画面の大型化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、受像機内にデジタル信号処理装置を内蔵してこの装置を用いて水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけの処理では解像度を上げることはできない。この解像度を向上する問題を解決するため、特許文献1、特許文献2、非特許文献1にはデジタル信号処理装置において入力された複数のフレーム画像(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす画像処理技術が開示されている。
これらの従来技術では、デジタル信号処理装置において、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理を行って高解像度化を行う。ここで、(1)位置推定は、入力された複数のフレーム画像の各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
これらの従来技術では、デジタル信号処理装置において、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理を行って高解像度化を行う。ここで、(1)位置推定は、入力された複数のフレーム画像の各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
以上説明した通り、高解像度化しながら画素数を増やす従来の技術においては、複数のフレームを合成して一枚の高解像度化されたフレームを得る。したがって、動画像、例えばTV放送等を高解像度化の対象とした場合、シーンチェンジ等によるフレームの不連続が頻繁に発生するため、一枚の高解像度化されたフレームを得るために用いる複数のフレーム中に、不連続なフレームが含まれる可能性がある。このような場合、不連続なフレーム間で行う演算処理には長い時間が必要になるという問題がある。また、演算結果に誤差が多く含まれ、得られる画像が劣化する等の問題が発生する。
そこで、本発明は、演算処理時間を短くすることができ、得られる画像の劣化が少ない画像信号処理装置、画像信号処理方法、画像信号処理をコンピュータに実行させるプログラムおよびこの画像処理を伴った表示装置を提供することを課題とする。
前記課題を解決するため、本発明の画像信号処理装置は、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置であって、前記継続して入力される複数のフレーム画像相互間の連続性を解析しその解析結果に基づいてフレーム画像を選択する出力選択手段を備え、この出力選択手段は、前記連続性が認められた場合には前記高解像度変換されたフレーム画像を選択出力し、前記連続性が認められない場合は他の画像処理を施したフレーム画像を選択出力することを特徴とする。
また、前記課題を解決するため、本発明の画像信号処理方法は、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理方法であって、前記時系列的に継続する複数のフレーム画像を入力する入力工程と、この入力工程で続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出工程と、このシーン変化検出工程の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換工程と、前記連続性が認められない場合は他の画像処理を施す他の画像処理工程と、前記高解像度変換工程または前記他の画像処理工程で得られた出力フレーム画像を選択出力する出力フレーム選択工程とを備えたことを特徴とする。
さらに、前記課題を解決するため、本発明のプログラムは、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像処理をコンピュータに実行させるプログラムであって、前記時系列的に継続する複数のフレーム画像を入力する入力機能、この入力機能によって続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出機能、このシーン変化検出機能の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換機能、前記連続性が認められない場合は他の画像処理を施す他の画像処理機能、前記高解像度変換機能または前記他の画像処理機能で得られた出力フレーム画像を選択出力する出力フレーム選択機能をコンピュータに実行させるように構成したことを特徴とする。
本発明によれば、演算処理時間を短くすることができ、得られる画像の劣化を少なくすることができる。
まず、図10を用いて、通常の高解像度変換処理を比較例として説明してから、本発明の画像信号処理装置で実行される高解像度変換処理について説明する。以下、本発明で行われるような高解像度変換処理を超解像処理と呼ぶことにする。
図10の比較例では、画像処理装置(画像信号処理装置)に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号90で示している。
入力フレーム画像90は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6との間で発生しているものとする。ここでシーンとは、表示コンテンツのシーンをいう。
ここでは、説明を簡単化するために、超解像処理は、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして処理する「2フレームペア」の場合を例に挙げて説明する。ただし、超解像処理は、連続する3フレーム以上を用いてもかまわない。
したがって、超解像処理は、入力フレームf1とf2、f2とf3というように順次実行される。この従来例では、画像処理装置が入力される入力フレーム画像90の連続する2フレーム、すなわち、入力フレームf1とf2、f2とf3というように順次無条件で超解像度処理91を実行する。そうして、その結果を出力フレーム画像92として無条件に出力している。
このため、超解像度処理91は、シーンが切り替わって入力フレーム画像90の連続性がなくなっている入力フレームのf5とf6の間ので処理に時間がかり、演算結果に誤差が多く含まれ、得られる出力フレーム画像92の出力フレームF5が劣化する等の問題が発生する。
超解像処理は、複数のフレーム(2又は3以上の数フレーム)を合わせて新たなフレームを生成する。超解像処理は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により成る。ここで、(1)位置推定は、入力された複数のフレームの各画素データを用いて、各画素データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波数成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波数成分を復元するものである。例えば、時間軸上のフレーム#1、フレーム#2、フレーム#3が入力され、これらを合成して出力フレームを得ることを想定する。簡単のため、まず被写体が水平方向に移動した場合を考え、水平線の上の1次元の信号処理によって高解像度化することを考える。このとき、フレーム#2とフレーム#1では、被写体の移動の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、位置ずれが無くなるようにフレーム#2を動き補償するとともに、各フレームの画素のサンプリング位相の間の位相差θを求める。この位相差θに基づき、上記(2)広帯域補間および(3)加重和を行うことにより、元画素のちょうど中間(位相差θ=π)の位置に新規画素を生成することにより、高解像度化を実現する。ただし、高解像度化を実現する上で、(1)位置推定、(2)広帯域補間、(3)加重和の3つの処理のすべては、必ずしも必要ではない。
図10の比較例では、画像処理装置(画像信号処理装置)に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号90で示している。
入力フレーム画像90は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6との間で発生しているものとする。ここでシーンとは、表示コンテンツのシーンをいう。
ここでは、説明を簡単化するために、超解像処理は、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして処理する「2フレームペア」の場合を例に挙げて説明する。ただし、超解像処理は、連続する3フレーム以上を用いてもかまわない。
したがって、超解像処理は、入力フレームf1とf2、f2とf3というように順次実行される。この従来例では、画像処理装置が入力される入力フレーム画像90の連続する2フレーム、すなわち、入力フレームf1とf2、f2とf3というように順次無条件で超解像度処理91を実行する。そうして、その結果を出力フレーム画像92として無条件に出力している。
このため、超解像度処理91は、シーンが切り替わって入力フレーム画像90の連続性がなくなっている入力フレームのf5とf6の間ので処理に時間がかり、演算結果に誤差が多く含まれ、得られる出力フレーム画像92の出力フレームF5が劣化する等の問題が発生する。
超解像処理は、複数のフレーム(2又は3以上の数フレーム)を合わせて新たなフレームを生成する。超解像処理は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により成る。ここで、(1)位置推定は、入力された複数のフレームの各画素データを用いて、各画素データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波数成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波数成分を復元するものである。例えば、時間軸上のフレーム#1、フレーム#2、フレーム#3が入力され、これらを合成して出力フレームを得ることを想定する。簡単のため、まず被写体が水平方向に移動した場合を考え、水平線の上の1次元の信号処理によって高解像度化することを考える。このとき、フレーム#2とフレーム#1では、被写体の移動の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、位置ずれが無くなるようにフレーム#2を動き補償するとともに、各フレームの画素のサンプリング位相の間の位相差θを求める。この位相差θに基づき、上記(2)広帯域補間および(3)加重和を行うことにより、元画素のちょうど中間(位相差θ=π)の位置に新規画素を生成することにより、高解像度化を実現する。ただし、高解像度化を実現する上で、(1)位置推定、(2)広帯域補間、(3)加重和の3つの処理のすべては、必ずしも必要ではない。
(第1実施形態)
図1は、本発明の画像信号処理装置で実行される画像信号処理方法の一実施形態を説明する図である。
図1において、画像処理装置(画像信号処理装置)に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号10で示している。入力フレーム画像10は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6の間で発生しているものとする。
ここでは、説明を簡単化するために、超解像処理機能では、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして入力されて処理される「2フレームペア」の場合を例に挙げるが、3フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。
図1は、本発明の画像信号処理装置で実行される画像信号処理方法の一実施形態を説明する図である。
図1において、画像処理装置(画像信号処理装置)に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号10で示している。入力フレーム画像10は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6の間で発生しているものとする。
ここでは、説明を簡単化するために、超解像処理機能では、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして入力されて処理される「2フレームペア」の場合を例に挙げるが、3フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。
図10の比較例と違って、本実施形態では、画像処理装置に、図10に示した処理のほかに、超解像処理に対して入力される入力フレーム画像10の間のシーン変化の有無を検出するシーン変化検出処理機能と、超解像処理12の結果として得られる高解像度化された所望の画像を保持するためのフレーム記憶処理機能とを付加した構成となっている。
画像処理装置は、シーン変化検出処理11において、超解像処理12へ入力される2つのフレームの間でフレーム間のシーン変化の有無を判断するための解析を実行する。シーン変化の有無を判断する解析内容は、一般的に知られているシーン変化検出アルゴリズム、例えば、2フレーム間の相違を、評価関数、例えば、面輝度法やCTM法等、により解析し判別する方法や、色差ヒストグラム、動き量などの画像特徴量の相違を解析し判別する方法などを想定している。
次に、入力される2つのフレームに対して、画像処理装置の超解像処理12により高解像度化処理が行われる。ここで行われる超解像処理12の内容は、従来例の超解像処理91に相当する処理であるが、本実施形態では前記シーン変化検出処理11の検出結果により、その処理の実行と停止が制御される構成になっている。
最後に、上記超解像処理12の結果得られる高解像度化された画像は、画像処理装置のフレーム記憶処理13によって記憶保持されると共に、出力フレーム画像14として出力される。
最後に、上記超解像処理12の結果得られる高解像度化された画像は、画像処理装置のフレーム記憶処理13によって記憶保持されると共に、出力フレーム画像14として出力される。
ここで、時刻t0から時刻t3まで(フレームf1からf5までが入力フレームになる)の期間では、画像処理装置に入力され、超解像処理12へ2フレームづつ入力される入力フレームf1〜f5は同一のシーンAに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理11により検出される。この結果、この期間中では、超解像処理機能12において超解像処理が実行される。そして超解像処理12の出力として、高解像度化された所望の画像が得られ、この画像は、フレーム記憶処理13に記憶されると共に、出力フレーム画像14の出力フレームF1〜F4として出力される。つまり、1フレーム前の超解像処理画像が出力される。1フレーム前の超解像処理画像を表示する代わりに、1フレーム前の超解像処理で用いたパラメータを用いて超解像処理を行ってもよい。この場合は、1フレーム前の超解像処理で用いたパラメータを記憶しておく。
しかし、時刻t4では、超解像処理12へ入力される2つの入力フレームf5、f6がシーンAとシーンBに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況は、シーン変化検出処理11において検出される。これを受けて、画像処理装置は本時刻における超解像処理機能での超解像処理12を停止する。このため、超解像処理による高解像度化された所望の画像は生成されず、フレーム記憶処理機能内部のデータは更新されない。最終的に、本時刻t4の出力として、フレーム記憶処理機能から時刻t3に記憶された超解像処理結果が繰り返し出力される。
これ以降、時刻t5からt8までの間では、超解像処理機能への入力フレームf6〜f10内に不連続性は発生しないため、シーン変化検出処理11ではシーン変化が検出されない。したがって、各時刻で超解像処理12の実行が指示され、時刻t5から時刻t8までの間、出力として高解像度化された所望の出力フレーム画像F6〜F9が出力される。
これ以降、時刻t5からt8までの間では、超解像処理機能への入力フレームf6〜f10内に不連続性は発生しないため、シーン変化検出処理11ではシーン変化が検出されない。したがって、各時刻で超解像処理12の実行が指示され、時刻t5から時刻t8までの間、出力として高解像度化された所望の出力フレーム画像F6〜F9が出力される。
本実施形態では、シーンの切り替わりをシーン変化検出処理11が検出したとき、超解像処理12を停止し、フレーム記憶処理13で記憶された前回の超解像処理結果を出力フレーム画像14として再出力するので、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像14が劣化して見苦しくなったりするようなことがなく、安定した超解像処理が実行され、本画像処理装置をTV受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。
以上説明したように、高解像度化しながら画素数を増やす高解像度変換処理において、時系列的に継続して入力される複数の入力フレーム画像10の間にシーンチェンジ等によって連続性の崩れがあっても、それを検出して、検知した際の状況に応じて超解像度処理12の条件を選択的に変更するようにしたので、処理に所定のフレーム期間以上の時間がかかかって次の映像(画像)に間に合わなかったり、演算結果に誤差が多く含まれ、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、種々の画像を対象とした高解像度化を安定に、また効率的に実行して、違和感のない出力映像を連続して出力することができる。
(第2実施形態)
図2は、本発明の画像処理装置で実行される画像信号処理方法の第2実施形態を説明する図である。この第2実施形態が第1実施形態と異なる点は、フレーム記憶処理は行われず、代わって超解像処理と並行に単純拡大処理が実行され、その出力で連続性が途切れたときに用いられる点である。
図2は、本発明の画像処理装置で実行される画像信号処理方法の第2実施形態を説明する図である。この第2実施形態が第1実施形態と異なる点は、フレーム記憶処理は行われず、代わって超解像処理と並行に単純拡大処理が実行され、その出力で連続性が途切れたときに用いられる点である。
図2において、本発明を適用した画像処理装置に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号20で示す。入力フレーム画像20は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6の間で発生しているものとする。
ここでも、第1実施形態と同様に、説明を簡単化するために、超解像処理221では、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして入力されて処理される「2フレームペア」の場合を例に挙げるが、3フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。
ここでも、第1実施形態と同様に、説明を簡単化するために、超解像処理221では、入力フレームf1〜f10から連続する2フレームずつを順次ペアとして入力されて処理される「2フレームペア」の場合を例に挙げるが、3フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。
第2実施形態では、画像処理装置に、図1に示す第1実施形態と同様に、超解像処理221に対して入力される入力フレーム画像20の間のシーン変化の有無を検出するシーン変化検出処理21を備えている。また、第1実施形態のフレーム記憶処理13の代わりに、出力選択処理22として、第1実施形態で行われるものと同様の超解像処理221と、出力選択処理入力フレーム画像の画素数を単純に拡大するための単純拡大処理222とを備えた構成となっている。
初めに、画像処理装置では、シーン変化検出処理21において、超解像処理221へ入力される2つのフレームの間で、シーン変化の有無を判断するための解析を実行する。
次に、入力される2つのフレームに対して、画像処理装置の超解像処理221により高解像度化処理が行われる。ここで、超解像処理221は第1実施形態の場合と同様に、前記シーン変化検出処理21の検出結果により、その処理の実行と停止が制御される。
さらに、本第2実施形態では、画像処理装置に、超解像処理221と並列するように単純拡大処理222が設けられている。この単純拡大処理222としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。単純拡大処理は、1フレーム分の画像から補間画素を生成する。超解像処理も単純拡大処理も画素数が増加するが、原画像に比較して超解像処理後の画像は空間周波数スペクトルが拡大するが、単純拡大処理後の画像は空間周波数スペクトルが拡大せず、そのままである。最終的に、超解像処理221の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像とを、シーン変化検出処理21の検出結果によって選択して出力する。
さらに、本第2実施形態では、画像処理装置に、超解像処理221と並列するように単純拡大処理222が設けられている。この単純拡大処理222としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。単純拡大処理は、1フレーム分の画像から補間画素を生成する。超解像処理も単純拡大処理も画素数が増加するが、原画像に比較して超解像処理後の画像は空間周波数スペクトルが拡大するが、単純拡大処理後の画像は空間周波数スペクトルが拡大せず、そのままである。最終的に、超解像処理221の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像とを、シーン変化検出処理21の検出結果によって選択して出力する。
ここで、時刻t0から時刻t3まで(フレームf1からf5までが入力フレームになる)の期間では、画像処理装置に入力され、超解像処理221へ2フレームづつ入力される入力フレームf1〜f5は、同一のシーンAに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理21により検出される。この結果、この期間中は、出力選択処理22において超解像処理221が選択される。そして超解像処理221の出力として、高解像度化された所望の画像が得られ、出力フレーム画像24の出力フレームとしてF1〜F4が出力される。
しかし、時刻t4では、超解像処理221へ入力される2つの入力フレームf5、f6がシーンAとシーンBに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況はシーン変化検出処理21において検出される。これを受けて、画像処理装置は、この時刻t4においては超解像処理221を停止し、単純拡大処理222を実行する。
本第2実施形態では、入力フレームの内で時間的に前のフレーム、すなわち時刻t4においてはフレームf5が基準フレームになっているため、時刻t4ではフレームf5の単純拡大処理の結果が出力される。逆に、入力フレームの内で時間的に後のフレームを基準フレームとする場合も考えられるが、本実施形態と同様の考えが適用できるので、説明は省略する。
本第2実施形態では、入力フレームの内で時間的に前のフレーム、すなわち時刻t4においてはフレームf5が基準フレームになっているため、時刻t4ではフレームf5の単純拡大処理の結果が出力される。逆に、入力フレームの内で時間的に後のフレームを基準フレームとする場合も考えられるが、本実施形態と同様の考えが適用できるので、説明は省略する。
以降、時刻t5からt8まででは、超解像処理機能221への入力フレームf6〜f10内に不連続性は発生しないため、シーン変化検出処理21ではシーン変化が検出されない。したがって、各時刻で超解像処理221の実行が指示され、出力として、高解像度化された所望の画像が得られる。
本実施形態では、シーンの切り替わりをシーン変化検出処理21が検出したとき、超解像処理221を停止し、単純拡大処理222を実行するようにしている。したがって、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像24が劣化して見苦しくなるようなことがなく、本画像処理装置をTV受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。
(第3実施形態)
図3及び図4は、本発明の画像処理装置で実行される画像信号処理方法の第3実施形態を説明する図である。この第3実施形態では、第1実施形態および第2実施形態と同様に、シーン変化検出処理31が設けられて入力フレーム画像30の連続性が検出される。
また、第1実施形態および第2実施形態にはないシーン変化が発生するまでの期間、そのシーン内に属するフレーム(例えば、f1〜f5)中の画素毎の動きベクトルの大きさの頻度の集計と解析を行うシーン動き統計処理32が設けられている。
さらに、出力選択処理33には、超解像処理33とともに、第2実施形態で用いられた入力フレーム画像の画素数を拡大するための単純拡大処理332と、第1実施形態で用いられた、超解像処理331の結果として得られる高解像度化された画像を保持するためのフレーム記憶処理34とが設けられている。
図3及び図4は、本発明の画像処理装置で実行される画像信号処理方法の第3実施形態を説明する図である。この第3実施形態では、第1実施形態および第2実施形態と同様に、シーン変化検出処理31が設けられて入力フレーム画像30の連続性が検出される。
また、第1実施形態および第2実施形態にはないシーン変化が発生するまでの期間、そのシーン内に属するフレーム(例えば、f1〜f5)中の画素毎の動きベクトルの大きさの頻度の集計と解析を行うシーン動き統計処理32が設けられている。
さらに、出力選択処理33には、超解像処理33とともに、第2実施形態で用いられた入力フレーム画像の画素数を拡大するための単純拡大処理332と、第1実施形態で用いられた、超解像処理331の結果として得られる高解像度化された画像を保持するためのフレーム記憶処理34とが設けられている。
図3および図4において、本実施形態の画像処理装置に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号30で示す。入力フレーム画像30は時間の経過とともに入力フレームf1、f2…f10の順に入力される。ここでは、シーンAとシーンBとの切り替えが、入力フレームのf5とf6との間で発生しているものとする。
初めに、画像処理装置では、シーン変化検出処理31において、超解像処理331へ入力される2つのフレームの間で、入力フレーム間のシーン変化の有無を判断するための解析を実行する。
一方、シーン変化検出処理31に連動して動作するシーン動き統計処理32は、シーン変化検出処理31においてシーン変化が検出されるまでの間、そのシーン内に属するフレーム中の画素毎の動きベクトルの大きさの頻度を集計する。この動きベクトルの大きさは、シーン動き統計処理32内に入力される2フレーム間の動きベクトルを検出する機能を設けることで実現できる。また、超解像処理331内に動きベクトル検出を行う機能を設けて、そこからの情報を参照する方法でも実現できる。本実施形態は、いずれかの方法に限定されるものではない。
次に、入力される2つのフレームに対して画像処理装置の超解像処理機能により高解像度化処理331が行われる。ここで、超解像処理は、本実施形態では前記シーン変化検出処理31とシーン動き統計処理32の処理結果により、超解像処理331の実行と停止が制御される構成となっている。
また、本実施形態では、画像処理装置に、超解像処理331と並列するように単純拡大処理332が設けられている。この単純拡大処理332としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。
最終的に、超解像処理331の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像と、フレーム記憶処理34で記憶された前回の高解像度化された出力フレーム画像とを、シーン変化検出処理31とシーン動き統計処理32の処理結果により選択して出力する。
また、本実施形態では、画像処理装置に、超解像処理331と並列するように単純拡大処理332が設けられている。この単純拡大処理332としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。
最終的に、超解像処理331の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像と、フレーム記憶処理34で記憶された前回の高解像度化された出力フレーム画像とを、シーン変化検出処理31とシーン動き統計処理32の処理結果により選択して出力する。
ここで、時刻t0から時刻t3まで(フレームf1からf5までが入力フレームになる)の期間では、画像処理装置に入力され、超解像処理331へ2フレームづつ入力される入力フレームf1〜f5は、同一のシーンAに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理31により検出される。この結果、この期間中は、出力選択処理33において超解像処理331の実行が選択される。そして、超解像処理331の出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって一旦記憶された後、出力フレーム画像35の出力フレームとしてF1〜F4が出力される。
しかし、時刻t4では、超解像処理331へ入力される2つの入力フレームf5、f6がシーンAとシーンBとに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況はシーン変化検出処理31において検出される。
第3実施形態では、シーン変化検出処理31においてシーン変化があり連続性が途切れたことが検出されると、シーン動き統計処理32の処理結果が参照される。
この時刻t4では、シーン動き統計処理32によって時刻t3まで(つまり、シーンAについて)の動きベクトルの大きさの頻度が集計されている。このシーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。
第3実施形態では、シーン変化検出処理31においてシーン変化があり連続性が途切れたことが検出されると、シーン動き統計処理32の処理結果が参照される。
この時刻t4では、シーン動き統計処理32によって時刻t3まで(つまり、シーンAについて)の動きベクトルの大きさの頻度が集計されている。このシーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。
図5に、1つのシーンにおける動き量の推定方法の説明図を示す。1つのシーンにおける動き量の推定は、例えば図5(A)に示すように、動きベクトルの大きさの頻度の最大ピーク値、平均値、重心値等の特徴量に対して判定閾値を設け、判別を行う方法等が考えられる。しかし、1つのシーンにおける動き量の推定が可能な方法であれば必ずしもこれらに限定されるものではない。
本実施形態の場合、図3のシーンAは人物がゆっくりと画面内を移動しているシーンであるとする。したがって、図5(B)に示すように、シーンAの動きベクトルの大きさの頻度を集計した結果は、ベクトルの大きさが判定閾値よりも小さい側に集中する。ここでは、頻度の平均値を特徴量として判断する場合を例としている。このように、ベクトルの大きさの頻度の平均値が判定閾値よりも小さい側に集中した場合には画素の動きが所定の速さ以下であると判定する。
本実施形態の場合、図3のシーンAは人物がゆっくりと画面内を移動しているシーンであるとする。したがって、図5(B)に示すように、シーンAの動きベクトルの大きさの頻度を集計した結果は、ベクトルの大きさが判定閾値よりも小さい側に集中する。ここでは、頻度の平均値を特徴量として判断する場合を例としている。このように、ベクトルの大きさの頻度の平均値が判定閾値よりも小さい側に集中した場合には画素の動きが所定の速さ以下であると判定する。
シーンAの頻度の平均値は、判定閾値よりも小さいため、シーンAは、動きの小さいシーンであると判定される。これにより、本時刻においては、超解像処理331は実行されず、時刻t3において実行され、フレーム記憶処理34に記憶されている前回の超解像処理結果が用いられて出力される。また、これと同時に、シーン動き統計処理32における時刻t3までの動きベクトルの大きさの頻度の集計がリセットされる。
以降、時刻t5から時刻t8までは、超解像処理への入力フレーム内に連続性が認められるため、シーン変化検出処理31ではシーン変化が検出されない。したがって、各時刻で超解像処理331の実行が指示され、出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって記憶される。また、時刻t5を基点として、シーン動き統計処理32における時刻t5からの動きベクトルの大きさの頻度の集計が新たに開始される。
図4は、本実施形態の異なる動作状態での状況を説明する図である。
時刻t0から時刻t3まで(フレームf1からf5までが入力フレームになる)の期間では、画像処理装置に入力され、超解像処理331へ2フレームづつ入力される入力フレームf1〜f5は、同一のシーンAに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理31により検出される。この結果、この期間中は、出力選択処理22において超解像処理331の実行が選択される。そして超解像処理331の出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって一旦記憶された後、出力フレーム画像35の出力フレームとしてF1〜F4が出力される。
またこの期間中は、各入力フレームペア間に対して、シーン動き統計処理32による動きベクトルの大きさの頻度が統計的に集計されている。
時刻t0から時刻t3まで(フレームf1からf5までが入力フレームになる)の期間では、画像処理装置に入力され、超解像処理331へ2フレームづつ入力される入力フレームf1〜f5は、同一のシーンAに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理31により検出される。この結果、この期間中は、出力選択処理22において超解像処理331の実行が選択される。そして超解像処理331の出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって一旦記憶された後、出力フレーム画像35の出力フレームとしてF1〜F4が出力される。
またこの期間中は、各入力フレームペア間に対して、シーン動き統計処理32による動きベクトルの大きさの頻度が統計的に集計されている。
続く時刻t4では、超解像処理331へ入力される2つの入力フレームf5、f6がシーンAとシーンBに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。この不連続の発生状況はシーン変化検出処理31において検出される。
本実施形態では、シーン変化検出処理31においてシーン変化が検出されると、シーン動き統計処理32の処理結果が参照される。この時刻t4時点では、シーン動き統計処理32によって時刻t3まで(つまり、シーンAについて)の動きベクトルの大きさの頻度が集計されている状態にある。シーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。
本実施形態では、シーン変化検出処理31においてシーン変化が検出されると、シーン動き統計処理32の処理結果が参照される。この時刻t4時点では、シーン動き統計処理32によって時刻t3まで(つまり、シーンAについて)の動きベクトルの大きさの頻度が集計されている状態にある。シーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。
図4の例の場合、シーンAは自動車が高速に画面内を移動しているシーンであるとする。したがって、図5(c)に示すように、シーンAの動きベクトルの大きさの頻度を集計した結果は、ベクトルの大きさが大きい側に集中する。ここでは、頻度の平均値を特徴量として判断する場合を例にしている。シーンAの頻度の平均値は、判定閾値よりも大きいため、シーンAはその画素の動きが所定の速さ以上であり、動きの大きいシーンであると判定される。
これにより、時刻t4においては、超解像処理331ではなく、フレームf5の単純拡大処理332が実行される。また、これと同時に、シーン動き統計処理32における時刻t3までの動きベクトルの大きさの頻度の集計がリセットされる。
これにより、時刻t4においては、超解像処理331ではなく、フレームf5の単純拡大処理332が実行される。また、これと同時に、シーン動き統計処理32における時刻t3までの動きベクトルの大きさの頻度の集計がリセットされる。
本実施形態では、入力フレームの内で時間的に前のフレーム、時刻t4においてはフレームf5が基準フレームになっているため、時刻t4ではフレームf5の単純拡大処理332の結果が出力される。逆に、入力フレームの内で時間的に後のフレームが基準フレームになる場合も考えられるが、本実施形態と同一の考えが適用可能であるので、説明は省略する。
以降、時刻t5から時刻t8までは、超解像処理への入力フレーム内で連続性が保たれるため、シーン変化検出処理31ではシーン変化が検出されないので、各時刻で超解像処理331の実行が指示され、出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって記憶される。また、時刻t5を基点として、シーン動き統計処理32における時刻t5からの動きベクトルの大きさの頻度の集計が新たに開始される。
以降、時刻t5から時刻t8までは、超解像処理への入力フレーム内で連続性が保たれるため、シーン変化検出処理31ではシーン変化が検出されないので、各時刻で超解像処理331の実行が指示され、出力として、高解像度化された所望の画像が得られ、フレーム記憶処理34によって記憶される。また、時刻t5を基点として、シーン動き統計処理32における時刻t5からの動きベクトルの大きさの頻度の集計が新たに開始される。
本実施形態では、シーンの切り替わりをシーン変化検出処理31が検出したとき、シーン動き統計処理32の処理結果が参照され、シーンの動きベクトルの大きさが小さい場合には、現在の超解像処理331ではなく、フレーム記憶処理34された前回の超解像処理331結果を、シーンの動きベクトルの大きさが大きい場合には、超解像処理331ではなく、単純拡大処理332の結果を出力している。したがって、シーンの切り替わり部分など連続性がない部分で、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像35が劣化して見苦しくなるようなことがなく、本画像処理装置をTV受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。
(第4実施形態)
図6は、前記各実施形態の画像信号処理方法を用いた画像処理装置600の一実施形態を示す図で、本発明の画像信号処理をディスプレイ装置に用いた場合の構成を示している。図7は、図6に示す画像処理装置600の入力データ処理部60の映像信号処理機能61の詳細図である。
画像処理装置600は、画像入力装置に接続され、画像入力装置から時系列的に継続して入力される複数のフレーム画像に対して高解像処理を行って、処理された出力フレーム画像を液晶パネル65に表示する機能を有している。
画像処理装置600は、前記各実施形態の画像処理をハードウエア化した信号処理回路を実装した入力データ処理部60と、表示部であるディスプレイの液晶パネル65と、液晶パネル65の表示を制御するデータ線駆動手段63および走査線駆動手段64から構成されている。
図6は、前記各実施形態の画像信号処理方法を用いた画像処理装置600の一実施形態を示す図で、本発明の画像信号処理をディスプレイ装置に用いた場合の構成を示している。図7は、図6に示す画像処理装置600の入力データ処理部60の映像信号処理機能61の詳細図である。
画像処理装置600は、画像入力装置に接続され、画像入力装置から時系列的に継続して入力される複数のフレーム画像に対して高解像処理を行って、処理された出力フレーム画像を液晶パネル65に表示する機能を有している。
画像処理装置600は、前記各実施形態の画像処理をハードウエア化した信号処理回路を実装した入力データ処理部60と、表示部であるディスプレイの液晶パネル65と、液晶パネル65の表示を制御するデータ線駆動手段63および走査線駆動手段64から構成されている。
入力データ処理部60には、画像入力装置から表示するべき表示データ624と、垂直同期信号621、水平同期信号622、データイネーブル623、同期クロック625などの制御信号とが入力される。
入力データ処理部60の画像信号処理機能61は、これらの表示データ624と同期クロック625から、入力フレーム画像を取り込み、各実施形態の高解像度変換を実行する。そうして、出力フレーム画像信号をデーター線制御信号626と走査線制御信号627に変換してそれぞれデータ線駆動手段63と走査線駆動手段64とに入力し、データ線駆動信号628と走査線駆動信号629を液晶パネル65に出力して出力フレーム画像を表示する。
液晶パネル65は複数のデータ線と複数の走査線のそれぞれ1本に接続されたスイッチング素子によって駆動されるデータ線と走査線の交点付近にある画素が、データ線駆動信号628と走査線駆動信号629によって選択されて表示が行われる。データ線駆動手段63はデータ線にデータ線駆動信号628を与え、走査線駆動手段64は走査線に走査線駆動信号629を与える機能を有している。
実施形態は、各実施形態で説明した画像処理をハードウエア化して実装した入力データ処理部60と、表示部であるディスプレイの液晶パネル65と、液晶パネル65の表示を制御するデータ線駆動手段63および走査線駆動手段64から構成されている。
入力データ処理部60の画像信号処理機能61は、これらの表示データ624と同期クロック625から、入力フレーム画像を取り込み、各実施形態の高解像度変換を実行する。そうして、出力フレーム画像信号をデーター線制御信号626と走査線制御信号627に変換してそれぞれデータ線駆動手段63と走査線駆動手段64とに入力し、データ線駆動信号628と走査線駆動信号629を液晶パネル65に出力して出力フレーム画像を表示する。
液晶パネル65は複数のデータ線と複数の走査線のそれぞれ1本に接続されたスイッチング素子によって駆動されるデータ線と走査線の交点付近にある画素が、データ線駆動信号628と走査線駆動信号629によって選択されて表示が行われる。データ線駆動手段63はデータ線にデータ線駆動信号628を与え、走査線駆動手段64は走査線に走査線駆動信号629を与える機能を有している。
実施形態は、各実施形態で説明した画像処理をハードウエア化して実装した入力データ処理部60と、表示部であるディスプレイの液晶パネル65と、液晶パネル65の表示を制御するデータ線駆動手段63および走査線駆動手段64から構成されている。
画像信号処理機能61は、図7に示すように、第1乃至第3実施形態として述べた図1〜図4に示す画像信号処理方法を実行するための複数の機能611〜616をハードウェア化した信号処理回路を備えている。
ここで、フレームデータ入力機能611は、表示データから入力フレーム画像を切り出して入力する機能、シーン変化検出機能612は、シーン変化検出処理を実行して不連続となるシーンの切り替わり位置を検出する機能、シーン動き統計処理機能613は、同一のシーン内に属するフレーム中の画素毎の動きベクトルの大きさの頻度の集計と解析を行う機能、出力選択手段614は、シーン変化検出機能612の検出結果に応じて高解像度化しながら画素数を増やす超解像処理機能6141の動作を実行したり停止したりする機能である。超解像処理機能6141の動作を停止した場合は、代わりにシーン動き統計処理機能613の処理結果も加味して入力フレーム画像の画素数を単純に拡大する単純拡大処理機能6142または前回の超解像処理機能6141の結果を記憶して出力するフレームデータ記憶処理機能6143の処理を実行する。出力フレームデータ選択機能615は、条件に合わせて出力選択手段614の各機能の出力を出力フレーム画像として選択する機能であり、出力フレーム表示機能616は、出力フレーム画像のデータをデータ線制御信号626と走査線制御信号627の表示信号に変換して出力する機能である。
ここで、フレームデータ入力機能611は、表示データから入力フレーム画像を切り出して入力する機能、シーン変化検出機能612は、シーン変化検出処理を実行して不連続となるシーンの切り替わり位置を検出する機能、シーン動き統計処理機能613は、同一のシーン内に属するフレーム中の画素毎の動きベクトルの大きさの頻度の集計と解析を行う機能、出力選択手段614は、シーン変化検出機能612の検出結果に応じて高解像度化しながら画素数を増やす超解像処理機能6141の動作を実行したり停止したりする機能である。超解像処理機能6141の動作を停止した場合は、代わりにシーン動き統計処理機能613の処理結果も加味して入力フレーム画像の画素数を単純に拡大する単純拡大処理機能6142または前回の超解像処理機能6141の結果を記憶して出力するフレームデータ記憶処理機能6143の処理を実行する。出力フレームデータ選択機能615は、条件に合わせて出力選択手段614の各機能の出力を出力フレーム画像として選択する機能であり、出力フレーム表示機能616は、出力フレーム画像のデータをデータ線制御信号626と走査線制御信号627の表示信号に変換して出力する機能である。
本実施形態では、表示手段として液晶ディスプレイを用いた場合を示したが、液晶ディスプレイに代えてプラズマディスプレイ、有機ELディスプレイ、電界放射型ディスプレイ、CRTなどを用いることができ、表示デバイスには依存しないことは明らかである。
本実施形態によれば、シーンの切り替わりをシーン変化検出処理機能612で検出したとき、出力選択手段614で超解像処理機能6141を停止し、単純拡大処理機能6142での単純拡大処理結果またはフレームデータ記憶処理機能6143で記憶された前回の超解像処理結果を出力フレーム画像として出力するので、処理に時間がかかったり、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、ハードウェア化された本画像処理装置をTV受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。
(第5実施形態)
図8は、本発明の画像処理装置をパソコンなどの汎用プロセッサとプログラムで実現した場合の一実施形態を示す図である。
図8において、画像処理装置をパソコン70とそれに接続されるキーボードやプリンタなどの入出力装置71とモニタ装置73とで構成されており、パソコン70内部には、外部機器と接続される入出力インターフェイス74、データの転送を制御するデータ入出力制御部75、CPU76およびプログラムを記憶するハードディスクメモリ77が含まれている。
図8は、本発明の画像処理装置をパソコンなどの汎用プロセッサとプログラムで実現した場合の一実施形態を示す図である。
図8において、画像処理装置をパソコン70とそれに接続されるキーボードやプリンタなどの入出力装置71とモニタ装置73とで構成されており、パソコン70内部には、外部機器と接続される入出力インターフェイス74、データの転送を制御するデータ入出力制御部75、CPU76およびプログラムを記憶するハードディスクメモリ77が含まれている。
画像処理装置を構成するパソコン70は、映像受信装置72に接続され、ハードディスクメモリ77に記憶され、OS771の管理下で動作するプログラムによって映像処理を実行する。プログラムとしては、映像信号入力手段72から時系列的に継続して入力するフレームデータ入力機能772、入力される複数のフレーム画像相互間の連続性を解析するシーン変化検出機能773、このシーン変化検出機能773の解析結果に基づいて出力するフレーム画像を選択する出力選択処理33、この出力選択処理33で連続性が認められた場合には高解像度変換されたフレーム画像を選択出力する超解像処理機能775、連続性が認められない場合は単純拡大処理画像を選択出力する単純拡大処理機能776または先に高解像度変換されたレーム画像を選択出力するフレームデータ記憶処理機能777、出力選択処理33の各機能の出力を出力フレーム画像として選択する出力フレームデータ選択機能778、出力フレームデータを表示出力として出力する出力フレーム表示機能779などがある。これらの機能は、図6でハードウェア化されて示されている各機能にそれぞれ対応するものである。
図8に、本実施形態によって、図3および図4に示す第3実施形態の画像信号処理方法を実行するフローチャートを示す。なお、図8では、実線は処理の継続を示し、破線は条件の設定を示している。
画像処理が開始されると、CPU76は、まず、入力フレーム画像をフレームデータ入力機能772によって入力する(ステップS101)。それとともにステップS102で入力フレーム画像を必要なフレーム期間だけ記憶する。記憶された入力フレーム画像と次に入力される入力フレーム画像との1対のフレームはシーン変化検出機能773に入力されて連続性を判定するシーン変化検出が行われる(ステップS103)。
さらに、この1対のフレームは、出力選択処理33の超解像処理機能775にも入力され、この1対のフレームから超解像処理が行われる(ステップS107)。この超解像処理の結果の出力フレーム画像は一旦記憶される(ステップS108)。
一方、同一シーンに属する複数のフレームがシーン動き統計処理機能774に入力され、そのシーンの画素の動き量が判定される(ステップS105)。さらに、直前に入力された入力フレーム画像は、出力選択処理33の単純拡大処理機能776にも入力され、単純拡大処理が実行される(ステップS111)。
画像処理が開始されると、CPU76は、まず、入力フレーム画像をフレームデータ入力機能772によって入力する(ステップS101)。それとともにステップS102で入力フレーム画像を必要なフレーム期間だけ記憶する。記憶された入力フレーム画像と次に入力される入力フレーム画像との1対のフレームはシーン変化検出機能773に入力されて連続性を判定するシーン変化検出が行われる(ステップS103)。
さらに、この1対のフレームは、出力選択処理33の超解像処理機能775にも入力され、この1対のフレームから超解像処理が行われる(ステップS107)。この超解像処理の結果の出力フレーム画像は一旦記憶される(ステップS108)。
一方、同一シーンに属する複数のフレームがシーン動き統計処理機能774に入力され、そのシーンの画素の動き量が判定される(ステップS105)。さらに、直前に入力された入力フレーム画像は、出力選択処理33の単純拡大処理機能776にも入力され、単純拡大処理が実行される(ステップS111)。
このような入力状態で、シーン変化検出によって入力フレーム画像の連続性があるか否か判定され(ステップS104)、その結果、連続性があると判定された場合は、出力選択処理33で超解像処理機能775が選択され、超解像処理出力フレーム画像が出力される(ステップS110)。
連続性の判定の結果、連続性がないと判定された場合は、超解像処理機能775での超解像処理は停止されるとともに、ステップS105でのシーン動き統計処理機能774の結果が判定され、同時に今までのシーンに対する統計処理がリセットされて新たに次のシーンに対する統計処理が実行される。
シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも小さい場合は、記憶されている前回の超解像処理出力フレーム画像を出力する(ステップS109)。シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも大きい場合は、単純拡大処理出力フレーム画像を出力する(ステップS112)。
出力の選択が終了した後、画像処理を続けるかどうか判定され(ステップS113)、画像処理が継続される場合は、再びステップS101に戻って次の入力フレーム画像が入力される。
連続性の判定の結果、連続性がないと判定された場合は、超解像処理機能775での超解像処理は停止されるとともに、ステップS105でのシーン動き統計処理機能774の結果が判定され、同時に今までのシーンに対する統計処理がリセットされて新たに次のシーンに対する統計処理が実行される。
シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも小さい場合は、記憶されている前回の超解像処理出力フレーム画像を出力する(ステップS109)。シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも大きい場合は、単純拡大処理出力フレーム画像を出力する(ステップS112)。
出力の選択が終了した後、画像処理を続けるかどうか判定され(ステップS113)、画像処理が継続される場合は、再びステップS101に戻って次の入力フレーム画像が入力される。
本実施形態によれば、パソコンなど汎用のプロセッサで画像処理装置を実現することができ、ソフト処理によってシーンの切り替わりをシーン変化検出処理機能773で検出したとき、出力選択処理33での超解像処理機能775を停止し、単純拡大処理機能776での単純拡大処理結果またはフレームデータ記憶処理機能777で記憶された前回の超解像処理結果を出力フレーム画像として出力するので、処理に時間がかかったり、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、本画像処理装置をTV受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。
(変形例)
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
上述した実施形態では、超解像処理に際して入力フレームから連続する2フレームずつを順次ペアとして入力して処理する「2フレームペア」の場合を例に挙げているが、3フレーム以上の入力フレームを用いることも可能である。
また、上述した実施形態では、シーン変化検出処理で不連続性が検出されたとき、超解像処理を停止するようにしているが、超解像処理、単純拡大処理、フレーム記憶処理を常に平行して進め、出力選択処理によってその条件に適した処理出力を選択するように構成することも可能である。ただしこの場合、処理の演算時間が所定時間内に収まらない場合は、強制的に停止させるようにする。
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
上述した実施形態では、超解像処理に際して入力フレームから連続する2フレームずつを順次ペアとして入力して処理する「2フレームペア」の場合を例に挙げているが、3フレーム以上の入力フレームを用いることも可能である。
また、上述した実施形態では、シーン変化検出処理で不連続性が検出されたとき、超解像処理を停止するようにしているが、超解像処理、単純拡大処理、フレーム記憶処理を常に平行して進め、出力選択処理によってその条件に適した処理出力を選択するように構成することも可能である。ただしこの場合、処理の演算時間が所定時間内に収まらない場合は、強制的に停止させるようにする。
また、複数のフレームの画像に基づいて1フレームの拡大画像を生成する画像信号処理装置において、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、前記複数のフレームの画像に基づいて1フレームの拡大画像を生成し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に得た1フレームの拡大画像を出力し、または複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に前記複数のフレームの画像に基づいて1フレームの拡大画像を生成するのに用いたパラメータを用いて1フレームの拡大画像を生成することができる。
また、複数のフレームの画像に基づいて1フレームの拡大画像を生成する第1の処理部と、単一のフレームの画像に基づいて1フレームの拡大画像を生成する第2の処理部とを備え、第2の処理部によって生成された拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、第1の処理部によって生成された拡大画像を出力するようにすることもできる。
また、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、入力される1フレームの画像に対して空間周波数の変化の小さい1フレームの拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化する場合は、入力される1フレームの画像に対して空間周波数の変化の大きい1フレームの拡大画像を出力することもできる。
そのほか本発明の趣旨を逸脱しない範囲での多様な変形が可能である。
また、複数のフレームの画像に基づいて1フレームの拡大画像を生成する第1の処理部と、単一のフレームの画像に基づいて1フレームの拡大画像を生成する第2の処理部とを備え、第2の処理部によって生成された拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、第1の処理部によって生成された拡大画像を出力するようにすることもできる。
また、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、入力される1フレームの画像に対して空間周波数の変化の小さい1フレームの拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化する場合は、入力される1フレームの画像に対して空間周波数の変化の大きい1フレームの拡大画像を出力することもできる。
そのほか本発明の趣旨を逸脱しない範囲での多様な変形が可能である。
60 入力データ処理部(画像信号処理装置)
61 映像信号処理機能
63 データ線駆動手段
64 走査線駆動手段
65 液晶パネル
70 パソコン
71 入出力装置
72 映像受信装置
73 モニタ装置
74 入出力インターフェース
75 データ入出力制御部
76 CPU
77 ハードディスクメモリ
600 画像処理装置(画像信号処理装置)
611、772 フレームデータ入力機能
612、773 シーン変化検出機能
613、774 シーン動き統計処理機能
614、775 出力選択手段
615、778 出力フレームデータ選択機能
616、779 出力フレーム表示機能
771 OS
6141、775 超解像処理機能
6142、776 単純拡大処理機能
6143、777 フレームデータ記憶処理機能
61 映像信号処理機能
63 データ線駆動手段
64 走査線駆動手段
65 液晶パネル
70 パソコン
71 入出力装置
72 映像受信装置
73 モニタ装置
74 入出力インターフェース
75 データ入出力制御部
76 CPU
77 ハードディスクメモリ
600 画像処理装置(画像信号処理装置)
611、772 フレームデータ入力機能
612、773 シーン変化検出機能
613、774 シーン動き統計処理機能
614、775 出力選択手段
615、778 出力フレームデータ選択機能
616、779 出力フレーム表示機能
771 OS
6141、775 超解像処理機能
6142、776 単純拡大処理機能
6143、777 フレームデータ記憶処理機能
Claims (19)
- 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置であって、
前記継続して入力される複数のフレーム画像相互間の連続性を解析し、その解析結果に基づいてフレーム画像を選択する出力選択手段を備え、
この出力選択手段は、前記連続性が認められた場合には前記高解像度変換されたフレーム画像を選択出力し、前記連続性が認められない場合は他の画像処理を施したフレーム画像を選択出力することを特徴とする画像信号処理装置。 - 前記他の画像処理を施したフレーム画像は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持したフレーム画像であることを特徴とする請求項1に記載の画像信号処理装置。
- 前記他の画像処理を施したフレーム画像は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理を施したフレーム画像であることを特徴とする請求項1に記載の画像信号処理装置。
- 前記出力選択手段は、前記連続性の解析とともに直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出する機能を有し、
前記連続性が認められず前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理を施したフレーム画像として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理を施したフレーム画像を選択出力することを特徴とする請求項1に記載の画像信号処理装置。 - 前記出力選択手段は、前記連続性の解析とともに直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出する機能を有し、
前記連続性が認められず前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理を施したフレーム画像として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持したフレーム画像を選択出力することを特徴とする請求項1に記載の画像信号処理装置。 - 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置に用いられる画像信号処理方法であって、
前記画像信号処理装置は、前記時系列的に継続する複数のフレーム画像を入力する入力工程と、
この入力工程で続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出工程と、
このシーン変化検出工程の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換工程と、
前記連続性が認められない場合は他の画像処理を施す他の画像処理工程と、
前記高解像度変換工程または前記他の画像処理工程で得られた出力フレーム画像を選択出力する出力フレーム選択工程と
を備えて実行することを特徴とする画像信号処理方法。 - 前記他の画像処理工程で行われる他の画像処理は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理であることを特徴とする請求項6に記載の画像信号処理方法。
- 前記他の画像処理工程で行われる他の画像処理は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理であることを特徴とする請求項6に記載の画像信号処理方法。
- 前記シーン変化検出工程に続いて直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理工程を有し、
前記シーン変化検出工程での解析結果で前記連続性が認められず、前記シーン動き統計処理工程での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理工程で行われる他の画像処理は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理であることを特徴とする請求項6に記載の画像信号処理方法。 - 前記シーン変化検出工程に続いて直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理工程を有し、
前記シーン変化検出工程での解析結果で前記連続性が認められず、前記シーン動き統計処理工程での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理工程で行われる他の画像処理は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理であることを特徴とする請求項6に記載の画像信号処理方法。 - 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像処理をコンピュータに実行させるプログラムであって、
前記コンピュータに、
前記時系列的に継続する複数のフレーム画像の入力と、
続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出と、
このシーン変化検出の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を施し、前記連続性が認められない場合は他の画像処理を施す画像変換処理と、
前記高解像度変換、または前記他の画像処理により得られた出力フレーム画像を選択出力する出力フレーム選択とを
実行させることを特徴とするプログラム。 - 前記コンピュータに、
前記他の画像処理として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理、
を実行させることを特徴とする請求項11に記載のプログラム。 - 前記コンピュータに、
前記他の画像処理機能として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理、
を実行させることを特徴とする請求項11に記載のプログラム。 - 前記コンピュータに、
直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理と、
前記シーン変化検出での解析結果で前記連続性が認められず、前記シーン動き統計処理での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理とを、
実行させることを特徴とする請求項11に記載のプログラム。 - 前記コンピュータに、
直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理と、
前記シーン変化検出での解析結果で前記連続性が認められず、前記シーン動き統計処理での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理とを
実行させることを特徴とする請求項11に記載のプログラム。 - 請求項6乃至請求項10のいずれか1項に記載の画像信号処理方法によって画像処理を行った画像を表示することを特徴とする表示装置。
- 複数のフレームの画像に基づいて1フレームの拡大画像を生成する画像信号処理装置において、
複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、前記複数のフレームの画像に基づいて1フレームの拡大画像を生成し、
複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に得た1フレームの拡大画像を出力し、または複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に前記複数のフレームの画像に基づいて1フレームの拡大画像を生成するのに用いたパラメータを用いて1フレームの拡大画像を生成することを特徴とする画像信号処理装置。 - 複数のフレームの画像に基づいて1フレームの拡大画像を生成する第1の処理部と、単一のフレームの画像に基づいて1フレームの拡大画像を生成する第2の処理部とを備えた画像信号処理装置において、
前記第2の処理部によって生成された拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、前記第1の処理部によって生成された拡大画像を出力することを特徴とする画像信号処理装置。 - 画像を拡大する画像信号処理装置において、
複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、入力される1フレームの画像に対して空間周波数の変化の小さい1フレームの拡大画像を出力し、
複数のフレームの画像間で表示コンテンツのシーンが変化する場合は、入力される1フレームの画像に対して空間周波数の変化の大きい1フレームの拡大画像を出力することを特徴とする画像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323471A JP2009146197A (ja) | 2007-12-14 | 2007-12-14 | 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323471A JP2009146197A (ja) | 2007-12-14 | 2007-12-14 | 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009146197A true JP2009146197A (ja) | 2009-07-02 |
Family
ID=40916727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007323471A Pending JP2009146197A (ja) | 2007-12-14 | 2007-12-14 | 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009146197A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010147182A1 (ja) | 2009-06-19 | 2010-12-23 | 日立建機株式会社 | 作業車両の原動機制御装置 |
KR101451734B1 (ko) | 2011-05-19 | 2014-10-16 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 |
-
2007
- 2007-12-14 JP JP2007323471A patent/JP2009146197A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010147182A1 (ja) | 2009-06-19 | 2010-12-23 | 日立建機株式会社 | 作業車両の原動機制御装置 |
KR101451734B1 (ko) | 2011-05-19 | 2014-10-16 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6335504B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2011067870A1 (ja) | 画像処理装置および画像処理方法 | |
EP2124430B1 (en) | Frame rate conversion apparatus, frame rate conversion method, and computer-readable storage medium | |
US20080260248A1 (en) | Image processing apparatus, image processing method, and program | |
JP2010130291A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010034964A (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
US20100150462A1 (en) | Image processing apparatus, method, and program | |
US20060222081A1 (en) | Method for reducing noise and jitter effects in KVM systems | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
US8139151B2 (en) | Moving image processing apparatus, control method thereof, and program | |
JP4217543B2 (ja) | 動き情報処理装置及び方法 | |
JP2009093442A (ja) | 画像信号処理方法、装置、及びそれを用いた画像表示装置 | |
JP2009146197A (ja) | 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 | |
JP5192087B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010198321A (ja) | 画像処理装置及び画像処理方法 | |
JP2009140393A (ja) | 映像処理装置、映像表示装置、映像処理方法および映像表示方法 | |
JP2018180714A (ja) | 動体検知システム、動体検知装置、動体検知方法、およびプログラム | |
JP2009217658A (ja) | 表示装置および画像処理回路 | |
US20150103202A1 (en) | Image display apparatus, image capturing apparatus, and method of controlling image display apparatus | |
JP5409281B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008021219A (ja) | 画像処理装置及び方法 | |
JP5253077B2 (ja) | 映像処理装置およびその方法 | |
TW201431379A (zh) | 針對媒體串流的影像具有高抖動容忍之機制以促進動態相位檢測 | |
JP3105626B2 (ja) | 映像信号の雑音除去装置およびこれに用いる動き検出回路 | |
JP2011176405A (ja) | 画像表示装置 |