JP2009146197A - 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置 - Google Patents

Abstract

【課題】動画像、例えばTV放送等を高解像度化する場合に、不連続性が発生しても、演算処理に長い時間がかかる、演算結果に誤差が多く含まれる、得られる画像が劣化する等の問題が発生することを回避することができる画像処理装置の実現を課題とする。
【解決手段】継続して入力される複数の入力フレーム画像１０の相互間の連続性をシーン変化検出処理１１で解析し出力選択手段を備え、この出力選択手段は、連続性が認められた場合には超解像処理１２で高解像度変換されたフレーム画像を選択出力し、連続性が認められない場合はフレーム記憶処理１３によって記憶された前回の超解像処理画像を選択出力する。
【選択図】図１

Description

本発明は、高解像度化にかかる画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置に関する。

最近のテレビ受像機は表示画面の大型化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、受像機内にデジタル信号処理装置を内蔵してこの装置を用いて水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけの処理では解像度を上げることはできない。この解像度を向上する問題を解決するため、特許文献1、特許文献2、非特許文献1にはデジタル信号処理装置において入力された複数のフレーム画像(以下、フレームと略記)を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす画像処理技術が開示されている。
これらの従来技術では、デジタル信号処理装置において、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理を行って高解像度化を行う。ここで、(1)位置推定は、入力された複数のフレーム画像の各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

特開平８−３３６０４６号公報 特開平９−６９７５５号公報 青木伸 "複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998

以上説明した通り、高解像度化しながら画素数を増やす従来の技術においては、複数のフレームを合成して一枚の高解像度化されたフレームを得る。したがって、動画像、例えばＴＶ放送等を高解像度化の対象とした場合、シーンチェンジ等によるフレームの不連続が頻繁に発生するため、一枚の高解像度化されたフレームを得るために用いる複数のフレーム中に、不連続なフレームが含まれる可能性がある。このような場合、不連続なフレーム間で行う演算処理には長い時間が必要になるという問題がある。また、演算結果に誤差が多く含まれ、得られる画像が劣化する等の問題が発生する。

そこで、本発明は、演算処理時間を短くすることができ、得られる画像の劣化が少ない画像信号処理装置、画像信号処理方法、画像信号処理をコンピュータに実行させるプログラムおよびこの画像処理を伴った表示装置を提供することを課題とする。

前記課題を解決するため、本発明の画像信号処理装置は、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置であって、前記継続して入力される複数のフレーム画像相互間の連続性を解析しその解析結果に基づいてフレーム画像を選択する出力選択手段を備え、この出力選択手段は、前記連続性が認められた場合には前記高解像度変換されたフレーム画像を選択出力し、前記連続性が認められない場合は他の画像処理を施したフレーム画像を選択出力することを特徴とする。

また、前記課題を解決するため、本発明の画像信号処理方法は、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理方法であって、前記時系列的に継続する複数のフレーム画像を入力する入力工程と、この入力工程で続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出工程と、このシーン変化検出工程の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換工程と、前記連続性が認められない場合は他の画像処理を施す他の画像処理工程と、前記高解像度変換工程または前記他の画像処理工程で得られた出力フレーム画像を選択出力する出力フレーム選択工程とを備えたことを特徴とする。

さらに、前記課題を解決するため、本発明のプログラムは、時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像処理をコンピュータに実行させるプログラムであって、前記時系列的に継続する複数のフレーム画像を入力する入力機能、この入力機能によって続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出機能、このシーン変化検出機能の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換機能、前記連続性が認められない場合は他の画像処理を施す他の画像処理機能、前記高解像度変換機能または前記他の画像処理機能で得られた出力フレーム画像を選択出力する出力フレーム選択機能をコンピュータに実行させるように構成したことを特徴とする。

本発明によれば、演算処理時間を短くすることができ、得られる画像の劣化を少なくすることができる。

まず、図１０を用いて、通常の高解像度変換処理を比較例として説明してから、本発明の画像信号処理装置で実行される高解像度変換処理について説明する。以下、本発明で行われるような高解像度変換処理を超解像処理と呼ぶことにする。
図１０の比較例では、画像処理装置（画像信号処理装置）に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号９０で示している。
入力フレーム画像９０は時間の経過とともに入力フレームｆ１、ｆ２…ｆ１０の順に入力される。ここでは、シーンＡとシーンＢとの切り替えが、入力フレームのｆ５とｆ６との間で発生しているものとする。ここでシーンとは、表示コンテンツのシーンをいう。
ここでは、説明を簡単化するために、超解像処理は、入力フレームｆ１〜ｆ１０から連続する２フレームずつを順次ペアとして処理する「２フレームペア」の場合を例に挙げて説明する。ただし、超解像処理は、連続する３フレーム以上を用いてもかまわない。
したがって、超解像処理は、入力フレームｆ１とｆ２、ｆ２とｆ３というように順次実行される。この従来例では、画像処理装置が入力される入力フレーム画像９０の連続する２フレーム、すなわち、入力フレームｆ１とｆ２、ｆ２とｆ３というように順次無条件で超解像度処理９１を実行する。そうして、その結果を出力フレーム画像９２として無条件に出力している。
このため、超解像度処理９１は、シーンが切り替わって入力フレーム画像９０の連続性がなくなっている入力フレームのｆ５とｆ６の間ので処理に時間がかり、演算結果に誤差が多く含まれ、得られる出力フレーム画像９２の出力フレームＦ５が劣化する等の問題が発生する。
超解像処理は、複数のフレーム（２又は３以上の数フレーム）を合わせて新たなフレームを生成する。超解像処理は、例えば、（１）位置推定、（２）広帯域補間、（３）加重和、の3つの処理により成る。ここで、（１）位置推定は、入力された複数のフレームの各画素データを用いて、各画素データのサンプリング位相(標本化位置)の差を推定するものである。（２）広帯域補間は、各画像データを折返し成分も含め、原信号の高周波数成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。（３）加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波数成分を復元するものである。例えば、時間軸上のフレーム#1、フレーム#2、フレーム#3が入力され、これらを合成して出力フレームを得ることを想定する。簡単のため、まず被写体が水平方向に移動した場合を考え、水平線の上の１次元の信号処理によって高解像度化することを考える。このとき、フレーム#2とフレーム#1では、被写体の移動の量に応じて信号波形の位置ずれが生じる。上記（１）位置推定によってこの位置ずれ量を求め、位置ずれが無くなるようにフレーム#2を動き補償するとともに、各フレームの画素のサンプリング位相の間の位相差θを求める。この位相差θに基づき、上記（２）広帯域補間および（３）加重和を行うことにより、元画素のちょうど中間(位相差θ=π)の位置に新規画素を生成することにより、高解像度化を実現する。ただし、高解像度化を実現する上で、（１）位置推定、（２）広帯域補間、（３）加重和の３つの処理のすべては、必ずしも必要ではない。

（第１実施形態）
図１は、本発明の画像信号処理装置で実行される画像信号処理方法の一実施形態を説明する図である。
図１において、画像処理装置（画像信号処理装置）に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号１０で示している。入力フレーム画像１０は時間の経過とともに入力フレームｆ１、ｆ２…ｆ１０の順に入力される。ここでは、シーンＡとシーンＢとの切り替えが、入力フレームのｆ５とｆ６の間で発生しているものとする。
ここでは、説明を簡単化するために、超解像処理機能では、入力フレームｆ１〜ｆ１０から連続する２フレームずつを順次ペアとして入力されて処理される「２フレームペア」の場合を例に挙げるが、３フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。

図１０の比較例と違って、本実施形態では、画像処理装置に、図１０に示した処理のほかに、超解像処理に対して入力される入力フレーム画像１０の間のシーン変化の有無を検出するシーン変化検出処理機能と、超解像処理１２の結果として得られる高解像度化された所望の画像を保持するためのフレーム記憶処理機能とを付加した構成となっている。

画像処理装置は、シーン変化検出処理１１において、超解像処理１２へ入力される２つのフレームの間でフレーム間のシーン変化の有無を判断するための解析を実行する。シーン変化の有無を判断する解析内容は、一般的に知られているシーン変化検出アルゴリズム、例えば、２フレーム間の相違を、評価関数、例えば、面輝度法やＣＴＭ法等、により解析し判別する方法や、色差ヒストグラム、動き量などの画像特徴量の相違を解析し判別する方法などを想定している。

次に、入力される２つのフレームに対して、画像処理装置の超解像処理１２により高解像度化処理が行われる。ここで行われる超解像処理１２の内容は、従来例の超解像処理９１に相当する処理であるが、本実施形態では前記シーン変化検出処理１１の検出結果により、その処理の実行と停止が制御される構成になっている。
最後に、上記超解像処理１２の結果得られる高解像度化された画像は、画像処理装置のフレーム記憶処理１３によって記憶保持されると共に、出力フレーム画像１４として出力される。

ここで、時刻t0から時刻t3まで（フレームｆ1からｆ5までが入力フレームになる）の期間では、画像処理装置に入力され、超解像処理１２へ２フレームづつ入力される入力フレームｆ１〜ｆ５は同一のシーンＡに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理１１により検出される。この結果、この期間中では、超解像処理機能１２において超解像処理が実行される。そして超解像処理１２の出力として、高解像度化された所望の画像が得られ、この画像は、フレーム記憶処理１３に記憶されると共に、出力フレーム画像１４の出力フレームＦ１〜Ｆ４として出力される。つまり、１フレーム前の超解像処理画像が出力される。１フレーム前の超解像処理画像を表示する代わりに、１フレーム前の超解像処理で用いたパラメータを用いて超解像処理を行ってもよい。この場合は、１フレーム前の超解像処理で用いたパラメータを記憶しておく。

しかし、時刻t4では、超解像処理１２へ入力される２つの入力フレームｆ５、ｆ６がシーンＡとシーンＢに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況は、シーン変化検出処理１１において検出される。これを受けて、画像処理装置は本時刻における超解像処理機能での超解像処理１２を停止する。このため、超解像処理による高解像度化された所望の画像は生成されず、フレーム記憶処理機能内部のデータは更新されない。最終的に、本時刻t4の出力として、フレーム記憶処理機能から時刻t3に記憶された超解像処理結果が繰り返し出力される。
これ以降、時刻t5からt8までの間では、超解像処理機能への入力フレームｆ６〜ｆ１０内に不連続性は発生しないため、シーン変化検出処理１１ではシーン変化が検出されない。したがって、各時刻で超解像処理１２の実行が指示され、時刻t5から時刻t8までの間、出力として高解像度化された所望の出力フレーム画像Ｆ６〜Ｆ９が出力される。

本実施形態では、シーンの切り替わりをシーン変化検出処理１１が検出したとき、超解像処理１２を停止し、フレーム記憶処理１３で記憶された前回の超解像処理結果を出力フレーム画像１４として再出力するので、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像１４が劣化して見苦しくなったりするようなことがなく、安定した超解像処理が実行され、本画像処理装置をＴＶ受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。

以上説明したように、高解像度化しながら画素数を増やす高解像度変換処理において、時系列的に継続して入力される複数の入力フレーム画像１０の間にシーンチェンジ等によって連続性の崩れがあっても、それを検出して、検知した際の状況に応じて超解像度処理１２の条件を選択的に変更するようにしたので、処理に所定のフレーム期間以上の時間がかかかって次の映像（画像）に間に合わなかったり、演算結果に誤差が多く含まれ、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、種々の画像を対象とした高解像度化を安定に、また効率的に実行して、違和感のない出力映像を連続して出力することができる。

（第２実施形態）
図２は、本発明の画像処理装置で実行される画像信号処理方法の第２実施形態を説明する図である。この第２実施形態が第１実施形態と異なる点は、フレーム記憶処理は行われず、代わって超解像処理と並行に単純拡大処理が実行され、その出力で連続性が途切れたときに用いられる点である。

図２において、本発明を適用した画像処理装置に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号２０で示す。入力フレーム画像２０は時間の経過とともに入力フレームｆ１、ｆ２…ｆ１０の順に入力される。ここでは、シーンＡとシーンＢとの切り替えが、入力フレームのｆ５とｆ６の間で発生しているものとする。
ここでも、第１実施形態と同様に、説明を簡単化するために、超解像処理２２１では、入力フレームｆ１〜ｆ１０から連続する２フレームずつを順次ペアとして入力されて処理される「２フレームペア」の場合を例に挙げるが、３フレーム以上を用いる場合も、本例で説明する趣旨に差異はない。

第２実施形態では、画像処理装置に、図１に示す第１実施形態と同様に、超解像処理２２１に対して入力される入力フレーム画像２０の間のシーン変化の有無を検出するシーン変化検出処理２１を備えている。また、第１実施形態のフレーム記憶処理１３の代わりに、出力選択処理２２として、第１実施形態で行われるものと同様の超解像処理２２１と、出力選択処理入力フレーム画像の画素数を単純に拡大するための単純拡大処理２２２とを備えた構成となっている。

初めに、画像処理装置では、シーン変化検出処理２１において、超解像処理２２１へ入力される2つのフレームの間で、シーン変化の有無を判断するための解析を実行する。

次に、入力される２つのフレームに対して、画像処理装置の超解像処理２２１により高解像度化処理が行われる。ここで、超解像処理２２１は第１実施形態の場合と同様に、前記シーン変化検出処理２１の検出結果により、その処理の実行と停止が制御される。
さらに、本第２実施形態では、画像処理装置に、超解像処理２２１と並列するように単純拡大処理２２２が設けられている。この単純拡大処理２２２としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。単純拡大処理は、１フレーム分の画像から補間画素を生成する。超解像処理も単純拡大処理も画素数が増加するが、原画像に比較して超解像処理後の画像は空間周波数スペクトルが拡大するが、単純拡大処理後の画像は空間周波数スペクトルが拡大せず、そのままである。最終的に、超解像処理２２１の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像とを、シーン変化検出処理２１の検出結果によって選択して出力する。

ここで、時刻t0から時刻t3まで（フレームｆ1からｆ5までが入力フレームになる）の期間では、画像処理装置に入力され、超解像処理２２１へ２フレームづつ入力される入力フレームｆ１〜ｆ５は、同一のシーンＡに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理２１により検出される。この結果、この期間中は、出力選択処理２２において超解像処理２２１が選択される。そして超解像処理２２１の出力として、高解像度化された所望の画像が得られ、出力フレーム画像２４の出力フレームとしてＦ１〜Ｆ４が出力される。

しかし、時刻t4では、超解像処理２２１へ入力される２つの入力フレームｆ５、ｆ６がシーンＡとシーンＢに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況はシーン変化検出処理２１において検出される。これを受けて、画像処理装置は、この時刻t4においては超解像処理２２１を停止し、単純拡大処理２２２を実行する。
本第２実施形態では、入力フレームの内で時間的に前のフレーム、すなわち時刻t4においてはフレームｆ5が基準フレームになっているため、時刻t4ではフレームｆ5の単純拡大処理の結果が出力される。逆に、入力フレームの内で時間的に後のフレームを基準フレームとする場合も考えられるが、本実施形態と同様の考えが適用できるので、説明は省略する。

以降、時刻t5からt8まででは、超解像処理機能２２１への入力フレームｆ６〜ｆ１０内に不連続性は発生しないため、シーン変化検出処理２１ではシーン変化が検出されない。したがって、各時刻で超解像処理２２１の実行が指示され、出力として、高解像度化された所望の画像が得られる。

本実施形態では、シーンの切り替わりをシーン変化検出処理２１が検出したとき、超解像処理２２１を停止し、単純拡大処理２２２を実行するようにしている。したがって、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像２４が劣化して見苦しくなるようなことがなく、本画像処理装置をＴＶ受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。

（第３実施形態）
図３及び図４は、本発明の画像処理装置で実行される画像信号処理方法の第３実施形態を説明する図である。この第３実施形態では、第１実施形態および第２実施形態と同様に、シーン変化検出処理３１が設けられて入力フレーム画像３０の連続性が検出される。
また、第１実施形態および第２実施形態にはないシーン変化が発生するまでの期間、そのシーン内に属するフレーム（例えば、ｆ１〜ｆ５）中の画素毎の動きベクトルの大きさの頻度の集計と解析を行うシーン動き統計処理３２が設けられている。
さらに、出力選択処理３３には、超解像処理３３とともに、第２実施形態で用いられた入力フレーム画像の画素数を拡大するための単純拡大処理３３２と、第１実施形態で用いられた、超解像処理３３１の結果として得られる高解像度化された画像を保持するためのフレーム記憶処理３４とが設けられている。

図３および図４において、本実施形態の画像処理装置に接続された映像受信装置や映像通信媒体あるいは映像記録媒体等から入力される入力フレーム画像を符号３０で示す。入力フレーム画像３０は時間の経過とともに入力フレームｆ１、ｆ２…ｆ１０の順に入力される。ここでは、シーンＡとシーンＢとの切り替えが、入力フレームのｆ５とｆ６との間で発生しているものとする。

初めに、画像処理装置では、シーン変化検出処理３１において、超解像処理３３１へ入力される２つのフレームの間で、入力フレーム間のシーン変化の有無を判断するための解析を実行する。

一方、シーン変化検出処理３１に連動して動作するシーン動き統計処理３２は、シーン変化検出処理３１においてシーン変化が検出されるまでの間、そのシーン内に属するフレーム中の画素毎の動きベクトルの大きさの頻度を集計する。この動きベクトルの大きさは、シーン動き統計処理３２内に入力される２フレーム間の動きベクトルを検出する機能を設けることで実現できる。また、超解像処理３３１内に動きベクトル検出を行う機能を設けて、そこからの情報を参照する方法でも実現できる。本実施形態は、いずれかの方法に限定されるものではない。

次に、入力される2つのフレームに対して画像処理装置の超解像処理機能により高解像度化処理３３１が行われる。ここで、超解像処理は、本実施形態では前記シーン変化検出処理３１とシーン動き統計処理３２の処理結果により、超解像処理３３１の実行と停止が制御される構成となっている。
また、本実施形態では、画像処理装置に、超解像処理３３１と並列するように単純拡大処理３３２が設けられている。この単純拡大処理３３２としては、一般的に知られている解像度変化を伴わない拡大処理方法、例えば、直線補間や非線形補間などの補間による拡大方法等を想定している。
最終的に、超解像処理３３１の結果得られる高解像度化された所望の画像と、単純拡大処理による拡大画像と、フレーム記憶処理３４で記憶された前回の高解像度化された出力フレーム画像とを、シーン変化検出処理３１とシーン動き統計処理３２の処理結果により選択して出力する。

ここで、時刻t0から時刻t3まで（フレームｆ1からｆ5までが入力フレームになる）の期間では、画像処理装置に入力され、超解像処理３３１へ２フレームづつ入力される入力フレームｆ１〜ｆ５は、同一のシーンＡに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理３１により検出される。この結果、この期間中は、出力選択処理３３において超解像処理３３１の実行が選択される。そして、超解像処理３３１の出力として、高解像度化された所望の画像が得られ、フレーム記憶処理３４によって一旦記憶された後、出力フレーム画像３５の出力フレームとしてＦ１〜Ｆ４が出力される。

しかし、時刻t4では、超解像処理３３１へ入力される２つの入力フレームｆ５、ｆ６がシーンＡとシーンＢとに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。このシーンが不連続となる状況はシーン変化検出処理３１において検出される。
第３実施形態では、シーン変化検出処理３１においてシーン変化があり連続性が途切れたことが検出されると、シーン動き統計処理３２の処理結果が参照される。
この時刻t4では、シーン動き統計処理３２によって時刻t3まで（つまり、シーンＡについて）の動きベクトルの大きさの頻度が集計されている。このシーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。

図５に、１つのシーンにおける動き量の推定方法の説明図を示す。１つのシーンにおける動き量の推定は、例えば図５（Ａ）に示すように、動きベクトルの大きさの頻度の最大ピーク値、平均値、重心値等の特徴量に対して判定閾値を設け、判別を行う方法等が考えられる。しかし、1つのシーンにおける動き量の推定が可能な方法であれば必ずしもこれらに限定されるものではない。
本実施形態の場合、図３のシーンＡは人物がゆっくりと画面内を移動しているシーンであるとする。したがって、図５（Ｂ）に示すように、シーンＡの動きベクトルの大きさの頻度を集計した結果は、ベクトルの大きさが判定閾値よりも小さい側に集中する。ここでは、頻度の平均値を特徴量として判断する場合を例としている。このように、ベクトルの大きさの頻度の平均値が判定閾値よりも小さい側に集中した場合には画素の動きが所定の速さ以下であると判定する。

シーンＡの頻度の平均値は、判定閾値よりも小さいため、シーンＡは、動きの小さいシーンであると判定される。これにより、本時刻においては、超解像処理３３１は実行されず、時刻t3において実行され、フレーム記憶処理３４に記憶されている前回の超解像処理結果が用いられて出力される。また、これと同時に、シーン動き統計処理３２における時刻t3までの動きベクトルの大きさの頻度の集計がリセットされる。

以降、時刻t5から時刻t8までは、超解像処理への入力フレーム内に連続性が認められるため、シーン変化検出処理３１ではシーン変化が検出されない。したがって、各時刻で超解像処理３３１の実行が指示され、出力として、高解像度化された所望の画像が得られ、フレーム記憶処理３４によって記憶される。また、時刻t5を基点として、シーン動き統計処理３２における時刻t5からの動きベクトルの大きさの頻度の集計が新たに開始される。

図４は、本実施形態の異なる動作状態での状況を説明する図である。
時刻t0から時刻t3まで（フレームｆ1からｆ5までが入力フレームになる）の期間では、画像処理装置に入力され、超解像処理３３１へ２フレームづつ入力される入力フレームｆ１〜ｆ５は、同一のシーンＡに属するために、連続するフレーム間で連続性が認められる。連続性はシーン変化検出処理３１により検出される。この結果、この期間中は、出力選択処理２２において超解像処理３３１の実行が選択される。そして超解像処理３３１の出力として、高解像度化された所望の画像が得られ、フレーム記憶処理３４によって一旦記憶された後、出力フレーム画像３５の出力フレームとしてＦ１〜Ｆ４が出力される。
またこの期間中は、各入力フレームペア間に対して、シーン動き統計処理３２による動きベクトルの大きさの頻度が統計的に集計されている。

続く時刻t4では、超解像処理３３１へ入力される２つの入力フレームｆ５、ｆ６がシーンＡとシーンＢに属するそれぞれのフレームになるため、連続性が崩れる事態が発生する。この不連続の発生状況はシーン変化検出処理３１において検出される。
本実施形態では、シーン変化検出処理３１においてシーン変化が検出されると、シーン動き統計処理３２の処理結果が参照される。この時刻t4時点では、シーン動き統計処理３２によって時刻t3まで（つまり、シーンＡについて）の動きベクトルの大きさの頻度が集計されている状態にある。シーン動き統計処理の結果を参照することにより、シーン変化発生までの同一シーンにおける動き量が推定される。

図４の例の場合、シーンＡは自動車が高速に画面内を移動しているシーンであるとする。したがって、図５（ｃ）に示すように、シーンＡの動きベクトルの大きさの頻度を集計した結果は、ベクトルの大きさが大きい側に集中する。ここでは、頻度の平均値を特徴量として判断する場合を例にしている。シーンＡの頻度の平均値は、判定閾値よりも大きいため、シーンＡはその画素の動きが所定の速さ以上であり、動きの大きいシーンであると判定される。
これにより、時刻t4においては、超解像処理３３１ではなく、フレームｆ５の単純拡大処理３３２が実行される。また、これと同時に、シーン動き統計処理３２における時刻t3までの動きベクトルの大きさの頻度の集計がリセットされる。

本実施形態では、入力フレームの内で時間的に前のフレーム、時刻t4においてはフレームｆ５が基準フレームになっているため、時刻t4ではフレームｆ５の単純拡大処理３３２の結果が出力される。逆に、入力フレームの内で時間的に後のフレームが基準フレームになる場合も考えられるが、本実施形態と同一の考えが適用可能であるので、説明は省略する。
以降、時刻t5から時刻t8までは、超解像処理への入力フレーム内で連続性が保たれるため、シーン変化検出処理３１ではシーン変化が検出されないので、各時刻で超解像処理３３１の実行が指示され、出力として、高解像度化された所望の画像が得られ、フレーム記憶処理３４によって記憶される。また、時刻t5を基点として、シーン動き統計処理３２における時刻t5からの動きベクトルの大きさの頻度の集計が新たに開始される。

本実施形態では、シーンの切り替わりをシーン変化検出処理３１が検出したとき、シーン動き統計処理３２の処理結果が参照され、シーンの動きベクトルの大きさが小さい場合には、現在の超解像処理３３１ではなく、フレーム記憶処理３４された前回の超解像処理３３１結果を、シーンの動きベクトルの大きさが大きい場合には、超解像処理３３１ではなく、単純拡大処理３３２の結果を出力している。したがって、シーンの切り替わり部分など連続性がない部分で、画像処理装置が処理に時間がかかったり、画像処理装置が出力する出力フレーム画像３５が劣化して見苦しくなるようなことがなく、本画像処理装置をＴＶ受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。

（第４実施形態）
図６は、前記各実施形態の画像信号処理方法を用いた画像処理装置６００の一実施形態を示す図で、本発明の画像信号処理をディスプレイ装置に用いた場合の構成を示している。図７は、図６に示す画像処理装置６００の入力データ処理部６０の映像信号処理機能６１の詳細図である。
画像処理装置６００は、画像入力装置に接続され、画像入力装置から時系列的に継続して入力される複数のフレーム画像に対して高解像処理を行って、処理された出力フレーム画像を液晶パネル６５に表示する機能を有している。
画像処理装置６００は、前記各実施形態の画像処理をハードウエア化した信号処理回路を実装した入力データ処理部６０と、表示部であるディスプレイの液晶パネル６５と、液晶パネル６５の表示を制御するデータ線駆動手段６３および走査線駆動手段６４から構成されている。

入力データ処理部６０には、画像入力装置から表示するべき表示データ６２４と、垂直同期信号６２１、水平同期信号６２２、データイネーブル６２３、同期クロック６２５などの制御信号とが入力される。
入力データ処理部６０の画像信号処理機能６１は、これらの表示データ６２４と同期クロック６２５から、入力フレーム画像を取り込み、各実施形態の高解像度変換を実行する。そうして、出力フレーム画像信号をデーター線制御信号６２６と走査線制御信号６２７に変換してそれぞれデータ線駆動手段６３と走査線駆動手段６４とに入力し、データ線駆動信号６２８と走査線駆動信号６２９を液晶パネル６５に出力して出力フレーム画像を表示する。
液晶パネル６５は複数のデータ線と複数の走査線のそれぞれ１本に接続されたスイッチング素子によって駆動されるデータ線と走査線の交点付近にある画素が、データ線駆動信号６２８と走査線駆動信号６２９によって選択されて表示が行われる。データ線駆動手段６３はデータ線にデータ線駆動信号６２８を与え、走査線駆動手段６４は走査線に走査線駆動信号６２９を与える機能を有している。
実施形態は、各実施形態で説明した画像処理をハードウエア化して実装した入力データ処理部６０と、表示部であるディスプレイの液晶パネル６５と、液晶パネル６５の表示を制御するデータ線駆動手段６３および走査線駆動手段６４から構成されている。

画像信号処理機能６１は、図７に示すように、第１乃至第３実施形態として述べた図１〜図４に示す画像信号処理方法を実行するための複数の機能６１１〜６１６をハードウェア化した信号処理回路を備えている。
ここで、フレームデータ入力機能６１１は、表示データから入力フレーム画像を切り出して入力する機能、シーン変化検出機能６１２は、シーン変化検出処理を実行して不連続となるシーンの切り替わり位置を検出する機能、シーン動き統計処理機能６１３は、同一のシーン内に属するフレーム中の画素毎の動きベクトルの大きさの頻度の集計と解析を行う機能、出力選択手段６１４は、シーン変化検出機能６１２の検出結果に応じて高解像度化しながら画素数を増やす超解像処理機能６１４１の動作を実行したり停止したりする機能である。超解像処理機能６１４１の動作を停止した場合は、代わりにシーン動き統計処理機能６１３の処理結果も加味して入力フレーム画像の画素数を単純に拡大する単純拡大処理機能６１４２または前回の超解像処理機能６１４１の結果を記憶して出力するフレームデータ記憶処理機能６１４３の処理を実行する。出力フレームデータ選択機能６１５は、条件に合わせて出力選択手段６１４の各機能の出力を出力フレーム画像として選択する機能であり、出力フレーム表示機能６１６は、出力フレーム画像のデータをデータ線制御信号６２６と走査線制御信号６２７の表示信号に変換して出力する機能である。

本実施形態では、表示手段として液晶ディスプレイを用いた場合を示したが、液晶ディスプレイに代えてプラズマディスプレイ、有機ＥＬディスプレイ、電界放射型ディスプレイ、ＣＲＴなどを用いることができ、表示デバイスには依存しないことは明らかである。

本実施形態によれば、シーンの切り替わりをシーン変化検出処理機能６１２で検出したとき、出力選択手段６１４で超解像処理機能６１４１を停止し、単純拡大処理機能６１４２での単純拡大処理結果またはフレームデータ記憶処理機能６１４３で記憶された前回の超解像処理結果を出力フレーム画像として出力するので、処理に時間がかかったり、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、ハードウェア化された本画像処理装置をＴＶ受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。

（第５実施形態）
図８は、本発明の画像処理装置をパソコンなどの汎用プロセッサとプログラムで実現した場合の一実施形態を示す図である。
図８において、画像処理装置をパソコン７０とそれに接続されるキーボードやプリンタなどの入出力装置７１とモニタ装置７３とで構成されており、パソコン７０内部には、外部機器と接続される入出力インターフェイス７４、データの転送を制御するデータ入出力制御部７５、ＣＰＵ７６およびプログラムを記憶するハードディスクメモリ７７が含まれている。

画像処理装置を構成するパソコン７０は、映像受信装置７２に接続され、ハードディスクメモリ７７に記憶され、ＯＳ７７１の管理下で動作するプログラムによって映像処理を実行する。プログラムとしては、映像信号入力手段７２から時系列的に継続して入力するフレームデータ入力機能７７２、入力される複数のフレーム画像相互間の連続性を解析するシーン変化検出機能７７３、このシーン変化検出機能７７３の解析結果に基づいて出力するフレーム画像を選択する出力選択処理３３、この出力選択処理３３で連続性が認められた場合には高解像度変換されたフレーム画像を選択出力する超解像処理機能７７５、連続性が認められない場合は単純拡大処理画像を選択出力する単純拡大処理機能７７６または先に高解像度変換されたレーム画像を選択出力するフレームデータ記憶処理機能７７７、出力選択処理３３の各機能の出力を出力フレーム画像として選択する出力フレームデータ選択機能７７８、出力フレームデータを表示出力として出力する出力フレーム表示機能７７９などがある。これらの機能は、図６でハードウェア化されて示されている各機能にそれぞれ対応するものである。

図８に、本実施形態によって、図３および図４に示す第３実施形態の画像信号処理方法を実行するフローチャートを示す。なお、図８では、実線は処理の継続を示し、破線は条件の設定を示している。
画像処理が開始されると、ＣＰＵ７６は、まず、入力フレーム画像をフレームデータ入力機能７７２によって入力する（ステップＳ１０１）。それとともにステップＳ１０２で入力フレーム画像を必要なフレーム期間だけ記憶する。記憶された入力フレーム画像と次に入力される入力フレーム画像との１対のフレームはシーン変化検出機能７７３に入力されて連続性を判定するシーン変化検出が行われる（ステップＳ１０３）。
さらに、この１対のフレームは、出力選択処理３３の超解像処理機能７７５にも入力され、この１対のフレームから超解像処理が行われる（ステップＳ１０７）。この超解像処理の結果の出力フレーム画像は一旦記憶される（ステップＳ１０８）。
一方、同一シーンに属する複数のフレームがシーン動き統計処理機能７７４に入力され、そのシーンの画素の動き量が判定される（ステップＳ１０５）。さらに、直前に入力された入力フレーム画像は、出力選択処理３３の単純拡大処理機能７７６にも入力され、単純拡大処理が実行される（ステップＳ１１１）。

このような入力状態で、シーン変化検出によって入力フレーム画像の連続性があるか否か判定され（ステップＳ１０４）、その結果、連続性があると判定された場合は、出力選択処理３３で超解像処理機能７７５が選択され、超解像処理出力フレーム画像が出力される（ステップＳ１１０）。
連続性の判定の結果、連続性がないと判定された場合は、超解像処理機能７７５での超解像処理は停止されるとともに、ステップＳ１０５でのシーン動き統計処理機能７７４の結果が判定され、同時に今までのシーンに対する統計処理がリセットされて新たに次のシーンに対する統計処理が実行される。
シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも小さい場合は、記憶されている前回の超解像処理出力フレーム画像を出力する（ステップＳ１０９）。シーンが変わって連続性がなく、且つ、今までのシーンの動き量が所定の値よりも大きい場合は、単純拡大処理出力フレーム画像を出力する（ステップＳ１１２）。
出力の選択が終了した後、画像処理を続けるかどうか判定され（ステップＳ１１３）、画像処理が継続される場合は、再びステップＳ１０１に戻って次の入力フレーム画像が入力される。

本実施形態によれば、パソコンなど汎用のプロセッサで画像処理装置を実現することができ、ソフト処理によってシーンの切り替わりをシーン変化検出処理機能７７３で検出したとき、出力選択処理３３での超解像処理機能７７５を停止し、単純拡大処理機能７７６での単純拡大処理結果またはフレームデータ記憶処理機能７７７で記憶された前回の超解像処理結果を出力フレーム画像として出力するので、処理に時間がかかったり、画像処理装置が出力する出力フレーム画像が劣化して見苦しくなるようなことがなく、本画像処理装置をＴＶ受信機などに用いると、利用者は常に違和感のない高解像度の出力映像を連続して視聴することができる。

（変形例）
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
上述した実施形態では、超解像処理に際して入力フレームから連続する２フレームずつを順次ペアとして入力して処理する「２フレームペア」の場合を例に挙げているが、３フレーム以上の入力フレームを用いることも可能である。
また、上述した実施形態では、シーン変化検出処理で不連続性が検出されたとき、超解像処理を停止するようにしているが、超解像処理、単純拡大処理、フレーム記憶処理を常に平行して進め、出力選択処理によってその条件に適した処理出力を選択するように構成することも可能である。ただしこの場合、処理の演算時間が所定時間内に収まらない場合は、強制的に停止させるようにする。

また、複数のフレームの画像に基づいて１フレームの拡大画像を生成する画像信号処理装置において、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、前記複数のフレームの画像に基づいて１フレームの拡大画像を生成し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に得た１フレームの拡大画像を出力し、または複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に前記複数のフレームの画像に基づいて１フレームの拡大画像を生成するのに用いたパラメータを用いて１フレームの拡大画像を生成することができる。
また、複数のフレームの画像に基づいて１フレームの拡大画像を生成する第１の処理部と、単一のフレームの画像に基づいて１フレームの拡大画像を生成する第２の処理部とを備え、第２の処理部によって生成された拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、第１の処理部によって生成された拡大画像を出力するようにすることもできる。
また、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、入力される１フレームの画像に対して空間周波数の変化の小さい１フレームの拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化する場合は、入力される１フレームの画像に対して空間周波数の変化の大きい１フレームの拡大画像を出力することもできる。
そのほか本発明の趣旨を逸脱しない範囲での多様な変形が可能である。

本発明の画像信号処理装置で実行される画像信号処理方法の第１実施形態を説明する図である。 本発明の画像信号処理装置で実行される画像信号処理方法の第２実施形態を説明する図である。 本発明の画像信号処理装置で実行される画像信号処理方法の第３実施形態を説明する図である。 本発明の画像信号処理装置で実行される画像信号処理方法の第３実施形態を説明する図である。 １つのシーンにおける動き量の推定方法の説明図である。 本発明の画像信号処理装置の一実施形態の構成を示すブロック図である。 画像処理装置の映像信号処理機能の詳細図である。 本発明の画像信号処理装置を汎用プロセッサとプログラムで実現した場合の構成を示すブロック図である。 画像信号処理方法を実行する場合のフローチャートである。 比較例の画像処理装置で実行される画像信号処理方法を説明する図である。

符号の説明

６０ 入力データ処理部（画像信号処理装置）
６１ 映像信号処理機能
６３ データ線駆動手段
６４ 走査線駆動手段
６５ 液晶パネル
７０ パソコン
７１ 入出力装置
７２ 映像受信装置
７３ モニタ装置
７４ 入出力インターフェース
７５ データ入出力制御部
７６ ＣＰＵ
７７ ハードディスクメモリ
６００ 画像処理装置（画像信号処理装置）
６１１、７７２ フレームデータ入力機能
６１２、７７３ シーン変化検出機能
６１３、７７４ シーン動き統計処理機能
６１４、７７５ 出力選択手段
６１５、７７８ 出力フレームデータ選択機能
６１６、７７９ 出力フレーム表示機能
７７１ ＯＳ
６１４１、７７５ 超解像処理機能
６１４２、７７６ 単純拡大処理機能
６１４３、７７７ フレームデータ記憶処理機能

Claims (19)

1. 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置であって、
   前記継続して入力される複数のフレーム画像相互間の連続性を解析し、その解析結果に基づいてフレーム画像を選択する出力選択手段を備え、
   この出力選択手段は、前記連続性が認められた場合には前記高解像度変換されたフレーム画像を選択出力し、前記連続性が認められない場合は他の画像処理を施したフレーム画像を選択出力することを特徴とする画像信号処理装置。
2. 前記他の画像処理を施したフレーム画像は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持したフレーム画像であることを特徴とする請求項１に記載の画像信号処理装置。
3. 前記他の画像処理を施したフレーム画像は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理を施したフレーム画像であることを特徴とする請求項１に記載の画像信号処理装置。
4. 前記出力選択手段は、前記連続性の解析とともに直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出する機能を有し、
   前記連続性が認められず前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理を施したフレーム画像として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理を施したフレーム画像を選択出力することを特徴とする請求項１に記載の画像信号処理装置。
5. 前記出力選択手段は、前記連続性の解析とともに直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出する機能を有し、
   前記連続性が認められず前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理を施したフレーム画像として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持したフレーム画像を選択出力することを特徴とする請求項１に記載の画像信号処理装置。
6. 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像信号処理装置に用いられる画像信号処理方法であって、
   前記画像信号処理装置は、前記時系列的に継続する複数のフレーム画像を入力する入力工程と、
   この入力工程で続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出工程と、
   このシーン変化検出工程の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を実行する高解像度変換工程と、
   前記連続性が認められない場合は他の画像処理を施す他の画像処理工程と、
   前記高解像度変換工程または前記他の画像処理工程で得られた出力フレーム画像を選択出力する出力フレーム選択工程と
   を備えて実行することを特徴とする画像信号処理方法。
7. 前記他の画像処理工程で行われる他の画像処理は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理であることを特徴とする請求項６に記載の画像信号処理方法。
8. 前記他の画像処理工程で行われる他の画像処理は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理であることを特徴とする請求項６に記載の画像信号処理方法。
9. 前記シーン変化検出工程に続いて直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理工程を有し、
   前記シーン変化検出工程での解析結果で前記連続性が認められず、前記シーン動き統計処理工程での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理工程で行われる他の画像処理は、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理であることを特徴とする請求項６に記載の画像信号処理方法。
10. 前記シーン変化検出工程に続いて直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理工程を有し、
    前記シーン変化検出工程での解析結果で前記連続性が認められず、前記シーン動き統計処理工程での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理工程で行われる他の画像処理は、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理であることを特徴とする請求項６に記載の画像信号処理方法。
11. 時系列的に継続して入力される複数のフレーム画像を合成して、画素数を増加させてより解像度の高いフレーム画像に高解像度変換する画像処理をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    前記時系列的に継続する複数のフレーム画像の入力と、
    続けて入力されるフレーム画像相互間の連続性を解析するシーン変化検出と、
    このシーン変化検出の解析結果に基づいて前記連続性が認められた場合には前記高解像度変換を施し、前記連続性が認められない場合は他の画像処理を施す画像変換処理と、
    前記高解像度変換、または前記他の画像処理により得られた出力フレーム画像を選択出力する出力フレーム選択とを
    実行させることを特徴とするプログラム。
12. 前記コンピュータに、
    前記他の画像処理として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理、
    を実行させることを特徴とする請求項１１に記載のプログラム。
13. 前記コンピュータに、
    前記他の画像処理機能として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理、
    を実行させることを特徴とする請求項１１に記載のプログラム。
14. 前記コンピュータに、
    直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理と、
    前記シーン変化検出での解析結果で前記連続性が認められず、前記シーン動き統計処理での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上である場合には、前記他の画像処理として、直前に入力されたフレーム画像に対して単純に画素数を拡大する単純拡大処理とを、
    実行させることを特徴とする請求項１１に記載のプログラム。
15. 前記コンピュータに、
    直前に継続して入力される複数のフレーム相互間の画素の動きの速さを統計的に検出するシーン動き統計処理と、
    前記シーン変化検出での解析結果で前記連続性が認められず、前記シーン動き統計処理での解析結果で前記複数のフレーム画像相互間の画素の動きが所定の速さ以上でない場合には、前記他の画像処理として、直前に前記高解像度変換を実行したフレーム画像を記憶部に一時記憶保持して出力するフレーム記憶処理とを
    実行させることを特徴とする請求項１１に記載のプログラム。
16. 請求項６乃至請求項１０のいずれか１項に記載の画像信号処理方法によって画像処理を行った画像を表示することを特徴とする表示装置。
17. 複数のフレームの画像に基づいて１フレームの拡大画像を生成する画像信号処理装置において、
    複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、前記複数のフレームの画像に基づいて１フレームの拡大画像を生成し、
    複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に得た１フレームの拡大画像を出力し、または複数のフレームの画像間で表示コンテンツのシーンが変化しない場合に前記複数のフレームの画像に基づいて１フレームの拡大画像を生成するのに用いたパラメータを用いて１フレームの拡大画像を生成することを特徴とする画像信号処理装置。
18. 複数のフレームの画像に基づいて１フレームの拡大画像を生成する第１の処理部と、単一のフレームの画像に基づいて１フレームの拡大画像を生成する第２の処理部とを備えた画像信号処理装置において、
    前記第２の処理部によって生成された拡大画像を出力し、複数のフレームの画像間で表示コンテンツのシーンが変化した場合は、前記第１の処理部によって生成された拡大画像を出力することを特徴とする画像信号処理装置。
19. 画像を拡大する画像信号処理装置において、
    複数のフレームの画像間で表示コンテンツのシーンが変化しない場合は、入力される１フレームの画像に対して空間周波数の変化の小さい１フレームの拡大画像を出力し、
    複数のフレームの画像間で表示コンテンツのシーンが変化する場合は、入力される１フレームの画像に対して空間周波数の変化の大きい１フレームの拡大画像を出力することを特徴とする画像信号処理装置。

Images