JP2011123587A

JP2011123587A - 画像処理装置、画像表示装置および画像処理方法

Info

Publication number: JP2011123587A
Application number: JP2009279271A
Authority: JP
Inventors: Katsuya Ota; 克也太田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2009-12-09
Filing date: 2009-12-09
Publication date: 2011-06-23
Also published as: US8711165B2; CN102104759A; US20110134135A1

Abstract

【課題】アップコンバートされた画像信号が入力され得る状況で、画像信号に応じてより適切な画像処理を実行することが可能な画像処理装置等を提供すること。
【解決手段】プロジェクター１００に含まれる画像処理部１２０が、画像供給装置から供給される画像信号に基づく第１の画像データ１３２に対して高画質化処理を実行することにより、第２の画像データ１３６を生成する高画質化処理部１２４と、第１の画像データ１３２と、第２の画像データ１３６とを比較することにより、原画像の解像度を決定する解像度決定部１２６と、原画像の解像度に応じて高画質化処理部１２４を制御することにより、高画質化処理を調整する制御部１２６を含んで構成される。
【選択図】図１

Description

本発明は、画像処理装置、画像表示装置および画像処理方法に関する。

プロジェクター等の画像表示装置が画像を表示する場合、入力される画像信号に対してスケーリング、高画質化処理等の画像処理を実行し、当該画像処理を実行した状態の画像を表示する。しかし、一般的に、画像表示装置は、入力される画像信号がアップコンバートされた画像信号であるか、アップコンバートされていないＨＤ（High Definition）信号（ハイビジョンビデオ信号）であるかを判定していない。このため、例えば、１０８０ｐの画像信号が入力された場合、画像表示装置は、当該画像信号で表される原画像の解像度によらずに画像処理を実行しているため、適切な画像処理を実行できない場合がある。

具体的には、例えば、画像表示装置に入力される１０８０ｐの画像信号の場合、当該画像信号が、４８０ｐの画像信号がアップコンバートされた画像信号であったり、アップコンバートされていないＨＤ信号であったりする場合がある。アップコンバートされた画像信号は、一般的には原画像の解像度が低いので高周波成分が欠落しているため、画像表示装置は、ＨＤ信号に合わせた画像処理を実行しても、適切な効果が得られない。一方、画像表示装置は、ＳＤ（Standard Definition）信号（標準ビデオ信号）に合わせた画像処理を実行しても、実際の画像信号がＨＤ信号の場合は適切な効果が得られない。

例えば、特開２００９−１５０２５号公報では、複数の画像フレームの画像データにハイパスフィルター処理を実行した後のデータ量に基づき、当該複数の画像フレームが第１の画素数よりも小さい第２の画素数で構成される画像フレームから変換された画像フレームであるかどうかを判定することが記載されている。

特開２００９−１５０２５号公報

しかし、特開２００９−１５０２５号公報の手法では、複数の画像フレームの画像データに対する水平方向および垂直方向のハイパスフィルター処理、水平方向および垂直方向の拡大率判定処理、総合判定処理を実行するため、判定結果を得るまでの時間がかかる。また、当該手法では、フィードバック制御が行われておらず、判定結果に応じて画像処理を実行しても十分な効果が得られない可能性がある。

本発明にかかるいくつかの態様は、上記課題を解決することにより、アップコンバートされた画像信号が入力され得る状況で、画像信号に応じてより適切な画像処理を実行することが可能な画像処理装置、画像表示装置および画像処理方法を提供するものである。

本発明の態様の１つである画像処理装置は、画像供給装置から供給される画像信号に基づく第１の画像データと、当該第１の画像データに対して高画質化処理を実行することにより、第２の画像データを生成する高画質化処理部と、前記第１の画像データと、前記第２の画像データとを比較することにより、原画像の解像度を決定する解像度決定部と、当該解像度決定部によって決定された前記原画像の解像度に応じて前記高画質化処理部を制御することにより、前記高画質化処理を調整する制御部と、を含むことを特徴とする。

また、本発明の態様の１つである画像表示装置は、上記画像処理装置と、前記高画質化処理の実行された状態の画像を表示する表示部と、を含むことを特徴とする。

また、本発明の態様の１つである画像処理方法は、画像処理装置が、画像供給装置から供給される画像信号に基づく第１の画像データと、当該第１の画像データに対して高画質化処理を実行することにより、第２の画像データを生成し、前記第１の画像データと、前記第２の画像データとを比較することにより、原画像の解像度を決定し、決定した解像度に応じて前記高画質化処理部を制御することにより、前記高画質化処理を調整することを特徴とする。

本発明によれば、画像処理装置等は、高画質化処理前後の画像データを比較することによって原画像の解像度を決定し、決定した解像度に応じて高画質化処理部を制御することにより、アップコンバートされた画像信号が入力され得る状況で、画像信号に応じてより適切な画像処理を実行することができる。

また、前記制御部は、前記解像度決定部によって決定された解像度に応じたパラメーター値を使用させるように、前記高画質化処理部を制御してもよい。

これによれば、画像処理装置等は、決定した解像度に応じたパラメーター値を使用することにより、画像信号に応じてより適切な画像処理を実行することができる。

また、前記制御部は、前記解像度決定部における前記第１の画像データと前記第２の画像データとの比較結果に応じて使用対象のパラメーター値を調整することにより、前記高画質化処理部をフィードバック制御してもよい。

これによれば、画像処理装置等は、高画質化処理部をフィードバック制御することにより、原画像の解像度が変化する場合であっても、画像処理時の出力を安定させることができる。

また、前記解像度決定部は、前記第１の画像データに含まれる画像の中央付近の画素群の画素値と、前記第２の画像データに含まれる前記画素群の画素値との差違を示す値が閾値を超えているかどうかを判定するとともに、前記差違を示す値が前記閾値を超えている場合に前記原画像の解像度がＨＤ信号の解像度であると決定し、前記差違を示す値が前記閾値を超えていない場合に前記解像度がＳＤ信号の解像度であると決定し、前記制御部は、前記原画像の解像度がＨＤ信号の解像度である場合、ＨＤ信号用のパラメーター値を使用させ、前記原画像の解像度がＳＤ信号の解像度である場合、ＳＤ信号用のパラメーター値を使用させるように、前記高画質化処理部を制御してもよい。

これによれば、画像処理装置等は、例えば、ＳＤ信号がアップコンバートされたＨＤ信号が入力される場合であっても、元のＳＤ信号用のパラメーター値を使用することができるため、より適切な画像処理を実行することができる。

また、前記高画質化処理部は、輪郭強調処理を実行する輪郭強調処理部を含み、当該輪郭強調処理部は、前記第１の画像データに対して前記輪郭強調処理を実行することにより、前記第２の画像データを生成してもよい。

これによれば、画像処理装置等は、輪郭強調処理前後の画像データを比較することにより、原画像の解像度を適切に判定することができるため、より適切な画像処理を実行することができる。

第１の実施例におけるプロジェクターの機能ブロック図である。第１の実施例における画像処理手順を示すフローチャートである。第１の実施例における第１の画像データと第２の画像データを用いた平均値の演算手法を示す模式図である。第１の実施例における画像の周波数の高低を示す模式図である。

以下、本発明をプロジェクターに適用した実施例について、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（第１の実施例）
図１は、第１の実施例におけるプロジェクター１００の機能ブロック図である。プロジェクター１００は、ブルーレイディスクプレーヤー等の画像供給装置から画像信号（動画像の画像信号でも静止画像の画像信号でもよい）を入力する画像信号入力部１１０と、種々の画像処理を実行する画像処理部１２０と、種々のデータを記憶する記憶部１３０と、画像を生成して投写する投写部１９０を含んで構成されている。なお、投写部１９０は、画像処理部１２０による画像処理（高画質化処理等）が実行された状態の画像を表示する表示部の一種である。

画像処理装置の一種である画像処理部１２０は、記憶部１３０内のデータを更新する更新部１２２、高画質化処理部１２４、画像供給装置における原画像の解像度（例えば、ブルーレイディスク等に記録された画像そのものの解像度）が何であるかを決定する解像度決定部１２６、種々の制御を行う制御部１２８等を含んで構成されている。なお、高画質化処理部１２４は、輪郭強調処理部１２５等を含んで構成されている。

また、記憶部１３０は、画像信号入力部１１０からの画像信号に基づく処理前画像データ１３１、処理前画像データ１３１に対して輪郭強調処理部１２５による処理が実行された状態の処理後画像データ１３５、輪郭強調処理部１２５による処理用のパラメーターデータ１３８等を記憶している。

パラメーターデータ１３８は、ＨＤ信号の解像度に対応した微分フィルターの係数を、ＨＤ信号用のパラメーター値として含んでいる。さらに、パラメーターデータ１３８は、ＳＤ信号の解像度に対応した微分フィルターの係数を、ＳＤ信号用のパラメーター値として含んでいる。ここで、微分フィルターは、注目画素の重みの和が０となるようなものが好ましい。例えば、ＨＤ信号用のパラメーター値として｛−１，２，−１｝を、ＳＤ信号用のパラメーター値として｛−１，−１，４，−１，−１｝を、それぞれ採用することができる。なお、フィルター係数の組合せは、上記した例に限定されるものではなく、種々のパラメーター値を採用することができる。

また、処理前画像データ１３１は、後述する第１の画像データ１３２を含み、処理後画像データ１３５は、後述する第２の画像データ１３６を含んでいる。

なお、プロジェクター１００は、以下のハードウェアを用いてこれらの各部として機能してもよい。例えば、プロジェクター１００は、画像信号入力部１１０は画像信号入力端子、コンバーター等、画像処理部１２０はＣＰＵ、画像処理回路等、記憶部１３０はフレームメモリーとして機能するＲＡＭ等、投写部１９０はランプ、液晶パネル、液晶駆動回路、レンズ等を用いてもよい。

次に、第１の実施例における画像処理手順について説明する。図２は、第１の実施例における画像処理手順を示すフローチャートである。なお、本実施例では、画像供給装置の一種であるブルーレイディスクプレーヤーから１０８０ｐの画像信号がプロジェクター１００に入力され、プロジェクター１００は、原画像がＨＤ信号（ハイビジョンビデオ信号）の解像度であるか、ＳＤ信号（標準ビデオ信号）の解像度であるかを決定し、決定に応じた輪郭強調処理を実行するものとする。

画像信号入力部１１０は、ブルーレイディスクプレーヤーから画像信号が入力され、更新部１２２は、当該画像信号に基づく処理前画像データ１３１を記憶部１３０に記憶する（ステップＳ１）。

輪郭強調処理部１２５は、処理前画像データ１３１に対して輪郭強調処理（シャープネス補正）を実行して処理後画像データ１３５を生成する（ステップＳ２）。

解像度決定部１２６は、処理前画像データ１３１に含まれる第１の画像データ１３２における画素間の画素値の平均値Ｖを演算し（ステップＳ３）、処理後画像データ１３５に含まれる第２の画像データ１３６における画素間の画素値の平均値Ｖ’を演算する（ステップＳ４）。

図３は、第１の実施例における第１の画像データ１３２と第２の画像データ１３６を用いた平均値の演算手法を示す模式図である。

第１の画像データ１３２は、例えば、処理前画像データ１３１で表される画像中央における水平方向の８画素の画素値を示すデータである。解像度決定部１２６は、当該画素Ｐ（ｘ、ｙ）〜Ｐ（ｘ＋７、ｙ）における隣接画素間の画素値の差分値Ｄ（１）〜Ｄ（７）を演算する。さらに、解像度決定部１２６は、当該差分値Ｄ（１）〜Ｄ（７）の平均値Ｖを演算する。

同様に、第２の画像データ１３６は、例えば、処理後画像データ１３５で表される画像中央における水平方向の８画素の画素値である。解像度決定部１２６は、当該画素Ｐ’（ｘ、ｙ）〜Ｐ’（ｘ＋７、ｙ）における隣接画素間の画素値の差分値Ｄ’（１）〜Ｄ’（７）を演算する。さらに、解像度決定部１２６は、当該差分値Ｄ’（１）〜Ｄ’（７）の平均値Ｖ’を演算する。なお、差分値Ｄおよび差分値Ｄ’は、それぞれ絶対値であってもよいし、差分の自乗値であってもよい。

また、解像度決定部１２６は、平均値Ｖ’に対する平均値Ｖの割合を示す変化率Ｃ（Ｖ’をＶで割った値）を演算し（ステップＳ５）、変化率Ｃが閾値（例えば、１．０５〜１．２０等）を超えているかどうかを判定する（ステップＳ６）。なお、この閾値は、シミュレーションや実験の結果に基づき、適切な値を選択することができる。

図４は、第１の実施例における画像の周波数の高低を示す模式図である。図４において黒丸と白丸はそれぞれの画素値が大きく異なっていることを示す。例えば、画像信号入力部１１０に１０８０ｐの画像信号が入力された場合を想定する。

ブルーレイディスクプレーヤーがブルーレイディスクに収録されたＨＤ信号の解像度の画像信号を出力した場合、一般的に、１０８０ｐの画像信号に含まれる周波数成分は高周波のものになる。これに対し、ブルーレイディスクプレーヤーがＤＶＤに収録されたＳＤ信号の解像度の画像信号をアップコンバートして出力した場合、一般的に、１０８０ｐの画像信号に含まれる周波数成分は、ＨＤ信号に含まれる周波数成分よりも低周波のものになる。

特に、輪郭強調処理が実行された場合、輪郭強調処理の実行前における処理前画像データ１３１と比べてアップコンバートの有無による処理後画像データ１３５の相違は大きくなる。すなわち、アップコンバートされていない画像信号の場合、高周波のデータに対して輪郭強調処理が実行されるため、効果が大きく、変化率Ｃも大きくなる。これに対し、アップコンバートされている画像信号の場合、低周波のデータに対して輪郭強調処理が実行されるため、効果が小さく、変化率Ｃも小さくなる。

変化率Ｃが閾値を超えている場合、解像度決定部１２６は、原画像の解像度がＨＤ信号の解像度であると決定し（ステップＳ７）、制御部１２８は、パラメーターデータ１３８に基づき、輪郭強調処理部１２５に対してＨＤ信号用のパラメーター値を使用させる制御を行い、輪郭強調処理部１２５は、ＨＤ信号用のパラメーター値を使用して輪郭強調処理を実行する（ステップＳ８）。

一方、変化率Ｃが閾値を超えていない場合、解像度決定部１２６は、原画像の解像度がＳＤ信号の解像度であると決定し（ステップＳ９）、制御部１２８は、パラメーターデータ１３８に基づき、輪郭強調処理部１２５に対してＳＤ信号用のパラメーター値を使用させる制御を行い、輪郭強調処理部１２５は、ＳＤ信号用のパラメーター値を使用して輪郭強調処理を実行する（ステップＳ１０）。

なお、高画質化処理部１２４は、輪郭強調処理部１２５による輪郭強調処理以外にも、例えば、ガンマ処理、ノイズリダクション処理等を実行してもよい。また、パラメーター値としては、例えば、輪郭強調用の係数、輪郭強調用のフィルター（例えば、水平方向の２次微分フィルター）等が該当する。

投写部１９０は、画像処理部１２０による画像処理後の画像データに基づき、画像を生成し、当該画像を投写する（ステップＳ１１）。

以上のように、本実施例によれば、プロジェクター１００は、高画質化処理（本実施例では輪郭強調処理）前後の画像データを比較することによって原画像の解像度を決定し、決定した解像度に応じて高画質化処理部１２４を制御することにより、アップコンバートされた画像信号が入力され得る状況で、ユーザーに原画像の解像度を選択させることなく、画像信号に応じて適切な画像処理を実行することができる。

例えば、ＤＶＤの画像信号がアップコンバートされた１０８０ｐの画像信号が入力された場合、一般的な手法ではＨＤ信号用のパラメーター値が使用されるため、輪郭強調の効果が小さいのに対し、本実施例の手法では、ＳＤ信号用のパラメーター値が使用されるため、輪郭強調の効果が大きく、より適切な画像が投写される。

また、本実施例によれば、プロジェクター１００は、通常の高画質化処理で実行されている輪郭強調処理の処理前後のデータを比較するだけで原画像の解像度を決定できるため、簡易な構成で効率的に原画像の解像度を決定できる。

さらに、本実施例によれば、プロジェクター１００は、画像中央の８画素分のデータを用いることにより、原画像に字幕や黒帯が含まれる場合であっても、黒帯等の影響を受けず、適切かつ効率的に原画像の解像度の決定等を行うことができる。

（その他の実施例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、制御部１２８は、解像度決定部１２６における第１の画像データ１３２と第２の画像データ１３６との比較結果に応じて使用対象のパラメーター値を調整することにより、高画質化処理部１２４を数秒ごとにフィードバック制御してもよい。

これによれば、プロジェクター１００は、高画質化処理部１２４をフィードバック制御することにより、画像処理部１２０の出力をより安定させることができるため、原画像の解像度が変化する場合であっても、画像処理時の出力を安定させることができる。

なお、フィードバック制御の手法は、例えば、ＰＩ制御、ＰＩＤ制御等であってもよい。また、第１の実施例における原画像の解像度の決定および当該決定に応じた制御は、画像信号の最初の入力時に実行されてもよいし、画像信号が入力されてある程度の時間が経過し、画像信号が安定した状態で実行されてもよい。

また、処理前画像データ１３１と処理後画像データ１３５（第１の画像データ１３２と第２の画像データ１３６）は、フレームメモリー等における同じアドレスに上書きされてもよいし、異なるアドレスに書き込まれてもよい。同じアドレスに上書きされれば記憶部１３０における占有量を低減でき、異なるアドレスに書き込まれればフィードバック制御等が実行されやすくなる。

また、制御部１２８は、高画質化処理部１２４を制御する場合、目標とする値が１回で得られるように制御してもよいし、徐々に目標とする値になるように制御してもよい。

また、第１の画像データ１３２および１３６は画像中央の８画素分のデータに限定されず、例えば、画像中央の１６画素分のデータ、１画素以上離れた位置にある複数画素分のデータ等であってもよく、第１の画像データ１３２は処理前画像データ１３１の全体であってもよく、第２の画像データ１３６は処理後画像データ１３５の全体であってもよい。

また、解像度決定部１２６は、第１の画像データ１３２と第２の画像データ１３６の差違を示す値として、上述した変化率に代え、例えば、差分値等を用いてもよい。また、上述した実施例では、水平方向の隣接画素間の差分値の平均値が用いられているが、垂直方向の隣接画素間の差分値の平均値が用いられてもよく、各画素の画素値の平均値が用いられてもよい。

また、解像度決定部１２６が比較する第１の画像データ１３２と第２の画像データ１３６は、輪郭強調処理部１２５による処理前後のデータに限定されず、例えば、高画質化処理部１２４に含まれるノイズリダクション処理部による処理前後のデータであってもよい。解像度決定部１２６は、例えば、ノイズリダクション処理におけるローパスフィルターのカットオフによる高域成分の減少度合いを比較することにより、原画像の解像度を決定することが可能である。

また、解像度決定部１２６は、同時に３つ以上の解像度を決定（例えば、上述した解像度に加えて７２０ｐのＨＤ信号を決定）してもよい。また、解像度決定部１２６は、ＡＰＬ（Average Picture Level）等に基づいて入力画像信号が動画像を示すものであるか静止画像を示すものであるかを判定し、静止画像が所定時間（例えば、１０秒等）以上連続している場合に上述した解像度の決定を行い、静止画像が入力されてから当該所定時間が経過するまでは原画像の解像度をＨＤ信号の解像度に決定してもよい。これによれば、プロジェクター１００は、例えば、メニュー画像等が一時的に表示されている場合等における解像度の誤判定を防止することができる。

また、プロジェクター１００は、上述した解像度の自動決定を行うかどうかをユーザーに選択させたり、上述した閾値をユーザーに選択させたりしてもよく、解像度決定部１２６は、当該選択に応じて解像度の決定を行ってもよい。

また、プロジェクター１００の有するコンピューターは、情報記憶媒体に記憶されたプログラムを読み取って解像度決定部１２６等として機能してもよい。このような情報記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用できる。

また、プロジェクター１００は、液晶プロジェクター（透過型、ＬＣＯＳ等の反射型）に限定されず、例えば、デジタルマイクロミラーデバイスを用いたプロジェクター等であってもよい。また、プロジェクター１００の機能を複数の装置（例えば、ＰＣとプロジェクター等）に分散してもよい。

また、画像表示装置は、プロジェクター１００に限定されず、例えば、テレビ、液晶モニター等であってもよい。また、画像処理装置は、プロジェクター１００内の画像処理部１２０に限定されず、例えば、ＰＣ（Personal Computer）、ＨＤＤレコーダー等であってもよい。

１００プロジェクター（画像表示装置）、１１０画像信号入力部、１２０画像処理部（画像処理装置）、１２２更新部、１２４高画質化処理部、１２５輪郭強調処理部、１２６解像度決定部、１２８制御部、１３０記憶部、１３１処理前画像データ、１３２第１の画像データ、１３５処理後画像データ、１３６第２の画像データ、１３８パラメーターデータ、１９０投写部（表示部）

Claims

画像供給装置から供給される画像信号に基づく第１の画像データに対して高画質化処理を実行することにより、第２の画像データを生成する高画質化処理部と、
前記第１の画像データと、前記第２の画像データとを比較することにより、原画像の解像度を決定する解像度決定部と、
当該解像度決定部によって決定された前記原画像の解像度に応じて前記高画質化処理部を制御することにより、前記高画質化処理を調整する制御部と、
を含む画像処理装置。
請求項１に記載の画像処理装置において、
前記制御部は、前記解像度決定部によって決定された解像度に応じたパラメーター値を使用させるように、前記高画質化処理部を制御する、
画像処理装置。
請求項２に記載の画像処理装置において、
前記制御部は、前記解像度決定部における前記第１の画像データと前記第２の画像データとの比較結果に応じて使用対象のパラメーター値を調整することにより、前記高画質化処理部をフィードバック制御する、
画像処理装置。
請求項１〜３のいずれかに記載の画像処理装置において、
前記解像度決定部は、前記第１の画像データに含まれる画像の中央付近の画素群の画素値と、前記第２の画像データに含まれる前記画素群の画素値との差違を示す値が閾値を超えているかどうかを判定するとともに、前記差違を示す値が前記閾値を超えている場合に前記原画像の解像度がＨＤ信号の解像度であると決定し、前記差違を示す値が前記閾値を超えていない場合に前記解像度がＳＤ信号の解像度であると決定し、
前記制御部は、前記原画像の解像度がＨＤ信号の解像度である場合、ＨＤ信号用のパラメーター値を使用させ、前記原画像の解像度がＳＤ信号の解像度である場合、ＳＤ信号用のパラメーター値を使用させるように、前記高画質化処理部を制御する、
画像処理装置。
請求項１〜４のいずれかに記載の画像処理装置において、
前記高画質化処理部は、輪郭強調処理を実行する輪郭強調処理部を含み、
当該輪郭強調処理部は、前記第１の画像データに対して前記輪郭強調処理を実行することにより、前記第２の画像データを生成する、
画像処理装置。
請求項１〜５のいずれかに記載の画像処理装置と、
前記高画質化処理の実行された状態の画像を表示する表示部と、
を含む画像表示装置。
画像処理装置が、
画像供給装置から供給される画像信号に基づく第１の画像データに対して高画質化処理を実行することにより、第２の画像データを生成し、
前記第１の画像データと、前記第２の画像データとを比較することにより、原画像の解像度を決定し、
決定した解像度に応じて前記高画質化処理部を制御することにより、前記高画質化処理を調整する、
画像処理方法。