JP2013128286A - 画質モード設定方法、映像処理方法、および映像装置 - Google Patents

Abstract

【課題】高品質なＨＤ映像出力が可能な映像出力機器を映像表示装置に接続した際に、映像出力機器が出力する映像に応じて、任意に像表示装置の画質モードを選べるようにする。
【解決手段】入力映像（1080p）をそのまま出力するピュアダイレクトモードと、入力映像（480i/480p）をよりスキャンレートの高い映像信号へアップコンバートして出力するビデオファインモードと、入力映像の種類によって映像成分に補正を自動的に加えて出力するおまかせモードを用意する。ピュアダイレクトモードとおまかせモードとビデオファインモードの選択メニュー（Ｍ３）を表示する（ＳＴ１０２）。映像出力機器が高品質なＨＤ映像を出力する場合は、前記ピュアダイレクトモードを前記入力映像の視聴者（ユーザ）が選択できるようにする（ＳＴ１０４）。
【選択図】図２

Description

この発明は、種々な画質の映像を扱える映像装置と映像処理方法および、この装置に外部映像出力機器が接続された際の画質モードを設定する方法に関する。

ＤＶＤビデオなどの標準解像度映像（Standard Definition：ＳＤ映像：480×480〜720×480ドット）あるいは地上デジタル放送などの準高解像度映像（1440×1080ドット）を高解像度映像（Full High Definition：フルＨＤ映像：1920×1080ドット）にアップコンバートする技術（超解像処理）が提案されている（特許文献１参照）。

特開２００８−６７１１０号公報

映像のアップコンバートが実用化されたことにより、ＨＤ映像信号（ハイビジョン信号）には、本来のフルＨＤ映像信号の他に、ＳＤ映像をＨＤ信号形態にアップコンバートしたものが混在し得るようになってきた。しかし、そのＨＤ映像信号を受ける映像表示装置では、画面の明るさ的な要素（ブライトネス、コントラストなど）および見た目の鮮鋭感的な要素（シャープネスなど）の調整はユーザに開放されていても、信号形態応じた解像度的な要素の調整は装置まかせであった。

同じハイビジョン信号出力の映像機器であってもその出力信号品質は千差万別である。高品質なフルＨＤ映像信号（例えば水平解像度1080本のプログレッシブビデオ信号：1080pと略記）を出力する高級ビデオプレーヤの所持者は、プレーヤ出力の生の高画質映像を見たいであろう。しかし、従来の映像表示装置ではその希望がかなうとは限らず、高品質なフルＨＤ映像が、映像表示装置内部で何らかの処理を受けて、相対的に品位が落ちた画質で視聴される可能性があった。

この発明の課題の１つは、高品質なＨＤ映像出力が可能な映像出力機器を映像表示装置に接続した際に、映像出力機器が出力する映像に応じて、任意に映像表示装置の画質モードを選べるようにすることである。

この発明の一実施の形態に係る画質モード設定方法では、入力映像（1080p）をそのまま出力するピュアダイレクトモードと、入力映像（480i/480p）をよりスキャンレートの高い映像信号へアップコンバートして出力するビデオファインモードと、入力映像の種類によって映像成分に補正を自動的に加えて出力するおまかせモードが用いられる。この方法を用いる映像表示装置では、ピュアダイレクトモードとおまかせモードとビデオファインモードの選択メニュー（Ｍ３）を表示し、前記ピュアダイレクトモードと前記おまかせモードと前記ビデオファインモードのうちの任意の１つを前記入力映像の視聴者（ユーザ）が選択できるようにしている。

この発明によれば、高品質なＨＤ映像出力が可能な映像出力機器を映像表示装置に接続した際に、映像出力機器が出力する映像（1080pなど）に応じて、任意に映像表示装置の画質モード（ピュアダイレクトモードなど）を選ぶことができる。

この発明の一実施の形態に係るメニュー表示例を説明する図。 この発明の一実施の形態に係るメニュー表示選択処理の一例を説明する図。 この発明の一実施の形態に係るメニュー表示選択処理の他例を説明する図。 この発明の一実施の形態に係る、映像表示装置の構成の一例を説明する図。 超解像技術を利用した映像処理部の構成例を説明する図。 鮮鋭化処理技術を利用した映像処理部の構成例を説明する図。 ヒストグラム取得／周波数状態判定部の構成を説明する図。 映像の鮮鋭化処理の具体例を説明する図。 鮮鋭化帯域フィルタと鮮鋭化加算処理部の具体例を説明する図。

以下、図面を参照してこの発明の種々な実施の形態を説明する。図１は、この発明の一実施の形態に係るメニュー表示例を説明する図である。ユーザが図示しないリモコンの設定メニューキーを押すと、ハイビジョンＴＶセット等の映像装置の表示画面上に、映像設定項目を含むメニューＭ１が表示される（図１左側）。図示しないリモコンのカーソルキー操作でメニューＭ１中の「映像設定」項目を選択し、同リモコンのエンターキーを押すと、当該装置で最高の画質モードである1080p処理モードを設定する項目を含むメニューＭ２が表示される（図１中央）。続いてリモコンのカーソルキー操作でメニューＭ２中の「1080p処理モード設定」項目を選択し、同リモコンのエンターキーを押すと、「おまかせ」項目と「ＤＶＤファイン」項目と「ピュアダイレクト」項目を含むメニューＭ３が表示される（図１右側）。

ここで、「おまかせ」項目は、映像の種類によって自動的に補正を加えて表示するモードの選択項目である。「ＤＶＤファイン」項目は、ＤＶＤビデオのＳＤ映像を超解像処理などでアップコンバートした映像に適宜補正を加えて表示するモードの選択項目である。「ピュアダイレクト」項目は、当該映像装置で扱い得る最高の画質モードに対応した高画質ＨＤ映像（1080p）に対しては、特別な処理をせずにそのまま表示するモードの選択項目である。

図２は、この発明の一実施の形態に係るメニュー表示選択処理の一例を説明する図である。この処理は、図１のメニュー表示に用いる画像情報（オンスクリーン情報）を生成する機能と、このメニューにより選択された項目に対応する映像処理を行う機能と、前記メニュー画像情報および入力映像を表示する機能を持つ映像装置において、実行することができる。この映像装置の具体的な製品形態としては、ビデオ入力端子（ＨＤＭＩ端子、Ｄ１〜Ｄ５端子、ＤＶＩ端子、ＩＥＥＥ１３９４端子など）を持つデジタルハイビジョンＴＶ受信機、ビデオ入力端子を持つモニタ付パーソナルコンピュータ、外部モニタに接続されビデオ入力端子を持つデジタルレコーダ、外部モニタに接続されビデオ入力端子を持つセットトップボックスなどがある。この映像装置に映像信号を供給する外部機器としては、ビデオ出力端子（ＨＤＭＩ端子、Ｄ端子など）を持つＤＶＤプレーヤ、ＢＤプレーヤ、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤレコーダ、セットトップボックス（ＳＴＢ）などがある。

映像装置にＨＤＭＩ（High Definition Multimedia Interface）などのデジタルインターフェースを介して外部機器が接続され、あるいは接続された外部機器から映像装置に映像入力があると（ＳＴ１００）、図１のメニューＭ３が表示される（ＳＴ１０２）。このメニューはオンスクリーン（ＯＳＤ）処理により生成できる。ここで、メニューを生成する処理は、ＨＤＭＩなどの信号端子に複数解像度（例えば480i/p〜1080i/p）の入力が得られる場合に、前記メニューの画像情報を提供するように構成できる。

外部機器が例えば高級ハイビジョンプレーヤで高画質ＨＤ映像（例えば1080p）を送出する機器であるときは、ユーザはメニューＭ３から「ピュアダイレクト」の項目を選んでリモコン（後述する図４の装置では１７）のエンターキーを押す（ＳＴ１０４の「ピュアダイレクト」分岐）。すると、入力された高画質ＨＤ映像（1080p）を無加工でそのまま表示する処理へ移行する。外部機器が例えばＤＶＤプレーヤでＳＤ映像（例えば480iまたは480p）を送出する機器であるときは、ユーザはメニューＭ３から「ＤＶＤファイン」の項目を選んでリモコンのエンターキーを押す（ＳＴ１０４の「ＤＶＤファイン」分岐）。すると、入力されたＳＤ映像（480iまたは480p）は超解像処理などでアップコンバート（1080iまたは1080p）され画質改善されてから表示する処理へ移行する（ＳＴ１０６）。ＳＴ１０６の超解像処理には、特開２００８−６７１１０号公報に開示された超解像処理（この公報の図４、図５および、段落００２０、段落００５１等参照）を利用することができる。

ここで、超解像処理は、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を含む。「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。

さらに詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルＨＤ高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルＨＤ高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。

このように、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、以上説明した超解像処理は一例であり、他の手法を適用することも出来る。

なお、ＤＶＤビデオのＳＤ信号（相対的に低品質な映像信号）をアップコンバートした映像信号（外部機器側でＤＶＤビデオ信号を例えば1080pにアップコンバートした信号など）の信号品質をさらに改善して表示する画質モード（第３の画質モード）がメニューの「ＤＶＤファイン」で選択される場合において、前記アップコンバートした映像信号の信号品質改善処理（超解像処理など）を行うように構成することもできる。すなわち、スキャンレートが1080pのまま変わらなくても超解像処理などによりさらに品質改善される場合も、「ＤＶＤファイン」におけるアップコンバートに含まれる。

接続される外部機器が複数あり、あるいは外部機器から入力される映像信号の信号品質が複数あって、入力される信号品質が特定し難いときは、ユーザはメニューＭ３から「おまかせ」の項目を選んでリモコンのエンターキーを押す（ＳＴ１０４の「おまかせ」分岐）。すると、入力された映像のビデオ属性から解像度およびフレームレート（スキャンレート）を解読し、入力された映像の空間周波数分布をフレーム単位のヒストグラムから分析して、映像分析を行う（ＳＴ１０８）。この分析結果から、入力映像の空間周波数分布（細かい映像成分が多いか少ないか等を示す）に応じた鮮鋭化処理を行い、処理後の映像を表示する処理へ移行する（ＳＴ１１０）。ＳＴ１１０の鮮鋭化処理の詳細については後述する。

なお、「おまかせ」モードでＳＴ１０６の超解像処理を行い、「ＤＶＤファイン」モードでＳＴ１０８〜ＳＴ１１０の映像分析〜鮮鋭化処理を行うようにしてもよい。

図３は、この発明の一実施の形態に係るメニュー表示選択処理の他例を説明する図である。図３のＳＴ１００〜ＳＴ１１０の処理は図２のＳＴ１００〜ＳＴ１１０の処理と同じでよいが、図３の処理ではＳＴ１０８とＳＴ１１０の間にＳＴ１０９が入っている。ＳＴ１０９では、入力映像信号のビデオ属性から1080p信号であるか否かと、分析映像のヒストグラムに含まれる高域成分が所定値以上であるか否かが判定される。すなわち、「おまかせ」モードにおいて最高画質の映像（1080pで細かい絵柄が多い）が検知されたときは（ＳＴ１０９イエス）、ＳＴ１０４における「ピュアダイレクト」モード分岐と同じ処理が行われる。一方、「おまかせ」モードにおいて最高画質の映像でない（1080pでない、あるいは1080pであってもＳＤ映像のアップコンバート映像であって細かい絵柄が少ないなど）が検知されたときは（ＳＴ１０９ノー）、ＳＴ１１０の処理が行われる。

図３の「おまかせ」モードにしておけば、入力される映像の種類をユーザが一々考えなくても、入力される映像信号の品質（480i/p〜1080i/p）に応じて適宜画質改善（ＳＴ１０９ノーからＳＴ１１０へ）が施された映像を表示できるばかりでなく、入力される映像信号の最高品質（1080p）を損なうことなくそのまま当該映像装置の最高画質品位（1080p）で表示することもできる（ＳＴ１０９イエス）。

図４は、この発明の一実施の形態に係る、映像装置（デジタルＴＶ受信機１１）の構成の一例を説明する図である。このデジタルＴＶ受信機１１は、ＩＥＥＥ８０２．３準拠の通信インターフェース７３に繋がる信号端子２１、第１のＨＤＭＩインターフェース７４に繋がる信号端子２２、第２のＨＤＭＩインターフェース７５に繋がる信号端子２３、第１のＤ端子インターフェース７４ａに繋がる信号端子２２ａ、第２のＤ端子インターフェース７５ａに繋がる信号端子２３ａ、ＵＳＢ（Universal Serial Bus）インターフェース７６に繋がる信号端子２４、ＩＥＥＥ１３９４準拠の通信インターフェース７７に繋がる信号端子２５、ＤＶＩ（Digital Visual Interface）インターフェース７８に繋がる信号端子２６などを装備している。その他のビデオソースとして、ハイビジョンデジタル放送を録画できるＨＤＤレコーダ８４も装備されている。

図４の例では、ＩＥＥＥ８０２．３信号端子２１と第１のＨＤＭＩ信号端子２２と第１のＤ端子２２ａにハイビジョン対応ＤＶＤレコーダ（衛星デジタル／地上デジタルチューナ内臓）７９が接続され、第２のＨＤＭＩ信号端子２３と第２のＤ端子２３ａとＩＥＥＥ１３９４信号端子２５に高級ＤＶＤプレーヤ（またはＢＤプレーヤ）８０が接続され、ＵＳＢ信号端子２４とＤＶＩ信号端子２６にＤＶＤ／ＢＤドライブ内臓でハイビジョンビデオ再生可能なＰＣ（Personal Computer）８１が接続されている。

端子２１〜２６、２２a〜２３ａに入力された外部映像信号あるいはＨＤＤレコーダ８４の再生信号は制御部６５で適宜選択され、選択された映像信号Ｓ６５は映像処理部６２へ送られる。一方、ＯＳＤ信号生成部６１で生成されたメニュー画像等のＯＳＤ信号Ｓ６１はグラフィック処理部５８へ送られる。メニュー画像（図１参照）の表示処理を含む図２または図３の処理は、制御部６５内のファームウエアであるメニュー表示制御部６６ａにより行われる。

グラフィック処理部５８には、信号処理部５１を介してＴＶ放送番組等の映像信号Ｓ５１が入力される。この映像信号Ｓ５１および／またはメニュー画像を含むＯＳＤ信号Ｓ６１に対応する映像信号Ｓ５８が、映像処理部６２へ送られる。映像処理部６２は、入力された信号（Ｓ５８またはＳ６５）に超解像処理および／または鮮鋭化処理を施し、高品質な映像信号Ｓ６２として映像表示部（フラットパネルディスプレイなど）１４へ送出する。映像処理部６２で処理された映像信号Ｓ６２は、ビデオ端子（ＨＤＭＩ端子、Ｄ５端子など）６３を介して外部モニタ８２へも送出可能となっている。

図５は、超解像技術を利用したアップコンバートを行う映像処理部の構成例を説明する図である。図１のグラフィック処理部５８からの映像信号Ｓ５８または制御部６５で選択された映像信号Ｓ６５は、ＩＰ変換／ＮＲ処理／スケーリング処理部６２１に入力される。この処理部６２１において、入力信号がインターレース信号であればプログレッシブ信号に変換され（ＩＰ変換）、入力信号がノイズの多い信号であれば適宜ノイズ低減処理が施され（ＮＲ処理）、入力信号の画像が映像表示部１４の表示エリアに程よく収まらないようなサイズであれば適正サイズで表示エリアに収まるようなスケーリング処理が施される。このような処理が施された信号Ｓ６２１が超解像変換処理部６２２に入力される。

超解像変換処理部６２２は、入力された信号Ｓ６２１に対して超解像処理を施して、1080pにアップコンバートされた信号Ｓ６２２を出力する。アップコンバートされた信号Ｓ６２２は動画像改善処理部６２３に入力される。この処理部６２３において、例えば毎秒６０コマの画像の隣接フレーム間の動きが毎秒１２０コマの区切りで補間される。この補間処理（モーションクリア処理）により、信号Ｓ６２２の動画像の見え方がクリアとなる。超解像変換処理部６２２で1080pにアップコンバートされ、動画像改善処理部６２３で動画像の見え方が改善された映像信号Ｓ６２が、表示部１４で表示され、あるいは外部モニタ８２で表示されることになる。

上記の超解像処理（図２または図３のＳＴ１０６）は、480i/p〜720i/pのみならず1080i/pの映像に対しても動作可能である。そのため、例えばＤＶＤや地上デジタル放送を1080i/pへアップコンバートした外部入力信号に対しても、超解像処理によりさらに精細感を向上させることができる。さらに、図２または図３のＳＴ１０６〜ＳＴ１１０において、周波数ヒストグラム検出により超解像の再構成処理ゲインやフィルタを自動制御し、入力信号に対して高域成分を補正し、映像シーンに応じた最適な処理も可能である。このような処理は、映像処理部６２（その内部の超解像変換処理部６２２および／または鮮鋭化処理装置６２ａ）により行うことができる。

また、超解像処理は「おまかせ」モードのほか、ＤＶＤの再生に最適な画質モード「ＤＶＤファイン」でも有効である。また、「ピュアダイレクト」モードでは、ＢＤプレーヤなどで4:4:4にクロマアップサンプリング処理された信号をそのまま表示することもできる。通常は4:4:4信号を入力すると、一部プロセスで4:2:2に変換し、表示時に4:4:4に戻して処理しているが、「ピュアダイレクト」モードでは一部プロセスをスキップして、4:4:4のまま入力から出力までを一貫処理できる。

ＨＤＭＩ入力については、ＲＧＢ入力時のダイナミックレンジをフルレンジ（８ビット階調レベル0-255）とリミテッド（階調レベル16-235）から任意に選択できる「ＲＧＢ入力ダイナミックレンジ切替」も可能である。ＨＤＭＩ入力した映像の解像度や走査方式、アスペクト、色深度、色空間、クロマフォーマットなどを画面（ＯＳＤ信号生成部６１による表示）上で確認することもできる。また、クロマフォーマットごとに最適な処理を行なう色帯域切替も可能である。これにより、「スタンダード」と、より広色域表現が可能という「ワイド」の２モードが選択できる。

図６は、鮮鋭化処理技術を利用した映像処理部の構成例を説明する図である。鮮鋭化処理装置６２ａに入力される映像信号の原信号としては、例えばレコーダ７９からＤ端子２２ａへ入力される480i〜1080iの映像信号、プレーヤ８０からＨＤＭＩ端子２３へ入力される1080pの高品位映像信号、ＰＣ８１からＤＶＩ端子２６へ入力される480i〜720pの映像信号、ＨＤＤレコーダ８４から制御部６５へ送出される480i/p〜1080i/pの映像信号などを想定することができる。

この映像信号（Ｓ５８、Ｓ６５またはＳ６２１）は、輝度信号（Ｙ）１０１、色差青信号（Ｃｂ／Ｐｂ）１０２、および色差赤信号（Ｃｒ／Ｐｒ）１０３を含んでいる（場合によっては赤緑青のＲＧＢ信号の場合もあり得る）。映像信号１０１〜１０３はフレームメモリ１２４に一旦格納される。また、映像信号１０１〜１０３のうち少なくとも輝度信号（Ｙ）１０１に対して、フレーム毎に、周波数帯域分布を示すヒストグラムを取得する。このヒストグラム取得はヒストグラム取得／周波数状態判定部１０４において行われる。

ヒストグラム取得／周波数状態判定部１０４は、取得したヒストグラムから、入力された輝度信号（Ｙ）の周波数状態（信号の低域成分から高域成分までがどのように分布しているか）をフレーム単位でチェックしている。このチェック結果から、ヒストグラム取得／周波数状態判定部１０４は、低域成分に対して高域成分が相対的に少ないのか多いのかの判定を、リアルタイムで行う。ヒストグラム取得／周波数状態判定部１０４による判定結果が出ると、フレームメモリ１２４に格納された映像信号１０１〜１０３は、それらに対応する信号１０１＊〜１０３＊として読み出される（フレームメモリ１２４は一種の遅延素子として機能している）。読み出された信号１０１＊〜１０３＊は、鮮鋭化処理ブロック１０７内の鮮鋭化帯域フィルタ１０８および鮮鋭化加算処理部１１０に入力される。

ヒストグラム取得／周波数状態判定部１０４は、低域成分に対して高域成分が相対的に少ないのか多いのかを判定し、その判定結果として、状態判定データ（制御パラメータ）１０５を鮮鋭化帯域フィルタ１０８に供給する。状態判定データ（制御パラメータ）１０５は、鮮鋭化を行うための映像信号成分を抽出する鮮鋭化帯域フィルタ１０８に対する、制御信号（微小信号コアリング制御信号）となる。

また、ヒストグラム取得／周波数状態判定部１０４は、低域成分に対して高域成分が相対的に少ないのか多いのかの前記判定結果として、状態判定データ（制御パラメータ）１０６を加算器１１１に供給する。状態判定データ（制御パラメータ）１０６は、鮮鋭化効果を決定するための制御信号（効果ゲイン制御信号）となっている。加算器１１１には、鮮鋭化の程度を決めるイニシャルパラメータ（装置メーカによる標準設定値あるいはユーザが好みで決めたユーザ設定値）が与えられている。加算器１１１は、状態判定データ（制御パラメータ）１０６にイニシャルパラメータを加えた鮮鋭化効果ゲイン制御信号１１２を、鮮鋭化加算処理部１１０に供給する。

鮮鋭化帯域フィルタ１０８および鮮鋭化加算処理部１１０で構成される鮮鋭化処理ブロック１０７は、フレームメモリ１２４から読み出された信号１０１＊〜１０３＊に対し、フレーム単位で鮮鋭化処理を施す（この鮮鋭化処理の内容は、フレーム内の絵柄が変わると、適宜変化する）。鮮鋭化処理ブロック１０７により適宜鮮鋭化された輝度信号（Ｙ＊）１２１、色差青信号（Ｃｂ＊／Ｐｂ＊）１２２、および色差赤信号（Ｃｒ＊／Ｐｒ＊）１２３に対応する信号Ｓ６２は、映像表示部１４に供給される。また、この信号Ｓ６２は、フルＨＤ信号を扱うことができるＨＤＭＩ端子２２、２３あるいはＤ端子（Ｄ５端子など）２２ａ、２３ａを介して、外部に出力することもできる。

図７は、ヒストグラム取得／周波数状態判定部１０４の構成を説明する図である。鮮鋭化処理ブロック１０７に入力された映像信号（Ｓ５８、Ｓ６５またはＳ６２１）のうち、輝度信号（Ｙ）１０１は、フレーム単位で、ｎ個のバンドパスフィルタＢＰＦ１〜ＢＰＦｎと１個のハイパスフィルタＨＰＦに入力される。ここで、ＨＰＦは、フルＨＤ信号でなければ頻繁に表れないような微細映像信号成分（空間周波数の特に高い成分）を通過させる。ＢＰＦ１は、ＳＤ映像あるいはＨＤ映像のうち変化が少ない映像信号成分（空間周波数の低い成分）を選択的に通過させる。ＢＰＦｎは、ＳＤ映像あるいはＨＤ映像のうち変化が多い映像信号成分（空間周波数の高い成分）を選択的に通過させる。ＢＰＦ２〜ＢＰＦ（n-1）は、変化が少ない場合と変化が多い場合の間の映像信号成分を、複数の周波数区間に区切って、選択的に通過させる。これらのＢＰＦ１〜ＢＰＦｎおよびＨＰＦを用いて、入力映像のフレーム内情報分布（ヒストグラム）を取得することができる。

すなわち、ある１つのデジタル映像フレーム（例えば1920×1080ピクセル相当のフレーム）内において、ＢＰＦ１を通過する信号成分に対応したピクセルの発生頻度（大きな面積の画像の表示に用いられるピクセルの累積ピクセル数）から、ＢＰＦｎを通過する信号成分に対応したピクセルの発生頻度（小さな面積の画像の表示に用いられるピクセルの累積ピクセル数）までと、ＨＰＦを通過する信号成分に対応したピクセルの発生頻度（極小さな面積の画像の表示に用いられるピクセルの累積ピクセル数）のヒストグラムが、ＢＰＦ１〜ＢＰＦｎおよびＨＰＦそれぞれの出力を累積記憶することで得られる。この累積記憶は、レジスタ１０４１〜１０４ｎおよび１０４ｈ内で行われる。

レジスタ１０４１は、ＢＰＦ１の通過帯域に対応する累積ピクセル数に所定の重み付け係数を掛けた値を記憶する。レジスタ１０４２は、ＢＰＦ２の通過帯域に対応する累積ピクセル数に所定の重み付け係数を掛けた値を記憶する。以下同様にして、レジスタ１０４ｎは、ＢＰＦｎの通過帯域に対応する累積ピクセル数に所定の重み付け係数を掛けた値を記憶する。また、レジスタ１０４ｈは、ＨＰＦの通過帯域に対応する累積ピクセル数に所定の重み付け係数を掛けた値を記憶する。なお、各レジスタにおける重み付け係数をどのように選ぶかは、鮮鋭化処理対象の映像コンテンツ（映画フィルム映像かスタジオビデオ映像かＣＧアニメ映像か等）によりケースバイケースで実験的に決める。

レジスタ１０４１〜１０４ｎに記憶された累積ピクセル数は、加算器１０４ａにより合算され、その合算結果が基準データＡとして比較器１０４ｃに入力される。一方、レジスタ１０４ｈに記憶された累積ピクセル数は、比較データＢとして比較器１０４ｃに入力される。比較器１０４ｃは、加算器１０４ａから入力された基準データＡを基に、レジスタ１０４ｈから入力された比較データＢが大きいか小さいかの判定を行う（この大小判定はレジスタ１０４１〜１０４ｎ、１０４ｈにおける重み付けの程度に影響される）。

なお、比較器１０４ｃは、最も簡単な場合は２値コンパレータとなるが、この実施の形態では、データＡとデータＢの大きさの違いの程度に応じた多値を出力するマルチレベルコンパレータで構成される。このマルチレベルコンパレータの多値出力が、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５および状態判定データ（鮮鋭化効果ゲインパラメータ）１０６として使用される。

図８は、映像の鮮鋭化処理の具体例を説明する図である。図７の比較器１０４ｃにおいて、基準データＡ（低域成分に対応）より比較データＢ（高域成分に対応）が小さいとき（ケース１）は、現在チェックしている映像のフレーム内に微細な映像成分が少ない（あるいは無い）ことになる（図８（ａ））。この場合は、現在チェックしている映像が「ＳＤ映像をアップコンバートした疑似ＨＤ映像」であると判定し、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５および状態判定データ（鮮鋭化効果ゲインパラメータ）１０６が、「ＳＤ映像をアップコンバートした疑似ＨＤ映像」を示す値を持つようにする（図８（ｃ）（ｄ）左側参照）。

一方、比較データＢ（高域成分に対応）が基準データＡ（低域成分に対応）以上であるとき（ケース２）は、現在チェックしている映像のフレーム内に微細な映像成分が多いことになる（図８（ｂ））。この場合は、現在チェックしている映像が「本来のフルＨＤ映像」であると判定し、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５および状態判定データ（鮮鋭化効果ゲインパラメータ）１０６が「本来のフルＨＤ映像」を示す値を持つようにする（図８（ｃ）（ｄ）右側参照）。

また、比較データＢ（高域成分に対応）が基準データＡ（低域成分に対応）以下であるが、その程度が前記ケース１とケース２の間にあるとき（ケース３）は、状態判定データ１０５および１０６は、「ＳＤ映像をアップコンバートした疑似ＨＤ映像」の場合と「本来のフルＨＤ映像」の場合の間を示す値を持つようになる（図８（ｃ）（ｄ）において、閾値ＴＨ１と閾値ＴＨ２の間参照）。

鮮鋭化処理ブロック１０７内の鮮鋭化帯域フィルタ１０８は、入力された映像信号のうち、鮮鋭化処理を行うための交流信号成分を抜き出す。その際のフィルタ帯域設計の一例を以下で説明する。図６の鮮鋭化帯域フィルタ１０８は可変フィルタ特性を持つ。可変フィルタ１０８には複数のフィルタ特性（カットオフ周波数が異なる複数のローパスフィルタ）が設定されている。そのうちどのフィルタ特性が選択されるかは、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５の値により決まる。

すなわち、現在チェックしている映像のフレーム内に微細な映像成分が少ない場合（図８（ａ））は、高域側に鮮鋭化対象の画素情報が少なくて殆どノイズであると判断する。その場合、高域ノイズの抑制レベルが大きくなるように、すなわちフィルタ１０８の高域周波数応答が相対的に下降するように、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５の値が設定される。このように「殆どノイズしかない高域成分」を抑えておけば、状態判定データ（鮮鋭化効果ゲインパラメータ）１０６により鮮鋭化効果ゲインを上げて低解像度映像の鮮鋭感を改善しても、それに伴いノイジーな映像になることを防止できる。

一方、現在チェックしている映像のフレーム内に微細な映像成分が多い場合（図８（ｂ））は、フィルタ１０８の高域周波数応答が相対的に上昇するように、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５の値が設定される。このようにして「微細な映像成分が多い高域成分」を素通しすれば、状態判定データ（鮮鋭化効果ゲインパラメータ）１０６により鮮鋭化効果ゲインを下げても、元々微細映像成分が多く存在するので、映像の精細感は損なわれない。また鮮鋭化効果ゲインを下げるので、鮮鋭化に伴うノイズの増加も回避できる。

なお、現在チェックしている映像のフレーム内の高域情報（微細な映像成分）が少ない場合と多い場合の間にあるときは、フィルタ１０８の周波数応答には、複数レスポンスカーブのうち、カットオフ周波数が上限のものと下限ものとの間が選ばれる。

図９は、鮮鋭化帯域フィルタ１０８と鮮鋭化加算処理部１１０の具体例を説明する図である。フレームメモリ１２４から読み出された輝度信号（Ｙ）１０１＊は加算器１１０３ｙおよびカットオフ可変のローパスフィルタＬＰＦ（Ｙ）１０８ｙに入力される。フレームメモリ１２４から読み出された色差信号（Ｃｂ／Ｐｂ）１０２＊は加算器１１０３ｂおよびカットオフ可変のローパスフィルタＬＰＦ（Ｃｂ／Ｐｂ）１０８ｂに入力される。フレームメモリ１２４から読み出された色差信号（Ｃｒ／Ｐｒ）１０３＊は加算器１１０３ｒおよびカットオフ可変のローパスフィルタＬＰＦ（Ｃｒ／Ｐｒ）１０８ｒに入力される。

ＬＰＦ（Ｙ）１０８ｙ、ＬＰＦ（Ｃｂ／Ｐｂ）１０８ｂ、およびＬＰＦ（Ｃｂ／Ｐｂ）１０８ｂは、いずれも、状態判定データ（鮮鋭化コアリング調整パラメータ）１０５ｙ、１０５ｂ、１０５ｒの値に応じて周波数応答特性が変化し、カットオフ周波数が移動するようになっている。なお、フィルタ１０８ｙ、１０８ｂ、および１０８ｒは、状態判定データ１０５ｙ、１０５ｂ、１０５ｒの値に応じて通過帯域が変化するバンドパスフィルタでもよい。

ＬＰＦ（Ｙ）１０８ｙの出力１０９ｙ、ＬＰＦ（Ｃｂ／Ｐｂ）１０８ｂの出力１０９ｂ、およびＬＰＦ（Ｃｂ／Ｐｂ）１０８ｂの出力１０９ｒは、それぞれ、２次微分回路１１０１ｙ、１１０１ｂ、および１１０１ｒを介して、可変ゲインアンプ１１０２ｙ、１１０２ｂ、および１１０２ｒに入力される。２次微分回路１１０１ｙ、１１０１ｂ、および１１０１ｒは、入力された映像信号の不要低域成分をカットするとともに、入力された映像信号の高域成分を抽出し、画像エッジをシャープに立てる。これらの２次微分回路でエッジがシャープに立てられた鮮鋭化信号のレベルは、可変ゲインアンプ１１０２ｙ、１１０２ｂ、および１１０２ｒで適切に調整される。可変ゲインアンプ１１０２ｙ、１１０２ｂ、および１１０２ｒのゲインは、それぞれ、鮮鋭化効果ゲイン制御信号１１２ｙ、１１２ｂ、および１１２ｒによって決定される。ここで、鮮鋭化効果ゲイン制御信号１１２ｙ、１１２ｂ、および１１２ｒは、それぞれ、加算器１１１ｙ、１１１ｂ、および１１１ｒにおいて、状態判定データ（鮮鋭化効果ゲインパラメータ）１０６ｙ、１０６ｂ、および１０６ｒに所定のイニシャルパラメータを加えることで得られる。

こうして鮮鋭化効果ゲイン制御信号１１２ｙ、１１２ｂ、および１１２ｒによりレベル調整された鮮鋭化信号は、加算器１１０３ｙ、１１０３ｂ、および１１０３ｒにおいて、元の信号１０１＊、１０２＊、および１０３＊に加えられ、鮮鋭感が改善された信号１２１、１２２、および１２３となって出力される。

＜実施の形態のまとめ＞
１．ハイビジョン出力が可能な映像出力機器（ＤＶＤプレーヤ／レコーダ、ＢＤプレーヤ／レコーダ等）をテレビセット等に接続した際、映像出力機器に出力させる映像に応じてユーザ（機器の操作者）が任意に画質モードを選ぶ手段（ＳＴ１０４）を提供する。

２．映像出力機器が出力する最高画質のハイビジョン映像出力（例えば1080p信号）は、接続するテレビセットが入力可能とする最大解像度とする。

３．映像出力機器が出力する映像信号が上記最高画質の映像信号でない場合は、その映像信号を上記最大解像度にアップコンバートして表示する。

上記の画質モードを選ぶ手段（ＳＴ１０４）は、ユーザメニュー（図１）による切り換えで提供される。このユーザメニューでは、３つの画質モード（「おまかせ」モードと「ＤＶＤファイン」モードと「ピュアダイレクト」モード）を選択できる。

「おまかせ」モードは、ハイビジョン対応ＤＶＤ／ＢＤレコーダなどに録画を行ったデジタル放送番組の視聴に適用できる。このモードでは、入力画像の周波数帯域等を検出する事でどのような映像か判断し、図６〜図９を参照して説明した鮮鋭化処理を行うことで自動的に最適な映像補正を行う。

「ＤＶＤファイン」モードは、ＤＶＤビデオ等の低解像度映像（ＳＤ映像）に特化された専用設定モードとすることができる。このモードでは、ＤＶＤなどの低解像度映像が出力機器側でアップコンバート処理されて入力される場合にも対応するが、出力機器側でアップコンバートされていない場合にも対応する。出力機器側でアップコンバートされている場合、ユーザ（機器操作者）がその入力映像を指定している（ＤＶＤが見たい）のであれば、図６〜図９を参照して説明した鮮鋭化処理を行うことができる。出力機器側でアップコンバートされていない場合は、図５等を参照して説明した超解像処理を行うことができる。

「ピュアダイレクト」モードは、高級ハイビジョンプレーヤ向けのモードとすることができる。高額なハイビジョンプレーヤを所持するユーザからは、そのプレーヤ（映像出力機器）から送出される高品位映像をそのまま表示したいという要求がある。この「ピュアダイレクト」モードでは、映像表示パネルのバラツキ吸収や色見補正程度の最低限の処理のみを行い、映像へのフィルタ処理や強調処理といったものを一切行わず、映像出力機器の素の信号を表示させる。

＜実施の形態の効果＞
高品質なフルＨＤ映像（ハイビジョン）出力が可能な映像出力機器（ＤＶＤプレーヤ／レコーダ、ＢＤプレーヤ／レコーダ等）を映像表示装置（フルＨＤ対応テレビジョンセット等）に接続した際に、映像出力機器が出力する最高画質の映像（1080pなど）をそのままの品質で表示できるように、ユーザ（機器の操作者）が映像表示装置の画質モード（ピュアダイレクトモードなど）を自由に選べるようになる。

＜実施の形態と発明との対応例＞
この発明の一実施の形態に係る映像装置は、所定の高品質映像信号（1080ｐ）をその信号品質のまま表示する第１の画質モード（ピュアダイレクトモード）と、前記所定の高品質映像信号（1080ｐ）より相対的に低品質な映像信号（480i、480p、1080i、720pなど）の信号品質を適宜改善して表示する第２の画質モード（おまかせモード）を有する。この映像装置は、前記所定の高品質映像信号（1080ｐ）または前記相対的に低品質な映像信号（480i、480p、1080i、720pなど）が入力される信号端子（２１〜２６）と、前記信号端子に外部映像機器（７９〜８１）が接続された際あるいは前記信号端子に外部映像信号が入力された際もしくはユーザがメニューを出す操作をした際に、前記第１の画質モードまたは前記第２の画質モードを選択するメニュー（Ｍ３）の画像情報を提供するメニュー手段（５８、６１、６６ａ）と、前記メニュー（Ｍ３）により前記第１の画質モードが選択されたときは前記信号端子に入力された前記高品質映像信号（1080ｐ）をそのまま出力し、前記メニュー（Ｍ３）により前記第２の画質モードが選択されたときは前記信号端子に入力された前記映像信号（480i、480p、1080i、720pなど）の信号品質をその信号成分に応じて改善する処理（ヒストグラム分析を利用した鮮鋭化処理や超解像処理など）を施す映像処理手段（６２、６２ａ）を備えている。

なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えば、ヒストグラム取得／周波数状態判定部１０４から判定結果をＮフレーム（Ｎは整数）毎に取り出し、鮮鋭化処理ブロック１０７における鮮鋭化処理を入力映像のＮフレーム毎に行うようにしてもよい。このようにＮフレーム毎の処理もフレーム単位の範疇とする。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１４…映像表示器、５１…信号処理部、６５…制御部、５８…グラフィック処理部、６１…ＯＳＤ信号生成部、６２…映像処理部、６２ａ…映像の鮮鋭化処理装置、１０４…ヒストグラム取得／周波数状態判定部、１０７…鮮鋭化処理ブロック、１０８…鮮鋭化帯域フィルタ、１１０…鮮鋭化加算処理部（鮮鋭化処理部）、１２４…フレームメモリ。

Claims (6)

1. 入力映像をそのまま出力する場合を画質非調整モードとし、入力映像をより高品位な映像にアップコンバートする第１の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第１の画質調整モードとし、入力映像の種類によって映像成分に補正を自動的に加える第２の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第２の画質調整モードとする場合に、
   前記画質非調整モード、第１の画質調整モード、第２の画質調整モードのうちの１つを選択できる選択メニューを表示し、
   前記第１の画質調整モードが選択された場合は、前記第１または第２の画質調整が施される前の前記入力映像に対して前記アップコンバートを行うように構成した画質モード設定方法。
2. 前記第２の画質調整モードが選択された場合は、
   前記入力映像に含まれる映像コンテンツの周波数状態を判定し、
   前記周波数状態判定により前記入力映像の高域成分が相対的に少ないと判定されたときは高域周波数応答が相対的に下降するように調整され、前記周波数状態判定により前記入力映像の高域成分が相対的に多いと判定されたときは高域周波数応答が相対的に上昇するように周波数応答特性が調整される鮮鋭化帯域フィルタを用い、
   前記鮮鋭化帯域フィルタのフィルタ帯域を入力された映像信号に含まれる高域成分の相対的な量に応じて連続的に変化させ前記鮮鋭化帯域フィルタから取り出された信号成分を用いて前記入力映像に対して鮮鋭化処理を行ない、鮮鋭化処理が施された映像出力信号を提供する処理を含んだ
   請求項１に記載の画質モード設定方法。
3. 入力映像をそのまま出力する場合を画質非調整モードとし、入力映像をより高品位な映像にアップコンバートする第１の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第１の画質調整モードとし、入力映像の種類によって映像成分に補正を自動的に加える第２の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第２の画質調整モードとする場合に、
   前記第１の画質調整モードが選択された場合は、前記第１または第２の画質調整が施される前の前記入力映像に対して前記アップコンバートを行うように構成した映像処理方法。
4. 前記第２の画質調整モードが選択された場合は、
   前記入力映像に含まれる映像コンテンツの周波数状態を判定し、
   前記周波数状態判定により前記入力映像の高域成分が相対的に少ないと判定されたときは高域周波数応答が相対的に下降するように調整され、前記周波数状態判定により前記入力映像の高域成分が相対的に多いと判定されたときは高域周波数応答が相対的に上昇するように周波数応答特性が調整される鮮鋭化帯域フィルタを用い、
   前記鮮鋭化帯域フィルタのフィルタ帯域を入力された映像信号に含まれる高域成分の相対的な量に応じて連続的に変化させ前記鮮鋭化帯域フィルタから取り出された信号成分を用いて前記入力映像に対して鮮鋭化処理を行ない、鮮鋭化処理が施された映像出力信号を提供する処理を含んだ
   請求項３に記載の映像処理方法。
5. 入力映像をそのまま出力する場合を画質非調整モードとし、入力映像をより高品位な映像にアップコンバートする第１の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第１の画質調整モードとし、入力映像の種類によって映像成分に補正を自動的に加える第２の画質調整を前記アップコンバートが施されていない入力映像に対して施す場合を第２の画質調整モードとする場合に、
   前記画質非調整モード、第１の画質調整モード、第２の画質調整モードのうちの１つを選択できる選択メニューを表示する手段と、
   前記第１の画質調整モードが選択された場合は、前記第１または第２の画質調整が施される前の前記入力映像に対して前記アップコンバートを行う手段
   を具備した映像装置。
6. 前記第２の画質調整モードが選択された場合に、前記入力映像に含まれる映像コンテンツの周波数状態を判定する手段と、
   前記周波数状態判定により前記入力映像の高域成分が相対的に少ないと判定されたときは高域周波数応答が相対的に下降するように調整され、前記周波数状態判定により前記入力映像の高域成分が相対的に多いと判定されたときは高域周波数応答が相対的に上昇するように周波数応答特性が調整される鮮鋭化帯域フィルタと、
   前記鮮鋭化帯域フィルタのフィルタ帯域を入力された映像信号に含まれる高域成分の相対的な量に応じて連続的に変化させ前記鮮鋭化帯域フィルタから取り出された信号成分を用いて前記入力映像に対して鮮鋭化処理を行ない、鮮鋭化処理が施された映像出力信号を提供する手段をさらに具備した
   請求項５に記載の映像装置。

Images