JP2007150379A - 映像処理装置および携帯端末装置 - Google Patents

Abstract

【課題】
使い勝手を向上した映像処理装置を提供する。
【解決手段】
映像処理装置は、入力された映像信号にコンテンツ以外に模様などの壁紙部分や単一色で構成された無画エリア部分などのパターン部分が含まれているか否かを検出する検出部と、前記映像信号を補正する補正部とを備え、入力された映像信号にパターン部分が含まれている場合は、前記映像信号の補正を行わないように制御することを特徴とする。
【選択図】図２７

Description

本発明は、映像を入力し、視聴可能な映像処理装置および携帯端末装置に関する。

従来、入力されるRGB信号を輝度信号と色差信号に変換し、１フレーム毎に輝度信号の特徴点を抽出し、輝度信号や色差信号を補正して表示を行うマルチメディア計算機システムの例が提案されていた（例えば、特許文献１第４頁、図１参照）。

また、特許文献２に、サイドパネルを検出するサイドパネル検出回路を備え、サイドパネル検出結果と、映像輝度レベル検出結果に応じた画質補正を行うことが開示されている。

特開２００２−１３２２２５号公報 特開２００５−２６８１４号公報

バッテリーで動作する携帯端末装置に適用した場合、１フレーム毎に輝度信号や色差信号を補正していると、消費電力が多くなる。外出中に携帯端末装置を充電する機会が得られないことがあり、消費電力が多くなると、使用時間が短くなり、使い勝手が悪くなってしまう。そのため、低消費電力で良好な画像表示を行うことができる装置が求められている。また、表示装置に外光が入射した場合、画像が見にくくなり、屋外等で携帯端末装置を使い難いという問題がある。

また、放送局において、例えば縦横比４：３のコンテンツを縦横比１６：９の横長映像信号に変換する際、コンテンツの左右に壁紙を付加することがある。このような映像信号に画質補正を施すと、映像信号内容に応じて壁紙部分の輝度や色が変化するため、かえって画像が見にくくなり、ユーザーの使い勝手が悪くなる可能性がある。

さらに、縦横比４：３のコンテンツの左右に黒の無画エリアが付加されている場合、前記黒の無画エリアの輝度や色情報を混同するため、４：３コンテンツ自身の輝度や色の平均値が正確に計算できないという問題があった。

そこで、本発明は、ユーザーの使い勝手を向上した映像処理装置および携帯端末装置を提供することを目的とする。

本発明にかかる映像処理装置は、入力された映像信号にコンテンツ以外に模様などの壁紙部分や単一色で構成された無画エリア部分などのパターン部分が含まれているか否かを検出する検出部と、前記映像信号を補正する補正部とを備え、入力された映像信号にパターン部分が含まれている場合は、前記映像信号の補正を行わないように制御することを特徴とする。

本発明によれば、使い勝手を向上した映像処理装置を提供することができる。

本発明は、映像処理装置、例えば携帯電話やＰＨＳ、ＰＤＡ、ノート型ＰＣ、携帯型ＴＶ、携帯型映像記録装置・再生装置等に適用可能であるが、ここでは携帯電話を例として説明する。

図１は、携帯電話の構成例を示すブロック図である。通信アンテナ１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２に入力する。また、無線回路２から出力された高周波電気信号を電波に変換して発信する。無線回路２は、ＣＰＵ（Central Processing Unit）７の指示に基づき、通信アンテナ1で受信した高周波電気信号を復調し、符号復号処理回路３に入力する。また、符号復号処理回路３の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ1に出力する。符号復号処理回路３は、ＣＰＵ７の制御に従って無線回路２の出力信号に復号処理を施し、通話用音声信号をレシーバ５に出力し、文字や画像データをＣＰＵ７に出力する。また、マイク４から入力された音声、またはユーザがキー７を操作して編集した文字や画像データに符号化処理を施す。なお、本実施例では、情報や指示を入力するのに用いる操作部としてキーを用いたが、これに限定するものではなく、音声入力部やタッチパネル方式の入力部を用いても良い。

ＣＰＵ７は、携帯電話全般の処理を行う。例えば、ＣＰＵバス８を介してメモリ９からプログラムを取得し、符号復号処理回路３、無線回路２及び通信アンテナ1を制御して着信待ちを行う。メモリ９には、上記プログラムの他、あらかじめ携帯電話に記録されている固定パターンやメロディ等の着信音、電話帳、アドレス帳等の個人情報やダウンロードした着信メロディや画像データ等を格納する。そして、着信があった場合、CPU７がメモリ９の電話帳から発信者の名前や着信メロディ、着信画像を読み出し、音声データをDAC（Digital Analog Converter）１０を介してスピーカー１１から出力すると共に、画像データをビデオI/F（Interface）１４、高画質化回路１５を介して表示装置１６に表示し、ユーザーに着信があったことを通知する。そして、ユーザーがキー６を操作することにより通話やメールの送受信が可能となる。

ＴＶアンテナ１２は、受信したＴＶ放送電波を高周波電気信号に変換し、TVチューナー１３に出力する。TVチューナー１３は、入力信号に復調処理を施してCMOSレベルの電気信号に変換し、CPU７に出力する。CPU７がTVチューナー１３を初期化したり、選局を指示したりする。チューナー１３は、CPU７からの要求に応じて、定期的にビットレートエラー等の受信状態を示す情報をCPU７に送信する。

CPU７は、TVチューナー１３から入力された信号に映像と音声の分離処理、及び、それぞれの復号処理を施し、映像は高画質化回路１５を介して表示装置１６に表示され、音声はDAC１０を経由してスピーカー１１で再生される。これにより、ユーザーは、TV放送を視聴することができる。尚、受信するＴＶ放送はアナログ放送、デジタル放送のいずれでも構わない。本実施例では、CPU7はTVチューナー１３の出力を直接接続できるインターフェースを有しているが、これに限られるものでなく、インターフェース変換用の回路を使用しても良い。このインターフェース変換用の回路は、CPU上に搭載またはスタック形式で実装しても良い。また、携帯電話がアプリケーションプロッセッサやコプロッセッサ等の画像処理装置を搭載している場合、インターフェース変換用の回路をこのプロセッサと同一シリコンチップ上に搭載、または別シリコンチップのスタック形式で実装しても良い。また、インターフェース変換用の回路を表示装置１６のコントローラーやドライバIC、TVチューナー１３内部に実装しても良い。また、上記インターフェース変換用の回路とCPU7の接続部分はCPU７に専用の端子を設けても良いし、CPUバス８に接続しても良い。

バッテリー２０は、リチウムイオン又はニッケル水素等の充電可能な二次電池で構成され、携帯電話を構成する各部品が動作するための電力を供給する。電源回路１９は、バッテリー２０から供給された電力を基に携帯電話の各構成に電圧供給する。また、バッテリー２０の残量が少なくなった場合には、家庭用コンセント、カーバッテリー等から供給された電力によってバッテリー２０の充電を行う。なお、図１では、携帯電話の各構成と電源回路１９との接続関係の図示を省略している。

また、高画質化回路１５は、CPU7から出力されたビデオ信号に高画質化処理を施して、表示装置１６に出力する。バックライト１７は、バックライト駆動回路１８からの給電によって表示装置１６の照明光を生成し、表示装置１６に照射する。バックライト１７の光源には、例えば冷陰極官や白色LEDや赤、緑、青の３色LED等を使用する。バックライト駆動回路１８は、バックライト１７を駆動するために、電源回路１９またはバッテリー２０から供給された電圧を昇圧または降圧させる。また、バックライト駆動回路１８はCPU７の制御によって明るさや色を調節可能である。バックライト駆動回路１８は、図１に示すように独立した構成としても良いし、電源回路１９の一部としても良い。例えば、電源回路１９がLSI化されている場合は、同一シリコンチップ上での混載または別シリコンチップのスタック形式で実装しても良い。

高画質化回路１５の構成例を示すブロック図を図２に示す。RGB-YUV変換部１５１は、CPU7からビデオI/F１４を介して入力されたRGB形式のビデオ信号を輝度信号と色差信号に変換し、輝度信号をY、色差信号をR-Y，及び、B-Yとして出力する。

上記RGB形式のビデオ信号をYUV信号に変換は下記式にて行うことができる。

Y=0.290×R+0.5870×G+0.1140×B ・・・（１）
Cb=(-0.1687)×R+(-0.3313)×G+0.5000×B ・・・（２）
Cr＝0.5000×R+(-0.4187)×G+(-0.0813)×B ・・・（３）
色差-HS変換部１５３は、RGB-YUV変換部１５１から入力された色差信号R-Y及び、B-Yに色相、彩度変換を施し、色相Hと彩度Sを出力する。特徴点検出部１５４は、RGB-YUV変換部１５１から入力された輝度信号Yと色差-HS変換部１５３から入力された色相S及び彩度Hから入力されたビデオ信号の最小レベル、平均レベル、最大レベル、ヒストグラム等の特徴点データを算出し、I/F部１５５に書き込む。I/F部１５５は所定のタイミングでCPU7に割り込み信号１４１を発行する。CPU７は、割り込み信号１４１を検出すると、内部バス１５５１を介してI/F部１５５に格納された特徴点データを読み出しし、所定のアルゴリズムによって補正データを決定し、内部バス１５５１を介してI/F部１５５に書き込む。変調部１５２は、入力された輝度信号Y，色相S及び彩度HにI/F部１５５にCPU７からライトされた補正データに従って変調を施し、輝度Y‘，色相S’及び彩度H‘として出力する。HS-色差変換部１５６は、入力された色相S’信号及び彩度H信号を色差信号（R-Y）'及び（B-Y）'に変換して出力する。YUV-RGB変換部１５７はであり、入力された輝度Y‘及び色差信号（R-Y）'及び（B-Y）'をRGB形式に変換して出力する。上記YUV-RGB変換は下式で行うことができる。

R=Y+1.402×V ・・・（４）
G=Y+(-0.34414)×U+(-0.71414)×V ・・・（５）
B＝Y+1.772×U ・・・（６）
セレクタ１５８は、YUV-RGB変換部１５７の出力またはビデオI/F１４のスルー信号１４２を選択して表示装置１６に出力する。セレクタ１５８の制御はCPUから行っても良いし、バッテリー残量がある一定値以下になったときや、開閉式の携帯電話の場合は開閉に動させて切り換えても良い。また、開閉に連動させる場合、折り畳み形状の場合は開いた時にYUV-RGB変換部１５７側を選択した方が良いし、スライドや回転、さらに、折り畳形状であっても折り畳み方向の回転軸に加え、表示装置を１８０°回転させる方向の第２の軸を備えた２軸ヒンジ形式の携帯電話等、閉じた状態で表示装置を観視可能な形状の場合は閉じた時にセレクタ１５８においてYUV-RGB変換部１５７側を選択しても良い。また、TV視聴時、静止画、動画閲覧時はセレクタ１５８においてYUV-RGB変換部１５７側を選択するなど、表示させるコンテンツに応じて切り換えても良い。また、携帯電話の形状や開閉状態に関係なく、待ち受け状態ではスルー信号１４２を選択するようにしても良い。なお、コンテンツとは、例えば、ドラマや映画、スポーツなどの映像情報のことである。

なお、メール本文や字幕等のテキストデータが入力された場合は高画質化回路１５におけるRGB-YUV変換を始めとする処理が不要なため、CPU７はスルー信号１４２を選択するように制御する。この場合、点線159で囲われた部分の動作を停止する。これにより、低消費電力化を図ることができる。具体的には高画質化回路１５への動作クロック供給を停止したり、点線１５９内部のブロックへの電源供給を停止したりする。なお、電源供給を停止する場合、電源回路１９の出力を停止しても良いし、高画質化回路１５側で電源吸入経路を切断するスイッチを設けることにより電源供給を停止しても良い。

次に、色差-HS変換部１５３の動作の概要を図を用いて説明する。図３は、色相（H）と彩度（S）の関係を説明するための特性図である。横軸はB-Y信号のレベルを表し、縦軸はR-Y信号のレベルを表す。B-Y信号とR-Y信号のベクトル和が色相・彩度を表すベクトルで、角度が色相H、大きさが彩度Sである。よって、色相Hは（７）式で、彩度Sは（８）式で求めることができる。

H＝tan-1((R=Y)/(B-Y))・・・（７）
S=SQR((R-Y)2+(B-Y)2) ・・・（８）
特徴点検出部１５４は、例えば図４に示すように、輝度特徴点検出部1541，色相特徴点検出部1542，彩度特徴点検出部1543により構成される。図５は、輝度特徴点検出部1541の検出処理の一例を示すフロー図である。輝度特徴点検出部1541は、フローに示すように、輝度特徴点検出部1541は、フレーム単位で時々刻々と入力されてくる輝度信号Yのレベル判定を行い、最大レベル、最小レベル、エリアごとレベルの頻度、平均レベル等の特徴点データを取得する。図５では、輝度レベルの入力階調が０〜２５５であり、この入力階調を１６段階の階調エリアに分割する場合の検出処理例について説明するが、検出処理をこれに限るものではない。例えば、８段階や３２段階など、メモリやゲート容量等のリソースが供される範囲で自由に設定できる。なお、輝度特徴点検出部1541により実行される検出処理プログラムは、メモリ９に記憶しても良いし、輝度特徴検出部1541に設けられらメモリに記憶するようにしても良い。

まず、第ｎ画素目の輝度レベルY(n)がメモリ９に記憶された最小レベルYminより小さいか否かを比較する（S501）。なお、最小レベルYmin、最大レベルYmaxの初期値として、それぞれ２５５と０とがメモリ９に記憶されている。輝度レベルが現在の最小レベルより小さい場合、第ｎ画素目の輝度レベルを最小レベルとしてメモリ９に記憶する（S502）。輝度レベルが最小レベル以上の場合、第ｎ画素目の輝度レベルが最大レベルより大きいか比較を行う（S503）。輝度レベルが最大値よりも大きい場合、第ｎ画素目の輝度レベルを最大値とする（Ｓ504）。輝度レベルが最大値以下の場合、第ｎ画素目の輝度レベルが０〜１５か判定を行う（Ｓ505）。輝度レベルが０〜１５の場合、Yhst0の値に１を加える（Ｓ606）。Yhst0とは、０〜１５の階調エリア内に含まれる輝度レベルの数を示すものである。

輝度レベルが０〜１５ではない場合は、輝度レベルが１６〜３１か判定を行う（Ｓ507）。Yesの場合は、Yhst１の値に１を加える（S508）。Noの場合は、次々と他の階調エリアに含まれるか否かを判断する。

輝度レベルのエリア分けを終了すると、現在の合計輝度レベルに、第ｎ画素目の輝度レベルを加算する（S511）。S512で、１フレーム分の処理が完了したか判定し、yesの場合は合計輝度レベルを画素数ｎで割ることにより、平均輝度レベルを算出して処理を終了する（S514）。Noの場合はnに１を加え、S501に戻って次の画素の輝度レベルの処理を行う。

図６に、輝度ヒストグラムの例を示す。横軸が輝度ヒストグラムのエリア、縦軸が頻度である。このヒストグラムを取得することにより、輝度の特徴を容易に把握することができる。例えば、単純に暗い画面なのか、または、暗い画面の中に月や星等の明るい場所が存在する画面なのかを判定することができる。

図７は、色相特徴点検出部1542の検出処理の一例を示すフロー図である。色相特徴点検出部1542は、フローに示すように、フレーム単位で時々刻々と入力されてくる色相信号Hのレベル判定を行い、最大レベル、最小レベル、エリアごとのレベルの頻度、平均レベルを取得する。図７では、色相レベルの範囲が０〜３５９であり、このレベルを１２段階の色相エリアに分割する場合の処理例について説明するが、検出処理をこれに限るものではない。なお、輝度特徴点検出と同様、実行される検出処理プログラムは、メモリ９に記憶しても良いし、色相特徴点検出部1542に設けられらメモリに記憶するようにしても良い。

輝度レベルと同様、S701〜S710により、第ｎ画素目の色相レベルH(n)が、色相エリアHhst0〜Hhst11のいずれに含まれるかを検出する。色相レベルのエリアが判定されると、現在の合計色相レベルに、第ｎ画素目の色相レベルを加算し（S711）、１フレーム分の処理が完了したか判定する（S712）。処理が完了した場合（yes）は、平均色相レベルを算出して処理を終了する（S714）。Noの場合はnに１を加え（S713）、S701に戻って次の画素の色相レベルの処理を行う。

図８に、以上のようにして検出したエリア頻度を用いて作成した色相ヒストグラムの例を示す。横軸が色相ヒストグラムのエリア、縦軸が頻度である。ヒストグラムを生成することにより、色相の変化の特徴を容易に把握することができる。

図９は、彩度特徴点検出部1543の検出処理の一例を示すフロー図である。彩度特徴点検出部1543は、フレーム単位で時々刻々と入力されてくる彩度信号Sのレベル判定を行い、最大レベル、最小レベル、エリアごとのレベルの頻度、平均レベルを取得する。図９では、彩度レベルの範囲が０〜９９であり、このレベルを１０段階のエリアに分割する場合の処理例について説明するが、検出処理をこれに限るものではない。なお、輝度特徴点検出と同様、実行される検出処理プログラムは、メモリ９に記憶しても良いし、彩度特徴点検出部1543に設けられらメモリに記憶するようにしても良い。

輝度レベルと同様、S901〜S910により、第ｎ画素目の彩度レベルS(n)が、色相エリアShst0〜Shst9のいずれに含まれるかを検出する。彩度レベルのエリアが判定されると、現在の合計彩度レベルに、第ｎ画素目の彩度レベルを加算し（S911）、１フレーム分の処理が完了したか判定する（S912）。処理が完了した場合（yes）は、平均彩度レベルを算出して処理を終了する（S914）。Noの場合はnに１を加え（S913）、S901に戻って次の画素の彩度レベルの処理を行う。

図１０に、彩度ヒストグラムの例を示す。横軸が彩度ヒストグラムのエリア、縦軸が頻度である。この色相ヒストグラムを取得することにより、入力されたビデオ信号の彩度の変化を検出することができる。

図１１は、I/F部１５５の内部構成の一例を示すブロック図である。I/Fレジスタ部１５５１を介してCPU7と高画質化回路１５の間で信号の書き込み、読み出しを行う。シーンチェンジ検出部１５５２は、特徴点検出部１５４から輝度レベル、色相、彩度の特徴点データが入力されると、これらデータを保存する。そして、新たなデータが入力されると、データを書き換えるとともに、新旧データの差分の有無を判定する。差分がある場合、シーンチェンジが発生したと判定し、CPU7に対してINT１４１を発行する。CPU７は、I/Fレジスタ１５５１から新しい特徴点データを読み出して新しい補正データを生成し、I/Fレジスタ１５５１の補正データを更新する。本例では、CPU７がI/Fレジスタ１５５１から特徴点データを読み出したが、I/Fレジスタ１５５１がCPU７にデータを送信しても良い。なお、シーンチェンジとは、例えば、番組からCM（コマーシャルメッセージ）に変わった場合や、番組中で昼のシーンから夜のシーンに変わった場合、撮影場所が変わった場合、スタジオ画像から現地画像への切換、さらに、スタジオやスタジアム内におけるTVカメラの切り換わりなどが挙げられる。

図１２は、シーンチェンジ検出部１５５２の検出処理の一例を示すフロー図である。S1201において、新旧の最小輝度レベルの差分を求めるとともに、新データをI/Fレジスタ１５５１に書き込む。最大輝度レベル，平均輝度レベル，エリアごとの頻度に関しても同様に差分を求める。エリア１５の頻度の差分を求めると（S1202）、色相特徴点の処理に移行する。色相に関しても輝度と同様にS1203〜S1204により最小色相レベル、最大色相レベル，平均色相レベル，頻度の差分を求め、彩度特徴点の差分を求める（S1205〜S1206）。輝度、色相、彩度の特徴点の差分が“０”即ち、前のフレームと同一であったか判定し（S1207）、差分がない場合は補正データの更新は必要ないと判断し、処理を終了する。一方、noの場合は、シーンチェンジが発生したと判断し、CPU7に対して割り込み要求１４１を出力し（S1208）、処理を終了する。

上記説明したようにシーンチェンジ検出部１５５２が動作することにより、前のフレームと同じ絵柄の場合は、CPU7による特徴点データの読み出し、補正データの生成、I/Fレジスタ１５５１への書き込み処理を省略できるため、CPU7の処理負荷低減するとともに、データ転送のための消費電流を低減することができる。

なお、図１２には、輝度、色相、彩度のすべての差分を検出する例を示したが、これに限定するものではない。また、最小値、最大値等のすべての特徴点について差分を検出しなくても良い。CPU７での処理負荷を低減するためには、ユーザーの視覚への影響が大きい輝度信号の平均レベルの差分の有無に基づいて、シーンチェンジを検出するのが最も有効である。また、例えば輝度の最小値と最大値の両方が変化したとき、輝度の最小値と色相の平均値等のように各特徴点データの組み合わせで判定しても良い。ヒストグラムの分布エリア（横軸）が変化した場合にシーンチェンジと判定しても良い。

また、図１２の例では、特徴点データの差分が０である場合にシーンチェンジ無しと判定したが、ある一定の閾値を設け、それを超えた時にシーンチェンジと判定しても良い。この閾値は、各特徴点データで個別に設定することが望ましい。また、字幕の有無による補正データの更新を防ぐため、例えば白側のヒストグラムの頻度が変化してもシーンチェンジと判定しない等、特定の階調エリアや頻度のエリアを無視するようにしても良い。なお、輝度レベル等を用いてシーンチェンジを検出した場合に追加して、シーンチェンジ検出部１５５２は、一定の時間またはフレーム数ごとにシーンチェンジと判定し、INT１４１を出力するようにしても良い。

CPU７により生成された補正データに基づいて、変調部１５２により、輝度、色相、彩度の変調を行う。以下、変調方法について説明を行う。

図１３に、変調部１５２において輝度信号を変調する場合の処理フローの例を示す。まず、輝度ヒストグラムの第１階調エリア（Yhst0）が０か否かの判定を行う（S1301）。Noの場合、Blacklevelを０にする（S1302）。ここで、Blacklevel とは、出力階調を０に固定する入力階調の範囲を示すものであり、Blacklevelを０にするとは、出力階調を０にする範囲がない状態である。Yesの場合、輝度ヒストグラムの第２階調エリア（Yhst1）が０か否かの判定を行う（S1303）。Noの場合、Blacklevelを０〜１５とす（S1304）る。Yesの場合、輝度ヒストグラムの第３階調エリア（Yhst2）が０か判定を行う（S1305）。Noの場合、Blacklevelを０〜３１とする（S1306）。Yesの場合、第４階調エリア（Yhst3）移行の判定は行わず、Blacklevelを０〜４７とする。このように限界値を設けることにより、輝度が過度に補正されるのを防ぐことができる。

次に、輝度ヒストグラムの第１６階調エリア（Yhst１５）が０か判定を行う（S1308）。Noの場合、Whitelevelを２５５とする（S1309）。ここで、Whitelevelとは、出力階調を２５５に固定する入力階調の範囲を示すものであり、Whitelevelを２５５とするとは、出力階調を２５５にする範囲がない状態である。Yesの場合、輝度ヒストグラムの第１５階調エリア（Yhst1４）が０か判定を行う（S1310）。Noの場合、Whitelevelを２３９〜２５５とする（S1311）。Yesの場合、輝度ヒストグラムの第１４階調エリア（Yhst１３）が０か判定を行う（S1312）。Noの場合、Whitelevelを２２３〜２５５とする（S1313）。Yesの場合、輝度ヒストグラムの第１３階調エリア（Yhst１２）の判定は行わず、Whitelevelを２０７〜２５５とする（S1314）。このように白側の限界値を設けることにより、過補正を防ぐことができる。

出力階調を０または２５５に固定する範囲が決まると、黒側及び、白側の階調を０または２５５に固定した階調分（潰した分）を除いた入力階調に出力可能な０〜２５５までの階調を使用するように伸張処理を行う（S1501）。これにより、入力階調に対する出力階調の傾き（Ygain）を大きくするように補正することができる。

図１４〜図１６を用いて、変調部１５２における輝度信号の変調方法例を説明する。

図１４（ａ）は、輝度ヒストグラムである。この例では、黒側である０〜４７（Yhst0〜2）までの階調が存在しない。即ち、黒が少なく、白っぽい（黒レベルが浮き気味の）ビデオ信号が入力された場合の例である。図１３の処理フローに当てはめると、Blacklevel=０〜47，Whitelevel=255となり、伸長処理されることにより、傾きYgain=1.22に補正される。入力階調に対する出力階調の関係を補正したものを補正特性という。

図１４（ｂ）に、この補正特性による補正イメージを示す。点線1401は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1402が補正特性である。入力ビデオ信号の階調が存在しない０〜４７を０に固定した分、入力階調４７〜２５５に対する出力階調の傾きが大きくなっている。これにより、入力階層に対する出力階層のコントラストを大きく、視聴しやすい画像を表示することができる。

図１５は白側に階調が存在しないビデオ信号が入力された場合の補正例を示す図である。図１５（ａ）は、入力されたビデオ信号の輝度ヒストグラムである。白側である２０７〜２５５（Yhst13〜15）までの階調が存在しない、即ち、黒っぽい映像のビデオ信号が入力された場合の例である。図１３の処理フローに当てはめると、Blacklevel=0，Whitelevel=207〜255，Ygain=1.22となる。

この補正特性による補正のイメージを図１５（ｂ）に示す。点線1501は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1502が補正特性である。入力ビデオ信号の階調が存在しない２０７〜２５５の出力階層を２５５に固定した分、入力階調０〜２０７に対する出力階調の傾きを大きくし、出力ダイナミックレンジ限界の0まで伸張する。このような補正特性とすることにより、入力階層に対する出力階層のコントラストを大きくなり、黒側の階調が見やすい画像を表示することができる。

図１６は、黒側と白側に階調が存在しないビデオ信号が入力された場合の補正例である。図１６（ａ）は入力されたビデオ信号の輝度ヒストグラムである。この例では、黒側である０〜３１（Yhst0〜１），白側である２２３〜２５５（Yhst1４〜15）までの階調が存在しない。図１３の処理フローに当てはめると、Blacklevel=０〜３１，Whitelevel=223〜255，Ygain=1.33となる。

この補正特性による補正のイメージを図１６（ｂ）に示す。点線1601は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1602が補正特性である。入力ビデオ信号の階調が存在しない０〜３１と２２３〜２５５の出力階層をそれそれ０と２５５に固定した分、入力階調３１〜２２３に対する出力階調の傾きを大きくし、出力ダイナミックレンジ限界の0から２５５まで伸張するものである。このように補正することにより、中間階層のコントラストが大きく、視聴しやすい画像を表示することができる。

図１７に、色相補正のフロー例を示す。本実施例では、ユーザーが予め、黄、赤、マゼンダ、青、シアン、緑等の色の中から、特に鮮やかにしたい、強調したい色を選択しておく。そして、ユーザーの選択された色および色相ヒストグラムのピークエリアHhst maxにより、色補正を行う。図１７は、例えば、青が選択されている場合の補正処理を示す。まず、色相ヒストグラムのピークHhst maxが、青に該当するエリアH hst9の前のエリアであるH hst8に該当するか判定を行う（S1701）。判定の結果がyesの場合は、色相調整値Hadjを１０とする（S1702）。Noの場合、色相ヒストグラムのピークエリアHhst maxが、青に該当するエリアH hst9の後ろのエリアであるH hst10に該当するか判定を行う（S1703）。判定の結果がyesの場合は、色相調整値Hadjを−１０とする（S1704）。Noの場合、Hadjを０とし、処理を終了する。これにより、ユーザーが設定した色を強調することができる。

図１７の例では、ユーザーが事前に設定した色に基づいて補正を行ったが、これに限定するものではない。例えば、色相ヒストグラムのピークエリアを検出し、ピークエリアの前後のエリアの色をピークエリアの色に補正するようにしても良い。これにより、浜辺の映像の場合など、青色近辺の成分が多い場合には色相を青側に調節して、青を強調した映像を表示することができる。

図１８に、彩度補正のフロー例を示す。彩度の最大レベルが８０以下であるか判定し（S1801）、noの場合は彩度のゲインSgainを１．２とする（S1802）。Yesの場合、Sgainを１．０とし（S1803）、終了する。これにより、最大彩度がある一定値以下の場合は彩度ゲインを強調してより色鮮やかな表示を行うことができる。なお、図１８の例では、最大彩度が一定値以下の場合に補正を行ったが、これに限定するものではない。最大彩度がある一定値以上の場合に、色潰れの発生を避けるため、ゲインを低下させても良い。

以上説明したようにシーンチェンジを検出し、信号変調を行うことにより、消費電力を抑えつつ、コントラストのはっきりした良好な画像を視聴することができる。

変調部１５２が入力映像信号に変調を施すタイミングは、CPU7からの指示の直後でも良いし、一定の時間またはフレーム経過後でも良い。また、徐々に目的の補正特性に収束させるよう過渡的に行っても良い。また、CPU７が復号前の画像ファイルのヘッダー情報により圧縮率が高いと判断した場合や、TVチューナー１３から取得したビットエラーレート等により受信状態が良くないと判断した場合には、ブロックノイズが発生する可能性が高いため、補正の程度を弱くし、ブロックノイズが強調されるのを防ぐようにしても良い。また、逆に圧縮率が低いと判断した場合にはブロックノイズが発生する可能性が低いため、補正の程度を強くして、より高画質な表示を行うようにしても良い。例えば、圧縮率が高い場合、Blacklevelの限界値を２３に変更したり、色相調整値Hadjを５に変更したり、彩度ゲインSgainを１．１に変更して、補正の程度を弱くする。

また、本実施例では上述の高画質化処理を高画質化回路１５で実現する場合の例について説明したが、CPU７の処理能力に余裕があれば高画質化回路１５を使用せず、高画質化の一部または全ての処理をCPU7でソフト的に行っても良い。

また、本実施例ではI/F部１５５内にシーンチェンジ検出部１５５２を設け、そのブロックからのINT１４１によってCPU7が補正データの生成、更新処理を行う場合の例について述べたが、符号化された画像を復号した際にIピクチャーやIDR(Instantaneous Decoding Refresh)ピクチャー等の特定のピクチャーを生成したときに行っても良い。

図１９は、携帯電話の別の構成例を示すブロック図である。図１と同一部分には同一符号を付し、説明は省略する。携帯電話は屋内や屋外の様々な場所で使用されるため、使用状況に応じて周囲の照度が異なる。晴れた日の屋外等、明るい環境では、周囲の光が表示装置１６に入射し、表示画像の低輝度側、即ち、黒側の階調が識別し難くなるという問題がある。図１９に示す携帯電話は、照度センサ２１を有し、入力信号の特徴点による補正に加え、照度による補正データを重畳する。

照度センサ２１は、フォトトランジスタやフォトダイオード等により構成される。照度センサ２１の出力特性の一例を図２０に示す。横軸は環境照度、縦軸は照度センサの出力レベルであり、環境照度が大きくなるに従って照度センサ２１の出力レベルも大きくなるものとする。なお、本例では、照度を検出する手段として、照度センサ７を設けたが、CMOSやCCDのカメラの出力信号を使用して照度を検出するようにしても良い。

メモリ９には、照度センサ２１により検出された照度が所定値以上になった場合に出力階調を補正する補正データを記憶する。図２１に、補正データの一例を示す。階調エリアYhstごとの補正値を設定している。本例では、黒側の階調を識別しやすくするように、黒側の出力階層を補正するようにしている。なお、本例では、照度が所定以上の場合の補正データを1種類設けているが、照度に応じて、補正値の大きさや補正する階調範囲を変更した複数種類の補正データを設けるようにしても良い。これら複数種類の補正データは、メモリ９に記憶しても良いし、例えば図２１に示した補正データを基準データとし、これに照度に応じた係数を乗算することにより算出するようにしても良い。

図２２に、高画質化回路１５の内部ブロック図を示す。図２に示す高画質化回路に、RGBゲイン調整部１５１０を追加したものである。図２と同一部分には同一符号を付し、説明は省略する。

照度センサ７により検出された照度はCPU７に入力される。照度が所定以上の場合、CPU７はRGBゲイン調整部１５１０へ出力階調の補正を指示する制御信号を出力する。RGBゲイン調整部１５１０は、CPU7からの制御に応じて、I/F部１５５を通じて補正データをメモリ９から読み出し、ビデオ信号のゲインを調節する。以下、RGBゲイン調整部１５１０による照度による補正データの重畳動作を図２３を用いて説明する。

図２３（ａ）は、Blacklevel=0、Whitelevel=255であり、変調部１５２で補正されなかった場合の輝度信号の入力階調に対する出力階調の特性を示したものである。照度が所定値以上の場合、図２３（ｂ）に示すように、入力階調に対する出力階調を補正する。具体的には、ＲＧＢゲイン調整部１５１０により、黒側の出力階調を強調するように補正が施され、明るい環境でも、視聴しやすい画像を表示することができる。一方、照度が所定値未満の場合、RGBゲイン調整部１５１０は補正を行わず、入力階調に対する出力階調は、図２３（ａ）のままである。

図２３（ｃ）は、Blacklevel=0〜47、Whitelevel=255であり、変調部１５２により、入力階調４７〜２５５に対する出力階調が補正された状態を示している。照度が所定値以上の場合、図２３（ｄ）に示すように、ＲＧＢゲイン調整部１５１０は、メモリ９から読み出した補正データを用いて、入力階調に対する出力階調を補正する。本例では、Blacklevel=0〜47の範囲については、ＲＧＢゲイン調整部１５１０により補正を行わないように制御しているが、RGBゲイン調整部１５１０での補正量が一定以下の場合には、ゲイン変調を施してもさほど問題はない。

なお、以上の例では、照度に応じて、黒側の階調を強調したが、これに限定するものではなく、周囲の光の色に応じて補正を行うようにしても良い。例えば、外光の色が夕日などの赤みがかった光の場合には、外光の影響により、表示画像の色も赤みがかってしまうという問題がある。

この問題を解消するために、照度センサ２１がRGB（Red-Green-Blue）独立した３系統の検出素子を有し、それら検出素子の比率をCPU7で計算する。これにより、外光の強さに加えて色によって、変調を行う。

CPU7は、照度センサ２１のRGB各出力色の比率を計算し、RGBいずれかの成分が多い場合には、RGBゲイン調整部１５１０に対し、成分が多い色については補正値を下げるように制御する。例えば、周囲の光が夕日や白熱灯の場合など、周囲の光にＲ成分が多いことを検出すると、RGBゲイン調整部１５１０に対し、Ｇ，Ｂに対してＲの補正データが少なくなるように指示する。

図２４（ａ）は、変調部１５２で輝度信号の入力階調に対する出力階調が補正されなかった場合に、RGBゲイン調整部１５１０により補正した状態を示したものである。また、図２４（ｂ）は、変調部１５２により、入力階調４７〜２５５に対する出力階調が補正された場合に、RGBゲイン調整部１５１０により補正した状態を示したものである。それそれ、Ｇ，Ｂに対してＲのゲインを下げるように補正している。これにより、表示装置１６上でのＲＧＢの比率を所望の比率に保ち、良好な表示を行うことができる。ここでは外光にＲ成分が多い場合の例について説明したが、外光にＧあるいはBが多い場合も、同様に補正することができる。

また、入力信号の変調に加えて、周囲の光の色に応じて。バックライト１７の色を変調するようにしても良い。

バックライト１７及びバックライト駆動回路１８の構成例を図２５に示す。光源素子（LED）１７１〜１７３は、それぞれR-LED、G-LED、B-LEDである。電流制御手段１８３〜１８５は、制御回路１８１の指示に基きそれぞれLED171〜LED173の電流を個別に制御する。DC-DCコンバータ１８２は、LED１７１〜１７３を駆動するように、バッテリー２０から供給された電圧を昇圧または降圧する。制御回路１８１は、CPU7の指示により、電流制御手段１８３〜１８５の電流値を設定する。一般にLED１７１〜LED１７３の光度は、アノード−カソード間を流れる電流に比例するため、CPU7から制御回路１８１及び調整手段１８３〜１８５を介してLED１７１〜LED１７３の電流を制御する光度を個別に制御できる。

図２６に、周囲の光にRの成分が多い場合のLED１７１〜LED１７３の制御例を示す。縦軸は、LED１７１〜LED１７３に流す電流を示している。R成分が多い場合、R-LED171の電流をLED172及びLED173に対して少なくするように制御する。このように制御することにより、周囲の光の色によって表示画像の色が変化してしまうことを防止することができる。

外光にR成分が多い場合の例について説明したが、外光にGが多い場合は緑色LED172の電流をR、Bのそれに比べて少なくすれば良く、外光にBが多い場合はB-LED173の電流をR、Gのそれに比べて少なくすれば良い。

なお、本例では、光源素子としてR-LED171、G-LED172、B-LED173を各１個づつ使用する場合について説明したが、これに限られるものでなく、微小なLEDを各色複数系統配置したLEDアレイ型のバックライトや有機ELディスプレイのような自発光型のディスプレイを光源として使用した場合に本制御方法を適用しても良い。

以上、バックライト１７によって外光の色に対する補正を行う場合の例について説明したが、外光照度が高い場合にはLED１７１〜LED１７３の電流を同じ割合で増加させることによって良好な画像観視が可能である。また、逆に外光照度が低い場合にはLED１７１〜LED１７３の電流を同じ割合で減少させることにより低消費電力化が可能である。

以上、携帯電話等の携帯端末装置を例にして説明してきたが、本発明の適用は、携帯端末装置に限られない。映像を視聴可能な映像処理装置であれば、いかなる装置に適用しても良い。例えば、通信機能を有していない端末装置であっても構わない。また、高画質表示の低消費電力化が可能なことからバッテリーで動作する携帯端末に特に有効であるが、家庭用コンセントからの給電で動作する据え置き型の端末装置であっても構わない。

放送局において、例えば縦横比４：３のコンテンツを縦横比１６：９の横長映像信号に変換する際、コンテンツの左右に模様が付けられた壁紙エリアや単一色の無画エリアなどのパターン部分を付加することがある。パターン部分は、映像を見やすくするために、固定であることが好ましいが、マーク等の一部分が変化するものであっても良い。

パターン部分が付加された映像信号をフレーム単位あるいはシーン単位に画質補正を施すと、映像信号内容に応じてパターン部分の輝度や色が変化するため、かえって見苦しくなる可能性がある。本実施例では、パターン部分の有無を検出する検出部を設け、パターン部分を検出した場合には画質補正を停止する機能を備えた携帯電話の例について述べる。

図２７は、携帯電話の高画質化回路の他の構成例を示すブロック図である。図２に示す高画質化回路に、画像左右に挿入されたパターン部分を検出するパターン部分検出部１５１１を追加したものである。図２と同一部分には同一符号を付し、説明は省略する。

パターン部分検出部１５１１の構成例を図２８に示す。水平位置カウンタ１５１１１は、入力映像信号のドットクロックをカウントし、所定の値になった時点で水平イネーブル信号を出力する。また、水平位置カウンタ１５１１１は、表示装置１６の水平方向の画素数と一致した時点で水平パルスを出力し、カウント値をクリアする。垂直位置カウンタ１５１１２は、水平位置カウンタ１５１１１から出力された水平パルスをカウントし、所定の値になった時点で垂直イネーブル信号を出力する。また、垂直位置カウンタ１５１１２は、表示装置１６の垂直方向の画素数と一致した時点で垂直パルスを出力し、カウント値をクリアする。

アンドゲート１５１１３は、水平位置カウンタ１５１１１から出力された水平イネーブル信号と垂直位置カウンタ１５１１２から出力された垂直イネーブル信号の論理積を出力する。ラッチ回路１５１１４は、アンドゲート１５１１３の出力に基いてＲＧＢ−ＹＵＶ変換部１５１から出力された輝度信号Ｙの値を取り込んで保持する。

図２９は、表示装置１６におけるパターン部分検出ポイントの位置を示している。表示装置１６の画素数は、例えば水平３２０ｄｏｔ，垂直１８０ｄｏｔ、縦横比が１６：９とする。この表示装置１６に縦横比４：３のコンテンツの左右にパターン部分を挿入した画像を表示させる場合、４：３コンテンツの垂直方向を表示装置１６の画素数に一致させて１８０ｄｏｔとすると、水平方向画素数は２４０ｄｏｔとなるため、左右に４０ｄｏｔずつパターン部分が表示されることになる。検出ポイントは、このパターン部分表示エリア内に設けたＰ１１，Ｐ１２，Ｐ１３の３箇所と、コンテンツ表示エリア内に設けたＰ２１，Ｐ２２，Ｐ２３の３箇所、合計６箇所配置する。

各検出ポイントの座標は表示装置１６の左上を原点A（ｘ、ｙ）＝（０，０）とすると、Ｐ１１は（２０，２０），Ｐ２１は（６０，２０），Ｐ１２は（２０，９０），Ｐ２２は（６０，９０），Ｐ１３は（２０，１６０），Ｐ２３は（６０，１６０）とする。本実施例では、パターン部分は映像の左右に均等に挿入されるものとして左側だけで検出する場合の例について説明しているが、これに限られるものではなく、右側だけで検出しても良いし、左右両方で検出しても良い。また、シネマスコープサイズ等の１６：９よりもさらに横長のコンテンツを表示する場合は、コンテンツ表示エリアの上下にパターン部分が挿入されている可能性があるため、画像上下に検出ポイントを設けても良い。また、検出ポイントの数についても最低限、コンテンツ表示エリア以外に１個以上あれば良い。あるいは、フレームメモリのように表示装置１６の画素数またはコンテンツの画素数分設けても良い。

次に、水平位置カウンタ１５１１１の動作例を図３０を用いて説明する。水平位置カウンタ１５１１１は、例えば、水平イネーブル信号を生成するため検出ポイントのｘ座標である２０，６０と、表示装置１６の水平方向画素数である３２０をプリセットする。プリセットはＣＰＵ７から行っても良いし、水平位置カウンタ１５１１１内部で固定しても良い。このように水平位置カウンタ１５１１１に初期値をプリセットすることにより、水平位置カウンタ１５１１１は入力されたドットクロックをカウントし、プリセットされた２０及び、６０クロック目がＨｉｇｈレベルとなる水平イネーブル信号を出力する。また、３２０クロック目がＨｉｇｈレベルとなる水平パルスを出力する。尚、水平位置カウンタ１５１１１は、水平パルスを出力した時点でカウント値をリセットして、再び“０”からカウントを再開し、周期的に上述のタイミングで水平イネーブル信号及び、水平パルス出力を出力する動作を繰り返す。

垂直位置カウンタ１５１１２の動作例を図３１を用いて説明する。垂直位置カウンタ１５１１２は、例えば、垂直イネーブル信号を生成するため検出ポイントのy座標である２０，９０，１６０と、表示装置１６の垂直方向画素数である１８０をプリセットする。プリセットはＣＰＵ７から行っても良いし、垂直位置カウンタ１５１１２内部で固定しても良い。このように垂直位置カウンタ１５１１２に初期値をプリセットすることにより、垂直位置カウンタ１５１１２は水平位置カウンタ１５１１１から出力される水平パルスをカウントし、プリセットされた２０，９０及び、１６０カウント目でＨｉｇｈレベルとなる垂直イネーブル信号を出力する。また、１８０カウント目でＨｉｇｈレベルとなる垂直パルスを出力する。尚、垂直位置カウンタ１５１１２は垂直パルスを出力した時点でカウント値をリセットして再び“０”からカウントを再開し、周期的に上述のタイミングで垂直イネーブル信号及び、垂直パルス出力する動作を繰り返す。

アンドゲート１５１１３の入出力波形の一例を図３２に示す。同図は、垂直位置カウンタ１５１１２のカウント値が２０になっている場合の例を示している。アンドゲート１５１１３は、水平イネーブル信号及び垂直イネーブル信号が共にＨｉｇｈレベルの時のみ、Ｈｉｇｈレベルを出力する。よって、アンドゲート１５１１３の出力は、垂直位置カウンタ１５１１２の２０，９０，１６０カウント目の水平位置カウンタ１５１１１の２０及び、６０クロック目がＨｉｇｈレベルとなる。

ラッチ回路１５１１４は、アンドゲート１５１１３がＨｉｇｈレベルのタイミングで輝度信号Ｙの値を取り込んで１フレーム分保持することにより、各検出ポイントの輝度信号Ｙの値を取得することができる。

次に、Ｉ／Ｆ部１５５におけるパターン部分の判定フローを図３３を用いて説明する。垂直パルスを受信したか判定し（Ｓ３３０１）、受信していない場合は垂直パルスの受信待ちを行い、受信した場合はＳ３３０２に移行する。パターン部分検出部１５１１から各検出ポイントの輝度信号Ｙの値を取得し（Ｓ３３０２）、各検出ポイントにおける前フレームとの差分を求める（Ｓ３３０３）。

４：３映像を表示した場合にパターン部分表示領域になる検出ポイントであるＰ１１，Ｐ１２，Ｐ１３について、前フレームとの差分が“０”かどうかを判定する（Ｓ３３０４）。この差分が“０”でないときは、パターン部分が含まれていないと判断し、Ｓ３３０８に移行する。

一方、差分が“０”の場合は、パターン部分が含まれている可能性があると判断し、Ｓ３３０５に移行する。Ｐ１１，Ｐ１２，Ｐ１３の差分が“０”の場合であっても、中心部しか動きがないコンテンツである可能性がある。Ｓ３３０５では、このようなコンテンツを識別するために、４：３映像を表示した場合にコンテンツ表示領域になる検出ポイントであるＰ２１，Ｐ２２，Ｐ２３について、前フレームとの差分が“０”か判定する。この差分が“０”の時は、中心部しか動いていないようなコンテンツであると判断し、Ｓ３３０８に移行する。

Ｐ２１，Ｐ２２，Ｐ２３におけるフレーム差分が“０”でないときは、パターン部分が含まれていると判断し、レジスタの一部に設けているパターン部分の有無を示すフラグを“１”：「パターン部分有り」に設定する（S３３０６）。そして、ＣＰＵ７に対して割り込みを発行し、レジスタのリードを要求し、パターン部分付きコンテンツであることをＣＰＵ７に通知する（S３３０７）。Ｓ３３０８では、各検出ポイントの輝度信号Ｙの値を保存し、前フレームデータとする。

図３４にＣＰＵ７での処理フローを示す。ＣＰＵ７での補正特性更新処理は、Ｉ／Ｆ部１５５からの割り込み１４１の受信により実行する。Ｓ３４０１において、ＣＰＵ７はパターンフラグが“０”の時、すなわち、パターン部分無しの時は、Ｓ３４０２において実施例１や実施例２で説明した方法により高画質化処理を施すための補正データを算出し、Ｉ／Ｆ部１５３に補正データを送信する（Ｓ３４０４）。また、Ｓ３４０１においてパターンフラグが“１”の時、すなわち、パターン部分有りの時は、Ｓ３４０３において補正データ＝“０”とし、Ｉ／Ｆ部１５３に補正データを送信する（Ｓ３４０４）。

図３５及び図３６を用いて、Ｉ／Ｆ部１５５におけるパターン部分検出の具体例を説明する。

図３５はパターン部分無しコンテンツが入力された場合の例である。図３５（ａ）は前フレームの映像であり、図３５（ｂ）はその次のフレームの映像であり、図３５（ｃ）は各検出ポイントにおける前後のフレームでの輝度信号Ｙの値とそれらの差分を示している。

図３５（ａ）において、例えば、映像信号中における輝度信号Ｙの値を、太陽３５１は１００、空３５２は８０、大きい山３５３は５０、小さい山３５４は４０とする。そして、前フレームにおける各検出ポイントの輝度信号Ｙの値は、図３５（ｃ）のフレーム１の列に示す様にＰ１１：１００，Ｐ１２：８０，Ｐ１３：５０，Ｐ２１：８０，Ｐ２２：５０，Ｐ２３：４０が保持されているものとする。

図３５（ｂ）のような映像信号が入力された場合、図３３のフローに従い、垂直パルス検出後、図３５（ｂ）における各検出ポイントの輝度信号Ｙの値を取得する。例えば、図３５（ｃ）のフレーム２の列に示す様に、Ｐ１１：８０，Ｐ１２：８０，Ｐ１３：８０，Ｐ２１：１００，Ｐ２２：８０，Ｐ２３：５０となる。Ｓ３３０３においてフレーム１とフレーム２の差分を算出する。その結果、図３５（ｃ）のフレーム差分の列に示す様に△Ｐ１１：−２０，△Ｐ１２：０，△Ｐ１３：３０，△Ｐ２１：２０，△Ｐ２２：３０，△Ｐ２３：１０となる。Ｓ３３０４ではＰ１１及びＰ１３が“０”ではないため、Ｓ３３０８に移行し、各検出ポイントのＹ値を前フレームの値として保存し、終了する。よってパターン部分有りと判定されない。

図３６はパターン部分付きコンテンツが入力された場合の例である。図３６（ａ）は前フレームの映像であり、図に示すように４：３コンテンツの左右にパターン部分が挿入されている。このような映像信号が入力された場合、前フレームの輝度信号Ｙの値として、図３５（ｃ）のフレーム１の列に示す様にＰ１１：２３，Ｐ１２：２２，Ｐ１３：２５，Ｐ２１：１００，Ｐ２２：５０，Ｐ２３：４０が保持される。

図３３のフロー図に従い、図３６（ｂ）における各検出ポイントの輝度信号Ｙの値を取得する。取得結果は、例えば図３６（ｃ）のフレーム２の列に示す様に、Ｐ１１：２３，Ｐ１２：２２，Ｐ１３：２５，Ｐ２１：８０，Ｐ２２：８０，Ｐ２３：５０となる（Ｓ３３０２）。フレーム１とフレーム２の差分は、図３５（ｃ）に示す様に、△Ｐ１１：０，△Ｐ１２：０，△Ｐ１３：０，△Ｐ２１：−１０，△Ｐ２２：３０，△Ｐ２３：１０となる（Ｓ３３０３）。Ｓ３３０４では△Ｐ１１，△Ｐ１２及び△Ｐ１３が“０”のため、Ｓ３３０５に移行し、△Ｐ２１，△Ｐ２２，△Ｐ２３が“０“か否かを判定する。本例では△Ｐ２１，△Ｐ２２，△Ｐ２３は“０”ではないため、Ｓ３３０６に移行し、パターン部分フラグ＝“１”をレジスタにセットする。Ｓ３３０７においてＣＰＵ７に対して割り込みを発行してレジスタリードを要求し、パターン部分付きコンテンツであることをＣＰＵ７に通知する。そして、Ｓ３３０８において各検出ポイントの輝度信号Ｙの値を保持して終了する。

ＣＰＵ７はパターン部分フラグ＝“１”を検出することによりパターン部分付きコンテンツであることを認識し、入力信号をそのまま出力する補正特性をＩ／Ｆ部１５５に書き込む。これにより、パターン部分付きコンテンツ表示時の高画質化処理を停止する。

以上説明したように、映像信号にパターン部分が含まれているか否かを検出し、パターン部分が含まれている場合には、映像信号の高画質化処理を停止する。これにより、輝度や色が変化することによるパターン部分のちらつきを防止し、コンテンツを視聴しやすくすることができる。

なお、本実施例では、パターン部分の検出により高画質化処理を停止する場合について説明したが、これに限定するものではない。パターン部分の検出により補正データの更新を停止するようにしても良い。補正データの更新を停止することにより、パターン部分の輝度や色が変化することを防止することができる。

また、連続した２フレームの輝度信号Yの差分を用いてパターン部分付き画像を判定する例について説明したが、これに限られるものではなく、連続した３フレーム以上としても良いし、一定間隔毎に間引いて抽出したフレームを用いて判定しても良い。

パターン部分が黒一色により構成されている場合、模様や有彩色の単一色により構成された場合に比べて、補正してもパターン部分の色の変化が少ない。本実施例では、コンテンツの左右にパターン部分が付加されているのを検出したときに、そのパターン部分が黒の無画エリアであるかどうかを検出し、黒の無画エリアである場合は映像信号の補正を行う場合について説明を行う。なお、本実施例では、パターン部分のうち、黒の無画エリア部分ではないものを壁紙エリア部分とする。

図３７は、携帯電話の高画質化回路の他の構成例を示すブロック図である。図２７に示す高画質化回路とは、特徴点検出エリア制御部１５１２を設けた点が異なる。

特徴点検出エリア制御部１５１２の構成例を図３８に示す。水平エリア検出カウンタ１５１２１は入力映像信号のドットクロックをカウントし、所定の値になった時点で水平イネーブル信号を出力する。また、表示装置１６の水平方向の画素数と一致した時点で水平パルスを出力し、カウント値をクリアする。垂直エリア検出カウンタ１５１２２は水平エリア検出カウンタ１５１２１から出力された水平パルスをカウントし、所定の値になった時点で垂直イネーブル信号を出力する。また、表示装置１６の垂直方向の画素数と一致した時点で垂直パルスを出力し、カウント値をクリアする。

アンドゲート１５１２３は、水平エリア検出カウンタ１５１２１から出力された水平イネーブル信号と垂直エリア検出カウンタ１５１２２から出力された垂直イネーブル信号の論理積を出力する。オアゲート１５１１４はI/F部１５５から入力された検出マスク信号とアンドゲート１５１１３の出力との論理和を特徴点検出イネーブル信号として特徴点検出部１５４に出力する。特徴点検出部１５４は特徴点検出イネーブル信号がHighレベル期間の映像信号のみヒストグラム演算や平均値計算の対象とし、Lowレベル期間の映像信号は無視する。これにより、黒の無画エリアを除いたコンテンツ表示エリアのみで特徴点検出を行うことが可能となる。

次に、図３９〜図４２を用いて特徴点検出エリア制御部１５１２の動作例について説明する。

図３９は表示装置１６における黒の無画エリアの位置と大きさを示している。表示装置１６の画素数は、上述の実施例と同様に、例えば水平３２０ｄｏｔ，垂直１８０ｄｏｔ、縦横比が１６：９とする。本例では、この表示装置１６の左右に４０ｄｏｔずつが、黒の無画エリアであるとする。

水平エリア検出カウンタ１５１２１の動作例を図４０を用いて説明する。水平エリア検出カウンタ１５１２１は水平イネーブル信号の開始点、及び終了点のｘ座標である４０，２８０と、水平パルスを生成するため表示装置１６の水平方向画素数：３２０をプリセットしているものとする。プリセットする方法はＣＰＵ７から設定しても良いし、水平エリア検出カウンタ１５１２１内部で固定しても良い。このように水平エリア検出カウンタ１５１２１に初期値をプリセットすることにより水平エリア検出カウンタ１５１２１は入力されたドットクロックをカウントし、４０クロックカウントした時点で出力をHighレベルに遷移させ、２８０クロックカウントした時点で出力を再びLowレベルに遷移させる。さらに３２０をカウントした時点でＨｉｇｈレベルとなる水平パルスを出力する。尚、本水平エリア検出カウンタ１５１２１は水平パルスを出力した時点でカウント値をリセットして再び“０”からカウントを再開し、周期的に上述のタイミングで水平検出エリアイネーブル信号及び、水平パルス出力を出力する動作を繰り返す。

垂直エリア検出カウンタ１５１２２の動作例を図４１を用いて説明する。垂直エリア検出カウンタ１５１２２は垂直検出エリアイネーブル信号を開始点、及び終了点のｘ座標である１，３２０と、垂直パルスを生成するため表示装置１６の水平方向画素数：３２０をプリセットしているものとする。プリセットする方法はＣＰＵ７から設定しても良いし、垂直エリア検出カウンタ１５１２２内部で固定しても良い。このように垂直エリア検出カウンタ１５１２２に初期値をプリセットすることにより垂直位置カウンタ１５１２２は入力された水平パルスをカウントし、１クロックカウントした時点で出力をHighレベルに遷移させ、３２０クロックカウントした時点、即ち、常にＨｉｇｈレベルを垂直検出エリアイネーブル信号として出力する。さらに１８０をカウントした時点でＨｉｇｈレベルとなる垂直パルスを出力する。尚、本垂直エリア検出カウンタ１５１２２は垂直パルスを出力した時点でカウント値をリセットして再び“０”からカウントを再開し、周期的に上述のタイミングで水平検出エリアイネーブル信号及び、水平パルス出力を出力する動作を繰り返す。ここでは、図３９に示すように黒の無画エリアがコンテンツ表示エリアの左右のみに挿入された映像信号が入力された場合の例について説明するが、これに限られるものでなく、コンテンツ表示エリアの上下にあっても構わない。その場合にはコンテンツ表示エリアの垂直方向のスタート位置と終了位置をCPU7から設定すればよい。

アンドゲート１５１２３の入出力波形を図４２に示す。アンドゲート１５１１３の出力は水平イネーブル信号及び、垂直イネーブル信号が共にＨｉｇｈレベルの時のみＨｉｇｈレベルを出力する。よって、水平方向は４０ドットから２８０ドットまで、垂直方向は１ドットから１８０ドットまでの期間、即ち、コンテンツ表示エリアの映像信号が流れている期間Highレベルが出力される。

オアゲート１５１２４はアンドゲート１５１２３の出力と、I/F部１５５から入力されたエリア検出マスク信号とアンドゲート１５１１３の論理和をサンプリングイネーブル信号として特徴点検出部１５４に出力する。このアンドゲート１５１２３によってCPU７からI/F部１５５を介してアンドゲート１５１１３の出力を特徴点検出部１５４にそのまま伝えるか、Highに固定してマスクするか制御することができる。これによって、特徴点検出を黒の無画エリアを含む画面全域で行うか、黒の無画エリアを含まないコンテンツ表示エリアのみで行うかをＣＰＵ７が制御することができる。ここでは後者の場合の例について説明するが、黒の無画エリアの面積が小さい場合には前者としてもさほど問題は無い。

次に、Ｉ／Ｆ部１５５における黒の無画エリアの判定フローを図４３を用いて説明する。Ｓ４３０１で垂直パルスを受信したか判定する。受信した場合は、パターン部分検出部１５１１から各検出ポイントの輝度信号Ｙの値を取得する（S４３０２）。Ｓ４３０３で各検出ポイントにおける前フレームとの差分を求める。Ｓ４３０４ではＰ１１，Ｐ１２，Ｐ１３、即ち４：３映像を表示した場合にパターン部分になる部分について前フレームとの差分が“０”か判定する。この差分が“０”でないときは、パターン部分が含まれていないと判断し、Ｓ４３１０に移行する。

一方、差分が“０”の場合はＳ４３０５に移行する。Ｓ４３０５ではＰ２１，Ｐ２２，Ｐ２３即ち、４：３映像を表示した場合にコンテンツ表示領域になる部分について前フレームとの差分が“０”か判定する。この差分が“０”の時はパターン部分ではないと判断し、Ｓ４３１０に移行する。

Ｐ２１，Ｐ２２，Ｐ２３が“０”でないときは、パターン部分であると判断し、S４３０６においてパターン部分が黒の無画エリア部分であるか否かの判定を行う。Ｐ１１，Ｐ１２，Ｐ１３における輝度信号Ｙの値が“０”でないとき、パターン部分は壁紙部分であるとして、レジスタの一部に設けている壁紙部分の有無を示すフラグを“１”：「壁紙部分有り」に設定する（S４３０７）。輝度信号Ｙの値が“０”の場合は、黒の無画エリアであると判断し、無画エリアの有無を示すフラグを“１”：「無画エリア有り」に設定する（S４３０８）。

Ｓ４３０９ではＣＰＵ７に対して割り込みを発行してレジスタのリードを要求し、壁紙部分付きか、または無画エリア付きコンテンツであることをＣＰＵ７に通知する。Ｓ４３１０では各検出ポイントの輝度信号Ｙの値を保存し、前フレームデータとする。

図４４にＣＰＵ７での処理フローを示す。ＣＰＵ７での補正特性更新処理はＩ／Ｆ部１５５からの割り込み１４１を受信により実行する。Ｓ４４０１において、ＣＰＵ７は壁紙フラグが“１”の時、すなわち、黒の無画エリア部分のパターン部分が含まれている場合は、Ｓ４４０３において補正データ＝“０”とし、Ｓ４４０６に移行する。一方、壁紙フラグが“０”の場合は、Ｓ４４０２に移行する。

Ｓ４４０２において無画フラグが“１”の時、すなわち、黒一色の無画エリアが含まれている場合は、一定値以下の入力階調に対する出力を“０”に固定し、無画エリア付きコンテンツに適した高画質化処理を施すための補正データを算出すると共に、特徴点検出エリアを決定する（S４４０５）。なお、無画エリア付きのコンテンツに適した高画質化処理については後に説明する。

また、Ｓ４４０２において無画フラグが“０”の場合、通常の高画質化処理を施すための補正データを算出する（S４４０４）。Ｓ４４０６では、上記Ｉ／Ｆ部１５３に補正データを転送する。

以下、図４５に示す黒の無画エリア部分付きコンテンツが入力された場合の動作例について説明する。図４５（ａ）は前フレームの映像であり、図に示すように４：３コンテンツの左右に無画エリア部分が挿入されている。このような映像信号が入力された場合、前フレームの輝度信号Ｙの値として図４５（ｃ）のフレーム１の列に示す様にＰ１１：０，Ｐ１２：０，Ｐ１３：０，Ｐ２１：１００，Ｐ２２：５０，Ｐ２３：４０が保持されているものとする。図４３のフロー図において、Ｓ４３０１で垂直パルス検出後、Ｓ４３０２において図４５（ｂ）における各検出ポイントの輝度信号Ｙの値としては図４５（ｃ）フレーム２の列に示す様にＰ１１：０，Ｐ１２：０，Ｐ１３：０，Ｐ２１：８０，Ｐ２２：８０，Ｐ２３：５０を取得し、Ｓ４３０３に移行する。Ｓ４３０３においてはフレーム１とフレーム２の差分を算出するため、図４５（ｃ）のフレーム差分の列に示す様に△Ｐ１１：０，△Ｐ１２：０，△Ｐ１３：０，△Ｐ２１：−１０，△Ｐ２２：３０，△Ｐ２３：１０となる。次に、Ｓ４３０４において、△Ｐ１１，△Ｐ１２及び△Ｐ１３が“０”のため、Ｓ４３０５に移行し、△Ｐ２１，△Ｐ２２，△Ｐ２３が“０“か判定する。この結果、△Ｐ２１，△Ｐ２２，△Ｐ２３は“０”ではないため、Ｓ４３０６に移行する。

Ｓ４３０６においてＰ１１，Ｐ１２，Ｐ１３は“０”のためＳ４３０８に移行する。Ｓ４３０８において無画フラグ＝“１”をレジスタにセットしてＳ４３０９に移行する。Ｓ４３０９においてＣＰＵ７に対して割り込みを発行してレジスタリードを要求し、無画エリア部分付きのコンテンツであることをＣＰＵ７に通知してＳ４３１０に移行する。Ｓ４３１０において各検出ポイントの輝度信号Ｙの値を保持して終了する。

なお、Ｓ４４０５では、無画エリア部分付きのコンテンツに適した補正特性として、例えば０〜１５の入力階調が存在するコンテンツであっても、図４６に示すように入力信号０〜１５に対する出力を０に固定するよう補正する。このように補正することによって、黒側の階調の一部が失われるが、無画エリア部分に含まれるノイズを除去し、パターン部分を均一な黒として表示できるメリットがあり、画像として見栄えを良くすることができる。

また、黒の無画エリア部分による画像の特徴点計算への影響を排除するため、コンテンツ表示エリアの座標を特定して水平位置カウンタ１５１１１及び、垂直位置カウンタ１５１１２に所望のカウント値を設定し、オアゲート１５１２４にＬｏｗを出力するようＩ／Ｆ部１５３に出力する値を設定する。そして、Ｓ４４０６において、Ｉ／Ｆ部１５３に上記設定値を設定することにより、無画エリア部分付きのコンテンツに最適な画質補正を行うことができる。

なお、本実施例では黒の無画エリア部分付きコンテンツが入力された際には、映像信号の補正を行う場合について説明したが、これに限られるものでなく、白の無画エリア部分が含まれる場合に補正を行うようにしても良い。この場合、図４３のS４３０６において、P１１等が２５５であるか否かを判定する。また、一定値以上の白側の階調を“２５５”に固定するように制御することにより、ノイズが含まれている場合でも、パターン部分のちらつきを防止することができる。

また、図３７では、特徴点エリア制御部１５１２を特徴点検出部１５４側のみに設けているが、変調部１５２側にも設けることにより変調エリアの制御も行うことができる。これによって、例えばパターン部分を除外し、コンテンツ表示エリアのみ補正を行うことができる。また、黒や白の無画エリアではなく、例えば絵柄があるパターン部分であっても、ある一定レベル以下の階調に全ての階調が分布する場合は、出力を“０”として黒一色としても良いし、逆にある一定レベル以上の階調に全ての階調が分布する場合は、出力を“２５５”として白一色としても良い。

なお、以上の実施例では、画像左右にパターン部分が付加されている場合を例にとって説明したが、これに限られるものでなく、画像の上下にパターン部分が含まれる場合に適用しても良い。画像上下のパターン部分を検出するためには、検出ポイントを画像上下に設けることで同様の処理方式にて対応することができる。

さらに、画面上の時刻表示や画面周辺部に挿入される字幕やマークが含まれている場合がある。このような場合に対応するために、パターン部分検出部１５１１の判定結果と関係なく、あらかじめ画面の上下左右の一定部分を特徴点検出エリアから除外し、画面中央部のみで特徴点検出を行うようにしても良い。これにより、字幕などの挿入による特徴点データの変化を抑制し画面のちらつきや色の変化を防止することができる。

携帯電話の構成例を示すブロック図である。 高画質化回路の構成例を示すブロック図である。 色差と彩度の関係を説明する特性図である。 特徴点検出部の構成例を示すブロック図である。 輝度特徴点検出部の検出処理の一例を示すフロー図である。 輝度ヒストグラムの一例である。 色相特徴点検出部の検出処理の一例を示すフロー図である。 色相ヒストグラムの一例である。 彩度特徴点検出部の検出処理の一例を示すフロー図である。 彩度ヒストグラムの一例である。 I/F部の構成例を示すブロック図である。 シーンチェンジ検出部の検出処理の一例を示すフロー図である。 変調部における輝度補正の処理フロー例である。 輝度ヒストグラムと補正特性の一例である。 輝度ヒストグラムと補正特性の一例である。 輝度ヒストグラムと補正特性の一例である。 変調部における色相補正部の処理フロー例である。 変調部における彩度補正部の処理フロー例である。 携帯電話の構成例を示すブロック図である。 照度センサーの入出力特性例を示す図である。 補正データの一例である。 高画質化回路の構成例を示すブロック図である。 輝度信号の入力階調に対する出力階調の特性例を示す図である。 輝度信号の入力階調に対する出力階調の特性例を示す図である。 バックライト及びバックライト駆動回路の構成例を示すブロック図である。 LED電流値の一例を示す図である。 高画質化回路の構成例を示すブロック図である。 パターン部分検出回路の構成例を示すブロック図である。 表示装置におけるパターン部分検出ポイントの位置を示す図である。 パターン部分検出回路の内部波形の一例である。 パターン部分検出回路の内部波形の一例である。 パターン部分検出回路の内部波形の一例である。 Ｉ／Ｆ回路における処理の一例を示すフロー図である。 ＣＰＵにおける処理の一例を示すフロー図である。 入力映像信号の一例である。 入力映像信号の一例である。 高画質化回路の構成例を示すブロック図である。 特徴点エリア制御部の構成例を示すブロック図である。 入力映像信号における無画エリアの表示位置の一例である。 特徴点エリア制御部変調部の内部波形の一例である。 特徴点エリア制御部変調部の内部波形の一例である。 特徴点エリア制御部変調部の内部波形の一例である。 Ｉ／Ｆ回路における処理の一例を示すフロー図である。 ＣＰＵにおける処理の一例を示すフロー図である。 入力映像信号の一例である。 補正特性の一例である。

符号の説明

１…通信アンテナ、２…無線回路、３…符号復号処理回路、４…マイク、５…レシーバ、
６…キー、７…CPU、８…ＣＰＵバス、９…メモリ、１０…DAC、１１…スピーカー、１２…TVアンテナ、１３…TVチューナー、１４…ビデオI/F、１５…高画質化回路、１６…表示装置、１７…バックライト、１８…バックライト駆動回路、１９…電源回路、２０…バッテリー、１５１…RGB-YUV変換回路、１５２…変調部、１５３…色差-HS変換部、１５４…特徴点検出部、１５５…I/F部、１５６…HS-色差変換、１５７…YUV-RGB変換部、１５８…セレクタ、１５９…電源OFF可能エリア、１５５１…内部バス、１５４１…輝度特徴点検出部、１５４２…色相特徴点検出部、１５４３…彩度特徴点検出部、１５１０…RGBゲイン調整部、２１…照度センサ、１７１…R-LED、１７２…G-LED、１７３…B-LED、１８１…制御回路、１８２…DC-DCコンバーター、１８３〜１８５…電流制御手段、１４１…INT、２１…照度センサ、１５１１…パターン部分検出部、１５１１１…水平位置カウンタ、１５１１２…垂直意図カウンタ、１５１１３…アンドゲート、１５１１４…ラッチ、Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３…検出ポイント、１５１２…特徴点エリア制御部、１５１２１…水平エリア検出カウンタ、１５１２２…垂直エリア検出カウンタ、１５１２３…アンドゲート、１５１２４…オアゲート

Claims (8)

1. コンテンツを含む映像信号が入力される入力部と、
   前記入力部に入力された映像信号にコンテンツ以外のパターン部分が含まれているか否かを検出する検出部と、
   前記入力部に入力された映像信号を補正する補正部と、
   前記パターン部分が含まれていない場合は前記補正部により前記入力部に入力された映像信号を補正するように制御し、前記パターン部分が含まれている場合は前記補正部により前記映像信号の補正を行わないように制御する制御部と、
   を備えていることを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置は、前記映像信号の輝度または色相または彩度のうちの少なくとも１つのレベルあるいは分布を検出する特徴点検出部を備え、
   前記補正部は、前記特徴点検出部により検出されたレベルあるいは分布に応じて、前記映像信号を補正することを特徴とする映像処理装置。
3. コンテンツを含む映像信号が入力される入力部と、
   前記入力部に入力された映像信号にコンテンツ以外のパターン部分が含まれているか否かを検出する検出部と、
   前記入力部に入力された映像信号の輝度または色相または彩度のうちの少なくとも１つのレベルあるいは分布を検出する特徴点検出部と、
   前記特徴点検出部から出力された検出結果に応じて補正特性を変更し、前記入力部に入力された映像信号を補正する補正部と、
   前記パターン部分が含まれている場合は前記補正部の前記補正特性を変更しないように制御する制御部と、
   を備えていることを特徴とする映像処理装置。
4. 請求項１ないし３のいずれかに記載のパターン部分は、前記コンテンツの左右または上下に付加されて表示される壁紙エリアあるいは単一色により構成された無画エリアであることを特徴とする映像処理装置。
5. コンテンツを含む映像信号が入力される入力部と、
   前記入力部に入力された映像信号にコンテンツ以外のパターン部分が含まれているか否かを検出するパターン部分検出部と、
   前記パターン部分が単一色により構成された無画エリアであるか否かを検出する無画エリア検出部と、
   前記入力部に入力された映像信号を補正する補正部と、
   前記パターン部分が含まれていない場合および前記パターン部分が前記無画エリアである場合は前記補正部により前記入力部に入力された映像信号を補正するように制御し、前記パターン部分が無画エリアでない場合は前記補正部により前記映像信号の補正を行わないように制御する制御部と、
   を備えていることを特徴とする映像処理装置。
6. 請求項５に記載の映像処理装置は、前記映像信号の輝度または色相または彩度のうちの少なくとも１つのレベルあるいは分布を検出する特徴点検出部を備え、
   前記無画エリア検出部により前記パターン部分が無画エリアであることが検出された場合に、前記特徴点検出部は前記無画エリア以外の映像信号の輝度または色相または彩度のうちの少なくとも１つのレベルあるいは分布を検出することを特徴とする映像処理装置。
7. 請求項５または請求項６に記載のパターン部分は、前記コンテンツの左右または上下に付加されて表示される部分であることを特徴とする映像処理装置。
8. 請求項５ないし請求項７のいずれかに記載の無画エリアは、黒色または白色により構成されていることを特徴とする映像処理装置。
   

Images