JP2005164979A

JP2005164979A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2005164979A
Application number: JP2003404064A
Authority: JP
Inventors: Kunihisa Orito; 邦央折戸; Chie Sekine; 千絵関根; Nobuhiro Ozu; 伸広小津
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-12-03
Filing date: 2003-12-03
Publication date: 2005-06-23

Abstract

【課題】背景画像全体と調和がとられた状態で上書き画像を背景画像に合成することができる。
【解決手段】ビデオデコーダ２１は、画像入力部１２から供給された画像信号をデコードし、その結果得られたビデオデータ（背景画像）を画像記憶部２２に供給する。コントローラ２３は、制御部１１からの制御情報に基づいて上書き画像を生成し、画像記憶部２３に供給する。生成部２５は、画像記憶部２２に記憶されている背景画像の輝度に応じた、画像記憶部２３に記憶されている上書き画像の色度およびブレンド比を検出し、その色度およびブレンド比で、上書き画像を背景画像に合成する。生成部２５は、その合成により得られた表示画像をディスプレイ１４に出力して表示させる。本発明はイコライザーに適用することができる。
【選択図】図２

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、背景画像全体と調和がとれた状態で上書き画像を背景画像に合成することができるようにした画像処理装置および方法、並びにプログラムに関するものである。

背景画像に所定の画像（文字等）を描画（上書き）する方法としては、描画する画像の視認性を向上させるために、上書きされる部分の背景画像の色の補色で、文字等を描画する方法がある（特許文献１参照）。

特開２００１−１４２４４７号公報

しかしながら、補色をとり得る背景画像の範囲は比較的狭い範囲となるので、この方法では、背景画像全体と調和がとられた状態で上書き画像を背景画像に合成することができなかった。

本発明はこのような状況に鑑みてなされたものであり、背景画像全体と調和がとられた状態で上書き画像を背景画像に合成することができるようにしたものである。

本発明の画像処理装置は、背景画像の輝度値に基づいて、上書き画像の色度およびブレンド比を算出する算出手段と、算出手段により算出された色度で上書き画像を着色するとともに、算出手段により算出されたブレンド比で背景画像に合成し、表示画像を生成する第１の生成手段とを備えることを特徴とする。

音声信号を解析する解析手段と、解析手段による解析結果に基づいて上書き画像を生成する第２の生成手段とをさらに備え、第１の生成手段は、第２の生成手段により生成された上書き画像を、算出手段により算出された色度で着色するとともに、算出手段により算出されたブレンド比で背景画像に合成し、表示画像を生成することを特徴とする。

解析手段は、音声信号の周波数解析を行い、第２の生成手段は、周波数解析の結果に基づいて上書き画像を生成することができる。

本発明の画像処理方法は、背景画像の輝度値に基づいて、上書き画像の色度およびブレンド比を算出する算出ステップと、算出ステップの処理で算出された色度で上書き画像を着色するとともに、算出ステップの処理で算出されたブレンド比で背景画像に合成し、表示画像を生成する生成ステップとを含むことを特徴とする。

本発明のプログラムは、背景画像の輝度値に基づく、上書き画像の色度およびブレンド比の算出を制御する算出制御ステップと、算出制御ステップの処理で算出された色度での上書き画像の着色を制御するとともに、算出制御ステップの処理で算出されたブレンド比での背景画像への合成を制御し、表示画像の生成を制御する生成制御ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明においては、背景画像の輝度値に基づいて、上書き画像の色度およびブレンド比が算出され、算出された色度で上書き画像が着色されるとともに、算出されたブレンド比で背景画像に合成され、表示画像が生成される。

本発明によれば、背景画像全体と調和がとられた状態で上書き画像を背景画像に合成することができる。その結果、例えば、DVD再生時に、音声の解析画像を、再生画像に上書きして表示しても、鑑賞の妨げになることなく、上書き画像が背景画像に上書きされた新たな画像をユーザに提供することができる。

以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。

本発明の画像処理装置は、背景画像の輝度値に基づいて、上書き画像の色度およびブレンド比を算出する算出手段（例えば、図３のステップＳ１０またはステップＳ１１の処理を行う図２の表示画像生成部２５）と、算出手段により算出された色度で上書き画像を着色するとともに、算出手段により算出されたブレンド比で背景画像に合成し、表示画像を生成する第１の生成手段（例えば、図３のステップＳ１２の処理を行う図２の表示画像生成部２５）とを備えることを特徴とする。

音声信号を解析する解析手段（例えば、図６の解析部７２）と、解析手段による解析結果に基づいて上書き画像を生成する第２の生成手段（例えば、図６の制御部１１および表示制御部１３）とをさらに備え、第１の生成手段は、第２の生成手段により生成された上書き画像を、算出手段により算出された色度で着色するとともに、算出手段により算出されたブレンド比で背景画像に合成し、表示画像を生成することを特徴とする。

本発明の画像処理方法は、背景画像の輝度値に基づいて、上書き画像の色度およびブレンド比を算出する算出ステップ（例えば、図３のステップＳ１０またはステップＳ１１）と、算出ステップの処理で算出された色度で上書き画像を着色するとともに、算出ステップの処理で算出されたブレンド比で背景画像に合成し、表示画像を生成する生成ステップ（例えば、図３のステップＳ１２）とを含むことを特徴とする。

図１は、本発明を適用した画像処理装置１の構成例を示している。

画像入力部１２は、例えば、テレビジョンチューナ、MPEG（Moving Picture Experts Group）デコーダ、または外部の装置（いずれの図示せぬ）から供給された画像信号を入力し、表示制御部１３に供給する。

表示制御部１３は、画像入力部１２から供給された画像信号に対応するカラー画像（以下、背景画像と称する）に、所定の文字や絵柄からなるカラー画像（以下、適宜、上書き画像と称する）を合成し、表示画像を生成する。

表示制御部１３は、生成した表示画像をディスプレイ１４に表示させる。

操作部１５は、図示せぬ各種ボタンやダイヤル等で構成されており、ユーザによる操作に応じた信号を制御部１１に供給する。

制御部１１は、図示せぬＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）、等より構成されており、各部を制御する。

図２は、表示制御部１３の構成例を示している。

ビデオデコーダ２１は、画像入力部１２から供給された画像信号をデコードし、その結果得られたビデオデータを背景画像記憶部２２に供給する。背景画像記憶部２２は、ビデオデコーダ２１から供給されたビデオデータ（背景画像）をRGBデータに変換して記憶する。

グラフィックコントローラ２３は、制御部１１からの制御情報に基づいて、上書き画像を生成し、上書き画像記憶部２３に供給する。上書き画像記憶部２３は、グラフィックコントローラ２２から供給された上書き画像を記憶する。

表示画像生成部２５は、背景画像記憶部２２に記憶されている背景画像の輝度に基づいて、上書き画像記憶部２３に記憶されている上書き画像の色度およびブレンド比を算出する。表示画像生成部２５は、算出した色度で上書き画像を着色するとともに、算出したブレンド比でその上書き画像を背景画像に合成する。表示画像生成部２５は、その合成により得られた表示画像をディスプレイ１４に出力して表示させる。

次に、表示画像生成部２５の動作を、図３のフローチャートを参照して説明する。

ステップＳ１において、表示画像生成部２５は、背景画像記憶部２２に記憶されている１フレーム分の背景画像を読み出し、ステップＳ２において、その色度Ｒbv，Ｇbv，Ｂbvのそれぞれの平均値Ｒavr，Ｇavr，Ｂavrを算出する。

次に、ステップＳ３において、表示画像生成部２５は、ステップＳ１で読み出したフレームが、背景画像の最初のものか否かを判定し、最初のものであると判定した場合、ステップＳ４に進む。

ステップＳ４において、表示画像生成部２５は、式（１）に示すように、ステップＳ２で算出した背景画像の１フレーム分の色度Ｒbv，Ｇbv，Ｂbvの平均値Ｒavr，Ｇavr，Ｇavrを、上書き画像の色度Ｒow，Ｇow，Ｂowを算出するための基準値Ｒo，Ｇo，Ｂoとする。
Ｒo＝Ｒavr
Ｇo＝Ｇavr
Ｂo＝Ｂavr ・・・・（１）

一方ステップＳ３で、最初のフレームではないと判定された場合（１つ前のフレームについての上書き画像の色度Ｒow，Ｇow，Ｂowが後述するように得られている場合）、ステップＳ５に進み、表示画像生成部２５は、式（２）に示すように、ステップＳ１で取得したＲavr，Ｇavr，Ｂavrと、１つ前のフレームの上書き画像の色度Ｒow，Ｇow，Ｂow（以下、色度Ｒow-old，Ｇow-old，Ｂow-oldと称する）との平均をとり、それを、いまステップＳ１で読み出したフレームについての上書き画像の色度Ｒow，Ｇow，Ｂowを算出するための基準値Ｒo，Ｇo，Ｂoとする。
Ｒo＝（Ｒavr＋Ｒow-old）／２
Ｇo＝（Ｇavr＋Ｇow-old）／２
Ｂo＝（Ｂavr＋Ｂow-old）／２・・・・（２）

ステップＳ４またはステップＳ５で、基準値Ｒo，Ｇo，Ｂoがそれぞれ算出されたとき、ステップＳ６に進み、表示画像生成部２５は、ステップＳ１で読み出した背景画像の１フレームの輝度値Ｙが、別途、例えば制御部１１から与えられているか否かを判定し、与えられていないと判定した場合、ステップＳ７に進む。

ステップＳ７において、表示画像生成部２５は、ステップＳ１で読み出した背景画像の１フレームの輝度値Ｙを、式（３）に従って算出する。式（３）のＲavr、Ｇavr、およびＢavrは、ステップＳ２で算出した、１フレーム分の色度Ｒbv，Ｇbv，Ｂbvの平均値である。
Ｙ＝0.2989×Ｒavr＋0.5866×Ｇavr＋0.1145×Ｂavr・・・（３）

ステップＳ６で、輝度値Ｙが与えられていると判定した場合、ステップＳ８に進み、表示画像生成部２５は、それを取得する。例えば、与えられた輝度値Ｙが内蔵するメモリ（図示せぬ）に記憶されているとき、表示画像生成部２５は、そこから輝度値Ｙを読み取る。

ステップＳ７またはステップＳ８で、輝度値Ｙが得られたとき、ステップＳ９に進み、表示画像生成部２５は、ステップＳ７またはステップＳ８で得られた背景画像の輝度値Ｙが、所定の値より小さいか否かを判定する。この例の場合、輝度の最大値の２／３より小さい（輝度が８ビットで表され、その最大値が255である場合、170.0085より小さい）か否かが判定される。

ステップＳ９で、背景画像の輝度値Ｙが所定の値より小さいと判定された場合、ステップＳ１０に進み、表示画像生成部２５は、式（４）に従って、上書き画像の色度Ｒow，Ｇow、およびＢowを算出する。式（４）のＲo，Ｇo，Ｂoは、ステップＳ４またはステップＳ５で算出された基準値である。Ｃmaxは、ディスプレイ１４が表示できる色度の最高値（例えば、色度が８ビットで表されている場合、255）である。
Ｒow＝ｍａｘ（Ｒo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5），0）
Ｇow＝ｍａｘ（Ｇo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5），0）
Ｂow＝ｍａｘ（Ｂo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5），0）
・・・・・（４）

表示画像生成部２５このときまた、ブレンド比率αを、ブレンド比の最大値（αmax）とする。この例の場合、αは８ビットで表されるので、その最大値は255となる。

一方、ステップＳ９で、背景画像の輝度値Ｙが所定の値より小さくないと判定された場合（170.0085より小さくないと判定された場合）、ステップＳ１１に進み、表示画像生成部２５は、式（５）に従って（ｆ(Y)を利用して）、上書き画像の色度Ｒow，Ｇow、およびＢowを算出する。式（５）のＲo，Ｇo，Ｂoは、ステップＳ４またはステップＳ５で算出された基準値である。Ｃmaxは、ディスプレイ１４が表示できる色度の最高値である。
Ｒow＝ｍａｘ（Ｒo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5）−ｆ(Y)，0）
Ｇow＝ｍａｘ（Ｇo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5）−ｆ(Y)，0）
Ｂow＝ｍａｘ（Ｂo＋Ｃmax−ｍａｘ（Ｒo，Ｇo，Ｂo，Ｃmax×0.5）−ｆ(Y)，0）
・・・・・（５）

式（５）のｆ(Y)は、式（６）で求められる。
ｆ(Y)＝ｍｉｎ（ｍａｘ（Ｙ−Ｙmax×0.6667，0）×Ｃmax×Ｃ１，Ｃmax）・・・（６）

式（６）のＹはステップＳ７またはステップＳ８で得られた輝度値である。またＣ１は、以下の式が成り立つような値（例えば、0.0117647（＝1/85）（以下四捨五入））であり、ＣmaxとＹmaxの相関で定まる値である。すなわちｆ(Y)とＹの関係は、図４に示すようになる。
（Ｙ−Ｙmax×0.6667）×Ｃmax×Ｃ１＝Ｃmax

表示画像生成部２５このときまた、式（７）に従ってブレンド比率αを算出する。
α＝ｍａｘ（αmax−（Ｙ−Ｙmax×0.6667）×αmax×Ｃ２，αmax×Ｃ３）・・・（７）

式（７）のαmaxは、ブレンド比率がとり得る値の最大値（255）である。Ｃ２は、下記の式が成り立つような値（例えば、0.0125）であり、αmaxとＹmaxとの相関で定まる値である。すなわちαとＹとの関係は、図５に示すようになる。
（Ｙ−Ｙmax×0.6667）×αmax×Ｃ２＝αmax

また式（７）のＣ３は、上書き画像に（Ｒ，Ｇ，Ｂ）＝（０，０，０）で着色してディスプレイ１４に表示させたときに、上書き画像の存在が確認できる最低値のαを定める係数で、ディスプレイ１４の表示デバイスの特性によりその値は異なる。この例の場合、Ｃ３＝0.1875とする。

ステップＳ１０またはステップＳ１１で、上書き画像の色度Ｒow，Ｇow，Ｂowとαが算出されたとき、ステップＳ１２に進み、表示画像生成部２５は、以下の式に示すように、算出した上書き画像の色度Ｒow，Ｇow，Ｂowとαから、表示画像の各画素の色度（Ｒd，Ｇd，Ｂd）を決定する。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−α）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×α）／255

表示画像生成部２５は、決定した色度Ｒd，Ｇd，Ｂdの表示画像をディスプレイ１４に出力して表示させる。すなわち上書き画像が、色度Ｒow，Ｇow，Ｂowで着色されるとともに、αで背景画像に合成された表示画像が表示される。

次に、ステップＳ１３において、表示画像生成部２５は、背景画像記憶部２２から背景画像のすべてのフレームを読み出したか否かを判定し、まだ残っているフレームが存在すると判定した場合、ステップＳ１に戻り、次のフレームを読み出し、それ以降の処理を同様に行う。一方ステップＳ１３で、すべてのフレームが読み出されたと判定された場合、処理は終了する。

次に具体例に従って、上述した表示画像処理部２５の動作を説明する。なお以下に説明する例では、輝度値Ｙは適宜、式（３）で算出されるものとする（ステップＳ７）。

ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（16，96，64）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（16，96，64）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×16）＋（0.5866×96）＋（0.1145×64）=68.424＜170.0085（＝255×(2/3)）

従って、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは以下のようになる（ステップＳ１０）。
Ｒow＝16＋Ｃmax−Ｃmax×0.5＝16＋255−127（切り捨て）＝144
Ｇow＝96＋Ｃmax−Ｃmax×0.5＝96＋255−127＝224
Ｂow＝64＋Ｃmax−Ｃmax×0.5＝64＋255−127＝192
α＝255

その結果、表示画像の画素の色度（Ｒd，Ｇd，Ｂd）は以下のようになる（ステップＳ１２）。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−255）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×255）／255＝上書き画像の色度（Ｒow，Ｇow，Ｂow）

このように背景画像の輝度値Ｙが最大輝度値の２／３より小さい場合、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（144，224，192）は、基準値（Ｒo，Ｇo，Ｂo）＝（16，96，64）より大きい値となり、α＝αmaxとなる。すなわち背景画像の輝度値Ｙが最大輝度値の２／３より暗い場合、上書き画像の色度は、背景画像の色度の平均（正確には、１つ前のフレームの上書き画像の色度と背景画像の現フレームの色度の平均の平均）より明るくなり、それがべた塗りされる。

また上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、背景画像の色度Ｒbv，Ｇbv，Ｂbvの平均値Ｒavr，Ｇavr，Ｂavr間の差と同じに維持される。
・Ｒow−Ｇow＝144−224＝−80（＝Ｒavr−Ｇavr＝16−96）
・Ｒow−Ｂow＝144−192＝−48（＝Ｒavr−Ｂavr＝16−64）
・Ｇow−Ｂow＝224−192＝32（＝Ｇavr−Ｂavr＝96−64）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（128，192，64）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（128，192，64）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×128）＋（0.5866×192）＋（0.1145×64）＝158.2144＜170.0085

従って、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは以下のようになる（ステップＳ１０）。
Ｒow＝128＋Ｃmax−192＝128＋255−192＝191
Ｇow＝192＋Ｃmax−192＝192＋255−192＝255
Ｂow＝64＋Ｃmax−192＝64＋255−192＝127
α＝255

この場合も背景画像の輝度値Ｙが最大輝度値の２／３より小さいので、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（191，255，127）は、基準値（Ｒo，Ｇo，Ｂo）＝（128，192，64）より大きい値となり、α＝αmaxとなる（背景画像より明るい上書き画像がべた塗りされる）。

また上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、背景画像の色度Ｒbv，Ｇbv，Ｂbvの平均値Ｒavr，Ｇavr，Ｂavr間の差と同じに維持されている。
・Ｒow−Ｇow＝191−255＝−64（＝Ｒo−Ｇo＝128−192）
・Ｒow−Ｂow＝191−127＝64（＝Ｒo−Ｂo＝128−64）
・Ｇow−Ｂow＝255−127＝128（＝Ｇo−Ｂo＝192−64）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（0，254，0）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（0，254，0）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×0）＋（0.5866×254）＋（0.1145×0）=148.9964＜170.0085

従って、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは以下のようになる（ステップＳ１０）。
Ｒow＝0＋Ｃmax−254＝0＋255−254＝1
Ｇow＝254＋Ｃmax−254＝254＋255−254＝255
Ｂow＝0＋Ｃmax−254＝0＋255−254＝1
α＝255

この場合も背景画像の輝度値Ｙが最大輝度値の２／３より小さいので、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（1，255，1）は、基準値（Ｒo，Ｇo，Ｂo）＝（0，254，0）より大きい値となり、α＝αmaxとなる（背景画像より明るい上書き画像がべた塗りされる）。

また上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、背景画像の色度Ｒbv，Ｇbv，Ｂbvの平均値Ｒavr，Ｇavr，Ｂavr間の差と同じに維持されている。
・Ｒow−Ｇow＝1−255＝−254（＝Ｒo−Ｇo＝0−254）
・Ｒow−Ｂow＝1−1＝0（＝Ｒo−Ｂo＝0−0）
・Ｇow−Ｂow＝255−1＝254（＝Ｇo−Ｂo＝254−0）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（0，255，0）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（0，255，0）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×0）＋（0.5866×225）＋（0.1145×0）=149.583＜170.0085

従って、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは以下のようになる（ステップＳ１０）。
Ｒow＝0＋Ｃmax−255＝0＋255−255＝0
Ｇow＝25＋Ｃmax−255＝255＋255−255＝255
Ｂow＝0＋Ｃmax−255＝0＋255−255＝0
α＝255

この場合上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（0，255，0）は、基準値（Ｒo，Ｇo，Ｂo）＝（0，255，0）と一致する。しかしながら基準値は、１つ前に計算した上書き画像の色度との平均としているので、突発的にこのような背景画像が入力されても、問題はない。

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（128，255，144）であるものとする（ステップＳ２）

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（128，255，144）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×128）＋（0.5866×255）＋（0.1145×144）＝204.3302＞170.0085（＝255×(2/3)）

従って、ｆ(Y)、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは、それぞれ以下に示すようになる（ステップＳ１１）。
ｆ(Y)＝（204.3302−Ｙmax×0.6667）×Ｃmax×0.0125
＝（204.3302−255×0.6667）×255×0.0125
＝（204.3302−170.0085）×255×0.0125
＝34.3217×255×0.0125
＝109.4004＝109（少数以下切り捨て）
Ｒow＝128＋Ｃmax−255−ｆ(Y)＝128＋255−255−109＝19
Ｇow＝255＋Ｃmax−255−ｆ(Y)＝255＋255−255−109＝146
Ｂow＝144＋Ｃmax−255−ｆ(Y)＝144＋255−255−109＝35
α＝αmax−（34.3217×αmax×0.0125）＝255−109.4004＝145.5996＜255

その結果、表示画像の画素の色度（Ｒd，Ｇd，Ｂd）は以下のようになる（ステップＳ１２）。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−145.5996）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×145.5996）／255

このように背景画像の輝度値Ｙが最大輝度値の２／３以上である場合、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（19，146，35）は、基準値（Ｒo，Ｇo，Ｂo）＝（128，255，144）より小さい値となり、αは、最大値より小さい値となる。すなわち、背景画像の輝度値Ｙが最大輝度値の２／３より明るい場合、上書き画像の色度は、背景画像の色度の平均（正確には、１つ前のフレームの上書き画像の色度と背景画像の現フレームの色度の平均の平均）より暗くなり、それがべた塗りされない（背景画像のある程度透けて見えるようになる）。

また上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、基準値Ｒo，Ｇo，Ｂo間の差と同じに維持されている。
・Ｒow−Ｇow＝19−146＝−127（＝Ｒo−Ｇo＝128−255）
・Ｒow−Ｂow＝19−35＝−16（＝Ｒo−Ｂo＝128−144）
・Ｇow−Ｂow＝146−35＝111（＝Ｇo−Ｂo＝255−144）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（128，224，144）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（128，224，144）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×128）＋（0.5866×224）＋（0.1145×144）＝186.1456＞170.0085

従って、ｆ(Y)、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは、それぞれ以下に示すようになる（ステップＳ１１）。
ｆ(Y)＝（186.1456−Ｙmax×0.6667）×Ｃmax×0.0125
＝（186.1456−255×0.6667）×255×0.0125
＝（186.1456−170.0085）×255×0.0125
＝16.1371×255×0.0125
＝51.4370＝51（少数以下切り捨て）
Ｒow＝128＋Ｃmax−224−ｆ(Y)＝128＋255−224−51＝108
Ｇow＝224＋Ｃmax−224−ｆ(Y)＝224＋255−224−51＝204
Ｂow＝144＋Ｃmax−224−ｆ(Y)＝144＋255−224−51＝124
α＝αmax−（16.1371×αmax×0.0125）＝255−51.4370＝203.563

その結果、表示画像の画素の色度（Ｒd，Ｇd，Ｂd）は以下のようになる。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−203．563）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×203．563）／255となる。

この場合も背景画像の輝度値Ｙが最大輝度値の２／３以上であるので、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（108，204，124）は、基準値（Ｒo，Ｇo，Ｂo）＝（128，224，144）より小さい値となり、α＜αmaxとなる（背景画像より暗い上書き画像が、背景画像のある程度透けて見えるように表示される）。

また上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、基準値Ｒo，Ｇo，Ｂo間の差と同じに維持されている。
・Ｒow−Ｇow＝108−204＝−96（＝Ｒo−Ｇo＝128−224）
・Ｒow−Ｂow＝108−124＝−16（＝Ｒo−Ｂo＝128−144）
・Ｇow−Ｂow＝204−124＝80（＝Ｇo−Ｂo＝224−144）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（32，255，196）であるものとする（ステップＳ２）。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（32，255，196）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×32）＋（0.5866×255）＋（0.1145×196）＝181.5898＞170.0085

従って、ｆ(Y)、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは、それぞれ以下に示すようになる（ステップＳ１１）。
ｆ(Y)＝（181.5898−Ｙmax×0.6667）×Ｃmax×0.0125
＝（181.5898−255×0.6667）×255×0.0125
＝（181.5898−170.0085）×255×0.0125
＝11.5813×255×0.0125
＝36.9154＝36（少数以下切り捨て）
Ｒow＝ｍａｘ（−4（＝32＋255−255−36），0）＝0（限界値）
Ｇow＝255＋Ｃmax−255−ｆ(Y)＝255＋255−255−36＝219
Ｂow＝196＋Ｃmax−255−ｆ(Y)＝196＋255−255−36＝160
α＝αmax−（11.5813×αmax×0.0125）＝255−36.9154＝218．0846

その結果、表示画像の画素の色度（Ｒd，Ｇd，Ｂd）は以下のようになる（ステップＳ１２）。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−218.0846）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×218.0846）／255となる。

この場合も背景画像の輝度値Ｙが最大輝度値の２／３以上であるので、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（0，219，160）は、基準値（Ｒo，Ｇo，Ｂo）＝（32，255，196）より小さい値となり、α＜αmaxとなる（背景画像より暗い上書き画像が、背景画像のある程度透けて見えるように表示される）。

なおこのように、色度Ｒow，Ｇow，Ｂowのいずれかが限界値とされた場合、上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、基準値Ｒo，Ｇo，Ｂo間の差と若干異なることになる。
・Ｒow−Ｇow＝0−219＝−219，Ｒo−Ｇo＝32−255＝−223
・Ｒow−Ｂow＝0−160＝−160，Ｒo−Ｂo＝32−196＝−164
・Ｇow−Ｂow＝219−160＝59（＝Ｇo−Ｂo＝255−196）

次に、ステップＳ１で読み出された背景画像の最初の１フレームの色度Ｒbv，Ｇbv，Ｂbvについて、平均値（Ｒavr，Ｇavr，Ｂavr）＝（248，255，252）であるものとする。

この場合、基準値（Ｒo，Ｇo，Ｂo）＝（248，255，252）（ステップＳ４）となるので、輝度値Ｙは、以下のようになる（ステップＳ７）。
Ｙ＝（0.2989×248）＋（0.5866×255）＋（0.1145×252）＝252.5642＞170.0085

従って、ｆ(Y)、上書き画像の色度Ｒow，Ｇow，Ｂow、およびブレンド比率αは、それぞれ以下に示すようになる（ステップＳ１１）。
ｆ(Y)＝ｍｉｎ（（252.5642−Ｙmax×0.6667）×Ｃmax×0.0125，255）
＝ｍｉｎ（（252.5642−255×0.6667）×255×0.0125，255）
＝ｍｉｎ（（252.5642−170.0085）×255×0.0125，255）
＝ｍｉｎ（82.5557×255×0.0125，255）
＝ｍｉｎ（263.1463，255）
＝255（限界値）
Ｒow＝ｍａｘ（-7（＝248＋Ｃmax−255−ｆ(Y)＝248＋255−255−255），0）＝0（限界値）
Ｇow＝255＋Ｃmax−255−ｆ(Y)＝255＋255−255−255＝0
Ｂow＝ｍａｘ（-3（＝252＋Ｃmax−255−ｆ(Y)＝252＋255−255−255），0）＝0（限界値）
α＝ｍａｘ（-8.1463（＝αmax−（82.5557×αmax×0.0125）＝255−263.1463），αmax×0.1875）＝αmax×0.1875（限界値）＝255×0.1875＝47.8125

その結果、表示画像の画素の色度（Ｒd，Ｇd，Ｂd）は以下のようになる（ステップＳ１２）。
表示画像の画素の色度（Ｒd，Ｇd，Ｂd）＝（背景画像の画素の色度（Ｒbv，Ｇbv，Ｂbv）×（255−47.8125）＋上書き画像の色度（Ｒow，Ｇow，Ｂow）×47.8125）／255となる。

この場合の背景画像の輝度値Ｙが最大輝度値の２／３以上であるので、上書き画像の色度（Ｒow，Ｇow，Ｂow）＝（0，0，0）は、基準値（Ｒo，Ｇo，Ｂo）＝（248，255，252）より小さい値となり、α＜αmaxとなる（背景画像より暗い上書き画像が、背景画像のある程度透けて見えるように表示される）。

なおこの場合も色度Ｒow，Ｇowが限界値とされているので、上書き画像の色度Ｒow，Ｇow，Ｂow間の差は、以下に示すように、基準値Ｒo，Ｇo，Ｂo間の差と若干異なる。
・Ｒow−Ｇow＝0−0＝0，Ｒo−Ｇo＝248−255＝−7
・Ｒow−Ｂow＝0−0＝0，Ｒo−Ｂo＝248−252＝−4
・Ｇow−Ｂow＝0−0＝0，Ｇo−Ｂo＝255−252＝3

しかしながらこの場合、背景画像はほとんど白色に近い色であり、上書き画像は、色度の差がほとんどない薄い灰色になるので、問題はない。

以上のように、背景画像の輝度に基づいて上書き画像の色度およびブレンド比を決定するようにしたので、背景画像全体と調和がとれた状態で上書き画像を背景画像に合成することができる。

図６は、本発明を適用した画像処理装置５１の構成例を示している。この画像処理装置５１には、図１の画像処理装置１に、音声入力部６１、アンプ部６２、およびスピーカ６３がさらに設けられている。

音声入力部６１は、例えば、ＴＶチューナ、ＭＰＥＧデコーダ、または外部の装置（いずれも図示せぬ）から供給された音声信号（画像入力部１２に入力される画像に対応する音声）を入力し、アンプ部６２に供給する。

アンプ部６２は、出力信号処理部７１および解析部７２から構成されている。出力信号処理部７１は、音声入力部６１から供給された音声信号を、スピーカ６３を介して出力する。解析部７２は、音声入力部６１から供給された音声信号の、例えば周波数解析を行い、その解析結果を制御部１１に供給する。

制御部１１は、アンプ部６２からの解析結果に基づく制御情報を生成するとともに、それを表示制御部１３（グラフィックコントローラ２３）に供給する。

表示制御部１３（グラフィックコントローラ２３）は、制御部１１から供給された制御情報に基づいて上書き画像を生成する。表示制御部１３（表示画像生成部２５）は、生成した上書き画像の予め定められている着色可能な部分に、上述したように算出した背景画像の輝度に基づく色度（Ｒow，Ｇow，Ｂow）で着色するとともに、それを上述したように算出したブレンド比αで背景画像に合成する。表示制御部１３（表示画像生成部２５）は、その合成の結果得られた表示画像をディスプレイ１４に供給して表示させる。

図７は、上述のような画像処理装置１，５１として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ＲOM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理（例えば、図３のフローチャートにより示される処理）が行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やＲOM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。図１の表示制御部の構成例を示すブロック図である。図２の表示画像生成部の動作を説明するフローチャートである。輝度値Ｙとｆ（Ｙ）との関係を示す図である。輝度値Ｙとブレンド比αとの関係を示す図である。本発明を適用した他の画像処理装置の構成例を示すブロック図である。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１画像処理装置，１１制御部，１２画像入力部，１３表示制御部, １４ディスプレイ，１５操作部，２１ビデオデコーダ，２２背景画像記憶部，２３グラフィックコントローラ，２４上書き画像記憶部，２５表示画像生成部，５１画像処理装置，６１音声入力部，６２アンプ部，６３スピーカ，７１出力信号処理部，７２解析部

Claims

背景画像に上書き画像を合成して表示画像を生成する画像処理装置において、
前記背景画像の輝度値に基づいて、前記上書き画像の色度およびブレンド比を算出する算出手段と、
前記算出手段により算出された前記色度で前記上書き画像を着色するとともに、前記算出手段により算出された前記ブレンド比で前記背景画像に合成し、前記表示画像を生成する第１の生成手段と
を備えることを特徴とする画像処理装置。
音声信号を解析する解析手段と、
前記解析手段による解析結果に基づいて前記上書き画像を生成する第２の生成手段と
をさらに備え、
前記第１の生成手段は、前記第２の生成手段により生成された前記上書き画像を、前記算出手段により算出された前記色度で着色するとともに、前記算出手段により算出された前記ブレンド比で前記背景画像に合成し、前記表示画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記解析手段は、前記音声信号の周波数解析を行い、
前記第２の生成手段は、前記周波数解析の結果に基づいて前記上書き画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。
背景画像に上書き画像を合成して表示画像を生成する画像処理方法において、
前記背景画像の輝度値に基づいて、前記上書き画像の色度およびブレンド比を算出する算出ステップと、
前記算出ステップの処理で算出された前記色度で前記上書き画像を着色するとともに、前記算出ステップの処理で算出された前記ブレンド比で前記背景画像に合成し、前記表示画像を生成する生成ステップと
を含むことを特徴とする画像処理方法。
背景画像に上書き画像を合成して表示画像を生成するプログラムであって、
前記背景画像の輝度値に基づく、前記上書き画像の色度およびブレンド比の算出を制御する算出制御ステップと、
前記算出制御ステップの処理で算出された前記色度での前記上書き画像の着色を制御するとともに、前記算出制御ステップの処理で算出された前記ブレンド比での前記背景画像への合成を制御し、前記表示画像の生成を制御する生成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。