JP2008205684A - 色調整装置 - Google Patents

Abstract

【課題】テレビやＤＶＤレコーダ等のように、映像と音声を同時に出力するシステムに適用する場合には、これまでにない高い臨場感を得ることができるようにした色調整装置を提供する。
【解決手段】音声解析ブロック１１は、音声入力ブロック１０が出力する音声信号を入力して解析を行い、音声の激しさ指数Ｑを算出する。映像解析ブロック１５は、映像入力ブロック１４が出力する映像信号を入力して解析を行う。色調整ブロック１６は、音声解析ブロック１１で得られる音声解析結果（音声の激しさ指数Ｑ）と映像解析ブロック１５で得られる映像解析結果とを使用し、映像解析ブロック１５が出力する映像信号について、音声が静かな場合は、画面が暗めになるようにダイナミックレンジの調整を行い、音声が激しい場合は、画面が明るくなるようにダイナミックレンジの調整を行う。
【選択図】図１

Description

本発明は、テレビやＤＶＤレコーダ等のように、映像と音声を同時に出力するシステムに使用して好適な色調整装置に関する。

近年、デジタル放送によるハイビジョン放送の普及に伴い、テレビやＤＶＤレコーダ等の高画質化が進んでいる。テレビやＤＶＤレコーダ等が備える高画質化機能として、インタレース・プログレッシブ変換、ノイズ除去、輪郭強調、色調整などの機能があり、これらの機能により表示品質の向上や見易さの向上が図られている。

このような高画質化機能の中で、色調整機能は、重要な処理の一つであり、入力された映像の各画素のＲＧＢ値やＹＵＶ値を変更して、色表示を調整する機能である。代表的な色調整には、ダイナミックレンジ調整と、色合い調整がある。

色調整におけるダイナミックレンジ調整は、画面の輝度分布の偏りを調整する処理である。図６は色調整におけるダイナミックレンジの調整例を示しており、（Ａ）は入力画像のヒストグラム、（Ｂ）はダイナミックレンジ調整後の出力画像のヒストグラムであり、縦軸に輝度レベル、横軸に画素数を取っている。

カメラで撮影した映像や放送された映像は、全体的に暗かったり、明るかったりして、輝度レベルに偏りがあることがある。例えば、本来の輝度レベルの範囲が０〜２５５とされ、０が黒レベル、２５５が白レベルとされる場合において、本来２５５の値で表示されるべき白レベルの画素の輝度レベルが２００程度の値になっていることがある。

この場合には、画面の輝度レベルの範囲が０〜２５５となるように白レベルを２５５に引き上げて、全体の輝度分布の調整を行う必要がある。これがダイナミックレンジの調整であり、これによって映像の陰影がはっきりし、見易さが向上する。

また、色合い調整は、色の偏りを調整する処理である。カメラで撮影した映像や放送された映像は、全体的に緑みが強かったり、赤みが強かったりする。これらを調整して自然な色合いに調整する処理が色合い調整である。

従来、色調整は、映像を解析して得られる映像解析結果のみを使用して行われていた。図７は従来の色調整装置の一例を備える映像音声処理装置の要部を示すブロック回路図である。図７中、１は音声入力ブロック、２は音声処理ブロック、３は音声出力ブロック、４は映像入力ブロック、５は映像解析ブロック、６は色調整ブロック、７は映像出力ブロックであり、映像解析ブロック５と色調整ブロック６とで従来の色調整装置８が構成されている。

音声入力ブロック１は音声信号を入力するためのブロックである。音声処理ブロック２は、音声入力ブロック１が出力する音声信号を入力し、ノイズの除去や、映像信号との間の遅延調整を行うブロックである。音声出力ブロック３は音声処理ブロック２が出力する音声信号を外部に出力するためのブロックであり、音声出力ブロック３が出力する音声信号はスピーカに与えられる。

映像入力ブロック４は映像信号を入力するためのブロックである。映像解析ブロック５は、映像入力ブロック４が出力する映像信号を入力して映像解析を行い、映像解析結果として、輝度レベルのヒストグラムや、ＲＧＢのそれぞれの値の分布、隣接画素間の輝度値の差分によるエッジ情報などを得るためのブロックである。

色調整ブロック６は、映像解析ブロック５が出力する映像信号及び映像解析結果を入力し、映像解析結果に基づいて映像信号について色調整を行うブロックであり、色調整は、ルックアップテーブルによる輝度値の変換や、変換式による輝度値の補正などにより行われる。映像出力ブロック７は色調整ブロック６が出力する色調整された映像信号を外部に出力するためのブロックであり、映像出力ブロック７が出力する映像信号はディスプレイに与えられる。
特公平８−２１０９号公報

図７に示す従来の色調整装置８においては、色調整は、映像解析ブロック５で得られた映像解析結果のみを使用して行われているが、例えば、音声の激しさに対応した色調整を行うことができれば、これまでにない高い臨場感を得ることが可能である。

本発明は、かかる点に鑑み、テレビやＤＶＤレコーダ等のように、映像と音声を同時に出力するシステムに適用する場合には、これまでにない高い臨場感を得ることができるようにした色調整装置を提供することを目的とする。

本発明の色調整装置は、音声信号を解析する音声解析手段と、前記音声解析手段による前記音声信号の解析結果に基づいて、前記音声信号に対応する映像信号について色調整を行う色調整手段を備えるものである。

本発明によれば、音声信号の解析結果に基づいて映像信号について色調整を行うことができるので、本発明をテレビやＤＶＤレコーダ等のように映像と音声を同時に出力するシステムに適用する場合には、これまでにない高い臨場感を得ることができる。

（第１実施形態）
図１は本発明の第１実施形態を備える映像音声処理装置の要部を示すブロック回路図である。図１中、１０は音声入力ブロック、１１は音声解析ブロック、１２は音声処理ブロック、１３は音声出力ブロック、１４は映像入力ブロック、１５は映像解析ブロック、１６は色調整ブロック、１７は映像出力ブロックであり、音声解析ブロック１１と映像解析ブロック１５と色調整ブロック１６とで本発明の第１実施形態１８が構成されている。

音声入力ブロック１０は音声信号を入力するためのブロックである。音声解析ブロック１１は、音声入力ブロック１０が出力する音声信号を入力して音声解析を行い、音声解析結果として、音声の激しさの度合いを示す音声の激しさ指数を音声の状態指数として得るためのブロックであり、音声の激しさ指数は、色調整ブロック１６に与えられる。

図２は音声解析ブロック１１による音声解析処理を説明するための図であり、縦軸は音声信号の大きさ、横軸は時間を示しており、２０は音声入力ブロック１０が出力する音声信号を示している。

ここで、単位時間当たりの音声信号２０の大きさの平均値をｍ、最大振幅をＰ、音声の激しさ指数をＱとすると、音声解析ブロック１１は、音声入力ブロック１０が出力する音声信号２０を解析し、単位時間当たりの音声信号２０の平均値ｍと最大振幅Ｐを検出し、音声解析結果として、音声の激しさ指数ＱをＱ＝αｍ＋βＰで算出する。但し、α及びβは任意に決定される係数である。

音声処理ブロック１２は、音声解析ブロック１１が出力する音声信号を入力し、ノイズの除去や、映像信号との間の遅延調整を行うブロックである。音声出力ブロック１３は、音声処理ブロック１２が出力する音声信号を外部に出力するためのブロックであり、音声出力ブロック１３が出力する音声信号はスピーカに与えられる。

映像入力ブロック１４は映像信号を入力するためのブロックである。映像解析ブロック１５は、映像入力ブロック１４が出力する映像信号を入力して映像解析を行い、映像解析結果として、輝度レベルのヒストグラムや、ＲＧＢのそれぞれの値の分布、隣接画素間の輝度値の差分によるエッジ情報などを得るためのブロックであり、映像解析結果は、映像信号とともに色調整ブロック１６に与えられる。

色調整ブロック１６は、音声解析ブロック１１から与えられる音声解析結果（音声の激しさ指数Ｑ）と映像解析ブロック１５から与えられる映像解析結果とを使用し、映像解析ブロック１５から与えられる映像信号について、色調整として、画面の全領域を対象としたダイナミックレンジの調整を行うブロックである。

図３は色調整ブロック１６によるダイナミックレンジ調整例を示す図である。（Ａ）はダイナミックレンジの調整を行わない場合の映像のヒストグラム、（Ｂ）は音声解析結果によるダイナミックレンジ調整後の映像のヒストグラムを示しており、音声の激しさ指数Ｑが小さい場合、（Ｃ）は音声解析結果によるダイナミックレンジ調整後の映像のヒストグラムを示しており、音声の激しさ指数Ｑが大きい場合である。

すなわち、色調整ブロック１６は、音声の激しさ指数Ｑが小さいほど、すなわち、音声が静かなほど、画面の最大輝度レベルが低くなるようにダイナミックレンジを縮小して映像が暗めの落ち着いた状態となるような調整を行い、また、音声の激しさ指数Ｑが大きいほど、すなわち、音声が激しいほど、画面の最大輝度レベルが高くなるようにダイナミックレンジを拡大して映像が明るくなるような調整を行う。

映像出力ブロック１７は色調整ブロック１６が出力する色調整（ダイナミックレンジ調整）された映像信号を外部に出力するためのブロックであり、映像出力ブロック１７が出力する映像信号はディスプレイに与えられる。

以上のように、図１に示す映像音声処理装置においては、音声入力ブロック１０は音声信号を入力し、音声解析ブロック１１は、音声入力ブロック１０が出力する音声信号を入力して解析を行い、音声の激しさ指数Ｑを算出し、音声処理ブロック１２は、音声解析ブロック１１が出力する音声信号を入力してノイズの除去や、映像信号との間の遅延調整を行い、音声出力ブロック１３は音声処理ブロック１２が出力する音声信号をスピーカに与える。

他方、映像入力ブロック１４は映像信号を入力し、映像解析ブロック１５は、映像入力ブロック１４が出力する映像信号を入力して解析を行い、色調整ブロック１６は、音声解析ブロック１１で得られる音声の激しさ指数Ｑと映像解析ブロック１５で得られる映像解析結果とを使用し、映像解析ブロック１５から与えられる映像信号についてダイナミックレンジの調整を行い、映像出力ブロック１７は、色調整ブロック１６が出力する色調整された映像信号をディスプレイに与える。

ここで、色調整ブロック１６は、色調整としてダイナミックレンジの調整を行うが、音声の激しさ指数Ｑが小さいほど、すなわち、音声が静かなほど、画面の最大輝度レベルが低くなるようにダイナミックレンジを縮小して映像が暗めの落ち着いた状態となるような調整を行い、また、音声の激しさ指数Ｑが大きいほど、すなわち、音声が激しいほど、画面の最大輝度レベルが高くなるようにダイナミックレンジを拡大して映像が明るくなるような調整を行う。

すなわち、本発明の第１実施形態１８によれば、音声信号の解析結果に基づいて映像信号の色情報中のダイナミックレンジを調整することができるので、本発明の第１実施形態１８をテレビやＤＶＤレコーダ等のように映像と音声を同時に出力するシステムに適用する場合には、これまでにない高い臨場感を得ることができる。

（第２実施形態）
図４は本発明の第２実施形態を備える映像音声処理装置の要部を示すブロック回路図であり、図４に示す映像音声処理装置は、図１に示す映像音声処理装置が備える本発明の第１実施形態１８の代わりに、本発明の第２実施形態３０を備え、その他については、図１に示す映像音声処理装置と同様に構成したものである。

本発明の第２実施形態３０は、色調整ブロックとして、本発明の第１実施形態１８が備える色調整ブロック１６とは機能の異なる色調整ブロック３１を備え、その他については、本発明の第１実施形態１８と同様に構成したものである。

色調整ブロック３１は、音声解析ブロック１１から与えられる音声解析結果（音声の激しさ指数Ｑ）と映像解析ブロック１５から与えられる映像解析結果とを使用し、映像解析ブロック１５から与えられる映像信号について、色調整として、画面の全領域を対象とした色合いの調整を行うものである。

図５は色調整ブロック３１による色合い調整を説明するための図である。縦軸は色合いのレベルを示し、上に行くほど赤みが強くなり、下に行くほど青みが強くなることを示している。横軸は音声の激しさ指数Ｑを示している。実線３２は音声の激しさ指数Ｑに対する映像中の赤色の色合いの調整量、点線３３は音声の激しさ指数Ｑに対する青色の色合いの調整量を示している。

すなわち、色調整ブロック３１は、音声の激しさ指数Ｑが大きいほど、すなわち、音声が激しいほど、画面が赤みの強い派手な色合いになるように調整し、また、音声の激しさ指数Ｑが小さいほど、すなわち、音声が静かなほど、画面が青みの強い落ち着いた色合いになるように調整する。なお、この場合、元の映像を破壊しないようにするために、音声の激しさ指数Ｑが予め定めた最小基準値より小さい場合や、最大基準値より大きい場合には一定の調整量を超えないようにする。

図４に示す映像音声処理装置においては、音声入力ブロック１０は音声信号を入力し、音声解析ブロック１１は、音声入力ブロック１０が出力する音声信号を入力して解析を行い、音声の激しさ指数Ｑを算出し、音声処理ブロック１２は、音声解析ブロック１１が出力する音声信号を入力してノイズの除去や、映像信号との間の遅延調整を行い、音声出力ブロック１３は音声処理ブロック１２が出力する音声信号をスピーカに与える。

他方、映像入力ブロック１４は映像信号を入力し、映像解析ブロック１５は、映像入力ブロック１４が出力する映像信号を入力して解析を行い、色調整ブロック３１は、映像解析ブロック１５で得られる映像解析結果と、音声解析ブロック１１で得られる音声の激しさ指数Ｑを使用し、映像解析ブロック１５から与えられる映像信号について色合いの調整を行い、映像出力ブロック１７は色調整ブロック１６が出力する色調整された映像信号をディスプレイに与える。

ここで、色調整ブロック３１は、音声の激しさ指数Ｑが大きいほど、すなわち、音声が激しいほど、画面が赤みの強い派手な色合いになるように調整し、また、音声の激しさ指数Ｑが小さいほど、すなわち、音声が静かなほど、画面が青みの強い落ち着いた色合いになるように調整する。

すなわち、本発明の第２実施形態３０によれば、音声信号の解析結果に基づいて映像信号の色情報中の色合いを調整することができるので、本発明の第２実施形態３０をテレビやＤＶＤレコーダ等のように映像と音声を同時に出力するシステムに適用する場合には、これまでにない高い臨場感を得ることができる。

なお、本発明の第１実施形態１８においては、映像信号のダイナミックレンジの調整を行い、本発明の第２実施形態３０においては、色合いの調整を行うようにしたが、色調整ブロック１６、３１は、ダイナミックレンジの調整及び色合いの調整の両方を行うようにしても良い。

また、本発明の第１実施形態１８及び第２実施形態３０においては、音声解析結果として音声の激しさ指数Ｑを得るようにしたが、この代わりに、音の高さや、リズムの調子や、短調／長調などを音声の状態指数として使用し、ダイナミックレンジの調整や色合いの調整を行うようにしても良い。

また、本発明の第１実施形態１８及び第２実施形態３０においては、画面全体を単位としてダイナミックレンジの調整や色合いの調整を行うようにしているが、画面中の特定の領域に関してのみ、ダイナミックレンジの調整や色合いの調整を行うようにしても良い。また、本発明の第２実施形態３０においては、特定の色、例えば、肌色のみを色合い調整の対象とするようにしても良い。

本発明の第１実施形態を備える映像音声処理装置の要部を示すブロック回路図である。 本発明の第１実施形態が備える音声解析ブロックによる音声解析処理を説明するための図である。 本発明の第１実施形態が備える色調整ブロックによるダイナミックレンジ調整例を示す図である。 本発明の第２実施形態を備える映像音声処理装置の要部を示すブロック回路図である。 本発明の第２実施形態が備える色調整ブロックによる色合い調整を説明するための図である。 色調整におけるダイナミックレンジの調整例を示す図である。 従来の色調整装置の一例を備える映像音声処理装置の要部を示すブロック回路図である。

符号の説明

１…音声入力ブロック
２…音声処理ブロック
３…音声出力ブロック
４…映像入力ブロック
５…映像解析ブロック
６…色調整ブロック
７…映像出力ブロック
８…従来の色調整装置の一例
１０…音声入力ブロック
１１…音声解析ブロック
１２…音声処理ブロック
１３…音声出力ブロック
１４…映像入力ブロック
１５…映像解析ブロック
１６…色調整ブロック
１７…映像出力ブロック
１８…本発明の第１実施形態
２０…音声信号
３０…本発明の第２実施形態
３１…色調整ブロック

Claims (5)

1. 音声信号を解析する音声解析手段と、
   前記音声解析手段による前記音声信号の解析結果に基づいて、前記音声信号に対応する映像信号について色調整を行う色調整手段を備える
   ことを特徴とする色調整装置。
2. 前記音声解析手段は、前記音声信号の大きさの平均値及び最大振幅を検出し、前記音声信号の解析結果として、音声の状態指数を算出する
   ことを特徴とする請求項１に記載の色調整装置。
3. 前記色調整手段は、色調整として、画面の全領域又は特定領域のダイナミックレンジの調整を行う
   ことを特徴とする請求項１又は２に記載の色調整装置。
4. 前記色調整手段は、色調整として、画面の全領域又は特定領域の色合いの調整を行う
   ことを特徴とする請求項１又は２に記載の色調整装置。
5. 前記色調整手段は、特定の色について色合いの調整を行う
   ことを特徴とする請求項４に記載の色調整装置。

Images