JP2013029699A

JP2013029699A - 映像処理装置及び映像処理方法

Info

Publication number: JP2013029699A
Application number: JP2011166189A
Authority: JP
Inventors: Minoru Hasegawa; 実長谷川; Nobuhiro Fukuda; 伸宏福田; Hidenori Sakaniwa; 秀紀坂庭
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2011-07-29
Filing date: 2011-07-29
Publication date: 2013-02-07

Abstract

【課題】
より好適に映像の高光沢化を行う映像処理技術を提供する。
【解決手段】
映像処理装置において入力映像信号を入力する入力部と、前記入力部に入力された映像信号に映像処理を行い、前記映像処理前後の映像の輝度信号の歪度を算出して両者を比較し、比較結果に応じて前記映像処理前の映像信号または前記映像処理後の映像信号のうち一方の映像信号を出力する映像処理部とを備えるように構成する。
【選択図】図１

Description

映像処理技術に関する。

近年映像の質感を高める技術に対する取り組みが行われている。映像の世界では現実の世界よりも色や明るさの再現範囲が限られることが知られており、そのため現実の世界の実像に映像を近づけるための映像処理に関する様々な努力が行われている。例えば、特許文献1には物体の色・強さと、照明光の色・強さと、周囲物体による反射光の色・強さにといった要素に補正を加えることで色の見え方、光沢感、材質感等を変更できる技術が開示されている。

特開平５−４０８３３号公報

しかしながら、特許文献1には、変更した光沢感を評価する基準が開示されておらず、光沢感の変更処理を映像に好適に適用できるとは限らなかった。

本発明は、上記課題に鑑みてなされたものであり、その目的は、より好適に映像の高光沢化を行うことにある。

上記課題を解決する一態様は、入力映像信号を入力する入力部と、入力された映像信号に映像処理を行い、前記映像処理前後の映像の輝度信号の歪度を算出して両者を比較し、比較結果に応じて前記映像処理前後の映像信号の一方の映像信号を出力する映像処理部とを備えるように構成する。

本発明によれば、より好適に映像の高光沢化を行うことができる。

本発明の実施例１に係る映像処理の一例のフローチャート本発明の実施例１に係る映像処理装置の構成の一例本発明の実施例２に係る映像処理の一例のフローチャート本発明の実施例３に係る映像処理の一例のフローチャート本発明の実施例４に係る輝度分布測定の構成の一例の説明図

以下、実施例について説明する。

図１は本発明の実施例1の映像処理の一例のフローチャートである。

まず、Ｓ１０１で映像信号が入力されると、次にＳ１０２入力で映像の歪度を算出する。

歪度の算出について説明する。まず、映像信号はその輝度分布に関する情報に変換される。映像信号から輝度分布を求める際にはその映像表示機器に応じたガンマ補正を行い、より正確な輝度分布を求めることが望ましいが、簡易的にガンマ補正を省略して算出した輝度分布を用いても良い。このようにして得られた輝度分布から、以下の数式１を用いて歪度を算出する。

ここで、I(x,y)は各画素の輝度、mは映像全体の平均輝度、Nは画図全体の画素数、s.d.は映像全体の輝度の標準偏差である。

次に、Ｓ１０３において、光沢感を高めるための高光沢映像化処理を行う。本発明では、映像に光沢感を与えるための高光沢映像化処理の方法に関しては限定しない。例としては、特許文献１に示す光沢感の変更処理方法をおこなってもよい。また例えば参考文献１に示すようなコントラスト補正を行うことも例として挙げられる。また、その他のとして、いわゆるレティネックス処理によって光沢感を高めてもよい。
[参考文献１]特開２０００−２８５２３０号公報
なお、本実施例における高光沢映像化処理とは、広く映像の高光沢化を図る映像処理をいい、あらゆる映像について高光沢化ができる必要はない。映像によっては、高光沢化の効果が得られない処理も含む。

次に、Ｓ１０４にて、高光沢映像化処理を行った映像の輝度分布から歪度を算出する。次に、Ｓ１０５にて、このようにして算出された高光沢映像化処理前後の映像の歪度を比較する。当該歪度の比較によって、光沢感判定を行う。具体的には、光沢感判定における歪度の比較の結果、歪度が増加していれば光沢感を増す方向に正しく映像処理が行われたと判定し、高光沢映像化処理後の映像を表示デバイス(映像表示前にその他必要な処理が行われる場合には、別の映像処理部を経由してもよい)に送る。歪度が減少していれば、高光沢化効果が得られなかったまたは逆効果であったと判定し、Ｓ１０６にて、高光沢映像化処理前の元の映像が表示デバイス等の次段階に送られる。

動画の場合、フレームごとに処理内容が変わってしまうと映像にちらつき等が発生することがあるので、この光沢感判定はシーンの先頭などで１回行われ、以後はシーン内では同じ処理を繰り返すのが望ましい。

図２は実施例１の処理を行う映像処理装置の構成の例である。入力された映像信号１１は映像歪度算出部２０１で輝度分布に変換後、歪度算出される。この輝度分布変換は、単純に映像信号を輝度に変換した数値を使ってもよく、ガンマ補正係数として一般的な数値を（γ＝２．２等）を使ってもよく、その映像機器に適用するガンマ補正値を使ってもよい。処理回路の処理能力に応じたガンマ補正に関する手段を選択して用いれば良い。入力された映像信号１１は高光沢映像化処理部２０２にも送られ、高光沢映像化処理が行われる。高光沢映像化処理後の映像信号１２は再び映像歪度算出部２０１に送信され、映像歪度算出部２０１は高光沢映像化処理後の映像信号を輝度分布に変換後、歪度を算出する。この時のガンマ補正に関する処理は、入力された映像信号１１の歪度計算時に用いた手段と同じ手段を用いる必要がある。このようにして算出された２つの歪度値の情報１３は光沢感判定部２０３に送られ、映像処理後の映像信号１２から算出した歪度の方が高い値であると判定された場合は、高光沢映像化処理後の映像信号を出力することを示す送信映像指定情報１４を高光沢映像化処理部２０２に送り、高光沢映像化処理部２０２は選択された映像信号１５として高光沢映像化処理後の映像信号を出力映像信号として出力する。また、光沢感判定部２０３において、入力された映像信号１１から算出した歪度の方が高い歪度であると判定された場合は、高光沢映像化処理を行っていない映像信号を出力することを示す送信映像指定情報１４を高光沢映像化処理部２０２に送り、高光沢映像化処理部２０２は選択された映像信号１５として入力された映像信号１１、すなわち映像処理前の映像信号を出力映像信号として出力する。

以上説明した本発明の実施例１に係る映像処理方法及び映像処理装置によれば、光沢感判定によって、高光沢映像化の効果が認められる場合のみ高光沢映像化処理が適用される映像が出力される。これにより、意図せず高光沢化効果が得られなかった場合または逆効果であった場合の映像処理後の映像を出力することを防止でき、より好適に高光沢映像化処理を行うことができる。

次に、本発明の実施例２について説明する。本発明の実施例２に係る映像処理装置では、高光沢映像化処理として映像処理装置が複数の処理を行う機能を持つ。以下、実施例１から異なる点を説明する。その他の構成は、図２に示す実施例１の映像処理装置と同様であるので説明を省略する。

図３は本発明の実施例２における映像処理の一例のフローチャートである。Ｓ３０１における映像信号の入力、Ｓ３０２における元映像の輝度分布の歪度算出は、それぞれ実施例1のＳ１０１、Ｓ１０２と同様に行う。Ｓ３０３、Ｓ３０５及びＳ３０７では、複数種類の高光沢化映像処理（例えば高光沢化映像処理Ａ、Ｂ、Ｃ）を行う。例えば、図２の高光沢映像化処理部２０２において、複数種類のハードウェアにより、複数種類の高光沢映像化処理を行う構成にしても良い。または、単一のハードウェアにおいて、処理パラメータを切換えて複数種類の高光沢映像化処理を行う構成にしても良い。または高光沢映像化処理部２０２が図示しないメモリに保持されたソフトウェアの複数のプログラムまたは複数のサブプログラムと協働して複数種類の高光沢映像化処理を実現する構成としてもよい。または、高光沢映像化処理部２０２が図示しないメモリに保持された単一のソフトウェアプログラムと協働して、パラメータを切換えて複数種類の高光沢映像化処理を行う構成にしても良い。また、これらの高光沢映像化処理を行う前に映像分析を行い、複数種類の高光沢映像化処理のうち、処理効果が低いと分析された処理について、処理を行わない構成としてもよい。次に、Ｓ３０４、Ｓ３０６、Ｓ３０８において、映像歪度算出部２０１が、複数種類の高光沢映像化処理がされたそれぞれの映像について輝度分布の歪度を算出する。次に、Ｓ３０９において、光沢感判定部２０３が、それぞれ算出した歪度を比較し、最も高い歪度を示した処理映像を最も効果的な映像処理として選択する。光沢感判定部２０３は選択する映像を指定する送信映像指定情報１４を高光沢映像化処理部２０２に送る。高光沢映像化処理部２０２は選択された高光沢映像化処理によって処理された映像信号を映像信号１５として出力映像信号として出力する。なお、図３のＳ３０９において、比較対称として元映像の歪度を含めてもよい。複数種類の高光沢映像化処理映像のすべての輝度分布の歪度が元映像の輝度分布の歪度より低い場合には、出力映像信号として元映像を出力する構成としてもよい。このようにすれば、複数種類の高光沢映像化処理のいずれもが効果を示さないような入力映像信号であってもより好適な映像信号を出力することができる。

実施例1と同様、動画の場合、フレームごとに処理内容が変わってしまうと映像にちらつき等が発生することがあるので、この光沢感判定はシーンの先頭などで１回行われ、以後はシーン内では同じ処理を繰り返すのが望ましい。

以上説明した本発明の実施例２に係る映像処理方法及び映像処理装置によれば、複数種類の高光沢映像化処理を行い、それぞれの高光沢映像化処理映像について歪度を比較し、輝度分布の歪度が最も高い高光沢映像化処理映像を出力する。これによりより高光沢映像化の効果が認められる映像を出力することができ、より好適に高光沢映像化処理を行うことができる。

次に、本発明の実施例３について説明する。本発明の実施例３に係る映像処理装置では、高光沢映像化処理において、パラメータとして任意の可変因子を設定できる機能を持つ。以下、実施例２から異なる点を説明する。その他の構成は、図２に示す実施例２の映像処理装置と同様であるので説明を省略する。

図４は本発明の実施例３における映像処理の一例のフローチャートである。当該映像処理において、設定できる可変因子の例としては、例えば、参考文献１に示されるコントラスト補正を行う際の映像を複数の矩形に分割するその矩形の大きさのパラメータや、コントラスト伸張率といったパラメータなどが挙げられる。

具体的には、以下のように処理を行う。Ｓ４０１における映像信号の入力、Ｓ４０２における元映像の輝度分布の歪度算出は、それぞれ実施例1のＳ１０１、Ｓ１０２と同様に行う。次に、Ｓ４０３において高光沢映像化処理部２０２が第１のパラメータを用いた高光沢化映像処理を行う。Ｓ４０４において、映像歪度算出部２０１が第１のパラメータによる映像処理後の輝度分布の歪度を算出する。次にＳ４０５において、高光沢映像化処理部２０２が第１のパラメータとは異なる第２のパラメータを用いた高光沢化映像処理が行う。Ｓ４０６では、映像歪度算出部２０１が第２のパラメータによる映像処理後の輝度分布の歪度を算出する。次に、Ｓ４０７において、光沢感判定部２０３が２つの映像処理後の映像の輝度分布の歪度を比較する。このとき、歪度が高い一方のパラメータと、その歪度を図示しないメモリ等に記憶しておく。Ｓ４０８では、光沢感判定部２０３が、上記比較結果からさらに効果が高くなると予測される新パラメータを予測、決定する。Ｓ４０９では、高光沢映像化処理部２０２が、当該新パラメータを用いて高光沢化映像処理を行う。Ｓ４１０では、映像歪度算出部２０１が、当該新パラメータによる映像処理後の輝度分布の歪度を算出する。Ｓ４１１では、光沢感判定部２０３は、Ｓ４０７の比較結果となる高い歪度と、Ｓ４１０で算出した映像の輝度分布の歪度と比較する。このとき、歪度が高い一方のパラメータと、その歪度を図示しないメモリ等に記憶しておく。このとき、Ｓ４１０で算出した映像の輝度分布の歪度と４０７の比較結果となる歪度との差により、高光沢映像化の効果を差分を評価し、その効果の差分が十分に小さくなったか否かを判定する。具体的には当該差が所定値以下となるか否かを判定すればよい。効果の差分が十分に小さくなっていない場合は、Ｓ４０８に戻り、さらに効果が高くなると予測されるパラメータを予測、決定し、以下、Ｓ４０９、Ｓ４１０、Ｓ４１１、Ｓ４１２を繰り返す。Ｓ４１２において、効果の差分が十分に小さくなった場合、すなわち効果改善が収束した場合は、最も歪度が高くなるパラメータにより高光沢映像化した映像を表示デバイス等に出力する。

または、Ｓ４０８からＳ４１２の繰り返し処理があらかじめ設定された所定の回数行われた場合に、その時点で最も効果の高いパラメータによって処理した映像、すなわち処理後の映像の輝度分布の歪度が高い映像を選択する構成としてもよい。このようにすれば、処理時間が長くなることを防止することができる。

また、Ｓ４０９、Ｓ４１０、Ｓ４１１、Ｓ４１２を繰り返す際に、Ｓ４１２の比較結果によって、最後に生成したパラメータによる映像処理後の輝度分布の歪度が、その直前に生成したパラメータによる映像処理後の輝度分布の歪度よりも低い場合には、当該直前に生成したパラメータにより高光沢映像化した映像を表示デバイス等に出力するように構成してもよい。この場合、最後に生成したパラメータによる映像処理が結果的に、高光沢映像化効果が小さかったまたは高光沢映像化効果がなかった場合でもより好適な高光沢映像信号を選択することが可能となる。

以上説明した本発明の実施例３に係る映像処理方法及び映像処理装置によれば高光沢映像化処理結果に応じて新たなパラメータを生成してさらなる高光沢映像化処理を行う。これにより、より好適な高光沢映像化処理を映像信号に適用することが可能である。

実施例１〜３では歪度の算出に映像信号を変換した輝度分布を使用したが、歪度算出のための輝度分布に関するデータはこれに限定するものではない。

本発明の実施例４では、図５に示すように、表示デバイス２１に表示された映像の輝度分布を二次元輝度計２３などの測定機器で測定し、得られた輝度分布の測定結果を歪度算出に用いる構成とする。算出された歪度は映像処理装置２２に送信して実施例１〜３で説明したように光沢感を高める映像処理の最適化のための情報として用いることができる。また、輝度分布測定は表示デバイス外部に設置した測定機器による測定に限定されるものではなく、表示デバイスに内蔵される形でも良い。

実施例１〜４は算出した歪度を高光沢化映像処理に利用するものであったが、単に光沢感の評価結果としても利用できる。歪度は映像中の照明の環境や映像中のオブジェクトの形状が同じである映像間で比較する場合に光沢感の指標となるので、「原画よりも映像処理後の歪度がｚ．ｚ上昇した」「原画の歪度がｙ．ｙ、映像処理方法Ａの処理後の歪度がｘ．ｘ、映像処理方法Ｂの処理後の歪度がｗ．ｗであったので、映像処理方法Ｂの光沢感向上効果は映像処理方法Ａの（ｗ．ｗ−ｙ．ｙ）／（ｘ．ｘ−ｙ．ｙ）倍である」などのように原画と映像処理後の歪度の比較や、同じ原画を元に映像処理した後の映像同士の比較のように、映像中の照明の環境や映像中のオブジェクトの形状が同じである映像間での比較である必要がある。

１１入力映像信号、１２映像処理後の映像信号、１３歪度値の情報、１４送信映像指定情報１４、１５選択された映像信号、２１表示デバイス、２２映像処理装置、２３二次元輝度計、２０１映像歪度算出部、２０２高光沢映像化処理部、２０３光沢感判定部

Claims

入力映像信号を入力する入力部と、
入力された映像信号に映像処理を行い、前記映像処理前後の映像の輝度信号の歪度を算出して両者を比較し、比較結果に応じて前記映像処理前後の映像信号の一方の映像信号を出力する映像処理部と
を備えることを特徴とする映像処理装置。
請求項１に記載の映像処理装置であって、
前記映像処理は画像の高光沢化を図る映像処理であって、
前記映像処理部は、前記比較結果が、前記高光沢化を図る映像処理後の映像の輝度信号の歪度が前記高光沢化を図る映像処理前の映像の輝度信号よりも低い結果である場合には、前記前記高光沢化を図る映像処理前の映像信号を出力することを特徴とする映像処理装置。
入力映像信号を入力する入力ステップと、
入力された映像信号に映像処理を行い、前記映像処理前後の映像の輝度信号の歪度を算出して両者を比較し、比較結果に応じて前記映像処理前後の映像信号の一方の映像信号を出力する映像処理ステップと
を備えることを特徴とする映像処理方法。
請求項３に記載の映像処理方法であって、
前記映像処理は画像の高光沢化を図る映像処理であって、
前記映像処理ステップでは、前記比較結果が、前記高光沢化を図る映像処理後の映像の輝度信号の歪度が前記高光沢化を図る映像処理前の映像の輝度信号よりも低い結果である場合には、前記前記高光沢化を図る映像処理前の映像信号を出力することを特徴とする映像処理方法。
入力映像信号を入力する入力部と、
入力された映像信号に複数種類の映像処理を行い、前記複数種類の映像処理後の映像の輝度信号の歪度を算出して比較し、比較結果に応じて前記複数種類の映像処理後の映像信号を含む複数の映像信号のうち一つの映像信号を出力する映像処理部と
を備えることを特徴とする映像処理装置。
請求項５に記載の映像処理装置であって、
前記複数種類の映像処理は画像の高光沢化を図る複数種類の映像処理であって、
前記映像処理部は、前記比較結果において最も輝度信号の歪度が低い映像信号を出力することを特徴とする映像処理装置。
入力映像信号を入力する入力ステップと、
入力された映像信号に複数種類の映像処理を行い、前記複数種類の映像処理後の映像の輝度信号の歪度を算出して比較し、比較結果に応じて前記複数種類の映像処理後の映像信号を含む複数の映像信号のうち一つの映像信号を出力する映像処理ステップと
を備えることを特徴とする映像処理方法。
請求項７に記載の映像処理方法であって、
前記複数種類の映像処理は画像の高光沢化を図る複数種類の映像処理であって、
前記映像処理ステップでは、前記比較結果において最も輝度信号の歪度が低い映像信号を出力することを特徴とする映像処理方法。
入力映像信号を入力する入力部と、
入力された映像信号にそれぞれ異なるパラメータを用いる複数の映像処理を行い、前記複数の映像処理後の映像の輝度信号の歪度を算出して比較し、該比較結果に応じて新たなパラメータを生成し、該新たなパラメータを用いた映像処理を行い、該新たなパラメータを用いた映像処理後の映像の輝度信号の歪度と、該新たなパラメータを用いた映像処理よりも先に行ったいずれかの映像の輝度信号の歪度とを比較し、該比較結果に応じて、前記新たなパラメータを用いた映像処理後の映像信号または前記新たなパラメータを用いた映像処理よりも先に行った映像信号のいずれを出力する映像処理部と
を備えることを特徴とする映像処理装置。
請求項９に記載の映像処理装置であって、
さらなる別のパラメータの生成と、生成したパラメータを用いた映像処理と、映像処理後の映像の輝度信号の歪度の比較を繰り返す処理を行うことを特徴とする映像処理装置。
請求項１０に記載の映像処理装置であって、
前記繰り返す処理を行い、最後に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度と、その直前に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度の差分が所定値よりも小さくなった場合には、前記最後に生成したパラメータを用いた映像処理後の映像信号を出力することを特徴とする映像処理装置。
請求項１０に記載の映像処理装置であって、
前記繰り返す処理を行い、最後に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度が、その直前に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度よりも小さかった場合には、前記その直前に生成したパラメータを用いた映像処理後の映像信号を出力することを特徴とする映像処理装置。
入力映像信号を入力する入力ステップと、
入力された映像信号にそれぞれ異なるパラメータを用いる複数の映像処理を行い、前記複数の映像処理後の映像の輝度信号の歪度を算出して比較し、該比較結果に応じて新たなパラメータを生成し、該新たなパラメータを用いた映像処理を行い、該新たなパラメータを用いた映像処理後の映像の輝度信号の歪度と、該新たなパラメータを用いた映像処理よりも先に行ったいずれかの映像の輝度信号の歪度とを比較し、該比較結果に応じて、前記新たなパラメータを用いた映像処理後の映像信号または前記新たなパラメータを用いた映像処理よりも先に行った映像信号のいずれを出力する映像処理ステップと
を備えることを特徴とする映像処理方法。
請求項１３に記載の映像処理方法であって、
さらなる別のパラメータの生成と、生成したパラメータを用いた映像処理と、映像処理後の映像の輝度信号の歪度の比較を繰り返すステップをさらに
備えることを特徴とする映像処理方法。
請求項１４に記載の映像処理方法であって、
前記繰り返すステップにおいて、最後に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度と、その直前に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度の差分が所定値よりも小さくなった場合には、前記最後に生成したパラメータを用いた映像処理後の映像信号を出力することを特徴とする映像処理方法。
請求項１４に記載の映像処理方法であって、
前記繰り返すステップにおいて、最後に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度が、その直前に生成したパラメータを用いた映像処理後の映像の輝度信号の歪度よりも小さかった場合には、前記その直前に生成したパラメータを用いた映像処理後の映像信号を出力することを特徴とする映像処理方法。