JP2012249038A

JP2012249038A - 画像信号処理装置、画像信号処理方法

Info

Publication number: JP2012249038A
Application number: JP2011118634A
Authority: JP
Inventors: Yasuki Kakishita; 容弓柿下; Isao Karube; 勲軽部; Kenichi Yoneshi; 健一米司; Koichi Hamada; 宏一浜田; Yoshitaka Hiramatsu; 義崇平松
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2012-12-13
Also published as: CN102801993A; US20120301012A1

Abstract

【課題】超解像処理を画面全体に同じ強度で適用すると、入力画像に含まれていたぼやけが画面全体で一律に低減されてしまうため、自然な見え方と異なる場合がある。
【解決手段】視差を有する複数の画像入力もしくは視差情報を有する画像入力に対し、入力から視差を利用した奥行き推定を行い、推定結果を利用して画質補正に係るパラメータの調整を行って画質補正処理を行う。
【選択図】図１

Description

本発明は、３次元（３Ｄ：3 Dimension）映像の画像処理技術に関する。

近年、立体視が可能な３Ｄ映像のコンテンツが注目を集めている。

この３Ｄ映像に対して、これまで２Ｄ映像を対象に開発されてきた画像処理技術が多く適用されている。例えば画像を高解像度化する超解像処理などである。

現在の３Ｄ映像配信方式は、サイドバイサイドと呼ばれる、１つの画面を左右の領域に分割して、各々に片眼用の映像を割り当てる方式が主流である。この方式では２Ｄ映像と比較して、水平方向の解像度が半分になってしまうという問題点があるため、超解像処理を用いて高解像度化する方式などが用いられている。

特開２００９−２５１８３９号公報特開平１１−２３９３６４号公報

Sina Farsiu、M. Dirk Robinson、Michael Elad、Peyman Milanfar"Fast and Robust Multiframe Super Resolution"、IEEE Transactions on Image Processing、VOL. 13、NO. 10、October 2004 S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36

しかしながら、例えば超解像処理を画面全体に同じ強度で適用すると、元画像に含まれていたぼやけが画面全体で一律に低減されてしまうため、自然な見え方と異なる場合がある。

また、例えばコントラスト補正、高周波成分強調処理などにおいても同様に、画面全体に一律の処理を行うと自然な見え方と異なる場合がある。

特許文献１や特許文献２に記載の方式は、この問題を鑑み、区切られた領域内の周波数成分などから奥行きを推定し、それに応じて画像処理を行うものである。

しかし、奥行き推定、適用映像共に２Ｄ映像を想定しており、必ずしも正確な奥行きを推定できていない。

本発明の目的は上記課題に鑑みてなされたものであり、３Ｄ映像の視差を利用して奥行きを推定し、奥行きに応じて注目領域のみに対して高解像度化処理を実施することで、より立体感のある高画質な３Ｄ映像を提供することである。

上記課題を解決する手段は、左眼用画像と右眼用画像とを有する３Ｄ映像信号から奥行きを推定する奥行き推定部と、奥行き推定部が出力する奥行き信号に基づいて、画質補正処理に用いるパラメータを決定するパラメータ決定部と、パラメータ決定部が出力するパラメータを用いて、入力画像に対して画質補正処理を行う画質補正処理部を備えることを特徴とするものである。

本発明によれば、より自然で高画質な３Ｄ映像を提供することが可能となる。

実施例１に係る画像信号処理装置のブロック図である。３Ｄ映像信号の画像入力の例を示す図である。奥行き推定部（１０３）の動作を示す図である。パラメータ決定部のブロック図である。画像補正処理部のブロック図である。実施例２に係る画像信号処理装置のブロック図である。奥行き推定部（６０３）の動作フロー図である。奥行き信号に対するパラメータ強度の対応関係図である。 σ１、σ２を決定する図である。奥行き信号に対するパラメータ強度の対応関係図である。シグモイド関数の例である。画像信号処理システムのシステム構成図である。画像符号化処理システムのシステム構成図である。画像信号処理装置のブロック図である。

以下、実施例を説明するが、本発明は各実施例に限定されるものではない。

実施例1は、３Ｄ映像信号を構成する左眼用画像信号と右眼用画像信号とから求めた視差による奥行き情報を利用して、注目領域を高解像度化し、より自然で高画質な３Ｄ映像を実現するものである。

図１は、実施例１に係る画像信号処理装置のブロック図である。

図１の画像信号処理装置（１００）において、左眼用画像信号（１０１）及び右眼用画像信号（１０２）が入力される。入力された画像信号は奥行き推定部（１０３）および画質補正処理部（１０５）に入力される。

図２に３Ｄ映像信号の入力画像の例を示す。左眼用画像（１０１）と右眼用画像（１０２）では、奥行きに応じて被写体の水平位置が異なる。この水平方向のずれを視差である。

奥行き推定部（１０３）は、左眼用画像と右眼用画像の視差から奥行きを推定する。

パラメータ決定部（１０４）は、奥行き推定部（１０３）が出力する奥行き信号に基づいて、画質補正処理に用いるパラメータを決定する。

パラメータ決定部（１０４）は、左右の奥行き信号を用いて、左眼用パラメータ及び右眼用パラメータを算出しても良いし、左右個別に求められる場合には、左眼用パラメータ決定部、右眼用パラメータ決定部のように分割しても良い。

画質補正処理部（１０５）はパラメータ決定部（１０４）が出力するパラメータを用いて、入力された画像に対して画質補正処理を行い、左眼用画像信号（１０６）及び右眼用画像信号（１０７）として出力する。画質補正処理部（１０５）は、左眼用画質補正処理及び右眼用画質補正処理を一括して行っても良いし、左右個別に処理しても良い。

図３を用いて奥行き推定部（１０３）の動作について説明する。

奥行き推定部（１０３）には左眼用画像（１０１）、に右眼用画像（１０２）が入力される。左眼用画像と右眼用画像には視差が含まれており、その大小や正負によって奥行きが異なる。そこで左眼用画像のある領域が、右眼用画像のどの領域に対応しているかを探索し、水平方向の視差を求めることで奥行きを求めることができる。

マッチング部（３０３）は左眼用画像と右眼用画像との対応領域の探索を行う。マッチングの方法としては、例えばＳＡＤ（差分絶対値和）を類似度とするブロックマッチングなどが挙げられる。

左眼用奥行き信号算出部（３０４）および右眼用奥行き信号算出部（３０５）は、マッチング部（３０３）の出力から奥行き信号を算出する。ＳＡＤを類似度とするブロックマッチングを用いた場合、２つの領域が類似するほど値が小さくなるため、値が最小となる視差を選択し、奥行き情報とする。本実施例ではマッチングで視差を奥行き情報として利用するが、視差以外の情報を利用して視差を補正した値を奥行き情報としても良い。算出された奥行き情報は、左眼用奥行き算出部（３０４）および右眼用奥行き算出部（３０５）の出力となる。

左眼用出力信号（３０６）および右眼用出力信号（３０７）は奥行き推定部（１０３）の出力例である。この例では被写体が奥にあるほど黒く、手前にあるほど白く表示してあるが、これに限らず、奥行きによって強度の異なる出力が得られれば良い。

奥行き推定部（１０３）から出力された奥行き信号は、パラメータ決定部（１０４）に入力される。

パラメータ決定部（１０４）は、入力された奥行き信号から画質補正処理パラメータへの変換を行う。画質補正処理部（１０５）は、パラメータ決定部（１０４）が出力するパラメータに応じて画質補正処理を行う。

画質補正処理パラメータの例として、画質補正処理部（１０５）において、非特許文献１や非特許文献２に記載される高解像度化処理を用いる場合、ぼやけ回復用伝達関数をパラメータとする方法が挙げられる。

この場合、撮像の際に生じる画像ぼやけを回復するための伝達関数がパラメータとして必要となり、一般的にはこの伝達関数はローパスフィルタ係数である。当該ローパスフィルタ係数をローパスフィルタ処理が強い設定にすると高解像度化処理のぼやけ回復効果が高くなり、逆にローパスフィルタ処理が弱い設定にすると高解像度化処理のぼやけ回復効果が低くなる。上記性質を利用し、注目領域にぼやけ回復効果の高いフィルタ係数、それ以外の領域にはぼやけ回復効果の低いフィルタ係数をパラメータとすることで、３Ｄ映像に対してより自然な高解像処理が可能となる。

図４にパラメータ決定部の構成例を示す。入力された奥行き信号に対し、フィルタの選択を行い、画質補正処理パラメータを算出する。

例えば遠景の視差が負値、近景の視差が正値となるように撮像された画像の場合、通常は視差が０となる領域が焦点距離となる。そこで、視差が０の領域を注目領域とみなし、ぼやけ回復効果の高いフィルタ係数をパラメータとして選択し、視差の絶対値が大きくなるほどぼやけ回復効果の低いフィルタ係数をパラメータとして選択することでより自然で高解像化された３Ｄ映像を実現できる。また、視差０の点が無限遠に設定されている場合などは、実施例２に記すようなぼやけ推定処理や視差を正規化した値から注目領域を推定してフィルタ係数を変更しても良い。

また、図５に画像補正処理部の一例を示す。パラメータ決定部から出力された画質補正パラメータに従い、ローパスフィルタ選択部（５０２）にて画像中のピクセルあるいは部分領域ごとに上記ローパスフィルタ係数を変化させる。例えば係数の異なるいくつかのフィルタを用意しておき、画質補正パラメータに応じてフィルタを選択し、高解像度化処理部（５０１）にて高解像度化を行う。

これにより画質補正処理部（１０５）の高解像度化処理におけるローパスフィルタの強度を画像中のピクセルあるいは部分領域ごとに変化させることが可能となり、画像の遠近感を保持しながら、撮像の際に生じる画像ぼやけを回復して画像を高解像度化することが可能となる。

実施例１によれば、奥行きに応じた高解像度化を行うことができ、高解像度処理制御による、より自然な立体感を実現できる。

図６を用いて、実施例２に係る画像信号処理装置および画像信号処理方法について説明する。実施例２では、ぼやけ度から焦点距離を推定し、推定された焦点距離に当たる視差の領域をより強く高解像処理を施し、それ以外の領域に対しては弱く高解像化処理を実施することで、より自然な３Ｄ映像を実現するものである。以下、その処理を説明する。

実施例２に係る画像信号処理装置（６００）において、左眼用画像信号及び右眼用画像信号が入力される。入力された画像信号はぼやけ度推定部（６０６）、奥行き推定部（６０３）および画像補正処理部（６０５）に入力される。

ぼやけ度推定部（６０６）は画像中の領域ごとに画像のぼやけの度合いであるぼやけ度を推定、算出する。

奥行き推定部（６０３）は、入力される左眼用画像と右眼用画像の視差とぼやけ度推定部が出力するぼやけ度から奥行きを推定する。

パラメータ決定部（６０４）は、奥行き推定部（６０３）が出力する奥行き信号と、ぼやけ度推定部（６０６）が出力するぼやけ度に基づいて、画質補正処理に用いるパラメータを決定する。

画質補正処理部（６０５）はパラメータ決定部（６０４）が出力するパラメータを用いて、入力された画像に対して画質補正処理を行い出力する。

ぼやけ度推定部（６０６）は左眼用画像と右眼用画像のぼやけ度の推定を行う。ぼやけ度推定処理の具体例としては、画像のテクスチャ量を算出してぼやけ度を推定する方法がある。画像のテクスチャ量の計算には、例えば周囲画素から画像の分散を計算する方法などで計算することができる。このようにして計算されたテクスチャ量が多い部分では、画像が鮮明である領域、すなわちぼやけ度が小さい領域であり、逆にテクスチャ量が少ない部分では画像がぼやけている領域、すなわちぼやけ度が大きい領域であると推定できる。当該ぼやけ度推定処理は、画面内の部分領域ごとに行っても良く、１画素ごとに行っても良い。

この方法に限らず、例えばエッジ情報を算出して、算出したエッジ情報に基づいて画像が鮮明であるか、ぼやけているかを判定するなど、他の方法で推定しても良い。

図７を用いて奥行き推定部（６０３）の動作について説明する。

奥行き推定部（６０３）には左眼用画像と右眼用画像とともに、ぼやけ度推定部（６０６）の出力である、左眼用ぼやけ度および右眼用ぼやけ度が入力される。

視差から奥行きを推定する処理については実施例１と同様であるが、ぼやけ度を併用して奥行きを推定しても良い。

奥行き推定部（６０３）から出力された奥行き信号とぼやけ度推定部（６０６）から出力されたぼやけ度は、パラメータ決定部（６０４）に入力される。

パラメータ決定部（６０４）は、入力された奥行き信号とぼやけ度から画質補正処理パラメータへの変換を行う。画質補正処理部（６０５）は、パラメータ決定部（６０４）が出力するパラメータに応じて画質補正処理を行う。

画質補正処理部（６０５）において、非特許文献１や非特許文献２に記載される高解像度化処理を用いる場合、利用する画質補正処理パラメータの例としてぼやけ回復用伝達関数をパラメータとする方法が挙げられる。

この場合、撮像の際に生じる画像ぼやけを回復するための伝達関数がパラメータとして必要となり、一般的にはこの伝達関数はローパスフィルタ係数である。当該ローパスフィルタ係数を、ローパスフィルタ処理が強い設定にすると、高解像度化処理のぼやけ回復効果が強くなり、逆にローパスフィルタ処理が弱い設定にすると、高解像度化処理のぼやけ回復効果が弱くなる。

そこで、奥行き推定部（６０３）が算出した奥行きに従って、画像中のピクセルあるいは部分領域ごとに上記ローパスフィルタ係数を変化させる。例えば係数の異なるいくつかのフィルタを用意しておき、奥行きに応じてフィルタを選択する。このとき、各奥行きに対してどのフィルタを選択するかを決定するためにぼやけ度推定部（６０６）が出力するぼやけ度を用いて、焦点を求める方法が挙げられる。例えば各奥行きに対するぼやけ度を総和した後、正規化し、得られるぼやけ量が最も小さい奥行きが焦点であると推定する。焦点と推測される奥行きでローパスフィルタ処理が強い設定にすることで、注目されている被写体の解像度を高く、それ以外の領域の解像度をそれよりも低くするなどの制御が可能となる。

これにより、画質補正処理部（６０５）の高解像度化処理におけるローパスフィルタの強度を画像中のピクセルあるいは部分領域ごとに変化させることが可能となり、画像の遠近感を保持しながら、撮像の際に生じる画像ぼやけを回復して画像を高解像度化することが可能となる。

実施例２によれば、奥行きに応じて焦点距離に位置する注目領域を高解像度化することができ、より自然な３Ｄ映像の高画質化が可能となる。

実施例３に係る画像信号処理装置および画像信号処理方法について説明する。

実施例３に係る画像信号処理装置は、図１に示す実施例１、あるいは図６に示す実施例２の画像信号処理装置に対して、パラメータ決定部が出力するフィルタ特性と画質補正処理部の処理が異なるのみであり、その他の部分は共通する。

ここでは、図１の例に従って、パラメータ決定部と画質補正処理部について説明する。

パラメータ決定部（１０４）は、入力された奥行き信号から画質補正処理パラメータへの変換を行う。このとき実施例２で述べたように、奥行き信号だけでなくぼやけ度を併用しても良い。画質補正処理部（１０５）は、パラメータ決定部（１０４）が出力するパラメータに応じて画質補正処理を行う。

画質補正処理パラメータの例として、画質補正処理部（１０５）において、高周波数帯強調処理を用いる場合、高周波数帯を強調あるいは減衰させるフィルタ係数をパラメータとする方法が挙げられる。

奥行き推定部（１０３）が算出した奥行きに従って、画像中のピクセルあるいは部分領域ごとに上記フィルタ係数を変化させる。例えば係数の異なるいくつかのフィルタを用意しておき、奥行きに応じてフィルタを選択する。このとき実施例２で述べたように、ぼやけ量から焦点を算出し、最も高周波成分を強調する奥行きを決定する方法を用いても良い。

これにより画質補正処理部（１０５）の高周波数帯強調処理におけるフィルタの強度を画像中のピクセルあるいは部分領域ごとに変化させることが可能となり、例えば、上記注目領域に対して高周波数帯強調処理フィルタ強度を高く設定し、それ以外の部分には高周波数帯を減衰させることで、画像の遠近感を保持しながら、より立体感を強調することができる。また、本例では注目領域に対して高周波数帯強調処理フィルタ強度を高く設定したが、高周波数帯強調処理フィルタ強度を高くする領域は注目領域のみに限るものではない。

実施例３によれば、奥行きに応じて高周波数帯強調を行うことができ、高周波数帯強調制御によるより自然な３Ｄ映像の高画質化が可能となる。

実施例４に係る画像信号処理装置および画像信号処理方法について説明する。

実施例４に係る画像信号処理装置は、図１に示す実施例１、あるいは図２に示す実施例２の画像信号処理装置に対して、パラメータ決定部の出力と画質補正処理部の処理が異なるのみであり、その他の部分は共通する。

画質補正処理パラメータの例として、画質補正処理部（１０５）において、ノイズ除去処理を行う場合について述べる。例えば式１に示すようなバイラテラルフィルタを用いたノイズ除去を行う場合、式１中のσ１やσ２をパラメータとする方法が挙げられる。

σ１は注目画素位置から周囲画素までの距離に対する分散を表し、σ２は注目画素の輝度と周囲画素の輝度差に対する分散を表す。どちらも値が大きいほどノイズ除去効果は強くなるが、画像のぼやけ感も増す。

奥行き推定部（１０３）が算出した奥行きに従って、画像中のピクセルあるいは部分領域ごとにσ１、σ２のどちらかあるいはその両方を変化させる。図１０は、奥行き信号に対するパラメータ強度の対応関係図である。例えば図１０に示すような対応によりσ１、σ２を決定する。この対応はある奥行きの範囲で小さな値をとり、それ以外で大きな値をとるような台形型、ステップ関数型、一次関数型、曲線型あるいは奥行きに対するσ１、σ２の値を決定するテーブルを用意し、任意に設定できる方法などでも良い。このとき実施例２で述べたように、ぼやけ量から焦点領域を算出し、その領域の視差を取る部分に対してσ１、σ２を最小とする奥行きを決定する方法を用いても良い。

これにより画質補正処理部（１０５）のノイズ除去処理におけるパラメータを画像中のピクセルあるいは部分領域ごとに変化させることが可能となり、画像の遠近感を保持しながら、ノイズ除去処理を行うことが可能となる。例えば、上記注目領域にはノイズ除去処理効果を弱く、それ以外の領域にはノイズ除去効果を強くすることによってより自然な立体感を保ちつつ高画質な３Ｄ映像を実現できる。また、本例では注目領域に対してノイズ除去処理効果を強くしたが、ノイズ除去処理を強くする領域は注目領域のみに限るものではない。

実施例４によれば、奥行きに応じたノイズ除去処理を行うことができ、ノイズ除去処理制御による立体感の調整、高画質化が可能となる。

実施例５に係る画像信号処理装置および画像信号処理方法について説明する。

実施例５に係る画像信号処理装置は、図１に示す実施例１、あるいは図６に示す実施例２の画像信号処理装置に対して、パラメータ決定部の出力と画質補正処理部の処理が異なるのみであり、その他の部分は共通する。

画質補正処理パラメータの例として、画質補正処理部（１０５）において、コントラスト補正を行う場合について述べる。例えばコントラスト補正を行う際に、図１１に示すようなシグモイド関数をトーンカーブとして用いる場合、シグモイド関数のゲインａをパラメータとする方法が挙げられる。図１１はシグモイド関数の例である。ａを大きくするほど曲線が急峻になり、陰影がより強調される。

奥行き推定部（１０３）が算出した奥行きに従って、画像中のピクセルあるいは部分領域ごとにａを変化させる。図９は、奥行き信号に対するパラメータ強度の対応関係図である。例えば図９に示すような対応によりａを決定する。この対応はある奥行きの範囲で大きな値をとり、それ以外で小さな値をとるような台形型、ステップ関数型、一次関数型、曲線型あるいは奥行きに対するａの値を決定するテーブルを用意し、任意に設定できる方法などでも良い。このとき実施例２で述べたように、ぼやけ量から焦点領域を算出し、その領域の視差を取る部分に対してａを最小とする奥行きを決定する方法を用いても良い。

これにより、画質補正処理部（１０５）のコントラスト補正処理におけるパラメータを画像中のピクセルあるいは部分領域ごとに変化させることが可能となり、例えば、上記注目領域に対しては陰影を強調し、それ以外の領域は陰影強調しないことにより、奥行きを強調した、コントラスト補正処理を行うことが可能となる。本例では注目領域に対して陰影強調を強調したが、陰影強調を強調する領域は注目領域のみに限るものではない。

実施例５によれば、奥行きに応じたコントラスト補正処理を行うことができ、コントラスト補正処理制御による立体感の調整が可能となる。

また、本実施例ではコントラストの補正処理について示したが、同様に階調補正処理や表示装置における領域毎の発光制御を行ってもよい。

実施例６に係る画像符号化装置のブロック図を図１４に示す。画像符号化装置（１３０）は実施例１、あるいは図６に示す実施例２の画像信号処理装置に対して、パラメータ決定部と符号化処理部の処理が異なるのみであり、その他の部分は共通する。

図１４では、図１に示す実施例１に対し、パラメータ決定部の変更と、画質補正処理部を符号化処理部へ変更したものを例として挙げる。パラメータ決定部（１３４）は、入力された奥行き信号から映像符号化パラメータへの変換を行う。このとき実施例２で述べたように、奥行き信号だけでなくぼやけ度を併用しても良い。符号化処理部（１３５）は、パラメータ決定部（１３４）が出力するパラメータに応じて符号化処理を行う。

符号化処理パラメータとしての例として、符号化処理部（１３５）において、量子化ステップ（ＱＰ）調整を行う場合について述べる。例えばＱＰ調整を行う際に、奥行き推定部（１３３）が算出した奥行きに従って、画像中のマクロブロックあるいは部分領域ごとにＱＰを変化させる。例えば手前にある領域に対してはＱＰを小さく設定し、奥にある領域に対してはＱＰを大きく設定するなどして奥行きに応じてフィルタを選択する。

これにより、符号化処理部（１３５）のＱＰ調整処理におけるパラメータを画像中のマクロブロックごとに変化させることなどが可能となり、自然な奥行き感を保持しながら、符号化削減処理を行うことが可能となる。

本例では符号化パラメータとしてＱＰを利用したが、その他符号化モード、予測方式、動きベクトルの調整などを利用することも可能である。

実施例６によれば、奥行きに応じた符号化処理を行うことができ、自然な立体感を保ったまま符号量削減を実現できる。

また、本実施例では符号化処理のみの例を示したが、上記画質補正と符号化を組み合わせて実施してもよい。

実施例７に係る画像信号処理システム例を図１２に示す。

画像信号処理システムは、画像信号処理装置１１０と、画像信号処理装置１１０に接続される様々なデバイスで構成される。具体的なデバイスは、放送波を受信するアンテナ、サーバに接続されたネットワーク、リムーバルメディア（光ディスク、ＨＤＤ、半導体）などの機器である。

画像信号処理装置１１０は、画像信号処理部１００、受信部１１１、入力部１１２、ネットワーク・インターフェース部１１３、読み出し部１１４、記録部（ＨＤＤ・半導体）１１５、再生制御部１１６、表示部１１７で構成される。

画像信号処理装置（部）１００に、実施例１乃至６の画像信号処理部を用い、その入力画像（原画像）を、アンテナなどからの放送波に重畳された画像を受信部１１１から入力するか、ネットワーク・インターフェース部１１３から入力するか、リムーバルメディアに格納された画像を読み出し部１１４から入力する。

そして、画像信号処理装置１００で画質補正処理を行った後、ディスプレイに代表される表示部へ１１７と出力される。

実施例８に係る画像符号化処理システム例を図１３に示す。

画像信号処理システムは、画像信号処理装置１２０と、画像信号処理装置１２０に接続される様々なデバイスで構成される。具体的なデバイスは、放送波を送信するアンテナ、サーバに接続されたネットワーク、リムーバルメディア（光ディスク、ＨＤＤ、半導体）などの機器である。

画像信号処理装置１２０は、画像信号処理部１３０、送信部１２１、出力部１１２、ネットワーク・インターフェース部１２３、書き出し部１２４、記録部（ＨＤＤ・半導体）１２５で構成される。

画像信号処理装置（部）１３０に、実施例１乃至６の画像信号処理部を用い、画像信号処理装置１００で画質補正処理を行った後、その出力画像（補正画像）を、アンテナなどからの放送波に重畳して画像を送信する送信部１２１から入力するか、ネットワーク・インターフェース部１２３から出力するか、リムーバルメディアに画像を格納するために画像を書き出し部１２４から書き出す。

１００…画像信号処理装置、１０１…左眼用画像信号、１０２…右眼用画像信号、１０３…奥行き推定部、１０５…画質補正処理部

Claims

視差を有する複数の画像入力もしくは視差情報を有する入力画像から、該視差から奥行きを推定する奥行き推定部と、
前記奥行き推定部からの推定結果を利用して画質補正に係るパラメータの調整を行うパラメータ決定部と、
前記パラメータ決定部から出力されたパラメータ情報から画質補正処理を行う画質補正処理部と、を有することを特徴とする画像信号処理装置。
請求項１において、
前記視差を有する複数の画像入力もしくは視差情報を有する画像入力に対し、入力からぼやけ量の推定を行うぼやけ度推定部を備え、
前記パラメータ決定部は、前記ぼやけ度推定部と前記奥行き推定部からの推定結果を利用して画質補正に係るパラメータの調整を行うことを有することを特徴とする画像信号処理装置。
請求項１または２において、
前記パラメータ決定部は、前記奥行き推定部からの推定結果を利用してぼやけ回復パラメータを調整するか、前記ぼやけ度推定部と前記奥行き推定部からの推定結果を利用してぼやけ回復パラメータを調整し、
前記画像補正処理部は、前記パラメータ決定部から出力されたパラメータ情報から高解像度化処理を行うことを特徴とする画像信号処理装置。
請求項１または２において、
前記パラメータ決定部は、前記奥行き推定部からの推定結果を利用して高周波成分の強調又は減衰のパラメータを調整するか、前記ぼやけ度推定部と奥行き推定部からの推定結果を利用して高周波成分の強調又は減衰のパラメータを調整し、
前記画像補正処理部は、前記パラメータ情報から高周波帯域の強調又は減衰の処理を行うことを特徴とする画像信号処理装置。
請求項１または２において、
前記パラメータ決定部は、前記奥行き推定部からの推定結果を利用してノイズ除去のパラメータを調整するか、前記ぼやけ度推定部と奥行き推定部からの推定結果を利用してノイズ除去のパラメータを調整し、
前記画像補正処理部で、前記パラメータ情報からノイズ除去処理を行うことを特徴とする画像信号処理装置。
請求項１または２において、
前記パラメータ決定部は、前記奥行き推定部からの推定結果を利用してコントラスト補正、階調処理又は表示装置の発光制御のパラメータを調整し、
前記画像補正処理部は、前記パラメータ決定部から出力されたパラメータ情報からコントラスト補正、階調処理、又は表示装置の発光制御を行うことを特徴とする画像信号処理装置。
視差を有する複数の画像入力もしくは視差情報を有する画像入力に対し、入力から視差を利用した奥行き推定を行い、
前記奥行き推定の結果を利用して画質補正に係るパラメータの調整を行い、
前記パラメータ情報から画質補正処理を行うことを特徴とする画像信号処理方法。
請求項７において、
視差を有する複数の画像入力もしくは視差情報を有する画像入力に対し、入力からぼやけ量の推定と視差を利用した奥行き推定を行い、
前記ぼやけ度と奥行きの推定結果を利用して画質補正に係るパラメータの調整を行うことを特徴とする画像信号処理方法。
請求項７または８において、
前記奥行き推定結果を利用してぼやけ回復パラメータを調整するか、前記ぼやけ度と奥行き推定結果を利用してぼやけ回復パラメータを調整し、
前記パラメータ情報から高解像度化処理を行うことを特徴とする画像信号処理方法。
請求項７または８において、
前記奥行き推定結果、または、前記ぼやけ度の推定結果と前記奥行きの推定結果を利用して高周波成分の強調又は減衰のパラメータを調整し、
前記パラメータ情報から高周波帯域の強調又は減衰の処理を行うことを特徴とする画像信号処理方法。
請求項７または８において、
前記奥行き推定結果、または、前記ぼやけ度の推定結果と前記奥行きの推定結果を利用してノイズ除去のパラメータを調整し、
前記パラメータ情報からノイズ除去処理を行うことを特徴とする画像信号処理方法。
請求項７または８において、
前記奥行き推定結果、または、前記ぼやけ度の推定結果と前記奥行きの推定結果を利用して、コントラスト補正、階調処理又は表示装置の発光制御のパラメータを調整し、
前記パラメータ情報からコントラスト補正、階調処理、又は表示装置の発光制御を行うことを特徴とする画像信号処理方法。