JP2014207519A - 画像処理装置、画像処理方法、プログラム、および電子機器 - Google Patents

Abstract

【課題】処理対象画像に基づいて視差を調整することが可能な、画像処理装置、画像処理方法、プログラム、および電子機器を提供する。
【解決手段】処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、画像処理装置。処理対象画像としては、例えば、立体画像を構成する左目画像および右目画像（以下、総称して「ステレオ画像」）を示す動画像や、平面画像（２Ｄ画像）から擬似的に生成されたステレオ画像を示す動画像が挙げられる。
【選択図】図５

Description

本開示は、画像処理装置、画像処理方法、プログラム、および電子機器に関する。

例えば、ユーザの左目に対応する画像（以下、「左目画像」と示す。）と、ユーザの右目に対応する画像（以下、「右目画像」と示す。）とを表示画面に表示させることによって、表示された画像を立体画像としてユーザに認識させることが可能な装置の普及が進んでいる。上記のような装置は、視差を利用することによって、表示された画像を立体画像としてユーザに認識させる。

表示された画像を立体画像としてユーザに認識させる場合、左目画像はユーザの左目だけに提示させ、また、右画像はユーザの右目だけに提示させることが望ましい。仮に、ユーザが、右目で左目画像を認識することや左目で右目画像を認識することが生じた場合、すなわち、クロストークと呼ばれる現象が生じた場合には、例えば、画像が二重に認識される、画像がぼけて認識されるなど、立体画像の画質の低下が生じる。

このような中、クロストークの低減を図るための技術が開発されている。クロストークの低減を図るための技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特許第４４４００６６号公報

例えば特許文献１に記載の技術は、立体画像を表示させる表示装置のサイズに応じて視差を調節する。しかしながら、例えば特許文献１に記載の技術を用いたとしても、表示画面に表示させる画像に応じて視差を調整することはできない。

本開示では、処理対象画像に基づいて視差を調整することが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム、および電子機器を提案する。

本開示によれば、処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、上記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、画像処理装置が提供される。

また、本開示によれば、処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、上記処理対象画像に対応する視差よりも視差を大きく調整するステップを有する、画像処理方法が提供される。

また、本開示によれば、処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、上記処理対象画像に対応する視差よりも視差を大きく調整するステップを、コンピュータに実行させるためのプログラムが提供される。

また、本開示によれば、処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、上記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、電子機器が提供される。

本開示によれば、処理対象画像に基づいて視差を調整することができる。

本実施形態に係る画像処理方法に係る処理を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。

本実施形態に係る画像処理装置は、処理対象の動画像である処理対象画像に対応する視差に基づいて、処理対象画像に対応する視差を調整する。本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、処理対象画像に対応する視差の強度の時間的な変化量に基づいて、処理対象画像に対応する視差よりも視差を大きく調整する。

ここで、本実施形態に係る処理対象画像としては、例えば、立体画像を構成する左目画像および右目画像（以下、総称して「ステレオ画像」と示す場合がある。）を示す動画像や、平面画像（２Ｄ画像）から擬似的に生成されたステレオ画像を示す動画像が挙げられる。以下では、ステレオ画像と、擬似的に生成されたステレオ画像とを、総称して「ステレオ画像」と示す。

また、本実施形態に係る処理対象画像に対応する視差の強度は、例えば、処理対象画像の各フレームに対応する画像（以下、「フレーム画像」と示す。）それぞれにおける視差量で表される。本実施形態に係る視差量は、例えば、フレーム画像それぞれにおける各画素の奥行きの度合いに基づいて、フレーム画像ごとに算出される。なお、本実施形態に係る画像処理装置における視差量の算出に係る処理については、後述する。

［１］本実施形態に係る画像処理方法に係る処理
以下、本実施形態に係る画像処理方法に係る処理について、より具体的に説明する。

（１）視差量算出処理
本実施形態に係る画像処理装置は、フレーム画像それぞれにおける視差に関する各画素の奥行きの度合いに基づいて、フレーム画像ごとに視差量を算出する。以下では、フレーム画像それぞれにおける各画素の奥行きの度合いを、「視差マップ」と示す場合がある。

本実施形態に係る画像処理装置は、例えば、ステレオ画像を構成する左目画像および右目画像における対応する画素を比較することによって、画素ごとの視差を算出する。そして、本実施形態に係る画像処理装置は、算出された画素ごとの視差を、本実施形態に係るフレーム画像それぞれにおける各画素の奥行きの度合いとして、本実施形態に係る視差量算出処理を行う。ここで、本実施形態に係る奥行きの度合いは、視点間隔に相当する。

なお、本実施形態に係る画像処理装置における、本実施形態に係るフレーム画像それぞれにおける各画素の奥行きの度合いの取得方法は、上記に限られない。

例えば、本実施形態に係る画像処理装置は、画素ごとの視差を算出することが可能な任意の方法を用いて、画素ごとの視差を算出してもよい。

また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る処理対象画像に対応する、フレーム画像それぞれの画素ごとの視差を示す視差情報を用いて、視差情報が示す画素ごとの視差を、本実施形態に係るフレーム画像それぞれにおける各画素の奥行きの度合いとすることも可能である。ここで、本実施形態に係る視差情報は、例えば、本実施形態に係る処理対象画像のメタデータであってもよいし、本実施形態に係る処理対象画像とは別のデータであってもよい。本実施形態に係る視差情報が示すフレーム画像それぞれの画素ごとの視差は、例えば、本実施形態に係る処理対象画像を解析することによって設定されてもよいし、ユーザ操作などに基づいて設定されてもよい。本実施形態に係る視差情報は、例えば、本実施形態に係る画像処理装置の外部装置や、本実施形態に係る画像処理装置において、本実施形態に係る画像処理方法に係る処理が行われる前に生成される。

本実施形態に係る画像処理装置は、例えば、視差マップ（フレーム画像それぞれにおける奥行きの度合い）のダイナミックレンジを算出することによって、フレーム画像ごとの視差量を算出する。

より具体的には、本実施形態に係る画像処理装置は、例えば、下記の数式１に示す演算をフレームごとに行うことによって、フレーム画像ごとの視差量を算出する。ここで、数式１に示す“ｚ（ｔ）”は、ｔフレーム（ｔは、１以上の整数）におけるフレーム画像の視差量を示している。また、数式１に示す“Ｄ（ｘ，ｙ，ｔ）”は、ｔフレームにおけるフレーム画像の座標（ｘ，ｙ）で表される画素の、奥行きの度合いを示している。フレーム画像の座標は、フレーム画像の任意の位置（例えば、フレーム画像の左下隅の位置や、フレーム画像の左上隅の位置など）を原点として表される。

なお、本実施形態に係る視差量は、視差マップ（フレーム画像それぞれにおける奥行きの度合い）のダイナミックレンジに限られない。

例えば、本実施形態に係る画像処理装置は、フレーム画像それぞれにおける奥行きの度合いの最大値や、フレーム画像それぞれにおける奥行きの度合いの平均値を算出することによって、フレーム画像ごとの視差量を算出してもよい。

（２）視差調整処理
上記（１）の処理（視差量算出処理）においてフレーム画像ごとの視差量が算出されると、本実施形態に係る画像処理装置は、視差量の時間的な変化量に基づいて、フレーム画像ごとの視差量を大きく調整する。本実施形態に係る画像処理装置は、例えば、算出されたフレーム画像ごとの視差量が、設定された増大量を超えて（または設定された増大量以上に）急激に増大するときに、フレーム画像の視差量を大きくする。

より具体的には、本実施形態に係る画像処理装置は、例えば、算出されたフレーム画像ごとの視差量を入力とする関数であるオーバーシュート関数と、フレーム画像ごとの視差量とに基づいて、フレーム画像ごとの視差量を大きく調整する。

ここで、本実施形態に係るオーバーシュート関数とは、フレーム画像ごとの視差量を入力の値とする関数であって、１フレーム前における視差量の変化量を保持し、フレーム画像ごとの視差量を目標値として収束する関数である。本実施形態に係るオーバーシュート関数は、視差量の変化が時間的に相関をもつように作用する。

本実施形態に係る画像処理装置は、例えば下記の数式２に示す演算を行うことによって、算出されたフレーム画像ごとの視差量を調整する。数式２の右辺が、本実施形態に係るオーバーシュート関数の一例である。数式２の右辺に示すオーバーシュート関数では、下記の２つの要素のバランスによって、調整されたフレーム画像の視差量が決定される。
・目標値“ｚ（ｔ）”に収束する
・１フレーム前（直前）の変化量“ｄｚ’（ｔ）／ｄｔ｜_{ｔ＝ｔ−１}”を維持する

ここで、数式２に示す“ｚ（ｔ）”は、ｔフレームにおけるフレーム画像の視差量を示し、ｔフレームにおけるオーバーシュート関数の入力を示している。また、数式２に示す“ｚ’（ｔ）”は、ｔフレームにおける調整されたフレーム画像の視差量を示し、ｔフレームにおけるオーバーシュート関数の出力を示している。また、数式２に示す“ｚ’（ｔ−１）”は、ｔ−１フレームにおける調整されたフレーム画像の視差量を示している。

また、数式２に示す“α”（０≦α≦１）は、視差量の変化に対する相関の強さを制御する定数である。αの値を大きくすると、フレーム画像の視差量よりも視差量が強調される時間（オーバーシュートする時間）が長くなり、また、αの値を小さくすると、フレーム画像の視差量よりも視差量が強調される時間が短くなる。例えば、αの値を０．８５とすると、７〜８フレーム程、フレーム画像の視差量よりも視差量が強調される。なお、本実施形態に係るαの値が、０．８５に限られないことは、言うまでもない。また、本実施形態に係るαの値は、例えば、ユーザ操作などによって適宜設定可能であってもよい。

図１は、本実施形態に係る画像処理方法に係る処理を説明するための説明図である。図１は、上記数式２に示すオーバーシュート関数の入力（ｚ（ｔ）。処理対象画像の各フレームに対応するフレーム画像の視差量）と、上記数式２に示すオーバーシュート関数の出力（ｚ’（ｔ）。処理対象画像の各フレームに対応する調整されたフレーム画像の視差量）との関係の一例を示している。ここで、図１では、αの値を０．８５とした場合における、オーバーシュート関数の入力とオーバーシュート関数の出力との関係の一例を示している。

例えば図１のＡに示すように、本実施形態に係る画像処理装置が、上記数式２に示すオーバーシュート関数を用いることによって、フレーム画像の視差量よりも視差量が強調される。

図２は、本実施形態に係る画像処理方法に係る処理を説明するための説明図である。図２は、上記数式２に示すオーバーシュート関数の入力（ｚ（ｔ）。処理対象画像の各フレームに対応するフレーム画像の視差量）と、上記数式２に示すオーバーシュート関数の出力（ｚ’（ｔ）。処理対象画像の各フレームに対応する調整されたフレーム画像の視差量）との関係の他の例を示している。ここで、図２では、視差量の変化量が大きな処理対象画像を処理対象とした場合におけるオーバーシュート関数の入力とオーバーシュート関数の出力との関係の一例（図２に示す「変化量が大きい場合」が該当）と、視差量の変化量が小さな処理対象画像を処理対象とした場合におけるオーバーシュート関数の入力とオーバーシュート関数の出力との関係の一例（図２に示す「変化量が小さい場合」が該当）とを示している。

例えば図２のＡ、Ｂに示すように、本実施形態に係る画像処理装置が、上記数式２に示すオーバーシュート関数を用いることによって、処理対象の処理対象画像における視差量の変化量の大小によらずに、フレーム画像の視差量よりも視差量が強調されることが分かる。

本実施形態に係る画像処理装置は、例えば上記数式２に示すような、処理対象画像の各フレームに対応するフレーム画像の視差量を入力の値とするオーバーシュート関数を用いることによって、視差量の時間的な変化量に基づいて、フレーム画像ごとの視差量を大きく調整する。なお、本実施形態に係るオーバーシュート関数が、上記数式２に示す関数に限られないことは、言うまでもない。

上記数式２に示すようなオーバーシュート関数を用いることによって、フレーム画像ごとの視差量が大きく調整されると、本実施形態に係る画像処理装置は、調整されたフレーム画像ごとの視差量に基づいて、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

本実施形態に係る画像処理装置は、例えば、フレーム画像ごとに、オーバーシュート関数の入力の値に対するオーバーシュート関数の出力の値の比を算出する。そして、本実施形態に係る画像処理装置は、フレーム画像ごとに、フレーム画像における各画素の奥行きの度合いと、算出された比の値とを乗算することによって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

より具体的には、本実施形態に係る画像処理装置は、例えば下記の数式３に示す演算を行うことによって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。ここで、下記の数式３に示す演算は、例えば、調整されたフレーム画像の視差量と、調整前のフレーム画像の視差量との差分を利用した演算に相当する。

ここで、数式３に示す“Ｐ（ｔ）”は、ｔフレームにおけるフレーム画像における各画素の奥行きの度合い（視点間隔）を示している。また、数式３に示す“Ｐ＾（ｔ）”は、ｔフレームにおける調整されたフレーム画像における各画素の奥行きの度合いを示している。

また、数式３に示す“ｋ”（ｋ＞０）は、フレーム画像における各画素の奥行きの度合いを強調する強調度合いを調整するための定数である。ｋの値を大きくすると、フレーム画像における各画素の奥行きの度合いはより強調される。また、ｋの値を小さくすると、フレーム画像における各画素の奥行きの度合いは、それ程強調されなくなる。フレーム画像における各画素の奥行きの度合いの強調が画像をみるユーザに知覚され、かつ、知覚されるフレーム画像における各画素の奥行きの度合いの強調によって、当該ユーザに不快感を感じさせないための、ｋの値としては、例えば、ｋ＝２が挙げられる。なお、本実施形態に係るｋの値が、２に限られないことは、言うまでもない。また、本実施形態に係るｋの値は、例えば、ユーザ操作などによって適宜設定可能であってもよい。

本実施形態に係る画像処理装置は、例えば上記数式３に示すように、オーバーシュート関数の入力の値に対するオーバーシュート関数の出力の値の比を用いてフレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

ここで、オーバーシュート関数の入力の値に対するオーバーシュート関数の出力の値の比は、処理対象画像に対応する視差の強度の時間的な変化量に基づく値である。よって、本実施形態に係る画像処理装置は、例えば上記数式３に示す演算によってフレーム画像それぞれにおける各画素の奥行きの度合いを調整することによって、処理対象画像に対応する視差よりも視差を大きく調整することができる。

なお、本実施形態に係る視差調整処理は、上記に示す例に限られない。

例えば、上記数式２に示すようなオーバーシュート関数を用いて、フレーム画像ごとの視差量を大きく調整する場合には、リンギングが生じることによって、視差量の強調と縮減を繰り返すように視差量が振動してしまう恐れがある。

そこで、本実施形態に係る画像処理装置は、フレーム画像ごとの視差量が大きく調整される方向にのみ作用するように、上記数式２に示すようなオーバーシュート関数の出力の値を選択的に更新する。

より具体的には、本実施形態に係る画像処理装置は、例えば下記の数式４に示すように、オーバーシュート関数の出力の値（ｚ’（ｔ））が、オーバーシュート関数の入力の値（ｚ（ｔ））よりも小さい場合に、オーバーシュート関数の出力の値を、オーバーシュート関数の入力の値に選択的に更新する。ここで、数式４に示す“Ｚ＾（ｔ）”は、選択的に更新されたオーバーシュート関数の出力の値を示している。

また、オーバーシュート関数の出力の値を選択的に更新した場合、本実施形態に係る画像処理装置は、例えば、フレーム画像ごとに、オーバーシュート関数の入力の値に対する、選択的に更新されるオーバーシュート関数の出力の値の比を算出する。そして、本実施形態に係る画像処理装置は、フレーム画像ごとに、フレーム画像における各画素の奥行きの度合いと、算出された比の値とを乗算することによって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

より具体的には、本実施形態に係る画像処理装置は、例えば下記の数式５に示す演算を行うことによって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

例えば上記数式４に示すように、オーバーシュート関数の出力の値を選択的に更新することによって、オーバーシュート関数の出力の値がオーバーシュート関数の入力の値以上のときに、オーバーシュート関数の出力の値が用いられ、また、オーバーシュート関数の出力の値がオーバーシュート関数の入力の値よりも小さいときに、オーバーシュート関数の入力の値が用いられる。

したがって、例えば上記数式４に示すように、オーバーシュート関数の出力の値を選択的に更新し、上記数式５に示すように、フレーム画像それぞれにおける各画素の奥行きの度合いを調整することによって、本実施形態に係る画像処理装置は、例えば、リンギングが生じることによる視差量の振動や、視差量が不自然に弱められることを、防止することができる。

図３は、本実施形態に係る画像処理方法に係る処理を説明するための説明図である。図３は、処理対象画像における視差量と、本実施形態に係る画像処理方法に係る処理によって調整された処理対象画像における視差量との一例を示している。ここで、図３では、本実施形態に係る画像処理装置が、例えば上記数式５に示す演算を用いた視差調整処理を行った場合における、調整された処理対象画像における視差量の一例を示している。

例えば図３のＡ、Ｂに示すように、本実施形態に係る画像処理方法に係る処理が行われることによって、処理対象画像に対応する視差の強度の時間的な変化量に基づいて、処理対象画像に対応する視差よりも視差が大きく調整される。また、例えば図３に示すように、αの値が変わることによって、視差量が強調される時間（オーバーシュートする時間）が変わる。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）を行う。

ここで、本実施形態に係る画像処理装置は、上記（２）の処理（視差調整処理）において、上記（１）の処理（視差量算出処理）において算出されたフレーム画像ごとの視差量に基づき調整された、フレーム画像ごとの視差量に基づいて、例えば上記数式３や数式５に示す演算によって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。また、上記（１）の処理（視差量算出処理）において算出されたフレーム画像ごとの視差量に基づき調整されたフレーム画像ごとの視差量は、例えば、上記数式２に示すようなオーバーシュート関数の出力の値、または、上記数式４により選択的に更新されたオーバーシュート関数の出力の値であり、処理対象画像に対応する視差の強度の時間的な変化量に基づく値である。

したがって、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）を行うことによって、本実施形態に係る画像処理装置は、処理対象画像に対応する視差よりも視差を大きく調整することができる。

また、処理対象画像に対応する視差の強度の時間的な変化量に基づいて処理対象画像に対応する視差が大きく調整されることによって、例えば、図３のＡに示すように、処理対象画像に対応する視差が一時的に強調される。したがって、本実施形態に係る画像処理装置は、処理対象画像が示すコンテンツにメリハリを生じさせることができる。

また、本実施形態に係る画像処理装置は、処理対象画像に対応する視差の強度の時間的な変化量に基づいて処理対象画像に対応する視差を大きく調整するので、例えば、画像を表示画面に表示させる表示デバイスのクロストークや他の理由によって、処理対象画像に大きな視差をつけられない場合であっても、調整された処理対象画像をみるユーザに、立体感をより感じさせることができる。

さらに、本実施形態に係る画像処理装置が、上記（２）の処理（視差調整処理）において、例えば上記数式５に示す演算によってフレーム画像それぞれにおける各画素の奥行きの度合いを調整する場合には、本実施形態に係る画像処理装置は、例えば、リンギングが生じることによる視差量の振動や、視差量が不自然に弱められることを、防止することが可能である。したがって、上記の場合には、本実施形態に係る画像処理装置は、調整された処理対象画像をみるユーザが感じる立体感を、より向上させることができる。

なお、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）に限られない。

例えば、本実施形態に係る画像処理装置は、複数のフレーム画像を用いた動き検出処理などによって、処理対象画像に含まれるオブジェクトの奥行き方向の変化を、オブジェクトを示す複数の画素単位または画素単位で視差の強度として検出し、検出結果が示す視差の強度の時間的な変化量に基づいて、処理対象画像に対応する視差よりも視差を大きく調整することも可能である。

［２］本実施形態に係る画像処理方法に係る処理の具体例
次に、上述した本実施形態に係る画像処理方法に係る処理の具体例を示す。

図４は、本実施形態に係る画像処理方法に係る処理の一例を説明するための流れ図である。ここで、図４に示すステップＳ１００が、上記（１）の処理（視差量算出処理）に該当する。また、図４に示すステップＳ１０２、Ｓ１０４の処理が、上記（２）の処理（視差調整処理）に該当する。

本実施形態に係る画像処理装置は、処理対象画像に対応する視差マップに基づいて、フレームごとに、処理対象画像の視差量を算出する（Ｓ１００）。本実施形態に係る画像処理装置は、例えば、フレーム画像それぞれにおける視差マップのダイナミックレンジ、フレーム画像それぞれにおける視差マップの最大値、または、フレーム画像それぞれにおける視差マップの平均値を、処理対象画像の視差量として算出する。

ステップＳ１００において、フレームごとに処理対象画像の視差量が算出されると、本実施形態に係る画像処理装置は、オーバーシュート関数を用いて、フレームごとに、処理対象画像の視差量を調整する（Ｓ１０２）。本実施形態に係る画像処理装置は、例えば、上記数式２に示すようなオーバーシュート関数を用いることにより、または、上記数式４に示すようにオーバーシュート関数の出力の値を選択的に更新することによって、フレームごとに、処理対象画像の視差量を調整する。

ステップＳ１０２において、フレームごとに処理対象画像の視差量が調整されると、本実施形態に係る画像処理装置は、フレームごとに、処理対象画像に対応する視差マップを強調する（Ｓ１０４）。本実施形態に係る画像処理装置は、例えば、上記数式３に示す演算、または、上記数式５に示す演算を行うことによって、フレームごとに、処理対象画像に対応する視差マップを強調する。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図４に示す処理を行う。例えば図４に示す処理を行うことによって、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）が実現される。

したがって、例えば図４に示す処理を行うことによって、本実施形態に係る画像処理装置は、処理対象画像に基づいて視差を調整することができる。また、例えば図４に示す処理を行うことによって、本実施形態に係る画像処理装置は、上述した本実施形態に係る画像処理方法が用いられることにより奏することが可能な効果を、奏することができる。なお、本実施形態に係る画像処理方法に係る処理が、図４に示す処理に限られないことは、言うまでもない。

（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。

図５は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、制御部１０２を備える。

また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、ＲＯＭ（図示せず）は、制御部１０２が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０２により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、処理対象画像を示す画像データや、処理対象画像に対応する視差情報（データ）、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

通信部（図示せず）としては、後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［画像処理装置１００のハードウェア構成例］
図６は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部１０２として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する画像処理部１１０の役目を果たす。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、処理対象画像を示す画像データや、処理対象画像に対応する視差情報、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、表示装置や、サーバなどの外部装置と無線／有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

画像処理装置１００は、例えば図６に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図６に示す構成に限られない。

例えば、画像処理装置１００は、動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を、処理対象画像として処理することが可能となる。

ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、記憶媒体１５６や、操作デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。

再度図５を参照して、画像処理装置１００の構成の一例について説明する。制御部１０２は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０２は、例えば、画像処理部１１０を備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。

画像処理部１１０は、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たし、処理対象画像に対応する視差の強度の時間的な変化量に基づいて、処理対象画像に対応する視差よりも視差を大きく調整する。ここで、画像処理部１１０が処理する処理対象画像としては、例えば、記憶部（図示せず）や接続されている外部記録媒体から読み出された画像データが示す動画像や、通信部（図示せず）により受信された画像データが示す動画像、撮像部（図示せず）により撮像された動画像などが挙げられる。

より具体的には、画像処理部１１０は、例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）を主導的に行う役目を果たす。

画像処理部１１０は、例えば、処理対象画像のフレーム画像それぞれにおける各画素の奥行きの度合いに基づいて、フレーム画像ごとに視差量を算出する。画像処理部１１０は、例えば、視差マップ（フレーム画像それぞれにおけるフレーム画像それぞれにおける各画素の奥行きの度合い）のダイナミックレンジ、フレーム画像それぞれにおける視差マップの最大値、または、フレーム画像それぞれにおける視差マップの平均値を、処理対象画像の視差量として算出する。

ここで、画像処理部１１０は、例えば、処理対象画像を構成する左目画像および右目画像から算出された画素ごとの視差を示す情報（データ）を参照することによって、上記フレーム画像それぞれにおける各画素の奥行きの度合いを得る。上記視差を示す情報が示す画素ごとの視差は、例えば、画像処理装置１００の外部装置において算出されたものであってもよいし、制御部１０２において算出されたものであってもよい。また、上述したように、画像処理部１１０は、例えば、処理対象画像に対応する視差情報を参照することによって、上記フレーム画像それぞれにおける各画素の奥行きの度合いを得ることも可能である。

また、画像処理部１１０は、例えば、算出された視差量の時間的な変化量に基づいて、フレーム画像ごとの視差量を大きく調整する。ここで、画像処理部１１０は、例えば、フレーム画像ごとの視差量を、上記数式２に示すようなオーバーシュート関数の入力としてオーバーシュート関数の出力を得ることによって、算出された視差量の時間的な変化量に基づいて、フレーム画像ごとの視差量を大きくする。また、画像処理部１１０は、例えば、上記数式４に示すように、オーバーシュート関数の出力を選択的に更新することによって、算出された視差量の時間的な変化量に基づいて、フレーム画像ごとの視差量を大きくしてもよい。

そして、画像処理部１１０は、例えば、調整されたフレーム画像ごとの視差量に基づいて、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。画像処理部１１０は、例えば、上記数式３、または上記数式５に示す演算を行うことによって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。

制御部１０２は、例えば画像処理部１１０を備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理））を主導的に行う。

なお、本実施形態に係る制御部の構成は、図５に示す構成に限られない。例えば、画像処理部１１０は、上記（１）の処理（視差量算出処理）を主導的に行う視差量算出部（図示せず）と、上記（２）の処理（視差調整処理）を主導的に行う視差調整部（図示せず）とを含んでいてもよい。

画像処理装置１００は、例えば図５に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理））を行う。

したがって、画像処理装置１００は、例えば図５に示す構成によって、処理対象画像に基づいて視差を調整することができる。また、例えば図５に示す構成によって、画像処理装置１００は、上述した本実施形態に係る画像処理方法が用いられることにより奏することが可能な効果を、奏することができる。

なお、本実施形態に係る画像処理装置の構成は、図５に示す構成に限られない。

例えば、本実施形態に係る画像処理装置は、図５に示す画像処理部１１０を、制御部１０２とは個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。また、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（視差量算出処理）を主導的に行う視差量算出部（図示せず）と、上記（２）の処理（視差調整処理）を主導的に行う視差調整部（図示せず）とを、個別に備えていてもよい。

また、本実施形態に係る画像処理装置は、例えば、処理対象画像を構成する左目画像および右目画像に基づいて、画素ごとの視差を算出する視差推定部（図示せず）をさらに備えていてもよい。ここで、視差推定部（図示せず）を備える場合、例えば、本実施形態に係る画像処理装置では、制御部１０２が視差推定部（図示せず）の役目を果たしてもよいし、制御部１０２とは別体の処理回路が視差推定部（図示せず）の役目を果たしてもよい。

また、本実施形態に係る画像処理装置は、例えば、画像処理部１１０が調整したフレーム画像それぞれにおける各画素の奥行きの度合いと、処理対象画像とに基づいて、１または２以上の仮想的な視点の画像を示す視点画像を生成する仮想視点画像生成部（図示せず）をさらに備えていてもよい。ここで、仮想視点画像生成部（図示せず）を備える場合、例えば、本実施形態に係る画像処理装置では、制御部１０２が仮想視点画像生成部（図示せず）の役目を果たしてもよいし、制御部１０２とは別体の処理回路が仮想視点画像生成部（図示せず）の役目を果たしてもよい。

また、本実施形態に係る画像処理装置は、例えば、仮想視点画像生成部（図示せず）により生成された視点画像を表示画面に表示させる表示制御部（図示せず）をさらに備えていてもよい。表示制御部（図示せず）は、例えば、表示部（図示せず）の表示画面、通信部（図示せず）を介して接続される外部表示デバイスの表示画面の少なくとも一方の表示画面に、視点画像を表示させる。ここで、表示制御部（図示せず）を備える場合、例えば、本実施形態に係る画像処理装置では、制御部１０２が表示制御部（図示せず）の役目を果たしてもよいし、制御部１０２とは別体の処理回路が表示制御部（図示せず）の役目を果たしてもよい。

また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を、処理対象画像として処理を行うことが可能となる。撮像部（図示せず）としては、例えば、上述した本実施形態に係る撮像デバイスが挙げられる。

以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）を行う。ここで、本実施形態に係る画像処理装置は、上記（２）の処理（視差調整処理）において、上記（１）の処理（視差量算出処理）において算出されたフレーム画像ごとの視差量に基づき調整された、フレーム画像ごとの視差量に基づいて、例えば上記数式３や数式５に示す演算によって、フレーム画像それぞれにおける各画素の奥行きの度合いを調整する。また、上記（１）の処理（視差量算出処理）において算出されたフレーム画像ごとの視差量に基づき調整されたフレーム画像ごとの視差量は、例えば、上記数式２に示すようなオーバーシュート関数の出力の値、または、上記数式４により選択的に更新されたオーバーシュート関数の出力の値であり、処理対象画像に対応する視差の強度の時間的な変化量に基づく値である。

したがって、本実施形態に係る画像処理装置は、処理対象画像に対応する視差よりも視差を大きく調整することができる。

また、本実施形態に係る画像処理装置は、上述した本実施形態に係る画像処理方法が用いられることにより奏することが可能な効果を、奏することができる。

以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）などのコンピュータ、デジタルカメラやデジタルビデオカメラなどの撮像装置など、動画像を処理することが可能な様々な電子機器に適用することができる。また、本実施形態は、例えば、上記のような電子機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（視差量算出処理）および上記（２）の処理（視差調整処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、処理対象画像に対応する視差よりも視差を大きく調整することができる。

また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本実施形態に係る画像処理方法が用いられることにより奏することが可能な効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、画像処理装置。
（２）
前記画像処理部は、
前記処理対象画像の各フレームに対応するフレーム画像それぞれにおける視差に関する各画素の奥行きの度合いに基づいて、前記フレーム画像ごとに、前記フレーム画像における視差の強度を示す視差量を算出し、
前記視差量の時間的な変化量に基づいて、前記フレーム画像ごとの前記視差量を大きく調整し、
調整された前記フレーム画像ごとの前記視差量に基づいて、前記フレーム画像それぞれにおける各画素の奥行きの度合いを調整する、（１）に記載の画像処理装置。
（３）
前記画像処理部は、
前記フレーム画像ごとの前記視差量を入力の値とする関数であって、１フレーム前における前記視差量の変化量を保持し、前記フレーム画像ごとの前記視差量を目標値として収束するオーバーシュート関数と、前記フレーム画像ごとの前記視差量とに基づいて、前記フレーム画像ごとの前記視差量を大きくする、（２）に記載の画像処理装置。
（４）
前記画像処理部は、
前記フレーム画像ごとに、前記オーバーシュート関数の入力の値に対する前記オーバーシュート関数の出力の値の比を算出し、
前記フレーム画像ごとに、前記フレーム画像における各画素の奥行きの度合いと、算出された比の値とを乗算することによって、前記フレーム画像それぞれにおける各画素の奥行きの度合いを調整する、（３）に記載の画像処理装置。
（５）
前記画像処理部は、
前記オーバーシュート関数の出力の値が、前記オーバーシュート関数の入力の値よりも小さい場合に、前記オーバーシュート関数の出力の値を、前記オーバーシュート関数の入力の値に選択的に更新し、
前記フレーム画像ごとに、前記オーバーシュート関数の入力の値に対する、選択的に更新される前記オーバーシュート関数の出力の値の比を算出する、（４）に記載の画像処理装置。
（６）
前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いのダイナミックレンジである、（２）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いの最大値である、（２）〜（５）のいずれか１つに記載の画像処理装置。
（８）
前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いの平均値である、（２）〜（５）のいずれか１つに記載の画像処理装置。
（９）
処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整するステップを有する、画像処理方法。
（１０）
処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整するステップを、コンピュータに実行させるためのプログラム。
（１１）
処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、電子機器。

１００ 画像処理装置
１０２ 制御部
１１０ 画像処理部

Claims (11)

1. 処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、画像処理装置。
2. 前記画像処理部は、
   前記処理対象画像の各フレームに対応するフレーム画像それぞれにおける視差に関する各画素の奥行きの度合いに基づいて、前記フレーム画像ごとに、前記フレーム画像における視差の強度を示す視差量を算出し、
   前記視差量の時間的な変化量に基づいて、前記フレーム画像ごとの前記視差量を大きく調整し、
   調整された前記フレーム画像ごとの前記視差量に基づいて、前記フレーム画像それぞれにおける各画素の奥行きの度合いを調整する、請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記フレーム画像ごとの前記視差量を入力の値とする関数であって、１フレーム前における前記視差量の変化量を保持し、前記フレーム画像ごとの前記視差量を目標値として収束するオーバーシュート関数と、前記フレーム画像ごとの前記視差量とに基づいて、前記フレーム画像ごとの前記視差量を大きくする、請求項２に記載の画像処理装置。
4. 前記画像処理部は、
   前記フレーム画像ごとに、前記オーバーシュート関数の入力の値に対する前記オーバーシュート関数の出力の値の比を算出し、
   前記フレーム画像ごとに、前記フレーム画像における各画素の奥行きの度合いと、算出された比の値とを乗算することによって、前記フレーム画像それぞれにおける各画素の奥行きの度合いを調整する、請求項３に記載の画像処理装置。
5. 前記画像処理部は、
   前記オーバーシュート関数の出力の値が、前記オーバーシュート関数の入力の値よりも小さい場合に、前記オーバーシュート関数の出力の値を、前記オーバーシュート関数の入力の値に選択的に更新し、
   前記フレーム画像ごとに、前記オーバーシュート関数の入力の値に対する、選択的に更新される前記オーバーシュート関数の出力の値の比を算出する、請求項４に記載の画像処理装置。
6. 前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いのダイナミックレンジである、請求項２に記載の画像処理装置。
7. 前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いの最大値である、請求項２に記載の画像処理装置。
8. 前記フレーム画像ごとの前記視差量は、前記フレーム画像それぞれにおける奥行きの度合いの平均値である、請求項２に記載の画像処理装置。
9. 処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整するステップを有する、画像処理方法。
10. 処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整するステップを、コンピュータに実行させるためのプログラム。
11. 処理対象の動画像である処理対象画像に対応する視差の強度の時間的な変化量に基づいて、前記処理対象画像に対応する視差よりも視差を大きく調整する画像処理部を備える、電子機器。
    

Images