JP2022012301A - 情報処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】被写体の画像情報に関連する関連情報の補正値を精度良く算出することを可能とする情報処理装置を提供する。【解決手段】撮像装置１００が、撮像画像と、撮像画像に関連する関連情報とを取得し、補正対象画素の関連情報の補正に用いる画素を選択し、選択された画素と撮像画像に関連する関連情報とに基づいて、補正対象画素の関連情報の補正値を算出する。撮像装置１００は、パターン光の投影による撮影で取得された上記撮像画像に基づいて、関連情報の補正に用いる画素を選択する。【選択図】図１

Description

本発明は、情報処理装置、撮像装置、制御方法およびプログラムに関する。

撮像画像に関連する関連情報として、撮像画像に対応した距離情報や動き情報の分布を表す、距離画像や動き画像を取得または算出する手法が提案されている。しかし、取得された関連情報は、取得原理と被写体との関係等から、エラーを含んでいる場合が多い。例えば、距離情報や動き情報をテンプレートマッチングによって取得すると、画像中のオブジェクトの境界で大きなエラーが発生する。このエラーは、１つのテンプレート内で異なる距離や動きなどの情報を含んでいる場合に発生し、異なる状態の中間状態を示す間違った情報となる。エラーの広がりの範囲や量は、テンプレートのサイズに依存する。テンプレートマッチング技術以外の手法でも似たようなエラーが発生することは起こり得る。画像の各画素の情報を補正する技術の一例として、特許文献１は、補正対象画素と周辺画素の色情報とを用いて各画素の距離情報の信頼度を算出し、信頼度と距離情報を用いて補正対象画素の距離値を補正するデータ処理装置を提案している。

特許第５９８０２９４号公報

エラーを持った情報に対し、輝度画像（ＲＧＢ画像）の情報を用いて補正する方法が知られている。しかし、異なる距離にあって、類似した輝度または色を有する複数の物体の境界では、従来の補正処理では、互いに異なる距離にある物体の影響を受け、補正誤差が発生してしまう。本発明は、被写体の画像情報に関連する関連情報の補正値を精度良く算出することを可能とする情報処理装置の提供を目的とする。

本発明の一実施形態の情報処理装置は、被写体の画像情報と、前記被写体の画像情報に関連する関連情報とを取得する取得手段と、補正対象画素の前記関連情報の補正に用いる画素を選択する選択手段と、前記選択された画素と前記被写体の画像情報に関連する関連情報とに基づいて、前記補正対象画素の前記関連情報の補正値を算出する算出手段と、を有する。前記選択手段は、パターン光の投影による撮影で取得された前記被写体の画像情報に基づいて、前記関連情報の補正に用いる画素を選択する。

本発明の情報処理装置によれば、被写体の画像情報に関連する関連情報の補正値を精度良く算出することが可能となる。

本実施形態の情報処理装置の構成例を示す図である。 撮像装置の動作処理の例を説明するフローチャートである。 距離画像データの補正処理の例を説明する図である。 補正距離値の算出に用いる画素の選択の具体例を説明する図である。 異なる物体の境界付近にパターン光の明領域または暗領域の端がある場合の輝度画像を示す図である。 輝度の変化量に基づく画素群の選択処理の一例を説明する図である。

（実施例１）
図１は、本実施形態の情報処理装置の構成例を示す図である。
本実施形態の情報処理装置は、パターン光の投影により得られた被写体の画像情報（撮像画像）と、撮像画像に関連する関連情報とに基づいて、補正対象画素の関連情報の補正値を算出する。以下に説明する例では、上記関連情報は、距離情報（距離分布情報）である。距離分布情報は、撮像画像内の各被写体の奥行き方向（深さ方向）の深度に対応する情報である。距離分布情報は、撮影時の撮像装置から被写体までの、絶対距離、２画像のフォーカス位置の中間位置から被写体までの相対距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対距離であってもよい。上記の絶対距離、相対距離は、像面側での距離、物体側での距離のいずれであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量の分布や視差量の分布等、距離に換算できる量で表されていてもよい。

図１（Ａ）は、本実施形態の情報処理装置の一例としての撮像装置１００を示す。撮像装置１００は、撮像光学系１０、撮像素子１１、制御部１２、情報処理部１３、記憶部１４、入力部１５、表示部１６、照明部１７を有する。撮像光学系１０は、１枚または複数のレンズを有し、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有し、撮像光学系１０からの光を光電変換する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。また、撮像素子１１が、瞳分割型の構成を有していてもよい。具体的には、撮像素子１１が、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、視点の異なる複数の視点画像を出力してもよい。

照明部１７は、空間的な輝度変化を有するパターン光を被写体に照射（投影）することができる。照明部１７は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）のような光源と、結像レンズと、パターン形成手段として、すりガラスや金属板などにパターンを形成したパターンマスクとを有する。

図１（Ｂ）は、照明部１７が被写体に対して投影するパターン光の一例を示す。
パターン光１０２は、例えば、光軸１０１に垂直な平面内において、所定の方向（ｘ軸方向）に明領域と暗領域とが交互に周期的に繰り返され、ｙ軸方向に長い線状の輝度領域を有する周期パターン光である。

情報処理部１３は、信号処理部１３０、メモリ１３１、距離画像データ生成部１３２、距離画像データ補正部１３３を有する。信号処理部１３０は、撮像素子１１から出力されるアナログ信号に対するＡＤ変換処理、ノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。信号処理部１３０から出力されるデジタル画像データは、メモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離画像データの生成などに使用される。

距離画像データ生成部１３２は、信号処理部１３０からの出力に基づいて撮像画像を取得し、撮像画像に基づいて、当該撮像画像に関連する関連情報として、距離画像データを取得（生成）する。距離画像データは、画素毎に被写体の距離情報を有する画像データであり、距離分布情報の一例である。被写体の距離情報を取得する方法としては、撮影条件を変えて撮影した、ぼけ方の異なる撮像画像を用いる方法（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法：ＤＦＤ法）や、視差の異なる撮像画像を用いる方法（ステレオ法）が挙げられる。ステレオ法には複数の撮像装置を用いる方法と、上述した瞳分割型の構成を有する撮像素子１１から出力される視点画像を用いる方法とがある。パターン光の投影による撮影で得られた画像データ（パターン照明画像）を用いてステレオ法により距離を求めることで、模様が無い被写体でもパターン照明光による模様を付けることができ、距離を求めることが可能となる。そして、後述するパターン光を投影して得られた画像情報を用いた補正処理と組み合わせることで、より高精度な距離画像データを得ることが可能となる。

撮像素子１１が瞳分割型の構成を有する場合、一対の像信号の位相差から各画素に対する距離分布情報を取得可能である。具体的には、撮像素子１１は、撮像光学系１０の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データ（視点画像）を複数の光電変換部から出力する。対をなす画像データ間の視差量に基づいて各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量が領域ごとのデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系１０や撮像素子１１の条件に基づいて被写体距離（画像データにおける撮像装置１００から被写体までの相対的な距離関係）に換算すると、距離分布情報として距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される距離マップデータを取得可能である。

また、撮像装置１００が、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いて画像内における撮像手段から各被写体までの距離関係を直接的に取得してもよい。ＴＯＦ法では、所定の投光手段により被写体にパルス光を照射して、その反射光を撮像部で受光し、このパルス光の飛行時間（遅れ時間）を測定することで、被写体距離を測り、距離分布情報を取得する。本発明において距離分布情報として視差量あるいはデフォーカス量の分布を用いる場合は、距離値がそれぞれ視差量、デフォーカス量に置き換えて各処理がなされるものとする。

距離画像データ生成部１３２によって生成された距離画像データは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。距離画像データ補正部１３３は、取得された撮像画像（撮像画像データ）と距離画像データ生成部１３２で生成された距離画像データとに基づいて、距離画像データにおける各画素の距離情報を補正する。補正の方法に関しては、後述する。

記憶部１４は、不揮発性の記憶媒体である。記憶部１４には、例えば、撮像画像、距離画像データ、その他中間データ等、撮像装置１００で利用されるパラメータデータなどが格納される。不揮発性の記憶媒体として、高速に読み書きでき、且つ、大容量の記憶媒体であれば任意の記憶媒体を適用可能である。例えば、不揮発性の記憶媒体として、フラッシュメモリを適用してもよい。

入力部１５は、ユーザが操作し、撮像装置１００に対して情報入力や設定変更を行うためのインタフェースである。入力部１５として、例えば、ダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどを有し、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などを行う。

制御部１２は、撮像装置１００全体を制御する。例えば、制御部１２は、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、照明の点灯や消灯、画像の取り込み、シャッタやフラッシュ（不図示）の制御、情報処理部１３など各処理部の制御を実行する。

（撮影・処理フロー）
図２は、撮像装置の動作処理の例を説明するフローチャートである。
図２（Ａ）、（Ｂ）におけるＳは、フローチャートにしたがって実行される各処理を示すステップ番号である。
図２（Ａ）は、撮影開始から完了までの動作を説明するフローチャートである。Ｓ２０において、制御部１２が、撮影者の指示にしたがって、撮影者が撮影したいシーンに対して、ズーム動作制御を行い、構図を設定し、シャッタ速度、Ｆナンバなど撮影条件を設定し、フォーカス調整を行う。

次に、Ｓ２１において、不図示の撮影開始ボタンが押下されると、制御部１２が照明部１７を制御してパターン光を照射し、撮像画像を取得する。また、距離画像データ生成部１３２が、距離画像データを生成する。

次に、Ｓ２２において、距離画像データ補正部１３３が、距離画像データを補正する。Ｓ２２の詳細に関しては、図２（Ｂ）を参照して後述する。続いて、Ｓ２３において、制御部１２が、撮像画像または補正された距離画像データを用いて、アプリケーションに合わせた処理を実行する。例えば、撮像画像に距離情報に応じたぼけを付加するぼかし処理や、距離情報に合わせて明るさを調整するリライティング処理等が実行される。

次に、Ｓ２４において、制御部１２が、表示部１６を制御して、アプリケーション処理の結果を表示する。また、制御部１２が、アプリケーション処理の結果、撮像画像、距離画像データ、補正された距離画像データなどの情報を記憶部１４に記憶する。

（第１の補正処理）
図２（Ｂ）は、図２のＳ２１における、距離画像データの補正処理の例を説明するフローチャートである。
本実施形態では、距離画像データの補正処理に用いる距離値、言い換えると、補正処理後の距離値を補正距離値と呼ぶ。Ｓ２２０において、情報処理部１３が、制御部１２の制御により、図３（Ｃ）に示す撮像画像（輝度画像）３０４と、図３（Ｄ）に示す距離画像データとを取得する。

図３は、異なる距離にある複数の物体を撮影した場合の距離画像データの補正処理の例を説明する図である。
図３（Ａ）は、略同じ色と反射率を有し、異なる距離にある物体３０１と物体３０２の撮影シーンを示す。図３（Ｂ）は、パターン光を被写体に投影せずに撮影した場合に得られる輝度画像３０３を示す。図３（Ｃ）は、パターン光を被写体に投影して撮影した場合に得られる輝度画像（パターン照明画像）３０４を示す。

また、図３（Ｄ）は、距離画像データ３０５を示す。白い領域ほど撮像装置１００から近く、黒い領域ほど撮像装置１００から遠い。距離画像データ３０５において、物体３０１と物体３０２の距離値が正確であれば各々の領域は同一色になるが、距離画像データに測距誤差が含まれているので、一部の領域で異なる色となっている。

図２（Ｂ）の説明に戻る。Ｓ２２１において、距離画像データ補正部１３３が、補正対象画素の距離情報の補正処理に用いる画素群を選択する。以下に、画素群の選択処理に関して説明する。
図３（Ｂ）の輝度画像３０４は、画素値がモノクロである。撮像画像がカラー画像データの場合は、モノクロの輝度画像に変換して使用してもよい。距離画像データ補正部１３３は、補正対象画素の周辺の画素のうち、補正対象画素との輝度の差が閾値以下である画素を、補正対象画素の距離情報の補正に用いる画素として選択する。具体的には、図３（Ｃ）、図３（Ｄ）に示すように、距離画像データ補正部１３３が、輝度画像３０４及び距離画像データ３０５のそれぞれについて、補正対象画素３０６を含む参照領域３０７を設定する。そして、距離画像データ補正部１３３は、以下の式（１）のように、補正対象画素３０６と参照領域内の各画素との輝度値とを比較して、類似度（輝度の類似度）を算出する。

式（１）において、Ｉは輝度値を表す。ｐは補正対象画素を表す。ｑは参照領域内の各画素を表す。Ｓは類似度を表し、値が小さいほど補正対象画素と参照領域内の各画素との類似度が高い。

次に、距離画像データ補正部１３３が、算出された類似度に基づいて、画素群を選択する。選択する画素を１、選択しない画素を０として表現する。距離画像データ補正部１３３は、参照領域内の各画素について、式（２）により、類似度と閾値とを比較する。Ｓが閾値以下（Ｕ以下）である画素が選択される。

なお、距離画像データ補正部１３３が、式（１）、式（２）とは異なる他の計算式を用いて画素群を選択してもよい。

次に、Ｓ２２２において、距離画像データ補正部１３３が、図３を参照して上述した処理で選択された画素群と、距離画像データ３０５とに基づいて、補正対象画素の距離情報に対して、第１の補正処理を行う。距離画像データ補正部１３３は、例えば、選択された画素群の距離値の平均値または中央値を補正距離値として求め、補正対象画素の距離値とする。距離画像データ補正部１３３が、選択した画素群の距離値のうち、高い値、低い値を一定割合除き、残った距離値の平均値を補正対象画素の距離値としてもよい。本実施形態によれば、パターン光を投影して撮影した画像を用いて画素群を選択し、選択した画素群の距離情報を用いて補正処理を行うことで、近傍に輝度または色が類似した物体が存在する場合でも距離情報を高精度に補正することができる。

図４は、補正距離値の算出に用いる画素の選択の具体例を説明する図である。
図４（Ａ）は、パターン光を被写体に投影せずに撮影した場合に得られる輝度画像３０３（図３（Ｂ））の破線３０８上の輝度値の分布を示す。横軸は画像上の位置を表す。縦軸は輝度値を表す。領域４０１は物体３０１の領域を表す。領域４０２は物体３０２の領域を表す。図４（Ａ）に示すように、各物体の輝度は、合焦位置近傍にある物体もデフォーカス領域にある物体も略同じ輝度となる。したがって、輝度画像３０３では異なる距離にある物体の各領域を区別することができず、補正対象画素と略等距離にある領域の画素を選択することができない。

図４（Ｂ）は、パターン光を被写体に投影して撮影した場合に得られる輝度画像３０４（図３（Ｃ））の破線３０８上の輝度値の分布を示す。横軸は画像上の位置、縦軸は輝度値を表す。また、図４（Ｃ）は、輝度画像３０４の破線３０８上の距離値の分布を示す。横軸は画像上の位置、縦軸は距離値を表す。

図４（Ｃ）の破線４０３は、正解の距離情報の分布を表している。図４（Ｂ）の領域４０１のように、撮像光学系の合焦位置近傍にある物体の輝度画像は、明領域の輝度値が大きく、暗領域の輝度値が小さい画像となる。一方、領域４０２のように、合焦位置から離れた位置にある物体の輝度画像は、画像がボケるので、明領域の輝度値が小さくなり、暗領域の輝度値が大きくなる。距離画像データ補正部１３３は、例えば、パターン光を被写体に投影して得られる輝度画像の明領域に補正対象画素３０６を設定する。補正対象画素の輝度と略同じ輝度を有する画素を周辺領域より選択することで、補正対象画素と略等距離にある物体４０１内の画素群４０４を選択することができる。この画素群４０４の距離値４０５を用いて補正処理を行うと、補正前の距離値４０６は補正距離値４０７に補正され、正解の距離情報に近い値となる。パターン投影した輝度画像の暗領域に補正対象画素３０６を設定し、同様の処理を行っても同等の効果を得ることができる。これにより、近傍に輝度または色が類似する物体が存在する場合でも、距離情報の高精度な補正が可能となる。

（パターン光の周期パターンと参照領域の大きさ）
距離画像データ補正部１３３は、輝度の類似度に基づいて、補正対象画素の距離情報の補正に用いる画素群を選択する。したがって、投影されるパターン光は、略同じ輝度を有する明領域と暗領域が所定の方向に周期的に繰り返される周期パターンを有することが好ましい。パターン光は、明領域と暗領域が１次元方向に周期的に繰り返される光であってもよいし、２次元方向に周期的に繰り返される光であってもよい。
本実施形態では、式（３）で示されるように、参照領域の大きさＷが、周期Ｐの２倍より大きくなるように設定することが好ましい。

周期Ｐは、パターン光の周期、すなわちパターン光の明領域と暗領域が輝度画像上で繰り返される間隔である。参照領域の大きさＷは、パターン光の明領域と暗領域が周期的に繰り返される方向（パターン光の周期方向）の、参照領域の長さを示す。

図５は、異なる物体の境界付近にパターン光の明領域または暗領域の端がある場合の輝度画像（パターン照明画像）を示す図である。
破線５０１は、異なる距離にある複数の物体の境界である。領域５０２と領域５０３は、撮像光学系１０の焦点近傍にある物体にパターン光が当たった領域である。領域５０２は輝度値が大きい明領域であり、領域５０３は輝度値が小さい暗領域である。また、領域５０４と領域５０５は焦点から離れた距離にある物体にパターン光が当たった領域である。領域５０４の輝度値は領域５０２の輝度値より小さい。領域５０５の輝度値は領域５０３の輝度値より大きい。補正対象画素５０６は、補正対象画素を示す。参照領域５０７は、補正対象画素を含む所定の領域であって、補正対象画素５０６の距離情報の補正に用いる画素群の選択に用いられる。大きさ５０８は、参照領域５０７の、パターン光の周期方向の長さを示す。周期５０９は、パターン光の周期を示す。

図５（Ａ）に示す例では、参照領域５０７の大きさ５０８が、パターン光の周期５０９の２倍より小さく、大きさ５０８には１周期分のパターン照明画像しか含まれない。したがって、物体の境界付近で、補正対象画素５０６と略同じ輝度値を有する画素５１０の数が少ない。その結果、補正対象画素５０６の距離情報の補正のために選択される画素群が少なくなるので、補正のための正解値に近い距離情報が少なく、補正効果が小さい。

図５（Ｂ）は、参照領域５０７の大きさ５０８が、パターン光の周期５０９の２倍より大きくなるように設定した場合の輝度画像（パターン照明画像）である。図５（Ｂ）に示すパターン照明画像に基づき、物体の境界付近において、補正対象画素５０６と略同輝度を有する画素を選択すると、図５（Ｂ）のように、補正対象画素５０６が含まれる明領域とは異なる明領域にある画素も選択される。したがって、選択される画素５１０の数が多くなる。これにより、より多くの正解に近い距離情報を用いて補正を行うことができるため、高精度に補正距離値を算出することが可能となる。

（画素群の選択に用いる撮像画像の他の例）
画素群の選択に用いる撮像画像の他の例について説明する。Ｓ２１において、制御部１２が、パターン光を被写体に投影せずに、環境光下で撮像画像を取得する。そして、Ｓ２２１において、パターン光を被写体に投影して取得した撮像画像に対して、パターン光を被写体に投影せずに取得した撮像画像（輝度画像情報）を減算または除算する。これにより、差分画像データまたは除算画像データが生成される。距離画像データ補正部１３３は、生成された差分画像データまたは除算画像データを用いて、補正対象画素の距離情報の補正に用いられる画素群を選択する。

強度が均一ではない環境光下では、環境光の強度分布によって、等距離・等反射率の物体上においても画素毎に異なる輝度値となる。したがって、この環境下で取得したパターン投影画像の輝度値に基づいて画素群を選択すると、略距離にない画素も選択され、補正誤差が生じる。パターン照明画像に対して環境光下でパターン光を照射せずに得られた撮像画像を減算または除算することで、環境光の影響を除いた差分画像データまたは除算画像データを生成することができる。差分画像データまたは除算画像データの輝度値に基づいて画素群を選択することで、不均一な環境光下でも略等距離にある画素を選択することができ、高精度に補正距離値を算出することが可能となる。

（第２の補正処理）
図２（Ｂ）の説明に戻る。Ｓ２２３において、距離画像データ補正部１３３は、パターン光を投影して撮影した輝度画像３０４の明領域と暗領域との境界領域にある画素を補正対象画素として選択し、選択した補正対象画素の距離情報に対して第２の補正処理を実行する。

図４（Ｂ）の画素３１０のように、パターン照明画像の明領域と暗領域との境界付近の画素は、明領域と暗領域の輝度の中間の輝度値を有する。輝度の類似度に基づいて画素を選択すると、異なる距離にある物体上の画素を選択してしまい、補正精度が低下する可能性がある。そこで、距離画像データ補正部１３３は、パターン照明画像の輝度情報に基づいて、明領域と暗領域との境界付近の画素を補正対象画素として選択し、選択した補正対象画素の距離値を第２の補正処理で補正する。これにより、より高精度な補正距離値を得ることができる。

具体的には、距離画像データ補正部１３３が、パターン照明画像に基づいて、所定の上限値と下限値の間の輝度値を有する画素を補正対象画素群として選択する。これにより明部と暗部の境界付近にある画素を抽出することができる。距離画像データ補正部１３３が、パターン照明画像の局所領域内における輝度値の変化量を求め、輝度値の変化量が閾値以上である領域にある画素を補正対象画素として選択する。続いて、距離画像データ補正部１３３が、選択した補正対象画素の距離情報を、補正対象画素の近傍にある非補正対象の画素群の距離情報を用いて補正する。距離画像データ補正部１３３は、非補正対象画素の距離値として、図２のＳ２２２で求めた補正距離値を使用する。距離画像データ補正部１３３は、非補正対象の画素群の距離値の平均値または中央値を求め、補正対象画素の距離値とする。第２の補正処理により、明領域と暗領域との境界領域にある画素の距離情報を高精度に補正することができる。

（信頼度を用いた補正距離値の算出方法）
Ｓ２２２において、距離画像データ補正部１３３が、選択した画素群の距離情報に対して信頼度を算出し、信頼度と距離情報とに基づいて補正距離値を算出してもよい。
距離画像データ補正部１３３は、例えば、式（１）にしたがって選択された画素の輝度の類似度を用いて信頼度を算出する。例えば、式（４）に示すように、類似度Ｓの最大値Ｓｍａｘから各画素の類似度Ｓを減算することで、信頼度Ｗを求めることができる。Ｗの値が高くなるほど、信頼性が高いことを表している。

距離画像データ補正部１３３が、画素の色の類似度に基づいて、信頼度を算出してもよい。色の類似度Ｓ（ｑ）は、カラー画像であれば、以下の式（５）に示すように、ユークリッド距離で計算される。Ｒ，Ｇ，Ｂは、それぞれ、赤、緑、青のカラーチャンネルを表す。

色の類似度の算出方法として、ユークリッド距離を用いる方法だけでなく、マンハッタン距離を用いる方法など、任意の方法を用いることができる。カラー画像からＣＩＥＬａｂ色空間やＹＵＶ色空間など、他の色空間に変換し、類似度計算を行ってもよい。計算した色の類似度Ｓ（ｑ）に基づき、例えば式（４）を用いて信頼度が算出される。距離画像データ補正部１３３は、補正対象画素から各画素までの画像内の距離に基づいて、距離が近いほど高くなる信頼度を算出してもよい。

また、信頼度は、距離画像データ生成部１３２による距離画像データの生成処理時に距離画像データが示す距離情報の尤もらしさとして取得される場合がある。したがって、この場合には、取得された信頼度を補正距離値の算出に用いてもよい。距離算出方法によって異なるが、例えば撮像画像を解析することで、暗い画素（黒つぶれ）や明るい画素（白とび）や、テクスチャがない画素、被写体が動いている画素などが検出できる。検出された画素については、距離情報が正しく算出されていない。したがって、各距離情報の正しく算出されていない可能性を距離情報の信頼度として表現することができる。また、距離画像データにおいても、近傍の画素群に対して著しく距離値が異なる画素や距離の境界部分などはエラーである可能性が高い。したがって、算出された距離情報からも距離情報の信頼度を得ることができる。上記で述べた様々な方法で求めた信頼度を組み合わせて使用してもよい。

距離画像データ補正部１３３は、得られた信頼度に基づいて、補正距離値を算出する。選択した画素群のうち、信頼度が閾値以下である距離情報を有する画素は、補正値を算出するために用いる画素としない。距離画像データ補正部１３３は、例えば、補正値を算出するために用いる画素の距離値の平均値または中央値を算出し、補正距離値とする。また、距離画像データ補正部１３３が、選択した画素群の距離情報を信頼度に応じて重み付き平均することで、補正距離値を算出してもよい。

距離情報の信頼度を用いることで、近傍に輝度または色が類似する物体が存在する場合でも、選択した画素群の中から、補正対象画素と略同距離にある画素の距離情報を補正距離値の算出に用いる画素の距離情報としてさらに選択することができる。したがって、より高精度に補正対象画素の距離情報を補正することができる。また、信頼度を用いることにより、距離情報から測距誤差が大きい距離情報を除くことができるので、より高精度に補正対象画素の距離情報を補正することができる。

（補正対象の情報の他の例）
本実施形態の情報処理装置は、距離情報を補正するが、本発明の適用範囲は距離情報の補正に限定されない。本発明は、補正する必要のあるエラーを有する任意のデータの補正に適用可能である。例えば、本発明は、近赤外光・赤外光や偏光で得られた画像情報の補正に適用することもできるし、動き情報（Ｏｐｔｉｃａｌ Ｆｌｏｗ）の補正に適用することもできる。動き情報は、被写体の動きを表すデータである。動き情報には、カメラの動きも含む場合もある。情報処理装置が、横方向（ｘ方向）と縦方向（ｙ方向）の速度を画素ごとに動き情報として保持してもよい。所定の時間間隔で輝度画像を２枚撮影し、２枚の輝度画像のテンプレートマッチングに基づいて、動き情報を求める方法がある。情報処理装置が、補正対象の情報を外部装置からの入力によって取得するようにしてもよいし、パターン照明画像を含めたその他情報から算出してもよい。

（実施例２）
実施例２では、距離画像データ補正部１３３が、補正対象画素の周辺の画素のうち、補正対象画素の輝度の変化量との差が閾値以下である輝度の変化量を有する画素を、補正対象画素の距離情報の補正に用いる画素として選択する。以下に、輝度の変化量に基づく画素群の選択（図２（Ｂ）のＳ２２１）について説明する。

図６は、輝度の変化量に基づく画素群の選択処理の一例を説明する図である。
距離画像データ補正部１３３は、例えば、パターン照明画像の各画素について、局所領域を設定し、設定した局所領域内での輝度の変化量を算出する。図６（Ａ）は、パターン照明画像における局所領域の設定を示す。

距離画像データ補正部１３３は、図６（Ａ）のように、撮像画像（輝度画像）３０４において、注目画素６０１を含む局所領域６０２を設定する。そして、距離画像データ補正部１３３は、式（６）にしたがって、局所領域内における画素の輝度の最大値と最小値の差を求め、求めたΔＩ（ｐ）を注目画素ｐの輝度の変化値とする。ｐは注目画素を表す。Ｉｍａｘは局所領域内の輝度の最大値を表す。Ｉｍｉｎは局所領域内の輝度の最小値を表す。距離画像データ補正部１３３は、各画素について同様の計算を行い、各画素の局所的な輝度の変化量を算出する。

距離画像データ補正部１３３は、輝度画像３０４及び輝度画像３０４に対応する距離画像データにおける補正対象画素６０３の周囲に参照領域６０４を設定する。そして、以下の式（７）にしたがって、補正対象画素と参照領域内の各画素との輝度の局所的な変化量を比較することで、輝度の変化量の類似度を計算する。

ΔＩは輝度値を表す。ｐは補正対象画素を表す。ｑは参照領域内の各画素を表す。Ｓは類似度を表す。Ｓの値が小さいほど、補正対象画素と参照領域内の各画素との輝度の変化量の類似度が高い。

距離画像データ補正部１３３は、算出した類似度Ｓに基づいて、補正距離値の算出に用いる画素群を選択する。距離画像データ補正部１３３は、前述した式（２）にしたがい、Ｓが閾値以下である画素群を選択する。続いて、距離画像データ補正部１３３が、補正対象画素６０３の距離情報に対して、第１の補正処理（図２（Ｂ）のＳ２２２）を実行する。距離画像データ補正部１３３は、選択した画素群の距離値の平均値または中央値を補正距離値として求め、補正対象画素６０３の補正後の距離値とする。

図６（Ｂ）は、図６（Ａ）の破線６０５上の輝度値を示す。また、図６（Ｃ）は、破線６０５上の輝度の変化量を示す。撮像画像に含まれる各物体の反射率は略同じとする。
領域４０１のように、撮像光学系１０の合焦位置近傍にある物体については、パターン投影画像の明領域の輝度値が大きく、暗領域の輝度値が小さいので、明領域と暗領域との境界付近では、輝度値の変化量が大きくなる。一方、領域４０２のように、合焦位置から離れた位置にある物体については、明領域の輝度値が小さくなり、暗領域の輝度値が大きくなるので、輝度の変化量は小さくなる。したがって、距離画像データ補正部１３３は、パターン投影画像の明領域と暗領域との境界付近に補正対象画素６０３を設定する。補正対象画素の輝度の変化量と略同じ輝度の変化量を有する画素を周辺領域から選択すると、補正対象画素と略等距離の領域４０１内の画素群６０６を選択することができる。選択した画素群６０６の距離情報を用いて補正距離値を算出することで、近傍に輝度または色が類似した物体が存在する場合でも高精度な補正が可能となる。

次に、距離画像データ補正部１３３が、補正対象画素の距離情報に対して第２の補正処理を実行する。具体的には、距離画像データ補正部１３３は、輝度画像３０４（パターン照明画像）が示す輝度情報に基づいて、明領域または暗領域にある画素を補正対象画素として選択し、選択した補正対象画素の距離情報を補正する。

図６（Ｂ）の画素６０７のように、パターン投影画像の明領域の画素は、輝度の変化量が小さくなる。輝度の変化量の類似度に基づいて画素を選択すると、異なる距離にある物体上の画素を選択してしまい、補正精度が低下する可能性がある。そこで、距離画像データ補正部１３３は、所定の値以上または所定の値以下の輝度値を有する画素を補正対象画素群として選択する。これにより、明領域または暗領域にある画素を補正対象画素として抽出することができる。続いて、距離画像データ補正部１３３が、選択した補正対象画素群の各画素の距離情報を、補正対象画素の近傍にある非補正対象の画素群の距離情報を用いて補正する。非補正対象画素の距離値として、第１の補正処理で求めた補正距離値を使用する。距離画像データ補正部１３３は、非補正対象の画素群の距離値の平均値または中央値を求め、補正対象画素の距離値とする。第２の補正処理により、明領域または暗領域の距離情報を高精度に補正することができる。

（その他の手段・構成）
上述した本発明の技術は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対して画像処理を施す画像処理装置やコンピュータなどに好適に適用できる。また、撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記の実施例では、撮像装置の本体に情報処理装置の機能を組み込んだ構成を示したが、情報処理装置の機能はどのように実現してもよい。例えば、撮像装置を有するコンピュータに情報処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離画像データを得るようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに情報処理装置が組み込まれ、当該コンピュータがネットワークを介して複数枚の画像を取得して、距離画像データを得るようにしてもよい。得られた距離画像データは、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

また、照明部１７は、光源としてＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）を用いてもよい。また、パターンの形成手段として反射型ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ
Ｓｉｌｉｃｏｎ）、透過型ＬＣＯＳ、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いてもよい。これにより、被写体の大きさや距離に応じて投影パターンの周期を適時変えることができ、状況に応じてより高精度な測距が可能となる。
照明部１７の光源の波長が可視光域の全域を含む白色であることは、本発明の手法にて被写体の分光反射率によらず反射率補正の効果が得られるため、好適である。照明部１７の光源がＲ、Ｇ、Ｂの３色から構成されていることは、撮像装置のカラーフィルタ透過帯域と一致し、使用エネルギーに対する光利用効率の観点で好適である。また、光源がＩＲ（Ｉｎｆｒａｒｅｄ）領域であり、これに対応した透過帯域ならびに受光感度を持つカラーフィルタと撮像素子を備えた撮像装置を用いて撮影を行うことは、ＲＧＢ帯域を用いた鑑賞用画像を同時に撮影することが可能になり好適である。特に、ＩＲの波長帯域が８００ｎｍから１１００ｎｍの間である場合、光電変換部にＳｉを用いることができ、カラーフィルタの配列を変更することで一つの撮像素子でＲＧＢ鑑賞画像とＩＲ測距画像を取得することができ、好適である。

撮影装置は、２つ以上の複数の光学系とそれに対応する撮像素子から構成されたステレオカメラでもよい。この構成は、基線長の設計自由度が向上し、測距分解能が向上する観点から好適である。また、撮影装置と照明装置とを別の装置として本発明に係る装置としてもよい。本発明は各実施例に記載された内容に限定されない。また、各実施例を適宜組み合わせてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３ 情報処理部
１００ 撮像装置

Claims (15)

1. 被写体の画像情報と、前記被写体の画像情報に関連する関連情報とを取得する取得手段と、
   補正対象画素の前記関連情報の補正に用いる画素を選択する選択手段と、
   前記選択された画素と前記被写体の画像情報に関連する関連情報とに基づいて、前記補正対象画素の前記関連情報の補正値を算出する算出手段と、を有し、
   前記選択手段は、パターン光の投影による撮影で取得された前記被写体の画像情報に基づいて、前記関連情報の補正に用いる画素を選択する
   ことを特徴とする情報処理装置。
2. 前記関連情報は、被写体の距離分布情報または動き情報を有する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記距離分布情報は、少なくとも、複数の視点画像の視差量に基づく像ずれマップ、領域ごとのデフォーカス量に基づくデフォーカスマップ、画像データにおける各被写体の相対的な距離関係を示す距離マップ、ＴＯＦ法により取得された撮像手段から各被写体までの距離関係を示す距離情報のうちのいずれかである
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記選択手段は、前記補正対象画素の周辺の画素のうち、前記補正対象画素との輝度の差が閾値以下である画素を選択する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記選択手段は、前記補正対象画素の周辺の画素のうち、前記補正対象画素の輝度の変化量との差が閾値以下である輝度の変化量を有する画素を選択する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記パターン光は、明領域と暗領域が所定の方向に周期的に繰り返される周期パターンを有し、
   前記算出手段は、前記補正対象画素を含む参照領域において前記選択手段によって選択された画素の前記関連情報を用いて前記補正値を算出し、
   前記参照領域の前記所定の方向の大きさは、前記パターン光の周期の２倍よりも大きい
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記選択手段は、パターン光の投影による撮影で取得された前記被写体の画像情報に対して、前記パターン光の投影によらない撮影で取得された輝度画像情報を減算または除算して得られる画像情報に基づいて、前記補正対象画素の前記関連情報の補正に用いる画素を選択する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記算出手段は、前記選択された画素の前記関連情報の平均値または中央値を求めることによって、前記補正値を算出し、
   前記算出された補正値を用いて、前記補正対象画素の前記関連情報に対して第１の補正処理を実行する補正手段を有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記補正手段は、前記パターン光の投影による撮影で取得された前記被写体の画像情報が示す輝度値に基づいて補正対象画素を選択し、前記選択された補正対象画素の関連情報に対して、第２の補正処理を実行する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記算出手段は、前記選択手段によって選択された画素の前記関連情報の信頼度に基づいて、前記補正値を算出する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記算出手段は、前記補正対象画素と前記選択された画素との輝度の類似度に基づいて、前記信頼度を算出する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記算出手段は、前記補正対象画素と前記選択された画素との色の類似度に基づいて、前記信頼度を算出する
    ことを特徴とする請求項１０に記載の情報処理装置。
13. 複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備える撮像手段と、請求項１乃至１２のいずれか１項に記載の情報処理装置とを有する
    ことを特徴とする撮像装置。
14. 被写体の画像情報と、前記被写体の画像情報に関連する関連情報とを取得する取得工程と、
    補正対象画素の前記関連情報の補正に用いる画素を選択する選択工程と、
    前記選択された画素と前記被写体の画像情報に関連する関連情報とに基づいて、前記補正対象画素の前記関連情報の補正値を算出する算出工程と、を有し、
    前記選択工程では、パターン光の投影による撮影で取得された前記被写体の画像情報に基づいて、前記関連情報の補正に用いる画素を選択する
    ことを特徴とする情報処理装置の制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置が備える各手段として機能させることを特徴とするプログラム。
    

Images