JP2017182668A - データ処理装置、撮像装置、及びデータ処理方法 - Google Patents

Abstract

【課題】第一の画像データ（撮影画像データなど）に基づいて第二の画像データ（距離画像データなど）を補正する際に、第二の画像データの画素値が同一の領域において第一の画像データの画素値が異なる場合であっても、第二の画像データを良好に補正する。【解決手段】第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置１３であって、距離画像データ補正部１３３に、前記第一の画像データを平滑化して平滑化データを生成する平滑化処理部１３３３と、前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定部１３３４と、前記周辺画素の画素情報と前記重み係数を用いて、前記補正対象画素を補正する補正部１３３５と、を有する。【選択図】図１

Description

本発明は、データ処理装置、撮像装置及びデータ処理方法に関する。

撮影画像に対応した距離情報や動き情報の分布を表す距離画像や動き画像を取得または算出する手法が提案されている。ただし、取得された距離情報や動き情報は、その取得原理と被写体との関係に起因するエラーを含んでいる場合が多い。例えば、テンプレートマッチングによって距離情報や動き情報を算出する場合には、撮影画像中の被写体境界付近のように距離や動きの境界となる領域では大きなエラーが発生する。このエラーは、一つのテンプレート内に異なる距離や動きなどが含まれる場合に発生し、取得される情報は異なる複数の状態の中間状態を示す間違った情報となる。エラーの広がりの範囲や量はテンプレートのサイズに依存する。テンプレートマッチング以外にも様々な要因から情報にばらつきが発生する。そのため、撮影画像を利用して、対応する画素の情報を補正する手法が提案されている。

特許文献１では、補正対象画素の演算範囲内の複数の画素値及び距離値を用いてクラスタリングを行う。そのクラスタリング結果に基づいて、補正対象画素の距離値を算出することで、各画素の距離情報を補正している。

特許文献２では、撮影画像全体をＳｕｐｅｒＰｉｘｅｌ（類似オブジェクトであると想定される複数の画素の集合）と呼ばれる小領域に分割し、各小領域内は同一距離（当該文献では、前景、背景、その他の３つ）として、距離画像を補正している。

非特許文献１では、距離情報、撮影画像の輝度情報及びそれらから導出される信頼度の情報を用いて、重み付きクロスバイラテラルフィルタにより距離画像を補正している。

特許第５１５０６９８号公報 米国特許出願公開第２０１５／００３７２５号明細書

松尾琢也、他、「重み付きクロスバイラテラルフィルタによる奥行き推定精度の向上」、映像情報メディア学会誌、Ｖｏｌ．６６、Ｎｏ．１１、ｐｐ．Ｊ４３４−Ｊ４４３（２０１２）

上述のように、撮影画像を用いて距離画像や動き画像を補正する場合、補正対象画素の周辺画素のうち撮影画像における輝度や色が補正対象画素と類似している画素を用いて、補正対象画素の情報を算出している。しかし、距離や動き情報の分布は撮影画像の輝度や色の分布とは必ずしも同一ではない。すなわち、同一の距離を有する領域に、輝度や色が異なる画素が含まれる場合もある。そのため、その領域にある補正画素の周辺の輝度や色の違いによって、参照する撮影画像の画素や画素数が異なる場合が発生する場合があった。結果として、同一の距離や動きの被写体においても、撮影画像の輝度や色の分布により、補正結果が異なってしまい、本来は存在しない距離差や動きの差が発生してしまうという課題があった。

なお、このような課題は、距離画像や動き画像と撮影画像とのあいだにのみ生じるものではない。第一の画像データ（たとえば撮影画像）と対応する第二の画像データ（たとえば距離画像や動き画像）を補正する際に、第一の画像データの画素値の類似性を考慮して補正に利用する第二の画像データの画素を選択する場合には、同様の問題が生じる。

本発明の目的は、第二の画像データの画素値が同一の領域において第一の画像データの画素値が異なる場合であっても、第二の画像データを良好に補正可能なデータ処理装置を提供することである。

本発明の第一の態様は、
第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
前記第一の画像データを平滑化して平滑化データを生成する平滑化手段と、
前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定手段と、
前記周辺画素の画素情報と前記重み係数を用いて、前記補正対象画素を補正する補正手段と、
を有するデータ処理装置である。

本発明の第二の態様は、
第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
前記第一の画像データを平滑化して平滑化データを生成する平滑化手段と、
前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する画素を選択する画素選択手段と、
前記画素選択手段によって選択された画素に対応する前記第二の画像データの画素情報を用いて、前記補正対象画素を補正する補正手段と、
を有するデータ処理装置である。

本発明の第三の態様は、
第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
コンピュータが、
前記第一の画像データを平滑化して平滑化データを生成する平滑化工程と、
前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定工程と、
前記周辺画素の画素情報と前記重み係数を用いて、前記補正対象画素を補正する補正工程と、
を実行するデータ処理方法である。

本発明の第四の態様は、
第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
コンピュータが、
前記第一の画像データを平滑化して平滑化データを生成する平滑化工程と、
前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する画素を選択する画素選択工程と、
前記画素選択工程において選択された画素に対応する前記第二の画像データの画素情報
を用いて、前記補正対象画素を補正する補正工程と、
を実行するデータ処理方法である。

本発明によれば、第二の画像データの画素値が同一の領域において第一の画像データの画素値が異なる場合であっても、第二の画像データを良好に補正できる。

実施形態１に係るデータ処理装置を含む撮像装置の一例を示す模式図。 実施形態１に係るデータ処理方法のフローチャート。 実施形態２に係るデータ処理装置を含む撮像装置の一例を示す模式図。 実施形態１に係るデータ補正方法の概要の説明図。 バイラテラルフィルタの概要説明図。

本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を適宜組み合わせてもよい。

（実施形態１）
本実施形態では、補正する情報を距離情報とする。距離情報は、ある基準点と被写体とのあいだの距離に応じた値である。典型的には、撮像装置と被写体とのあいだの距離（絶対距離）が距離情報に相当する。距離情報は、一般には、撮像装置と被写体とのあいだの距離から求めれるその他の値であってもよい。距離情報のその他の例は、１画像のフォーカス位置と被写体のあいだの距離、２画像のフォーカス位置の中間位置と被写体のあいだの距離である。また、距離情報は、像面側での距離、物体側での距離のどちらであっても良い。また、距離情報は、実空間の距離で表されてもよいし、デフォーカス量や視差量など実空間距離に換算できる量で表されてもよい。このように距離情報は、撮像装置と被写体のあいだの距離（絶対距離）に依存して変化する値である。したがって、距離情報は距離依存値と称することもできる。

本実施形態では、撮影画像データ（第一の画像データ）から距離画像データ（第二の画像データ）を生成し、撮影画像データと距離画像データを利用して距離画像データを補正する。

［構成］
図１（Ａ）は、本発明に係るデータ処理装置を撮像装置に適用した場合の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、データ処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、１枚または複数枚のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルターを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

データ処理装置１３は、信号処理部１３０、メモリ１３１、距離画像データ生成部１３２、距離画像データ補正部１３３を有している。データ処理装置１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）のような論理回路を用いて構成することができる。データ処理装置１３の一部または前方の機能は、コンピュータ（プロセッサ）とプログラムとにより構成されてもよい。

信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離画像データの生成などに使用される。なお、距離画像データとは、距離情報の分布を表すものである。距離画像データは距離マップとも称される。

距離画像データ生成部１３２は、信号処理部１３０から出力される信号から撮影画像データを取得し、その撮影画像データから被写体の距離画像データを生成する。被写体の距離情報を取得する方式は特に制限はなく、撮影条件を変えて撮影したぼけ方の異なる撮影画像データを用いるＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法（以下、ＤＦＤ法）や、視差のある撮影画像データを用いるステレオ法があげられる。視差のある撮影画像データの取得は、複数の撮像装置を用いたり、光学系の瞳を分割可能な画素を持つ撮像素子を用いたりして得ることができる。距離情報の取得方法の例として、その他にも、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ法）やＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓなどがあげられる。距離画像データ生成部１３２で生成された距離画像データは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。また、距離画像データはその取得方法に応じた補正処理が行われてもよい。

距離画像データ補正部１３３は、取得された撮影画像データと距離画像データ生成部１３２で生成された距離画像データを用いて、距離画像データの各画素の距離情報を補正する機能を有する。撮影画像データ補正部１３３は、図１（Ｂ）に示すように、その機能部として、撮影画像データ取得部１３３１、距離画像データ取得部１３３２、平滑化処理部１３３３、補正利用画素選択部１３３４、補正部１３３５を備える。撮影画像データ取得部１３３１は、撮影画像データを記憶部１４またはメモリ１３１から読み込む。距離画像データ取得部１３３２は、距離画像データを記憶部１４またはメモリ１３１から読み込む。平滑化処理部１３３３は、撮影画像データを平滑化して平滑化データを生成する。補正利用画素選択部１３３４は、距離画像データの補正対象画素を補正する際に利用する画素を、平滑化データに基づいて選択する。補正部１３３５は、選択された画素に対応する距離画像データを用いて、補正対象画素の距離情報を補正する。距離画像データ補正部１３３による補正処理の詳細は、後ほど詳しく説明する。

記憶部１４は、撮影画像データ、距離画像データ、その他中間データ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えば、フラッシュメモリなどが記憶部１４として好ましい。

入力部１５はユーザーが操作し、撮像装置１に対して、情報入力や設定変更を行うためのインターフェイスである。例えば、ダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１６、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報などを表示する。

制御部１２は、撮像装置１の各部を制御する。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５、表示部１６の制御を行う。

［処理］
次に、図２（Ａ）のフローチャートを用いて、本実施形態の撮影開始から完了までの全体処理の流れを説明する。まずステップＳ２０では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、同時にシャッタ速度、Ｆナンバーなどの撮影条件を設定し、フォーカス調整を行う。これらの撮影条件の決定は撮影者が手動で行ってもよいし、撮像装置１が自動で決定してもよい。

次に、ステップＳ２１で、不図示の撮影ボタンが押下されると、撮像装置１が、撮影画像データおよび距離画像データを取得する。距離画像データは前述の方法によって距離画像データ生成部１３２により生成される。撮影画像データは距離画像データ生成方法に合わせて撮影される必要がある。たとえば、ＤＦＤにより距離画像データが生成される場合は、撮影条件を変えてぼけの異なる複数の撮影画像データが取得される必要がある。

次にステップＳ２２で、距離画像データ補正部１３３が距離画像データを補正する。本ステップの詳細を図２（Ｂ）のフローチャートを用いて説明する。

ステップＳ２２０では、平滑化処理部１３３３が、前処理として撮影画像データに対して平滑化処理を施す。平滑化された撮影画像データ（平滑化データ）はメモリ１３１に格納され以下のステップで利用される。

ステップＳ２２０における平滑化処理は、撮影画像データ内の輝度や色の微小な変化は平滑化するが、物体のエッジ部の輝度や色の変化は保存するような処理であることが好ましい。このような平滑化処理は、エッジ保存型の平滑化処理（edge-preserving smoothing）と呼ばれる。エッジ保存型の平滑化処理では、対象画素の周辺画素に対して、画素間
距離に応じた重み付けと画素値（画素情報）の差分に応じた重み付けを用いた画素値の加重平均処理が施される。

エッジ保存型の平滑化処理の一例はバイラテラルフィルタである。バイラテラルフィルタは、式１で表される。バイラテラルフィルタは、位置ｐの周辺領域Ｓの画素を参照してフィルタリング結果Ｉ_ｐを求める。

ここでは、撮影画像Ｆの位置ｐの画素値をＦ_ｐで表しており、位置ｐの周辺領域Ｓの画素を参照してフィルタリングした結果の画素値をＩ_ｐで表している。また、式（１）のＷ_ｐは正規化のため用いており、式（２）のように定義される。Ｇ_σは分散がσ^２で平均が０のガウシアン関数（正規分布関数）である。式（２）において、σ_ｓ、σ_ｒは撮影画像Ｆのフィルタリング量を決定するパラメータである。式（１）の正規化された重みは、Ｇ_σｓは空間方向で定義されるガウシアンで、着目している画素位置から離れ具合（画素間距離）によって重みが制御される。Ｇ_σｒは強度方向で定義されるガウシアンで、強度Ｆｐとの差（画素情報の差分）によって画素ｑへの重みが制御される。この２つのパラメータにより、空間方向および強度方向の重みを考慮したフィルタリングを実行している。周辺領域Ｓは位置ｐを中心とする領域であり、たとえば正方形や円形の領域である。周辺領域Ｓの大きさは適宜定めればよい。

このバイラテラルフィルタ処理の概念を、図５を用いて説明する。図５は、説明の簡単
のため、強度分布（画素値分布）５０を１次元で表わす。強度分布５０は、輝度あるいは色の位置ごとの画素値を示す分布である。今、フィルタ処理を行う位置ｐを位置５１とすいる。位置５１において強度分布５０は画素値５２を持つ。ここで、位置５１から近い位置の画素値をフィルタリングに用いるようガウシアンで重み付けを行うのが、空間方向のパラメータσ_ｓである。グラフ５３は位置ごとの重み係数を示す。σ_ｓが大きければ広範囲に、小さければ狭い範囲に、ガウス分布に従って空間方向に重み係数５３が定義される。同様に、図５のフィルタリング対象の強度５２に近い画素値をフィルタリングに用いるようガウシアンで重み付けを行うのが、強度方向のパラメータσ_ｒである。グラフ５４は画素値ごとの重み係数を示す。σ_ｒが大きければ広範囲に、小さければ狭い範囲に、ガウス分布に従って強度方向に重み係数５４が定義される。このように、空間方向および強度方向的に重み付けすることで、エッジを保存した平滑化処理を行うことが可能となる。

エッジ保存型の平滑化処理の他の例として、非線形拡散、ガイデットフィルタ（Guided
Filter）、Non-local Meansフィルタが挙げられる。これらのフィルタもステップＳ２２０において利用可能である。

ループＬ１では、ステップＳ２２１およびステップＳ２２２の処理が距離画像データの補正対象画素ごとに繰り返される。典型的には、距離画像データの全画素が補正対象画素であり、ループＬ１の処理は距離画像データの全ての画素を対象にして行われる。

次に、ステップＳ２２１で、補正利用画素選択部１３３４は、距離画像データの補正対象画素に対する参照画素を選択する。参照画素とは、ステップＳ２２２において補正対象画素の補正値を求める際に参照される画素である。参照画素は、補正に利用される画素（補正利用画素）と称することもできる。

ステップＳ２２１の参照画素の選択処理では、ステップＳ２２０で平滑化された撮影画像データ（以下、平滑化データと記す）が用いられる。参照画素は、補正対象画素の近傍画素のうち、補正対象画素とのあいだの平滑化データの画素情報の類似度が所定の閾値以上の画素として決定できる。類似度は、補正対象画素およびその近傍画素の平滑化データの強度（輝度また色）の情報、またはそれらから変換可能な情報を比較することで決定できる。ここでの近傍画素とは、補正対象画素を基準にして、所定の範囲に存在する画素全てである。近傍画素の形状や大きさは距離画像データのエラー量などで任意に決定して構わない。また、近傍画素は補正対象画素自身を含んでも良いし含まなくても良い。参照画素か否かの判別には、近傍画素（参照画素の候補画素）ｑ毎に計算される類似度Ｓ（ｑ）が用いられる。

類似度Ｓ（ｑ）は、例えば、平滑化データがモノクロの画素値を有する輝度画像であれば、式（３）のように計算される。

ここで、Ｉは平滑化データでの輝度値を表し、ｐは補正対象画素、ｑは近傍画素の位置を表す。Ｓは補正対象画素と近傍画素の輝度値の類似度を表し、値が小さいほど類似度は高い。

また、平滑化データがカラー画像データであれば、補正対象画素と近傍画素の類似度Ｓ（ｑ）は、式（４）のような色に関するユークリッド距離で計算される。

ここで、Ｒ、Ｇ、Ｂはそれぞれ赤、緑、青のカラーチャンネルを表す。

類似度の算出方法は上記に記載したものに限らず、マンハッタン距離等、特に限定は無い。また、カラー画像から、ＣＩＥＬａｂ色空間やＹＵＶ色空間など、他の色空間に変換し、上記類似度を計算してもよい。

以上説明したように、距離画像データ補正部１３３は、類似度に従って、参照画素を選択する。具体的には、類似度Ｓの値が閾値Ｕ以下の画素（閾値Ｕよりも類似が高い）が参照画素として選択される。選択された画素を１、選択されたかった画素を０とし、Ｗとして表現すると、近傍画素毎に式（５）のように決定することができる。

Ｗを補正処理における各画素の重み係数と捉えると、本実施形態のステップＳ２２１は、補正対象画素の近傍画素のうち平滑化データの類似度が閾値以上の画素のみを補正に利用するように、近傍画素に対する重み係数を決定する処理と捉えられる。

参照画素の決定方法は、必ずしも上記方法である必要はない。平滑化データを利用する方法の他にも、距離情報の信頼性（確からしさ）を表す信頼度情報を利用して参照画素を決定することもできる。信頼度は、距離画像データ生成部１３２における距離算出処理時に距離情報の尤もらしさとして得られる場合がある。その場合は、ステップＳ２１において、信頼度データも取得できる。また、撮影画像データを解析することで、距離情報の信頼度を取得できる。距離算出方法によって異なるが、例えば暗いところ（黒つぶれ）や明るいところ（白とび）しているところ、被写体にテクスチャが無いところ、被写体が動いているところなどは、信頼度が低いと求めることができる。さらに、距離画像データからも信頼度を取得できる。距離画像データにおいて、近傍の画素群に対して、著しく距離値が異なる画素や距離の境界部分はエラーである可能性が高く、信頼度が低いと求めることができる。こうして得られた信頼度を用いて、補正に利用する画素を選択できる。距離画像データのなかで、信頼できない距離情報は参照画素として選択しないことが好ましい。そのため、前述した輝度画像の類似度の閾値処理と同様に信頼度をある閾値で閾値処理し、信頼できる距離情報のみを参照画素として選択する。また、信頼度と類似度を組み合わせて参照画素を決定することもできる。信頼度を用いた選択方法の手段に関してはどのような方法でも構わない。以上、平滑化データおよび撮影画像データを用いた画素選択を個別に説明したが、それぞれを総合的に判断して画素選択のルールを決めてもよい。

次に、ステップＳ２２２において、距離画像データ補正部１３３は、ステップＳ２２１で求めた選択画素を用いて、補正対象画素の距離情報データの補正を行う。今、補正後の距離情報データをＤ’、補正前の距離情報データをＤとすると、補正後の距離情報データＤ’は式（６）により算出される。

すなわち、本実施形態では、補正後の距離情報データＤ’は、ステップＳ２２１において選択された参照画素（補正利用画素）の距離情報データの平均値として算出される。Ｗ
を重み係数と捉えると、補正後の距離情報データＤ’は、補正対象画素の近傍画素の距離画像データの加重平均値といえる。

周辺画素範囲Ｑは、広すぎると輝度（または色）が類似している距離情報は値が近いという前提が崩れ、新たなエラーを生む可能性が高くなり、また、演算量が増えるという問題がある。一方、周辺画素範囲Ｑが狭すぎると、参照可能な周辺画素が少なく、適切な補正ができなくなる。そのため、オブジェクト境界に発生するエラー量（幅）を距離算出方法に応じて適切な周辺画素範囲Ｑを事前に決定しておくことが望ましい。

ここで、ステップＳ２２０〜Ｓ２２２で述べた距離マップ補正の概要を、図４（Ａ）〜４（Ｅ）を用いて詳細に説明する。図４（Ａ）〜４（Ｅ）では、説明の簡単のため一元的に距離、強度（輝度または色）を記載しており、横軸が位置、縦軸が距離あるいは強度（輝度または色）である。図４（Ａ）が、補正前の距離画像データの一次元分布を表しており、図４（Ｂ）が、図４（Ａ）と同じ位置の撮影画像データの一次元分布を表している。

図４（Ａ）の距離４１を補正することを想定する。図４（Ｂ）の範囲４３は、式（５）の強度差の閾値Ｕ以内、かつ、式（６）の周辺画素範囲Ｑを示す。この範囲４３に入る画素４４の画素位置が特定される。ここで決定された画素位置の距離４５が距離４１の補正の際に参照され、距離４１と距離４５の平均値（図４（Ｃ）に示す距離４６）が、補正後の距離となる。

以上のように、撮影画像データが図４（Ｂ）のように、被写体の持つ分布やショットノイズの影響によってばらついている場合、距離画像データの補正に用いる参照画素の数が少なくなる。その結果、図４（Ｃ）のように補正効果が低くなる。

これに対して、本実施形態では、図４（Ｂ）に示す撮影画像データを平滑化することで、図４（Ｄ）に示すような平滑化撮影画像データを得ている。平滑化後の撮影画像データでは、画素値（輝度あるいは色）のばらつきが低減されるため、範囲４３に含まれる画素が多い。したがって、補正に用いる参照画素として多数の画素を選択される。図４（Ｅ）は本実施形態の補正処理による補正結果を示す。図４（Ｅ）のように、本実施形態によれば良好な補正結果を得ることができる。

また、平滑化データを用いることで、参照画素を選択するための閾値Ｕを小さくすることが可能となる。この結果、異なる画素値を有する画素を選択する可能性が少なくなり、より補正精度が向上するという効果が得られる。

また、撮影画像の被写体の強度分布にも影響されるが、平滑化データを生成する際の空間方向の重み付け範囲を、距離データを補正する際に参照する領域Ｑより大きくしたほうが、補正効果が高くなる場合が多い。具体的には、領域Ｑが正方形または円形である場合に、式（１）のσ_ｓ（ガウシアン関数Ｇ_σｓの標準偏差、すなわち分散σ_ｓ ^２の平方根）を領域Ｑの正方形の一辺の長さの半分または円形の半径よりも大きくすると良い。以上述べたように、距離マップ補正に関する平滑化データ生成および距離マップ補正のパラメータを制御することで、距離画像データが補正される。

次に、ステップＳ２３で、撮影画像データや補正された距離画像データを用いたアプリケーションに合わせた処理が行われる。処理の例として、撮影画像データに対して距離情報に応じたぼけを付加するぼかし処理などが挙げられる。

ステップＳ２４で、アプリケーション処理の結果を表示部１６に表示する。また、処理結果を、撮影画像データ、距離画像データ、および補正された距離画像データとともに記
憶部１４に記録する。

以上説明したように、本実施形態によれば、撮影画像データに対して、前処理として平滑化を行い、平滑化した撮影画像を基準に距離画像データを補正することで、平滑化画像を用いない場合に比べて高精度な距離補正を実現することが可能になる。その結果、距離画像を用いた様々な処理も正確に実現できるという効果がある。

なお、上記では撮影画像データに対して平滑化処理のみを適用するよう説明したが、平滑化処理以外も適用しても良い。例えば、平滑化処理後にエッジ強調処理を行い被写体のエッジ部の信号の強度差を強調することで、距離画像データの輪郭を強調することも可能となる。輪郭強調により、距離補正の際に異なるオブジェクトの距離情報を利用する自体を避けられる。

また、上記の説明では、式（５）に示すように、補正対象画素の周辺画素のうち、撮影画像データの類似度が閾値Ｕ以下の画素のみを補正に利用している。すなわち、重みＷは０または１に二値化される。しかしながら、重みＷは二値である必要はなく、連続値とすることができる。たとえば、類似度に応じた値を重みＷとすることができる。本実施形態では類似度Ｓは類似しているほど小さい値を取るので、たとえば、Ｗ＝（Ｓ_ｍａｘ―Ｓ）／Ｓ_ｍａｘ（ただし、Ｓ_ｍａｘは類似度Ｓの最大値）とすることができる。もちろん、類似度Ｓの値が小さいほど（すなわち類似しているほど）大きな値をとれば、その他の算出式によって重みＷを決定してもよい。このような観点から、補正利用画素選択部１３３４は、補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定部と捉えることができる。

また、上記の説明では、補正に利用する画素の距離情報の平均を補正後の距離情報としている。しかしながら、補正距離情報は上記以外の任意の方法によって求めても構わない。たとえば、補正に利用する画素に基づく欠損画素の補間処理によって補正対象画素の補正後の距離情報を求めてもよい。

（実施形態２）
実施形態１では、撮影画像データと距離画像データを使用し、距離情報の補正を行っている。それに対して、本実施形態では、撮影画像と距離画像の組み合わせ以外を用いて補正処理を行えることを示す。図３は、本実施形態のデータ処理装置を表す。フローチャートは実施形態１のフローチャートと同じである。本実施形態の画像処理方法を、実施形態１と異なる点を中心に説明する。

データ処理装置３１は、第一画像データ入力３１１、第二画像データ入力部３１２、第二画像データ補正部３１４を有している。

本明細書において「画像データ」とは、数値データが論理的に２次元配列された２次元配列データを意味する。また、本明細書において「画像データ」は「マップ」とも称される。画像データの「画素」とは、画像データの２次元配列内での位置を意味する。画像データを構成する数値データは、特定の情報を表すデータに限定されず、例えば、輝度情報、距離情報、動き情報、信頼度情報を表すデータが含まれる。また、数値データの形式は、特定の形式に限られず、スカラー、ベクトル、行列などであってよい。取り扱う情報に応じて画像データは、輝度画像データ、距離画像データ、動き画像データ、信頼度画像データなどと称される。

第一画像データ入力部３１１には、基準となる画像データが入力される。第一画像データの例として、輝度画像データはもちろん、既に補正された距離画像データ、赤外光画像
データ、偏光画像データなどが挙げられる。また、第一画像データが輝度画像データである場合は、本実施形態のデータ処理装置３１は、図１のような撮像装置とすることができる。また第一画像データが距離画像データ等の場合には、第一画像データ入力部３１１がデータ生成部を含んでもよい。仮に第一画像データが距離画像データであるとすると、式（１）中のＦおよびＩは距離値に相当する。

第二画像データ入力部３１２には、第二画像データが入力される。第二画像データは、第一画像データと略同一視点の画像データであり、異なる情報を表す画像データであることが好ましい。第一画像データと第二画像データは、異なる算出方法で算出された同一内容の情報を表すデータであってもよい。また、第一画像データと第二画像データは必ずしも同一画角である必要はなく、第二画像データが第一画像データに含まれていればよい。すなわち、第一画像データの画角は、第二画像データの画角と等しくてもよいし、それより大きい画角であってもよい。

また、第二画像データの例として、動きデータ（Ｏｐｔｉｃａｌ Ｆｌｏｗ）も挙げられる。動きデータは、被写体、あるいは、被写体とカメラの相対的な動きを表すデータである。例えば、形式として、横方向（ｘ方向）と縦方向（ｙ方向）方向の速度を各画素でデータとして保持している。このような動きデータは、ある時間間隔で取得した二枚の画像から、それら二画像のテンプレートマッチングによって、尤もらしい位置を計算し、その移動量と撮影時間間隔から縦・横方向それぞれの速度を算出することができる。その速度は、あるサイズのテンプレート内に異なる速度が混ざっている場合には、異なる速度が混ざり、中間的な速度値を持つようなエラーが発生してしまう。このようなオブジェクト境界部エラーをもつようなデータであれば効果が得られる。

第二画像データは、赤外光画像や偏光画像であってもよい。赤外画像や偏光画像は、レンズの色収差の影響や特殊なセンサ構造により、ＲＧＢ画像よりも低解像度である場合がある。この場合もオブジェクト境界部にエラーが発生していると考えることができる。

また、第一画像データに対して、第二の画像データが小さいサイズ（少ないデータ量）である場合に、拡大（データ補間）処理を行うことがある。その場合、データのエッジ付近（オブジェクトの境界付近）でエラーが発生する。このような拡大処理後の画像データを第二画像データとして用いることができる。例えば、前述の赤外画像や偏光画像を取得するためのイメージセンサは、特定の画素にのみ赤外用のカラーフィルタや偏光フィルタを有する場合がある。この場合、取得される赤外画像や偏光画像は、ＲＧＢ画像と比較して小さいサイズとなるため、拡大処理が施されることがある。

第二画像データは、別装置からの入力でもよいし、第一画像データを含めたその他情報から算出してもよい。仮に、動きデータであるとすると、式６のＤは横方向あるいは縦方向の速度値に相当する。

以上のように、第二画像データにエラーがあり、第一画像データが補正に対する基準となるデータであれば、第二画像データの補正処理は実施形態１の図２（Ｂ）と同様にして行うことができる。すなわち、第二画像データ補正部３１４は、図１（Ｂ）と同様の構成を有し、図２（Ｂ）で示される処理と同様の処理を行えばよい。データによっては、補正対象データが複数になる場合があるが、基本的な処理は変わらない。例えば、動きデータの場合には横方向の動きデータの補正処理と縦方向のデータの補正処理は独立に同様の手法を用いて行われる。

本実施形態によれば、距離画像データに限られず、エラーを持った種々のデータにより高精度な補正を行うことが可能となる。

（実施形態３）
上述した本発明のデータ処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られたデータに対して処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では、撮像装置の本体に画像処理装置を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記データ処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれ、そのコンピュータがネットワークを介して画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなど各種画像処理に利用することができる。

（その他の実施例）
本発明は、マイクロプロセッサやＣＰＵ（中央演算装置）などの汎用プロセッサと、メモリに格納されたプログラムを備えたコンピュータにより構成し、汎用プロセッサが上記プログラムを実行することにより実現することができる。また、本発明は、ＡＳＩＣやＦＰＧＡやＤＳＰのような専用プロセッサによって実現することができる。専用プロセッサおよびプログラムを実行する汎用プロセッサは、いずれも特定の機能を提供するように構成されたプロセッサ、あるいは特定の機能部として機能するように構成されたプロセッサといえる。また、本発明の一部の機能は汎用プロセッサ（およびプログラム）により提供され、他の機能は専用プロセッサによって実現されてもよい。また、本発明のある一つの機能が、汎用プロセッサ（およびプログラム）と専用プロセッサの両方によって実現されても構わない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３ 画像処理装置
１３３３ 平滑化処理部
１３３４ 補正利用画素選択部（重み決定部）
１３３５ 補正部

Claims (13)

1. 第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
   前記第一の画像データを平滑化して平滑化データを生成する平滑化手段と、
   前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定手段と、
   前記周辺画素の画素情報と前記重み係数を用いて、前記補正対象画素を補正する補正手段と、
   を有するデータ処理装置。
2. 前記平滑化手段は、エッジ保存型の平滑化処理を行う、
   請求項１に記載のデータ処理装置。
3. 前記平滑化手段が行う平滑化処理は、画素間距離に応じた重み付けと、画素情報の差分に応じた重み付けとを用いた加重平均処理である、
   請求項２に記載のデータ処理装置。
4. 前記平滑化手段は、画素間距離に応じたガウシアン関数にしたがった重み付けを行い、
   記第二の画像データの補正対象画素を補正する際に利用する周辺画素の領域は、前記補正対象画素を中心とする正方形または円形の領域であり、
   前記ガウシアン関数の分散をσ_ｓ ^２としたときに、σ_ｓが前記正方形の一辺の長さの半分または前記円形の半径よりも大きい、
   請求項３に記載のデータ処理装置。
5. 前記重み決定手段は、前記補正対象画素とその近傍画素とに対応する前記平滑化データの画素情報の類似度に基づいて、前記近傍画素に対する重み係数を決定する、
   請求項１から４のいずれか１項に記載のデータ処理装置。
6. 前記重み決定手段は、前記類似度が閾値よりも高い近傍画素のみを補正に利用するように前記重み係数を決定する、
   請求項５に記載のデータ処理装置。
7. 前記重み決定手段は、第二の画像データの信頼性を表す信頼度も用いて前記重み係数を決定する、
   請求項１から６のいずれか１項に記載のデータ処理装置。
8. 第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
   前記第一の画像データを平滑化して平滑化データを生成する平滑化手段と、
   前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する画素を選択する画素選択手段と、
   前記画素選択手段によって選択された画素に対応する前記第二の画像データの画素情報を用いて、前記補正対象画素を補正する補正手段と、
   を有するデータ処理装置。
9. 前記第一の画像データは、輝度画像データまたはカラー画像データであり、
   前記第二の画像データは、前記第一の画像を用いて生成される距離画像データまたは動き画像データである、
   請求項１から８のいずれか１項に記載のデータ処理装置。
10. 撮像素子と、
    請求項１から９のいずれか１項に記載のデータ処理装置と、
    を備える撮像装置であって、
    前記第一の画像データは、前記撮像素子から取得される撮影画像データである、
    撮像装置。
11. 第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
    コンピュータが、
    前記第一の画像データを平滑化して平滑化データを生成する平滑化工程と、
    前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する周辺画素に対する重み係数を決定する重み決定工程と、
    前記周辺画素の画素情報と前記重み係数を用いて、前記補正対象画素を補正する補正工程と、
    を実行するデータ処理方法。
12. 第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
    コンピュータが、
    前記第一の画像データを平滑化して平滑化データを生成する平滑化工程と、
    前記平滑化データを用いて、前記第二の画像データの補正対象画素を補正する際に利用する画素を選択する画素選択工程と、
    前記画素選択工程において選択された画素に対応する前記第二の画像データの画素情報を用いて、前記補正対象画素を補正する補正工程と、
    を実行するデータ処理方法。
13. 請求項１１または１２に記載の方法の各工程をコンピュータに実行させるプログラム。

Images