JP2023137196A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影画像から生成された三次元データが適切か否かをユーザが容易に判定可能な画像処理装置を提供する。【解決手段】画像処理装置（１４）は、撮影画像と、撮影画像に関する距離情報とに基づいて三次元データを生成する生成手段（１４１）と、三次元データの評価を行う評価手段（１４２）と、評価に関する情報を三次元データに関連付けて記録する記録手段（１４３）とを有する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。

従来、位相差測距方式により撮影画像から距離マップを算出し、被写体の三次元データを生成することが可能な画像処理装置が知られている。特許文献１には、二枚の平面画像を組み合わせて立体画像を生成する方法に関し、設定条件に応じて立体画像を生成できるか否かを評価して、生成できないと評価した場合には撮影を行わない方法が開示されている。特許文献２には、構図に応じて画像スコアを決定し、画像スコアに応じて画像を記録するか否かを判定する方法が開示されている。

特開２０１２－２０９６７７号公報 特許第６７２９５７２号公報

特許文献１に開示されている方法では、立体画像（三次元データ）自体の評価を行っていないため、生成された三次元データが適切であるか否かをユーザが判定することが困難である。特許文献２に開示されている方法では、二次元構図（二次元データ）以外の情報を補正することができない。

そこで本発明は、撮影画像から生成された三次元データが適切か否かをユーザが容易に判定可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、撮影画像と、該撮影画像に関する距離情報とに基づいて三次元データを生成する生成手段と、前記三次元データの評価を行う評価手段と、前記評価に関する情報を前記三次元データに関連付けて記録する記録手段とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮影画像から生成された三次元データが適切か否かをユーザが容易に判定可能な画像処理装置を提供することができる。

各実施形態における原理の説明図である。 各実施形態における撮像装置のブロック図である。 各実施形態における撮像素子の説明図である。 各実施形態における撮像面位相差測距方式の測距原理の説明図である。 各実施形態におけるデフォーカス画像の生成処理を示すフローチャートである。 第１実施形態における画像処理方法を示すフローチャートである。 第２実施形態における画像処理方法を示すフローチャートである。 各実施形態における物体、距離マップ、および三次元データの例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、各実施形態は本発明を限定するものでない。各実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが本発明に必須のものではなく、また、複数の特徴を任意に組み合わせてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜距離計測の基本フロー＞
まず、図１を参照して、各実施形態における原理について説明する。図１は、各実施形態における原理の説明図である。なお各実施形態において、光軸と平行な方向をｚ方向またはデフォーカス方向とし、光軸と直交しかつ撮像面の水平方向と平行な方向をｘ方向、光軸と直交しかつ撮像面の垂直方向と平行な方向をｙ方向として定義する。

撮像面位相差測距法やＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法など、撮像光学系を通して結像した画像から視差量を求め、視差量をデフォーカス量に変換することで距離計測を行う距離計測方法が知られている。図１において、ＯＢＪは物体面、ＩＭＧは像面、Ｈは前側主点、Ｈ’は後側主点、ｆはレンズ（撮像光学系）の焦点距離、Ｓは物体面から前側主点までの距離、Ｓ’は後側主点から像面までの距離を表す。また図１において、ΔＳ’はデフォーカス量、ΔＳはデフォーカス量に応じた物体側の相対距離である。一点鎖線が光軸、点線が結像光束、破線がデフォーカス光束である。

レンズの結像では、以下の式（１）が成り立つ。

また、デフォーカス時には、式（１）を変形した式（２）が成り立つ。

撮影情報から読み出される距離Ｓおよび焦点距離ｆは既知であるため、式（１）から距離Ｓ’が求められ、前述の撮像面位相差測距法やＤＦＤ法で求めたデフォーカス量ΔＳ’を用いて、式（２）から相対距離ΔＳが求められる。

前述のように、式（１）と式（２）を連立することで、撮影情報とデフォーカス量を用いて被写体距離情報を生成することができる。デフォーカス量は画面上一部の領域もしくは全域で求めることができるため、被写体距離情報はデフォーカス量が算出された領域に対応したものを得ることができる。

＜三次元データ生成＞
次に、三次元データの生成方法の一例について説明する。まず、撮影情報とデフォーカス情報とに基づいて生成された被写体距離情報（距離マップ）を、撮影情報から得られる焦点距離、フォーカス位置を用いて世界座標系へ変換する。変換後の三次元データは、３Ｄモデルとして扱いやすいようにポリゴン化を行う。ポリゴン化の例としては、三次元データの隣接する任意の三点の座標情報を用いて面を規定することと、その三点の画素情報からポリゴンが持つテクスチャ情報を算出することによって行われる。

三次元データは、前述のようなポリゴンの集合体であるポリゴンメッシュ形式でも良いし、点群形式でも良い。形状データと、例えばテクスチャ情報であるＲＧＢデータを備える形式であれば良い。世界座標系へ変換する前の距離マップや、ポリゴン化前の三次元データにフィルタ処理を行っても良い。例えば、ごく小さな領域のノイズによる誤検知を低減させるためにはメディアンフィルタを適切な領域に適用するとよい。

図８（Ａ）～（Ｃ）はそれぞれ、物体（被写体）、距離マップ（距離情報）、三次元データの例を示す図である。図８（Ａ）に示されるような円柱（被写体）を側面から撮影し、視差演算を行って距離情報を取得すると、図８（Ｂ）に示されるような距離マップが得られる。ここで、図８（Ｂ）中の被写体の濃淡は、濃色が手前側、淡色が奥側であることを表している。つまり、背景部分や円柱の側面は奥側に位置している。図８（Ｃ）は三次元データであり、図８（Ｂ）の情報のみでは画像が写っている範囲のみのデータとなるため、被写体として略半円柱形状の三次元データが得られることになる。図示していないが、図８（Ｃ）の三次元データはテクスチャ情報であるＲＧＢデータを含む。

＜三次元データの誤差要因と誤差の評価＞
三次元データは、以下の要因などで誤差を持つ。後述の撮像面位相差測距方式では、光学系が絞られるとＡ像とＢ像の重心間隔が狭くなる。Ａ像とＢ像の重心間隔が狭くなると、基線長が短くなる。すなわち、同じデフォーカス量でも、光学系が絞られている方が視差は小さくなるため、物体側での距離分解能が低下してしまう傾向にある。また、ＩＳＯ感度を高くする、すなわち画像素子のゲインを上げるとノイズが増える傾向にある。後述の撮像面位相差測距方式では、ノイズは距離の誤検出の原因となるため、ゲインが高いほど物体側の距離分解能が低下してしまう。さらに、遠距離の被写体を撮影する、すなわち低倍率での撮影を行うと、凹凸を表現する画素が足りないため、被写体の形状情報が不足してしまう。これにより、適切な形状が得られないことがある。これら誤差の要因は、撮影画像そのものからは読み取ることはできないため、ユーザが三次元データの適切性の判定を簡易に行うのは困難である。

前述の課題に対して、撮影画像に付随する（撮影画像に関連付けられた）撮影情報に基づく指標や、三次元データそのものの誤差形状評価を行い、三次元データに関する評価値として記録することで、定量的な判定が可能となる。評価の詳細手法は、後述の各実施形態に示す。各実施形態において、「評価」とは三次元データの適切性を数値化する処理であり、「評価値」とは評価された数値のこととする。また、「レーティング」は評価結果を所定の基準に基づき分別や数値化したものとする。

＜評価値の報知方法＞
算出および記録した評価値をユーザが視認できる形で表示を行うことで、ユーザが撮影画像から生成した三次元データが適切なものであるかを容易に判定することが可能となる。例えば、画像フォーマットの一つであるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）において、レーティング情報はＸＭＰ（Ｅｘｔｅｎｓｉｂｌｅ Ｍｅｔａｄａｔａ Ｐｌａｔｆｏｒｍ）領域に保存されている。レーティング情報は、エクスプローラやフォトビューワーアプリなどで視認可能である。同様に、三次元データのヘッダ部分、フッター部分、紐づけられたファイルのいずれか一つ以上にレーティング情報を保存し、エクスプローラやフォトビューワーアプリなどで視認可能とする。レーティング情報は、例えば表示部１７に表示される。

＜撮影画像情報＞
図２は、各実施形態における画像処理装置のブロック図である。画像処理装置として、デジタルカメラ（撮像装置）１００の構成を一例として示す。

撮像光学系１０は、デジタルカメラ１００の撮影レンズであり、被写体の光学像を撮像素子１１上に形成する。なお図２において、デジタルカメラ１００はカメラ本体と撮像光学系１０とが一体的に構成されているが、これに限定されるものではなく、カメラ本体に対して着脱可能な撮像光学系（交換レンズ）を用いてもよい。撮像光学系１０は、光軸上に並んだ不図示の複数のレンズで構成され、撮像素子１１から所定距離離れた位置に射出瞳１０１を有する。撮像素子１１は、例えばＣＣＤセンサ（電荷結合素子センサ）やＣＭＯＳセンサ（相補型金属酸化膜半導体センサ）である。撮像素子１１は、撮像光学系１０を介して撮像面に形成された被写体像を光電変換し、被写体像に対応する画像信号を出力する。

制御部１２は、例えばＣＰＵやマイクロプロセッサ等の制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１２は、例えば、撮像時のオートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス（合焦）位置の変更、Ｆ値（絞り）の変更、画像の取り込み、記憶部１５や入力部１６、表示部１７、通信部１８の制御を行う。計測部１３は、合焦した被写体までの距離を算出する。計測部１３は、例えばレンズ駆動情報取得部１３０を有する。

処理部（画像処理装置）１４は、デジタルカメラ１００が有する各種の画像処理や前述の評価処理を行う。また処理部１４は、撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。処理部１４から出力される画像データ（撮像画像）は、不図示のメモリに蓄積され、表示部１７に用いられる。また、出力された画像データは、記憶部１５に保存される。処理部１４は、論理回路を用いて構成することができる。また、別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

また処理部１４は、生成手段１４１、評価手段１４２、および記録手段１４３を有する。生成手段１４１は、撮影画像と、撮影画像に関する距離情報とに基づいて三次元データを生成する。評価手段１４２は、三次元データの評価を行う。記録手段１４３は、評価手段１４２による評価に関する情報を三次元データに関連付けて記録する。

記憶部１５は、撮像された画像データ、各ブロックの動作の過程で生成された中間データ、処理部１４やデジタルカメラ１００の動作において参照されるパラメータ等が記録される不揮発性の記録媒体である。記憶部１５は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればよく、例えば、フラッシュメモリなどが好ましい。

入力部１６は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の、デジタルカメラ１００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部１６は、なされた操作入力を検出すると、対応する制御信号を制御部１２に出力する。表示部１７は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部１７は、撮像画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知に用いられる。また、タッチパネルを利用することで表示機能と入力機能を併せ持つことができる。

通信部１８は、デジタルカメラ１００が備える、外部との情報送受信を実現する通信インターフェースである。通信部１８は、得られた撮像画像や撮影情報等を、他の装置に送出可能に構成されていてよい。センサ１９は、デジタルカメラ１００の状態をモニタリングするセンサ類であり、代表的なセンサとして加速度センサ、ジャイロセンサなどが設置されている。

＜撮像素子の構成例＞
次に、図３（ａ）、（ｂ）を参照して、撮像素子１１の詳細構成例について説明する。図３（ａ）、（ｂ）は、撮像素子１１の説明図である。図３（ａ）に示されるように、撮像素子１１は、異なるカラーフィルタが適用された２行×２列の画素群１１０が複数連結して配列されることで構成されている。図３（ａ）中の右側に拡大して示されるように、画素群１１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお各実施形態では、一例として、カラーフィルタが図３（ａ）に示されるような分布を担っているものとして説明するが、これに限定されるものではない。

撮像面位相差測距方式の測距機能（距離情報の取得）を実現すべく、１つの画素（光電変換素子）は、撮像素子１１の水平方向に係る、図３（ａ）のＩ－Ｉ’断面において、複数の光電変換部が並んで構成される。より詳しくは、図３（ｂ）に示されるように、各画素は、マイクロレンズ１１１およびカラーフィルタ１１２を含む導光層１１３と、第１の光電変換部１１５および第２の光電変換部１１６を含む受光層１１４とで構成されている。

導光層１１３において、マイクロレンズ１１１は、画素へ入射した光束を第１の光電変換部１１５および第２の光電変換部１１６に効率よく導くよう構成されている。またカラーフィルタ１１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部１１５及び第２の光電変換部１１６に導く。

受光層１１４には、受光した光をアナログ画像信号に変換する２つの光電変換部（第１の光電変換部１１５と第２の光電変換部１１６）が設けられており、２つの光電変換部から出力された２種類の信号が測距に用いられる。すなわち、撮像素子１１の各画素は、同様に水平方向に並んだ２つの光電変換部を有し、全画素のうちの第１の光電変換部１１５から出力された信号で構成された画像信号と、第２の光電変換部１１６から出力された信号で構成される画像信号が用いられる。換言すれば、第１の光電変換部１１５と第２の光電変換部１１６とは、画素に対してマイクロレンズ１１１を介して入光する光束を、それぞれ部分的に受光する。故に、最終的に得られる２種類の画像信号は、撮像光学系１０の射出瞳の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素で第１の光電変換部１１５と第２の光電変換部１１６とが光電変換した画像信号を合成したものは、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される画像信号（鑑賞用）と等価である。

このような構成により、撮像素子１１は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能である。なお各実施形態では、撮像素子１１の全ての画素が２つの光電変換部を備えているものとして説明するが、これに限定されるものではない。例えば、図３（ｂ）に示される構造が水平方向のみならず垂直方向にも配置される、すなわち画素が４つの光電変換部を備え、水平方向の瞳分割のみでなく垂直方向の瞳分割が可能となる画素の構成としてもよい。４分割構成とすることで、水平垂直いずれの方向の被写体に対しても検出が可能となり、より高精度な距離測定を行うことができる。

＜撮像面位相差測距方式の測距原理＞
次に、図４（ａ）～（ｅ）を参照して、前述の瞳分割画像群に基づいて被写体距離（距離情報）を取得する原理について説明する。図４（ａ）～（ｅ）は、撮像面位相差測距方式の測距原理の説明図である。

図４（ａ）は、撮像光学系１０の射出瞳１０１と、撮像素子１１中の画素の第１の光電変換部１１５に受光する光束を示す概略図である。図４（ｂ）は同様に第２の光電変換部１１６に受光する光束を示す概略図である。図４（ａ）、（ｂ）に示されるマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１の光電変換部１１５または第２の光電変換部１１６に導かれる。この際、第１の光電変換部１１５と第２の光電変換部１１６にはそれぞれ図４（ａ）、（ｂ）に示されるように、異なる瞳領域を通過した光束を主に受光する。第１の光電変換部１１５には第１の瞳領域５１０を通過した光束、第２の光電変換部１１６には第２の瞳領域５２０を通過した光束となる。

撮像素子１１が備える複数の第１の光電変換部１１５は、第１の瞳領域５１０を通過した光束を主に受光し、第１の画像信号を出力する。また、同時に撮像素子１１が備える複数の第２の光電変換部１１６は、第２の瞳領域５２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域５１０を通過した光束が撮像素子１１上に形成する像の強度分布を得ることができる。また、第２の画像信号から第２の瞳領域５２０を通過した光束が、撮像素子１１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。図４（ｃ）～（ｅ）を参照して、視差量とデフォーカス量との関係について説明する。図４（ｃ）～（ｅ）は、撮像素子１１および撮像光学系１０について説明する概略図である。図４（ｃ）～（ｅ）において、第１の光束５１１は第１の瞳領域５１０を通過する光束を示し、第２の光束５２１は第２の瞳領域５２０を通過する光束を示す。

図４（ｃ）は合焦時の状態を示し、第１の光束５１１と第２の光束５２１が撮像素子１１上で収束している。このとき、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間との視差量は０となる。図４（ｄ）は、像側でｚ軸の負方向にデフォーカスした状態を示す。このとき、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図４（ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示す。このとき、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図４（ｄ）と図４（ｅ）との比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

＜デフォーカス画像生成処理＞
処理部１４は、得られた２つの画像信号からデフォーカス画像を生成するデフォーカス生成部として機能する。デフォーカス画像は、処理部１４により生成される。ここで、図５を参照して、デフォーカス画像の生成処理について説明する。図５は、デフォーカス画像の生成処理を示すフローチャートである。

まずステップＳ１４０１において、処理部１４は、画像信号（第１の画像信号）Ｓ１および画像信号（第２の画像信号）Ｓ２について、光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングにより、第１の瞳領域５１０と第２の瞳領域５２０の形状が異なることに起因し、画像信号Ｓ１と画像信号Ｓ２の間では、光量バランスが崩れている。従って、ステップＳ１４０１にて、処理部１４は、例えば不図示のメモリに予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。

続いてステップＳ１４０２において、処理部１４は、撮像素子１１における変換時に生じたノイズを低減する処理を行う。具体的には処理部１４は、画像信号Ｓ１と画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、処理部１４は、空間周波数が高いほど、通過率が低減するローパスフィルタを適用する処理を行う。なお、ステップＳ１４０１での光量補正は、撮像光学系１０の製造誤差等によっては好適な結果とはならないため、処理部１４は、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが好ましい。

続いてステップＳ１４０３において、処理部１４は、画像信号Ｓ１と画像信号Ｓ２に基づいて、これらの画像間の視差量を導出する。具体的には、処理部１４は、画像信号Ｓ１内に、代表画素情報に対応した注目点と、注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域であってよい。次に、処理部１４は、画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、前述の照合領域と同一の大きさおよび形状を有する。処理部１４は、参照点を順次移動させながら、画像信号Ｓ１の照合領域内に含まれる画像と、画像信号Ｓ２の参照領域内に含まれる画像との相関度を導出し、最も相関度が高い参照点を、画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。

処理部１４は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、代表画素情報によって定められた複数の画素位置における視差量を導出する。各実施形態では簡単のため、鑑賞用画像と同一の解像度でデフォーカス情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるように設定されているものとする。なお、相関度の導出方法として、Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）、Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）等が用いられる。

また、導出された視差量ｄは、所定の変換係数を用いることで、撮像素子１１から撮像光学系１０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量ｄは、以下の式（３）によりデフォーカス量に変換することができる。

処理部１４は、このように導出したデフォーカス量を画素値とする２次元情報を構成し、デフォーカス画像として不図示のメモリに格納する。このようにして得られたデフォーカス画像が、デフォーカス量のマップとして被写体距離測定に用いられる。

（第１実施形態）
次に、図６を参照して、本発明の第１実施形態における画像処理方法について説明する。図６は、本実施形態における画像処理方法を示すフローチャートである。図６の各ステップは、主に、デジタルカメラ（撮像装置）１００の処理部（画像処理装置）１４により実行される。

まずステップＳ１０１において、処理部１４は、撮影画像情報読込処理を行う。処理部１４は、例えば、撮影画像の付加情報として保存されている撮影パラメータ（撮影情報、撮影条件）とともに、撮影画像における三次元データ生成関連のパラメータを読み込む。撮影条件は、焦点距離、フォーカス位置、絞り値、ＩＳＯ感度、またはシャッタースピードの少なくとも一つに関する情報を含む。三次元データ生成関連のパラメータとは、例えば撮影画像が視差演算可能なＡ像Ｂ像双方の情報そのもの、もしくは計算によって双方の情報を算出できるフォーマットであることを示すものである。撮影パラメータは、後処理においてデフォーカスから物体距離に変換する際などに用いられ、記憶部１５などの記憶領域に保存しておく。

続いてステップＳ１０２において、処理部１４は、三次元データ評価可能判定処理を行う。すなわち処理部１４は、撮影画像から三次元データを生成することが可能か否かを判定する。ステップＳ１０１にて読み込まれた三次元データ生成関連のパラメータが、視差演算可能なフォーマットであることを示している場合、処理部１４は評価可能と判定し、ステップＳ１０３に進む。一方、三次元データ生成関連のパラメータが視差演算不可能なフォーマットである場合、処理部１４は評価不可能と判定し、本フローを終了する。

ステップＳ１０３において、処理部１４は、撮影条件評価処理を行う。すなわち処理部１４（評価手段１４２）は、ステップＳ１０１にて読み込まれた撮影パラメータ（撮影条件）に基づいて、三次元データを評価する（三次元データの適切性に関する評価値を算出する）。ここで、ステップＳ１０３にて算出される評価値の判定基準の例を以下に示す。絞り値（Ｆ値）が大きい（絞りが暗い）場合、Ａ像とＢ像との間の基線長が短くなりすぎて像側の距離分解能が低下し、撮影誤差が増大するため、絞り値が小さい（絞りが明るい）場合に比べて評価値は低く判定される。焦点距離が短くかつフォーカス位置が遠い場合、撮影倍率が小さくなり、像側の距離分解能が物体側の距離分解能に与える影響が大きくなり、撮影倍率が大きい場合に比べて評価値は低く判定される。ＩＳＯ感度が高い場合、ノイズが多く発生し、距離の誤検知が多く発生するため、ＩＳＯ感度が低い場合に比べて評価値は低く判定される。シャッタースピードが遅い場合、手ブレや動体ブレが発生しやすくなるため、シャッタースピードが速い場合に比べて評価値は低く判定される。

続いてステップＳ１０４において、処理部１４は、評価結果記録処理を行う。すなわち処理部１４（記録手段１４３）は、ステップＳ１０３にて求めた評価値を撮影画像または撮影画像から算出される三次元データに紐づけて（三次元データに関連付けて）記録する。記録処理では、例えば撮影画像のヘッダ部分（レーティング領域）にレーティング形式で（レーティング情報として）保存する。なお記録処理では、撮影画像に代えて、三次元データのヘッダ部分にレーティング形式で保存しても良い。既存のレーティング処理のように６段階評価で保存しても良いし、任意の評価段階を保持しても良い。例えば、「ＯＫ」または「ＮＧ」の二値としても良い。

また、ステップＳ１０３にて評価指標としたパラメータごとに評価値を保存しても良い。また、ユーザが後処理で評価値を変更できるインターフェースを備えても良い。自動で評価された評価値とユーザが設定した評価値との差異を用いて、評価値の計算の係数を変更できる演算回路を備えても良い。評価値の記録を行うことで、評価値情報をデータビュアー等で読み込み、表示することが可能となる。評価値情報を表示することで、ユーザが撮影画像から算出される三次元データが適切なものであるかの評価を容易に判定することができる。データビュアーは画像処理装置が備えても良いし、別デバイスで備えても良い。また、評価値は一時記憶回路に記録することで、例えば撮影直後の撮影画像確認表示に利用しても良い。このとき、デジタルファイルへの記録処理を行わなくても良い。また、三次元データは評価に応じて画像処理装置内のフォルダに分類して振り分けても良い。

本実施形態によれば、ユーザが、撮影画像から生成された三次元データが適切か否かを容易に判定することが可能となる。

（第２実施形態）
次に、図７を参照して、本発明の第２実施形態における画像処理方法について説明する。図７は、本実施形態における画像処理方法を示すフローチャートである。図７の各ステップは、主に、デジタルカメラ（撮像装置）１００の処理部（画像処理装置）１４により実行される。図７は、図６を参照して説明した第１実施形態に対して、三次元データ読込処理（ステップＳ２０４）および三次元データ評価処理（ステップＳ２０５）が追加されている。図７のステップＳ２０１～Ｓ２０３、Ｓ２０６は、図６のステップＳ１０１～Ｓ１０４とそれぞれ同一の処理である。実施例１と同様に、ステップＳ２０２にて撮影画像が視差演算不可能であると判定された場合、本フローを終了する。

ステップＳ２０４において、処理部１４は、三次元データ読込処理を行う。すなわち処理部１４は、撮影画像から生成された三次元データを読み込み、記憶部１５内の一時記憶領域に保持する。続いてステップＳ２０５において、処理部１４は、三次元データ評価処理を行う。すなわち処理部１４（評価手段１４２）は、ステップＳ２０４にて読み込んだ三次元データに対して、評価を行う。評価の例を以下に示す。

主被写体をポリゴン化した際、背景との分離が十分でなく、主被写体のエッジに相当する部分が奥行き方向に引っ張られ、形状が不適切となることがある。ある単一の被写体をポリゴン化した場合は、ポリゴンが連続的であることから、例えば一定以上のポリゴンの伸びがあるものは評価値が低くなる。

また、所定の領域内における凹凸の分布を数値化して評価を行う。例えば人物のようにある単一の被写体は、凹凸の分布を示す値、例えば分散値が所定以上である場合、距離の測定誤差が大きいとして評価値が低くなる。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）や深層学習などの機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：ＭＬ）を用いて、被写体認識を行い、被写体認識された各領域に対して前述の評価を行っても良い。また、被写体認識による被写体の分類に基づいて、評価方法（評価計算方法）や評価値の閾値を変更しても良い。

被写体認識や、三次元データにおける第１領域（例えば主被写体領域）と第２領域（例えば背景領域）との距離差などに応じて、評価する領域（主被写体領域）を切り出して切り出し領域として取得しても良い。背景は主被写体に対して比較的遠距離であるため、十分な分解能が得られないため評価値が低くなる傾向にあるが、切り出した領域の評価に制限することで、三次元データに対して適切な評価を行うことができる。

切り出し領域の面積または体積に応じて評価値を変更しても良い。すなわち、切り出し領域の面積または体積と、切り出し前の撮影画像または三次元データの面積または体積との比率に基づいて、評価値を変更してもよい。例えば切り出し領域が狭い場合（切り出し領域の比率が小さい場合）、画素数が十分でないため、三次元データに貼り付けるテクスチャが不足することがある。テクスチャが不足した三次元データは、アップサンプリング等の補間を行うことで画質が低下してしまうため、評価値が低くなる。

切り出し領域がベストピント近傍領域（合焦近傍領域）であるか否かを判定し、評価を行っても良い。主被写体として切り出された領域がベストピントから大きく外れていると、テクスチャがボケた状態で設定されるため、好ましくない。ベストピントからの外れ量の閾値は焦点距離、フォーカス位置、絞り値によって決定しても良い。

切り出し領域にフィルタ処理を適用しても良い。主被写体に適切なフィルタを適用することで、誤差をさらに改善することが可能となる。このとき、フィルタ処理を行う前後の三次元データの差分の分布を数値化し、評価値に反映しても良い。変化量が大きいほど、元の形状からの乖離が大きくなるため、評価値を低くしても良い。

なお、図７に示されていないが、三次元データ評価処理（ステップＳ２０５）では、前述の三次元データのポリゴン化処理を行いながら実行し、暫定評価値を記録、報知しても良い。ポリゴン化処理や事前のフィルタ処理、視差演算は計算規模が大きいため、処理完了を待つと評価値の報知が遅れてしまうため、処理の進行に合わせて評価値を変更していくフローであっても良い。

本実施形態によれば、ユーザが、撮影画像から生成された三次元データが適切か否かを容易に判定することが可能となる。

＜データ形式＞
評価値は、レーティング情報として、例えばＪＰＥＧにおけるＸＭＰ（Ｅｘｔｅｎｓｉｂｌｅ Ｍｅｔａｄａｔａ Ｐｌａｔｆｏｒｍ）領域のように、メタデータとして保持することが好ましい。三次元データの拡張子によって持つ領域が異なっても良い。一般的な三次元データファイル形式、および評価値の格納方法としては以下のような例が挙げられる。

“．ｏｂｊ”：ヘッダ部分、マテリアルファイル、もしくはＸＭＰに類似する拡張ファイルのレーティング項目に格納する。

“．ｆｂｘ”：ヘッダ部分、もしくはＸＭＰに類似する拡張ファイルのレーティング項目に格納する。

“．ｇｌｂ”、“．ｇｌｔｆ”：ヘッダ部分、もしくはＸＭＰに類似する拡張ファイルのレーティング項目に格納する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、撮影画像から生成された三次元データが適切か否かをユーザが容易に判定可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１４ 処理部（画像処理装置）
１４１ 生成手段
１４２ 評価手段
１４３ 記録手段

Claims (25)

1. 撮影画像と、該撮影画像に関する距離情報とに基づいて三次元データを生成する生成手段と、
   前記三次元データの評価を行う評価手段と、
   前記評価に関する情報を前記三次元データに関連付けて記録する記録手段と、を有することを特徴とする画像処理装置。
2. 前記評価手段は、前記撮影画像の撮影条件に基づいて、前記三次元データに関する評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件は、焦点距離、絞り値、ＩＳＯ感度、フォーカス位置、またはシャッタースピードの少なくとも一つに関する情報を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記撮影条件は、前記焦点距離に関する情報を含み、
   前記焦点距離が短いほど前記評価値は低いことを特徴とする請求項３に記載の画像処理装置。
5. 前記撮影条件は、前記絞り値に関する情報を含み、
   前記絞り値が大きいほど前記評価値は低いことを特徴とする請求項３に記載の画像処理装置。
6. 前記撮影条件は、前記ＩＳＯ感度に関する情報を含み、
   前記ＩＳＯ感度が高いほど前記評価値は低いことを特徴とする請求項３に記載の画像処理装置。
7. 前記撮影条件は、前記フォーカス位置に関する情報を含み、
   前記フォーカス位置が遠いほど前記評価値は低いことを特徴とする請求項３に記載の画像処理装置。
8. 前記評価手段は、前記三次元データから生成されたポリゴンの大きさの分布に基づいて、前記三次元データに関する評価値を算出することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記ポリゴンの大きさの前記分布が広がっているほど前記評価値は低いことを特徴とする請求項８に記載の画像処理装置。
10. 前記評価手段は、前記三次元データにおける第１領域と第２領域とのの距離差の分布に基づいて、前記三次元データに関する評価値を算出することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記距離差の前記分布が広がっているほど前記評価値は低いことを特徴とする請求項１０に記載の画像処理装置。
12. 前記評価手段は、前記撮影画像または前記三次元データの一部を切り出した切り出し領域を取得し、該切り出し領域に対して前記三次元データに関する評価値を算出することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記評価手段は、被写体認識により前記切り出し領域を決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記評価手段は、深層学習を用いて前記被写体認識を行うことを特徴とする請求項１３に記載の画像処理装置。
15. 前記評価手段は、前記被写体認識による分類に基づいて、評価方法または前記評価値の閾値を変更することを特徴とする請求項１３に記載の画像処理装置。
16. 前記評価手段は、前記撮影画像または前記三次元データを背景領域と主被写体領域とに分離し、該主被写体領域を前記切り出し領域として取得することを特徴とする請求項１２乃至１５のいずれか一項に記載の画像処理装置。
17. 前記評価手段は、前記切り出し領域の面積または体積と、切り出し前の前記撮影画像または前記三次元データの面積または体積との比率に基づいて、前記評価値を算出することを特徴とする請求項１２乃至１６のいずれか一項に記載の画像処理装置。
18. 前記比率が小さいほど前記評価値は低いことを特徴とする請求項１７に記載の画像処理装置。
19. 前記評価手段は、前記撮影画像または前記三次元データの合焦近傍領域に対して前記三次元データに関する評価値を算出することを特徴とする請求項１乃至１８のいずれか一項に記載の画像処理装置。
20. 前記記録手段は、前記三次元データに関する評価値を、前記撮影画像または前記三次元データのレーティング情報として記録することを特徴とする請求項１乃至１９のいずれか一項に記載の画像処理装置。
21. 前記画像処理装置は、前記レーティング情報を表示する表示部を更に有することを特徴とする請求項２０に記載の画像処理装置。
22. 前記距離情報は、撮像面位相差測距で取得されることを特徴とする請求項１乃至２１のいずれか一項に記載の画像処理装置。
23. 撮像素子と、
    請求項１乃至２２のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
24. 撮影画像と、該撮影画像に関する距離情報とに基づいて三次元データを生成するステップと、
    前記三次元データの評価を行うステップと、
    前記評価に関する情報を前記三次元データに関連付けて記録するステップと、を有することを特徴とする画像処理方法。
25. 請求項２４に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。