JP2020181400A - 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】被写体の３次元的形状の推定に基づいた被写体の体積導出を可能ならしめる。【解決手段】画像処理装置は、被写体を撮像した撮像画像と、該撮像画像と対応する、被写体の深度方向の距離分布を示した深度情報とを取得する取得手段と、撮像画像において被写体の像が現れる被写体領域を検出する検出手段と、検出手段により検出された被写体領域の情報と深度情報とに基づいて、被写体の３次元形状を構成する構成手段と、構成手段により構成された被写体の３次元形状に基づいて、被写体の体積を導出する導出手段と、を有する。【選択図】図４

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に、人体の体積や体重を推定する技術に関する。

体重計を使用することなく、人物を撮像した画像に基づいて、該人物の体重を推定する技術がある（特許文献１）。

非接触で物体表面の形状計測を行う方法としてパターン投影法、多眼撮影法、ＴＯＦ（Time of Flight）法などが知られている。非接触で計測した表面形状から体積を推定する方法として特許文献１が提案されている。特許文献１では、農作物の体積推定方法として光切断法を用いた表面形状計測に加え、農作物の陰面を接地面まで体積としたうえで補正係数によって体積の補正を行い、近似的に体積を推定する方法が提案されている。

一方、撮像装置のみを用いて人体の体重推定を行う方法として、特許文献２が提案されている。特許文献２では、撮影した人物画像および背景画像からシルエット画像を生成して人体の骨格を推定し、初期使用時に体重を入力してシルエット画像における１画素の重さを算出し、体重の変化を推定する。

特許第５６８６０５８号 特開２０１０−１７６５８８号公報

ところで、特許文献２に記載の技術では、初期値として入力された体重と、画像中の人物像の領域の画素数の初期値入力時からの変化量とに基づいて、人物の体重を推定している。しかしながら、特許文献２に記載の技術では、人物像の体重を、２次元画像の画素数の増減に基づいて推定しているため、奥行き方向の変化が生じている場合等、実際の体重との誤差が生じ得るものであった。

本発明は、上述の問題点に鑑みてなされたものであり、被写体の３次元的形状の推定に基づいた被写体の体積導出を可能ならしめる画像処理装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、被写体を撮像した撮像画像と、該撮像画像と対応する、被写体の深度方向の距離分布を示した深度情報とを取得する取得手段と、撮像画像において被写体の像が現れる被写体領域を検出する検出手段と、検出手段により検出された被写体領域の情報と深度情報とに基づいて、被写体の３次元形状を構成する構成手段と、構成手段により構成された被写体の３次元形状に基づいて、被写体の体積を導出する導出手段と、を有することを特徴とする。

このような構成により本発明によれば、被写体の３次元的形状の推定に基づいた被写体の体積導出が可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態及び変形例に係る撮像素子１１を説明するための図 撮像面位相差測距方式の測距原理を説明するための図 本発明の実施形態及び変形例に係るデジタルカメラ１００で実行される、質量導出処理を例示したフローチャート 本発明の実施形態に係る撮像ガイドを例示した図 本発明の実施形態及び変形例に係る、質量導出処理の過程で用いられる情報を説明するための図 本発明の変形例に係る撮像ガイドを例示した図

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、被写体の距離分布を示す深度情報を取得可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像と該撮像画像に対応する深度情報とに基づいて被写体の３次元形状を推定することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

撮像光学系１０は、デジタルカメラ１００が有する撮影レンズであり、被写体の光学像を撮像素子１１上に形成する。撮像光学系１０は、光軸１０２上に並んだ不図示の複数のレンズで構成され、撮像素子１１から所定距離離れた位置に射出瞳１０１を有する。なお、本明細書において、光軸１０２と平行な方向をｚ方向または深度方向とし、光軸１０２と直交し、撮像素子１１の水平方向と平行な方向をｘ方向、撮像素子１１の垂直方向と平行な方向をｙ方向として定義する、あるいは軸を設けるものとする。

撮像素子１１は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳセンサ（相補型金属酸化膜半導体）である。撮像素子１１は、撮像光学系１０を介して撮像面に形成された被写体像を光電変換し、該被写体像に係る画像信号を出力する。また、本実施形態では撮像素子１１は、後述するように撮像面位相差測距方式の測距機能を有しており、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成して出力可能である。

制御部１２は、例えばＣＰＵやマイクロプロセッサ等の制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１２は、例えば、撮像時のオートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、記憶部１４や入力部１５、表示部１６、通信部１７の制御を行う。

画像処理部１３は、デジタルカメラ１００が有する各種の画像処理を実現するブロックである。図示されるように画像処理部１３は、画像生成部１３０、深度生成部１３１、物体検出部１３２、形状推定部１３３、体積推定部１３４及び質量推定部１３５の画像処理ブロックと、画像処理の作業領域として用いられるメモリ１３６を有している。画像処理部１３は、論理回路を用いて構成することができる。また、別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

画像生成部１３０は、撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。画像生成部１３０から出力される画像データ（撮像画像）はメモリ１３６に蓄積され、物体検出部１３２及び表示部１６に用いられる。

深度生成部１３１は、後述する撮像素子１１が有する測距用画素に係り得られた信号を基づいて、深度情報の分布を表す深度画像を生成する。ここで、深度画像は、各画素に格納される値が、該画素に対応する撮像画像の領域に存在する被写体の被写体距離である２次元の情報である。

物体検出部１３２は、画像生成部１３０により生成された撮像画像を用いて、該撮像画像に含まれる、予め定められた物体を検出し、撮像画像中の位置・大きさを特定する。本実施形態では物体検出部１３２は、予め定められた物体として人物の顔及び顔に接続された人体を検出するものとして説明する。しかしながら、検出対象となる物体は、ユーザにより任意の物体が選択可能に構成されるものであってもよいし、例えば撮像モードについて対応付けられている被写体、あるいは撮像範囲中の特定の位置に存在する被写体が選択されるものであってもよい。

形状推定部１３３は、物体検出部１３２によって特定された物体領域について、深度生成部１３１により生成された深度画像と、例えば予め記憶部１４に格納された３次元形状データとに基づいて、物体領域に係る物体の３次元形状を推定する。本実施形態では、簡単のため、検出対象となる物体（人体）の３次元形状データが記憶部１４に予め格納されているものとして説明するが、本発明の実施はこれに限られるものではない。

体積推定部１３４は、形状推定部１３３により推定された物体の３次元形状と、撮影パラメータとに基づいて、該物体の体積を推定する。ここで、推定される体積は、現実世界における実寸大の寸法基準で導出されるものであってもよいし、画像処理にてベースとなる単位体積要素（正規格子単位）であるボクセル基準で導出されるものであってもよい。

質量推定部１３５は、体積推定部１３４により推定された物体の体積と、例えば記憶部１４に格納された物体の密度を示す密度情報とに基づいて、検出された物体の質量を推定する。密度情報は、単位体積当たりの質量を表した値であり、上記体積の導出単位に合わせて設けられているものとする。

次に記憶部１４は、撮像された画像データ、各ブロックの動作の過程で生成された中間データ、画像処理部１３やデジタルカメラ１００の動作において参照されるパラメータ等が記録される不揮発性の記録媒体である。記憶部１４は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが好ましい。

入力部１５は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の、デジタルカメラ１００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部１５は、なされた操作入力を検出すると、対応する制御信号を制御部１２に出力する。

表示部１６は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部１６は、撮像画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知に用いられる。本実施形態では表示部１６は、物体の検出結果、形状、体積、質量の推定結果等の表示も行う。

通信部１７は、デジタルカメラ１００が備える、外部との情報送受信を実現する通信インタフェースである。通信部１７は、得られた撮像画像や深度情報、形状・体積・質量の推定結果等を、他の装置に送出可能に構成されていてよい。

《撮像素子の構成》
次に、上述した撮像素子１１の詳細構成について、図２を参照して説明する。

撮像素子１１は、図２（ａ）に示されるように、異なるカラーフィルタが適用された２行×２列の画素群１１０が複数連結して配列されることで構成されている。拡大図示されるように、画素群１１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、本実施形態では一例として、カラーフィルタが、図示されるような分布担っているものとして説明するが、本発明の実施がこれに限られるものではないことは容易に理解されよう。

本実施形態の撮像素子１１は、撮像面位相差測距方式の測距機能を実現すべく、１つの画素（光電変換素子）は、撮像素子１１の水平方向に係る、図２（ａ）のＩ−Ｉ’断面において、複数の光電変換部が並んで構成される。より詳しくは、図２（ｂ）に示されるように、各画素は、マイクロレンズ１１１及びカラーフィルタ１１２を含む導光層１１３と、第１の光電変換部１１５及び第２の光電変換部１１６を含むと、で構成されている。

導光層１１３において、マイクロレンズ１１１は、画素へ入射した光束を第１の光電変換部１１５及び第２の光電変換部１１６に効率よく導くよう構成されている。またカラーフィルタ１１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部１１５及び第２の光電変換部１１６に導く。

受光層１１４には、受光した光をアナログ画像信号に変換する２つの光電変換部（第１の光電変換部１１５と第２の光電変換部１１６）が設けられており、これら２つの光電変換部から出力された２種類の信号が測距に用いられる。即ち、撮像素子１１の各画素は、同様に水平方向に並んだ２つの光電変換部を有しており、全画素のうちの第１の光電変換部１１５から出力された信号で構成された画像信号と、第２の光電変換部１１６から出力された信号で構成される画像信号が用いられる。換言すれば、第１の光電変換部１１５と第２の光電変換部１１６とは、画素に対してマイクロレンズ１１１を介して入光する光束を、それぞれ部分的に受光する。故に、最終的に得られる２種類の画像信号は、撮像光学系１０の射出瞳の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素で第１の光電変換部１１５と第２の光電変換部１１６とが光電変換した画像信号を合成したものは、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される画像信号（鑑賞用）と等価である。

このような構造を有することで、本実施形態の撮像素子１１は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能となっている。なお、本実施形態では、撮像素子１１の全ての画素が２つの光電変換部を備え、高密度な深度情報を出力可能に構成されているものであるとして説明するが、本発明の実施はこれに限られるものではない。

〈撮像面位相差測距方式の測距原理〉
ここで、本実施形態のデジタルカメラ１００で行われる、第１の光電変換部１１５及び第２の光電変換部１１６から出力された瞳分割画像群に基づいて、被写体距離を導出する原理について、図３を参照して説明する。

図３（ａ）は、撮像光学系１０の射出瞳１０１と、撮像素子１１中の画素の第１の光電変換部１１５に受光する光束を示した概略図である。図３（ｂ）は同様に第２の光電変換部１１６に受光する光束を示した概略図である。

図３（ａ）及び（ｂ）に示したマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１の光電変換部１１５または第２の光電変換部１１６に導かれる。この際、第１の光電変換部１１５と第２の光電変換部１１６にはそれぞれ図３（ａ）及び（ｂ）に示される通り、異なる瞳領域を通過した光束を主に受光する。第１の光電変換部１１５には第１の瞳領域３１０を通過した光束、第２の光電変換部１１６には第２の瞳領域３２０を通過した光束となる。

撮像素子１１が備える複数の第１の光電変換部１１５は、第１の瞳領域３１０を通過した光束を主に受光し、第１の画像信号を出力する。また、同時に撮像素子１１が備える複数の第２の光電変換部１１６は、第２の瞳領域３２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域３１０を通過した光束が撮像素子１１上に形成する像の強度分布を得ることができる。また、第２の画像信号から第２の瞳領域３２０を通過した光束が、撮像素子１１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図３（ｃ）、（ｄ）、（ｅ）を用いて説明する。図３（ｃ）、（ｄ）、（ｅ）は本実施形態の撮像素子１１、撮像光学系１０について説明した概略図である。図中の符号３１１は、第１の瞳領域３１０を通過する第１の光束を示し、符号３２１は第２の瞳領域３２０を通過する第２の光束を示す。

図３（ｃ）は合焦時の状態を示しており、第１の光束３１１と第２の光束３２１が撮像素子１１上で収束している。このとき、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号間との視差量は０となる。図３（ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図３（ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図３（ｄ）と図３（ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

《質量導出処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される、撮像した人体の質量を導出する質量導出処理について、図４（ａ）のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１２が、例えば記憶部１４に記憶されている対応する処理プログラムを読み出し、不図示の揮発性メモリに展開して実行することにより実現することができる。本質量導出処理は、例えば質量測定モードに設定されている際に、人物を含む撮像範囲について撮像が行われた際に開始されるものとして説明する。

Ｓ４０１で、制御部１２は、設定された焦点位置、絞り、露光時間等の撮像設定にて撮像を行うよう処理する。より詳しくは、制御部１２は、撮像素子１１に撮像を行わせ、得られた撮像画像を画像処理部１３に伝送させ、メモリ１３６に格納させるよう制御する。ここで、撮像画像は、撮像素子１１が有する第１の光電変換部１１５のみから出力された信号で構成された画像信号Ｓ１と、第２の光電変換部１１６のみから出力された信号で構成された画像信号Ｓ２の２種類であるものとする。

なお、導出に係る演算量を低減させ、かつ質量導出結果を高精度化させるべく、例えば図５に示されるように、導出対象となる人物にとらせるべき姿勢を、表示部１６を介して指示するものとしてもよい。指示方法は、例えば、人体にとらせるべき姿勢の輪郭情報Ｂｄを、スルー表示中の表示部１６に重畳表示させることでユーザに対して提示することにより行われるものであってよい。なお、好適な姿勢は、例えば、撮像時に人物がデジタルカメラ１００と正対し、かつ腕や脚が重ならないように広げられている等であってよい。また被写体である人物の大きさに対して、現実空間における１画素のサイズが大きい場合、本質量導出処理で構成される人体の３次元形状は段差のある不正確な形状となり得る。従って、本質量導出処理の実行にあたっては、撮像素子１１の画素数が多く、かつ、人体が撮像画像において、できるだけ多くの面積を占めるように撮像することが好ましい。

Ｓ４０２で、画像処理部１３は、得られた撮像画像から鑑賞用画像と深度画像とを生成する。より詳しくは、画像処理部１３のうちの画像生成部１３０は、まず画像信号Ｓ１と画像信号Ｓ２の各画素の画素値を加算することで、１つのベイヤー配列画像を生成する。画像生成部１３０は、該ベイヤー配列画像について、Ｒ、Ｇ、Ｂ各色の画像のデモザイキング処理を行い、鑑賞用画像を生成する。なお、デモザイキング処理は、撮像素子上に配置されたカラーフィルタに応じて行われるものであり、デモザイキング方法についていずれの方式が用いられるものであってもよいことは言うまでもない。このほか、画像生成部１３０は、ノイズ除去、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の処理を行い、最終的な鑑賞用画像を生成してメモリ１３６に格納する。

〈深度画像生成処理〉
一方、深度画像については、深度生成部１３１が生成に係る処理を行う。ここで、深度画像生成に係る処理について、図４（ｂ）のフローチャートを用いて説明する。

Ｓ４１１で、深度生成部１３１は、画像信号Ｓ１及び画像信号Ｓ２について、光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングにより、第１の瞳領域３１０と第２の瞳領域３２０の形状が異なることに起因し、画像信号Ｓ１と画像信号Ｓ２の間では、光量バランスが崩れている。従って、本ステップにおいて、深度生成部１３１は、例えばメモリ１３６に予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。

Ｓ４１２で、深度生成部１３１は、撮像素子１１における変換時に生じたノイズを低減する処理を行う。具体的には深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部１３１は、空間周波数が高いほど、通過率が低減するローパスフィルタを適用する処理を行う。なお、Ｓ４１１における光量補正は、撮像光学系１０の製造誤差等によっては好適な結果とはならないため、深度生成部１３１は、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが好ましい。

Ｓ４１３で、深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に基づいて、これらの画像間の視差量を導出する。具体的には、深度生成部１３１は、画像信号Ｓ１内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域であってよい。次に深度生成部１３１は、画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部１３１は、参照点を順次移動させながら、画像信号Ｓ１の照合領域内に含まれる画像と、画像信号Ｓ２の参照領域内に含まれる画像との相関度を導出し、最も相関度が高い参照点を、画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。

深度生成部１３１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を導出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。なお、相関度の導出方法として、ＮＣＣ（Normalized Cross-Correlation）やＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）等の方法を用いてよい。

また、導出された視差量は、所定の変換係数を用いることで、撮像素子１１から撮像光学系１０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量は、
ΔＬ＝Ｋ×ｄ
によって、デフォーカス量に変換できる。さらに、デフォーカス量ΔＬを幾何光学におけるレンズの公式、
１／Ａ＋１／Ｂ＝１／Ｆ
を用いることで、被写体距離に変換することができる。ここで、Ａは物面から撮像光学系１０の主点までの距離（被写体距離）、Ｂは撮像光学系１０の主点から像面までの距離、Ｆは撮像光学系１０の焦点距離を指すものとする。即ち、該レンズの公式において、Ｂの値がデフォーカス量ΔＬから導出することができるため、撮像時の焦点距離の設定に基づき、被写体から物面までの距離Ａを導出することができる。

深度生成部１３１は、このように導出した被写体距離を画素値とする２次元情報を構成し、深度画像としてメモリ１３６に格納する。

一方、質量導出処理のＳ４０３で、物体検出部１３２は、被写体領域の検出を行う。検出は、例えばＳ４０２において生成された鑑賞用画像を用いて行われるものであってよい。物体検出部１３２は、まず画像中に含まれる人物の顔領域を検出し、検出された顔領域の位置及び大きさに基づいて、該人物の人体が存在する領域及び大きさを推定する。そして物体検出部１３２は、該推定した領域に対してエッジ検出処理の適用や、色情報の参照により、最終的に画像中の人物領域を特定し、該人物領域の情報をメモリ１３６に格納する。

Ｓ４０４で、形状推定部１３３は、撮像画像に含まれる人体について、３次元形状を推定して構成する。以下、撮像が人体を特定の一方向からのみ行う態様における、人体の３次元形状の推定方法について説明する。形状推定部１３３は、深度画像のうちから、Ｓ４０３において検出された人物領域と対応する領域の情報を抽出する。抽出した深度画像の情報は、デジタルカメラ１００から被写体までの距離を含んだ値で構成される。このため、例えば対応する領域のうちの最短の被写体距離を減算することで、図６（ａ）に示されるような導出対象の人体の２次元形状（人体領域）の深度画像を構成することができる。形状推定部１３３は、このように構成された深度画像を元に、導出対象の人体の３次元形状の情報を構成する。

なお、上述したように、深度画像の各画素に格納される被写体距離は、ＭＫＳ単位等の国際単位系で示される値（現実空間における長さ）となっている。即ち、ｚ方向については国際単位系の長さ単位で現わされているため、３次元形状の構成にあたっては、ｘｙ方向を深度画像基準の画素数単位の長さから変換する必要がある。従って、形状推定部１３３は、深度画像における画素のｘｙ方向の値を、撮像画像を撮像した際の撮像パラメータ（撮像倍率）と撮像素子１１における画素ピッチに基づいて導出し、導出対象の人体の３次元形状の情報を構成する。

より詳しくは、撮像倍率は、該画素の被写体に係る被写体距離Ｚと、撮像時の焦点距離Ｆに基づいて求められるものであり、撮像倍率Ｍは
Ｍ＝Ｚ／Ｆ
で導出することができる。従って、形状推定部１３３は、人体領域の深度画像の各画素について、該画素の撮像倍率Ｍを画素ピッチ（画素サイズ）に乗ずることでｘ方向及びｙ方向の長さが得られるため、導出対象の人体の３次元形状の情報を国際単位系で構成することができる。

ところで、本実施形態のように撮像により得られた深度画像から生成される３次元形状は、撮像した面（オモテ面）についての情報はあるが、撮像されなかった背面の情報が欠落している。換言すれば、撮像されなかった背面の情報を補間生成する必要があるため、本実施形態のデジタルカメラ１００では、図６（ｂ）に示されるような予め計測した任意の人体の３次元形状の情報（参照形状情報）がメモリ１３６に格納されているものとする。形状推定部１３３は、このようにメモリ１３６に格納された参照形状情報を利用して、導出対象の人体の欠落している背面の形状を推定して補うことで、該人体の３次元形状を構成する。

ここで、メモリ１３６に格納される参照形状情報は、平均的な人体に基づいて生成された、１種類の３次元形状の情報であってもよいが、導出対象の人体によっては適切な３次元形状の推定がなされない可能性がある。このため、例えば反対面の推定精度を向上させるべく、体型の異なる複数種類の３次元形状の情報を、参照形状情報として格納しておき、検出された人体の体型、あるいはユーザ入力に基づいて、該当する情報を使用するよう構成してもよい。

また、参照形状情報は、ボクセル単位の長さと国際単位系の長さのいずれで構成されるものであってよいが、計測対象の人体の背面の情報を構成するにあたり、オモテ面の３次元形状に適合させるよう、形状推定部１３３は変換処理を参照形状情報に適用する。該変換処理は、被写体の人物において、着衣の影響を受けにくい頭部や手の大きさを基準に行えばよい。

そして形状推定部１３３は、導出対象の人体のオモテ面の３次元形状と、変換処理後の参照形状情報とを位置合わせするマッチング処理を実行する。ここで、マッチング処理は、深度情報に基づいて構成されたオモテ面の３次元形状が、参照形状情報のいずれの面に対応するかの特定を含み、これにより構成されていない背面が参照形状情報のいずれの面であるかも特定される。該特定された参照形状情報における背面の部分を、オモテ面の３次元形状と合成することで、形状推定部１３３は、導出対象の人体の、全面が閉じた３次元形状の情報を構成することができる。

なお、推定に基づき構成される３次元形状の精度を向上させるべく、深度情報に基づくオモテ面の３次元形状と、参照形状情報におけるオモテ面相当の形状の差を導出し、参照形状情報における背面相当の形状を該差に基づいて変形するものとしてもよい。例えば、オモテ面の３次元形状が有する厚み（深度方向の長さ）と、参照形状情報におけるオモテ面相当の形状の厚みとの比に応じて、参照形状情報における背面相当の形状を変形すればよい。

また、撮像時は人体の３次元形状を正確に推定すべく薄着であることが好ましいが、被写体の人物は必ずしも薄着であるとは限らないため、着衣の厚みにより実際の人体形状からの誤差が生じる。また、薄着であれば人体のオモテ面の３次元形状は、急峻な凹凸が少なく滑らかであるものと仮定できるが、薄着でない場合には、着衣の皺等によって形状に急峻な凹凸が生じ得る。このような誤差を補正するために、形状推定部１３３は、深度画像に基づいて構成した、導出対象の人体のオモテ面の３次元形状に対して、平滑化処理を適用し、凹凸を滑らかにするよう補正を行ってもよい。この際、皺の凸部は、純粋な人体形状から離間した位置を示すものと考えられるため、皺による段差の最低面、即ち凹部の面に合わせるよう平滑化処理は行われるものであってよい。該平滑化処理は、マッチング処理前に行うことで、マッチング精度の向上に繋がる。

また形状推定部１３３は、首、手首、足首等における着衣面と純粋な人体表面との段差を検出し、これを着衣の厚みとして、人体のオモテ面の３次元形状のうちの被服で覆われた部位から相当の厚みを除去する処理を行ってもよい。被服部分の厚みの除外は、例えば人体のオモテ面の３次元形状の被服部分を、縮小、浸食処理することによって行えばよい。また被服部分の厚み除外については、導出対象の人物が着用している被服が、厚手であるか否か、冬服であるか否か、あるいは着衣枚数等を、ユーザに入力させ、該入力された情報に基づいて行われるものであってもよい。あるいは、操作入力を受け付けずとも、日付情報を利用して季節を判定し、被服の厚みを推定することにより行われるものであってもよい。

形状推定部１３３は、構成した人体の３次元形状の情報をメモリ１３６（及び／または記憶部１４）に格納すると、処理をＳ４０５に移す。このとき、制御部１２は構成した人体の３次元形状の情報を、例えばその外形を撮像画像に重畳して表示部１６に表示することによって、ユーザに提示するものとしてもよい。また格納される情報は、３次元モデルデータの形式であってもよい。

Ｓ４０５で、体積推定部１３４は、Ｓ４０４において構成された人体の３次元形状の情報に基づき、該人体の体積を導出して、メモリ１３６（及び／または記憶部１４）に格納する。

Ｓ４０６で、質量推定部１３５は、導出対象の人体に係る質量を推定する。推定される質量は、Ｓ４０５において導出された人体の体積に対して、予め定められた人体の密度（単位体積当たりの質量）の情報を乗ずることにより導出される。このとき、制御部１２は、人体の推定質量を例えば撮像画像に重畳して表示部１６に表示することによって、ユーザに提示するものとしてもよい。

以上説明したように、本実施形態の画像処理装置によれば、被写体の３次元的形状の推定に基づいた、被写体の体積を導出することができる。より詳しくは、画像処理装置は、撮像画像に基づいて撮像範囲に含まれる対象の被写体の領域を特定し、該撮像画像と対応して得られた深度情報に基づいて被写体の３次元形状を構成する。このとき、撮像により深度方向の情報が取得できない面については、予め保持している形状情報に基づいて補間することで推定する。また、３次元形状の構成にあたっては、撮像時のパラメータ及び被写体距離に基づいて現実世界での寸法を特定することができるため、画像処理装置は、推定した被写体の３次元形状の体積を導出することができる。結果、密度の情報を用いることで、被写体の質量も導出することができる。

なお、本実施形態では、対象被写体の密度の情報を用いて質量を算出する例を示したが、本発明の実施はこれに限られるものではない。例えば、質量推定部１３５を重量推定部とし、対象被写体の比重量の情報を予め記憶部１４に記憶しておき、導出された３次元形状の体積に乗ずることで重量を推定するようにしてもよい。

また、本実施形態では、撮像素子１１が撮像面位相差測距方式の光電変換素子を有し、鑑賞用画像と深度画像とを取得できるものとして説明したが、本発明の実施において、深度情報の取得はこれに限られるものではない。深度情報は、例えば両眼の撮像装置や複数の異なる撮像装置から得られた複数枚の撮像画像に基づいて、ステレオ測距方式で取得するものであってもよい。あるいは、例えば光照射部と撮像装置を用いたステレオ測距方式や、ＴＯＦ（Time of Flight）方式と撮像装置の組み合わせによる方式等を用いて取得するものであってもよい。

［変形例１］
上述した実施形態では、１回の撮像で得られた撮像画像及び深度情報に基づいて人体のオモテ面の３次元形状の情報を構成し、背面については予め格納された参照形状情報に基づいて構成する態様について説明した。しかしながら、背面の３次元形状の構成は、参照形状情報に基づいて構成されるものでなくてもよい。

例えば、異なる複数の方向から撮像を行い、複数種類の深度情報に基づいて情報を補完することで、即ち、人体の３次元形状のうちの構成できる面を増やすことで、これを補うものとしてもよい。好適には、人体の正面方向及び背面方向から撮像を行って深度情報を取得することが好ましい。また、さらに側面方向から撮像を行って得られた深度情報を取得することで、人体の奥行き方向の情報も得られるため、より精度の高い人体の３次元形状の情報を構成することができる。

このような撮像方向の情報は、例えば図７に示されるように表示部１６を介したガイダンス表示を行うことで、ユーザに提示されるものであってよい。より詳しくは、制御部１２は、正面方向の撮像について、例えば図７（ａ）に示されるような人体の外形Ｂｄを表示させるよう表示部１６を制御し、ユーザにこれと適合するような撮像を行わせるようにすればよい。また制御部１２は、背面方向の撮像について、例えば図７（ｂ）に示されるような人体の外形Ｂｄを表示させるよう表示部１６を制御し、ユーザにこれと適合するような撮像を行わせるようにすればよい。また制御部１２は、側面方向の撮像について、例えば図７（ｃ）に示されるような人体の外形Ｂｄを表示させるよう表示部１６を制御し、ユーザにこれと適合するような撮像を行わせるようにすればよい。

このような複数回の撮像は、複数の撮像装置を用いて行われる、あるいは１体の撮像装置を移動させながら行われる、所謂ＭＶＳ（Multi-View Stereo）の方式を採用して行われるものであってもよい。

［変形例２］
上述した実施形態では、人体の質量推定にあたり、導出した人体の３次元形状の体積に対して、一様な密度を乗じる方法について説明したが、現実的には人体の密度は身体の部位によって、あるいは個人の体型によって異なり得る。このため、質量推定部１３５は、例えば、頭部、胴体、腕、脚等の身体の部位ごとに、質量導出に異なる密度を用いるようにしてもよい。

また例えば、撮像画像を解析することで、導出対象の人体の骨格分析を行い、該分析結果に基づいて、部位の体積に対して乗じる密度を設定するものとしてもよい。あるいは、例えば年齢、性別ごとに、全身または部位についての密度を予め格納しておき、画像解析の結果に基づいて、質量推定部１３５は適合する密度を選択的に乗じて質量推定を行ってもよい。ここで、年齢や性別は、ユーザ入力に基づいて決定されるものであってもよいし、画像解析に基づいて決定されるものであってもよい。

この他、筋肉量や骨量の情報を、例えばユーザに入力させることによって、これに基づいた密度を質量推定に使用するものとしてもよい。ここで、筋肉量や骨量は、正確には別途の測量が必要となるが、例えば「少ない・普通・多い」といった選択肢からユーザに選択操作をさせることによって、これを簡易化し、採用する密度を決定するものとしてもよい。

また、導出対象の人物について、体重・身長・性別・年齢の情報を初期値として入力させた上で密度を導出し、該密度の情報を人物ごとにメモリ１３６に格納して、以後の計測に用いるものとしてもよい。この場合、以後の計測が行われる際には、撮像画像の画像認識によって導出対象の人物を特定し、該人物に対応付けられた密度を質量推定部１３５は使用して質量推定を行えばよい。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０：撮像光学系、１１：撮像素子、１２：制御部、１３：画像処理部、１４：記憶部、１５：入力部、１６：表示部、１７：通信部、１０１：射出瞳、１０２：光軸、１３０：画像生成部、１３１：深度生成部、１３２：物体検出部、１３３：形状推定部、１３４：体積推定部、１３５：質量推定部、１３６：メモリ

Claims (17)

1. 被写体を撮像した撮像画像と、該撮像画像と対応する、前記被写体の深度方向の距離分布を示した深度情報とを取得する取得手段と、
   前記撮像画像において前記被写体の像が現れる被写体領域を検出する検出手段と、
   前記検出手段により検出された前記被写体領域の情報と前記深度情報とに基づいて、前記被写体の３次元形状を構成する構成手段と、
   前記構成手段により構成された前記被写体の３次元形状に基づいて、前記被写体の体積を導出する導出手段と、
   を有することを特徴とする画像処理装置。
2. 前記構成手段は、前記被写体の３次元形状のうちの、前記撮像画像及び前記深度情報に現れていない面の形状を補間生成する補間手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記補間手段は、予め構成された３次元形状に基づいて、前記現れていない面の形状を補間することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間手段は、前記撮像画像及び前記深度情報とは異なる撮像方向について得られた異なる深度情報に基づいて、前記現れていない面の形状を補間することを特徴とする請求項２に記載の画像処理装置。
5. 前記深度情報を取得すべき撮像方向を提示する第１の提示手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の提示手段による前記深度情報を取得すべき撮像方向の提示は、前記被写体の該撮像方向における外形を提示することによりなされる請求項５に記載の画像処理装置。
7. 前記被写体は、被服を着用した状態の人物であり、
   前記構成手段は、前記被写体領域の情報と前記深度情報とに基づいて構成された前記被写体の３次元形状を、被服を除外した状態となるよう変形する変形手段を有する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記導出手段により導出された前記被写体の体積に、所定の密度を乗じることで、前記被写体の質量を推定する推定手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記所定の密度は、前記被写体の性別及び年齢の少なくともいずれかに応じて選択的に決定されるものであり、
   前記画像処理装置は、前記被写体の性別及び年齢の少なくともいずれかを解析する解析手段をさらに有する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記所定の密度は、前記被写体の性別及び年齢の少なくともいずれかに応じて選択的に決定されるものであり、
    前記画像処理装置は、前記被写体の性別及び年齢の少なくともいずれかを指示する入力を受け付ける入力手段をさらに有する
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記所定の密度は、前記被写体の部位ごとに定められるものであり、
    前記推定手段は、前記被写体の各部位の体積に対して、該部位について定められた前記所定の密度を乗じることで、前記被写体の質量を推定する
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は、前記推定手段により推定された前記被写体の質量を提示する第２の提示手段をさらに有することを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
13. 撮像光学系を介して被写体を撮像し、撮像画像を生成する撮像手段と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、を有し、
    前記取得手段は、前記撮像手段により生成された前記撮像画像を取得する
    ことを特徴とする撮像装置。
14. 前記撮像手段は、前記撮像光学系の異なる瞳領域を通過した光束に係る複数の画像を撮像するよう構成され、
    前記複数の画像に基づいて、前記撮像画像に対応する前記深度情報が生成される
    ことを特徴とする請求項１３に記載の撮像装置。
15. 被写体を撮像した撮像画像と、該撮像画像と対応する、前記被写体の深度方向の距離分布を示した深度情報とを取得する取得工程と、
    前記撮像画像において前記被写体の像が現れる被写体領域を検出する検出工程と、
    前記検出工程において検出された前記被写体領域の情報と前記深度情報とに基づいて、前記被写体の３次元形状を構成する構成工程と、
    前記構成工程において構成された前記被写体の３次元形状に基づいて、前記被写体の体積を導出する導出工程と、
    を有することを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。