JP2018132377A - 立体形状測定装置、制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】立体形状の測定において遮蔽を生じさせる物体を認識し、該物体に基づいた好適な別の測定位置を導出する。【解決手段】立体形状測定装置は、測定範囲に存在する物体について、測定位置からの距離を示す距離情報を取得する。また装置は、測定範囲に存在する物体のうち、立体形状の測定対象とする対象物体を選択し、距離情報に基づいて対象物体を遮蔽していると推定される遮蔽物体が存在する場合に、該遮蔽物体による遮蔽が生じないと推定される別の測定位置を導出する。このとき装置は、遮蔽物体の大きさ及び測定位置からの距離と、対象物体の測定位置からの距離とに基づいて、別の測定位置を導出する。【選択図】図４

Description

本発明は、立体形状計測装置、制御方法、プログラム及び記録媒体に関し、特に、複数の撮像位置について計測を行うことで、物体の立体形状の情報を取得する技術に関する。

物体の立体形状を計測する技術に、複数回の撮像を行うことで視差を有する関係にある画像群を取得し、これらの画像の相関関係に基づき計測を行うものがある。このとき、対象の物体と撮影位置との間に障害物が存在すると、画像において対象物体の像が遮蔽されてるため、対象物体の一部の立体形状の計測ができない。特許文献１には、撮像位置を変更した場合に、遮蔽により立体形状を未計測の対象物体の部位が、該位置に基づく撮像範囲に現れているのであれば、それを提示する技術が開示されている。

特開２０１２−０１５６７４号公報

しかしながら、特許文献１に記載の技術では、ユーザは撮像位置を順次変更しながら、立体形状を未計測の部位が存在するかを確認し、かつ該部位につき視差を有する関係にある画像を取得しなければ、所望の物体の立体形状が得られない。故に、所望の物体の立体形状を得るまでに、撮像に係る必要以上の移動や回数の多い撮像をユーザに要求し得るものであった。

本発明は、上述の問題点に鑑みてなされたものであり、立体形状の測定において遮蔽を生じさせる物体を認識し、該物体に基づいた好適な別の測定位置を導出する立体形状測定装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の立体形状装置は、測定範囲に存在する物体について、測定位置からの距離を示す距離情報を取得する取得手段と、測定範囲に存在する物体のうち、立体形状の測定対象とする対象物体を選択する選択手段と、距離情報に基づき、対象物体を遮蔽していると推定される遮蔽物体が存在するか否かを判断する判断手段と、判断手段により遮蔽物体が存在すると判断された場合に、該遮蔽物体による遮蔽が生じないと推定される別の測定位置を導出する導出手段と、を有し、導出手段は、遮蔽物体の形状及び測定位置からの距離と、対象物体の測定位置からの距離とに基づいて、別の測定位置を導出することを特徴とする。

このような構成により本発明によれば、立体形状の測定において遮蔽を生じさせる物体を認識し、該物体に基づいた好適な別の測定位置を導出することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態１に係るデジタルカメラ１００において実行される測定処理を例示したフローチャート 本発明の測定処理の特徴的な処理を説明するための、撮像環境の例示的な被写体分布を示した図 本発明の実施形態１に係る次回測定の撮影位置の導出方法を説明するための図 本発明の実施形態及び変形例に係る次回測定の撮影位置の提示例を示した図 本発明の変形例１に係る次回測定の撮影位置の導出方法を説明するための図 本発明の実施形態２に係るデジタルカメラ１００において実行される測定処理を例示したフローチャート 本発明の変形例２に係る次回測定の撮影位置の導出方法を説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、立体形状測定装置の一例としての、撮像により、撮像範囲に存在する物体の距離情報を取得し、該距離情報に基づき物体の立体形状を計測可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、測定範囲に存在する物体までの測定位置からの距離を測定し、該測定結果に基づき物体の立体形状を測定することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。本実施形態では、デジタルカメラ１００は図１において破線で示されている認識部１１０を有さず、実線で示される機能構成を有するものとして説明する。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。より詳しくは、制御部１０１は、不揮発性メモリ１０２に記憶されている各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

不揮発性メモリ１０２は、例えば内蔵メモリ等の、恒久的なデータ保持を実現する、書き換え可能な記録装置である。本実施形態では不揮発性メモリ１０２には、デジタルカメラ１００の動作に係る各ブロックの動作プログラムに加え、各ブロックの動作に必要となる各種パラメータやＧＵＩデータ等を記憶する。またＲＡＭ１０３は、例えば揮発性メモリ等の、一時的なデータ保持を実現する、書き換え可能な記録装置である。ＲＡＭ１０３は、動作プログラムの展開領域としてだけでなく、各ブロックの動作において使用される作業領域、あるいは各ブロックの動作により出力された中間データを保持する格納領域として用いられるものであってよい。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、不図示の光学系を介して撮像面に結像された光学像を光電変換することにより撮像画像に係るアナログ画像信号を取得する。撮像部１０４は、得られたアナログ画像信号をＡ／Ｄ変換することで、デジタル画像信号（以下、単に撮像画像として言及する）を出力する。また本実施形態の撮像部１０４は、像面位相差検出機構が撮像素子に設けられており、画素単位で対応する被写体の距離情報が取得可能に構成されているものとする。従って、撮像が行われた場合、撮像部１０４は撮像画像の各画素の被写体について、撮像位置からの（深度方向の）距離を示す距離情報も出力する。なお、距離情報は、画素の位置関係に応じて３次元配置した点群データに変換することで（場合によっては点間の補間を行うことで）、撮像位置を基準とした撮像範囲の３Ｄデータとして実空間を構築した測定データを得ることができる。

また、本実施形態では撮像部１０４が、距離情報の取得を行う構成であるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、本実施形態では距離情報の取得に際して撮像画像の取得は必須の要素ではなく、測定範囲に存在する物体について、測定位置（撮像位置に対応）からの距離を取得可能な構成を有する装置であれば、本発明の実施は可能である。従って、距離情報の取得は、上記の像面位相差検出方式を採用した撮像素子を用いる必要はなく、例えば撮像素子とは別に同様の位相差検出方式の距離センサや深度カメラ等を用いる構成であってもよいことは言うまでもない。あるいは、撮像回数を減らすとの効果は低減され得るが、複数の異なる撮影位置において撮像された撮像画像を用いて距離情報を取得する構成により実現されるものであってもよい。

画像処理部１０５は、デジタルカメラ１００において、撮像画像あるいは後述の記録媒体１０８に記録から読み出された画像に対して、各種画像処理を適用する。例えば画像処理部１０５により表示用の画像処理が適用された画像は、提示部１０６に出力されて表示されることで、ユーザに提示される。提示部１０６は、例えばＬＣＤ等の表示装置であり、画像処理部１０５から入力された画像を表示することで、ユーザへの各種情報提示を実現する。なお、本実施形態では情報提示の手段として、表示装置を用いるものとして説明するが、情報提示はこれに限られるものでなく、音声出力等であってもよいことは言うまでもない。

操作入力部１０７は、例えばレリーズスイッチ、設定ボタン、選択ボタン等の、デジタルカメラ１００が備える各種のユーザインタフェースである。また、デジタルカメラ１００が提示部１０６に対してなされたタッチ操作により操作可能に構成される場合、操作入力部１０７は、該タッチ操作の検出センサを含むものであってよい。操作入力部１０７は、各種ユーザインタフェースに対してなされた操作を検出すると、該操作を解析し、対応する制御信号を制御部１０１に出力する。

記録媒体１０８は、例えばメモリカードやＨＤＤ等の、デジタルカメラ１００に着脱可能に接続された記録装置である。本実施形態では記録媒体１０８は、測定用撮像の指示入力がなされた場合に取得された撮像画像、及び距離情報の取得により構築された、対象物体の立体形状を示す３Ｄデータを記録するものとして説明する。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《測定処理》
このような構成をもつ本実施形態のデジタルカメラ１００で実行される測定処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば不揮発性メモリ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本測定処理は、例えばデジタルカメラ１００において、物体の立体形状を計測する測定モードが選択された際に開始されるものとして説明する。

Ｓ２０１で、撮像部１０４は制御部１０１の制御の下、測定用の撮像を行う。本撮影により、撮像部１０４は現在の撮像位置について、撮像範囲に係る撮像画像及び距離情報を取得し、出力する。

Ｓ２０２で、制御部１０１は、撮像範囲に含まれる物体のうちの立体形状の計測対象とする物体（対象物体）を選択する。対象物体の選択は、例えば提示部１０６に表示させた撮像画像に対するユーザのタッチ操作のなされた画素位置に基づき行われるものであっても、撮像画像中の所定の画素位置に存在する被写体を選択するものであってもよい。このとき制御部１０１は、対象物体の選択用に決定された画素（基準画素）に係る距離情報を参照し、同一物体であると判断する画素群、即ち対象物体の領域を特定する。対象物体の領域は、基準画素に係る距離との差異が所定の範囲内に収まる距離を示す画素として特定されればよく、例えば該基準画素を開始画素として、距離情報につき領域成長法を用いることで特定されるものであってよい。つまり、対象物体は、基準画素に係る物体と同一であるとみなす距離範囲（深度方向の範囲）に含まれる画素群で構成される領域であって、基準画素が含まれる領域として特定される。

以下では、説明を簡単にするため、図３（ａ）に示される撮影環境について測定処理が行われるケースを説明する。図３（ａ）の例では、一点鎖線で示されるデジタルカメラ１００の撮像範囲には、被写体３０１〜３０５が存在しており、Ｓ２０１において取得される撮像画像３１０は図３（ｂ）のようになる。被写体３０２が対象物体として選択される場合、撮像画像３１０において被写体３０２と被写体３０１とは像が重なるが、デジタルカメラ１００との距離が異なるため、本実施形態ではこれらの被写体の領域は分離される。即ち、制御部１０１は、図３（ｂ）中にハッチングを付して示される領域を、距離情報に基づき対象物体の領域として特定できる。

Ｓ２０３で、制御部１０１は、デジタルカメラ１００との位置関係において対象物体を遮蔽していると推定される物体（遮蔽物体）が撮像範囲に存在するか否かを判断する。遮蔽物体の有無は、例えばＳ２０２において特定された対象物体の領域に隣接する画素に、対象物体よりも短い距離を示す画素が存在するか否か存在するか否かに基づき行われるものであってよい。また、対象物体の領域の特定において、同一であるとみなす距離範囲に含まれる画素群が領域に含められているため、該領域の境界部において、領域内の画素と、これと隣接する領域外の画素との間では所定の閾値を上回る距離勾配が示される。従って、遮蔽物体の有無は、対象物体の領域の境界において閾値を上回る距離勾配が示され、対象物体よりも短い距離を示す領域が隣接して存在するのであれば、制御部１０１は該領域により対象物体の領域が遮蔽されるものとして推定する。制御部１０１は、対象物体を遮蔽していると推定される遮蔽物体が撮像範囲に存在すると判断した場合は処理をＳ２０４に移し、存在しないと判断した場合は処理をＳ２０８に移す。

なお、本実施形態では対象物体の領域の特定と遮蔽物体の存在有無の判断を異なるステップにおいて行うものとして説明するが、本発明の実施はこれに限られるものではない。即ち、対象物体と同一物体であると判断する領域の特定においては、隣接画素間で距離の比較が行われるため、その際、画素間の距離勾配が閾値を上回り、かつ対象物体よりも短い距離を示す画素が存在する場合に、遮蔽物体が存在するものとして判断してもよい。また、同様に距離情報に基づいて同一である物体と判断する撮像画像の領域を予め分類する構成においては、撮像範囲に存在する物体が各々、その深度方向の距離に応じて分類されているため、これを参照し本ステップの判断は行われるものであってよい。

Ｓ２０４で、制御部１０１は、Ｓ２０２と同様に距離情報を参照し、遮蔽物体の領域を特定する。即ち、図３（ａ）に示されるように被写体が撮像範囲に分布する場合、図３（ｂ）に示される撮像画像３１０中の被写体３０１の領域が遮蔽物体の領域として特定される。

Ｓ２０５で、制御部１０１は、対象物体の遮蔽物体により遮蔽されている部分の距離情報を取得可能な（次回測定の）撮像位置を導出する。本実施形態では次回測定の撮像位置の導出は、遮蔽物体の大きさ及び撮像位置からの距離と、対象物体の撮像位置からの距離とに基づいて行われる。より詳しくは、遮蔽物体の水平方向のサイズ及び距離と対象物体の距離とに基づき、今回の撮像において遮蔽された、対象物体の端部が遮蔽物体により遮蔽されない状態で次回測定に係る撮像画像に現れるように、次回測定の撮像位置は導出される。

図３（ａ）に示したように被写体が撮像範囲に分布する場合、Ｓ２０１における測定用の撮像により、図４に示されるように対象物体である被写体３０２のＰ１〜Ｐ３までの領域と遮蔽物体である被写体３０１のＰ２〜Ｐ５までの領域の距離情報が取得される。なお、図４は撮像範囲の全体を−ｙ方向から見た際の分布を示している。このとき、遮蔽物体によって遮蔽されるため、対象物体の水平方向の大きさは判別できない。換言すれば、距離情報の取得は撮像位置を中心として放射状に行われるため、対象物体の左の端部がＰ２〜Ｐ５の範囲のいずれの位置まで存在するかは、今回の測定用の撮像により得られた情報だけでは特定できない。

故に、本実施形態では制御部１０１は、遮蔽される最大の水平方向の大きさを対象物体が有している場合を考慮して、次回測定用に別の撮像位置を導出する。具体的には制御部１０１は、まず撮像位置から遮蔽物体の左端であるＰ２に向かう直線４０１と、対象物体の深度方向の代表距離（図４では最大距離（Ｐ１に対応））を示す直線４０２（ｚ一定）の交点Ｐ４を導出する。つまり、Ｐ４が遮蔽されている対象物体が有し得る、最大の水平方向の大きさに対応する左端となる。そして、次回測定用の撮像において該Ｐ４が撮像範囲に含まれるようにするため、制御部１０１は遮蔽物体の水平方向の大きさを考慮し、次回測定の撮像位置を選択するための基準線を決定する。図４に示されるように基準線４０３は、Ｐ４から遮蔽物体の右端であるＰ５（遮蔽物体の深度方向の最大距離を有し、かつ対象物体に最も近い点）に向かう直線の延長線として決定される。本実施形態では、ユーザが容易に認識できるよう、デジタルカメラ１００を撮像位置から水平方向に移動させた際に該基準線４０３と交わるＰ６が次回測定の撮像位置として導出される。しかしながら、次回測定の撮像位置はＰ６に限られるものではなく、基準線４０３上であればいずれの位置が採用されるものであってもよい。例えば、ユーザの移動距離を最短とするのであれば、基準線４０３と垂直に交わる直線であって、今回の撮像位置を通過する直線との交点を、次回測定の撮像位置として導出してもよい。

Ｓ２０６で、画像処理部１０５は制御部１０１の制御の下、次回測定の撮像位置への移動を指示する表示画像を生成し、提示部１０６に提示させる。次回測定の撮像位置への移動の指示は、例えば今回測定の撮像位置からの移動方向及び移動量を通知する、図５のような表示画像５０１を提示部１０６に提示させることにより行われるものであってよい。

本実施形態では、移動方向及び移動量を通知することにより次回測定の撮像位置への移動指示を行うものとして説明したが、本発明の実施はこれに限られるものではない。例えば本実施形態のデジタルカメラ１００のように測定に係り撮像画像を取得している場合、撮像範囲に含まれるよう次回測定の撮像位置を決定し、撮像画像中の該位置を識別可能に表示することで、ユーザに容易に理解ならしめるよう構成してもよい。これにより、移動の距離感を把握しにくいユーザであっても、撮像画像中で次回測定の撮像位置を目視により確認できるため、より効率的に好適な次回測定の撮像位置を提示することができる。

Ｓ２０７で、制御部１０１は、新たな撮像位置において測定用の撮像が行われたか否かを判断する。即ち、制御部１０１は、新たな撮像位置について撮像部１０４が撮像画像及び距離情報を取得し、出力したか否かを判断する。制御部１０１は、新たな撮像位置において測定用の撮像が行われたと判断した場合は処理をＳ２０３に戻し、行われていないと判断した場合は本ステップの処理を繰り返す。

一方、対象物体についての遮蔽物体が存在しない状態で距離情報の取得が行われた場合、制御部１０１はＳ２０８で、距離情報に基づき対象情報の立体形状データ（例えば３Ｄモデル）を構築して記録媒体１０８に記録し、本測定処理を完了する。

なお、本実施形態では次回測定の撮像位置をユーザに知らしめるよう、提示部１０６を用いて提示するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、レールやクレーン等、デジタルカメラ１００の位置を移動制御させる構成が備わっている撮像システム等であれば、ユーザに移動に係る情報提示を行う必要はなく、次回測定の撮像位置の情報を移動制御系に伝達すればよい。従って、次回測定の撮像位置の提示が本発明の実施において必須の構成でないことは、容易に理解されよう。

以上説明したように、本実施形態の立体形状測定装置によれば、立体形状の測定において遮蔽を生じさせる物体を認識し、該物体に基づいた好適な別の測定位置を導出することができる。より詳しくは、装置は測定範囲に存在する物体について、測定位置からの距離を示す距離情報を取得する。そして、測定範囲に存在する物体のうち、立体形状の測定対象とする対象物体を選択し、距離情報に基づいて対象物体を遮蔽していると推定される遮蔽物体が存在する場合に、該遮蔽物体による遮蔽が生じないと推定される別の測定位置を導出する。このとき装置は、遮蔽物体の大きさ及び測定位置からの距離と、対象物体の測定位置からの距離とに基づいて、別の測定位置を導出する。

［変形例１］
上述した実施形態１では、図４のＰ４とＰ５とに基づき基準線４０３を定め、次回測定の撮像位置を導出するものとして説明した。しかしながら、上述したように距離情報は撮像位置を基準に取得されるものであるため、撮像位置から確認することができない遮蔽物体の背面（深度方向においてデジタルカメラ１００と異なる方向に存在する面）については立体形状を特定できない。即ち、遮蔽物体である被写体３０１については、図６（ａ）に太線６０１で示されるように一部の面のみの距離情報が取得された状態であるため、一点鎖線６０２で示される遮蔽物体の背面の立体形状は不明である。

この場合、例えばＰ４とＰ５とに基づいて次回測定の撮像位置を決定すると、対象物体の大きさによっては、遮蔽物体の背面の隆起によって遮蔽が生じ得る。即ち、遮蔽物体が有する厚み（深度方向に遮蔽物体が占有する範囲）によっては、実施形態１と同様にＰ５に基づいて基準線を定めた場合には、次回測定の撮像位置において測定を行っても、遮蔽物体による対象物体の遮蔽が解消されない可能性がある。故に、図６（ｂ）に示されるよう、遮蔽物体の前面（デジタルカメラ１００側の計測が可能であった面）と対称形を有して遮蔽物体の背面の立体形状が形成されているものと推定し、制御部１０１は背面形状６１１を定義する。そして制御部１０１は、該背面と交わることなく一点Ｐ７で接する、Ｐ４を通過する直線を基準線６１２として決定し、該基準線に基づき次回測定の撮像位置を導出すればよい。なお、図６（ｂ）の例では遮蔽物体の前面と背面が線対称形であるものとして説明したが、遮蔽物体の形状推定はこれに限られるものではなく、その他の手法が用いられるものであってよい。

このように、遮蔽物体の背面の立体形状を推定することで、より少ない撮像回数で対象物体の測定が完了するであろう別の撮像位置を好適に導出することができる。

［実施形態２］
上述した実施形態１及び変形例１では、遮蔽物体により遮蔽される対象物体の水平方向の大きさが最大である場合を想定し、次回測定の撮像位置を導出する態様について説明するが、本発明の実施はこれに限られるものではない。即ち、対象物体がどのような被写体であれば特定可能な構成であれば、対象物体の形状（大きさ等）は推定可能であるため、これに基づきユーザの移動量を低減する次回測定の撮像位置を提示することが可能である。

《デジタルカメラ１００の構成》
本実施形態のデジタルカメラ１００は、実施形態１の機能構成に加え、図１に破線で示される認識部１１０をさらに有する。認識部１１０は、入力された撮像画像（またはその領域）が、人物の顔や動物、建物等の所定の被写体特徴パターンに該当するか否かを検出することで、撮像画像に含まれる被写体の種別を認識する。

《測定処理》
以下、本実施形態のデジタルカメラ１００で実行される測定処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば不揮発性メモリ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本測定処理は、例えばデジタルカメラ１００において、物体の立体形状を計測する測定モードが選択された際に開始されるものとして説明する。なお、本実施形態の測定処理において、実施形態１の測定処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特徴的な処理を行うステップについてのみ説明する。

Ｓ２０４において遮蔽物体の領域を特定すると、制御部１０１はＳ７０１で、Ｓ２０２において特定した対象物体の領域の画像について認識部１１０に認識処理を行わせ、対象物体が所定の被写体のいずれかに該当するか否かを判断する。制御部１０１は、認識処理の認識結果を参照し、対象物体が所定の被写体に該当すると判断した場合は処理をＳ７０２に移し、該当しないと判断した場合は処理をＳ２０５に移す。

Ｓ７０２で、制御部１０１は、対象物体の遮蔽物体により遮蔽されている部分の距離情報を取得可能な次回測定の撮像位置を導出する。対象物体の被写体種別が認識されている場合、実施形態１とは異なり、該対象物体の遮蔽された端部の位置を推定することができる。例えば図３（ａ）に示したように対象物体である被写体３０２が人物である場合、認識時に検出された人物の顔領域に対して、該顔領域の位置を基準に水平方向に所定倍の大きさの胴体が存在するであろうことが、対象物体について推定できる。従って、制御部１０１は、該胴体の左端にあたる点からＰ５に向かう直線の延長線を基準線とし、次回測定の撮像位置を導出し、処理をＳ２０６に移す。なお、被写体認識に基づく形状推定は人物に限られるものではなく、例えば建造物であれば矩形状等、予め定められたルールに基づき種々の種別の被写体について可能であってよい。

このようにすることで、本実施形態の立体形状測定装置によれば、対象物体の被写体種別を認識することで対象物体の形状推定を行うことができるため、これに基づき、より移動量の少ない好適な次回測定の撮像位置を提示することができる。なお、本実施形態では対象物体を遮蔽していると推定される遮蔽物体が存在する場合に、対象物体の被写体種別を認識するものとして説明したが、撮像画像につき認識処理を行い、種別が判明している被写体について対象物体の選択を受け付ける構成としてもよい。

［変形例２］
上述した実施形態２では、対象物体の被写体種別を認識し、認識結果に基づき対象物体の形状推定を行う態様について説明した。一方、変形例１について示したように、遮蔽物体の形状（特に厚み）によっては、遮蔽物体の右端を基準に導出された次回測定の撮像位置での測定において、対象物体の遮蔽が解消されない場合がある。

従って、遮蔽物体が存在する場合、対象物体だけでなく遮蔽物体についても被写体種別を認識し、該認識結果に基づき遮蔽物体の背面の立体形状を推定して、次回測定の撮像位置を導出してもよい。具体的には、図８に示されるように対象物体である被写体３０２が人物であるものと認識されることで、対象物体の存在するであろう領域の左端Ｐ８を推定することができる。また遮蔽物体である被写体３０１が人物であるものと認識されることで、距離情報に現れていない背面も含めて遮蔽物体の立体形状を、推定に基づき定義することができる。故に、制御部１０１は、遮蔽物体の背面と交わることなく一点Ｐ９で接する、Ｐ８を通過する直線を基準線８０１として決定し、該基準線に基づき次回測定の撮像位置であるＰ１０を導出すればよい。このようにすることで、対象物体及び遮蔽物体を認識することで、対象物体の水平方向の大きさと遮蔽物体の形状とを被写体種別に基づいて推定することができるため、変形例１の態様よりも好適な次回測定の撮像位置を導出することができる。

なお、上述した実施形態及び変形例１では、距離情報に基づき遮蔽物体の有無及び対象物体との分離を行うものとして説明したが、遮蔽物体の有無については、認識結果に基づいて行われるものとしてもよい。即ち、例えば人物の顔であることを認識部１１０が認識する構成では、顔領域の大きさによりその前後関係や胴体部の遮蔽関係が生じるか否かを判断することができる。また深度方向の距離範囲に限らず、被写体認識結果を併用することで、分離の閾値を動的に設定するよう構成してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：制御部、１０２：不揮発性メモリ、１０３：ＲＡＭ、１０４：撮像部、１０５：画像処理部、１０６：提示部、１０７：操作入力部、１０８：記録媒体、１１０：認識部

Claims (12)

1. 測定範囲に存在する物体について、測定位置からの距離を示す距離情報を取得する取得手段と、
   前記測定範囲に存在する物体のうち、立体形状の測定対象とする対象物体を選択する選択手段と、
   前記距離情報に基づき、前記対象物体を遮蔽していると推定される遮蔽物体が存在するか否かを判断する判断手段と、
   前記判断手段により前記遮蔽物体が存在すると判断された場合に、該遮蔽物体による遮蔽が生じないと推定される別の測定位置を導出する導出手段と、を有し、
   前記導出手段は、前記遮蔽物体の大きさ及び前記測定位置からの距離と、前記対象物体の前記測定位置からの距離とに基づいて、前記別の測定位置を導出する
   ことを特徴とする立体形状測定装置。
2. 前記導出手段は、前記遮蔽物体の大きさ及び前記測定位置からの距離と、前記対象物体の前記測定位置からの距離とに基づいて、前記遮蔽物体により遮蔽された前記対象物体の端部の位置を推定し、該端部が前記遮蔽物体により遮蔽されないように前記別の測定位置を導出することを特徴とする請求項１に記載の立体形状測定装置。
3. 前記測定範囲に対応する撮像画像を取得する撮像手段と、
   前記撮像画像に基づき、前記対象物体及び前記遮蔽物体の少なくともいずれかについて、所定の被写体に該当するか否かを認識する認識手段と、をさらに有し、
   前記導出手段は、さらに前記認識手段による認識結果に基づいて、前記別の測定位置を導出することを特徴とする請求項２に記載の立体形状測定装置。
4. 前記導出手段は、前記認識手段による前記対象物体の認識結果に応じて、前記対象物体の端部の位置を推定することを特徴とする請求項３に記載の立体形状測定装置。
5. 前記導出手段は、前記認識手段による前記遮蔽物体の認識結果に基づいて該遮蔽物体の背面の立体形状を推定し、該遮蔽物体の背面の立体形状と前記対象物体の端部の位置とに基づいて前記別の測定位置を導出することを特徴とする請求項３または４に記載の立体形状測定装置。
6. 前記判断手段は、前記認識手段による認識結果に基づいて、前記遮蔽物体が存在するか否かを判断することを特徴とする請求項３乃至５のいずれか１項に記載の立体形状測定装置。
7. 前記別の測定位置を提示する提示手段をさらに有し、
   前記提示手段は、前記別の測定位置を前記撮像画像中に識別可能に提示することを特徴とする請求項３乃至６のいずれか１項に記載の立体形状測定装置。
8. 前記別の測定位置を提示する提示手段をさらに有し、
   前記提示手段は、前記測定位置から前記別の測定位置までの移動方向及び移動量を提示することを特徴とする請求項１乃至７のいずれか１項に記載の立体形状測定装置。
9. 前記判断手段は、前記距離情報において、前記対象物体に対応する領域の境界において閾値を上回る距離勾配を示し、前記対象物体よりも短い距離を示す物体に対応する領域が存在する場合に、前記遮蔽物体が存在すると判断することを特徴とする請求項１乃至８のいずれか１項に記載の立体形状測定装置。
10. 測定範囲に存在する物体について、測定位置からの距離を示す距離情報を取得する取得工程と、
    前記測定範囲に存在する物体のうち、立体形状の測定対象とする対象物体を選択する選択工程と、
    前記距離情報に基づき、前記対象物体を遮蔽していると推定される遮蔽物体が存在するか否かを判断する判断工程と、
    前記判断工程において前記遮蔽物体が存在すると判断された場合に、該遮蔽物体による遮蔽が生じないと推定される別の測定位置を導出する導出工程と、を有し、
    前記導出工程において、前記遮蔽物体の大きさ及び前記測定位置からの距離と、前記対象物体の前記測定位置からの距離とに基づき、前記別の測定位置が導出される
    ことを特徴とする立体形状測定装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の立体形状測定装置の各手段として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。

Images