JP2018124973A - 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 - Google Patents

Abstract

【課題】モデルベースの３次元物体検出において、センシングによって得られた物体の３Ｄデータが不足している場合にも、参照用データとのマッチングによる物体検出の可能性を向上させる。【解決手段】物体検出システム１００は、対象物体の３Ｄグラフを参照用３Ｄデータとして記憶する記憶部５と、現実空間をセンシングして計測３Ｄデータを取得する測距部２と、計測３Ｄデータにおける検出対象領域及びそれに隣接する遮蔽領域を特定する領域特定部４１と、遮蔽領域に疑似３Ｄデータを付与する疑似３Ｄデータ付与部４４と、計測３Ｄデータと疑似３Ｄデータとに基づいて、クエリ３Ｄデータとしてクエリ３Ｄグラフを生成するグラフ生成部４３と、クエリ３Ｄデータと参照用３Ｄデータとのマッチングを行うことで対象物体の検出を行う検出処理部４５とを備えている。【選択図】図２

Description

本発明は、現実空間をセンシングして対象物体を検出する物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法に関する。

従来より、現実空間をセンシングして３Ｄデータを得て、この３Ｄデータに基づいて対象物体を検出する３次元物体検出（認識）技術が知られている。この３次元物体検出技術は、ＡＲ（Augmented Reality：拡張現実）、ＶＲ（Virtual Reality：仮想現実）、ＭＲ（Mixed Reality: 複合現実）に応用される。

モデルベースの３次元物体検出では、あらかじめ検出すべき物体の３Ｄデータ（ＣＡＤデータ）を参照用３Ｄデータとして用意しておき、デプスセンサ等の３Ｄデータ取得手段によるセンシングによって現実空間の３Ｄデータを取得し、取得した３Ｄデータと参照用３Ｄデータとのマッチングを行うことで物体の検出を行う。

本願発明に関連する技術を記載した文献として、以下の文献がある。

特表２０１３−５１３１９１号公報

相田優，柳井啓司，柴原一友，藤本浩司，「服飾画像マイニングのための衣類領域からの色情報抽出"，電子情報通信学会技術報告，vol. 111，no. 478，IE2011-173，pp.235-240，2012. Shuichi Akizuki, Manabu Hashimoto，"Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs"，Proc. the 40th Annual Conference of the IEEE Industrial Electronics Society，pp.5266-5271，Oct. 2014． 金崎 朝子，Emanuele Rodola，原田 達也，「グラフマッチング学習を用いたRGB-D画像からの物体検出」，第20回ロボティクスシンポジア，pp.432-437，2015． Tao Wang，Haibin Ling，Congyan Lang，Jun Wu，"Branching Path Following for Graph Matching"，Computer Vision - ECCV 2016，pp.508-523． Fayao Liu，Chunhua Shen，Guosheng Lin，"Deep Convolutional Neural Fields for Depth Estimation from a Single Image"，ArXive-prints 1411, 6387． Shu Liu，Xiaojuan Qi，Jianping Shi，Hong Zhang，Jiaya Jia，"Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation"，CVPR，2016．

上記のように、モデルベースの３次元物体検出では、現実空間をセンシングして物体の３Ｄデータを取得する必要があるが、実際には物体の一部の３Ｄデータが得られないことがある。例えば、３Ｄデータを光学的に取得する場合において、３Ｄデータ取得手段と物体との間に遮蔽物が存在するときには、遮蔽部分について当該物体の３Ｄデータが欠落する。また、物体の一部が金属や光沢度の高い材質であったり、透明であったりする場合にも、当該部分について有効な３Ｄデータが得られないことがある。さらには、そもそも３Ｄデータ取得手段の設置位置の関係で、原理上、物体の３Ｄデータがある限定的な範囲でしか得られないこともある。

このように、現実空間の物体の３Ｄデータに欠落（点群不足）があると、参照用３Ｄデータとのマッチングが成立せず、あるいは、マッチングの精度が低下してしまうことがある。

本発明は、モデルベースの３次元物体検出において、センシングによって得られた物体の３Ｄデータが不足している場合にも、参照用データとのマッチングによる物体検出の可能性を向上させることを目的とする。

本発明の一態様の物体検出システムは、対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段と、現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得手段と、前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与手段と、前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理手段とを備えた構成を有している。

この構成により、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上できる。

上記の物体検出システムは、前記計測３Ｄデータにおける検出対象領域を特定する領域特定手段をさらに備えていてよく、前記疑似３Ｄデータ付与手段は、前記検出対象領域に隣接する領域を前記欠落領域として前記疑似３Ｄデータを付与してよい。

上記の物体検出システムは、３Ｄデータをノードとするグラフを生成するグラフ生成手段をさらに備えていてよく、前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段と、前記３Ｄ点群データから前記計測３Ｄデータとして特徴点を抽出する特徴点抽出手段とを含んでいてよく、前記記憶手段は、前記参照用３Ｄデータとして、前記対象物体の特徴点のグラフを記憶してよく、前記疑似３Ｄデータ付与手段は、前記疑似３Ｄデータとして疑似特徴点を付与してよく、前記グラフ生成手段は、前記計測３Ｄデータ及び前記疑似３Ｄデータをノードとするクエリグラフを生成してよく、前記検出処理手段は、前記クエリグラフを前記クエリ３Ｄデータとして、前記参照用３Ｄデータとのグラフマッチングを行ってよい。

この構成により、特徴点のグラフを用いたグラフマッチングによって対象物体を検出できる。なお、センシングによって現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段としては、例えば、デプスセンサ、ステレオカメラ画像を用いたステレオ測距、深層畳み込みニューラルネットワーク（Deep Convolutional Neural Network）を用いて単眼カメラ画像からデプス画像を推定する方法、ＬｉＤＡＲ（Light Detection and Ranging）とカメラを組み合わせて密なデプスデータを取得する方法等を採用できる。

上記の物体検出システムは、前記現実空間を撮影して画像を取得する画像取得手段と、前記画像から手前物体を検出する物体検出手段と、前記手前物体の検出結果に基づいて、前記欠落領域を推定する推定手段とをさらに備えていてよく、前記疑似３Ｄデータ付与手段は、前記推定手段にて推定された前記欠落領域に前記疑似３Ｄデータを付与してよい。

この構成により、画像（ＲＧＢデータ）に対する物体検出によって検出可能な物体については画像から検出され、画像からは検出されない物体について、３Ｄデータを用いた物体検出で検出をすることができる。

上記の物体検出システムは、前記手前物体をグラフカット処理によって切り出して、切り出した部分のエッジを膨張させた輪郭を算出する輪郭算出手段をさらに備えていてよく、前記推定手段は、前記計測３Ｄデータから抽出した特徴点であって、前記輪郭に対応する特徴点を含む直方体を前記欠落領域として推定してよい。

上記の物体検出システムにおいて、前記疑似３Ｄデータ付与手段は、前記欠落領域に奥行き方向に並ぶ複数の仮想平面を設定し、前記仮想平面内において複数の同心楕円上に前記疑似３Ｄデータを付与してよい。

上記の物体検出システムは、前記現実空間を撮影して画像を取得する画像取得手段をさらに備えていてよく、前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段を備えていてよく、前記領域特定手段は、前記３Ｄ点群データと同期する前記画像を用いたセグメント分け情報に基づいて、前記検出対象領域を特定してよい。

この構成により、画像に基づいて検出対象領域を特定できる。

上記の物体検出システムにおいて、前記領域特定手段は、前記３Ｄ点群データから、距離が所定の範囲にある領域を除外して前記検出対象領域を特定してよい。

この構成により、無駄な領域を探索することなく、対象物体を検出することができ、検出に要する処理時間を削減できる。例えば、距離が所定の閾値以上である領域を除外してよい。

上記の物体検出システムは、前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段を備えていてよく、前記領域特定手段は、前記３Ｄ点群データに基づいて、対象物体を遮蔽する遮蔽領域を前記欠落領域として特定してよい。

この構成により、遮蔽領域に対して疑似３Ｄデータを付与することができる。

上記の物体検出システムにおいて、前記領域特定手段は、前記検出対象領域に隣接する領域であって、前記３Ｄ点群データの距離が前記検出対象領域の前記３Ｄ点群データの距離より短く、かつ、前記３Ｄ点群データの距離と前記検出対象領域の前記３Ｄ点群データとの距離との差が閾値以上である領域を前記遮蔽領域として、前記欠落領域を特定してよい。

この構成により、好適に遮蔽領域を特定できる。

上記の物体検出システムにおいて、前記疑似３Ｄデータ付与手段は、前記検出対象領域内の起点を中心とする球面上に前記疑似３Ｄデータを付与してよい。

この構成により、起点を中心とする球面上に疑似３Ｄデータを付与できる。なお、起点は、検出対象領域から抽出された特徴点であってよい。検出対象領域内の遮蔽領域に近い点を起点とすることができる。また、起点を複数としてもよく、所定の距離を複数設定してもよい。疑似３Ｄデータ付与手段は、上記に代えて、記憶部に参照用３Ｄデータが記憶された複数の対象物体を重心で位置合わせして得られた平均分布を用いて疑似３Ｄデータを付与してよい。

上記の物体検出システムにおいて、前記計測３Ｄデータよりも前記疑似３Ｄデータの重みが軽くなるように前記クエリ３Ｄデータに重みづけがされてよい。

この構成により、実際のセンシングで得られた計測３Ｄデータの情報をより重視してマッチングを行うことができる。より具体的には、起点から遠い（ないしは検出対象領域から遠い）疑似３Ｄデータほど重みが軽くなるように重みづけを行ってよい。

本発明の一態様の物体検出装置は、対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段と、現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得手段と、前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与手段と、前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理手段とを備えた構成を有している。

この構成によっても、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上できる。

本発明の一態様の物体検出プログラムは、対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段を備えた情報処理装置に、現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得ステップと、前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与ステップと、前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理ステップとを実行させる構成を有している。

この構成によっても、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上できる。

本発明の一態様の物体検出方法は、対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段を備えた情報処理装置における物体検出方法であって、現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得ステップと、前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与ステップと、前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理ステップとを含む構成を有している。

この構成によっても、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上できる。

本発明によれば、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上できる。

本発明の第１の実施の形態の物体検出システムの利用態様を示す図 本発明の第１の実施の形態の物体検出システムの構成を示すブロック図 本発明の第１の実施の形態の物体が遮蔽領域において遮蔽されている状態の例を示す図 本発明の第１の実施の形態の３Ｄ点群データの取得の例を示す図 本発明の第１の実施の形態の疑似特徴点の付与の例を示す図 本発明の第１の実施の形態のグラフ生成部にて生成されたクエリ３Ｄグラフの例を示す図 本発明の第１の実施の形態の複数の対象物体の平均分布の生成の例を示す図 本発明の第１の実施の形態のグラフマッチングの概念図 本発明の第１の実施の形態の物体検出システムの動作を示すフロー図 本発明の第２の実施の形態の物体検出システム１００の構成を示すブロック図 本発明の第２の実施の形態のＲＧＢ−Ｄカメラによって得られた画像データの例 本発明の第２の実施の形態の画像データと共に３Ｄ点群データを可視化した例 本発明の第２の実施の形態の手前物体の検出の結果を示す図 本発明の第２の実施の形態の手前物体検出部によって得られた検出枠に対してグラフカット処理を行って切り出された物体（ｐｅｒｓｏｎ）の画像 本発明の第２の実施の形態の二値化によって得られた二値化画像 本発明の第２の実施の形態の二値化画像から生成された輪郭画像 本発明の第２の実施の形態の３ＤＳＩＦＴによって抽出された３Ｄキーポイントを示す図 本発明の第２の実施の形態の遮蔽空間として推定されるバウンディングボックスを示す図 本発明の第２の実施の形態の推定された遮蔽空間ＯＳの例を示す図 本発明の第２の実施の形態の疑似３Ｄデータの付与を説明する図 本発明の第２の実施の形態の物体検出システムの動作を示すフロー図

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の物体検出システムの利用態様を示す図である。本実施の形態では、物体検出システムがヘッドマウントディスプレイ（ＨＭＤ）に適用されている。ＨＭＤ１００は、ユーザＵの頭部に装着されて、ユーザＵの眼前でホログラム画像を表示する。ユーザＵは、画像越しに現実空間も見ることができる。

ＨＭＤ１００は、現実空間を撮影して画像データを取得する画像取得部としてのカメラと、現実空間に対して測距を行って３Ｄ点群データを取得する測距部としてのデプスセンサとを備えている。ＨＭＤ１００は、画像データ及び３Ｄ点群データを用いて、現実空間にある物体を検出（認識ないし識別）し、検出した物体に関連付けてホログラム画像を生成し、生成したホログラム画像をユーザＵの眼前で表示する。

図１の例では、ユーザＵの前のテーブルには、物体Ｏ１〜Ｏ５が存在している。ＨＭＤ１００を装着したユーザＵは、物体Ｏ１〜Ｏ５を含む現実空間をＨＤＭ１００越しに見ることができるとともに、検出した物体Ｏ１〜Ｏ５（の一部又は全部）に関連付けて表示された画像を見ることができる。このようなＨＭＤ１００としては、例えばマイクロソフト社のＨＯＬＯＬＥＮＳ（登録商標）を用いることがでる。

図１に示すように、ユーザＵが手Ｕｈを伸ばすと、物体Ｏ１〜Ｏ５に対してこの手Ｕｈが遮蔽物となって、ＨＭＤ１００のカメラやデプスセンサから見た手Ｕｈの裏側は遮蔽領域Ｓとなる。図１の例では、手Ｕｈによって物体Ｏ３の一部が遮蔽され、この被遮蔽部分については、ＨＭＤ１００のカメラやデプスセンサでは物体Ｏ３の画像データや３Ｄ点群データが得られない。本実施の形態のＨＭＤ１００は、このような遮蔽（オクルージョン）によって物体の検出ができなくなり、あるいは検出精度が低下するという課題を解決する。

図２は、ＨＤＭとして構成される本実施の形態の物体検出システム１００の構成を示すブロック図である。物体検出システム１００は、上述のように、現実空間を撮影して画像データを取得する画像取得部１と、現実空間に対して測距を行って３Ｄ点群データを取得する測距部２とを備えている。画像取得部１と測距部２は、ＨＭＤにおいて隣接して設けられ、ほぼ同じ視野を有している。

画像取得部１及び測距部２は、所定のフレームレート（例えば、１／３０秒）で撮影及び測距を行い、取得した画像データ及び３Ｄ点群データを同期部３に出力する。この３Ｄ点群データの各点データは、平面座標値とデプス値（距離）とからなる。すなわち、物体検出システム１００では、入力データとして、視野内の各座標について、画像取得部１にて画素値（ＲＧＢ）が得られ、測距部２にてデプス値（Ｄ）が得られる。

同期部３は、画像データと３Ｄ点群データとの同期をとって、同期のとれた（同一タイミングで取得された）画像データと３Ｄ点群データをセットにして入力データとして情報処理部４に出力する。情報処理部４は、領域特定部４１と、特徴点抽出部４２と、グラフ生成部４３と、疑似３Ｄデータ付与部４４と、検出処理部４５とを備えている。

領域特定部４１は、画像データと３Ｄ点群データとに基づいて、物体検出をすべき領域（検出対象領域）を特定する。具体的には、領域特定部４１は、画像データを用いたスーパーピクセル画像によるセグメント分け（小領域への分割）を行う（非特許文献１参照）。より具体的には、領域特定部４１は、画像データの画素をノードとみなした最小全域木を構成していく過程で、適時、木の分断を行うことでセグメント分けを行う。

このとき、領域特定部４１は、３Ｄ点群データに基づいて、距離が所定の閾値（例えば、ユーザＵの手が届かない距離）以上である小領域を対象から除外する。これにより、無駄な領域を探索することなく、対象物体を探索することができ、処理時間を削減することができる。領域特定部４１は、さらに、測距部２により得られた３Ｄ点群データが示すデプス値が互いに近い、互いに隣接するセグメントどうしを連結して、連結領域とする。一般に、１フレームから複数の連結領域が特定される。

この結果、このある物体が遮蔽されていない場合には、当該物体に対応する領域が１つの連結領域とされる。ある物体の一部が遮蔽されている場合は、その可視部分が１つの連結領域とされ、遮蔽部分は別の連結領域（遮蔽領域）とされる。そして、可視領域と遮蔽領域とは互いに接している。

特徴点抽出部４２は、領域特定部４１において検出対象領域として特定された領域について、３Ｄ点群データから特徴点を抽出する。具体的には、特徴点抽出部４２は、遮蔽に頑健であるとされる、可観測性を用いたキーポイント抽出手法（非特許文献２参照）を用いて特徴点を抽出する。これにより、対象物体の３Ｄ点群データの中で有用な点を特徴点として扱うことができる。ただし、対象物体の大きな割合を覆い隠すような大きな遮蔽がある場合には、わずかな特徴点しか得られないことがある。

そこで、疑似３Ｄデータ付与部４４は、遮蔽がある場合には、その遮蔽領域に疑似特徴点を散布配置し、検出処理部４５では、この疑似特徴点も用いて物体検出を行う。領域特定部４１における遮蔽領域Ｓの特定、及び疑似３Ｄデータ付与部４４における疑似特徴点の付与について、以下詳細に説明する。

図３Ａは、物体Ｏ３が遮蔽領域Ｓにおいて遮蔽されている状態を示す図である。図３Ａの例では、領域特定部４１によって物体Ｏ３の可視部分が検出対象領域Ｋとして特定されている。図３Ａに示すように、この例では、物体Ｏ３は遮蔽領域Ｓにおいて遮蔽されている。この場合には、図３Ｂに示すように、遮蔽領域Ｓにおいては本来得られるはずの物体Ｏ３の３Ｄ点群データ（図３Ｂの△：非可視３Ｄ点群データ）が得られず、物体Ｏ３については、遮蔽されていない検出対象領域Ｋからしか３Ｄ点群データ（図３Ｂの○：可視３Ｄ点群データ）が得られない。

そこで、まず、領域特定部４１は、連結領域の中から遮蔽領域Ｓを特定する。領域特定部４１は、ある連結領域Ａ１について、当該連結領域Ａ１に隣接する連結領域Ａ２であって、かつ、連結領域Ａ１との境界において距離（デプス値）の差が所定の閾値以上であり、連結領域Ａ１よりも近い距離にある（小さいデプス値を有する）連結領域Ａ２がある場合に、連結領域Ａ１を検出対象領域Ｋとするとともに、連結領域Ａ２を連結領域Ａ１の物体に対する遮蔽領域Ｓとして特定する。

疑似３Ｄデータ付与部４４は、領域特定部４１から検出対象領域Ｋと遮蔽領域Ｓの特定結果を受けて、遮蔽領域Ｓと検出対象領域Ｋとの境界Ｂを特定し、境界Ｂに近い可視３Ｄ点群データの特徴点を起点特徴点として選択する。図３Ｃの例では、２つの起点特徴点が選択されている。疑似３Ｄデータ付与部４４は、起点特徴点を中心とする半径の異なる複数の球面（スケール球）上に疑似特徴点を配置する。なお、このスケール球の半径は、対象物体の大きさに応じて可変に設定してよく、複数の対象物体がある場合には、複数のサイズのスケール球を設定してよい。

可視領域である検出対象領域Ｋについては、物体Ｏ３の可視３Ｄ点群データが得られており、ここに疑似特徴点を配置すると不要な情報を増やすことになってしまうので、疑似３Ｄデータ付与部４４が疑似特徴点を配置する領域は、同様のデプス値を持つ点群塊、あるいは、同スーパーピクセル内に存在するデプス塊において、手前側に遮蔽物体があると思われるデプス変化が顕著な境界領域の奥側とする。すなわち、遮蔽が原因であれば、手前側に何らかの別物体があるので、その奥側の領域であって、かつ、仮想的に配置する球面の手前側だけに、疑似特徴点を配置する。疑似３Ｄデータ付与部４４は、遮蔽領域Ｓに疑似特徴点を配置し、物体Ｏ３についての可視３Ｄ点群データが得られている検出対象領域Ｋには疑似特徴点を配置しない。

図４は、グラフ生成部４３において生成されたクエリ３Ｄグラフの例を示す図である。グラフ生成部４３は、領域特定部４１にて特定された領域において特徴点抽出部４２において可視領域である検出対象領域から抽出された特徴点及びそれらの特徴点のいずれかを起点特徴点として疑似３Ｄデータ付与部４４で配置された疑似特徴点をクエリ特徴点として、これらのクエリ特徴点をノードとする３Ｄグラフ（クエリ３Ｄグラフ）を生成する。なお、グラフ生成部４３は、遮蔽がない場合には、検出対象領域から抽出された特徴点のみをクエリ特徴点として、クエリ３Ｄグラフを生成する。

グラフ生成部４３は、クエリ３Ｄグラフの生成において、対象物体のスケールに応じてノード間の距離に制限を設ける。この制限は静的（固定）、あるいは動的に設定してよい。例えば、対象物体のなかでコップが最大である場合において、コップの幅、奥行き、高さのうち、最大長が１５ｃｍであるときは、その３０％にあたる４．５ｃｍ以下のエッジを生成しないようにし、かつ、１５ｃｍ以上のエッジを生成しないようにする。

また、グラフ生成部４３は、クエリ３Ｄグラフの生成において、各ノードに、信頼度（確率）に応じて重みづけをする。このとき、グラフ生成部４３は、検出対象領域の特徴点には１．０、疑似特徴点にはそれ以下の重みを付与する。具体的には、グラフ生成部４３は、疑似特徴点に対して、起点特徴点からの距離が遠いほど小さい重みを付与する。

グラフ生成部４３は、これに代えて、起点特徴点を中心とするガウス分布に従って重みを付与してもよい。また、グラフ生成部４３は、これに代えて、対象物体の平均分布を用いてもよい。すなわち、対象物体が複数ある場合に、図５に示すようにその平均場を計算し、複数の対象物体の平均分布を生成しておき、これを適用することで、平均分布に従って各疑似特徴点に重みを付与してよい。

検出処理部４５は、クエリ３Ｄグラフと画像データと３Ｄ点群データとを用いて、グラフ生成部４３で生成されたクエリ３Ｄグラフと記憶部５に記憶された複数の対象物体の３Ｄグラフ（参照用３Ｄグラフ）とのグラフマッチングを行うことで、クエリ３Ｄグラフが記憶部５に記憶されたいずれの対象物体の参照用３Ｄグラフに対応するかを探索して対応する対象物体を検出する。

図６は、グラフマッチングの概念図である。図６に示すように、記憶部５には、あらかじめ完全な３ＤモデルであるＣＡＤデータから生成された対象物体の参照用３Ｄグラフがラベル（図６の例では、「パソコンモニタ」、「ノート」、「コップ」、「筆立て」等）とともに記憶されている。

検出処理部４５は、具体的には、非特許文献３に記載のグラフマッチング技術を３Ｄグラフに拡張する形で応用することで、３Ｄグラフのグラフマッチングを行う。すなわち、非特許文献３に記載のグラフマッチング技術では、ＲＧＢＤ（画像データと３Ｄ点群データ）のＤ情報（デプス情報）を、空間内からの対象物体の粗いセグメンテーションにしか利用していないが、検出処理部４５は、このデプス情報を積極的に利用する。また、非特許文献４には、２Ｄ画像向けの技術としてグラフマッチングのアルゴリズムが記載されているが、これを３Ｄに拡張して検出処理部４５におけるグラフマッチングに適用してもよい。これらの非特許文献３及び４の技術を組み合わせることで安定的なグラフマッチングを実現できる。

検出処理部４５は、マッチングスコア（尤度）が、所定の閾値以上であって、かつ最大である対象物体を検出し、そのラベルを出力する。検出処理部４５は、このラベルとともに、検出した対象物体の位置及び姿勢の情報も出力する。検出された対象物体が複数ある場合には、検出された複数の対象物体の各々について、ラベル、位置、姿勢の情報を出力する。

検出結果画像生成部６は、検出処理部４５が検出した対象物体のラベル、位置、姿勢の情報を用いて、表示部７に表示すべきホログラム画像を生成する。この画像は、上述のように、ユーザＵが現実空間に重ねて見るべきホログラム画像であり、例えば、検出した対象物体についての関連情報（例えば、ラベルの情報）を示す画像である。表示部７は、検出結果画像生成部６で生成された検出結果画像を表示する。

図７は、物体検出システム１００の動作を示すフロー図である。図７に示すフローは、所定のフレームレートで繰り返される。まず、画像取得部１は現実空間を撮影することにより画像データを取得し、測距部２は現実空間を測距することで３Ｄ点群データを取得する（ステップＳ７１）。

領域特定部４１は、画像データと３Ｄ点群データを用いて、検出対象領域を特定する（ステップＳ７２）。具体的には、上述のように、領域特定部４１は、画像データをスーパーピクセル（小領域）に分けて、距離が所定の閾値より遠い（デプス値が閾値より大きい）スーパーピクセルを除外した上で、隣り合うスーパーピクセルであってデプス値が近いものどうしを連結して連結領域とする。

そして、領域特定部４１は、隣接する２つの連結領域について、デプス値の差が所定の閾値以上である場合に、奥側（デプス値が大きい側）の連結領域を、一部遮蔽された対象物体の検出対象領域Ｋとして特定し、手前側（デプス値が小さい側）の連結領域を遮蔽領域Ｓとして特定する。

特徴点抽出部４２は、検出対象領域Ｋから特徴点を抽出する（ステップＳ７３）。疑似３Ｄデータ付与部４４は、遮蔽領域Ｓがあるか否かを判断する（ステップＳ７４）。疑似３Ｄデータ付与部４４は、領域特定部４１にて特定された遮蔽領域Ｓがある場合には（ステップＳ７４でＹＥＳ）、検出対象領域Ｋにおける遮蔽領域Ｓに近い特徴点を起点特徴点とするスケール球の球面上に疑似特徴点を配置する（ステップＳ７５）。なお、疑似特徴点は遮蔽領域Ｓに配置し、検出対象領域Ｋには配置しない。

３Ｄグラフ生成部４３は、遮蔽がない場合には（ステップＳ７４でＮＯ）、特徴点抽出部４２にて抽出された特徴点をクエリ特徴点として、当該クエリ特徴点をノードとするクエリ３Ｄグラフを生成する（ステップＳ７６）。３Ｄグラフ生成部４３は、遮蔽がある場合には（ステップＳ７４でＹＥＳ）、ステップＳ７５にて疑似３Ｄデータ付与部４４により付与された疑似特徴点と、特徴点抽出部４２で検出対象領域Ｋから抽出された特徴点とを合わせてクエリ特徴点として、このクエリ特徴点をノードとするクエリ３Ｄグラフを生成する（ステップＳ７６）。

検出処理部４５は、グラフ生成部４３にて生成されたクエリ３Ｄグラフと、記憶部５に記憶された参照用３Ｄグラフとのグラフマッチングを行って、クエリ３Ｄグラフに対応する参照用３Ｄグラフを探索する（ステップＳ７７）。検出処理部４５は、マッチングスコア（尤度）が最大の参照用３Ｄグラフのラベルを特定し、その位置及び姿勢を記録する（ステップＳ７８）。

検出結果画像生成部６は、ステップＳ７８で記録されたラベルに関連するホログラム画像を生成し、その位置及び姿勢に従って、表示位置及び表示角度を決定して、検出結果画像を生成する（ステップＳ７９）。表示部７は、ステップＳ７９で生成された検出結果画像を表示する（ステップＳ８０）。

以上説明したように、本実施の形態の物体検出システム１００によれば、測距部２が現実空間を測距して得た３Ｄ点群データに基づいて、検出処理部４５にて３Ｄグラフマッチングを行って、記憶部５に記憶されている対象物体のなかから対応する物体を検出するにあたって、測距によっても対象物体の一部領域の３Ｄ点群データが得られない場合には、疑似３Ｄデータ付与部４４にて当該領域に疑似３Ｄ点群データ（特徴点）を付与する。そして、グラフ生成部４３は、この疑似３Ｄ点群データを測距により得られた３Ｄ点群データと同等に扱って、測距により得られた３Ｄ点群データと疑似３Ｄ点群データとからなるクエリ３Ｄ点群データからクエリ３Ｄグラフを生成し、検出処理部４５はこのようにして生成されたクエリ３Ｄグラフについて記憶部５に記憶された参照用３Ｄグラフとのマッチングを行う。

これにより、画像取得部１や測距部２において、遮蔽によって対象物体のすべての画像データや３Ｄ点群データが得られない場合であっても、グラフマッチングによる対象物体の検出が可能となる。

なお、上記の実施の形態では、疑似３Ｄデータ付与部４４は、遮蔽領域Ｓにおいて、起点特徴点を中心とするスケール球の表面に疑似特徴点を配置したが、疑似特徴点の配置方法はこれに限られない。疑似３Ｄデータ付与部４４は、例えば、図５に示した平均分布を用いて、疑似特徴点を散布する量や散布するか否かを確率的に決定してもよい。

また、上記の実施の形態では、測距部２において３Ｄ点群データを取得するためにデプスセンサを用いる例を説明したが、これに代えて、ステレオカメラを用いてよく、画像データに対してディープラーニングを用いてデプス推定画像を生成する方法（非特許文献５参照）を用いてもよく、あるいは、セマンティックセグメンテーション技術（非特許文献６参照）を適用して、探索するエリアを制限して処理制度と処理時間の削減を図ってもよい。

また、上記の実施の形態では、検出処理部４５におけるモデルベースの物体の検出において、グラフマッチングを用いたが、グラフマッチング以外のマッチングによって物体の検出を行ってもよい。例えば、上記の実施の形態では、グラフ生成部４３において、特徴点をノードとする３Ｄグラフを生成したが、これに代えて、クエリ３Ｄデータとして、特徴点についてＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等の局所特徴量を算出し、記憶部５にも参照用３Ｄデータとして対象物体の局所特徴量を記憶しておき、検出処理部４５がＳＶＭ（Support Vector Machine）によるマッチングを行うことで対象物体を検出してもよい。

また、上記の実施の形態では、対象物体の３Ｄ点群データが不足する欠落領域として、対象物体の一部が遮蔽物体によって遮蔽されている遮蔽領域が生じる場合に、そのような遮蔽領域について疑似特徴点を付与する例を説明したが、上述のように、３Ｄ点群データが不足する欠落領域は遮蔽領域に限られない。例えば、対象物体の一部が高光沢である場合にも、そのような部分について３Ｄ点群データが十分に得られないことがある。この場合には、画像データの輝度値に基づいてそのような高光沢領域を特定して、疑似特徴点を配置することができる。

また、上記の実施の形態では、物体検出システム１００をＨＭＤとして構成し、検出処理部４５における物体検出の結果を検出結果画像の生成に用いたが、本発明の実施の形態の物体検出システム１００は、ＨＭＤ以外にも応用可能である。たとえば、物体検出システム１００を車両に搭載し、対象物体として歩行者、他車両、標識等を検出して、検出結果を運転制御に反映させるシステムとして構成することも可能である。

また、上記の実施の形態では、物体検出システム１００は、すべての構成要素がＨＭＤという１つの装置に搭載されて、物体検出装置を構成していたが、一部又は全部の構成要素が分散して配置されてよく、さらには、分散配置された構成要素の間に通信ネットワークが介在していてもよい。また、物体検出システム１００の各構成要素は、コンピュータプログラムに従って動作してよく、ＣＰＵによって実行されることで物体検出システム１００の各構成要素を実現して動作させる物体検出プログラムが提供されてよい。すなわち、上記の実施の形態の物体検出装置としてのＨＭＤは、物体検出プログラムに従って動作してよい。

（第２の実施の形態）
以下では、本発明の第２の実施の形態を説明する。第１の実施の形態の物体検出システムと第２の実施の形態の物体検出システムとは、現実空間をセンシングして計測３Ｄデータを取得し、計測３Ｄデータにおける検出対象領域を特定し、検出対象領域に隣接する欠落領域に、疑似３Ｄデータを付与し、計測３Ｄデータ及び疑似３Ｄデータに基づくクエリ３Ｄデータと、記憶手段に記憶されている参照用３Ｄデータとのマッチングを行うことで、対象物体の検出を行うという点において共通する。

以下において、第１の実施の形態と同様の構成については詳細な説明はせず、第１の実施の形態における応用可能な内容は第２の実施の形態にも応用されるものとする。

図８は、第２の実施の形態の物体検出システム１００の構成を示すブロック図である。物体検出システム１００は、ＲＧＢ−Ｄカメラ１１と、情報処理部１２と、記憶部１３と、検出結果画像生成部１４と、表示部１５とを備えている。情報処理部１２は、手前物体検出部２１、輪郭算出部２２、特徴点抽出部２３、遮蔽空間推定部２４、疑似３Ｄデータ付与部２５、及び検出処理部２６を備えている。

ＲＧＢ−Ｄカメラ１１は、現実空間を撮影して画像データを取得する画像取得部としての機能及び現実空間に対して測距を行って測距データを取得する測距部としての機能を有している。ＲＧＢ−Ｄカメラ１１は撮影によって互いに同期した画像データと測距データを取得する。情報処理部１２は、ＲＧＢ−Ｄカメラ１１からの入力、即ち現実空間の画像データ（ＲＢＧデータ）及び現実空間の測距データ（３Ｄ点群データ、あるいはデプスデータ、Ｄデータともいう。）に基づいて、記憶部１３に記憶された参照用３Ｄデータとのマッチングをすることで、物体の検出を行う。

記憶部１３は、複数種類の物体について、参照用３Ｄデータを記憶している。後述するように、本実施の形態では、情報処理部１２においてクエリ３Ｄデータと参照用３ＤデータとのＦＰＦＨマッチングが行われるので、記憶部１３にも参照用３ＤデータがＦＰＦＨ特徴の形式で記憶されている。検出結果画像生成部１４は、ＲＢＧ−Ｄカメラ１１で得られた画像データに対して、情報処理部１２における物体の検出結果を重畳して検出結果画像を生成する。表示部１５は、検出結果画像を表示する。

図９は、ＲＧＢ−Ｄカメラ１１によって得られた画像データの例であり、図１０は図９の画像データと共にＲＧＢ−Ｄカメラ１１によって得られた３Ｄ点群データ（計測３Ｄデータともいう。）を可視化した例である。

図９及び図１０の例では、人の手（ｐｅｒｓｏｎ）奥側にカップが置かれており、カップの一部は、人の手によって隠されている。本実施の形態は、第１の実施の形態と同様に、このカップのように、画像データが完全に得られていないことからＣＮＮ等の画像による物体検出では検出されず、かつ、計測３Ｄデータも完全に得られておらず計測３Ｄデータが欠落した欠落領域を含む物体、特に、そのような欠落領域が比較的大きい物体を検出対象として、物体検出を行うものである。

情報処理部１２の手前物体検出部２１は、ＲＧＢ−Ｄカメラ１１で得られた画像データ（ＲＧＢデータ）を取得して、この画像データに対して画像認識を行うことで、物体を検出する。この物体検出には、例えば、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot MultiBox Detector）のようなＣＮＮ（Convolutional Neural Network）をベースとした技術を用いることができる。

図１１は、手前物体検出部２１による物体検出の結果を示す図である。図１１の例では、手前物体検出部２１は、検出枠とともに「ｔｖ（６９％）」、「ｐｅｒｓｏｎ（５１％）」、「ｋｅｙｂｏａｒｄ（５１％）」等の識別結果を得ている。このとき、検出枠には、当該物体の大部分が含まれていると考えられる。換言すれば、画像データにおいて物体の大部分が見えている場合に、手前物体検出部２１によって当該物体が検出され、カップのように大部分が遮蔽されている物体（被遮蔽物体）は手前物体検出部２１では検出されない。よって、手前物体検出部２１は、他の物体によって遮蔽されておらず、大部分が画像データに現れている物体、即ち手前物体を検出する。

輪郭算出部２２は、手前物体検出部２１にて検出された物体の輪郭を算出する。図１２は、手前物体検出部２１によって得られた検出枠に対してグラフカット処理を行って切り出された物体（ｐｅｒｓｏｎ）の画像である。輪郭算出部２２は、グラフカットによって切り出された物体の領域を第１の値とし、背景の領域を第２の値とすることで、切り出された物体の領域と背景の領域とを区別する二値化処理を行う。図１３は、二値化によって得られた二値化画像である。図１３の例では、切り出された物体の領域が白く、背景が黒くなっている。

輪郭算出部２２は、さらに、二値化画像のエッジを検出することで輪郭画像を生成する。図１４は、二値化画像から生成された輪郭画像である。本実施の形態の輪郭算出部２２は、輪郭周辺に被遮蔽物体があることを考慮して、図１４に示すように、二値化画像のエッジ部分を膨張させて輪郭画像とする。なお、この輪郭画像における膨張した輪郭は、手前物体によって一部が隠された物体が存在する領域であって、本発明の検出対象領域に相当し、そのような輪郭画像を生成する輪郭算出部２２は、本発明の領域特定手段に相当する。

特徴点抽出部２３は、ＲＧＢ−Ｄカメラ１１で得られた３Ｄ点群データ（計測３Ｄデータ）の中から、輪郭算出部２２にて得られた輪郭に対応する３Ｄキーポイントを抽出する。本実施の形態の特徴点抽出部２３は、３Ｄキーポイントとして、３ＤＳＩＦＴ（Scale-Invariant Feature Transform）特徴を利用して３ＤＳＩＦＴ特徴点を抽出する。

図１５は、３ＤＳＩＦＴによって抽出された３Ｄキーポイントを示す図である。特徴点抽出部２３は、図１５に示す３Ｄキーポイントの中から、輪郭算出部２２にて算出された膨張された輪郭に対応する３Ｄキーポイントを抽出する。上述のように、輪郭算出部２２では、輪郭画像として手前物体の周辺領域が得られており、かつ、ＲＧＢ−Ｄカメラ１１で得られる画像データと３Ｄ点群データとは互いに対応しているので、特徴点抽出部２３がこの輪郭画像に対応する３Ｄキーポイントを抽出することで、手前物体の周辺の３Ｄキーポイントを抽出できる。

遮蔽空間推定部２４は、疑似３Ｄデータを付与するための遮蔽空間を推定する。遮蔽空間推定部２４は、手前物体の周辺から抽出された３Ｄキーポイントを包含する空間を遮蔽空間として推定する。具体的には、遮蔽空間推定部２４は、特徴点抽出部２３によって抽出された手前物体周辺の３Ｄキーポイントをすべて含む直方体（バウンディングボックス）を遮蔽空間として推定する。

図１６は、遮蔽空間として推定されるバウンディングボックスを示す図である。この例では、ＲＧＢ−Ｄカメラ１１は、光軸が水平になる姿勢とされており、被遮蔽物体は水平面に置かれていると仮定されている。ＲＧＢ−Ｄカメラ１１を中心として、光軸方向がＸ３方向とされ、垂直下向きにＸ２方向が定義され、Ｘ３方向及びＸ２方向に垂直な方向がＸ１とされる。

特徴点抽出部２２で抽出された３Ｄキーポイントのうち、Ｘ１〜Ｘ３の各軸に関して最大値及び最小値がそれぞれ、ｍａｘＸ１、ｍａｘＸ２、ｍａｘＸ３、ｍｉｎＸ１、ｍｉｎＸ２、ｍｉｎＸ３とされて、これらのｍａｘＸ１、ｍａｘＸ２、ｍａｘＸ３、ｍｉｎＸ１、ｍｉｎＸ２、ｍｉｎＸ３により遮蔽空間ＯＳとしての直方体が定義される。図１７は、推定された遮蔽空間ＯＳの例を示す図である。

このように、手前物体の周辺から抽出した３Ｄキーポイントを包含する直方体を遮蔽空間とすることで、この遮蔽空間ＯＳには、手前物体の奥側、即ち被遮蔽物体の３Ｄデータが欠落した領域（欠落領域）が含まれることになる。よって、この遮蔽空間ＯＳに疑似３Ｄデータを付与することで、欠落領域に疑似３Ｄデータを付与することができる。なお、特徴点抽出部２３で抽出された手前物体周辺の３Ｄキーポイントは、遮蔽空間推定部２４における遮蔽空間ＯＳの推定にのみ用いられ、マッチングの際には後述するようにＦＰＦＨ特徴が用いられる。

疑似３Ｄデータ付与部２５は、遮蔽空間に疑似３Ｄデータを付与する。この疑似３Ｄデータは、被遮蔽物体上の点として疑似的に付与されるものである。疑似３Ｄデータ付与部２５は、遮蔽空間ＯＳ内に、Ｘ１Ｘ２平面に平行で、かつ、Ｘ３方向に所定の間隔で並ぶ複数の仮想平面を設定し、それらの仮想平面上に疑似３Ｄデータを分布させる。

大部分が遮蔽されている被遮蔽物体は、その重心も遮蔽されている可能性が高い。そこで、疑似３Ｄデータ付与部２５は、各仮想平面上の楕円上に疑似３Ｄデータを分布させる。楕円を採用するのは、遮蔽物体の表面の存在確率は、遮蔽空間の中心から放射状に減少すると考えられるからである。

図１８は、疑似３Ｄデータの付与を説明する図である。図１８の例では、上段に示すように、被遮蔽物体であるカップは、右側の大部分が遮蔽されているとする。図１８の下段の左は、カップの真の３Ｄデータであり、その一部が計測され、他の一部は手前物体に遮蔽されている。図１８の下段中央は、疑似３Ｄデータが遮蔽空間の中心を中心とする複数の同心楕円上に３Ｄ疑似データが分布されることを示している。疑似３Ｄデータ付与部２５は、図１８の下段の右に示すように、遮蔽空間においてＸ３方向に間隔を空けて設定される複数の仮想平面Ｐ１〜ＰＨの各々において複数の同心楕円上に疑似３Ｄデータを付与する。

疑似３Ｄデータ付与部２５は、下式（１）によって疑似３Ｄデータを付与する。
ここで、
である。

また、ｋは半径方向の位置であり、ｍは疑似３Ｄデータの密度であり、ｈは等間隔で並んだ仮想平面の間隔である。また、図１８に示すように、Ｋは楕円の周方向の間隔であり、Ｍは半径方向の間隔であり、Ｈは深さ方向（Ｘ３方向）の仮想平面の数である。Ｍ及びＫを調整することで、疑似３Ｄデータの数をダウンサンプリング後の計測３Ｄデータの数に適合させることができる。このように、疑似３Ｄデータ付与部２５は、Ｈ×Ｋ×Ｍ個の疑似３Ｄデータを付与する。

検出処理部２６は、可視領域で計測された計測３Ｄデータと遮蔽領域に付与された疑似３Ｄデータを用いて、記憶部１３に記憶された参照用３Ｄデータとのマッチングを行う。このマッチングにはＰＦＨ（Point Feature Histogram）、ＦＰＦＨ（Fast Point Feature Histogram）、ＳＨＯＴ（Signature of Histograms of OrienTations）等のマッチング手法を用いることができる。

具体的には、検出処理部２６は、疑似３Ｄデータ付与部２５によって付与された疑似３Ｄデータと疑似３Ｄデータ付近の計測３ＤデータとからＦＰＦＨ特徴（疑似ＦＰＦＨ特徴）を抽出して、これをクエリ３Ｄデータとし、このクエリ３Ｄデータについて、ＦＰＦＨでマッチングを行う。これにより、欠落領域が原因で下がった尤度を底上げして、正常な検出がしやすくなる。特に、マッチング処理の後段ステージで特徴量記述を改善できる。

検出結果画像生成部１４は、検出処理部２６が検出した対象物体の重心を求め、ＲＧＢ−Ｄカメラ１１が取得したＲＧＢ−Ｄデータに対して、この重心位置を示すアノテーションを重畳させた検出結果画面を生成する。表示部１５は、検出結果画像生成部１４で生成された検出結果画像を表示する。

図１９は、物体検出システム１００の動作を示すフロー図である。図１９に示すフローは、所定のフレームレートで繰り返される。まず、ＲＧＢ−Ｄカメラ１１は現実空間を撮影することによりＲＧＢ−Ｄデータ、即ち画像データ及び３Ｄ点群データを取得する（ステップＳ９１）。

手前物体検出部２１は、ＹＯＬＯによって画像データから手前物体を検出する（ステップＳ９２）。そして、輪郭算出部２２は、検出された手前物体に対してグラフカッティング処理を行い、手前物体を切り出し、切り出した手前物体を二値化し、二値化画像のエッジを検出することで輪郭画像を生成する（ステップＳ９３）。このとき、上述のとおり、この輪郭算出部２２は、二値画像のエッジを膨張させることである程度の幅のある輪郭を算出する。

次に、特徴点抽出部２３は、ＲＧＢ−Ｄカメラ１１によって得られた３Ｄ点群データから、輪郭の位置に対応する３Ｄキーポイントを抽出する（ステップＳ９４）。遮蔽空間推定部２４は、抽出された３Ｄキーポイントをすべて包含する直方体を求め、この直方体を遮蔽空間ＯＳとして推定する（ステップＳ９５）。

疑似３Ｄデータ付与部２５は、遮蔽空間に複数の仮想平面を設定し、各仮想平面内に疑似３Ｄデータを付与する（ステップＳ９６）。このとき、各仮想平面では、複数の同心楕円上に疑似３Ｄデータを付与する。

このようにして遮蔽空間ＯＳに疑似３Ｄデータが付与されると、検出処理部２６は、ＲＧＢ−Ｄカメラ１１で得られた可視領域の計測３ＤデータからＦＰＦＨ特徴を抽出し、また、疑似３Ｄデータを疑似ＦＰＦＨ特徴とし、これらのＦＰＦＨ特徴及び疑似ＦＰＦＨ特徴を用いて、ＦＰＦＨによるマッチングを行うことで、被遮蔽物体を検出する（ステップＳ９７）。

検出結果画面生成部１４は、検出された被遮蔽物体の重心位置を算出し（ステップＳ９８）、検出結果画面を生成する（ステップＳ９９）。

以上のように、本発明の第２の実施の形態の物体検出システム１００によれば、画像データから検出された物体を手前物体として、その裏側に遮蔽領域を設定して疑似３Ｄデータを付与するので、画像データからは検出されない被遮蔽物体についても、モデルベースの３次元物体検出によって物体検出をすることができる。

なお、上記の実施の形態では、手前物体を切り出して二値化し、そのエッジを検出して膨張した輪郭を生成し、その輪郭に対応する３Ｄキーポイントを抽出し、抽出された３Ｄキーポイントを包含する直方体を遮蔽空間としたが、手前物体の裏側に疑似３Ｄデータを付与するための遮蔽空間を設定する手法はこれに限られない。例えば、手前物体を検出した際の検出枠からＲＧＢ−Ｄカメラ１１の光軸方向（Ｘ３方向）に所定の長さで延びる直方体を遮蔽空間としてもよい。なお、この場合には、膨張した輪郭（即ち、検出対象領域）を算出する必要はない。また、遮蔽空間は直方体以外の形状であってもよい。

また、上記の実施の形態では、物体検出の結果をアノテーションの重畳に用いたが、物体検出の結果の応用例はこれに限らず、物体検出の結果は、例えば、トラッキングをする際のスタート地点の認識やロボットにおけるピッキング等、種々の応用が可能である。

本発明は、対象物体の計測３Ｄデータに不足がある場合にも、そのような計測３Ｄデータに疑似３Ｄデータが付加された上で、参照用３Ｄデータとのマッチングが行われるので、オクルージョン等によって計測３Ｄデータが不足する場合におけるマッチングの精度を向上でき、よって、対象物体の検出の可能性を向上でき、現実空間をセンシングして対象物体を検出する物体検出システム等として有用である。

１００ 物体検出システム（ＨＭＤ）
１ 画像取得部
２ 測距部
３ 同期部
４ 情報処理部
４１ 領域特定部
４２ 特徴点抽出部
４３ グラフ生成部
４４ 疑似３Ｄデータ付与部
４５ 検出処理部
５ 記憶部
６ 検出結果画像生成部
７ 表示部
１１ ＲＧＢ−Ｄカメラ
１２ 情報処理部
１３ 記憶部
１４ 検出結果画像生成部
１５ 表示部
２１ 手前物体検出部
２２ 輪郭算出部
２３ 特徴点抽出部
２４ 遮蔽空間推定部
２５ 疑似３Ｄデータ付与部
２６ 検出処理部
Ｋ 検出対象領域
Ｓ 遮蔽領域
ＯＳ 遮蔽空間

Claims (15)

1. 対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段と、
   現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得手段と、
   前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与手段と、
   前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理手段と、
   を備えた物体検出システム。
2. 前記計測３Ｄデータにおける検出対象領域を特定する領域特定手段をさらに備え、
   前記疑似３Ｄデータ付与手段は、前記検出対象領域に隣接する領域を前記欠落領域として前記疑似３Ｄデータを付与する、
   請求項１に記載の物体検出システム。
3. ３Ｄデータをノードとするグラフを生成するグラフ生成手段をさらに備え、
   前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段と、前記３Ｄ点群データから前記計測３Ｄデータとして特徴点を抽出する特徴点抽出手段とを含み、
   前記記憶手段は、前記参照用３Ｄデータとして、前記対象物体の特徴点のグラフを記憶し、
   前記疑似３Ｄデータ付与手段は、前記疑似３Ｄデータとして疑似特徴点を付与し、
   前記グラフ生成手段は、前記計測３Ｄデータ及び前記疑似３Ｄデータをノードとするクエリグラフを生成し、
   前記検出処理手段は、前記クエリグラフを前記クエリ３Ｄデータとして、前記参照用３Ｄデータとのグラフマッチングを行う、
   請求項１に記載の物体検出システム。
4. 前記現実空間を撮影して画像を取得する画像取得手段と、
   前記画像から手前物体を検出する物体検出手段と、
   前記手前物体の検出結果に基づいて、前記欠落領域を推定する推定手段と、をさらに備え、
   前記疑似３Ｄデータ付与手段は、前記推定手段にて推定された前記欠落領域に前記疑似３Ｄデータを付与する、
   請求項１に記載の物体検出システム。
5. 前記手前物体をグラフカット処理によって切り出して、切り出した部分のエッジを膨張させた輪郭を算出する輪郭算出手段をさらに備え、
   前記推定手段は、前記計測３Ｄデータから抽出した特徴点であって、前記輪郭に対応する特徴点を含む直方体を前記欠落領域として推定する、
   請求項４に記載の物体検出システム。
6. 前記疑似３Ｄデータ付与手段は、前記欠落領域に奥行き方向に並ぶ複数の仮想平面を設定し、前記仮想平面内において複数の同心楕円上に前記疑似３Ｄデータを付与する、
   請求項５に記載の物体検出システム。
7. 前記現実空間を撮影して画像を取得する画像取得手段をさらに備え、
   前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段を備え、
   前記領域特定手段は、前記３Ｄ点群データと同期する前記画像を用いたセグメント分け情報に基づいて、前記検出対象領域を特定する、
   請求項２に記載の物体検出システム。
8. 前記領域特定手段は、前記３Ｄ点群データから、距離が所定の範囲にある領域を除外して前記検出対象領域を特定する、請求項６に記載の物体検出システム。
9. 前記３Ｄデータ取得手段は、センシングによって前記現実空間の３Ｄ点群データを取得する３Ｄ点群データ取得手段を備え、
   前記領域特定手段は、前記３Ｄ点群データに基づいて、対象物体を遮蔽する遮蔽領域を前記欠落領域として特定する、
   請求項２に記載の物体検出システム。
10. 前記領域特定手段は、前記検出対象領域に隣接する領域であって、前記３Ｄ点群データの距離が前記検出対象領域の前記３Ｄ点群データの距離より短く、かつ、前記３Ｄ点群データの距離と前記検出対象領域の前記３Ｄ点群データとの距離との差が閾値以上である領域を前記遮蔽領域として、前記欠落領域を特定する、請求項９に記載の物体検出システム。
11. 前記疑似３Ｄデータ付与手段は、前記検出対象領域内の起点を中心とする球面上に前記疑似３Ｄデータを付与する、請求項９又は１０に記載の物体検出システム。
12. 前記計測３Ｄデータよりも前記疑似３Ｄデータの重みが軽くなるように前記クエリ３Ｄデータに重みづけがされる、請求項１ないし１１のいずれかに記載の物体検出システム。
13. 対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段と、
    現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得手段と、
    前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与手段と、
    前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理手段と、
    を備えた物体検出装置。
14. 対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段を備えた情報処理装置に、
    現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得ステップと、
    前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与ステップと、
    前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理ステップと、
    を実行させる物体検出プログラム。
15. 対象物体の３Ｄデータを参照用３Ｄデータとして記憶する記憶手段を備えた情報処理装置における物体検出方法であって、
    現実空間をセンシングして計測３Ｄデータを取得する３Ｄデータ取得ステップと、
    前記対象物体についての計測３Ｄデータが不足している欠落領域に、疑似３Ｄデータを付与する疑似３Ｄデータ付与ステップと、
    前記計測３Ｄデータ及び前記疑似３Ｄデータに基づくクエリ３Ｄデータと、前記参照用３Ｄデータとのマッチングを行うことで、前記対象物体の検出を行う検出処理ステップと、
    を含む物体検出方法。