JP2022130613A - 検出装置、検出方法、情報処理装置、及び処理プログラム - Google Patents

Abstract

【課題】対象物を検出した結果から対象物の三次元形状を高精度に構築可能にする検出装置を提供する。【解決手段】検出装置は、対象物ＯＢを検出する検出部と、対象物ＯＢと検出部との間の領域を特定する情報を算出する算出部と、を備える。【選択図】図１

Description

本発明は、検出装置、検出方法、情報処理装置、及び処理プログラムに関する。

複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。

特開２０１０－１３４５４６号公報

上述のような技術においては、対象物を検出した結果から対象物の三次元形状を高精度に構築可能であることが望まれる。

本発明の態様に従えば、対象物を検出する検出部と、対象物と検出部との間の領域を特定する情報を算出する算出部と、を備える検出装置が提供される。
本発明の態様に従えば、検出部は、対象物からの光をセンサで受光して対象物までの距離を検出し、算出部は、センサ上の位置の変化に対する、センサ上の位置で検出した対象物までの距離の変化に基づいて、対象物までの距離の信頼度を決定する検出装置から、複数の位置から検出された対象物の形状情報と形状情報の信頼度とをそれぞれ受信する受信部と、第１の位置から検出された対象物の第１の形状情報の信頼度と、第２の位置から検出した対象物の第２の形状情報の信頼度と、に基づいて、第１の形状情報と第２の形状情報とを統合した第３の形状情報を生成する統合部と、を備える情報処理装置が提供される。
本発明の態様に従えば、対象物を検出部により検出した検出結果を処理する処理プログラムであって、コンピュータに、検出部の検出結果を用いて対象物と検出部との間の領域を特定する情報を算出することを実行させる、処理プログラムが提供される。

第１実施形態に係る検出装置の一例を示す図である。 第１実施形態に係る検出部の一例を示す図である。 第１実施形態に係る検出部の光学特性に基づく確度情報の説明図である。 第１実施形態に係る検出装置の検出領域の一例を示す概念図である。 第１実施形態に係る距離に基づいた確度情報の説明図である。 第１実施形態に係る距離の分布に基づいた確度情報の説明図である。 第１実施形態に係る検出方法の一例を示すフローチャートである。 図７の処理の一例を示すフローチャートである。 図８の処理の他の例を示すフローチャートである。 第２実施形態に係る検出システムを示す図である。 第２実施形態に係る検出システムを示すブロック図である。 第３実施形態に係る検出システムを示す図である。 第３実施形態に係る検出システムを示すブロック図である。 第３実施形態に係るモデル統合処理の一例を示す概念図である。

［第１実施形態］
第１実施形態について説明する。図１（Ａ）は、本実施形態に係る検出装置１の一例を示す概念図である。検出装置１は、例えば撮像装置であり、検出領域Ａ１（例、視野）内の対象物ＯＢを検出する。検出装置１は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよく、携帯可能な情報端末（例、スマートフォン、タブレット、カメラ付き携帯電話）でもよい。検出装置１は、対象物ＯＢを検出した結果を使って、対象物ＯＢに関する情報の演算処理を行う。検出装置１は、自端末の演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、検出装置１は、演算処理によって、対象物ＯＢの少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、ＣＧモデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。テクスチャ情報は、例えば、対象物ＯＢの表面の文字や図形、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。検出装置１は、例えば、視点Ｖｐ（例、所定の視点、一視点、単一の視点、１方向）から見た対象物ＯＢを示すモデル情報を算出する。また、例えば、検出装置１は、対象物ＯＢに対して所定の角度における一視点から見た対象物ＯＢを示すモデル情報を算出する。

図１（Ｂ）は、検出装置１の構成の一例を示すブロック図である。検出装置１は、例えば、検出部２と、確度算出部３と、情報算出部４と、記憶部５と、通信部６と、制御部７と、本体部８とを備える。本体部８は、例えば、カメラボディ、ケース、筐体などである。検出部２、確度算出部３、及び情報算出部４は、例えば、本体部８に設けられる。

検出部２は、視点Ｖｐから対象物ＯＢを検出する。確度算出部３は、視点Ｖｐにおける対象物ＯＢの確度情報を算出する。確度算出部３は、例えば、視点Ｖｐに応じた対象物ＯＢの確度情報を算出する。確度情報は、例えば、対象物ＯＢを含む領域（例、検出部２の検出領域Ａ１、視野）の各位置に物体が存在する確率、確率分布、及び期待値の少なくとも一つを含む。この確率分布は、例えば、検出部２の検出領域の一部の領域の確度と、その周辺の領域との確度との関係を示す情報である。確度情報は、例えば、対象物ＯＢを含む領域（例、検出部２の検出領域、視野）の各位置に対する、検出部２の検出結果の信頼度を含む。例えば、確度は、各位置のデータの正確さ（正確度、精度、信頼度）、または不確かさ（曖昧さ、不明瞭さ）を数値化したものであり、確度情報は、複数の位置における確度の分布を含む。例えば、確度が高いことは、正確さが高いこと、あるいは不確かさが低いことに相当する。例えば、確度が低いことは、正確さが低いこと、あるいは不確かさが高いことに相当する。また、例えば、検出部２は対象物ＯＢを検出した検出結果（例、画像データなど）を情報算出部４へ送信し、確度算出部３は算出した対象物ＯＢの確度情報を情報算出部４へ送信する。情報算出部４は、受信した検出部２の検出結果および確度情報を用いて、視点Ｖｐにおける対象物ＯＢの形状情報とテクスチャ情報との少なくとも一方を算出する。例えば、情報算出部４は、視点Ｖｐから見た場合の対象物ＯＢの形状情報とテクスチャ情報との少なくとも一方を算出する。例えば、確度算出部３は、対象物ＯＢの領域ごとに確度情報を算出し、情報算出部４は、対象物ＯＢの領域ごとに算出された確度情報を形状情報とテクスチャ情報との少なくとも一方に関連付けする。以下、検出装置１の各部について説明する。

図２は、検出部２の一例を示す図である。検出部２は、例えば、視点Ｖｐから対象物ＯＢを光学的に検出する。例えば、一視点（視点Ｖｐ）から対象物ＯＢを見た画像と、一視点（視点Ｖｐ）から対象物ＯＢ上の各点までの距離との少なくとも一方を取得する。検出部２は、例えば、所定の視角で対象物ＯＢを検出してもよい。検出部２は、例えば、所定の視線（例、単一の視線）で対象物ＯＢを検出してもよい。検出部２は、例えば、撮像部１１および測距部１２を含む。撮像部１１は、視点Ｖｐから対象物ＯＢを撮像して、検出結果として対象物ＯＢの画像データなどを出力する。検出部２の検出結果は、例えば、検出した対象物ＯＢの画像データを含む。測距部１２は、視点Ｖｐ（図１（Ａ）参照）から対象物ＯＢ上の各点までの距離を検出する。なお、検出部２は、撮像部１１または測距部１２を含まなくてもよい。

撮像部１１は、結像光学系１３および撮像素子１４を備える。結像光学系１３は、対象物ＯＢの像を形成する。結像光学系１３は、例えば鏡筒内に保持され、鏡筒とともに本体部８（図１参照）に取り付けられる。結像光学系１３および鏡筒は、例えば交換レンズであり、本体部８から取り外し可能である。結像光学系１３および鏡筒は、内蔵レンズでもよく、例えば鏡筒は、本体部８の一部でもよいし、本体部８から取り外し不能でもよい。

撮像素子１４は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１４は、例えば本体部８に収容される。撮像素子１４は、結像光学系１３が形成した像を撮像する。撮像素子１４の撮像結果（検出結果）は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。撮像素子１４は、例えば、撮像結果をフルカラー画像のデータ形式で出力する。

測距部１２は、対象物ＯＢの表面上の各点からの距離を検出する。測距部１２は、例えば、TOF（time of flight）法により距離を検出する。測距部１２は、その他の手法で距離を検出するものでもよい。例えば、測距部１２は、レーザスキャナを含み、レーザスキャンにより距離を検出するものでもよい。例えば、測距部１２は、対象物ＯＢに所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するものでもよい。また、測距部１２は、位相差センサを含み、位相差法により距離を検出するものでもよい。また、測距部１２は、DFD(depth from defocus)法により距離を検出するものでもよい。DFD法を用いる場合、測距部１２は、撮像部１１の結像光学系１３と撮像素子１４との少なくとも一方を用いるものでもよい。

測距部１２は、例えば、照射部１５、結像光学系１６、撮像素子１７、及びコントローラ１８を備える。照射部１５は、対象物ＯＢに赤外光を照射可能である。照射部１５は、コントローラ１８に制御される。コントローラ１８は、照射部１５から照射される赤外光の強度を時間変化させる（例、振幅変調する）。結像光学系１６は、対象物ＯＢの像を形成する。結像光学系１６は、結像光学系１３と同様に、交換レンズの少なくとも一部でもよいし、内蔵レンズの少なくとも一部でもよい。撮像素子１７は、例えば、ＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１７は、少なくとも照射部１５が照射する光の波長帯に感度を有する。撮像素子１７は、例えば、コントローラ１８に制御され、対象物ＯＢで反射散乱した赤外光を検出する。例えば、撮像素子１７は、結像光学系１６が形成した像を撮像する。

コントローラ１８は、撮像素子１７による検出結果を使って、対象物ＯＢの表面の各点から撮像素子１７までの距離（デプス）を検出する。例えば、対象物ＯＢの表面上の点から撮像素子１７に入射する光の飛行時間は、この点のデプスに応じて変化する。撮像素子１７の出力は飛行時間に応じて変化し、コントローラ１８は、例えば、撮像素子１７の出力をもとにデプスを算出する。コントローラ１８は、例えば、撮像素子１７が撮像した画像の一部の領域（例、１画素、複数の画素）ごとにデプスを算出し、この領域の位置とデプスとを関連付けて、デプス情報を算出（生成）する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から検出装置１までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢにおけるデプスの分布（例、デプスマップ）を示す情報（例、デプス画像）を含む。

次に、確度算出部３が算出する確度情報について説明する。確度算出部３（図１（Ｂ）参照）は、例えば、検出部２に設けられる光学系（例、結像光学系１３、結像光学系１６）の光学特性に基づいて、確度情報を算出する。図３は、検出部２の光学特性に基づく確度情報の説明図である。

図３（Ａ）は、撮像部１１による撮像画像Ｉｍ１の一例を示す概念図である。結像光学系１３（図２参照）は、例えば、光軸１３ａから離れるほど収差が大きくなる。例えば、結像光学系１３の光軸１３ａは撮像部１１の視野中心１４ａに対応し、撮像部１１は、撮像素子１４において視野中心１４ａから離れた領域（例、１画素、複数画素）であるほど、この領域を用いた検出結果の信頼度が低下する。図３（Ａ）において、符号Ｉｍｃは、撮像部１１の視野中心に相当する撮像画像Ｉｍ１上の位置である。撮像画像Ｉｍ１は、例えば、位置Ｉｍｃから離れるにつれて収差の影響が大きくなり、ボケ等により被写体の再現性（検出結果の信頼度）が低くなる。確度算出部３は、例えば、撮像画像Ｉｍ１の領域（例、１画素、複数画素）ごとに、位置Ｉｍｃからの距離に基づいて確度情報を算出する。

図３（Ｂ）は、撮像画像Ｉｍ１上の撮像部１１の視野中心（位置Ｉｍｃ）からの距離に応じた確度の一例を示す概念図である。図３において、縦軸は確度Ｐ１であり、横軸は撮像画像Ｉｍ１上の位置である。図３（Ｂ）において、確度Ｐ１は、位置Ｉｍｃにおいて極大をとり、位置Ｉｍｃから離れるにつれて減少する。確度Ｐ１と撮像部１１の視野中心からの距離との関係は、例えば、結像光学系１３による収差の撮像素子１４上の分布に基づいて定められる。ここでは、確度Ｐ１は、位置Ｉｍｃからの距離に対して非線形に変化するが、位置Ｉｍｃからの距離に対して線形に変化してもよいし、不連続に（例、ステップ的に）変化してもよい。

確度Ｐ１と、撮像画像Ｉｍ１上の撮像部１１の視野中心からの距離との関係を示す情報（以下、第１関係情報という）は、例えば、記憶部５（図１参照）に予め記憶される。確度算出部３は、例えば、撮像画像Ｉｍ１の領域（例、１画素、複数画素）ごとに位置Ｉｍｃからの距離を算出する。確度算出部３は、算出した距離を上記の第１関係情報と照合して、この領域における確度Ｐ１を算出する。確度算出部３は、例えば、確度情報として、各領域の位置と確度Ｐ１とを関連付けた情報（以下、確度Ｐ１の情報という）を算出する。

なお、確度算出部３は、結像光学系１３の収差（例、収差の分布）に基づいて確度情報を算出してもよい。また、確度算出部３は、結像光学系１３の収差および視野中心からの距離に基づいて確度情報を算出してもよい。また、確度算出部３は、測距部１２の検出結果に対して、測距部１２の視野中心からの距離と結像光学系１６の収差との少なくとも一方に基づいて、確度情報を算出してもよい。

また、撮像画像Ｉｍ１は、例えば、対象物ＯＢからの反射光により、その一部の領域において明るさが飽和することがある。また、対象物ＯＢ上には、例えば、他の物体の影がある場合など、視点Ｖｐから見て暗い部分ができる場合がある。確度算出部３は、例えば、撮像画像Ｉｍ１における明るさ（明暗）に基づいて確度情報を算出してもよい。図３（Ｃ）は、撮像画像Ｉｍ１における明るさに応じた確度Ｐ２の一例を示す概念図である。図３（Ｃ）において、縦軸は確度Ｐ２であり、横軸は明るさ（例、画素の階調値）である。ここでは、明るさが所定の範囲ＢＲ内である場合に一定であり、明るさが範囲ＢＲよりも低下する（暗くなる）につれて確度Ｐ２が低くなり、また明るさが範囲ＢＲよりも増加する（明るくなる）につれて確度Ｐ２が低くなる。明るさと確度との関係は、例えば実験やシミュレーションなどに基づいて任意に設定される。例えば、確度Ｐ２は、明るさに対して非線形に変化してもよいし、線形に変化してもよく、不連続に（例、ステップ的に）変化してもよい。

明るさと確度との関係を示す情報（以下、第２関係情報という）は、例えば、記憶部５（図１参照）に予め記憶される。確度算出部３は、撮像画像の領域（例、１画素、複数画素）ごとの明るさ（例、階調値）を上記の第２関係情報と照合し、この領域における確度Ｐ２を算出する。確度算出部３は、例えば、確度情報として、各領域の位置と確度Ｐ２とを関連付けた情報（以下、確度Ｐ２の情報という）を算出する。

上述の確度Ｐ１の情報と確度Ｐ２の情報との少なくとも一方は、撮像画像のデータと同じファイルに格納されてもよい。例えば、この情報のデータ構造（データ形式、データフォーマット）は、例えば、画素の階調値（Ｒ、Ｇ、Ｂの各階調値）と、確度（例、確度Ｐ１と確度Ｐ２との少なくとも一方）とを組にした構造でもよい。また、確度Ｐ１の情報と確度Ｐ２の情報との少なくとも一方は、撮像画像のデータと別のファイルに格納されてもよい。例えば、確度Ｐ１の情報のデータ構造は、撮像画像の画素配列に対応させて、各画素の確度の値を配列した構造でもよい。なお、確度算出部３は、検出部２に設けられる光学系（例、結像光学系１３、結像光学系１６）の光学特性に基づいた確度情報の算出を行わなくてもよい。例えば、確度算出部３は、上述の確度Ｐ１と確度Ｐ２との少なくとも一方を算出しなくてもよい。

次に、対象物ＯＢの周囲を含む領域の確度情報について説明する。図４は、検出装置１（検出部２）の検出領域Ａ１の一例を示す概念図である。図４（Ａ）には、対象物ＯＢおよび検出装置１をＸ方向（例、側方）から見た概念図を示した。図４（Ｂ）には、対象物ＯＢおよび検出装置１をＺ方向（例、上方）から見た概念図を示した。

確度算出部３は、例えば、確度情報として、対象物ＯＢを含む領域（例、検出部２の検出領域Ａ１）のうち視点Ｖｐから検出可能な第１領域（例、視点Ｖｐから見て対象物ＯＢを平面視できる領域）ＡＲ１と、視点Ｖｐから見て第１領域ＡＲ１の陰になる第２領域（例、視点Ｖｐから見て対象物ＯＢを平面視できない領域）ＡＲ２とを区別する情報を算出する。検出領域Ａ１は、例えば、検出装置１（例、検出部２）の視野である。第１領域ＡＲ１は、例えば、検出領域Ａ１のうち、検出部２が検出した物体（例、対象物ＯＢ、背景、図４（Ａ）の床Ｆ、図４（Ｂ）の壁Ｗ）の表面と検出部２との間の領域を含む。図４において符号ＯＢｘは、検出部２が検出した物体（例、対象物）の表面上の任意の点である。点ＯＢｘの位置は、例えば、視点Ｖｐを基準とする３次元座標で表され、情報算出部４が算出する形状情報（例、後述する点群データ、サーフェス情報）により得られる。確度算出部３は、視点Ｖｐと点ＯＢｘとの間の領域ＡＲａを第１領域ＡＲ１とする。領域ＡＲａは、例えば、視点Ｖｐと点ＯＢｘとを結ぶ線上に光を遮る物体の存在確率が低い領域である。第１領域ＡＲ１は、例えば、複数の点ＯＢｘのそれぞれに対する領域ＡＲａの集合である。例えば、第１領域ＡＲ１は空隙（ガス空間）である。確度算出部３は、例えば、情報算出部４が算出する形状情報をもとに、第１領域ＡＲ１の範囲を示す座標を算出する。また、確度算出部３は、例えば、確度情報として、第１領域ＡＲ１を示す座標と、第１領域ＡＲ１に光を遮る物体が存在する確率が低い（第１領域ＡＲ１に光を遮る物体が存在しない確率が高い）ことを示す確度とを関連付けた情報を算出する。

また、確度算出部３は、例えば、視点Ｖｐと対象物ＯＢ上の点ＯＢｘとを結ぶ線上で、視点Ｖｐから点ＯＢｘよりも遠い領域ＡＲｂを第２領域ＡＲ２と判定する。第２領域ＡＲ２は、例えば、複数の点ＯＢｘのそれぞれに対する領域ＡＲｂの集合である。第２領域ＡＲ２は、例えば、検出部２の検出結果の信頼度が第１領域ＡＲ１よりも低い領域である。例えば、点ＯＢｘの部分がガラスなどの場合、第２領域ＡＲ２から視点Ｖｐに向かう光の点ＯＢｘでの屈折、反射、散乱等により、第２領域ＡＲ２に関する検出部２の検出結果の信頼度が低下する場合がある。また、点ＯＢｘの部分が光を透過しない材質であると、視点Ｖｐから第２領域ＡＲ２を検出不能である場合もある。このような場合、確度算出部３は、確度情報として、第２領域ＡＲ２が視点Ｖｐから検出不能な領域であることを示す情報を算出してもよい。

このように、確度算出部３は、対象物ＯＢの周囲の領域の情報（例、第１領域ＡＲ１に関する確度情報、第２領域ＡＲ２に関する確度情報）を算出してもよい。また、確度算出部３は、視点Ｖｐに対して対象物ＯＢの側方の空間（例、空隙）の情報を算出してもよい。図４（Ｂ）の符号ＳＰｘは、対象物ＯＢの側方の空間における点である。点ＳＰｘと視点Ｖｐとの距離は、例えば、視点Ｖｐと点ＯＢｘとの距離と同じである。確度算出部３は、例えば、点ＳＰｘが第１領域ＡＲ１（物体の表面よりも視点Ｖｐに近い領域）に属するか否かを判定する。確度算出部３は、点ＳＰｘが第１領域ＡＲ１に属すると判定した場合、例えば、点ＳＰｘの位置に空隙があると判定する。このようにして、確度算出部３は、例えば、対象物ＯＢの側方の空隙を検出してもよい。また、確度算出部３は、例えば、確度情報として、検出した空隙の位置と、この位置に空隙が存在する確率が高いこと（光を遮る物体が存在する確率が低いこと）を示す情報を算出してもよい。なお、確度算出部３は、図４を参照して説明した確度情報の少なくとも一部を算出しなくてもよい。

次に、検出部２（例、測距部１２）が検出した距離（デプス）に基づいた確度情報について説明する。確度算出部３は、例えば、測距部１２が検出した距離に基づいて、確度情報を算出する。図５は、測距部１２が検出した距離に基づいた確度情報の説明図である。図５（Ａ）は、デプス情報（デプス画像Ｉｍ２）の一例を示す概念図である。図５（Ａ）において、対象物ＯＢを点線で表し、検出部２の検出領域Ａ１に含まれる領域（例、デプス画像Ｉｍ２の１画素、複数画素）ごとの距離をグレースケールで表した。デプス画像Ｉｍ２において、階調値が高い（白に近い）部分は視点Ｖｐからの距離が近く、階調値が低い（黒に近い）部分は視点から遠い。

図５（Ｂ）は、距離と確度Ｐ３との関係の一例を示す図である。測距部１２は、例えば、視点Ｖｐから遠い位置であるほどその検出結果の信頼度（例、検出精度）が低下する場合がある。このような場合、確度算出部３は、例えば、確度情報として距離に対して負の相関をもつ値の確度Ｐ３を算出する。図５（Ｂ）において、確度Ｐ３は、視点Ｖｐからの距離が遠くなるにつれて減少する。確度Ｐ３と視点Ｖｐからの距離との関係を示す情報（以下、第３関係情報）は、例えば、予め記憶部５（図１参照）に記憶される。確度算出部３は、例えば、デプス画像Ｉｍ２（図５（Ａ）参照）上の領域（例、１画素、複数画素）ごとに、領域における視点Ｖｐまでの距離を第３関係情報に照合して、この領域の確度Ｐ３を算出する。確度算出部３は、例えば、確度情報として、各領域の位置と確度Ｐ３とを関連付けた情報（以下、確度Ｐ３の情報という）を算出する。

図５（Ｃ）は、距離と確度Ｐ３との関係の他の例を示す図である。測距部１２は、例えば所定の測距範囲（測距レンジ）を有し、測距範囲の中心から離れるほど検出結果の信頼度（例、検出精度）が低下する場合がある。このような場合、確度算出部３は、例えば、確度情報として、測距範囲の中心と、視点からの距離とのずれ量に基づいて、確度情報を算出してもよい。図５（Ｃ）において、確度Ｐ３は、測距範囲の中心で極大となり、距離が測距範囲の中心からずれるほど低下する。図５（Ｂ）および図５（Ｃ）に示したように、距離と確度Ｐ３との関係は、例えば測距部１２の特性に応じて適宜設定される。

また、確度算出部３は、測距部１２が検出した距離の分布に基づいて、確度情報を算出してもよい。図６は、距離の分布に基づいた確度情報の説明図である。図６（Ａ）は、デプス情報（デプス画像Ｉｍ２）の一例および対象物ＯＢを示す概念図である。図６において、符号Ｘ１～Ｘ５は、デプス画像Ｉｍ２上の１方向の位置を示す。位置Ｘ１はデプス画像Ｉｍ２の一端の位置であり、位置Ｘ２はデプス画像Ｉｍ２の他端の位置である。位置Ｘ１から位置Ｘ３の区間は、対象物ＯＢの背景（例、図４の床Ｆ、壁Ｗ）の部分である。位置Ｘ３から位置Ｘ４の区間は、対象物ＯＢの前面ＯＢ１の部分である。位置Ｘ４から位置Ｘ５の区間は、前面ＯＢ１と段差を有する面ＯＢ２の部分である。位置Ｘ５と位置Ｘ２の区間は、対象物ＯＢの背景（例、図４の床Ｆ、壁Ｗ）の部分である。位置Ｘ３は、前面ＯＢ１に対する側面ＯＢ３の部分であり、位置Ｘ４は、前面ＯＢ１と面ＯＢ２との間の側面ＯＢ４の部分である。位置Ｘ５は、面ＯＢ２に対する側面ＯＢ５の部分である。側面ＯＢ３、側面ＯＢ４、側面ＯＢ５は、例えば、視点Ｖｐからの視線に対して、平行に近い面であり、検出結果の信頼度が低い場合がある。

図６（Ｂ）は、図６（Ａ）の線Ｉｍｄ上における距離の分布を示す概念図である。図６（Ｂ）において、視点Ｖｐからの距離は、位置Ｘ３、位置Ｘ４、位置Ｘ５のそれぞれにおいて、ステップ的に変化する。測距部１２の検出結果の信頼度は、例えば、距離の変化量が閾値よりも大きい位置（例、段差の近傍）で低下する。このような場合、確度算出部３は、例えば、確度情報として、距離の変化量に応じた確度を算出してもよい。例えば、確度算出部３は、確度情報として、距離の変化量に対して負の相関の値の確度を算出してもよい。例えば、確度算出部３は、距離の変化量が相対的に小さい領域について、測距部１２の検出結果の信頼度が高いことを示す確度を算出してもよい。また、例えば、確度算出部３は、距離の変化量が相対的に大きい領域について、測距部１２の検出結果の信頼度が低いことを示す確度を算出してもよい。

図６（Ｃ）は、距離の変化量に基づいた確度Ｐ４の分布の一例を示す概念図である。ここでは、図６（Ｂ）の距離の分布に応じた確度Ｐ４の分布を概念的に示した。距離の変化量は、例えば、検出部２の視点を通る視線と、対象物ＯＢ上の面との傾きに応じた量である。例えば、距離の変化量が大きい場合、視線に対して対象物ＯＢ上の面が平行に近く、距離の変化量が小さい場合、視線に対して対象物ＯＢ上の面が垂直に近い。図６（Ｃ）において、距離の変化量が大きい位置（例、位置Ｘ３，Ｘ４、位置Ｘ５）において確度Ｐ４が相対的に低い。確度算出部３は、例えば、デプス画像Ｉｍ２の領域ごとに距離の変化量（例、隣接する２つの領域におけるデプスとの差分）を算出し、算出した変化量と閾値とを比較する。確度算出部３は、例えば、距離の変化量が閾値以下である場合に、この領域の確度Ｐ４をハイレベルとする。確度算出部３は、距離の変化量が閾値よりも大きい場合に、この領域の確度Ｐ４をローレベルとする。

図６（Ｄ）は、距離の変化量と確度Ｐ４との関係の一例を示す概念図である。図６（Ｄ）において、確度Ｐ４は、距離の変化量が閾値Ｄｔｈ以下の範囲において一定であり、距離の変化量が閾値Ｄｔｈを超える範囲において減少する。なお、確度Ｐ４は、距離の変化量に対して、非線形に変化してもよいし、線形に変化してもよく、不連続に（例、ステップ的に）変化してもよい。確度Ｐ４と、視点Ｖｐからの距離の変化量との関係を示す情報（以下、第４関係情報）は、例えば、予め記憶部５（図１参照）に記憶される。確度算出部３は、例えば、デプス画像Ｉｍ２（図６（Ａ）参照）上の領域（例、１画素、複数画素）ごとに、視点Ｖｐまでの距離の変化量を算出し、この変化量を第４関係情報に照合して各領域の確度Ｐ４を算出する。確度算出部３は、例えば、確度情報として、各領域の位置と確度Ｐ４とを関連付けた情報（以下、確度Ｐ４の情報という）を算出する。

上述の確度Ｐ３の情報と確度Ｐ４の情報との少なくとも一方は、デプス情報と同じファイルに格納されてもよい。例えば、この情報のデータ構造（データ形式、データフォーマット）は、例えば、検出領域Ａ１の一部の領域ごとに、確度（確度Ｐ３と確度Ｐ４との少なくとも一方）とデプスとを組にした構造でもよい。例えば、この情報は、デプス画像Ｉｍ２の領域（例、１画素、複数画素）ごとに、デプスの値と確度とを組にした形式で表されてもよい。また、確度Ｐ３の情報と確度Ｐ４の情報との少なくとも一方は、デプス情報と別のファイルに格納されてもよい。例えば、確度Ｐ１の情報のデータ構造と確度Ｐ２の情報のデータ構造の少なくとも一方は、デプス情報における各領域の距離のデータ配列に対応させて、各領域の確度の値を配列した構造でもよい。

なお、確度算出部３は、確度Ｐ３の情報と確度Ｐ４の情報との少なくとも一方を算出しなくてもよい。また確度算出部３は、検出部２（例、測距部１２）が検出した距離に基づいた確度情報の算出を行わなくてもよい。なお、確度算出部３は、上記の確度Ｐ１～確度Ｐ４の２つ以上を組み合わせた確度を算出してもよい。例えば、確度算出部３は、上記の確度Ｐ１～確度Ｐ４の２つ以上を用いた重み付け（加重平均（weighted average）の算出）を行って、確度を算出してもよい。また、確度算出部３は、確度Ｐ１～確度Ｐ４のうち２つ以上の相加平均と相乗平均との少なくとも一方を、確度として算出してもよい。

図１の説明に戻り、情報算出部４は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。情報算出部４は、検出部２の検出結果（例、デプス情報）を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。なお、上述の説明では測距部１２がデプス情報を生成するものとしたが、情報算出部４は、測距部１２が検出したデプスをもとにデプス情報を生成してもよい。また、情報算出部４は、デプス情報をもとに確度算出部３が算出した確度情報と、デプス情報とを関連付けた情報を生成してもよい。

情報算出部４は、例えば、形状情報として、検出部２の検出結果をもとに対象物ＯＢ上の複数の点の座標を含む点群データを算出する。情報算出部４は、測距部１２の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、情報算出部４は、デプス情報が示す距離画像（デプス画像）から平面画像への透視変換などにより、点群データを算出する。なお、情報算出部４は、撮像部１１と測距部１２とで視野が異なる場合、例えば、測距部１２の検出結果を透視変換（射影変換）などによって、撮像部１１の視野から対象物ＯＢを検出した結果に変換してもよい。情報算出部４は、例えば、撮像部１１の視野と測距部１２の視野との位置関係（例、視点の位置、視線の向き）に依存するパラメータを使って、透視変換を実行してもよい。

情報算出部４は、例えば、確度情報を用いて点群データを生成する。例えば、情報算出部４は、デプス画像において確度が相対的に高い領域を選択して、デプス画像から平面画像への透視変換を行ってもよい。例えば、情報算出部４は、デプス画像において確度が相対的に低い領域の少なくとも一部の透視変換を省略してもよい。情報算出部４は、例えば、デプス情報のうち確度が相対的に低い情報を用いないで点群データを生成してもよく、この場合、処理の負荷を減らすこと、生成される点群データのデータ量を減らすことができる。また、情報算出部４は、例えば、デプス画像において確度が相対的に高い領域を用いて、確度が相対的に低い領域を補間し、デプス画像から平面画像への透視変換を行ってもよい。

情報算出部４は、例えば、算出した点群データを記憶部５に記憶させる。情報算出部４は、例えば、点群データと確度情報とを関連付けた情報を生成する。例えば、情報算出部４は、点群データに含まれる３次元の点座標と、この点に対応するデプス画像上の点の確度とを関連付けた情報を算出する。この情報のデータ構造は、例えば、３次元の点座標と確度とを組にした構造でもよい。情報算出部４は、例えば、点群データと確度情報とを関連付けた情報を、記憶部５に記憶させる。

なお、情報算出部４は、確度情報を用いないで点群データを生成してもよい。また、確度算出部３は、情報算出部４が生成した点群データを用いて、点群データに含まれる点の情報に関する確度情報（点群データの確度情報）を算出してもよい。例えば、確度算出部３は、点群データに含まれる所定の２点間の距離情報に基づいて、確度情報を算出してもよい。例えば、確度算出部３は、点群データから隣接する２点を選択し、これら２点間の距離を閾値と比較して、確度情報を算出してもよい。また、確度算出部３は、点群データに含まれる複数の点の空間周波数情報（例、点の空間分布の粗密）に基づいて、確度情報を算出してもよい。また、確度算出部３は、点群データに含まれる２点を結ぶベクトル情報に基づいて、確度情報を算出してもよい。例えば、確度算出部３は、点群データから隣接する２点を選択し、これら２点を結ぶベクトルと、検出装置１の位置情報とを用いて、確度情報を算出してもよい。検出装置１の位置情報は、例えば、視点Ｖｐの向き（検出方向、視線、光学系の光軸の方向）を含む。確度算出部３は、例えば、点群データに含まれる２点を結ぶベクトルと視点Ｖｐの向きとの角度に応じて、確度情報を算出してもよい。例えば、確度算出部３は、上記のベクトルと視点Ｖｐの向きとの角度が０°あるいは１８０°に近い場合、上記のベクトルの始点と終点との少なくとも一方の確度を相対的に低くしてもよい。また、例えば、確度算出部３は、上記のベクトルと視点Ｖｐの向きとの角度が９０°あるいは２７０°に近い場合、確度を相対的に高くしてもよい。

なお、確度算出部３が確度情報の算出に用いる情報は、上記の距離情報、空間周波数情報、ベクトル情報、及び検出装置１の位置情報のうち、１種類でもよいし、２種類以上でもよい。確度算出部３が確度情報の算出に用いる点群データは、情報算出部４が確度情報を用いて生成したものでもよいし、情報算出部４が確度情報を用いないで生成したものでもよい。また、確度算出部３は、点群データを用いて算出した確度情報を、記憶部５に記憶させてもよい。

また、情報算出部４は、形状情報として、検出部２の検出結果をもとに対象物ＯＢ上の複数の点の座標と複数の点間の連結情報とを含むサーフェス情報を生成する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。情報算出部４は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。情報算出部４は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。

情報算出部４は、例えば、確度情報を用いてサーフェス情報を生成する。例えば、情報算出部４は、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定する際に、確度を加味して近傍の点を選択する。例えば、情報算出部４は、近傍の点として、確度が相対的に高い点を選択する。情報算出部４は、例えば、点群データのうち確度が相対的に低い情報を用いないでサーフェス情報を生成してもよく、この場合、処理の負荷を減らすこと、生成されるサーフェス情報のデータ量を減らすことができる。また、情報算出部４は、上記の近傍の点の確度が閾値よりも低い場合、その周囲の点のうち相対的に確度が高い点を用いた補間を行ってもよい。

情報算出部４は、例えば、サーフェス情報と確度情報とを関連付けた情報を生成する。例えば、情報算出部４は、サーフェス情報に含まれる線（または面）の情報と、この線（または面）に対応する点群データの点の確度の情報とを関連付けた情報を生成する。この情報は、例えば、サーフェス情報に含まれる要素（例、線、面）の属性情報として、格納されてもよい。情報算出部４は、例えば、サーフェス情報と確度情報とを関連付けた情報を、記憶部５に記憶させる。

なお、情報算出部４は、サーフェス情報を生成する際に確度情報を用いなくてもよい。例えば、情報算出部４は、確度情報を用いて点群データを生成し、この点群データをもとにサーフェス情報を生成する際に、確度情報を用いなくてもよい。また、確度算出部３は、情報算出部４が生成したサーフェス情報を用いて、確度情報を算出してもよい。例えば、サーフェス情報は、２点を結ぶ線（グラフ）の情報を含み、確度算出部３は、線の情報に関する確度情報を算出してもよい。例えば、上述の点群データを用いた確度情報の算出と同様に、確度算出部３は、上記の距離情報、ベクトル情報、及び検出装置１の位置情報の少なくとも１つを用いて、線の情報に関する確度情報を算出してもよい。

また、サーフェス情報は、例えば３以上の線に囲まれる対象物の面の情報を含み、情報算出部４は、線の情報に関する確度情報を用いて、面の情報を生成してもよい。例えば、面の外周線の複数の候補のうち相対的に確度が高い線を、面の外周線に採用してもよい。また、サーフェス情報は、例えば３以上の線に囲まれる面の情報を含み、確度算出部３は、面の情報に関する確度情報を算出してもよい。例えば、確度算出部３は、面の外周線に相当する線の情報に関する確度情報を用いた相加平均、相乗平均、あるいは加重平均によって、面の情報に関する確度情報を算出してもよい。また、確度算出部３は、面の法線方向と、検出装置１の位置情報（例、視点Ｖｐの向き）とを用いて、確度情報を算出してもよい。例えば、確度算出部３は、例えば、面の法線ベクトルと視点Ｖｐの向きとの角度に応じて、確度情報を算出してもよい。例えば、確度算出部３は、面の法線ベクトルと視点Ｖｐの向きとの角度が０°あるいは１８０°に近い場合、面の確度を相対的に低くしてもよい。また、例えば、確度算出部３は、面の法線ベクトルと視点Ｖｐの向きとの角度が９０°あるいは２７０°に近い場合、面の確度を相対的に高くしてもよい。

また、確度算出部３は、情報算出部４が生成したサーフェス情報を用いて、点群データに関する確度情報を算出してもよい。例えば、確度算出部３は、面の情報に用いられた点の情報について、面と点との距離に基づいて確度情報を算出してもよい。例えば、確度算出部３は、面に属する点のうち面からの距離が閾値以上の場合、この点の確度を距離が閾値未満の場合に比べて低くしてもよい。確度算出部３は、サーフェス情報を用いて点群データに関する確度情報を算出し、この確度情報を用いてサーフェス情報の少なくとも一部（例、線の情報、面の情報）を再計算してもよい。また、確度算出部３は、サーフェス情報を用いて算出した確度情報を、記憶部５に記憶させてもよい。

情報算出部４は、例えばインバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率、透過率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。

情報算出部４は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、情報算出部４は、撮像部１１が撮像した画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、情報算出部４は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。情報算出部４は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、情報算出部４は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。

確度算出部３は、例えば、テクスチャ情報の元になる画像データを用いて、テクスチャ情報に関する確度情報を算出してもよい。例えば、確度算出部３は、画像データに含まれる各画素のＲ、Ｇ、Ｂの輝度（階調値）と、画像データから算出されるテクスチャの空間周波数情報との少なくとも一方を用いて、確度情報を算出してもよい。また、確度算出部３は、上記の画像データの取得に用いられる光学系の特性（例、照野、収差）、対象物の光学特性（例、反射率、透過率、吸収率）、及び対象物を照らす光の光源の情報の少なくとも一部を用いて、確度情報を算出してもよい。情報算出部４は、例えば、確度情報を用いてテクスチャ情報を算出する。例えば、情報算出部４は、検出部２（例、撮像部１１）の検出結果（撮像画像）のうち、確度が相対的に高い領域を選択的に用いて、テクスチャ情報を算出してもよい。例えば、情報算出部４は、撮像部１１による撮像画像のうち、確度が相対的に低い領域をテクスチャ情報の算出に用いなくてもよく、この場合、処理の負荷を減らすこと、生成されるテクスチャ情報のデータ量を減らすことができる。また、情報算出部４は、確度が相対的に低い領域の情報を、確度が相対的に高い領域の情報を用いて補間し、テクスチャ情報を算出してもよい。

確度算出部３は、例えば、対象物ＯＢの領域（例、点群データの各点、サーフェス情報の要素）ごとに、確度情報を算出する。確度情報は、例えば、形状情報またはテクスチャ情報を算出するために検出部２の検出結果に対して重み付けした情報を含んでもよい。確度情報は、例えば、形状情報またはテクスチャ情報の算出に用いられる情報として、検出部２の検出結果または検出結果から生成される情報に対して重み付けした情報を含んでもよい。この重み付けに用いられる係数は、重み付けの処理よりも前に取得された確度情報に含まれる確度に応じた値でもよい。

情報算出部４は、例えば、対象物ＯＢの領域ごとに算出された確度情報を形状情報とテクスチャ情報の少なくとも一方に関連付ける。例えば、情報算出部４は、点群データの各点の座標（例、（Ｘｉ，Ｙｉ，Ｚｉ））と、この点の確度情報（例、確度Ｐ＝Ｐｉ）とを組にしたデータ（例、（Ｘｉ，Ｙｉ，Ｚｉ，Ｐｉ））を生成する。なお、情報算出部４は、例えば、点群データの各点の識別子（例、ＩＤ、番号）と、この点の確度情報とを関連付けることで、点群データの各点と確度情報とを関連付けてもよい。例えば、情報算出部４は、点群データの各点の確度情報にこの点の識別子を付加したデータを生成してもよい。また、情報算出部４は、点群データの各点の座標に、この点の確度情報の識別子（ＩＤ、番号）を付加したデータを生成してもよい。

また、例えば、情報算出部４は、サーフェス情報の要素（例、線、面、メッシュの各領域、ボクセル）と、この要素の確度情報とを組にしたデータを生成する。例えば、情報算出部４は、サーフェス情報に規定される要素（例、点の連結情報）と、この要素の確度情報とを組にしたデータを生成する。また、例えば、情報算出部４は、対象物ＯＢの領域（例、撮像画像の１画素、複数画素）ごとに算出されたテクスチャ情報を、この領域の確度情報と組にしたデータを生成する。

なお、情報算出部４は、例えば、サーフェス情報の各要素の識別子（例、ＩＤ、番号）と、この要素の確度情報とを関連付けることで、サーフェス情報の各要素と確度情報とを関連付けてもよい。例えば、情報算出部４は、サーフェス情報の要素の確度情報にこの要素の識別子を付加したデータを生成してもよい。また、情報算出部４は、サーフェス情報の要素の情報（例、点の連結情報）に、この点の確度情報の識別子（ＩＤ、番号）を付加したデータを生成してもよい。情報算出部４は、例えば、形状情報およびテクスチャ情報の少なくとも一方を含む情報にヘッダ情報（例、番号やコードなどの識別情報）を付けたモデル情報を生成する。このヘッダ情報は、識別情報、検出装置１の位置（位置情報）、撮像部１１による撮像タイミング、撮像部１１による撮像時間、対象物ＯＢの光学特性情報、および撮像環境情報（例、光源情報、対象物ＯＢなどに対する照明条件）のうち少なくとも一つを含む。このように、情報算出部４は、ヘッダ情報を有するモデル情報を所定のデータフォーマットに基づいて生成する。

記憶部５は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部５は、検出装置１に内蔵される記憶デバイスを含んでいてもよいし、検出装置１からリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。

制御部７は、例えば、ユーザまたは外部装置からの指令（制御信号）により、検出装置１の各部を制御する。例えば、制御部７は、検出部２に上記の検出処理を実行させる。この検出処理は、例えば、撮像部１１による撮像処理、及び測距部１２による距離検出処理を含む。制御部７は、例えば、検出部２の検出結果の少なくとも一部を記憶部５に記憶させる。制御部７は、例えば、確度算出部３に確度情報を算出させる。例えば、確度算出部３が算出した確度情報の少なくとも一部を記憶部５に記憶させる。制御部７は、例えば、情報算出部４にモデル情報を算出させる。制御部７は、例えば、情報算出部４が算出したモデル情報の少なくとも一部を記憶部５に記憶させる。

通信部６は、例えば、ＵＳＢポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部６は、制御部７に制御され、記憶部５に記憶されている情報を読み出し、読み出した情報を外部装置に送信する。例えば、通信部６は、確度算出部３の算出結果（例、確度情報）と情報算出部４の算出結果（例、モデル情報）の少なくとも一部を、外部装置（例、後に図９等に示す情報処理装置５１）に送信する。また、通信部６は、例えば、外部装置からの指令を含む情報を受信する。通信部６は、受信した情報を記憶部５に記憶させること、受信した情報を制御部７に供給することができる。

また、例えば、検出装置１は、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能である。このようなデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報をディスプレイや紙などに表示する又は印字することができる。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、該リーダー部を介して該デジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、上記の検出システム５０は、上記のデジタル装置やリーダー部を備えるリーダー装置を備える構成であってもよい。また、検出装置１は、上記のデジタル装置やリーダー装置を備える構成であってもよい。検出装置１が上記のデジタル装置を備える場合に、通信部６はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。また、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。

次に、上述の構成の検出装置１の動作に基づき、本実施形態に係る検出方法について説明する。図７は、本実施形態に係る検出方法の一例を示すフローチャートである。ステップＳ１において、検出部２は、所定の一視点（単一視点）から対象物ＯＢを検出する。例えば、検出部２の撮像部１１は、視点Ｖｐから対象物ＯＢを撮像する。また、例えば、検出部２の測距部１２は、視点Ｖｐと対象物ＯＢの表面の各点までの距離を検出する。また、ステップＳ２において、確度算出部３は、所定の一視点における対象物ＯＢの確度情報を算出する。例えば、確度算出部３は、撮像部１１の検出結果（例、撮像画像）と、測距部１２の検出結果（例、デプス情報）との少なくとも一部を用いて、確度情報を算出する。例えば、確度算出部３は、図３～図６を参照して説明した確度情報の少なくとも一部を算出する。また、ステップＳ３において、情報算出部４は、検出部２の検出結果および確度情報を用いて、視点Ｖｐにおける対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報を算出する。

図８は、図７のステップＳ２およびステップＳ３の処理の一例を示すフローチャートである。本実施形態においては、確度情報の算出に先立ち、例えば測距部１２によりデプスを検出しておく。ステップＳ１１において、確度算出部３は、例えば図４～図６に示したように、測距部１２が検出した距離（デプス）に基づいて確度情報を算出する。また、ステップＳ１３において、情報算出部４は、ステップＳ１１で算出された確度情報と、ステップＳ１２で生成されたデプス情報とを関連付けた情報を算出する。ステップＳ１４において、情報算出部４は、ステップＳ１３で算出した情報を用いて、点群データを算出する。ステップＳ１５において、情報算出部４は、点群データと確度情報とを関連付けた情報を生成する。ステップＳ１６において、情報算出部４は、ステップＳ１５で算出した情報を用いて、サーフェス情報を算出する。ステップＳ１７において、情報算出部４は、サーフェス情報と確度情報とを関連付けた情報を算出する。

図９は、図７のステップＳ２およびステップＳ３の処理の他の例を示すフローチャートである。図９において図８と同様の処理については、同じ符号を付してその説明を適宜、省略あるいは簡略化する。ステップＳ１１において、検出装置１（例、コントローラ１８）は、デプス情報を生成する。ステップＳ１４において、情報算出部４は、点群データを算出する。ステップＳ２１において、確度算出部３は、情報算出部４がステップＳ１４で算出した点群データの確度情報を生成する。

確度算出部３は、例えば、生成した点群データの確度情報を記憶部５に記憶させる。ステップＳ２２において、情報算出部４は、点群データ、及び確度算出部３がステップＳ２１で生成した点群データの確度情報を用いて、サーフェス情報のうち線の情報を算出する。ステップＳ２３において、確度算出部３は、情報算出部４がステップＳ２２で算出した線の情報の確度情報を生成する。確度算出部３は、例えば、生成した線の情報の確度情報を記憶部５に記憶させる。ステップＳ２４において、情報算出部４は、線の情報、及び確度算出部３がステップＳ２３で生成した線の情報の確度情報を用いて、サーフェス情報のうち面の情報を算出する。ステップＳ２５において、確度算出部３は、情報算出部４がステップＳ２４で算出した面の情報の確度情報を生成する。確度算出部３は、例えば、生成した面の情報の確度情報を記憶部５に記憶させる。

ステップＳ２６にいて、確度算出部３は、情報算出部４がステップＳ２４で算出した面の情報を用いて、点群データの確度情報を算出する。確度算出部３は、ステップＳ２１で生成した点群データの確度情報を、ステップＳ２６で生成した点群データの確度情報へ更新してもよい。また、確度算出部３は、ステップＳ２１で生成した点群データの確度情報と、ステップＳ２６で生成した点群データの確度情報とを、相加平均、相乗平均、あるいは加重平均などによって統合してもよい。また、確度算出部３は、ステップＳ２６で生成した点群データの確度情報を、ステップＳ２１で生成した点群データの確度情報と別に記憶部５に記憶させてもよい。ステップＳ２７において、検出装置１（例、情報算出部４）は、サーフェス情報を再計算するか否かを判定する。例えば、情報算出部４は、再計算するか否かを予め定めた設定情報に従って、ステップＳ２７の判定処理を行う。情報算出部４は、サーフェス情報を再計算すると判定した場合（ステップＳ２７；Ｙｅｓ）、ステップＳ２２に戻り、前回のステップＳ２２からステップＳ２６の処理で生成された確度情報の少なくとも一部を用いて、ステップＳ２２以降の処理を繰り返す。情報算出部４は、サーフェス情報を再計算しない判定した場合（ステップＳ２７；Ｎｏ）、一連の処理を終了する。

なお、確度算出部３は、ステップＳ２１における点群データの確度情報の生成処理、ステップＳ２３における線の情報の確度情報の生成処理、ステップＳ２５における面の情報の確度情報の生成、及びステップＳ２６における点群データの確度情報の生成処理の少なくとも１つの生成処理を行わなくてもよい。この場合、情報算出部４は、上記の生成処理が行われなかった項目の確度情報を用いないで、サーフェス情報の少なくとも一部（例、線の情報、面の情報）を生成してもよい。また、情報算出部４は、上記の生成処理が行われた項目の確度情報を用いないでサーフェス情報（例、線の情報、面の情報）を生成してもよい。この場合、上記の生成処理が行われた確度情報は、サーフェス情報の算出処理以外の処理、例えば、サーフェス情報を用いた処理（例、レンダリング処理）に利用されてもよい。また、情報算出部４は、ステップＳ２７の処理を行わなくてもよく、確度情報の少なくとも一部を用いたサーフェス情報の再計算を行わなくてもよい。

上述の実施形態において、検出装置１は、例えばコンピュータ（例、マイクロコンピュータ）を含む。このコンピュータは、記憶部５に記憶されている処理プログラムを読み出し、この処理プログラムに従って各種の処理を実行する。この処理プログラムは、例えば、所定の一視点（例、視点Ｖｐ）から対象物ＯＢを検出部２により光学的に検出した検出結果を処理する。この処理プログラムは、例えば、コンピュータに、所定の一視点（例、視点）Ｖｐにおける対象物ＯＢの確度情報を算出することと、検出部２の検出結果および確度情報を用いて、所定の一視点（例、視点Ｖｐ）における対象物ＯＢの形状情報とテクスチャ情報との少なくとも一方を生成することと、を実行させる。この処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。

［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、本実施形態に係る検出システム５０の一例を示す図である。検出システム５０は、検出装置１と、検出装置１から出力される情報を処理する情報処理装置５１と、を備える。情報処理装置５１には、例えば、入力装置５２および表示装置５３が設けられる。

情報処理装置５１は、検出装置１との間の通信により、検出装置１から情報を取得する。情報処理装置５１は、例えば、検出装置１から取得した情報（例、モデル情報、確度情報）を使って、レンダリング処理を実行する。例えば、情報処理装置５１は、ユーザにより入力装置５２に入力された視点の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置５１は、例えば、推定画像のデータを表示装置５３に供給し、表示装置５３に推定画像を表示させる。

入力装置５２は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置５２は、情報処理装置５１と接続される。入力装置５２は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置５１に供給する。表示装置５３は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置５１と接続されている。表示装置５３は、例えば、情報処理装置５１から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。

図１１は、本実施形態に係る検出システム５０の一例を示すブロック図である。情報処理装置５１は、通信部５５、記憶部５６、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１の通信部６と通信可能である。

記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１を制御する撮像制御プログラム、情報処理装置５１の各処理を実行させる処理プログラム、などを記憶する。

レンダリング処理部５７は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。

レンダリング処理部５７は、例えば、検出装置１が生成した確度情報を用いて、レンダリング処理を行う。例えば、レンダリング処理部５７は、モデル形状のうち確度が相対的に高い領域の解像度を、確度が相対的に低い領域の解像度よりも高くしてもよい。例えば、レンダリング処理部５７は、モデル形状のうち確度が相対的に低い領域の解像度を落として（例、ぼかして）、推定画像を生成してもよい。例えば、レンダリング処理部５７は、モデル形状のうち確度が相対的に低い領域のレンダリング処理を、省略あるいは簡略化してもよい。例えば、レンダリング処理部５７は、モデル形状のうち確度が相対的に低い領域を、確度が相対的に高い領域を用いて補間して、レンダリング処理を行ってもよい。

制御部５８は、例えば、情報処理装置５１の各部、検出装置１、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１に指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１から受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。

なお、検出システム５０は、入力装置５２を備えなくてもよい。例えば、検出システム５０は、各種の指令、情報が通信部６を介して入力される形態でもよい。また、検出システム５０は、表示装置５３を備えなくてもよい。例えば、検出システム５０は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。

［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、本実施形態に係る検出システム５０を示す図である。検出システム５０は、複数の検出装置（第１検出装置１ａ、第２検出装置１ｂ）と、複数の撮像装置から出力される情報を処理する情報処理装置５１とを備える。

情報処理装置５１は、第１検出装置１ａとの間の通信により、対象物ＯＢに対して第１視点の位置に配置された第１検出装置１ａから情報（例、モデル情報、確度情報）を取得する。情報処理装置５１は、対象物ＯＢに対して第２視点の位置に配置された第２検出装置１ｂとの間の通信により、第２検出装置１ｂから情報（例、モデル情報、確度情報）を取得する。情報処理装置５１は、第１視点から対象物ＯＢを検出する第１検出装置１ａから取得した情報、及び第２視点から対象物ＯＢを検出する第２検出装置１ｂから取得した情報を使って、情報処理を行う。例えば、第１検出装置１ａおよび第２検出装置１ｂは、それぞれ、自装置の視点（１視点、単一視点、１方向）から見た対象物ＯＢを表すモデル情報を、情報処理装置５１に供給する。情報処理装置５１は、第１検出装置１ａの視点（第１視点）から見た対象物ＯＢを表す第１モデル情報と、第２検出装置１ｂの視点（第１視点とは異なる第２視点）から見た対象物を表す第２モデル情報とを統合するモデル統合処理を行う。

図１３は、本実施形態に係る検出システム５０を示すブロック図である。第１検出装置１ａおよび第２検出装置１ｂは、それぞれ、例えば図１に示した検出装置１と同様の構成である。情報処理装置５１は、受信部（通信部５５）を備える。通信部５５は、対象物ＯＢの第１モデル情報と、対象物ＯＢの第２モデル情報とを受信する。第１モデル情報は、一視点（例、後に図１４に示す視点Ｖｐ１）における対象物の形状情報とテクスチャ情報との少なくとも一方を含む。第１モデル情報は、例えば、第１検出装置１ａによる第１検出結果と第１確度情報とを用いて第１検出装置１ａによって算出され、通信部５５は、第１検出装置１ａから第１モデル情報を受信する。第２モデル情報は、上記の一視点と異なる視点（例、後に図１４に示す視点Ｖｐ２）における対象物の形状情報とテクスチャ情報との少なくとも一方を含む。第２モデル情報は、例えば、第２検出装置１ｂによる第２検出結果と第２確度情報とを用いて第２検出装置１ｂによって算出され、通信部５５は、第２検出装置１ｂから第２モデル情報を受信する。

情報処理装置５１は、モデル統合処理を行うモデル統合部５９を備える。モデル統合部５９は、上記の第１モデル情報と第２モデル情報とを統合する。モデル統合部５９は、例えば、第１検出装置１ａからの第１モデル情報が示す形状から特徴点を抽出する。また、モデル統合部５９は、第２検出装置１ｂからの第２モデル情報が示す形状から特徴点を抽出する。特徴点は、各モデル情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。例えば、モデル統合部５９は、各モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って特徴点を抽出する。また、モデル統合部５９は、例えば、第１モデル情報と第２モデル情報とで特徴点をマッチングし、第１モデル情報と第２モデル情報とで共通する特徴点を検出する。また、モデル統合部５９は、第１モデル情報と第２モデル情報とで共通する特徴点を用いて、第１モデル情報が示す形状と第２モデル情報が示す形状との相対位置、相対姿勢を算出し、第１モデル情報と第２モデル情報とを統合する。

モデル統合部５９は、例えば、第１検出装置１ａから供給される確度情報（第１確度情報）と、第２検出装置１ｂから供給される確度情報（第２確度情報）の少なくとも一部を用いて、モデル統合処理を行う。モデル統合部５９は、例えば、確度情報に基づいて、モデル情報から統合に用いる情報を選択する。例えば、モデル統合部５９は、モデル情報が示す形状から特徴点を抽出する際に、この形状のうち相対的に確度が高い領域から特徴点を抽出する。また、モデル統合部５９は、例えば、第１モデル情報が示す形状と第２モデル情報が示す形状とで重複部分がある場合、第１確度情報と第２確度情報とを用いて重複部分における第１モデル情報の確度と第２モデル情報の確度とを比較し、相対的に確度が高い方のモデル情報を用いて重複部分の形状を表す。また、モデル統合部５９は、例えば、上記の重複部分について、第１モデル情報と第２モデル情報とに重み付け（加重平均の算出）を行って、形状情報を統合してもよい。加重平均は、例えば、相加平均、相乗平均、または指数平均（指数加重移動平均）を含む。この重み付けの係数は、例えば、重複部分における第１モデル情報の確度、及び重複部分における第２モデル情報の確度に基づいて、決定される。

図１４は、モデル統合処理の一例を示す概念図である。符号ＭＦ１は、第１検出装置１ａの視点（第１視点）Ｖｐ１からの検出結果をもとに生成されるモデル形状である。符号ＭＦ２は、第２検出装置１ｂの視点（第２視点）Ｖｐ２からの検出結果をもとに生成されるモデル形状である。符号ＭＦ３は、統合したモデル形状（統合モデル形状）である。

視点Ｖｐ１から見たモデル形状ＭＦ１において、例えば、面Ａａ、面Ｂａ、及び面Ｃａは、視点Ｖｐ１からの検出結果の信頼度（確度）が高い。モデル形状ＭＦ１において、例えば、面Ｄａおよび面Ｅａは、視点Ｖｐ１からの検出結果の信頼度（確度）が低い。また、対象物ＯＢに対して視点Ｖｐ１と異なる方向の視点Ｖｐ２から見たモデル形状ＭＦ２において、例えば、面Ｃｂ、面Ｄｂ、及び面Ｅｂは、視点Ｖｐ２からの検出結果の信頼度（確度）が高い。また、モデル形状ＭＦ２において、例えば、面Ａｂおよび面Ｂｂは、視点Ｖｐ２からの検出結果の信頼度（確度）が低い。このような場合、モデル統合部５９は、例えば、モデル形状ＭＦ１の面Ａａおよび面Ａｂをモデル形状ＭＦ３の生成に用い、モデル形状ＭＦ２の面Ｄｂおよび面Ｅｂをモデル形状ＭＦ３の生成に用いる。また、モデル統合部５９は、例えば、モデル形状ＭＦ１の面Ｃａとモデル形状ＭＦ２の面Ｃｂに重み付けを行い、モデル形状ＭＦ３のＣに用いる。

なお、モデル統合部５９が第１モデル情報と第２モデル情報とを統合する手法は、上述の例に限定されない。例えば、モデル統合部５９は、第１検出装置１ａと第２検出装置１ｂとの相対的な位置および相対的な姿勢を用いて、モデル統合処理を行ってもよい。また、モデル統合部５９は、第１検出装置１ａの視点と第２検出装置１ｂの視点との相対的な位置、及び第１検出装置１ａの視点の向き（視線）と第２検出装置１ｂの視点の向き（視線）との関係を用いて、モデル統合処理を行ってもよい。また、情報処理装置５１は、モデル統合部５９を備え、レンダリング処理部５７を備えなくてもよい。例えば、情報処理装置５１は、モデル統合処理の結果を外部装置へ出力し、この外部装置に設けられるレンダリング処理部がレンダリング処理を実行してもよい。

なお、モデル統合部５９は、複数の検出装置（例、第１検出装置１ａ、第２検出装置１ｂ）のうち少なくとも１つの検出装置に設けられてもよい。例えば、第１検出装置１ａは、モデル統合部５９を備えてもよい。この場合、第１検出装置１ａは、例えば、第１検出装置１ａと別の検出装置（第２検出装置１ｂ）から第２モデル情報を通信部６によって受信し、モデル統合部５９は、第１検出装置１ａの情報算出部４が算出した第１モデル情報と、第２モデル情報とを統合してもよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１、１ａ、１ｂ・・・検出装置、２・・・検出部、３・・・確度算出部、４・・・情報算出部、１１・・・撮像部、１２・・・測距部、５０・・・検出システム、５１・・・情報処理装置、５７・・・レンダリング処理部、５９・・・モデル統合部、Ｖｐ・・・視点、ＡＲ１・・・第１領域、ＡＲ２・・・第２領域

Claims (14)

1. 対象物を検出する検出部と、
   前記対象物と前記検出部との間の領域を特定する情報を算出する算出部と、を備える検出装置。
2. 前記領域は、前記検出部と前記対象物上の点とを結ぶ線上に光を遮る物体の存在確率が低い領域である、請求項１に記載の検出装置。
3. 前記算出部は、前記対象物の表面と前記検出部との間に空隙が存在することを示す情報を算出する、請求項１又は請求項２に記載の検出装置。
4. 前記検出部は、一視点から対象物を検出し、
   前記算出部は、前記検出部の検出結果を用いて一視点における前記対象物の信頼度を算出する請求項１から３のいずれか一項に記載の検出装置。
5. 前記算出部は、前記検出部から検出可能な第１領域と前記第１領域の陰になる第２領域とを区別する情報を算出する請求項１から４のいずれか一項に記載の検出装置。
6. 前記検出部は、前記対象物までの距離を検出し、
   前記算出部は、前記検出部からの距離が、前記物体までの距離より短い領域を空隙であると設定する請求項２に記載の検出装置。
7. 前記算出部は、前記対象物の周囲の領域の前記検出部による検出の信頼度を決定し、前記検出部からの距離が前記物体より短い領域の検出結果の信頼度は、前記検出部からの距離が前記物体より長い領域の検出結果の信頼度よりも高い、請求項６に記載の検出装置。
8. 前期検出部は、前記対象物の画像を検出し、
   前記算出部は、前記物体までの距離の信頼度を決定し、前記対象物の一部分の画像情報と、前記検出部から前記一部分までの距離と、前記検出部から前記一部分までの距離の信頼度と、を関連付ける請求項６または７に記載の検出装置。
9. 前記検出部は、前記対象物からの光をセンサで受光して前記対象物までの距離を検出し、
   前記算出部は、前記対象物までの距離を検出した前記センサ上の位置に基づいて、前記対象物までの距離の信頼度を決定する請求項１から８のいずれか一項に記載の検出装置。
10. 前記検出部は、前記対象物からの光をセンサで受光して前記対象物までの距離を検出し、
    前記算出部は、前記センサ上の位置の変化に対する、前記センサ上の位置で検出した前記対象物までの距離の変化に基づいて、前記対象物までの距離の信頼度を決定する請求項１から９のいずれか一項に記載の検出装置。
11. 前記センサ上の位置の変化に対する、前記センサ上の位置で検出した前記対象物までの距離の変化が第１値であるときの前記対象物までの距離の信頼度は、前記センサ上の位置の変化に対する、前記センサ上の位置で検出した前記対象物までの距離の変化が第１値より大きい第２値であるときの前記対象物までの距離の信頼度よりも高い請求項１０に記載の検出装置。
12. 前記算出部は、前記検出部から前記対象物までの距離に基づいて、前記対象物の形状情報を算出し、前記検出部から前記対象物までの距離の信頼度に基づいて、前記形状情報の信頼度を関連付ける請求項１から１１のいずれか一項に記載の検出装置。
13. 請求項１０に記載の検出装置から、複数の位置から検出された前記対象物の形状情報と前記形状情報の信頼度とをそれぞれ受信する受信部と、
    第１の位置から検出された前記対象物の第１の形状情報の信頼度と、第２の位置から検出した前記対象物の第２の形状情報の信頼度と、に基づいて、前記第１の形状情報と前記第２の形状情報とを統合した第３の形状情報を生成する統合部と、
    を備える情報処理装置。
14. 対象物を検出部により検出した検出結果を処理する処理プログラムであって、
    コンピュータに、
    前記検出部の検出結果を用いて前記対象物と前記検出部との間の領域を特定する情報を算出することを実行させる、処理プログラム。

Images