JP2017161370A - 検出装置、検出システム、検出方法、及び検出プログラム - Google Patents

Abstract

【課題】対象物の光学特性を取得する。【解決手段】検出装置（１）は、対象物（ＯＢ）を検出する検出部（２Ｂ）と、検出部の検出結果を用いて、対象物の形状情報を含むモデル情報を算出する情報算出部（３）と、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出する光源算出部（４）と、光源情報、及び形状情報を用いて対象物の表面特性情報を算出する特性算出部（５）と、を備える。【選択図】図１

Description

本発明は、検出装置、検出システム、検出方法、及び検出プログラムに関する。

複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−１３４５４６号公報

上述のような技術においては、対象物の光学特性を取得可能であることが望まれる。

本発明の第１の態様に従えば、対象物を検出する検出部と、検出部の検出結果を用いて、対象物の形状情報を含むモデル情報を算出する情報算出部と、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出する光源算出部と、光源情報、及び形状情報を用いて対象物の表面特性情報を算出する特性算出部と、を備える検出装置が提供される。

本発明の第２の態様に従えば、第１の態様の検出装置と、照明光を対象物に照射する照明装置と、を備える検出システムが提供される。

本発明の第３の態様に従えば、対象物を検出することと、検出の検出結果を用いて、対象物の形状情報を含むモデル情報を算出することと、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出することと、光源情報、及び形状情報を用いて対象物の表面特性情報を算出することと、を含む検出方法が提供される。

本発明の第４の態様に従えば、コンピュータに、対象物を検出した検出結果を用いて、対象物の形状情報を含むモデル情報を算出することと、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出することと、光源情報、及び形状情報を用いて対象物の表面特性情報を算出することと、を実行させる検出プログラムが提供される。

第１実施形態に係る検出装置を適用した検出システムを示す図である。 第１実施形態に係る全天画像を示す図である。 第１実施形態に係る検出部および照明装置を示す図である。 実施形態に係る検出方法を示すフローチャートである。 実施形態に係る光源情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。 実施形態に係る確度情報の算出処理の例を示すフローチャートである。 第２実施形態に係る検出装置を適用した検出システムを示す図である。 第３実施形態に係る検出装置を適用した検出システムを示す図である。

［第１実施形態］
第１実施形態について説明する。図１は、実施形態に係る検出装置を適用した検出システムを示す図である。この検出システム５０は、検出装置１および照明装置ＩＬを備える。照明装置ＩＬは、対象物ＯＢに照明光Ｌ１を照射し、検出装置１は、視点Ｖｐ（一視点）から対象物ＯＢを検出する。本実施形態における対象物ＯＢには、照明装置ＩＬによって制御される照明光Ｌ１の他に、例えば、室内灯からの光、自然光などの環境光Ｌ２が照射される。検出装置１は、例えば撮像装置であり、検出領域（例、視野）内の対象物ＯＢを検出する。検出装置１は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよく、携帯可能な情報端末（例、スマートフォン、タブレット、カメラ付き携帯電話）でもよい。検出装置１は、対象物ＯＢを検出した結果を使って、対象物ＯＢに関する情報の演算処理を行う。検出装置１は、自端末の演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ、ＣＧデータ）を算出する。上記の演算処理は、例えば、対象物ＯＢの少なくとも一部に関するコンピュータグラフィック処理（ＣＧ処理）を含んでもよい。

モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報を含む。モデル情報は、対象物ＯＢのテクスチャ情報を含んでもよい。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。テクスチャ情報は、例えば、対象物ＯＢの表面の文字や図形、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。検出装置１は、例えば、視点Ｖｐ（例、所定の視点、一視点、単一の視点、１方向）から見た対象物ＯＢを示すモデル情報を算出する。また、例えば、検出装置１は、対象物ＯＢに対して所定の角度における一視点から見た対象物ＯＢを示すモデル情報を算出する。

検出装置１は、例えば、撮像部２Ａと、検出部２Ｂと、情報算出部３と、光源算出部４と、特性算出部５と、確度算出部６と、記憶部７と、通信部８と、制御部９と、本体部１０とを備える。本体部１０は、例えば、カメラボディ、ケース、筐体などである。検出部２Ｂ、情報算出部３、光源算出部４、確度算出部６、及び特性算出部５は、例えば、本体部１０に設けられる。

撮像部２Ａは、対象物ＯＢを含む空間の全天画像を撮像する。例えば、撮像部２Ａは、全天球カメラであり、全天画像として３６０°のパノラマ画像を撮像する。全天画像は、撮像部２Ａの視点から、この視点を極とする極座標における２つの偏角方向（緯度方向および経度方向）のそれぞれについて３６０°の範囲を見渡した画像である。撮像部２Ａは、例えば、対象物ＯＢおよび照明装置ＩＬ（後に図３に示す光源１９）を含む空間の全天画像を撮像する。撮像部２Ａは、例えば、撮像した全天画像のデータ（全天画像データ）を記憶部７に記憶させる。撮像部２Ａは、本体部１０に設けられてもよいし、本体部１０と別に設けられてもよい。また、検出装置１は撮像部２Ａを備えなくてもよく、例えば、検出システム５０において検出装置１と別の撮像装置であってもよい。また、以下の説明では、全天画像の撮像範囲は撮像部２Ａの視点を中心とする３６０°の範囲であるものとするが、全天画像の撮像範囲は、例えば、対象物ＯＢを含む範囲であり、撮像部２Ａの視点を中心とする球の半分に相当する半球上の範囲（例、１８０°）以上で３６０°より小さい範囲であっても良い。

図２は、全天画像を示す概念図である。全天画像Ｉｍａは、例えば、水平方向における対象物の周囲を３６０°の範囲にわたって撮像した画像である。例えば、全天画像Ｉｍａは、撮像部２Ａの視点とする球（天球）を全方位（経度方向、緯度方向のそれぞれにおいて３６０°の範囲）にわたって撮像した画像である。図中の符号Ｉｍ１〜Ｉｍ５は、それぞれ、対象物の周囲の０°、９０°、１８０°、２７０°、３６０°の角度位置である。全天画像Ｉｍｂは、全天画像Ｉｍａにおける０°の角度位置Ｉｍ１と３６０°の角度位置Ｉｍ５とを一致させるように、全天画像Ｉｍａを円柱面（円筒面）に投影した画像である。また、全天画像Ｉｍｃは、全天画像Ｉｍｂの角度位置Ｉｍ１〜Ｉｍ４の鉛直方向の上端が一致し、かつ、全天画像Ｉｍｂの角度位置Ｉｍ１〜Ｉｍ４の鉛直方向の下端が一致するように、全天画像Ｉｍｂを球面に投影した画像である。

図１の説明に戻り、検出部２Ｂは、例えば、視点Ｖｐから対象物ＯＢを光学的に検出する。検出部２Ｂは、例えば、一視点（視点Ｖｐ）から対象物ＯＢを見た画像と、一視点（視点Ｖｐ）から対象物ＯＢ上の各点までの距離との少なくとも一方を取得する。検出部２Ｂは、例えば、所定の視角で対象物ＯＢを検出してもよい。検出部２Ｂは、例えば、所定の視線（例、単一の視線）で対象物ＯＢを検出してもよい。

図３（Ａ）は、検出部２Ｂの一例を示す図である。検出部２Ｂは、例えば、撮像部１１および測距部１２を含む。撮像部１１は、視点Ｖｐから対象物ＯＢを撮像して、検出結果として対象物ＯＢの画像データなどを出力する。検出部２Ｂの検出結果は、例えば、検出した対象物ＯＢの画像データを含む。測距部１２は、視点Ｖｐ（図１（Ａ）参照）から対象物ＯＢ上の各点までの距離を検出する。なお、検出部２Ｂは、撮像部１１または測距部１２を含まなくてもよい。例えば、検出システム５０は、撮像部１１の代わりに撮像部２Ａを用いるものでもよい。

撮像部１１は、結像光学系１３および撮像素子１４を備える。結像光学系１３は、対象物ＯＢの像を形成する。結像光学系１３は、例えば鏡筒内に保持され、鏡筒とともに本体部１０（図１参照）に取り付けられる。結像光学系１３および鏡筒は、例えば交換レンズであり、本体部１０から取り外し可能である。結像光学系１３および鏡筒は、内蔵レンズでもよく、例えば鏡筒は、本体部１０の一部でもよいし、本体部１０から取り外し不能でもよい。

撮像素子１４は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１４は、例えば本体部１０に収容される。撮像素子１４は、結像光学系１３が形成した像を撮像する。撮像素子１４の撮像結果（検出結果）は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。撮像素子１４は、例えば、撮像結果をフルカラー画像のデータ形式で出力する。なお、撮像部１１は、例えば、ライトフィールドカメラのように対象物ＯＢからの光線の方向および強度を検出するものでもよい。

測距部１２は、対象物ＯＢの表面上の各点からの距離を検出する。測距部１２は、例えば、TOF（time of flight）法により距離を検出する。測距部１２は、その他の手法で距離を検出するものでもよい。例えば、測距部１２は、レーザスキャナを含み、レーザスキャンにより距離を検出するものでもよい。例えば、測距部１２は、対象物ＯＢに所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するものでもよい。また、測距部１２は、位相差センサを含み、位相差法により距離を検出するものでもよい。また、測距部１２は、DFD(depth from defocus)法により距離を検出するものでもよい。DFD法などのように撮像を用いる場合、測距部１２は、撮像部１１の結像光学系１３と撮像素子１４との少なくとも一方を用いるものでもよい。

測距部１２は、例えば、照射部１５、結像光学系１６、撮像素子１７、及びコントローラ１８を備える。照射部１５は、対象物ＯＢに赤外光を照射可能である。照射部１５は、コントローラ１８に制御される。コントローラ１８は、照射部１５から照射される赤外光の強度を時間変化させる（例、振幅変調する）。結像光学系１６は、対象物ＯＢの像を形成する。結像光学系１６は、結像光学系１３と同様に、交換レンズの少なくとも一部でもよいし、内蔵レンズの少なくとも一部でもよい。撮像素子１７は、例えば、ＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１７は、少なくとも照射部１５が照射する光の波長帯に感度を有する。撮像素子１７は、例えば、コントローラ１８に制御され、対象物ＯＢで反射散乱した赤外光を検出する。例えば、撮像素子１７は、結像光学系１６が形成した像を撮像する。

コントローラ１８は、撮像素子１７による検出結果を使って、対象物ＯＢの表面の各点から撮像素子１７までの距離（デプス）を検出する。例えば、対象物ＯＢの表面上の点から撮像素子１７に入射する光の飛行時間は、この点のデプスに応じて変化する。撮像素子１７の出力は飛行時間に応じて変化し、コントローラ１８は、例えば、撮像素子１７の出力をもとにデプスを算出する。コントローラ１８は、例えば、撮像素子１７が撮像した画像の一部の領域（例、１画素、複数の画素）ごとにデプスを算出し、この領域の位置とデプスとを関連付けて、デプス情報を算出（生成）する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から検出装置１までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢにおけるデプスの分布（例、デプスマップ）を示す情報（例、デプス画像）を含む。

次に、図３（Ｂ）および図３（Ｃ）は、照明装置ＩＬを示す図である。照明装置ＩＬは、対象物ＯＢを含む空間に照明光Ｌ１を照射する。照明装置ＩＬは、対象物ＯＢに対する照明光Ｌ１の照射方向が可変である。例えば、照明装置ＩＬは、ＬＥＤマトリクスのように複数の光源１９を備え、複数の光源１９のうち点灯する光源を切り替えることによって、照射方向を変化させる。例えば、図３（Ｂ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ａが点灯しており、他の光源が消灯している。また、図３（Ｃ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ｂが点灯しており、他の光源が消灯している。また、例えば、照明装置ＩＬは、照射する照明光Ｌ１の点灯及び消灯、照射方向および照度などを制御可能である。

照明装置ＩＬは、例えば、検出装置１の制御部９（図１参照）と有線または無線によって通信可能に接続される。制御部９は、例えば、照明装置ＩＬに対して制御信号を供給し、照明装置ＩＬは、例えば、制御部９からの制御信号に基づいて複数の光源１９のそれぞれの点灯、消灯を切り替える。また、制御部９は、例えば、照明光Ｌ１の照射と同期して撮像部２Ａおよび検出部２Ｂの撮像部１１のそれぞれに撮像を実行させる。制御部９は、例えば、撮像部２Ａおよび撮像部１１のそれぞれからの撮像画像データと、照明装置ＩＬの照射条件とを関連付けて記憶部７に記憶させる。照明装置ＩＬの照射条件は、例えば、照明光Ｌ１の照射方向（例、点灯させた光源の識別情報）を含む。例えば、制御部９は、照明装置ＩＬから照明光Ｌ１を照射させない状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データを記憶部７に記憶させる。また、制御部９は、照明装置ＩＬから照明光Ｌ１を照射された状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データと照明光Ｌ１を照射した光源の識別情報とを関連付けて記憶部７に記憶させる。なお、照明装置ＩＬは、その位置と姿勢との少なくとも一方を変化させることで、照明光Ｌ１の照射方向を変化させるものでもよい。

対象物ＯＢに照射された照明光Ｌ１は、例えば、その少なくとも一部が反射して対象物ＯＢから放射される。この反射光Ｌ３の光量と照明光Ｌ１との比率は、例えば、物体表面の光学特性（反射率、散乱率、吸収率、透過率など）によって変化する。反射光Ｌ３は、例えば、正反射成分Ｌ３ａと散乱成分Ｌ３ｂとを含む。散乱成分Ｌ３ｂは、例えば、物体（例、対象物ＯＢ）における照明光Ｌ１の入射位置での物体表面の法線方向を中心として、光強度分布がガウス分布などで表される。正反射成分Ｌ３ａは、例えば、物体における入射位置に対して照明光Ｌ１の照射方向と正反射の関係になる方向における光強度が極大となり、散乱成分Ｌ３ｂよりも角度分散が小さい（例、半値幅が小さい）分布である。

物体上の入射位置の周囲の各方向（角度方向）へ向かう反射光Ｌ３の強度は、例えば、散乱成分Ｌ３ｂと正反射成分Ｌ３ａとの比率によって変化する。反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、例えば、物体表面の光学特性（例、散乱率、散乱係数）に応じて変化する。例えば、反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、物体表面が粗い（粗度が高い）場合に高くなり、物体表面が平滑面（例、鏡面）に近い場合に低くなる。撮像部１１が撮像した撮像画像における物体表面の明るさは、例えば、照明光Ｌ１の照射方向によって変化する。例えば、図３（Ｂ）において、正反射成分Ｌ３ａは撮像部１１に入射せず、散乱成分Ｌ３ｂの一部が撮像部１１に入射する。また、図３（Ｃ）において、正反射成分Ｌ３ａ、及び散乱成分Ｌ３ｂの一部が入射する。例えば、撮像部１１が撮像した撮像画像において、物体における照明光Ｌ１入射位置に相当する部分の明るさは、図３（Ｃ）の場合に図３（Ｂ）よりも明るい。

図１の説明に戻り、情報算出部３は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。情報算出部３は、検出部２Ｂの検出結果（例、デプス情報）を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。なお、図３（Ａ）の説明では測距部１２がデプス情報を生成するものとしたが、情報算出部３は、測距部１２が検出したデプスをもとにデプス情報を生成してもよい。

情報算出部３は、例えば、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標を含む点群データを算出する。情報算出部３は、測距部１２の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、情報算出部３は、デプス情報が示す距離画像（デプス画像）から平面画像への透視変換などにより、点群データを算出する。情報算出部３は、例えば、算出した点群データを記憶部７に記憶させる。なお、情報算出部３は、撮像部１１と測距部１２とで視野が異なる場合、例えば、測距部１２の検出結果を透視変換（射影変換）などによって、撮像部１１の視野から対象物ＯＢを検出した結果に変換してもよい。情報算出部３は、例えば、撮像部１１の視野と測距部１２の視野との位置関係（例、視点の位置、視線の向き）に依存するパラメータを使って、透視変換を実行してもよい。

また、情報算出部３は、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標と複数の点間の連結情報とを含むサーフェス情報を生成する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。情報算出部３は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。情報算出部３は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。情報算出部３は、例えば、算出したサーフェス情報を記憶部７に記憶させる。

光源算出部４は、対象物ＯＢに対する照明光Ｌ１の照射方向を変化させて対象物ＯＢを含む空間を撮像した複数の全天画像を用いて、照明光Ｌ１の光源情報を算出して推定する。光源情報は、例えば、照明光Ｌ１を照射する光源の位置、該光源から対象物へ光が照射される方向（照射方向）、該光源から照射される光の波長、該光源の種類のうち少なくとも１項目の情報を含む。光源算出部４は、例えば、全天画像に写っている照明装置ＩＬの光源１９を検出する。例えば、光源算出部４は、撮像部２Ａの視点を中心とする球面上に投影した全天画像を用いて、撮像部２Ａの視点に対する光源１９の方位を検出する。光源算出部４は、例えば、撮像部２Ａの視点に対する光源１９の方位、及び撮像部２Ａの視点の位置情報を用いて、光源１９の位置情報を算出する。撮像部２Ａの視点の位置情報は、例えば、撮像部２Ａの配置によって定まり、予め分かっている情報である。

なお、光源算出部４はランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。例えば、光源算出部４は、撮像部１１が撮像した画像の各画素の画素値を用いて、対象物ＯＢからの散乱成分Ｌ３ｂ（図３参照）と、対象物ＯＢからの正反射成分Ｌ３ａ（図３参照）とを推定してもよい。また、光源算出部４は、例えば、対象物ＯＢで正反射成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出してもよい。

光源算出部４は、例えば、照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１が照射された状態の全天画像と、照明光Ｌ１が照射されていない状態の全天画像とを比較して演算することによって、光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１の照射を停止した状態の全天画像と、照明光Ｌ１を照射した状態の全天画像とで差分をとることによって、対象物ＯＢに対する照明光Ｌ１の影響を抽出（環境光Ｌ２の影響を排除）する。この場合、検出装置１は、例えば、対象物ＯＢを暗室などで検出しなくてもよく、簡易に光源情報を取得することができる。光源算出部４は、例えば、算出した光源情報を記憶部７に記憶させる。

光源算出部４は、複数の全天画像から照明光Ｌ１の影響を低減した画像を生成してもよい。光源算出部４は、例えば、全天画像から照明光Ｌ１の影響を低減した画像のデータを記憶部７に記憶させる。通信部８は、照明光Ｌ１が照射されていない状態の全天画像と、全天画像から照明光Ｌ１の影響を低減した画像との少なくとも一方を外部へ送信してもよい。このような画像は、例えば、対象物ＯＢの周囲の情報を含んだグローバルイルミネーション情報（シーン情報）であり、モデル化された対象物ＯＢをレンダリングする際の背景などに利用可能である。

特性算出部５は、対象物ＯＢの表面特性情報を算出する。表面特性情報は、例えば、対象物ＯＢの部分ごとの光学特性を含み、光学特性は、反射率、透過率、散乱率、及び吸収率の少なくとも１つを含む。表面特性情報は、例えば、テクスチャ情報の一部であり、テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす照明光Ｌ１の光源情報、及び対象物ＯＢの表面の光学特性を示す表面特性情報の少なくとも１項目の情報を含む。

特性算出部５は、例えば、表面特性情報として、ＢＲＤＦ（Bi-directional Reflectance Distribution Function）とＳＶＢＲＤＦ(Spatially Varying Bidirectional Reflectance Distribution Function）との少なくとも一方を算出する。特性算出部５は、光源情報、形状情報、及び照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像を用いて、表面特性情報を算出する。特性算出部５は、対象物ＯＢの部分ごとに、形状情報が示す形状（例、対象物ＯＢの各部の表面における法線方向）、光源情報が示す照明光Ｌ１の照射方向、及び照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。特性算出部５は、例えば、照明光Ｌ１の光源情報として光源算出部４の算出結果（例、照明光Ｌ１の照射方向）を用いる。特性算出部５は、例えば、形状情報として情報算出部３の算出結果を用いる。特性算出部５は、例えば、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部１１の撮像結果を用いる。撮像部１１がライトフィールドカメラのように光線の方向と強度とを検出する場合、照明光Ｌ１の照射方向を複数の方向に変化させて各照射方向について撮像を行う場合と比較して、同等の情報を１回の撮像で取得することができる。この場合、例えば、複数の撮像を行う場合と比較して、撮像を行う間に照明装置ＩＬと対象物ＯＢと視点Ｖｐとの相対的な位置ずれの影響を減らすことができる。特性算出部５は、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部２Ａの撮像結果（全天画像）を用いてもよい。特性算出部５は、例えば、照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。

特性算出部５は、例えば、インバースレンダリングの手法によって表面特性情報を算出する。特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式を解くことによって、表面特性情報を算出する。例えば、特性算出部５は、インバースレンダリングの基本式からSVBRDFを未知数として立式された関係式を解くことによって、表面特性情報を算出する。ここで、既知材料のＢＤＲＦベクトルを下記の式（１）に示すチルダー付きのρｊで表す。ｊは、材料の種類を表す添え字であり、ｍは材料の種類の数である。例えば、物体を極とする極座標の緯度方向における視点Ｖｐの偏角、緯度方向における光源の偏角、及び経度方向における視点Ｖｐと光源との間の偏角をそれぞれ９０段階（例、１°刻み）とし、ＲＧＢの各色に対する光学特性を定義する場合、上記のＢＲＤＦベクトルは、９０×９０×９０×３次元のベクトルになる。

上記のｍ個のＢＲＤＦベクトルの基底ベクトルＫｉは、例えば、主成分分析（ＰＣＡ）によって、下記の式（２）を最小化するベクトルとして求められる。

対象物ＯＢにおいて表面特性情報を算出する対象の部分（以下、算出対象部という）の情報を取得する手法としては、例えば、光源（例、照明光Ｌ１）の照射方向を変化させて照射方向ごとに撮像した複数の撮像画像を用いて、算出対象部に相当する同一の画素から画素データ（観測画素データ）を取得する手法である。また、他の手法としては、例えば、１つの照射方向で撮像した撮像画像を用いて、対象物ＯＢ上で光学特性（表面特性）が算出対象部と同一とみなせる部分と算出対象部とのそれぞれに相当する画素から複数の画素データ（観測画素データ）を取得する手法である。また、上記の２つの手法を組み合わせる手法も用いられる。撮像画像の領域（例、１画素、複数の画素）に対応する対象物ＯＢの各部分に関して、例えば、光源との位置関係（例、照射方向）は、光源情報によって既知であり、対象物ＯＢの各部分における法線方向は、形状情報によって既知であり、対象物ＯＢの各部分と視点Ｖｐとの位置関係は、形状情報によって既知である。下記の式（３）は、同一の反射特性の観測画素データである。式（３）は、例えば、視点Ｖｐから見た対象物ＯＢの各部分について、対象物ＯＢの各部分と視点Ｖｐとの距離の法線方向に対するコサイン成分、及び対象物ＯＢの各部分と光源との距離法線方向に対するコサイン成分を補正することによって、得られる。

下記の式（４）は、表面特性情報の算出に用いられる式である。式（４）の左辺は、式（３）の観測画素データに相当する。式（４）の右辺の行列は、式（２）に示した基底ベクトルＫｉを列ベクトルとして、行方向に配列したものである。式（４）は、観測画素の数（左辺のベクトルの要素数）が基底ベクトルの数（右辺の行列の列数）以上であれば、係数Ｗｎのベクトルが求まる。係数Ｗｎのベクトルは、例えば、最小二乗法などの最適化を用いた手法で算出されてもよい。係数Ｗｎのベクトルが求まると、基底ベクトルＫｉを用いて任意の角度に対するＢＤＲＦが算出可能である。

このように、特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式（例、式（４））を解くことによって、表面特性情報を算出する。特性算出部５は、例えば、算出した表面特性情報を記憶部７に記憶させる。特性算出部５は、例えば、対象物ＯＢのうち第１部分に関して、関係式を解くことによって表面特性情報を算出する。第１部分は、例えば、関係式を解くのに必要な情報（例、観測画素）が充足している部分である。また、特性算出部５は、例えば、対象物ＯＢのうち第１部分と異なる第２部分に関して、関係式による表面特性情報の算出を行わない。第２部分は、例えば、関係式を解くのに必要な情報（例、観測画素の数）が不足している部分である。特性算出部５は、第２部分に関して、第１部分の光学特性を用いた補間によって光学特性を算出してもよい。また、特性算出部５は、関係式を解くのに必要な情報例、観測画素）が得られる照明光Ｌ１の照射方向を算出してもよい。

また、確度算出部６は、表面特性情報の確度情報を算出する。確度情報は、例えば、対象物ＯＢを含む領域（例、検出部２の検出領域、視野）の各位置に対する、情報（例、表面特性情報）の信頼度を含む。例えば、確度は、各位置のデータの正確さ（正確度、精度、信頼度）、または不確かさ（曖昧さ、不明瞭さ）を数値化したものであり、確度情報は、複数の位置における光学特性（例、表面特性情報）に関する確度の分布を含む。例えば、確度が高いことは、正確さが高いこと、あるいは不確かさが低いことに相当する。例えば、確度が低いことは、正確さが低いこと、あるいは不確かさが高いことに相当する。

確度算出部６は、例えば、確度情報として、光学特性が関係式（例、式（４））から算出されたか否かを示す情報を算出する。例えば、上記の第１部分に関する表面特性情報は、関係式（例、式（４））から算出されたものであり、上記の第２部分に関する表面特性情報は、関係式（例、式（４））から算出されていない。確度算出部６は、例えば、第１部分の光学特性の確度に対して、第２部分の光学特性の確度を相対的に低くする。この確度情報は、例えば、対象物ＯＢの部分ごとに、表面特性情報の算出に成功したか否かを示す情報でもよい。例えば、確度算出部６は、表面特性情報の算出に成功した部分に関して「１」のフラグを付加し、表面特性情報の算出に失敗した部分に関して「０」のフラグを付加してもよい。また、確度算出部６は、関係式（例、式（４））を解く際の評価関数の値（例、誤差、残差）に応じた確度を算出してもよい。また、特性算出部５は、第２部分に関して、第１部分の光学特性を用いた補間によって光学特性を算出し、確度算出部６は、上記の関係式から算出される光学特性の確度（例、第１部分に関する確度）に対して、補間によって算出される光学特性の確度（例、第２部分に関する確度）を相対的に低くしてもよい。例えば、確度算出部６は、光学特性の補間に用いられた光学特性の確度の相加平均、相乗平均、加重平均などによって、補間で算出された光学特性の確度を算出してもよい。また、確度算出部６は、算出対象の部分の形状情報を用いて、この部分に関する表面特性情報の確度を算出してもよい。例えば、算出対象の部分の接線方向が、算出対象の部分と視点Ｖｐとを結ぶベクトル（視線）と平行に近い場合、この部分の光学特性の確度を低くしてもよい。なお、検出装置１は、表面特性情報の確度情報を算出しなくてもよく、確度算出部６を備えなくてもよい。

記憶部７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部７は、検出装置１に内蔵される記憶デバイスを含んでいてもよいし、検出装置１からリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。

通信部８は、例えば、ＵＳＢポートあるいはＬＡＮポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部８は、制御部９に制御され、記憶部７に記憶されている情報を読み出し、読み出した情報を外部装置に送信する。例えば、通信部８は、情報算出部３の算出結果（例、形状情報）と、光源算出部４の算出結果（例、光源情報）と、特性算出部５の算出結果（例、表面特性情報）と、確度算出部６の算出結果（例、確度情報）との少なくとも一部を、外部装置（例、後に図１０に示す情報処理装置５１）に送信する。また、通信部８は、例えば、外部装置からの指令を含む情報を受信する。通信部８は、受信した情報を記憶部７に記憶させること、受信した情報を制御部９に供給することができる。

制御部９は、例えば、ユーザまたは外部装置からの指令（制御信号）により、検出装置１の各部を制御する。制御部９は、照明装置ＩＬを制御し、照明光Ｌ１の照射と同期して、撮像部１１による撮像処理、及び検出部２Ｂによる検出処理を実行させる。この検出処理は、例えば、撮像部１１による撮像処理、及び測距部１２による距離検出処理を含む。制御部９は、例えば、撮像部１１の検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、検出部２Ｂの検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、情報算出部３にモデル情報（例、形状情報）を算出させ、情報算出部３が算出したモデル情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、光源算出部４に光源情報を算出させ、光源算出部４が算出した光源情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、特性算出部５に表面特性情報を算出させ、特性算出部５が算出した表面特性情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、確度算出部６に確度情報を算出させ、確度算出部６が算出した確度情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、通信部８を制御し、記憶部７に記憶されている情報の少なくとも一部を外部装置へ送信させる。

また、例えば、検出装置１は、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能である。このようなデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報をディスプレイや紙などに表示する又は印字することができる。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、該リーダー部を介して該デジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、上記の検出システム５０は、上記のデジタル装置やリーダー部を備えるリーダー装置を備える構成であってもよい。また、検出装置１は、上記のデジタル装置やリーダー装置を備える構成であってもよい。検出装置１が上記のデジタル装置を備える場合に、通信部６はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。また、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。

次に、上述の構成の検出装置１の動作に基づき、本実施形態に係る検出方法について説明する。図４は、実施形態に係る検出方法の一例を示すフローチャートである。検出装置１は、ステップＳ１からステップＳ５の処理によって、照明光Ｌ１の照射方向を変えながら、各照射方向に応じた対象物ＯＢを含む空間の全天画像および一視点から見た対象物ＯＢの撮像画像を取得し、各照射方向に応じた光源情報を算出する。なお、ステップＳ１の処理に先立ち、撮像部２Ａは、照明光Ｌ１の照射が停止された状態で対象物ＯＢを含む空間の全天画像を撮像してもよい。

ステップＳ１において、制御部９は、照明装置ＩＬを制御し、照明光Ｌ１の照射方向を設定して照明光Ｌ１を照射させる。ステップＳ２において、撮像部２Ａは、照明光Ｌ１が照射されている状態の対象物ＯＢを含む空間の全天画像を撮像する。ステップＳ３において、検出部２Ｂの撮像部１１は、視点Ｖｐから対象物ＯＢを撮像する。ステップＳ３の処理は、ステップＳ２の処理と並行して行われてもよいし、ステップＳ２よりも前に行われてもよい。ステップＳ４において、光源算出部４は、撮像部１１が撮像した全天画像を用いて、光源情報を算出する。

図５は、光源情報の算出処理（図４のステップＳ４）の例を示すフローチャートである。図５のステップＳ２１において、光源算出部４は、記憶部７から全天画像のデータを取得する。ステップＳ２２において、光源算出部４は、全天画像を球面上の画像（図２参照）に変換する。ステップＳ２３において、光源算出部４は、対象物ＯＢに照射される光（照明光Ｌ１、環境光Ｌ２）のうち照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を得る。例えば、光源算出部４は、照明光Ｌ１が照射された状態で撮像された全天画像から、照明光Ｌ１が照射されていない状態で撮像された全天画像を差し引くことで、全天画像上の照明光Ｌ１を環境光Ｌ２と分離する。なお、ステップＳ２２の処理とステップＳ２３の処理は、順番が入れ替えられてもよく、全天画像上の照明光Ｌ１を環境光Ｌ２と分離した後に、全天画像を球面上の画像に変換してもよい。ステップＳ２４において、光源算出部４は、球面上の全天画像を用いて対象物ＯＢにおける照明光Ｌ１の光源情報を算出する。

図４のステップＳ５において、制御部９は、照明光Ｌ１の照射方向を変更するか否かを判定する。制御部９は、例えば、予め定められた複数の照射方向の一部について全天画像の撮像が終了していない場合に、照明光Ｌ１の照射方向を変更すると判定する（ステップＳ５；Ｙｅｓ）。制御部９は、照明光Ｌ１の照射方向を変更すると判定した場合（ステップＳ５；Ｙｅｓ）、ステップＳ１の処理に戻り、照射方向を次の方向に設定し、ステップＳ１以降の処理を繰り返し行う。このように、制御部９は、照明光Ｌ１の照射方向を切り替えつつ、撮像部２Ａは、照射方向ごとに全天画像を撮像し、光源算出部４は、照射方向ごとに光源情報を算出する。なお、ステップＳ４の処理（光源情報算出処理）は、複数の照射方向のそれぞれについて全天画像を取得した後に行われてもよい。例えば、検出装置１は、ステップＳ４の処理を除いたステップＳ１からステップＳ５の処理を繰り返し行って全天画像のデータを蓄積し、光源算出部４は、蓄積された全天画像のデータを用いて各照射方向の光源情報を順に算出してもよい。ステップＳ５において、制御部９は、例えば、予め定められた複数の照射方向について全天画像の撮像が終了した場合に、照明光Ｌ１の照射方向を変更しないと判定する（ステップＳ５；Ｎｏ）。

ステップＳ６において、検出部２Ｂは、対象物ＯＢを視点Ｖｐから検出する。例えば、制御部９は、対象物ＯＢまでの距離を測距部１２に検出させる。測距部１２による距離の検出処理は、撮像部２Ａによる撮像処理あるいは撮像部１１による撮像処理と並行して行われてもよいし、並行しないで行われてもよい。ステップＳ７において、情報算出部７は、検出部２の検出結果を用いて、視点Ｖｐから見た対象物ＯＢの形状情報を算出する。例えば、情報算出部３は、測距部１２の検出結果（例、デプス情報）を用いて点群データを算出し、点群データを用いてサーフェス情報を算出する。

ステップＳ８において、特性算出部５は、情報算出部３が算出した形状情報、光源算出部４が算出した光源情報、及び照射方向を変えながら対象物ＯＢを撮像した複数の撮像画像を用いて、対象物ＯＢの表面特性情報を算出する。上記の複数の撮像画像は、例えば、ステップＳ３において撮像部１１が撮像した画像であるが、ステップＳ２において撮像部２Ａが撮像した全天画像でもよく、撮像部２Ａによる撮像画像（全天画像）と撮像部１１による撮像画像とを含んでもよい。

図６は、実施形態に係る表面特性情報の算出処理（ステップＳ８）の例を示すフローチャートである。ステップＳ３１において、特性算出部５は、対象物ＯＢのうち算出対象の部分を設定する。算出対象の部分は、例えば、撮像画像の１画素または複数の画素でもよいし、点群データに含まれる３つ以上の点を順に結んだ線に囲まれるメッシュ領域でもよいし、サーフェス情報に含まれる３つ以上の線に囲まれる面でもよい。ステップＳ３２において、特性算出部５は、算出対象の部分の形状情報、照明光Ｌ１の各照射方向についての光源情報、及び各照射方向に対応する対象物ＯＢの撮像画像（例、撮像部１１による撮像画像）を記憶部７から取得する。

ステップ３３において、特性算出部５は、関係式（例、上記の式（４））を解く情報が充足しているか否かを判定する。例えば、式（４）について説明したように、特性算出部５は、観測画素の数が基底ベクトルの数以上である場合、関係式を解く情報が充足していると判定する（ステップＳ３３；Ｙｅｓ）。特性算出部５は、関係式を解く情報が充足していると判定した場合（ステップＳ３３；Ｙｅｓ）、ステップＳ３４において、表面特性情報を未知数とする関係式を解く。ステップＳ３５において、特性算出部５は、評価関数を用いて未知数を最適化する。この評価関数は、例えば、上記の関係式の解を用いたレンダリング処理によって得られる対象物ＯＢの画像と、関係式を解く際に使われた撮像画像との差分である。例えば、特性算出部５は、上記の評価関数の値が最少化されるように、未知数を最適化する。

ステップＳ３３において、関係式を解く情報が充足していない（不足する）と判定された場合（ステップＳ３３；Ｎｏ）、又はステップＳ３５の処理の終了後に、ステップＳ３６において、特性算出部５は、次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ３６；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３１の処理に戻り、次の算出対象の部分を設定し、ステップＳ３２以降の処理を繰り返し行う。ステップＳ３６において、特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ３６；Ｎｏ）、一連の処理を終了する。

図７は、実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。図７の処理において、特性算出部５は、上記の関係式を解くことで得られた光学特性を用いた補間によって、他の部分の光学特性を算出する。図７の処理は、例えば、図６のステップＳ３６の処理の後に行われる。ステップＳ４１において、特性算出部５は、算出対象の部分を設定する。ステップＳ４２において、特性算出部５は、算出対象の部分に関して光学特性を算出済であるか否かを判定する。特性算出部５は、算出対象の部分に関して光学特性を算出済でないと判定した場合（ステップＳ４２；Ｎｏ）、光学特性を補間で算出するか否かを判定する。特性算出部５は、例えば、算出対象の部分の周囲に光学特性が算出された部分が補間を行うことが可能な数だけ存在する場合、光学特性を補間で算出すると判定する（ステップＳ４３；Ｙｅｓ）。特性算出部５は、光学特性を補間で算出すると判定した場合（ステップＳ４３；Ｙｅｓ）、ステップＳ４４において光学特性を補間で算出する。

特性算出部５は、ステップＳ４４の処理後、ステップＳ３２において光学特性が算出済であると判定した場合（ステップＳ４２；Ｎｏ）、又はステップＳ４３において光学特性を補間で算出しないと判定した場合（ステップＳ４３；Ｎｏ）に、ステップＳ４５において次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ４５；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ４５；Ｙｅｓ）、ステップＳ４１の処理に戻り、次の算出対象の部分を設定し、ステップＳ４２以降の処理を繰り返し行う。ステップＳ４５において、特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ４５；Ｎｏ）、一連の処理を終了する。

図４のステップＳ９において、確度算出部６は、表面特性情報の確度情報を算出する。図８は、実施形態に係る確度情報の算出処理（ステップＳ９）の例を示すフローチャートである。ステップＳ５１において、確度算出部６は、算出対象の部分を設定する。ステップＳ５２において、確度算出部６は、算出対象の部分の光学特性が上記の関係式で算出されたか否かを判定する。例えば、特性算出部５は、関係式を用いた光学特性の算出の成否を示すフラグを生成しておき、確度算出部６は、このフラグを参照してステップＳ５２の判定を行う。特性算出部５は、光学特性が関係式で算出されたと判定した場合（ステップＳ５２；Ｙｅｓ）、ステップＳ５３において、算出対象の部分に関する光学特性の確度を第１値にセットする。第１値は、固定値でもよいし、上記の評価関数の値に応じた値でもよい。

特性算出部５は、光学特性が関係式で算出されていないと判定した場合（ステップＳ５２；Ｎｏ）、ステップＳ５４において、算出対象の部分の光学特性が補間で算出されたか否かを判定する。例えば、特性算出部５は、補間で光学特性を算出したか否かを示すフラグを生成しておき、確度算出部６は、このフラグを参照してステップＳ５４の判定を行う。特性算出部５は、光学特性が補間で算出されたと判定した場合（ステップＳ５４；Ｙｅｓ）、ステップＳ５５において、算出対象の部分に関する光学特性の確度を第２値にセットする。第２値は、固定値でもよいし、補間に用いた光学特性の確度に応じた値（例、相加平均、相乗平均、加重平均）でもよい。第２値は、例えば、第１値に比べて確度が低いことを示す値に設定される。特性算出部５は、光学特性が補間で算出されていないと判定した場合（ステップＳ５４；Ｎｏ）、ステップＳ５６において、算出対象の部分に関する光学特性の確度を第３値にセットする。ステップＳ５６の処理は、例えば、確度情報の算出対象の部分に関して光学特性が「Ｎｕｌｌ」である場合に行われる。第３値は、例えば、第１値、第２値のいずれと比べても確度が低いことを示す値に設定される。第３値は、例えば、光学特性の算出に失敗したことを示すフラグでもよい。例えば、第１値は「１」、第２値は「０．５」、第３値は「０」などでもよい。

確度算出部６は、ステップＳ５３の処理後、ステップＳ５５の処理後、又はステップＳ５７の処理後に、ステップＳ５７において次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ５１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ５７；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ５７；Ｙｅｓ）、ステップＳ５１の処理に戻り、次の算出対象の部分を設定し、ステップＳ５２以降の処理を繰り返し行う。ステップＳ５７において、特性算出部５は、例えば、予め定められた部分についてステップＳ５１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ５７；Ｎｏ）、一連の処理を終了する。

［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、実施形態に係る検出装置を適用した検出システムを示す図である。検出システム５０は、複数の検出装置（第１検出装置１ａ、第２検出装置１ｂ）を備える。第１検出装置１ａは、視点Ｖｐ１から対象物ＯＢを検出し、視点Ｖｐ１から見た対象物ＯＢのモデル情報（第１モデル情報）を算出する。第２検出装置１ｂは、視点Ｖｐ１と異なる視点Ｖｐ２から対象物ＯＢを検出し、視点Ｖｐから見た対象物ＯＢのモデル情報（第２モデル情報）を算出する。検出システム５０は、第１モデル情報と第２モデル情報とを統合する。

第１検出装置１ａは、位置算出部３１を備える。位置算出部３１は、光源情報を用いて、対象物ＯＢと照明光Ｌ１の照射方向と視点Ｖｐ１との相対的な位置情報を算出する。位置算出部３１は、情報算出部３が算出した第１モデル情報と、一視点と異なる視点から対象物ＯＢを検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて照明光Ｌ１の照射方向と対象物ＯＢの位置と一視点との位置との関係を示す位置情報を算出する。第２検出装置１ｂは、例えば、第１検出装置１ａと同様の構成である。第２検出装置１ｂは、第１検出装置１ａと同様に、対象物ＯＢと照明光Ｌ１の照射方向と視点Ｖｐ２との相対的な位置情報を算出する。

これらの位置情報は、例えば、第１モデル情報と第２モデル情報との統合に用いられる。例えば、第２検出装置１ｂは、第１検出装置１ａと通信可能に接続され、第２モデル情報および位置情報を第１検出装置１ａへ送信する。第１検出装置１ａの通信部８は、第２検出装置１ｂから第２モデル情報および位置情報を受信する。第１検出装置１ａはモデル統合部３２を備え、モデル統合部３２は、上記の位置情報を用いて、第１モデル情報と第２モデル情報とを統合する。モデル統合部３２は、例えば、第１検出装置１ａの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係と、第２検出装置ｂａの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係とが整合するように、第２モデル情報を第１モデル情報と同じ座標系に変換する。モデル統合部３２は、例えば、第１モデル情報と、座標変換した第２モデル情報との足し合わせによってモデル情報を統合する。

なお、モデル統合部３２は、第１モデル情報が示す形状の特徴点と、第２モデル情報が示す形状の特徴点とのマッチングによって、第１モデル情報と第２モデル情報とを統合してもよい。例えば、モデル統合部３２は、第１位置情報と第２位置情報とを用いることで、第１モデル情報における特徴点と類似する第２モデル情報における特徴点を探索する範囲を絞ることができ、処理の負荷を低減することができる。

［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、本実施形態に係る検出システムを示す図である。検出システム５０は、検出装置１と、検出装置１から出力される情報を処理する情報処理装置５１と、を備える。情報処理装置５１には、例えば、入力装置５２および表示装置５３が設けられる。

情報処理装置５１は、検出装置１との間の通信により、検出装置１から情報を取得する。情報処理装置５１は、例えば、検出装置１から取得した情報（例、モデル情報）を使って、レンダリング処理を実行する。例えば、情報処理装置５１は、ユーザにより入力装置５２に入力された視点の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置５１は、例えば、推定画像のデータを表示装置５３に供給し、表示装置５３に推定画像を表示させる。

入力装置５２は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置５２は、情報処理装置５１と接続される。入力装置５２は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置５１に供給する。表示装置５３は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置５１と接続されている。表示装置５３は、例えば、情報処理装置５１から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。

情報処理装置５１は、通信部５５、記憶部５６、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１の通信部８と通信可能である。

記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１を制御する撮像制御プログラム、情報処理装置５１の各処理を実行させる処理プログラム、などを記憶する。

レンダリング処理部５７は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、検出装置１が生成した表面特性情報を用いて、レンダリング処理を行う。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。

制御部５８は、例えば、情報処理装置５１の各部、検出装置１、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１に指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１から受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。

なお、検出システム５０は、入力装置５２を備えなくてもよい。例えば、検出システム５０は、各種の指令、情報が通信部８を介して入力される形態でもよい。また、検出システム５０は、表示装置５３を備えなくてもよい。例えば、検出システム５０は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。また、検出システム５０は、図９に示したように複数の検出装置（１ａ、１ｂ）を備え、情報処理装置Ａは、モデル統合部３２を備えてもよい。例えば、情報処理装置Ａは、第１検出装置１ａおよび第２検出装置１ｂのそれぞれと通信可能に接続され、モデル統合部３２は、第１検出装置１ａから受信した第１モデル情報と第２検出装置１ｂから受信した第２モデル情報とを統合してもよい。

上述の実施形態において、情報算出部３、光源算出部４、及び特性算出部５を含む算出部は、例えばコンピュータシステムを含む。この算出部は、記憶部７に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、例えば、コンピュータに、対象物を検出した検出結果を用いて、対象物の形状情報を含むモデル情報を算出することと、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光（例、照明光Ｌ１）の光源情報を算出することと、光源情報、及び形状情報を用いて対象物の表面特性情報を算出することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１・・・検出装置、２Ａ・・・撮像部、２Ｂ・・・検出部、３・・・情報算出部、４・・・光源算出部、５・・・特性算出部、６・・・確度算出部、７・・・記憶部、８・・・通信部、９・・・制御部、１１・・・撮像部、１２・・・測距部、５０・・・検出システム、ＩＬ・・・照明装置、Ｉａ〜Ｉｃ・・・全天画像、Ｌ１・・・照明光、Ｌ２・・・環境光、ＯＢ・・・対象物、Ｖｐ・・・視点

Claims (27)

1. 対象物を検出する検出部と、
   前記検出部の検出結果を用いて、前記対象物の形状情報を含むモデル情報を算出する情報算出部と、
   前記対象物に対する照明光の照射方向を変化させて前記対象物を含む空間を撮像した複数の全天画像を用いて、前記照明光の光源情報を算出する光源算出部と、
   前記光源情報、及び前記形状情報を用いて前記対象物の表面特性情報を算出する特性算出部と、を備える検出装置。
2. 前記光源算出部は、前記照明光を環境光と分離して前記対象物に対する前記光源情報を算出する、請求項１に記載の検出装置。
3. 前記光源算出部は、前記照明光が照射された状態の前記全天画像と、前記照明光が照射されていない状態の前記全天画像とを比較して、前記光源情報を算出する、請求項２に記載の検出装置。
4. 前記全天画像と、前記全天画像から前記照明光の影響を低減した画像との少なくとも一方を外部へ送信する通信部を備える、請求項１から請求項３のいずれか一項に記載の検出装置。
5. 前記特性算出部は、前記照明光の照射方向を変化させて前記対象物を撮像した撮像画像を用いて、前記表面特性情報を算出する、請求項１から請求項４のいずれか一項に記載の検出装置。
6. 前記検出部は、前記対象物を撮像する第１撮像部を備え、
   前記特性算出部は、前記第１撮像部による撮像画像を用いて、前記表面特性情報を算出する、請求項５に記載の検出装置。
7. 前記照明光の照射と同期して前記第１撮像部に撮像を実行させる制御部を備える、請求項６に記載の検出装置。
8. 前記第１撮像部は、前記対象物からの光線の方向および強度を検出する、請求項６または請求項７検出装置。
9. 前記特性算出部は、前記対象物の部分ごとに、前記形状情報が示す形状、前記光源情報が示す前記照明光の照射方向、及び前記照明光の照射方向に応じた前記撮像画像を用いて前記表面特性情報を算出する、請求項５から請求項８のいずれか一項に記載の検出装置。
10. 前記特性算出部は、前記対象物の部分ごとの光学特性を未知数として、前記光学特性と前記形状情報と前記光源情報との関係式を解くことによって、前記表面特性情報を算出する、請求項１から請求項９のいずれか一項に記載の検出装置。
11. 前記特性算出部は、
    前記対象物のうち第１部分に関して、前記関係式を解くことによって前記表面特性情報を算出し、
    前記対象物のうち前記第１部分と異なる第２部分に関して、前記関係式による前記表面特性情報の算出を行わない、請求項１０に記載の検出装置。
12. 前記第１部分は、前記関係式を解くのに必要な情報が充足している部分であり、
    前記第２部分は、前記関係式を解くのに必要な情報が不足している部分である、請求項１１に記載の検出装置。
13. 前記特性算出部は、前記第２部分に関して、前記第１部分の前記光学特性を用いた補間によって前記光学特性を算出する、請求項１１または請求項１２に記載の検出装置。
14. 前記特性算出部は、前記関係式を解くのに必要な情報が得られる前記照明光の照射方向を算出する、請求項１１から請求項１３のいずれか一項に記載の検出装置。
15. 前記表面特性情報の確度情報を算出する確度算出部を備える、請求項１から請求項１４のいずれか一項に記載の検出装置。
16. 前記特性算出部は、前記対象物の部分ごとの光学特性を未知数として、前記光学特性と前記形状情報と前記光源情報との関係式を解くことによって、前記表面特性情報を算出すし、
    前記確度算出部は、前記確度情報として、前記関係式から前記光学特性が算出されたか否かを示す情報を算出する、請求項１５に記載の検出装置。
17. 前記特性算出部は、前記対象物のうち第１部分に関して、前記関係式を解くことによって前記表面特性情報を算出し、前記対象物のうち前記第１部分と異なる第２部分に関して、前記第１部分の前記光学特性を用いた補間によって前記光学特性を算出し、
    前記確度算出部は、前記関係式から算出される前記光学特性の確度に対して、前記補間によって算出される前記光学特性の確度を相対的に低くする、請求項１６に記載の検出装置。
18. 前記対象物を第１視点から検出して得られる形状情報を含む第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記光源情報を用いて前記第１視点と前記対象物との位置関係を算出する位置算出部を備える、請求項１から請求項１７のいずれか一項に記載の検出装置。
19. 前記第２モデル情報を受信する通信部と、
    前記位置情報を用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部を備える、請求項１８に記載の検出装置。
20. 前記照明装置に対して制御信号を供給する制御部を備える、請求項１から請求項１９のいずれか一項に記載の検出装置。
21. 前記全天画像を撮像する第２撮像部を備える、請求項１から請求項２０のいずれか一項に記載の検出装置。
22. 請求項１から請求項２０のいずれか一項に記載の検出装置と、
    前記照明光を前記対象物に照射する照明装置と、を備える検出システム。
23. 前記検出装置から出力される情報を処理する情報処理装置を備える請求項２２に記載の検出システム。
24. 前記情報処理装置は、前記表面特性情報を用いてレンダリング処理を行うレンダリング処理部を含む、請求項２３に記載の検出システム。
25. 前記情報処理装置は、前記対象物を第１視点から検出して得られる形状情報を含む第１モデル情報と、前記第１視点とは異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報とを統合するモデル統合部を備える、請求項２３または請求項２４に記載の検出システム。
26. 対象物を検出することと、
    前記検出の検出結果を用いて、前記対象物の形状情報を含むモデル情報を算出することと、
    前記対象物に対する照明光の照射方向を変化させて前記対象物を含む空間を撮像した複数の全天画像を用いて、前記照明光の光源情報を算出することと、
    前記光源情報、及び前記形状情報を用いて前記対象物の表面特性情報を算出することと、を含む検出方法。
27. コンピュータに、
    対象物を検出した検出結果を用いて、前記対象物の形状情報を含むモデル情報を算出することと、
    前記対象物に対する照明光の照射方向を変化させて前記対象物を含む空間を撮像した複数の全天画像を用いて、前記照明光の光源情報を算出することと、
    前記光源情報、及び前記形状情報を用いて前記対象物の表面特性情報を算出することと、を実行させる検出プログラム。

Images