JP2019008717A - 画像処理装置、画像処理システムおよび制御プログラム - Google Patents

Abstract

【課題】撮像対象物を周囲の様々な角度から見た画像を得る画像処理の演算量を低減する。【解決手段】画像処理装置は、取得部、第１認識部、第２認識部、推定部、領域設定部、検出部および画像生成部を備える。取得部は、複数の画像と各撮像時の視線方向とを得る。第１認識部は、対象物を第１視線方向で捉えた第１画像で３以上の特徴部を捉えた３以上の第１部分を認識する。第２認識部は、対象物を第２視線方向で捉えた第２画像で３以上の特徴部を捉えた３以上の第２部分を認識する。推定部は、３以上の第１部分の位置関係と３以上の第２部分の位置関係とを用いて対象物の表面形状を推定する。領域設定部は、ユーザの動作に応答して表面に対象領域を設定する。検出部は、接続領域に対象領域が設定されると、複数の撮像画像で第１面を捉えた第１領域と第２面を捉えた第２領域とを検出する。画像生成部は、第１領域と第２領域との合成で合成画像を生成する。【選択図】図６

Description

本開示は、画像処理装置、画像処理システムおよび制御プログラムに関する。

被写体（撮像対象物ともいう）を周囲の様々な角度から見た画像を得る画像処理技術として、多くの視点からの撮像で得た画像（多視点画像ともいう）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術がある（例えば、下記特許文献１など参照）。この技術では、例えば、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータが計算される。次に、このパラメータが用いられて再構成画像の各画素について多視点画像の対応する画素が演算で求められる。そして、対応する画素が多視点画像から抽出されて再構成画像が生成される。

特開平８−１１６５５６号公報

撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。

画像処理装置、画像処理システムおよび制御プログラムが開示される。

画像処理装置の一態様は、取得部と、第１認識部と、第２認識部と、推定部と、領域設定部と、検出部と、画像生成部と、を備えている。前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、前記領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。

画像処理システムの一態様は、第１装置と、通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備えている。前記第１装置は、撮像部と、方向計測部と、通信部と、を有している。前記撮像部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記通信部は、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する。前記第２装置は、受信部と、第１認識部と、第２認識部と、推定部と、領域設定部と、検出部と、画像生成部と、を含んでいる。前記受信部は、前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報と、を受信する。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、前記領域設定部によって前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。

画像処理システムの一態様は、第１装置と、通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備えている。前記第１装置は、撮像部と、方向計測部と、第１認識部と、第２認識部と、推定部と、情報設定部と、通信部と、を含む。前記撮像部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記第１認識部は、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第２認識部は、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記推定部は、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、前記複数の撮像画像について、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定するとともに、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記情報設定部は、前記複数の撮像画像について、前記対象物領域に対する表示および合成画像の生成への利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう。前記通信部は、前記複数の撮像画像と、前記推定部で推定した前記表面形状を示す表面形状情報と、前記情報設定部で設定された前記許可情報および前記禁止情報の少なくとも一方を含む許否情報とを、前記通信回線を介して前記第２装置に送信する。前記第２装置は、領域設定部と、検出部と、画像生成部と、を含む。前記領域設定部は、前記表面形状情報と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記検出部は、該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記画像生成部は、前記許否情報に基づいて、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。

制御プログラムの一態様は、画像処理装置を制御するための制御プログラムである。該制御プログラムは、前記画像処理装置に、第１工程、第２工程、第３工程、第４工程、第５工程と、第６工程、第７工程と、を実行させる。前記第１工程では、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る。前記第２工程では、前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する。前記第３工程では、前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する。前記第４工程では、前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する。前記第５工程では、推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する。前記第６工程では、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する。前記第７工程では、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する。

例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。

図１は、第１実施形態に係る画像処理システムの構成の一例を示す図である。 図２は、第１装置の電気的構成の一例を示すブロック図である。 図３は、第１画像処理装置の機能的構成の一例を示すブロック図である。 図４は、撮像対象物を撮像する態様の一例を示す模式図である。 図５は、第２装置の電気的構成の一例を示すブロック図である。 図６は、第２画像処理装置の機能的構成の一例を示すブロック図である。 図７（ａ）から図７（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図７（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図７（ｂ）は、第１撮像画像の一例を模式的に示す図である。図７（ｃ）は、第２撮像画像の一例を模式的に示す図である。 図８（ａ）から図８（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図８（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図８（ｂ）は、第１撮像画像の一例を模式的に示す図である。図８（ｃ）は、第２撮像画像の一例を模式的に示す図である。 図９（ａ）から図９（ｃ）は、撮像対象物の表面形状を推定する方法の一例を説明する図である。図９（ａ）は、撮像対象物の断面および撮像条件の一例を模式的に示す断面図である。図９（ｂ）は、第１撮像画像の一例を模式的に示す図である。図９（ｃ）は、第２撮像画像の一例を模式的に示す図である。 図１０は、撮像対象物の表面形状を推定する方法の一例を説明する図である。 図１１は、撮像対象物の表面形状を推定する方法の一例を説明する図である。 図１２（ａ）は、表示画面における拡大前の表示画像の一例を示す図である。図１２（ｂ）は、表示画面における拡大後の表示画像の一例を示す図である。 図１３（ａ）は、表示画面におけるスクロール前の画像の一例を示す図である。図１３（ｂ）は、表示画面におけるスクロール後の画像の一例を示す図である。 図１４は、第１装置による撮像対象物の撮像条件の一例を示す図である。 図１５（ａ）から図１５（ｄ）は、図１４の撮像条件での撮像で取得された撮像画像を例示する図である。 図１６（ａ）から図１６（ｃ）は、表示画面における画像のスクロールの一例を示す図である。 図１７は、画像処理システムにおける複数回の撮像動作をおこなう動作フローの一例を示す流れ図である。 図１８は、画像処理システムにおける各撮像動作に係る動作フローの一例を示す流れ図である。 図１９は、画像処理システムにおける撮像対象物の表面形状を推定する動作フローの一例を示す流れ図である。 図２０は、画像処理システムにおける表示用の画像の生成および表示をおこなう動作フローの一例を示す流れ図である。 図２１は、第２実施形態に係る第１画像処理装置の機能的構成の一例を示すブロック図である。 図２２は、第３実施形態に係る第１画像処理装置の機能的構成の一例を示すブロック図である。 図２３は、第３実施形態に係る第２画像処理装置の機能的構成の一例を示すブロック図である。 図２４（ａ）から図２４（ｃ）は、第３実施形態に係る表示画面における画像のスクロールの一例を示す図である。

例えば、工場などの製造現場では、稼働中の製造機器に何らかのアクシデントが発生すると、商品の製造が停止する。このとき、例えば、工場全体における設備稼働率の低下による製造コストの上昇、納期の遅れによる顧客満足度の低下およびサプライチェーンの崩壊など、企業活動に多大な悪影響を及ぼし得る。このため、製造機器のアクシデントからの復旧は急務となる。

このような場面では、例えば、製造機器を開発した担当者などの製造機器の担当者（機器担当者ともいう）は、アクシデントが発生している製造現場からの製造機器の早急な復旧の要請に応じて、本来の職場から製造現場へ急行せざるを得ない場合が想定される。この場合には、例えば、機器担当者は、本来の職場における現在進行中の本来の業務を一旦休止して、製造現場に急行することになる。このとき、例えば、製造機器のアクシデントが、仮に、些細な原因によるものであっても、製造現場の作業者（現場作業者ともいう）が容易に解決可能なものであっても、機器担当者は、本来の職場に戻るまでは、製造機器の復旧作業に拘束される。

通常、稼働中の製造機器の出荷台数は、開発後に年々増加する傾向を示す。このため、機器担当者が製造機器の復旧作業に拘束される時間も、年々増加する傾向を示す。その結果、例えば、機器担当者が新たな製造機器の開発などの本来の業務に充てるべき時間が、製造機器の復旧作業によってさらに削られていく。

これに対して、近年では、通信ネットワークにおける広帯域化と、パーソナルコンピュータ（パソコンともいう）の遠隔操作の技術（パソコン遠隔操作技術ともいう）と、が発達してきている。このため、例えば、通信ネットワークの広帯域化とパソコン遠隔操作技術とを利用して、機器担当者が製造現場に行くことなく、アクシデントが生じた製造機器の状況を確認し、その状況に対処することが考えられる。この場合には、例えば、機器担当者が製造現場との往復に要する時間が減少し、機器担当者は、本来の業務に充てる時間を確保することができる。

ただし、パソコン遠隔操作技術では、例えば、パソコンに搭載されているソフトウェアの確認および修正、パソコンの設定の確認および修正、ならびにパソコンの制御下のセンサで取得可能な情報の確認など、が実行可能な程度である。センサで取得可能な情報には、例えば、カメラで撮像可能な視野内の情報などが含まれ得る。このため、例えば、パソコン遠隔操作技術では、製造機器における、製品、半製品もしくは部品などの載置および除去、センサの物理的な位置の調整、ならびにセンサによる計測範囲外の状況の確認など、は実行することが難しい。センサによる計測範囲外の状況の確認には、例えば、カメラの視野外の状況の確認などが含まれ得る。

これに対して、機器担当者は、例えば、パソコン遠隔操作技術で実行することができない部分については、現場作業者からの報告書および現場作業者との電話による会話などを介して、製造機器の状況を把握することが想定される。また、機器担当者は、例えば、さらなる状況の把握、および製造機器に対する作業内容の説明を、現場作業者との電話で実施することが想定される。このとき、機器担当者は、例えば、現場の製造機器を観ていない状態、および通話の相手である現場作業者の視野および着目点が分からない状態で、製造機器の状況の聞き取りおよび作業内容の説明をおこなうことになる。また、このとき、現場作業者は、例えば、機器担当者が知りたい情報を正確には理解できていない状態で、自らの視点から見えている範囲で製造機器の状況を説明することになる。さらに、このとき、例えば、機器担当者と現場作業者との間で、同一の部品に異なる名称を用いるなど、前提とする知識および用語の共有化がなされていなければ、説明の内容が、相手に正しく伝わらず、相手に誤った内容で理解される危険性がある。その結果、例えば、機器担当者は、製造機器の状況の把握および製造機器に対する作業内容の伝達に非常に多くの時間を要してしまうことが想定される。具体的には、例えば、機器担当者が、製造機器についての誤った状況の把握に基づいて、不必要な作業内容を説明すれば、製造機器の復旧に対して、必要以上の多くの時間を要してしまうおそれがある。このような時間の浪費は、例えば、機器担当者と現場作業者とが言葉のみに頼って意思の疎通を図ることによって生じ得る。

このような問題に対して、例えば、言葉だけでなく、静止画または動画などの映像その他の情報を利用することで、機器担当者と現場作業者との間における円滑な意思の疎通を図るシステム（遠隔作業支援システムともいう）が考えられる。このシステムでは、例えば、現場作業者が、スマートグラス、スマートフォンなどのような携帯可能な機器のカメラで目前の状況を撮像して得られた映像を、ネットワークなどの通信回線を介して機器担当者の端末機器に送信する態様が考えられる。このような態様では、例えば、機器担当者は、端末機器で受信した映像を視認することで、製造現場に行くことなく、現場作業者がリアルタイムで見ているものを視認することができる。また、例えば、現場作業者への作業内容の説明が、音声だけでなく、現場作業者の端末機器のディスプレイに、現場作業者が撮像で得た映像上に書き込まれた絵および文字などで示される態様も考えられる。これにより、現場作業者は、例えば、比較的容易に作業内容の説明を理解することができる。このとき、例えば、機器担当者が見たい場所を現場作業者に正しく伝えることで、現場作業者は、機器担当者が見たい映像を取得することができる。具体的には、例えば、機器担当者は、現場作業者に、製造機器の見たい場所および撮影角度などを伝えることができる。そして、現場作業者は、例えば、携行しているカメラ付きの機器を用いて、機器担当者が見たい映像を取得することができる。その結果、例えば、機器担当者は、見たい場所を容易に視認することができ、製造機器の状況の把握が容易となる。換言すれば、例えば、機器担当者は、製造機器の状況を正しく把握することが可能となり、現場作業者に作業内容を正しく伝えることができる。これにより、パソコン遠隔操作技術と比較して、例えば、機器担当者は、製造機器の状況を迅速かつ的確に把握した上で、状況に適した対策を講ずることができる。

ただし、仮に遠隔作業支援システムを採用しても、機器担当者の意図に沿って、現場作業者が撮影をおこなうため、例えば、現場作業者が撮影者として長時間拘束されてしまう。このとき、例えば、機器担当者が、製造機器のアクシデントの原因を見つけるために、同じ場所を、何度も繰り返して見たり、製造機器を動作させながら見たり、といった態様になれば、現場作業者による撮影に要する時間が長くなる。その結果、例えば、現場作業者に対する作業負担が増大するおそれがある。また、例えば、機器担当者とっては、現場作業者に要請する作業が多くなる程、現場作業者に対する申し訳ない気持ちが増大する。その結果、例えば、機器担当者に対する精神的な負担が増大するおそれがある。このため、例えば、現場作業者に多大な作業を強いることなく、機器担当者が自分のペースで製造機器を周囲の様々な角度から確認可能な技術が存在すれば、機器担当者および現場作業者の作業効率が向上し得る。

このような要請に対して、例えば、製造機器を周囲の様々な角度から見た画像を得る画像処理技術を適用することが考えられる。このような画像処理技術としては、例えば、多くの視点からの撮像で得た画像（多視点画像）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術が考えられる。この技術では、例えば、観察者の視点位置および画像出力装置の種類から算出される、画像の再構成に必要なパラメータが用いられて、再構成画像の各画素について多視点画像の対応する画素が演算で求められ、再構成画像が生成される。

しかしながら、このような再構成画像を生成する画像処理では、画像の再構成に必要なパラメータの算出などに多大な演算が必要である。このため、製造機器を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。

このような課題は、アクシデントが発生した製造機器が撮像対象物である場合だけでなく、立体的な撮像対象物を周囲の様々な角度から見た画像を得たい場面一般に共通する。すなわち、撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。

そこで、本願発明者らは、撮像対象物を周囲の様々な角度から見た画像を得る画像処理について、演算量を低減することができる技術を創出した。

これについて、以下、各種実施形態を図面に基づいて説明する。図面においては同様な構成および機能を有する部分に同じ符号が付されており、下記説明では重複説明が省略される。図面は模式的に示されたものである。図４、図１０、図１１および図１４には、右手系のＸＹＺ座標系が付されている。このＸＹＺ座標系では、図４で示す水平方向に沿った１つの方向が＋Ｘ方向とされ、＋Ｘ方向に直交し且つ水平方向に沿った１つの方向が＋Ｙ方向とされ、＋Ｘ方向と＋Ｙ方向との両方に直交する方向が＋Ｚ方向とされている。

＜１．第１実施形態＞
＜１−１．画像処理システム＞
図１で示されるように、画像処理システム１は、第１装置２と、第２装置３と、通信回線４と、基地局５と、を備えている。ここでは、第１装置２は、例えば、無線方式または有線方式で基地局５に対して通信可能に接続されている。基地局５は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。第２装置３は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。通信回線４には、例えば、インターネットなどのネットワーク回線が適用される。このため、第２装置３は、例えば、通信回線４を介して第１装置２と通信可能に接続されている。

第１装置２は、例えば、第１ユーザＵ１が使用可能な装置である。第１実施形態では、第１装置２には、例えば、スマートフォンまたはタブレット端末などの撮像機能および通信機能を有する携帯機器が適用される。携帯機器は、例えば、撮像機能および通信機能を有するスマートグラスであってもよい。第１ユーザＵ１には、例えば、工場などの現場で撮像の対象物（撮像対象物ともいう）に対して作業をおこなう者（現場作業者ともいう）が含まれる。撮像対象物には、例えば、製造機器、検査機器および分析機器などの各種機器が含まれ得る。

第２装置３は、例えば、第２ユーザＵ２が使用可能な装置である。第１実施形態では、第２装置３には、例えば、パーソナルコンピュータまたはタブレット端末などの通信機能および画像表示機能を有する機器が適用される。第２ユーザＵ２には、例えば、撮像対象物としての各種機器を開発、生産または販売したメーカーの担当者（機器担当者ともいう）が含まれる。機器担当者には、例えば、機器の開発者などが含まれる。

このような画像処理システム１では、例えば、第２装置３は、通信回線４を介して、第１装置２に対して、各種の指示を送出することができる。また、例えば、第２装置３は、第１装置２で取得された各種の情報を、通信回線４を介して取得することができる。

＜１−２．第１装置の構成＞
＜１−２−１．第１装置の電気的な構成＞
図２で示されるように、第１装置２は、例えば、制御部２００、撮像部２１、方向センサ２２、表示部２３、スピーカ２４、通信部２５、タッチパネル２６および操作ボタン群２７を備えている。

制御部２００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）２１０、ＤＳＰ（Digital Signal Processor）２２０および記憶媒体２３０などを備えている。制御部２００は、例えば、第１装置２の他の構成要素を制御することで、第１装置２の動作を統括的に管理することが可能である。第１装置２は、例えば、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第１装置２は、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。

制御部２００は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路および／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。

１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続または処理を実行するように構成された１以上の回路またはユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。

種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ASIC）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。

記憶媒体２３０は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの、ＣＰＵ２１０およびＤＳＰ２２０が読み取り可能な非一時的な記録媒体を含む。記憶媒体２３０が有するＲＯＭは、例えば、不揮発性メモリ２３０ｂであるフラッシュＲＯＭ（フラッシュメモリ）である。記憶媒体２３０が有するＲＡＭは、例えば、揮発性メモリ２３０ａである。記憶媒体２３０には、第１装置２を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部２００の各種機能は、ＣＰＵ２１０およびＤＳＰ２２０が記憶媒体２３０内の各種プログラムを実行することによって実現される。記憶媒体２３０には、例えば、撮像部２１を用いて静止画像あるいは動画像を撮像するための撮像アプリケーションならびに通信をおこなうためのアプリケーションが記憶されている。記憶媒体２３０に記憶されるアプリケーションには、例えば、第１装置２を制御するための制御プログラム２Ｐｒが含まれている。ここで、第１装置２では、制御プログラム２ＰｒをＣＰＵ２１０などで実行することで、第１画像処理装置２０としての機能を実現することができる。換言すれば、制御プログラム２Ｐｒによって、第１画像処理装置２０が制御され得る。

記憶媒体２３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体２３０は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体２３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部２００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体２３０であってもよく、他の記憶媒体であってもよい。制御部２００の全ての機能あるいは制御部２００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部２００は回路によって形成されていればよい。制御部２００の構成は後述する他の制御部にも適用できる。

撮像部２１は、例えば、レンズおよび撮像素子などを備えている。撮像部２１は、制御部２００によって制御され得る。撮像部２１は、レンズを介して撮像素子で光を受光して、撮像画像を生成する。これにより、撮像部２１は、撮像画像を取得することができる。撮像部２１で取得される撮像画像は、静止画像の形態とされてもよいし、繰り返し（例えば、周期的に）撮像画像を生成して動画像の形態のものとされてもよい。ここで、例えば、第１ユーザＵ１が第１装置２を携帯しつつ移動と撮像対象物の撮像とを繰り返しておこなえば、撮像部２１によって、視点の位置（視点位置ともいう）および視線の方向（視線方向ともいう）の組合せが相互に異なる条件で撮像対象物が複数回撮像される。これにより、撮像部２１は、例えば、撮像対象物に係る複数の画像（撮像画像ともいう）を得ることができる。ここで、視点位置は、例えば、撮像部２１の位置を示す。視線方向は、例えば、視点位置を基準として撮像部２１の光軸上において被写体が位置している方向（撮像方向ともいう）を示す。また、撮像部２１は、得られた撮像画像を制御部２００へ出力することができる。このとき、制御部２００では、撮像部２１によって順次に取得される複数の撮像画像が記憶媒体２３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）２Ｉｄが不揮発性メモリ２３０ｂなどに構築される。

方向センサ２２は、例えば、第１装置２の向きを計測するための情報を得ることができる。方向センサ２２には、例えば、３軸地磁気センサなどの電子コンパスが適用される。方向センサ２２は、得られた情報を制御部２００へ出力することができる。このとき、制御部２００では、例えば、方向センサ２２で得られた情報が、画像ＤＢ２Ｉｄにおいて、対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。

表示部２３は、例えば、表示パネルおよび表示画面を有している。表示パネルは、例えば、第１装置２の１つの面である前面側に位置している。この表示パネルには、例えば、液晶パネルあるいは有機ＥＬ(Electro Luminescence）パネルが採用され得る。表示パネルは、制御部２００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部２３は、例えば、各種の情報を第１ユーザＵ１が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、撮像部２１で取得される撮像画像、および通信部２５で受信した各種の情報などが含まれ得る。

スピーカ２４は、例えば、音声を出力することができる。スピーカ２４には、例えば、ダイナミックスピーカが適用され得る。例えば、スピーカ２４では、制御部２００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ２４は、例えば、音声情報を第１ユーザＵ１が可聴的に認識可能な態様で出力することができる。

通信部２５は、例えば、通信用のインターフェースであって、アンテナを有している。通信部２５は、例えば、第１装置２とは別の装置からの信号を受信することができる。第１実施形態では、例えば、通信部２５は、通信回線４に接続された第２装置３などからの信号を、基地局５を介してアンテナで受信することができる。

上記のように、例えば、表示部２３は、情報を可視的に出力することが可能であり、スピーカ２４は、情報を可聴的に出力することが可能であり、通信部２５は、情報をデータの形式で出力することが可能である。このため、例えば、表示部２３、スピーカ２４および通信部２５は、情報を出力する出力部２ｏｕを構成し得る。

また、通信部２５は、例えば、アンテナでの受信信号に対して適宜所定の信号処理をおこなって制御部２００に処理後の受信信号を出力することが可能である。通信部２５は、例えば、制御部２００で生成された信号に対して、適宜所定の信号処理をおこなって処理後の送信信号をアンテナから無線送信することが可能である。アンテナからの送信信号は、例えば、基地局５を通じて、第１装置２以外の機器で受信される。第１装置２以外の機器には、通信回線４に接続された第２装置３が含まれる。これにより、通信部２５は、例えば、通信回線４を介して、第２装置３と通信することができる。

タッチパネル２６は、例えば、表示画面に対する指などによる操作を検出することが可能である。タッチパネル２６には、例えば、投影型静電容量方式のタッチパネルが適用され得る。タッチパネル２６は、第１ユーザＵ１が指などによって表示画面に対して操作をおこなうと、その操作に応じた電気信号がタッチパネル２６から制御部２００に入力される。これにより、制御部２００は、タッチパネル２６からの電気信号に基づいて、表示画面に対しておこなわれた操作の内容を特定して、その内容に応じた処理をおこなうことが可能である。第１ユーザＵ１は、例えば、指以外のスタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第１装置２に対して各種指示を与えることができる。このタッチパネル２６は、例えば、表示画面に対するスワイプ操作に応じて、表示部２３の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル２６は、例えば、表示画面に対するピンチインの操作に応じて、表示部２３の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル２６は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部２３の表示画面上に表示されている画像を縮小させることができる。

操作ボタン群２７は、操作ボタン群２７に含まれる操作ボタンが第１ユーザＵ１によって操作されると、操作されたことを示す操作信号を制御部２００に出力することができる。これにより、制御部２００は、操作ボタンからの操作信号に基づいて、操作ボタンが操作されたか否かを判断することができる。制御部２００は、操作された操作ボタンに応じた処理をおこなうことが可能である。操作ボタンは、押しボタンなどのハードウェアボタンではなく、表示画面に表示されるソフトウェアボタンであってもよい。この場合には、例えば、第１ユーザＵ１によるソフトウェアボタンへの操作がタッチパネル２６によって検出され、制御部２００では、操作されたソフトウェアボタンに応じた処理がおこなわれ得る。

このように、例えば、タッチパネル２６および操作ボタン群２７は、第１ユーザＵ１の動作に応答して操作信号を入力する入力部２ｉｎとなり得る。入力部２ｉｎには、例えば、タッチパネル２６および操作ボタン群２７以外のポインティングデバイスなどが含まれていてもよい。

＜１−２−２．第１画像処理装置の機能的な構成＞
図３は、第１装置２が第１画像処理装置２０として機能する場合における、第１画像処理装置２０の機能的な構成の一例を示す機能ブロック図である。図３で示されるように、第１画像処理装置２０は、例えば、撮像部２１、方向計測部２２１、記憶媒体２３０、通信部２５、出力部２ｏｕおよび入力部２ｉｎを備えている。

方向計測部２２１は、例えば、方向センサ２２と制御部２００との協働によって機能的な構成として実現され得る。具体的には、方向計測部２２１は、例えば、記憶媒体２３０に格納された制御プログラム２Ｐｒを制御部２００で実行することで実現され得る機能的な構成と、方向センサ２２と、の協働によって機能的な構成として実現され得る。方向計測部２２１では、例えば、撮像部２１によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部２１の向きが計測されることで、撮像時における視線方向を示す情報（視線方向情報ともいう）が得られる。この方向計測部２２１では、例えば、方向センサ２２の検出値に基づいて、撮像部２１が向いている視線方向が算出され得る。方向センサ２２には、例えば、傾斜センサが加えられてもよい。制御部２００では、例えば、方向計測部２２１で得られた視線方向情報が、画像ＤＢ２Ｉｄにおいて対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。

このように、例えば、撮像部２１および方向計測部２２１は、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を取得することができる取得部２ａｃとなり得る。

ここで、図４で示すように、例えば、第１ユーザＵ１が撮像対象物Ｏｂ０の周囲を回りながら、撮像対象物Ｏｂ０を時間順次に撮像する場合を想定する。ここでは、例えば、第１ユーザＵ１は、時刻Ｔ１から時刻Ｔ１２において、順に撮像対象物Ｏｂ０を撮像する。具体的には、まず、時刻Ｔ１における位置Ｐｔ１で視線方向ｖ１での撮像、時刻Ｔ２における位置Ｐｔ２で視線方向ｖ２での撮像、時刻Ｔ３における位置Ｐｔ３で視線方向ｖ３での撮像および時刻Ｔ４における位置Ｐｔ４で視線方向ｖ４での撮像が順におこなわれる。次に、時刻Ｔ５における位置Ｐｔ５で視線方向ｖ５での撮像、時刻Ｔ６における位置Ｐｔ６で視線方向ｖ６での撮像、時刻Ｔ７における位置Ｐｔ７で視線方向ｖ７での撮像および時刻Ｔ８における位置Ｐｔ８で視線方向ｖ８での撮像が順におこなわれる。その次に、時刻Ｔ９における位置Ｐｔ９で視線方向ｖ９での撮像、時刻Ｔ１０における位置Ｐｔ１０で視線方向ｖ１０での撮像、時刻Ｔ１１における位置Ｐｔ１１で視線方向ｖ１１での撮像および時刻Ｔ１２における位置Ｐｔ１２で視線方向ｖ１２での撮像が順におこなわれる。このとき、例えば、取得部２ａｃによって、１２回の撮像による１２枚の撮像画像と、各撮像時に係る視線方向情報と、が取得され得る。

通信部２５は、例えば、撮像部２１で取得された複数の撮像画像と、これらの複数の撮像画像のそれぞれについての視線方向情報とを、通信回線４を介して第２装置３に向けて送信することができる。これらの情報は、例えば、撮像部２１によって撮像画像が取得される毎のタイミング、あるいは予め設定されたタイミングにおいて、通信部２５によって通信回線４を介して第２装置３に向けて送信され得る。予め設定されたタイミングは、例えば、一定の時間間隔のタイミングであってもよいし、所定数の撮像画像の取得ごとのタイミングであってもよいし、第１ユーザＵ１などの動作に応答して入力部２ｉｎで入力される信号に応答するタイミングでもよい。

出力部２ｏｕは、例えば、撮像部２１によって取得された撮像画像などを、可視的に出力することができる。

入力部２ｉｎは、例えば、第１ユーザＵ１の動作に応じて、第１画像処理装置２０において各種信号を入力することができる。このとき、第１画像処理装置２０では、例えば、入力された各種信号に応じた撮像などの動作がおこなわれ得る。

＜１−３．第２装置の構成＞
＜１−３−１．第２装置の電気的な構成＞
図５で示されるように、第２装置３は、例えば、制御部３００、表示部３３、スピーカ３４、通信部３５、タッチパネル３６および操作部３７を備えている。

制御部３００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）３１０および記憶媒体３３０などを備えている。制御部３００は、例えば、第２装置３の他の構成要素を制御することで、第２装置３の動作を統括的に管理することが可能である。第２装置３は、例えば、上記第１装置２と同様に、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第２装置３は、例えば、上記第１装置２と同様に、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。

制御部３００は、例えば、上記第１装置２の制御部２００と同様に、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。

記憶媒体３３０は、例えば、ＲＯＭ（Read Only Memory）などの不揮発性メモリ３３０ｂ、およびＲＡＭ（Random Access Memory）などの揮発性メモリ３３０ａを有している。ＲＯＭには、例えば、フラッシュＲＯＭ（フラッシュメモリ）などが含まれ得る。記憶媒体３３０には、第２装置３を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部３００の各種機能は、ＣＰＵ３１０が記憶媒体３３０内の各種プログラムを実行することによって実現される。記憶媒体３３０には、例えば、第１装置２から送信されてきた複数の撮像画像を表示するための画像表示アプリケーションが記憶されている。記憶媒体３３０に記憶されるアプリケーションには、例えば、第２装置３を制御するための制御プログラム３Ｐｒが含まれている。ここで、第２装置３では、制御プログラム３ＰｒをＣＰＵ３１０などで実行することで、第２画像処理装置３０としての機能を実現することができる。換言すれば、制御プログラム３Ｐｒによって、第２画像処理装置３０が制御され得る。

記憶媒体３３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体３３０は、例えば、ハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体３３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部３００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体３３０であってもよく、他の記憶媒体であってもよい。制御部３００の全ての機能あるいは制御部３００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部３００は回路によって形成されていればよい。

表示部３３は、例えば、上記第１装置２の表示部２３と同様に、表示パネルおよび表示画面を有している。この表示パネルは、制御部３００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部３３は、例えば、各種の情報を第２ユーザＵ２が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、通信部３５で受信される撮像画像などが含まれ得る。

スピーカ３４は、例えば、上記第１装置２のスピーカ２４と同様に、音声を出力することができる。例えば、スピーカ３４では、制御部３００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ３４は、例えば、音声情報を第２ユーザＵ２が可聴的に認識可能な態様で出力することができる。

通信部３５は、例えば、上記第１装置２の通信部２５と同様に、通信用のインターフェースであって、通信回線４とデータの送受信が可能な態様で接続されている。このため、通信部３５は、例えば、通信回線４を介して、第１装置２と通信可能に接続されている。この通信部３５は、例えば、制御部３００で生成された信号に対して適宜所定の信号処理をおこなったうえで、処理後の送信信号を通信回線４に向けて送信することが可能である。通信部３５から通信回線４への送信信号は、例えば、通信回線４に接続された第１装置２などで受信される。

上記のように、例えば、表示部３３は、情報を可視的に出力することが可能であり、スピーカ３４は、情報を可聴的に出力することが可能であり、通信部３５は、情報をデータの形式で出力することが可能である。このため、例えば、表示部３３、スピーカ３４および通信部３５は、情報を出力する出力部３ｏｕを構成し得る。

また、通信部３５は、例えば、第２装置３とは別の装置からの信号を受信することが可能である。第２装置３とは別の装置には、例えば、通信回線４に接続された第１装置２が含まれる。ここで、通信部３５は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を受信可能な受信部３ｒｅとしての機能を有する。換言すれば、ここで、通信部３５は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を取得可能な取得部３ａｃとしての機能を有する。

また、通信部３５では、例えば、受信した信号に対して適宜所定の信号処理をおこなって制御部３００に処理後の受信信号を出力することが可能である。例えば、通信部３５では、受信した撮像画像を制御部３００に出力することが可能である。このとき、制御部３００では、通信部３５によって順次に取得される複数の撮像画像が記憶媒体３３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）３Ｉｄが不揮発性メモリ３３０ｂなどに構築される。

タッチパネル３６は、例えば、上記第１装置２のタッチパネル２６と同様に、表示画面に対する指などによる操作を検出することが可能である。タッチパネル３６は、第２ユーザＵ２が指などによって表示画面に対して操作をおこなうと、その操作に応じた電気信号がタッチパネル３６から制御部３００に入力される。これにより、制御部３００は、タッチパネル３６からの電気信号に基づいて、表示画面に対しておこなわれた操作の内容を特定して、その内容に応じた処理をおこなうことが可能である。第２ユーザＵ２は、例えば、指以外のスタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第２装置３に対して各種指示を与えることができる。このタッチパネル３６は、例えば、表示画面に対するスワイプ操作に応じて、表示部３３の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル３６は、例えば、表示画面に対するピンチインの操作に応じて、表示部３３の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル３６は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部３３の表示画面上に表示されている画像を縮小させることができる。

操作部３７は、例えば、キーボードおよびマウスなどの構成を含み、第２ユーザＵ２による操作に応じた操作信号を制御部３００に出力することができる。これにより、制御部３００は、操作部３７からの操作信号に基づいて、操作部３７が操作されたか否かを判断することができる。制御部３００は、例えば、操作部３７に対する第２ユーザＵ２の操作に応じた処理をおこなうことが可能である。操作部３７には、例えば、表示画面に表示されるソフトウェアボタンが含まれてもよい。この場合には、例えば、第２ユーザＵ２によるソフトウェアボタンへの操作がタッチパネル３６によって検出され、制御部３００では、第２ユーザＵ２によって操作されたソフトウェアボタンに応じた処理がおこなわれ得る。

このように、例えば、タッチパネル３６および操作部３７は、第２ユーザＵ２の動作に応答して操作信号を入力する入力部３ｉｎとなり得る。

＜１−３−２．第２画像処理装置の機能的な構成＞
図６は、第２装置３が第２画像処理装置３０として機能する場合における、第２画像処理装置３０の機能的な構成の一例を示す機能ブロック図である。図６で示されるように、第２画像処理装置３０は、例えば、取得部３ａｃ、出力部３ｏｕ、入力部３ｉｎ、記憶媒体３３０、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７を備えている。ここで、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７は、例えば、記憶媒体３３０に格納された制御プログラム３Ｐｒを制御部３００で実行することで実現され得る機能的な構成である。

＜１−３−２−１．取得部＞
取得部３ａｃは、例えば、第１画像処理装置２０から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視線方向情報と、を受信部３ｒｅとしての通信部３５による受信によって取得することができる。

＜１−３−２−２．出力部＞
出力部３ｏｕは、例えば、取得部３ａｃによって取得された撮像画像の全部または一部、および後述する画像生成部３１７によって生成される合成画像などを出力することができる。合成画像は、例えば、撮像対象物Ｏｂ０の角部を挟む第１面と第２面とがそれぞれ捉えられた第１画像領域と第２画像領域とが合成されることで生成され得る。ここで、例えば、出力部３ｏｕにおける画像の出力に、表示部３３における可視的な出力が含まれていれば、第２画像処理装置３０における合成画像の第２ユーザＵ２による視認などが可能となる。また、ここで、例えば、出力部３ｏｕにおける画像の出力に、通信部３５によるデータの出力が含まれていれば、第２画像処理装置３０以外の他の装置における合成画像の視認もしくは蓄積、などが可能となる。

＜１−３−２−３．入力部＞
入力部３ｉｎは、例えば、第２ユーザＵ２の動作に応じて、第２画像処理装置３０において各種信号を入力することができる。入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３３に表示されている各種画像の拡大または縮小を指示する信号が入力され得る。また、入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３３に表示されている各種画像のスクロールを指示する信号が入力され得る。

＜１−３−２−４．記憶媒体＞
記憶媒体３３０は、例えば、取得部３ａｃによって取得された複数の撮像画像を記憶することができる。これにより、記憶媒体３３０において、例えば、複数の撮像画像が格納された画像ＤＢ３Ｉｄが構築され得る。画像ＤＢ３Ｉｄでは、例えば、各撮像画像が、対応する情報が関連付けられた状態で記憶され得る。ここで、対応する情報には、例えば、視線方向情報が含まれる。また、記憶媒体３３０は、例えば、後述する推定部３１３によって推定される撮像対象物Ｏｂ０の表面形状を示す情報（表面形状情報ともいう）を記憶することもできる。また、記憶媒体３３０は、例えば、後述する画像生成部３１７によって生成される合成画像などを記憶してもよい。これにより、例えば、第２画像処理装置３０における合成画像の蓄積などが可能となる。また、記憶媒体３３０は、例えば、後述する情報設定部３１４によって設定される情報を記憶してもよい。

＜１−３−２−５．第１認識部＞
第１認識部３１１は、例えば、取得部３ａｃで取得された複数の撮像画像のうちの１つの撮像画像（第１撮像画像ともいう）について、３つ以上の特徴部をそれぞれ捉えた３つ以上の画像部分（第１画像部分ともいう）を認識することができる。第１撮像画像として、例えば、撮像対象物Ｏｂ０をある１つの視線方向（第１視線方向ともいう）で捉えた撮像画像が採用される。特徴部には、例えば、凸部、凹部あるいは色彩もしくは濃淡のコントラストが大きな部分などにおける角部が含まれ得る。角部は、例えば、いわゆるコーナー検出法などによって撮像画像において認識され得る。ここで、３つ以上の第１画像部分が、例えば、仮想的な直線上に位置していない３つ以上の画像部分を含んでいれば、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。さらに、例えば、３つ以上の第１画像部分に含まれる第１画像部分の数が多い程、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。

＜１−３−２−６．第２認識部＞
第２認識部３１２は、例えば、取得部３ａｃで取得された複数の撮像画像のうちの第１撮像画像とは異なる他の１つの撮像画像（第２撮像画像ともいう）について、３つ以上の特徴部をそれぞれ捉えた３つ以上の画像部分（第２画像部分ともいう）を認識することができる。ここで、３つ以上の特徴部としては、例えば、第１撮像画像における３つ以上の特徴部と同一のものが採用される。第２撮像画像としては、例えば、撮像対象物Ｏｂ０を第１視線方向とは異なる他の１つの視線方向（第２視線方向ともいう）で捉えた撮像画像が採用される。第２認識部３１２では、第１認識部３１１で認識された各第１画像部分または２以上の第１画像部分について、例えば、パターンマッチングまたは位相限定相関法などの対応点の探索方法が用いられて、第１画像部分と同一の特徴部を捉えた第２画像部分が認識される。これにより、例えば、捉えられた特徴点の形および構成が第１撮像画像と似ている第２撮像画像が、複数の撮像画像から検索され得る。

ここで、３つ以上の第２画像部分が、例えば、仮想的な直線上に位置していない３つ以上の画像部分を含んでいれば、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。さらに、例えば、３つ以上の第２画像部分に含まれる第２画像部分の数が多い程、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。ここで、例えば、第２視線方向に沿った視線（第２視線ともいう）と、第１視線方向に沿った視線（第１視線ともいう）との成す角度が、予め設定された閾値よりも大きければ、後述する推定部３１３における撮像対象物Ｏｂ０の表面形状の推定精度が向上し得る。

＜１−３−２−７．推定部＞
＜１−３−２−７−１．撮像対象物の表面形状の推定＞
推定部３１３は、例えば、３つ以上の第１画像部分の位置関係（第１位置関係ともいう）と、３つ以上の第２画像部分の位置関係（第２位置関係ともいう）と、を用いて、撮像対象物Ｏｂ０の表面に係る形状（表面形状ともいう）を推定することができる。３つ以上の第１画像部分は、例えば、第１認識部３１１によって第１撮像画像において認識され得る。３つ以上の第２画像部分は、例えば、第２認識部３１２によって第２撮像画像において認識され得る。上記第１位置関係には、例えば、第１撮像画像における１つの方向（第１方向ともいう）での３つ以上の第１画像部分の間の距離の関係が含まれ得る。上記第２位置関係には、例えば、第２撮像画像における第１方向に対応する方向（第２方向ともいう）での３つ以上の第２画像部分の間の距離の関係が含まれ得る。このとき、例えば、撮像対象物Ｏｂ０の表面形状が容易に推定され得る。推定部３１３では、例えば、平坦な領域（平坦領域ともいう）あるいは２つの平坦な面（平坦面ともいう）が角部を介して接続している領域（接続領域ともいう）が推定されることで、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。

ここで、第１撮像画像における第１方向および第２撮像画像における第２方向としては、例えば、撮像対象物Ｏｂ０上の１つの仮想的な線（仮想線ともいう）に沿った方向が採用される。この１つの仮想線には、例えば、第１撮像画像の撮像時における第１装置２の第１視線および第２撮像画像の撮像時における第１装置２の第２視線の双方を含む仮想的な平面（仮想平面ともいう）と、撮像対象物Ｏｂ０の表面と、が交差する仮想的な線が適用される。また、仮想平面は、例えば、第１方向に沿った第１視線および第２方向に沿った第２視線が平面上に位置するか否かに拘わらず、水平面など予め設定された平面であってもよいし、水平面などを含む複数の平面からユーザによって選択された平面であってもよい。

ここで、推定部３１３における撮像対象物Ｏｂ０の表面形状の推定方法について、具体例を挙げて説明する。

図７（ａ）、図８（ａ）および図９（ａ）には、第１撮像画像の撮像時における第１視線および第２撮像画像の撮像時における第２視線の双方を含む仮想平面に沿った、撮像対象物Ｏｂ０の断面が示されている。

まず、図７（ａ）で示されるように、撮像対象物Ｏｂ０の平坦面Ｓｆｔ０上に３つの特徴部Ｐ１，Ｐ２，Ｐ３が存在している場合を想定する。平坦面Ｓｆｔ０は、例えば、第１面Ｓｆ１あるいは第２面Ｓｆ２とされる。ここで、例えば、第１装置２によって視線方向ｖ１で平坦面Ｓｆｔ０の撮像がおこなわれることで、図７（ｂ）で示される第１撮像画像Ｇａ１が取得される。また、例えば、第１装置２によって視線方向ｖ２で平坦面Ｓｆｔ０の撮像がおこなわれることで、図７（ｃ）で示される第２撮像画像Ｇｂ１が取得される。

図７（ｂ）で示されるように、第１撮像画像Ｇａ１には、例えば、第１画像部分として、画像部分ｐ１ａ、画像部分ｐ２ａおよび画像部分ｐ３ａが含まれている。画像部分ｐ１ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１が捉えられている。画像部分ｐ２ａでは、撮像対象物Ｏｂ０の特徴部Ｐ２が捉えられている。画像部分ｐ３ａでは、撮像対象物Ｏｂ０の特徴部Ｐ３が捉えられている。

図７（ｂ）には、仮想線Ｌｖａ１が二点鎖線で描かれている。仮想線Ｌｖａ１は、例えば、第１撮像画像Ｇａ１の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ１の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図７（ｂ）の例では、第１撮像画像Ｇａ１において、仮想線Ｌｖａ１が伸びる方向において、画像部分ｐｌａと画像部分ｐ２ａとの間の距離がｄａ１とされ、画像部分ｐ２ａと画像部分ｐ３ａとの間の距離がｄａ２とされている。

数値ｄａ１は、特徴部Ｐ１を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ２を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ１に対応する。数値ｄａ２は、特徴部Ｐ２を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ３を通り且つ第１撮像画像Ｇａ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ２に対応する。

図７（ｃ）で示されるように、第２撮像画像Ｇｂ１には、例えば、３つの第２画像部分として、画像部分ｐ１ｂ、画像部分ｐ２ｂおよび画像部分ｐ３ｂが含まれている。画像部分ｐ１ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１が捉えられている。画像部分ｐ２ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ２が捉えられている。画像部分ｐ３ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ３が捉えられている。

図７（ｃ）には、仮想線Ｌｖｂ１が二点鎖線で描かれている。仮想線Ｌｖｂ１は、例えば、第１撮像画像Ｇａ１の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ１の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図７（ｃ）の例では、第２撮像画像Ｇｂ１において、仮想的線Ｌｖｂ１が伸びる方向において、画像部分ｐｌｂと画像部分ｐ２ｂとの間の距離がｄｂ１とされ、画像部分ｐ２ｂと画像部分ｐ３ｂとの間の距離がｄｂ２とされている。

数値ｄｂ１は、特徴部Ｐ１を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ２を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ１に対応する。数値ｄｂ２は、特徴部Ｐ２を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ３を通り且つ第２撮像画像Ｇｂ１の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ２に対応する。

このとき、推定部３１３では、例えば、次の式（１）が成立すれば、３つの特徴部Ｐ１，Ｐ２，Ｐ３を含む第１面Ｓｆ１または第２面Ｓｆ２の領域が平坦な領域（平坦領域）であるものと推定され得る。

ｄａ１：ｄａ２＝ｄｂ１：ｄｂ２ ・・・（１）。

次に、図８（ａ）で示されるように、撮像対象物Ｏｂ０のうちの２つの平坦面が角部Ｃｎ１を介して接続している山型の領域の面（山型面ともいう）Ｓｆｍ０上に５つの特徴部Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８が存在している場合を想定する。２つの平坦面は、第１面Ｓｆ１および第２面Ｓｆ２とされる。ここで、例えば、第１装置２によって視線方向ｖ３で山型面Ｓｆｍ０の撮像がおこなわれることで、図８（ｂ）で示される第１撮像画像Ｇａ２が取得される。また、例えば、第１装置２によって視線方向ｖ４で山型面Ｓｆｍ０の撮像がおこなわれることで、図８（ｃ）で示される第２撮像画像Ｇｂ２が取得される。

図８（ｂ）で示されるように、第１撮像画像Ｇａ２には、例えば、５つの第１画像部分として、画像部分ｐ４ａ、画像部分ｐ５ａ、画像部分ｐ６ａ、画像部分ｐ７ａおよび画像部分ｐ８ａが含まれている。画像部分ｐ４ａには、撮像対象物Ｏｂ０の特徴部Ｐ４が捉えられている。画像部分ｐ５ａには、撮像対象物Ｏｂ０の特徴部Ｐ５が捉えられている。画像部分ｐ６ａには、撮像対象物Ｏｂ０の特徴部Ｐ６が捉えられている。画像部分ｐ７ａには、撮像対象物Ｏｂ０の特徴部Ｐ７が捉えられている。画像部分ｐ８ａには、撮像対象物Ｏｂ０の特徴部Ｐ８が捉えられている。

図８（ｂ）には、仮想線Ｌｖａ２が二点鎖線で描かれている。仮想線Ｌｖａ２は、第１撮像画像Ｇａ２の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ２の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図８（ｂ）の例では、第１撮像画像Ｇａ２において、仮想線Ｌｖａ２が伸びる方向において、画像部分ｐ４ａと画像部分ｐ５ａとの間の距離がｄａ３とされ、画像部分ｐ５ａと画像部分ｐ６ａとの間の距離がｄａ４とされている。また、図８（ｂ）の例では、第１撮像画像Ｇａ２において、仮想線Ｌｖａ２が伸びる方向において、画像部分ｐ６ａと画像部分ｐ７ａとの間の距離がｄａ５とされ、画像部分ｐ７ａと画像部分ｐ８ａとの間の距離がｄａ６とされている。

数値ｄａ３は、特徴部Ｐ４を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ５を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ３に対応する。数値ｄａ４は、特徴部Ｐ５を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ６を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ４に対応する。数値ｄａ５は、特徴部Ｐ６を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ７を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ５に対応する。数値ｄａ６は、特徴部Ｐ７を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ８を通り且つ第１撮像画像Ｇａ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄａ６に対応する。

図８（ｃ）で示されるように、第２撮像画像Ｇｂ２には、例えば、５つの第２画像部分として、画像部分ｐ４ｂ、画像部分ｐ５ｂ、画像部分ｐ６ｂ、画像部分ｐ７ｂおよび画像部分ｐ８ｂが含まれている。画像部分ｐ４ｂには、撮像対象物Ｏｂ０の特徴部Ｐ４が捉えられている。画像部分ｐ５ｂには、撮像対象物Ｏｂ０の特徴部Ｐ５が捉えられている。画像部分ｐ６ｂには、撮像対象物Ｏｂ０の特徴部Ｐ６が捉えられている。画像部分ｐ７ｂには、撮像対象物Ｏｂ０の特徴部Ｐ７が捉えられている。画像部分ｐ８ｂには、撮像対象物Ｏｂ０の特徴部Ｐ８が捉えられている。

図８（ｃ）には、仮想線Ｌｖｂ２が二点鎖線で描かれている。仮想線Ｌｖｂ２は、第１撮像画像Ｇａ２の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ２の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。図８（ｃ）の例では、第２撮像画像Ｇｂ２において、仮想線Ｌｖｂ２が伸びる方向において、画像部分ｐ４ｂと画像部分ｐ５ｂとの間の距離がｄｂ３とされ、画像部分ｐ５ｂと画像部分ｐ６ｂとの間の距離がｄｂ４とされている。また、図８（ｃ）の例では、第２撮像画像Ｇｂ２において、仮想線Ｌｖｂ２が伸びる方向において、画像部分ｐ６ｂと画像部分ｐ７ｂとの間の距離がｄｂ５とされ、画像部分ｐ７ｂと画像部分ｐ８ｂとの間の距離がｄｂ６とされている。

数値ｄｂ３は、特徴部Ｐ４を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ５を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ３に対応する。数値ｄｂ４は、特徴部Ｐ５を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ６を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ４に対応する。数値ｄｂ５は、特徴部Ｐ６を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ７を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ５に対応する。数値ｄｂ６は、特徴部Ｐ７を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、特徴部Ｐ８を通り且つ第２撮像画像Ｇｂ２の撮像時における撮像部２１の光軸に沿った仮想的な直線と、の距離Ｄｂ６に対応する。

ここで、推定部３１３では、例えば、次の式（２）が成立すれば、山型面Ｓｆｍ０のうちの３つの特徴部Ｐ４，Ｐ５，Ｐ６を含む第１面Ｓｆ１の領域が、平坦領域であるものと推定され得る。

ｄａ３：ｄａ４＝ｄｂ３：ｄｂ４ ・・・（２）。

また、推定部３１３では、例えば、次の式（３）が成立すれば、山型面Ｓｆｍ０のうちの３つの特徴部Ｐ６，Ｐ７，Ｐ８を含む第２面Ｓｆ２の領域が、平坦領域であるものと推定され得る。

ｄａ５：ｄａ６＝ｄｂ５：ｄｂ６ ・・・（３）。

また、推定部３１３では、例えば、次の式（４）が成立しなければ、山型面Ｓｆｍ０の３つの特徴部Ｐ５，Ｐ６，Ｐ７を含む面の領域が、２つの平坦面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域であるものと推定される。

ｄａ４：ｄａ５＝ｄｂ４：ｄｂ５ ・・・（４）。

このようにして、推定部３１３では、例えば、平坦領域あるいは接続領域が推定されることで、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。ここで、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状は、例えば、記憶媒体３３０に記憶される。このとき、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状の各部分に対して、表面形状を推定する際に用いられた特徴部を捉えた画像部分が関連付けられ得る。

また、推定部３１３では、例えば、１つの面の法線方向が推定されてもよい。１つの面は、平坦な第１面Ｓｆ１であってもよいし、平坦な第２面Ｓｆ２であってもよい。ここで、図９（ａ）で示されるように、撮像対象物Ｏｂ０の平坦面Ｓｆｔ０上に３つの特徴部Ｐ９，Ｐ１０，Ｐ１１が存在している場合を想定する。平坦面Ｓｆｔ０は、例えば、第１面Ｓｆ１あるいは第２面Ｓｆ２とされる。例えば、第１装置２によって第１視線方向としての視線方向ｖ５で平坦面Ｓｆｔ０の撮像がおこなわれることで、図９（ｂ）で示される第１撮像画像Ｇａ３が取得される。また、例えば、第１装置２によって第２視線方向としての視線方向ｖ６で平坦面Ｓｆｔ０の撮像がおこなわれることで、図９（ｃ）で示される第２撮像画像Ｇｂ３が取得される。

図９（ｂ）で示されるように、第１撮像画像Ｇａ３には、例えば、第１画像部分として、画像部分ｐ９ａ、画像部分ｐ１０ａおよび画像部分ｐ１１ａが含まれている。画像部分ｐ９ａでは、撮像対象物Ｏｂ０の特徴部Ｐ９が捉えられている。画像部分ｐ１０ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１０が捉えられている。画像部分ｐ１１ａでは、撮像対象物Ｏｂ０の特徴部Ｐ１１が捉えられている。図９（ｂ）には、仮想線Ｌｖａ３が二点鎖線で描かれている。仮想線Ｌｖａ３は、第１撮像画像Ｇａ３の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ３の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。

図９（ｃ）で示されるように、第２撮像画像Ｇｂ３には、例えば、第２画像部分として、画像部分ｐ９ｂ、画像部分ｐ１０ｂおよび画像部分ｐ１１ｂが含まれている。画像部分ｐ９ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ９が捉えられている。画像部分ｐ１０ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１０が捉えられている。画像部分ｐ１１ｂでは、撮像対象物Ｏｂ０の特徴部Ｐ１１が捉えられている。図９（ｃ）には、仮想線Ｌｖｂ３が二点鎖線で描かれている。仮想線Ｌｖｂ３は、第１撮像画像Ｇａ３の撮像時における第１装置２の第１視線および第２撮像画像Ｇｂ３の撮像時における第１装置２の第２視線の双方を含む仮想平面と、撮像対象物Ｏｂ０と、が交差する部分に対応する。

ここで、第１視線方向としての視線方向ｖ５で平坦面Ｓｆｔ０の撮像がおこなわれることで得られた第１撮像画像Ｇａ３において第１方向での３つの画像部分ｐ９ａ，ｐ１０ａ，ｐ１１ａの間の距離Ｄａ０が予め設定された画素数の距離以下となっているものとする。第１方向は、例えば、仮想線Ｌｖａ３に沿った方向である。予め設定された画素数の距離としては、例えば、隣接する１画素の距離が採用される。また、第２視線方向としての視線方向ｖ６で平坦面Ｓｆｔ０の撮像がおこなわれることで得られた第２撮像画像Ｇｂ３において第２方向での３つの画像部分ｐ９ｂ，ｐ１０ｂ，ｐ１１ｂの間の距離Ｄｂ０が予め設定された画素数の距離以下となっているものとする。第２方向は、例えば、仮想線Ｌｖｂ３に沿った方向である。予め設定された画素数の距離としては、例えば、隣接する１画素の距離が採用される。

このとき、視線方向ｖ５と視線方向ｖ６とが約１８０度を成している。このため、例えば、推定部３１３では、視線方向ｖ５と、視線方向ｖ６と、に基づき、第１面Ｓｆ１の法線方向（第１法線方向ともいう）あるいは第２面Ｓｆ２の法線方向（第２法線方向ともいう）が推定され得る。これにより、例えば、撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２の向きを容易に推定することができる。

ここでは、例えば、視線方向ｖ５および視線方向ｖ６のそれぞれがベクトルで表現されている場合を想定する。この場合には、例えば、視線方向ｖ５の単位ベクトルと、視線方向ｖ６の単位ベクトルと、の和の逆向きのベクトルが、第１法線方向および第２法線方向となり得る。

＜１−３−２−７−２．撮像対象物を捉えた部分とその他の部分との区別＞
推定部３１３は、例えば、複数の撮像画像を対象として、第１位置関係と第２位置関係とに基づいて、撮像対象物Ｏｂ０を捉えた領域（対象物領域ともいう）と、撮像対象物Ｏｂ０以外の部分を捉えた領域（非対象物領域ともいう）と、を推定することができる。換言すれば、推定部３１３は、例えば、複数の撮像画像に含まれる第１撮像画像および第２撮像画像について、撮像対象物Ｏｂ０を捉えた対象物領域と、背景を捉えた背景領域と、を区別することができる。第１位置関係は、例えば、上述したように、第１撮像画像における３つ以上の特徴部を捉えた３つ以上の第１画像部分の位置関係である。第２位置関係は、例えば、上述したように、第２撮像画像における３つ以上の特徴部を捉えた３つ以上の第２画像部分の位置関係である。

ここで、例えば、図１０で示されるように、第１装置２を用いて、撮像対象物Ｏｂ０の角部Ｃｎ１を含む領域Ａ１を、３つの相互に異なる視線方向ｖ３１，ｖ３２，ｖ３３で時間順次に撮像する場合を想定する。この場合、上述したように、例えば、推定部３１３によって、撮像対象物Ｏｂ０における領域Ａ１を捉えた３つの撮像画像の間で、３つ以上の特徴部を捉えた３つの以上の画像部分の比較によって、領域Ａ１の表面形状が推定され得る。これにより、例えば、連続的に連なっている撮像対象物Ｏｂ０の表面形状が認識され得る。

ところで、例えば、視線方向ｖ３１で領域Ａ１を撮像することで得られる撮像画像では、領域Ａ１だけでなく背景である壁６００ｗｌも捉えられている。このため、例えば、視線方向ｖ３１に係る撮像画像については、壁６００ｗｌを捉えた部分についても、３つ以上の特徴部を捉えた３つ以上の画像部分が認識され得る。一方、例えば、視線方向ｖ３１とは異なる視線方向ｖ３２，ｖ３３で領域Ａ１を撮像することで得られる撮像画像では、背景である壁６００ｗｌが捉えられていない。このため、壁６００ｗｌについての表面形状は推定されない。これにより、例えば、推定部３１３では、表面形状が推定される領域が、撮像対象物Ｏｂ０を構成しているものと推定され得る。したがって、撮像画像について、撮像対象物Ｏｂ０を捉えた対象物領域と、背景を捉えた背景領域と、が区別され得る。

＜１−３−２−７−３．撮像対象物の表面形状の推定の対象＞
例えば、図１１で示されるように、撮像対象物Ｏｂ０の周囲を一周回りながら、撮像対象物Ｏｂ０の外観について、第１装置２を用いて側方から時間順次にＮ回（Ｎは４以上の整数）の撮像をおこなう場合を想定する。ここでは、例えば、位置Ｔｐ１から撮像対象物Ｏｂ０の領域Ａ０を撮像した後に、撮像対象物Ｏｂ０の周囲を約１周回り、位置ＴｐＮから領域Ａ０を再度撮像するものとする。このとき、位置Ｔｐ１からの撮像で得られる撮像画像、および位置ＴｐＮからの撮像で得られる撮像画像の双方に、同一の複数の特徴部Ｐｘ１，Ｐｘ２，Ｐｘ３，Ｐｘ４をそれぞれ捉えた複数の画像部分が含まれている。このため、例えば、推定部３１３では、第１装置２によるＮ回の撮像で得られたＮ枚の撮像画像で構成される一連の複数の撮像画像を対象として、撮像対象物Ｏｂ０の周囲の表面形状が推定され得る。

＜１−３−２−８．情報設定部＞
情報設定部３１４は、例えば、複数の撮像画像について、表示への利用の許否および後述する画像生成部３１７による合成画像の生成への利用の許否に係る情報（許否情報ともいう）を、画像領域ごとに設定することができる。許否情報は、例えば、利用の許可に係る情報（許可情報ともいう）であってもよいし、利用の禁止に係る情報（禁止情報ともいう）であってもよい。

具体的には、情報設定部３１４では、例えば、複数の撮像画像について、推定部３１３で推定された対象物領域に対して許可情報が設定されてもよいし、推定部３１３で推定された非対象物領域に対して禁止情報が設定されてもよい。この場合には、例えば、出力部３ｏｕでは、取得部３ａｃで取得された複数の撮像画像のうち、許可情報が設定された対象物領域に係る画像領域が可視的に出力されてもよいし、禁止情報が設定された非対象物領域を除く領域に係る画像領域が出力されてもよい。

これにより、例えば、ユーザに対して必要な部分についての画像が表示され得る。このとき、例えば、撮像が行われた第１装置２とは異なる他の第２装置３において、必要な部分の画像が出力され得る。換言すれば、対象物領域以外の必要以上の部分が第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。

＜１−３−２−９．領域設定部＞
領域設定部３１５は、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０の表面に対して処理の対象となる領域（処理対象領域ともいう）を設定することができる。信号には、例えば、入力部３ｉｎにおいて第２ユーザＵ２の動作に応じて入力される信号が含まれる。処理対象領域には、例えば、表示部３３において可視的な出力の処理対象となる領域（表示対象領域ともいう）、および画像生成部３１７において合成画像の生成処理の対象となる領域（合成対象領域ともいう）が含まれる。ここで、第２ユーザＵ２の動作としては、例えば、マウスホイールの回転あるいは表示画面に対するピンチインおよびピンチアウトの操作などが挙げられる。

ここで、例えば、図１２（ａ）で示されるように、表示部３３の表示画面Ｓｃ０に撮像対象物Ｏｂ０の領域Ａｒ０が捉えられた画像部分Ｉｐ０が表示されている状態を想定する。この状態で、表示画面Ｓｃ０に対してピンチインの操作がおこなわれると、撮像対象物Ｏｂ０の領域Ａｒ０に包含されている領域Ａｒ１が捉えられた画像部分Ｉｐ１が、図１２（ｂ）で示されるように、表示画面Ｓｃ０全体に拡大表示され得る。このとき、表示対象領域は、画像部分Ｉｐ０から画像部分Ｉｐ１に変更される。換言すれば、表示に係る拡大率が変更され得る。

ここでは、表示対象領域を示す情報は、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に沿った形態で設定される。表示対象領域は、例えば、表示画面Ｓｃ０の形状に対応する矩形状の領域として設定される。具体的には、例えば、撮像対象物Ｏｂ０の平坦領域に対して、矩形状の表示対象領域が設定され得る。また、例えば、撮像対象物Ｏｂ０の接続領域に対して、矩形状の表示対象領域が角部で折り曲げられるように設定され得る。

また、領域設定部３１５は、例えば、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、表示対象領域あるいは合成対象領域を変更することができる。信号には、例えば、入力部３ｉｎにおいて第２ユーザＵ２の動作に応じて入力される信号が含まれる。ここで、第２ユーザＵ２の動作としては、例えば、指などによる表示画面Ｓｃ０に対するスワイプ操作などが挙げられる。

ここで、例えば、図１３（ａ）で示されるように、表示画面Ｓｃ０に撮像対象物Ｏｂ０の表示対象領域（既表示領域ともいう）Ａｒ２が捉えられた画像部分Ｉｐ２が表示されている状態を想定する。この状態で、例えば、指Ｆｇ０などによる表示画面Ｓｃ０に対するスワイプ操作がおこなわれると、図１３（ｂ）で示されるように、既表示領域Ａｒ２が捉えられた画像部分Ｉｐ２が移動する。このとき、表示画面Ｓｃ０では、例えば、既表示領域Ａｒ２を捉えた画像部分Ｉｐ２の一部が表示画面Ｓｃ０の外に消え、既表示領域Ａｒ２の残部Ａｒ２１を捉えた画像部分Ｉｐ２１が表示される。また、例えば、表示画面Ｓｃ０のうちの画像部分Ｉｐ２がずれて存在しなくなった部分には、撮像対象物の既表示領域Ａｒ２と隣接する領域（未表示領域ともいう）Ａｒ２２が捉えられた画像部分Ｉｐ２２が新たに表示され得る。このようにして、例えば、第２ユーザＵ２は、表示画面Ｓｃ０に対するスワイプ操作によって、表示部３３の表示画面Ｓｃ０上に表示されている画像をスクロールさせることができる。

ここで、例えば、表示部３３で既に後述する合成画像（第１合成画像ともいう）が表示されている場合には、領域設定部３１５によって、合成対象領域が変更され得る。このとき、変更後の合成対象領域は、例えば、撮像対象物Ｏｂ０のうち、第１合成画像で捉えられている既表示領域Ａｒ２の残部Ａｒ２１と、第１合成画像で捉えられていない撮像対象物Ｏｂ０の未表示領域Ａｒ２２と、を含む。

＜１−３−２−１０．検出部＞
検出部３１６は、例えば、記憶媒体３３０の画像ＤＢ３Ｉｄに蓄積された複数の撮像画像のうち、領域設定部３１５によって設定された処理対象領域に対応する画像部分を検出することができる。検出部３１６では、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に設定された処理対象領域について、処理対象領域に含まれる表面形状に関連付けられた画像部分が検出され得る。ここでは、例えば、処理対象領域が撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２に含まれている場合と、処理対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面Ｓｆ１と第２面Ｓｆ２とを含む場合と、が想定される。

検出部３１６では、例えば、領域設定部３１５によって接続領域に処理対象領域が設定されたことに応答して、複数の撮像画像から接続領域を構成する２つの平坦面をそれぞれ捉えた画像領域が検出され得る。ここでは、例えば、接続領域が、撮像対象物Ｏｂ０の表面のうちの２つの平坦面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している領域である場合が考えられる。この場合、検出部３１６では、例えば、複数の撮像画像に含まれる第１面Ｓｆ１を捉えた第１画像領域と、複数の撮像画像に含まれる第２面Ｓｆ２を第１画像領域とは異なる視線方向で捉えた第２画像領域と、が検出され得る。

具体的には、例えば、検出部３１６は、上記推定部３１３で推定された第１面Ｓｆ１の第１法線方向に基づいて、第１面Ｓｆ１の法線に沿った視線方向で該第１面Ｓｆ１を捉えた第１画像領域を複数の撮像画像から検出することができる。また、検出部３１６は、例えば、上記推定部３１３で推定された第２面Ｓｆ２の第２法線方向に基づいて、第２面Ｓｆ２の法線に沿った視線方向で該第２面Ｓｆ２を捉えた第２画像領域を複数の撮像画像から検出することができる。これにより、例えば、後述する画像生成部３１７によって、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成されれば、撮像対象物Ｏｂ０の角部Ｃｎ１を含む接続領域について、歪みの小さな合成画像が生成され得る。その結果、第２ユーザＵ２は、例えば、表示部３３に表示される歪みの小さな合成画像を見ることで、撮像対象物Ｏｂ０の状況を正しく把握することができる。

ここで、例えば、複数の撮像画像において、第１面Ｓｆ１の法線に沿った視線方向で該第１面Ｓｆ１を捉えた第１画像領域が存在していない場合もあり得る。この場合には、検出部３１６では、例えば、複数の撮像画像のうち、第１面Ｓｆ１の法線に最も近い視線方向で該第１面Ｓｆ１を捉えた第１画像領域が検出されてもよい。また、例えば、複数の撮像画像において、第２面Ｓｆ２の法線に沿った視線方向で該第２面Ｓｆ２を捉えた第２画像領域が存在していない場合もあり得る。この場合には、検出部３１６では、例えば、複数の撮像画像のうち、第２面Ｓｆ２の法線に最も近い視線方向で該第２面Ｓｆ２を捉えた第２画像領域が検出されてもよい。

ところで、上述したように、例えば、図１３（ａ）および図１３（ｂ）で示されるように、表示部３３の表示画面Ｓｃ０上に表示されている画像の範囲をスクロールさせる際には、領域設定部３１５によって表示対象領域が変更される。また、例えば、表示部３３に合成画像が表示されていれば、領域設定部３１５によって、撮像対象物のうちの表示部３３で可視的に出力される合成画像で捉えられた表示対象領域が変更され得る。ここで、変更後の表示対象領域は、例えば、撮像対象物Ｏｂ０のうち、表示部３３で既に可視的に出力されている合成画像（第１合成画像）で捉えられている既表示領域Ａｒ２の残部Ａｒ２１と、第１合成画像で捉えられていない未表示領域Ａｒ２２と、を含む。

この場合、検出部３１６は、例えば、上記領域設定部３１５によって変更後の処理対象領域としての合成対象領域が設定されたことに応答して、複数の撮像画像から、未表示領域Ａｒ２２を捉えた画像部分（第３画像部分ともいう）Ｉｐ２２を検出することができる。この第３画像部分は、例えば、変更後の合成対象領域に係る合成画像の生成に用いられ得る。検出部３１６では、例えば、未表示領域Ａｒ２２の設定に応答して、画像ＤＢ３Ｉｄの複数の撮像画像について、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、領域設定部３１５で設定された処理対象領域と、に基づき、第３画像部分Ｉｐ２２が検出される。このとき、検出部３１６では、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状の上に設定された処理対象領域について、記憶媒体３３０において処理対象領域に含まれる表面形状に関連付けられた画像部分が検出され得る。

＜１−３−２−１１．画像生成部＞
画像生成部３１７は、例えば、検出部３１６で検出された画像部分に基づいて、処理対象領域に係る画像を生成することができる。

ここで、例えば、処理対象領域が撮像対象物Ｏｂ０の第１面Ｓｆ１あるいは第２面Ｓｆ２に含まれている場合が考えられる。この場合には、処理対象領域に対して、検出部３１６で検出された画像部分が、そのまま処理対象領域に係る画像とされ得る。

一方、例えば、処理対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面Ｓｆ１と第２面Ｓｆ２とを含む場合が考えられる。この場合には、画像生成部３１７は、例えば、検出部３１６で検出された第１面Ｓｆ１に係る第１画像部分と第２面Ｓｆ２に係る第２画像部分とを合成することで、接続領域についての合成画像を生成することができる。ここでは、例えば、撮像対象物Ｏｂ０を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ｏｂ０を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。その結果、例えば、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。

画像生成部３１７で生成される合成画像は、上述したように、例えば、出力部３ｏｕで出力されてもよいし、記憶媒体３３０に記憶されてもよい。このとき、出力部３ｏｕにおける合成画像の出力には、例えば、表示部３３における合成画像の可視的な出力、および通信部３５による合成画像のデータの送信などが含まれ得る。これにより、例えば、第２画像処理装置３０における合成画像の視認もしくは蓄積、あるいは他の装置における合成画像の視認もしくは蓄積、などが可能となる。ここで、例えば、表示部３３において合成画像が可視的に出力されれば、第２画像処理装置３０において、第２ユーザＵ２が合成画像を視認することができる。

ここで、例えば、第１画像領域と第２画像領域とが撮像対象物Ｏｂ０において角部を介して隣接する部分を捉えた領域であれば、画像生成部３１７では、撮像対象物Ｏｂ０の異なる方向から見ることができる隣接している画像領域を合成した合成画像が生成され得る。これにより、例えば、第２ユーザＵ２にとって撮像対象物Ｏｂ０を周囲の様々な方向から見た一覧性の良い画像が生成され得る。第１画像領域と第２画像領域とが隣接する領域であることは、例えば、推定部３１３によって推定された撮像対象物Ｏｂ０の表面形状から認識され得る。

ところで、例えば、表示画面Ｓｃ０上に合成画像（第１合成画像）が表示されている際に、表示画面Ｓｃ０上で画像の範囲をスクロールさせる場合を想定する。この場合には、画像生成部３１７は、例えば、既表示領域Ａｒ２の一部を除く残部Ａｒ２１を捉えた画像部分（第４画像部分ともいう）Ｉｐ２１と、検出部３１６で検出された第３画像部分Ｉｐ２２と、を合成することで、第２合成画像を生成することができる。このとき、例えば、表示部３３において第２合成画像が可視的に出力されれば、第２画像処理装置３０において、第２ユーザＵ２は合成画像をスクロールさせることができる。

ここで、例えば、図１４で示されるように、第１ユーザＵ１が、壁６００ｗｌと窓６００ｗｄとを含む背景６００の前に位置する撮像対象物Ｏｂ０の周囲を移動しながら、第１装置２を用いて順に撮像をおこなった場合を想定する。ここでは、例えば、矢印Ａｗ１，Ａｗ２，Ａｗ３，Ａｗ４で示される視点位置および視線方向で第１装置２を用いて順に撮像がおこなわれ得る。このとき、撮像間において、矢印Ａｗ１，Ａｗ２，Ａｗ３，Ａｗ４で示される視点位置および視線方向の組が相互に異なる。図１４の例では、撮像対象物Ｏｂ０は、角部Ｃｎ１を挟むように位置している第１面Ｓｆ１と第２面Ｓｆ２とを有している。

図１４で示された条件での撮像がおこなわれた場合に、例えば、図１５（ａ）は、矢印Ａｗ１で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１１を示している。例えば、図１５（ｂ）は、矢印Ａｗ２で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１２を示している。例えば、図１５（ｃ）は、矢印Ａｗ３で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１３を示している。例えば、図１５（ｄ）は、矢印Ａｗ４で示される視点位置および視線方向の組合せでの撮像で取得された撮像画像Ｉｍ１４を示している。

図１５（ａ）の例では、撮像画像Ｉｍ１１は、第１面Ｓｆ１を捉えた画像部分Ｉｐａによって構成されている。図１５（ｂ）の例では、撮像画像Ｉｍ１２は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄで構成されている。具体的には、撮像画像Ｉｍ１２では、例えば、左部で第１面Ｓｆ１が捉えられ、中央部から右端にかけた部分で背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１５（ｃ）の例では、撮像画像Ｉｍ１３は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、第２面Ｓｆ２を捉えた画像部分Ｉｐｂ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄで構成されている。具体的には、撮像画像Ｉｍ１３では、例えば、左端部近傍の部分で第１面Ｓｆ１と第２面Ｓｆ２とが捉えられ、その残部で、背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１５（ｄ）の例では、撮像画像Ｉｍ１４は、第１面Ｓｆ１を捉えた画像部分Ｉｐａ、第２面Ｓｆ２を捉えた画像部分Ｉｐｂおよび壁６００ｗｌを捉えた画像部分Ｉｐｗｌで構成されている。具体的には、撮像画像Ｉｍ１４では、例えば、左端部近傍の部分で第１面Ｓｆ１が捉えられ、中央部を含む広い部分で第２面Ｓｆ２が捉えられ、残りの右側の部分で背景６００に含まれる壁６００ｗｌが捉えられている。

この場合に、例えば、図１６（ａ）から図１６（ｃ）で示されるように、第２ユーザＵ２は、表示部３３に表示される画像をスクロールさせることができる。具体的には、まず、図１６（ａ）で示されるように、表示部３３の表示画面Ｓｃ０全体に、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａが表示される。次に、図１６（ａ）から図１６（ｂ）で示されるように、表示画面Ｓｃ０の右側の部分から中央の部分に向けて指Ｆｇ０などを滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａが左方にずれ、その画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面Ｓｆ２を捉えた画像部分Ｉｐｂが出現する。さらに、図１６（ｂ）から図１６（ｃ）で示されるように、表示画面Ｓｃ０の中央の部分から左側の部分に向けて指Ｆｇ０などを滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面Ｓｆ１を捉えた画像部分Ｉｐａがさらに左方にずれ、画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面Ｓｆ２を捉えた画像部分Ｉｐｂがさらに左側にずれて大きく表示される。

このように、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像をおこなって、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３３に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。さらに、ここでは、擬似的な３次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を容易に得ることができる。

＜１−４．画像処理システムの動作フロー＞
＜１−４−１．複数回の撮像動作＞
図１７は、画像処理システム１において撮像対象物Ｏｂ０についての複数回の撮像の動作（撮像動作ともいう）をおこなう際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第１ユーザＵ１による第１画像処理装置２０の入力部２ｉｎを介した信号の入力に応じて開始される。図１７の例では、複数回の撮像のうち、便宜的に２回の撮像動作をおこなう部分に着目した動作フローが示されている。図１８は、第１画像処理装置２０における１回の撮像動作における動作フローの一例を示す流れ図である。

まず、図１７のステップＳ１では、例えば、第１画像処理装置２０において、第１ユーザＵ１による入力部２ｉｎを介した信号の入力に応答して、第１画像処理装置２０において撮像動作がおこなわれる。撮像動作では、図１８のステップＳ１０１からステップＳ１０３の処理が順におこなわれる。ステップＳ１０１では、撮像部２１による撮像画像の取得がおこなわれる。ステップＳ１０２では、方向計測部２２１によって、撮像時の視線方向が計測されて、視線方向情報が取得される。ステップＳ１０１の処理およびステップＳ１０２の処理は、任意の順で実行されてもよいし、並行して実行されてもよい。ステップＳ１０３では、通信部２５によって、ステップＳ１０１で取得された撮像画像と、ステップＳ１０２で取得された視点位置情報などの付属の情報（撮像付属情報ともいう）とが、第２装置３に送信される。

次に、図１７のステップＳ２では、第１画像処理装置２０から通信回線４などを介して第２画像処理装置３０に、撮像画像および撮像付属情報が送信される。

ステップＳ３では、第２画像処理装置３０において、取得部３ａｃの通信部３５によって、第１画像処理装置２０からの撮像画像および撮像付属情報が受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体３３０に記憶される。

ステップＳ４では、第２画像処理装置３０において、ステップＳ３で受信および記憶された撮像画像が、表示部３３で可視的に出力される。

続いて、ステップＳ５からステップＳ８では、上記ステップＳ１からステップＳ４と同様な処理がおこなわれる。

これにより、例えば、第２画像処理装置３０では、取得部３ａｃにより、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物Ｏｂ０を捉えた複数の撮像画像と、各撮像画像の撮像時における視線方向を示す視線方向情報と、が取得される。

＜１−４−２．撮像対象物の形状の推定＞
図１９は、第２画像処理装置３０の制御部３００において、Ｍ枚（Ｍは２以上の自然数）の撮像画像で捉えられた撮像対象物Ｏｂ０の表面形状を推定する際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図１７および図１８で示された複数回の撮像動作に係る動作フローが終了した後に開始されてもよいし、複数回の撮像動作に係る動作フローと並行して実行されてもよい。ここでは、例えば、ステップＳ１１からステップＳ２２の処理がおこなわれることで、複数の撮像画像と、該複数の撮像画像のそれぞれに係る視線方向情報と、に基づいて、撮像対象物Ｏｂ０の表面形状が推定される。

ステップＳ１１では、撮像画像の順番を規定する数値ｉが１に設定される。この数値ｉは、ｉ番目の撮像画像が処理の対象である第１撮像画像となっていることを意味する。ここでは、例えば、取得部３ａｃで取得されて記憶媒体３３０に記憶されている複数の撮像画像のうち、ｉ番目の１つの撮像画像が、撮像対象物Ｏｂ０を第１視線方向で捉えた第１撮像画像とされる。

ステップＳ１２では、ｉ番目の撮像画像について、記憶媒体３３０から視線方向ｖｉが読み出される。例えば、ｉ＝１である場合には、１番目の撮像画像について、記憶媒体３３０から視線方向ｖ１が読み出される。

ステップＳ１３では、第１認識部３１１によって、記憶媒体３３０に格納されている複数の撮像画像のうちの第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分が認識される。

ステップＳ１４では、第２認識部３１２によって、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像が検索される。このとき、第２認識部３１２では、記憶媒体３３０に格納されている複数の撮像画像のうちの撮像対象物Ｏｂ０を第２視線方向で捉えた第２撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分が認識され得る。

ステップＳ１５では、ステップＳ１４の検索結果に応答して、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像があるか否かが判定される。ここで、例えば、第１撮像画像と３つ以上の同一の特徴部を捉えた第２撮像画像があれば、ステップＳ１６に進み、第２撮像画像がなければ、ステップＳ２２に進む。

ステップＳ１６では、第１撮像画像の撮像時における第１視線方向に沿った第１視線と、第２撮像画像の撮像時における第２視線方向に沿った第２視線との成す角度が算出される。

ステップＳ１７では、ステップＳ１６で算出された角度が、予め設定された閾値以上であるか否かが判定される。ここで、例えば、角度が閾値以上であれば、ステップＳ１８に進み、角度が閾値以上でなければ、ステップＳ２２に進む。

ステップＳ１８では、推定部３１３によって、撮像対象物Ｏｂ０のうちの３つ以上の特徴部に係る表面形状が推定される。ここでは、ステップＳ１３で認識された３つ以上の第１画像部分の第１位置関係と、ステップＳ１４で認識された３つ以上の第２画像部分の第２位置関係と、が用いられて、撮像対象物Ｏｂ０の表面に係る表面形状が推定され得る。このとき、例えば、撮像対象物Ｏｂ０のうちの平面領域または２つの平面としての第１面Ｓｆ１と第２面Ｓｆ２とが角部を介して接続している接続領域が推定される。

ステップＳ１９では、ステップＳ１８で推定された表面形状が記憶媒体３３０に保存される。

ステップＳ２０では、情報設定部３１４によって、第１撮像画像のうち、ステップＳ１３で認識された３つ以上の第１画像部分を含む領域に対して、利用を許可する許可情報が設定される。

ステップＳ２１では、数値ｉが数値Ｍに到達したか否か判定される。換言すれば、処理の対象となっているｉ番目の撮像画像が、Ｍ番目の撮像画像まで達したか否かが判定される。ここで、数値ｉが数値Ｍに到達していなければ、ステップＳ２２に進む。また、数値ｉが数値Ｍに到達していれば、本動作フローが終了する。ステップＳ２２では、数値ｉが１つ増加されて、ステップＳ１２に戻る。

＜１−４−３．処理対象領域の変更に応じた画像の生成および出力＞
図２０は、第２画像処理装置３０において、記憶媒体３３０に記憶されている複数の撮像画像に基づいて表示部３３に表示されている画像の拡大および縮小あるいはスクロールをおこなう際における動作フローの一例を示す流れ図である。この動作フローは、例えば、マウスホイールの回転または表示画面Ｓｃ０に対するピンチインもしくはピンチアウトの操作、あるいは表示画面Ｓｃ０上でのスワイプ操作などの第２ユーザＵ２の動作に応答して開始される。ここでは、例えば、ステップＳ３１からステップＳ３６の処理がおこなわれることで、第２ユーザＵ２による動作に応じた表示画面Ｓｃ０上での画像の出力が実行され得る。

ステップＳ３１では、領域設定部３１５によって、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０の表面に対して処理対象領域が設定される。このとき、例えば、表示画面Ｓｃ０上に撮像対象物Ｏｂ０の一部分が表示されていた場合には、処理対象領域が変更される。

ステップＳ３２では、制御部３００において、接続領域に処理対象領域が設定されたか否か判定される。ここで、例えば、接続領域に処理対象領域が設定されていなければ、ステップＳ３３に進み、接続領域に処理対象領域が設定されていれば、ステップＳ３４に進む。換言すれば、例えば、撮像対象物Ｏｂ０の表面のうちの第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域に対して処理対象領域が設定されたことに応答して、ステップＳ３４に進む。

ステップＳ３３では、検出部３１６によって、記憶媒体３３０に記憶されている複数の撮像画像において、平坦面に設定された処理対象領域に対応する画像部分が検出される。

ステップＳ３４では、検出部３１６によって、記憶媒体３３０に記憶されている複数の撮像画像に含まれる、第１面Ｓｆ１を捉えた第１画像領域と、第２面Ｓｆ２を第１画像領域とは異なる視線方向で捉えた第２画像領域と、が検出される。換言すれば、検出部３１６では、例えば、領域設定部３１５によって接続領域に処理対象領域が設定されたことに応答して、複数の撮像画像から接続領域を構成する２つの平坦面をそれぞれ捉えた画像領域が検出され得る。

ステップＳ３５では、画像生成部３１７によって、ステップＳ３４で検出された、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成される。

ステップＳ３６では、例えば、ステップＳ３３から進んで来た場合には、表示部３３によって、ステップＳ３３で検出された画像部分が可視的に出力される。例えば、ステップＳ３５から進んで来た場合には、表示部３３によって、ステップＳ３５で生成された合成画像が可視的に出力される。

＜１−５．第１実施形態のまとめ＞
以上のように、第１実施形態に係る画像処理システム１および第２画像処理装置３０では、例えば、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物Ｏｂ０を捉えた複数の撮像画像と、各撮像画像についての撮像時の視線方向情報と、が取得される。撮像対象物Ｏｂ０を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部を第１視線方向で捉えた３つ以上の第１画像部分が認識される。撮像対象物Ｏｂ０を第２視線方向で捉えた第２撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分が認識される。３つ以上の第１画像部分の第１位置関係と、３つ以上の第２画像部分の第２位置関係と、を用いて、撮像対象物Ｏｂ０の表面形状が推定される。この推定された表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、撮像対象物Ｏｂ０に対して処理対象領域が設定される。ここで、撮像対象物Ｏｂ０の表面のうちの第１面Ｓｆ１と第２面Ｓｆ２とが角部Ｃｎ１を介して接続している接続領域に処理対象領域が設定されれば、複数の撮像画像から、第１面Ｓｆ１を第１視線方向で捉えた第１画像領域と、第２面Ｓｆ２を第２視線方向で捉えた第２画像領域と、が検出される。そして、第１画像領域と第２画像領域とが合成されることで、接続領域についての合成画像が生成され得る。

このような構成が採用されれば、例えば、撮像時における第１装置２の視線方向の情報を用いて撮像対象物Ｏｂ０の表面形状を推定して、擬似的な３次元画像である合成画像を生成することができる。ここでは、例えば、撮像対象物を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。その結果、例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。

そして、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像をおこなって、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３３に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。

また、例えば、撮像時における第１装置２の位置情報を用いることなく、撮像時における第１装置２の視線方向の情報を用いて撮像対象物Ｏｂ０の表面形状を推定して、擬似的な３次元画像である合成画像を生成することができる。

撮像時における第１装置２の位置情報は、例えば、人工衛星との通信を用いた全球測位衛星システム（Global Navigation Satellite System：ＧＮＳＳ）における各種の測位システムなどを用いて取得され得る。ＧＮＳＳには、例えば、ＧＰＳ（Global Positioning System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、ガリレオ（Galileo）または準天頂衛星（Quasi-Zenith Satellite System：ＱＺＳＳ）などの測位システムが含まれる。ただし、例えば、屋内に撮像対象物Ｏｂ０が存在していれば、屋根および壁などによって人工衛星との通信が妨げられる。このため、撮像時における第１装置２の位置情報を精度良く取得することは容易でない。また、例えば、屋内に事前に電波を中継するアンテナなどを設けても、製造コストの上昇を招き、撮像時における第１装置２の正確な位置情報を容易に取得することができない。

また、撮像時における第１装置２の位置情報は、例えば、加速度センサを用いることで取得され得る。ただし、加速度センサによる計測に誤差が発生しやすく、撮像時における第１装置２の位置情報を精度良く取得することは容易でない。

＜２．他の実施形態＞
本開示は上述の第１実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

＜２−１．第２実施形態＞
上記第１実施形態では、第１画像処理装置２０で撮像対象物Ｏｂ０の撮像がおこなわれ、第２画像処理装置３０で複数の撮像画像を用いた合成画像の生成および画像の表示がおこなわれた。これに対し、例えば、第１画像処理装置２０において、撮像対象物Ｏｂ０の撮像がおこなわれ、さらに、撮像対象物Ｏｂ０の表面形状の推定ならびに複数の撮像画像を用いた合成画像などの生成および表示がおこなわれてもよい。これにより、例えば、１台の装置において、複数の撮像画像を取得するための撮像から撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理まで容易に実行することができる。また、上記第１実施形態と同様に、例えば、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。

具体的には、例えば、図２１で示されるように、第２実施形態に係る第１画像処理装置２０Ａは、例えば、上記第１実施形態に係る第１画像処理装置２０の機能に加えて、上記第１実施形態に係る第２画像処理装置３０と同様な機能を有していてもよい。ここでは、上記第１実施形態に係る第２画像処理装置３０と同様な機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３、情報設定部３１４、領域設定部３１５、検出部３１６および画像生成部３１７が含まれる。第１画像処理装置２０Ａでは、例えば、記憶媒体２３０が記憶媒体３３０と同様な役割を果たし、出力部２ｏｕが出力部３ｏｕと同様な役割を果たし、入力部２ｉｎが入力部３ｉｎと同様な役割を果たし、取得部２ａｃが取得部３ａｃと同様な役割を果たす。

このような構成が採用されれば、例えば、第１画像処理装置２０Ａにおいて、表示部２３で合成画像が可視的に出力され、第１ユーザＵ１が合成画像を視認することができる。また、例えば、出力部２ｏｕでは、複数の撮像画像のうちの許可情報が設定された対象物領域に係るデータが出力されてもよいし、複数の撮像画像のうちの禁止情報が設定された非対象物領域を除く領域に係るデータが出力されてもよい。これにより、例えば、ユーザに対して必要な部分についての画像が表示され得る。

＜２−２．第３実施形態＞
上記各実施形態に係る第１画像処理装置２０，２０Ａにおいて、例えば、撮像対象物Ｏｂ０の撮像、撮像対象物Ｏｂ０の表面形状の推定ならびに複数の撮像画像における画像領域ごとの許否情報の設定がおこなわれてもよい。そして、上記各実施形態に係る第２画像処理装置３０において、例えば、画像領域ごとに設定された許否情報に基づいて、複数の撮像画像を用いた合成画像の生成および画像の表示がおこなわれてもよい。これにより、例えば、第１装置２とは異なる他の第２装置３では、必要な部分の画像が出力されることで、情報セキュリティーの向上が図られ得る。

具体的には、例えば、図２２で示されるように、第３実施形態に係る第１画像処理装置２０Ｂは、例えば、上記第１実施形態に係る第１画像処理装置２０の機能に加えて、上記第１実施形態に係る第２画像処理装置３０の一部の機能を有していてもよい。ここでは、上記第１実施形態に係る第２画像処理装置３０の一部の機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３および情報設定部３１４が含まれる。第１画像処理装置２０Ｂでは、例えば、入力部２ｉｎが入力部３ｉｎと同様な役割を果たし、取得部２ａｃが取得部３ａｃと同様な役割を果たし得る。ここでは、例えば、通信部２５によって、取得部２ａｃで取得された複数の撮像画像と、推定部３１３で推定された撮像対象物Ｏｂ０の表面形状を示す表面形状情報と、情報設定部３１４で設定された許否情報と、が通信回線４を介して第２装置３に送信され得る。

一方、例えば、図２３で示されるように、第３実施形態に係る第２画像処理装置３０Ｂは、例えば、上記第１実施形態に係る第２画像処理装置３０から、第１画像処理装置２０Ｂに加えられた一部の機能が除かれてもよい。上記第１実施形態に係る第２画像処理装置３０から除かれる一部の機能には、例えば、第１認識部３１１、第２認識部３１２、推定部３１３および情報設定部３１４が含まれる。第２画像処理装置３０Ｂでは、例えば、出力部３ｏｕで、取得部３ａｃで取得された複数の撮像画像の許可情報が設定された対象物領域に係るデータが利用されてもよいし、複数の撮像画像の禁止情報が設定された非対象物領域を除く領域に係るデータが利用されてもよい。

さらに、例えば、出力部２ｏｕによって、複数の撮像画像のうちの許可情報が設定された対象物領域に係るデータが出力されてもよいし、複数の撮像画像のうちの禁止情報が設定された非対象領域を除く画像領域に係るデータが出力されてもよい。このとき、例えば、データの出力先が第２装置３であれば、第１装置２とは異なる他の第２装置３において、対象物領域以外の必要以上の部分が第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。

＜３．その他＞
上記各実施形態において、例えば、合成画像の生成に用いられる第１画像部分および第２画像部分は、撮像対象物Ｏｂ０の相互に隣接する領域が捉えられたものでなくてもよい。例えば、撮像対象物Ｏｂ０のうち、第１面Ｓｆ１と第２面Ｓｆ２との境界にある角部を挟んで位置している２つの領域が、合成画像の生成に用いられる第１画像部分および第２画像部分によって捉えられていてもよい。ここで、角部としては、例えば、曲率を有するＲ面または面取りがなされたＣ面の部分が採用され得る。このような構成が採用されれば、図１６（ａ）から図１６（ｃ）で示された表示画像をスクロールさせる様子は、図２４（ａ）から図２４（ｃ）で示された表示画像をスクロールさせる様子となり得る。図２４（ｂ）および図２４（ｃ）の合成画像では、第１面Ｓｆ１に係る第１画像部分Ｉｐａと、第２面Ｓｆ２に係る第１画像部分Ｉｐｂと、の間に、角部に相当する空白の部分が存在している。さらに、例えば、この空白の部分を設けることなく、第１面Ｓｆ１に係る第１画像部分Ｉｐａと、第２面Ｓｆ２に係る第１画像部分Ｉｐｂと、を隙間無く並べるように、合成画像が生成されてもよい。

上記各実施形態では、例えば、合成画像は、表示に必要であるタイミングで一時的に生成されてもよいし、一旦生成された合成画像は、記憶媒体２３０，３３０などに蓄積されてもよい。

上記各実施形態では、例えば、撮像対象物Ｏｂ０の各面を正面から捉えた第１画像部分と第２画像部分とを合成することで、合成画像を生成してもよいし、撮像対象物Ｏｂ０の各面を異なる方向から捉えた第１画像部分と第２画像部分とが合成されてもよい。

上記各実施形態では、例えば、撮像対象物Ｏｂ０の異なる面の２以上の画像部分が合成されることなく、表示画面Ｓｃ０の中心部分の画像部分で捉えられた面の画像が選択的に表示画面Ｓｃ０に表示されてもよい。このとき、例えば、表示画面Ｓｃ０における画像のスクロールにより、表示画面Ｓｃ０の中心部分を、第１面Ｓｆ１を捉えた画像部分の端部が通過したタイミングで、表示画面Ｓｃ０に第２面Ｓｆ２を捉えた画像部分が表示され始めるような態様が考えられる。

上記各実施形態では、例えば、第１ユーザＵ１は、現場作業者だけに限られず、例えば、立体的な撮像対象物を撮像する者（撮像者ともいう）一般であってもよい。

上記各実施形態では、例えば、第２ユーザＵ２は、機器担当者だけに限られず、例えば、立体的な撮像対象物を周囲の様々な角度から見た画像を観察する者（観察者ともいう）一般であってもよい。

上記各実施形態では、例えば、撮像対象物Ｏｂ０は、例えば、容易に近づくことができない古墳の石棺などであってもよいし、服飾、バッグ、頭髪などのその他の周囲からの観察が可能な立体的な形状を有するもの一般であってもよい。

上記各実施形態では、例えば、第２画像処理装置３０，３０Ｂは、本体部と表示部３３とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部３３とが通信可能に接続される態様が採用され得る。また、例えば、第１画像処理装置２０Ａは、本体部と表示部２３とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部２３とが通信可能に接続される態様が採用され得る。

上記各実施形態では、例えば、画像ＤＢ２Ｉｄ，３Ｉｄは、第１装置２の記憶媒体２３０および第２装置３の記憶媒体３３０において構築される必要はなく、各種サーバ、あるいはクラウドコンピューティングの概念における各種記憶媒体で構築されてもよい。

上記各実施形態では、例えば、複数の撮像画像と、各撮像画像に係る視線方向情報と、に基づいて、第１装置２の移動経路が推定されてもよい。ここで、例えば、第１ユーザＵ１が第１装置２としてのスマートグラスを装着した状態で、連続した多数回の撮像をおこないながら、撮像対象物Ｏｂ０の周囲を移動する場合を想定する。この場合には、第１ユーザＵ１は、例えば、移動する際には、足下および進行方向などを確認する。このため、例えば、複数の撮像画像には、床面などの足下を捉えた撮像画像（足下撮像画像ともいう）が含まれる。この足下撮像画像は、撮像時の視線方向および足型の検出などによって認識され得る。そして、複数の足下撮像画像が認識されれば、パターンマッチングなどの手法によって、床面などにおける同一の部分を捉えた領域が重なるように、複数の足下撮像画像が連結され得る。これにより、第１装置２の移動経路を規定する床面などが推定され得る。そして、例えば、図４で示されるように、第１装置２の移動経路で囲まれている内側の領域を捉えた画像領域が合成画像の生成および画像の表示などに利用可能となるように、許否情報が設定されてもよい。

上記各実施形態では、例えば、複数の撮像画像のうち、許可情報が設定されていない画像領域あるいは禁止情報が設定されている画像領域については、フィルタ処理あるいは特定色への置換処理などが施されてもよい。フィルタ処理には、例えば、ぼかし処理あるいはモザイク処理などが含まれる。特定色への置換処理には、例えば、黒塗りあるいは白抜きなどをおこなう処理が含まれる。これにより、撮像対象物Ｏｂ０とは異なる必要以上の部分が第１ユーザＵ１あるいは第２ユーザＵ２によって視認されないようにすることができる。その結果、例えば、情報セキュリティーの向上が図られ得る。

上記各実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１ 画像処理システム
２ 第１装置
２Ｐｒ，３Ｐｒ 制御プログラム
２ａｃ，３ａｃ 取得部
２ｉｎ，３ｉｎ 入力部
２ｏｕ，３ｏｕ 出力部
３ 第２装置
３ｒｅ 受信部
４ 通信回線
２０，２０Ａ，２０Ｂ 第１画像処理装置
２１ 撮像部
２２ 方向センサ
２３，３３ 表示部
２５，３５ 通信部
３０，３０Ｂ 第２画像処理装置
２００，３００ 制御部
２２１ 方向計測部
２３０，３３０ 記憶媒体
３１１ 第１認識部
３１２ 第２認識部
３１３ 推定部
３１４ 情報設定部
３１５ 領域設定部
３１６ 検出部
３１７ 画像生成部
Ａｒ２ 既表示領域
Ａｒ２１ 残部
Ａｒ２２ 未表示領域
Ｃｎ１ 角部
Ｄａ０，Ｄａ１，Ｄａ２，Ｄａ３，Ｄａ４，Ｄａ５，Ｄａ６，Ｄｂ０，Ｄｂ１，Ｄｂ２，Ｄｂ３，Ｄｂ４，Ｄｂ５，Ｄｂ６ 距離
Ｇａ１，Ｇａ２，Ｇａ３ 第１撮像画像
Ｇｂ１，Ｇｂ２，Ｇｂ３ 第２撮像画像
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３，Ｉｍ１４ 撮像画像
Ｉｐ０，Ｉｐ１，Ｉｐ２，Ｉｐ２１，Ｉｐ２２ 画像部分
Ｏｂ０ 撮像対象物
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐｘ１，Ｐｘ２，Ｐｘ３，Ｐｘ４ 特徴部
Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４，Ｐｔ５，Ｐｔ６，Ｐｔ７，Ｐｔ８，Ｐｔ９，Ｐｔ１０，Ｐｔ１１，Ｐｔ１２，Ｔｐ１ 位置
Ｓｃ０ 表示画面
Ｓｆ１ 第１面
Ｓｆ２ 第２面
Ｕ１ 第１ユーザ
Ｕ２ 第２ユーザ
ｐ１ａ，ｐ１ｂ，ｐ２ａ，ｐ２ｂ，ｐ３ａ，ｐ３ｂ，ｐ４ａ，ｐ４ｂ，ｐ５ａ，ｐ５ｂ，ｐ６ａ，ｐ６ｂ，ｐ７ａ，ｐ７ｂ，ｐ８ａ，ｐ８ｂ，ｐ９ａ，ｐ９ｂ，ｐ１０ａ，ｐ１０ｂ，ｐ１１ａ，ｐ１１ｂ 画像部分
ｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６，ｖ７，ｖ８，ｖ９，ｖ１０，ｖ１１，ｖ１２，ｖ３１，ｖ３２，ｖ３３ 視線方向

Claims (14)

1. 視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る取得部と、
   前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
   前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
   前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
   該推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
   該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
   前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１位置関係は、前記第１撮像画像における第１方向での前記３つ以上の第１画像部分の間の距離の関係を含み、
   前記第２位置関係は、前記第２撮像画像における前記第１方向に対応する第２方向での前記３つ以上の第２画像部分の間の距離の関係を含む、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記推定部は、前記第１面上の前記３つ以上の特徴部について、前記第１撮像画像において前記第１方向での前記３つ以上の第１画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第１視線方向と、前記第２撮像画像において前記第２方向での前記３つ以上の第２画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第２視線方向と、に基づき、前記第１面の第１法線方向を推定する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記推定部は、前記第２面上の前記３つ以上の特徴部について、前記第１撮像画像において前記第１方向での前記３つ以上の第１画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第１視線方向と、前記第２撮像画像において前記第２方向での前記３つ以上の第２画像部分の間の距離が予め設定された画素数の距離以下となる撮像時の前記第２視線方向と、に基づいて、前記第２面の第２法線方向を推定する、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記検出部は、前記第１法線方向に基づいて前記第１面の法線に沿った視線方向で該第１面を捉えた前記第１画像領域を前記複数の撮像画像から検出するとともに、前記第２法線方向に基づいて前記第２面の法線に沿った視線方向で該第２面を捉えた前記第２画像領域を前記複数の撮像画像から検出する、画像処理装置。
6. 請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
   前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で前記対象物を撮像することで前記複数の撮像画像を得る撮像部と、
   前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで前記視線方向情報を得る方向計測部と、を含む、画像処理装置。
7. 請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
   前記合成画像を出力する出力部、および前記合成画像を記憶する記憶媒体の少なくとも一方をさらに備える、画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記出力部は、前記合成画像を可視的に出力する表示部、を含む、画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記領域設定部は、前記推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表示部で可視的に出力されている第１合成画像で捉えられている前記対象物の既表示領域の一部を除く残部と、前記表示部で可視的に出力されている前記第１合成画像では捉えられていない前記対象物の未表示領域と、を含む変更後の処理対象領域を設定し、
   前記検出部は、前記領域設定部によって前記変更後の処理対象領域が設定されたことに応答して、前記複数の撮像画像から、前記未表示領域を捉えた第３画像部分、を検出し、
   前記画像生成部は、前記第１合成画像における前記既表示領域を捉えた第４画像部分と、前記第３画像部分とを合成することで、第２合成画像を生成し、
   前記表示部は、前記第２合成画像を可視的に出力する、画像処理装置。
10. 請求項８に記載の画像処理装置であって、
    前記複数の撮像画像について、表示への利用の許否および前記合成画像の生成への利用の許否に係る情報を画像領域ごとに設定する情報設定部、をさらに備え、
    前記推定部は、前記複数の撮像画像を対象として、前記第１位置関係と前記第２位置関係とに基づいて、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定し、
    前記情報設定部は、前記複数の撮像画像について、前記対象物領域に対する前記利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう、画像処理装置。
11. 請求項１０に記載の画像処理装置であって、
    前記出力部は、前記複数の撮像画像のうちの前記許可情報が設定された前記対象物領域に係るデータの出力、および前記複数の撮像画像のうちの前記禁止情報が設定された前記非対象物領域を除く領域に係るデータの出力、の少なくとも一方の出力をおこなう、画像処理装置。
12. 第１装置と、
    通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備え、
    前記第１装置は、
    視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
    前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
    前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する通信部と、を含み、
    前記第２装置は、
    前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視線方向情報と、を受信する受信部と、
    前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
    前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
    前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
    該推定部で推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
    該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
    前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を含む、画像処理システム。
13. 第１装置と、
    通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備え、
    前記第１装置は、
    視点位置および視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
    前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
    前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する第１認識部と、
    前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する第２認識部と、
    前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、前記複数の撮像画像について、前記対象物を捉えた対象物領域と、前記対象物以外の部分を捉えた非対象物領域と、を推定するとともに、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する推定部と、
    前記複数の撮像画像について、前記対象物領域に対する表示および合成画像の生成への利用の許可に係る許可情報の設定、および前記非対象物領域に対する前記利用の禁止に係る禁止情報の設定、の少なくとも一方の設定をおこなう情報設定部と、
    前記複数の撮像画像と、前記推定部で推定した前記表面形状を示す表面形状情報と、前記情報設定部で設定された前記許可情報および前記禁止情報の少なくとも一方を含む許否情報とを、前記通信回線を介して前記第２装置に送信する通信部と、を含み、
    前記第２装置は、
    前記表面形状情報と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する領域設定部と、
    該領域設定部によって、前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する検出部と、
    前記許否情報に基づいて、前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する画像生成部と、を含む、画像処理システム。
14. 画像処理装置を制御するための制御プログラムであって、
    視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視線方向を示す視線方向情報と、を得る工程と、
    前記複数の撮像画像のうちの前記対象物を第１視線方向で捉えた第１撮像画像について、３つ以上の特徴部をそれぞれ捉えた３つ以上の第１画像部分を認識する工程と、
    前記複数の撮像画像のうちの前記対象物を第２視線方向で捉えた第２撮像画像について、前記３つ以上の特徴部をそれぞれ捉えた３つ以上の第２画像部分を認識する工程と、
    前記３つ以上の第１画像部分の第１位置関係と、前記３つ以上の第２画像部分の第２位置関係と、を用いて、平坦領域または第１面と第２面とが角部を介して接続している接続領域を推定することで、前記対象物の表面に係る表面形状を推定する工程と、
    推定された前記表面形状と、ユーザの動作に応答して入力される信号と、に基づいて、前記表面に対して処理対象領域を設定する工程と、
    前記表面のうちの前記接続領域に前記処理対象領域が設定されたことに応答して、前記複数の撮像画像において、前記第１面を捉えた第１画像領域と、前記第２面を前記第１画像領域とは異なる視線方向で捉えた第２画像領域と、を検出する工程と、
    前記第１画像領域と前記第２画像領域とを合成することで、前記接続領域についての合成画像を生成する工程と、を前記画像処理装置に実行させるための制御プログラム。

Images