JP2019159942A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】機密漏えいを防止しつつ、対象機器等の状態を直感的に把握することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供する。【解決手段】実空間上にある被対象物の深度情報を取得するセンサ部と、前記被対象物の３次元形状に関する形状情報を格納する記憶部と、前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する位置関係情報算出部と、前記位置関係情報に基づき変換された前記形状情報と、前記深度情報との差分である差分情報を算出する差分算出部と、算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して、ユーザに向けて表示する表示部と、を備える情報処理装置を提供する。【選択図】図８

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

工場や事業所内に設置された機器や設備が適切な状態で設置されているかどうかを確認したり、これらの機器等において故障等が生じた場合に、これらの機器等の保守を迅速に実施したりするために、これらの対象機器等の状態を直感的に把握することが求められる。そこで、例えば、上記対象機器等の現状の画像を取得し、コンピュータ等により取得画像と上記対象機器等があるべき状態とを比較し、比較結果を、上記対象機器等を設置する作業員等に提供することにより、当該作業員等は、上記対象機器等の状態を直感的に把握することができるようになる。また、他の方法としては、上記対象機器等に各種のセンサを予め装着し、各種のセンサによって取得されたセンサデータを、上記対象機器等の実態に合わせてモデル化し、当該モデルを解析することにより、上記対象機器等における不備等を検証し、検証結果を作業員等に提供するような方法も利用することができる。

例えば、下記特許文献１には、部品を取り付ける被取付体及び当該部品の仮想モデルと、デプスセンサで取得した作業空間（実空間）の３次元イメージとを比較することにより、当該部品の取り付けを支援する作業支援システムが開示されている。また、下記特許文献２には、各種センサによって取得されたセンサデータを、コメント（例えば、センサによって検知した問題点等）と共に表示する測定システムが開示されている。

特開２０１７−１９１３５１号公報 特開２０１５−０４０７７５号公報

しかしながら、関係者以外への機密漏えいを防止する観点から、工場内等の中で撮影した対象機器等の画像を外部へ持ち出すことができないことがある。また、上記対象機器等に装着すべきセンサの数が不足したり、適切な位置にセンサが装着されていなかったりすることに起因して、現状の上記対象機器等の状態を把握することが難しい場合がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、機密漏えいを防止しつつ、対象機器等の状態を直感的に把握することが可能な、新規且つ改良された情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、実空間上にある被対象物の深度情報を取得するセンサ部と、前記被対象物の３次元形状に関する形状情報を格納する記憶部と、前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する位置関係情報算出部と、前記位置関係情報に基づき変換された前記形状情報と、前記深度情報との差分である差分情報を算出する差分算出部と、算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して、ユーザに向けて表示する表示部と、を備える情報処理装置が提供される。

前記情報処理装置は、前記被対象物の実像又は前記被対象物の撮像画像に対して前記差分情報を強調して表示するために、前記差分情報に対してエフェクト処理を行うエフェクト処理部をさらに備えてもよい。

前記エフェクト処理部は、前記差分情報が、前記被対象物の実像又は前記被対象物の撮像画像とは異なる色彩、明度、又は透明度によって表示されるように、前記差分情報を処理してもよい。

前記エフェクト処理部は、前記差分情報がワイヤーフレーム表示されるように、前記差分情報を処理してもよい。

前記センサ部は、前記被対象物に対して照射光を照射し、当該被対象物で反射された反射光を受光し、前記照射光と前記反射光との位相差又は時間差を検知することで、前記深度情報を取得するデプスセンサであってもよい。

前記センサ部は、複数のカメラにより前記被対象物を撮像して、前記深度情報を取得するステレオカメラであってもよい。

前記表示部は、前記ユーザの頭部に装着されて、前記差分情報を前記被対象物の実像に重畳して表示するスマートアイグラスであってもよい。

前記表示部は、前記ユーザの頭部に装着されて、前記差分情報を前記被対象物の撮像画像に重畳して表示するヘッドマウントディスプレイであってもよい。

前記情報処理装置は、前記被対象物を撮像する撮像部をさらに備えてもよい。

前記情報処理装置は、前記被対象物又は前記ユーザに装着された加速度センサ及び地磁気センサのうちの少なくとも１つを備え、前記位置関係情報算出部は、前記加速度センサ及び前記地磁気センサのうちの少なくとも１つから得られたセンサデータに基づいて、前記位置関係情報を算出してもよい。

前記情報処理装置は、前記形状情報及び前記深度情報を平面に投影する平面投影部をさらに備え、前記差分算出部は、平面に投影された前記形状情報と、平面に投影された前記深度情報との差分である前記差分情報を算出してもよい。

前記差分算出部は、前記深度情報において深度が無限遠となる領域に関しては、差分が発生していないものとして処理を行ってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、実空間上にある被対象物の深度情報を取得するセンサ部と、前記被対象物の３次元形状に関する形状情報を格納する記憶部と、前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する位置関係情報算出部と、前記位置関係情報に基づき変換された前記形状情報と、前記深度情報との差分である差分情報を算出する差分算出部と、算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する表示部と、を備える情報処理システムが提供される。

また、上記課題を解決するために、本発明のさらなる別の観点によれば、センサ部から実空間上にある被対象物の深度情報を取得し、前記実空間における前記センサ部と前記被対象物との位置関係情報を算出し、予め格納された前記被対象物の３次元形状に関する形状情報を前記位置関係情報に基づき変換し、変換された前記形状情報と、前記深度情報との差分である差分情報を算出し、算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する、ことを含む情報処理方法が提供される。

さらに、上記課題を解決するために、本発明のさらなる別の観点によれば、コンピュータに、センサ部から実空間上にある被対象物の深度情報を取得する機能と、前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する機能と、予め格納された前記被対象物の３次元形状に関する形状情報を前記位置関係情報に基づき変換し、変換された前記形状情報と、前記深度情報との差分である差分情報を算出する機能と、算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する機能と、を実現させるプログラムが提供される。

以上説明したように本発明によれば、機密漏えいを防止しつつ、対象機器等の状態を直感的に把握することが可能な、情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することができる。

本発明の第１の実施形態に係る情報処理システム１の概要について説明するための説明図である。 本発明の第１の実施形態に係るＨＭＤ３２の一例を説明するための説明図である。 本発明の第１の実施形態に係るスマートアイグラス３０の使用の一例を説明するための説明図である。 本発明の第１の実施形態に係る処理装置４０のブロック図である。 本発明の第１の実施形態に係る情報処理方法のフローチャートである。 本発明の第１の実施形態における実空間の実像８００の例を説明するための説明図である。 本発明の第１の実施形態における被対象物１０の３次元情報８１０の例を説明するための説明図である。 本発明の第１の実施形態に係る情報処理方法における処理例を説明するための説明図である。 本発明の第１の実施形態に係る差分画像８２０を重畳した重畳画像８２２の一例を説明するための説明図である。 本発明の第２の実施形態に係る処理装置４０、５０のブロック図である。 本発明の第２の実施形態に係る情報処理方法のシーケンス図である。 本発明の第２の実施形態に係る表示画像８４０の一例を説明するための説明図である。 本発明の実施形態に係る情報処理装置９００のハードウェア構成例を示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜本発明の実施形態をなすに至った経緯＞＞
まずは、本発明の実施形態の具体的な説明に先立ち、本発明者が本発明の実施形態をなすに至った経緯について説明する。

例えば、先に説明したように、工場や事業所内に設置された機器や設備が適切な状態で設置されているかどうかを確認したり、これらの機器等において故障等が生じた場合に、これらの機器等の保守を迅速に実施したりするために、これらの機器等の状態を直感的に把握することが求められる。そこで、例えば、上記対象機器等の現状の画像を取得し、コンピュータ等により取得画像と上記対象機器等があるべき状態とを比較し、比較結果を、上記対象機器等を設置する作業員等に提供することにより、当該作業員等は、上記対象機器等の状態を直感的に把握することができるようになる。

しかしながら、製造ラインが設けられた工場内や、顧客の財産を取り扱う金融機関の建物内や、顧客の情報を保管する複数のサーバが配置されたデータセンタ等においては、関係者以外への機密漏えいを防止する観点から、これらの場所の内部で撮影した画像を外部へ持ち出すことが制限されていることがある。従って、これらの場所に設置される機器等については、その画像を外部に持ち出すことができないこともあることから、上述のように画像を用いることによって対象機器等の現状の状態を把握することは難しいことがある。

そこで、対象機器の現状の状態を把握するために、以下のような方法を用いることが考えられる。例えば、１つの方法としては、対象機器に各種のセンサ（例えば、機器の開閉を検知するリードスイッチ等）を予め装着し、これらの各種のセンサによって取得されたセンサデータを、上記対象機器等の実態に合わせてモデル化することが挙げられる。そして、上記モデルを解析することにより、上記対象機器における不備等を検証し、検証結果を作業員等に提供することにより、対象機器の現状の状態を把握することが可能となる。しかし、このような方法であっても、上記対象機器に装着すべきセンサの数が不足していたり、適切な位置に適切なセンサが装着されていなかったりすることに起因して、現状の上記対象機器等の状態を適切に示すようなモデルを得ることができないことがある。このような場合、適切なモデルを得ることができないことから、上記対象機器等の状態を把握することができないこととなる。

このような状況を踏まえ、本発明者は、機密漏えいを防止しつつ、対象となる機器等の状態を直感的に把握することができる技術を確立しようと、鋭意検討を重ねていた。そのような検討を行う中で、本発明者は、対象機器の状態を取得するためにデプスセンサを用いることに着想した。

デプスセンサは、対象となる物体にパルス状のレーザ光等（照射光）を照射し、当該対象物体の表面で反射された光（反射光）を検知することにより、上記照射光と上記反射光との位相差又は時間差によって、デプスセンサから対象物体の表面までの距離、すなわち、対象物体の表面の凹凸等の奥行き情報である深度情報を取得することができるセンサである。詳細には、当該深度情報は、デプスセンサの位置を基準とした場合の、対象物体の表面の各点の相対的な３次元座標情報の集合体である３次元座標情報群であることができる。さらに、上記３次元座標情報群を利用して、対象物体の表面の各点の深度（距離）に応じてグラデーションをつけて平面に投影することにより、当該対象物体のデプス画像（例えば、図８の実デプス画像８０２ 参照）を得ることができる。当該デプス画像は、グラデーションにより、対象物体の輪郭や表面の凹凸形状が表現されることにより、当該対象物体の輪郭や表面の形状を把握することができる平面画像であるといえる。

すなわち、デプスセンサによって取得することができる深度情報は、デプスセンサから対象物体までの相対距離や、当該対象物体の表面の形状についての情報であるといえる。従って、デプスセンサによって得られる深度情報は、例えば、当該対象物体の表面に印刷された、又は、表示された文字や模様等の情報を、これらが凹凸によって表現されたものでない限り、含むことが難しい。また、デプスセンサの精度にも依存するが、一般的に、デプスセンサは、均一な表面における微細な凹凸等といった、微細な形状の情報を得ることも難しい。

このようなデプスセンサの特徴を鑑み、本発明者は、デプスセンサの特徴を生かすことで、機密漏えいを防止しつつ、対象機器の現状の状態を直感的に把握することができる技術を創作できるのではないかと考えたのである。例えば、工場、金融機関、データセンタ等においては、漏洩してはいけない機密情報は、これらの場所に設置された、対象機器の周囲に存在する他の機器等であったり、当該対象機器の表面に表示された文字情報等であったりすることが多い。そこで、本発明者は、対象機器の状態を把握するための情報として、デプスセンサによって取得された深度情報を用いることに想到した。深度情報には、デプスセンサの特徴により上述のような機密情報が含まれないことから、本発明者は、デプスセンサを利用することにより、機密漏えいを防止することができるのではないかと考えたのである。

すなわち、本発明者が着想した本発明の実施形態においては、デプスセンサによって得られる対象機器の深度情報を対象機器の実態に合わせてモデル化（デプス画像化）し、当該モデルと対象機器があるべき理想状態とを比較し、比較結果（差分）を作業員等に提供する。このような本発明の実施形態によれば、機密漏えいを防止しつつ、対象機器の現状の状態を直感的に把握することができる。以下、このような本発明の実施形態を順次詳細に説明する。

なお、以下に説明する本発明の各実施形態は、工場、金融機関、データセンサ、各種インフラ設備が設置された工場や事業場等において、機器や設備等の設置や保守を支援するために用いることができる。以下の説明においては、工場の内部でユーザ２０が対象機器である被対象物１０の状態を把握し、被対象物１０の保守作業を行う場合を例に説明する。

＜＜第１の実施形態＞＞
＜情報処理システム１の概要＞
まずは、本発明の第１の実施形態に係る情報処理システム１の概要について、図１から図３を参照して説明する。なお、図１は、本実施形態に係る情報処理システム１の概要について説明するための説明図である。図２は、本実施形態に係るＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（ヘッドマウントディスプレイ））３２の一例を説明するための説明図である。さらに、図３は、本実施形態に係るスマートアイグラス３０の使用の一例を説明するための説明図である。

本実施形態に係る情報処理システム１は、図１に示すように、被対象物１０に装着された被対象物側センサ１２と、デプスセンサ（センサ部）２２と、カメラ（撮像部）２４と、加速度センサ２６と、地磁気センサ２８と、ユーザ２０の頭部に装着されたスマートアイグラス３０と、処理装置４０とを主に含む。なお、図１においては、わかりやすくするためにデプスセンサ２２については、デプスセンサ２２単独、及び、スアートアイグラス３０と一体となった状態のデプスセンサ２２というように、重複して図示している。以下に、本実施形態に係る情報処理システム１に含まれる各装置の概要について説明する。

（被対象物側センサ１２）
被対象物側センサ１２は、本実施形態における被対象物１０である、工場の内部に設置された機器や設備等に装着されたセンサである。詳細には、被対象物側センサ１２は、被対象物１０である対象機器の開閉を検知するリードスイッチ等といった、被対象物１０の状態等を検知するためのセンサ群を含むことができる。なお、本実施形態においては、被対象物側センサ１２は、被対象物１０である機器に予め備えつけられているセンサであってもよく、もしくは、被対象物１０である機器に後付されたセンサであってもよく、特に限定されるものではない。

本実施形態においては、例えば、被対象物側センサ１２が、被対象物１０の状態の検知が可能なように設置されていない場合（例えば、被対象物側センサ１２が、設計漏れや取り付け漏れ等によって設置されていない場合）であっても、以下に説明する情報処理システム１を用いることにより、所望する被対象物１０の状態の検知が可能となる。さらに、被対象物側センサ１２は、自身が取得したセンサデータを後述する処理装置４０へ、通信網７０を介して、送信することができる。そして、当該処理装置４０は、被対象物側センサ１２からのセンサデータを用いて、被対象物１０の状態を表示することができる。

（デプスセンサ２２）
デプスセンサ２２は、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ（ＬＩＤＡＲ）を利用したセンサである。言い換えると、デプスセンサ２２は、光を利用して、実空間上におけるデプスセンサ２２から対象となる物体（本実施形態においては被対象物１０）の表面の各点との距離を計測することができるセンサである。詳細には、デプスセンサ２２は、例えば、被対象物１０に所定の周期を持つパルス状のレーザ光等（照射光）を照射し、被対象物１０の表面で反射された光（反射光）を受光することにより、上記照射光と上記反射光との位相差又は時間差によって、被対象物１０の輪郭や、被対象物１０の表面の凹凸等の情報である深度情報を取得することができる。

そして、先に説明したように、上記深度情報は、デプスセンサ２２の位置を基準とした場合の、被対象物１０の表面の各点の相対的な３次元座標情報の集合体である３次元座標情報群であることができる。従って、上記３次元座標情報群を利用して、被対象物１０の表面の各点の深度（距離）に応じてグラデーションをつけて平面に投影することにより、被対象物１０のデプス画像（例えば、図８の実デプス画像８０２ 参照）を得ることができる。

このようなデプスセンサ２２は、先に説明したように、被対象物１０の表面に印刷された、又は、表示された文字や模様等の情報のような機密情報を、これらが凹凸によって表現されたものでない限り、取得することは難しい。従って、本実施形態においては、デプスセンサ２２によって得られる深度情報を利用することにより、機密漏えいを防止しつつ、被対象物１０の現状の状態を直感的に把握することができる。

さらに、本実施形態においては、被対象物１０の状態を把握するために用いる深度情報には、被対象物１０の周囲に存在する機器等についての深度情報が含まれないようにすることが好ましい。このようにすることで、本実施形態においては、被対象物１０の周囲に存在する機器等の情報のような機密情報の漏洩を防止することができる。

さらに、デプスセンサ２２は、取得したセンサデータ（深度情報）を後述する通信網７０を介して、後述する処理装置４０に送信することができる。

なお、デプスセンサ２２は、後述するスマートアイグラス３０との間で相対的な位置関係が固定され、固定された相対的な位置関係に関する情報が予め取得されていることが好ましい。例えば、図１及び図３に示すように、デプスセンサ２２とスマートアイグラス３０とが一体の装置となっていることが好ましい。しかしながら、本実施形態においては、これに限定されるものではなく、デプスセンサ２２及びスマートアイグラス３０の位置情報が取得することができるような位置情報センサ（図示省略）を利用し、デプスセンサ２２及びスマートアイグラス３０の相対的な位置関係に関する情報を取得してもよい。

また、本実施形態においては、デプスセンサ２２の代わりに、複数のカメラ間における視差を利用して、デプスセンサ２２のように対象となる物体までの距離の情報を取得することができる、複数のカメラからなるステレオカメラ（図示省略）を用いてもよい。ただし、ステレオカメラを用いた場合には、工場の内部の詳細な画像が得られることから、被対象物１０の状態を把握するために用いる、ステレオカメラの画像には、機密情報である被対象物１０の周囲に存在する機器等についての画像が含まれないように、マスクをかける等の処理を行うことが好ましい。

（カメラ２４）
カメラ２４は、被対象物１０、ユーザ２０、デプスセンサ２２、スマートアイグラス３０等を撮像する撮像装置であって、被対象物１０で反射される光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより画像を取得することができる。詳細には、カメラ２４は、光を集光する撮影レンズ及びズームレンズなどの撮像光学系、及び、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、又は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を有することができる。また、カメラ２４は、当該カメラ２４が取得した画像データを後述する通信網７０を介して処理装置４０に送信することもできる。当該処理装置４０は、カメラ２４からの画像データを用いて、被対象物１０と、デプスセンサ２２やスマートアイグラス３０との位置関係を示す位置関係情報を計算してもよい。

なお、上述したステレオカメラ（図示省略）と同様に、カメラ２４を用いた場合には、工場の内部の詳細な画像が得られることから、カメラ２４の画像データには、機密情報である被対象物１０の周囲に存在する機器等についての画像が含まれないように、マスクをかける等の処理を行うことが好ましい。

（加速度センサ２６）
加速度センサ２６は、例えば、３軸加速度センサにより実現され、被対象物１０、ユーザ２０、デプスセンサ２２、スマートアイグラス３０等に装着され、被対象物１０等の運動による加速度を検知する。加速度センサ２６は、加速度センサ２６が取得したセンサデータを、通信網７０を介して処理装置４０に送信することもできる。上記処理装置４０は、加速度センサ２６からのセンサデータを用いて、被対象物１０と、デプスセンサ２２やスマートアイグラス３０の位置関係を示す位置関係情報を計算してもよい。さらに、加速度センサ２６には、被対象物１０、ユーザ２０、デプスセンサ２２、スマートアイグラス３０等に装着されたジャイロセンサ（図示省略）が含まれていてもよく、加速度センサ２６は、例えば、３軸ジャイロセンサにより実現され、被対象物１０等の運動による角速度（回転速度）を検知する。

（地磁気センサ２８）
地磁気センサ２８は、例えば、３軸地磁気センサ（コンパス）により実現され、被対象物１０、ユーザ２０、デプスセンサ２２、スマートアイグラス３０等に装着され、被対象物１０等に装着され、絶対方向（方位）を検知する。なお、ここで、絶対方位とは、実空間における世界座標系（東西南北）における方位のことをいう。地磁気センサ２８は、地磁気センサ２８が取得したセンサデータを、通信網７０を介して処理装置４０に送信することもできる。上記処理装置４０は、地磁気センサ２８からのセンサデータを用いて、被対象物１０と、デプスセンサ２２やスマートアイグラス３０との位置関係を示す位置関係情報を計算してもよい。

なお、上述したデプスセンサ２２、カメラ２４、加速度センサ２６及び地磁気センサ２８は、被対象物１０の近傍に位置する固定装置（図示省略）や、工場内を移動することができるロボット等の移動装置（図示省略）に装着されていてもよい。さらに、カメラ２４、加速度センサ２６及び地磁気センサ２８は、ユーザ２０の頭部に装着されたスマートアイグラス３０と一体の装置として構成されていてもよい。

（スマートアイグラス３０）
スマートアイグラス３０は、図１に示されるように、ユーザ２０の頭部に装着される眼鏡型のＨＭＤである。スマートアイグラス３０は、装着時にユーザ２０の眼前に位置する眼鏡レンズ部分に相当する表示部（図示省略）を持ち、当該表示部は、眼鏡レンズ部分の外側を視認することができる透過型ディスプレイにより実現される。当該表示部が透過型ディスプレイであることから、スマートアイグラス３０は、ユーザ２０の周囲の実空間上の物体（本実施形態においては被対象物１０）の実像８００（例えば、図８ 参照）に重畳して、画像を当該ユーザ２０に向けて表示することができる。このような透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いた透明な導光部等からなる虚像光学系がユーザ２０の眼前に保持されることにより、当該虚像光学系の内側に画像を結像させ、ユーザ２０に向けて当該画像を表示することができる。以下の説明においては、透過型ディスプレイの表示部を持つＨＭＤを「スマートアイグラス」と呼ぶものとする。さらに、スマートアイグラス３０は、後述する処理装置４０からの情報を、通信網７０を介して受信することができる。なお、先に説明したように、図１及び図３に示すように、スマートアイグラス３０は、デプスセンサ２２と一体の装置となっていることが好ましい。

また、本実施形態においては、スマートアイグラス３０の代わりに、表示部（図示省略）として非透過型ディスプレイを用いたＨＭＤ３２が使用されてもよい。このような場合、ＨＭＤ３２は、図２に示されるように、ユーザ２０の頭部に装着されることができ、ユーザ２０が視認する方向の実空間を撮像範囲として撮像する外向きカメラ３４を有する。そして、ＨＭＤ３２は、上記外向きカメラ３４で撮像された実空間上の物体（例えば、被対象物１０）の撮像画像に重畳して、別の画像を当該ユーザ２０に向けて表示することができる。なお、図２においては、わかりやすくするために、ＨＭＤ３２と一体化するように設けられたデプスセンサ２２については、図示を省略している。

なお、本実施形態においては、スマートアイグラス３０やＨＭＤ３２の形態は図１から図３に示す形態に限定されるものではない。例えば、ＨＭＤ３２は、ヘッドバンド型やヘルメット型であってもよく、本実施形態においては、装着時にユーザ２０の眼前に位置する表示部（図示省略）を有していれば、その形態については特に限定されるものではない。

さらに、以下の説明においては、透過型ディスプレイを持つスマートアイグラス３０を用いた場合を例に挙げて説明する。

（処理装置４０）
処理装置４０は、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型ＰＣ、スマートフォン等であることができ、上述したデプスセンサ２２等によって得られたセンサデータを処理したり、上述したスマートアイグラス３０において表示する画像を生成したりすることができる。本実施形態においては、機密漏えいを防ぐために、処理装置４０は、指定された場所（例えば、工場内）から持ち出すことができないように管理されていることが好ましい。また、処理装置４０は、通信網７０を介して、上述したデプスセンサ２２やスマートアイグラス３０との間で情報の送受信を行うことができる。なお、処理装置４０の詳細構成については後述する。

（通信網７０）
通信網７０は、１つ又は複数の工場内等で情報の送受信に利用されるネットワークである。通信網７０は、有線又は無線であることができ、例えば、電話回線、衛星通信網等の公衆回線網や、インターネット、専用回線、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の任意の通信ネットワークから構成される。さらに、専用回線は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ‐Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等から構成されてもよい。なお、本実施形態においては、通信網７０は、何らかのセキュリティ手段（例えば、Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ（ＳＳＬ）等）が施されていることが好ましい。

なお、本実施形態に係る情報処理システム１においては、カメラ２４、加速度センサ２６、及び地磁気センサ２８が含まれていなくてもよい。

さらに、本実施形態においては、デプスセンサ２２、カメラ２４、加速度センサ２６、地磁気センサ２８、スマートアイグラス３０、及び処理装置４０は、これらの一部又は全部が一体の装置として構成されていてもよい。例えば、デプスセンサ２２、スマートアイグラス３０、及び処理装置４０が一体の装置として構成されている場合には、スタンドアローンで情報処理を行うことが可能な装置であることができる。また、上述の処理装置４０は、例えばクラウドコンピューティング等のようなネットワークへの接続を前提とした、複数の装置からなるシステムによって構築されていてもよい。

＜処理装置４０の詳細構成＞
以上、本実施形態に係る情報処理システム１の概要構成を説明した。次に、図４を参照して、本実施形態に係る処理装置４０の詳細構成を説明する。図４は、本実施形態に係る処理装置４０のブロック図である。

詳細には、処理装置４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等により実現される。図４に示すように、処理装置４０は、位置姿勢計算部（位置関係情報算出部）４００、平面投影部４０２、差分計算部（差分算出部）４０４、描画計算部４０６、及び記憶部４０８を有する。さらに、処理装置４０は、図４において図示が省略されているものの、通信部を有する。以下に、本実施形態に係る処理装置４０の各ブロックについて説明する。

（位置姿勢計算部４００）
位置姿勢計算部４００は、実空間上における、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を計算し、計算した位置関係情報を後述する平面投影部４０２に出力する。

詳細には、位置姿勢計算部４００は、デプスセンサ２２からセンサデータを取得し、当該センサデータに含まれる深度情報を取得することにより、被対象物１０に対するデプスセンサ２２の相対距離を取得することができる。また、先に説明したように、デプスセンサ２２とスマートアイグラス３０との間で相対的な位置関係が固定されている。従って、位置姿勢計算部４００は、既知であるデプスセンサ２２とスマートアイグラス３０との間の相対距離の情報を用いることにより、被対象物１０に対するデプスセンサ２２の相対距離から、被対象物１０に対するスマートアイグラス３０の相対距離を取得することもできる。

さらに、位置姿勢計算部４００は、上記深度情報から被対象物１０の特徴点（例えば特徴的な部分の輪郭線）を抽出し、抽出した特徴点を用いることにより、後述する記憶部４０８に格納されたＤａｔａＢａｓｅ（ＤＢ）４１０から、被対象物１０に対応する３次元形状の情報である形状情報（例えば、予め取得した、被対象物１０があるべき状態（理想状態）における被対象物１０の表面の各点の３次元座標情報群）を取得することができる。そして、位置姿勢計算部４００は、取得した深度情報と、理想状態の被対象物１０の形状情報とを比較することにより、被対象物１０に対するデプスセンサ２２の姿勢（向き）の情報を取得することができる。また、デプスセンサ２２とスマートアイグラス３０との間で相対的な位置関係が固定されていることから、上述と同様に、位置姿勢計算部４００は、被対象物１０に対するデプスセンサ２２の姿勢（向き）の情報から、被対象物１０に対するスマートアイグラス３０の姿勢（向き）の情報も取得することができる。なお、本実施形態においては、上述のような特徴点を用いた方法の代わりに、予め被対象物１０に対応する３次元形状の情報である形状情報をユーザ２０が選択しておくことにより、位置姿勢計算部４００が当該形状情報をＤＢ４１０から取得できるようにしてもよい。

また、本実施形態においては、位置姿勢計算部４００は、被対象物側センサ１２からのセンサデータを用いて、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の姿勢（向き）の情報を取得してもよい。さらに、位置姿勢計算部４００は、上述したカメラ２４、加速度センサ２６、地磁気センサ２８等からの画像データ又はセンサデータを用いて、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の姿勢（向き）の推定の精度を高めてもよい。

なお、本実施形態においては、被対象物１０に、深度情報における特徴点となるようなマーカを設けてもよく、もしくは、被対象物１０に通信タグや赤外線照射装置等を設けてもよい。この場合、位置姿勢計算部４００は、被対象物１０に設けられたマーカや通信タグ等を利用することにより、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の姿勢（向き）の情報を取得してもよい。

（平面投影部４０２）
平面投影部４０２は、デプスセンサ２２によって得られた被対象物１０の深度情報、及び、ＤＢ４１０から取得した、理想状態にある被対象物１０に対応する３次元情報を、平面に投影することにより、各デプス画像（例えば、図８の実デプス画像８０２及び理想デプス画像８１２）を得ることができる。そして、平面投影部４０２は、取得した各デプス画像を後述する差分計算部４０４に出力する。

詳細には、平面投影部４０２は、被対象物１０の深度情報に含まれる被対象物１０の表面の各点の相対的な３次元座標情報の集合体である３次元座標情報群を利用して、被対象物１０の表面の各点の深度に応じてグラデーションをつけて平面に投影することにより、実空間上の被対象物１０のデプス画像、すなわち、実デプス画像８０２（図８ 参照）を得ることができる。

なお、本実施形態においては、平面投影部４０２は、被対象物１０に装着された被対象物側センサ１２によって得られたセンサデータを取得し、取得したセンサデータを反映させるようにして、実デプス画像８０２（図８ 参照）を生成してもよい。

さらに、平面投影部４０２は、上述した位置姿勢計算部４００によって得られた位置関係情報を用いて、ＤＢ４１０から取得した、理想状態にある被対象物１０に対応する３次元情報８１０（図８ 参照）を、上記実デプス画像８０２（図８ 参照）に合わせて正規化する。さらに、平面投影部４０２は、正規化した３次元情報８１０を、当該正規化した３次元情報８１０における被対象物１０の表面の各点の深度に応じてグラデーションをつけて平面に投影することにより、理想状態にある被対象物１０のデプス画像、すなわち、理想デプス画像８１２（図８ 参照）を得ることができる。より詳細には、上記正規化は、上記位置関係情報を用いて、理想状態にある被対象物１０のデプスセンサ２２までの相対距離及び向き（姿勢）が、実際の被対象物１０に対するデプスセンサ２２の相対距離及び向き（姿勢）と一致するように、３次元情報８１０に含まれる理想状態にある被対象物１０の表面の各点の３次元座標情報群を変換することである。そして、平面投影部４０２は、変換した３次元座標情報群を、実デプス画像８０２と同様に、被対象物１０の表面の各点の深度に応じてグラデーションをつけて平面に投影することにより、理想デプス画像８１２を得ることができる。

例えば、被対象物１０の正面がデプスセンサ２２に向いていたことから、被対象物１０の正面がまっすぐ画像の前方を向いているような実デプス画像８０２が得られたものとする。さらに、例えば、理想状態にある被対象物１０に対応する３次元情報８１０をそのまま平面に投影して得られた理想デプス画像８１２においては、被対象物１０の正面は斜めに傾いているものとする。このような場合、実デプス画像８０２と理想デプス画像８１２とを比較しても、これらデプス画像において被対象物１０の向き（姿勢）が互いに異なることから、被対象物１０の現状の状態、すなわち、理想状態に対する被対象物１０の現状の状態を正確に把握することができない。そこで、本実施形態においては、平面投影部４０２により、上述した位置関係情報を用いて、理想状態にある被対象物１０に対応する３次元情報８１０を、実デプス画像８０２と同様に、被対象物１０の正面がまっすぐ画像の前方を向いているように変換することにより、実デプス画像８０２と理想デプス画像８１２とにおける被対象物１０の向き（姿勢）を同じにする。そして、本実施形態においては、同一の向き（姿勢）になった被対象物１０の画像を含む、実デプス画像８０２と理想デプス画像８１２とを比較することにより、被対象物１０の現状の状態を正確に把握することができるようになる。

また、例えば、デプスセンサ２２から被対象物１０までの距離が遠い場合には、デプス画像における被対象物１０の占める面積は狭くなり、デプスセンサ２２から被対象物１０までの距離が近い場合には、デプス画像における被対象物１０の占める面積は広くなる。そこで、本実施形態においては、上述した姿勢（向き）の正規化と同様に、平面投影部４０２によって、理想状態にある被対象物１０に対応する３次元情報８１０を相対距離について正規化することにより、実デプス画像８０２（図８ 参照）と理想デプス画像８１２（図８ 参照）とにおける被対象物１０の占める大きさを一致させ、実デプス画像８０２と比較可能な理想デプス画像８１２を取得する。

（差分計算部４０４）
差分計算部４０４は、上述の平面投影部４０２によって得られた実デプス画像８０２（図８ 参照）と、位置関係情報に基づき変換されることによって得られた理想デプス画像８１２（図８ 参照）とを差分である差分情報（差分画像８２０、図８ 参照）を計算し、計算結果を後述する描画計算部４０６に出力する。詳細には、差分計算部４０４は、実デプス画像８０２と理想デプス画像８１２とを比較し、両者が異なる部分を差分画像８２０として抽出する。この際、差分計算部４０４は、深度情報から得られた実デプス画像８０２において、深度が無限遠になっている領域については、差分が生じていないものとして処理することが好ましい。さらに、差分計算部４０４は、実デプス画像８０２と理想デプス画像８１２とにおいて異なる部分であっても、被対象物１０によって占められる領域でないと判断できる場合には、当該異なる部分において差分が生じていない（発生していない）ものとして処理することが好ましい。このようにすることで、本実施形態においては、機密情報である被対象物１０の周囲に存在する機器等についての情報が漏えいすることを防止することができる。

なお、本実施形態においては、上述したように、差分計算部４０４は、平面に投影することによって得られた実デプス画像８０２と理想デプス画像８１２との差分を計算することに限定されるものではない。例えば、差分計算部４０４は、デプスセンサ２によって得られた深度情報（３次元座標情報群）と、理想状態の被対象物１０の３次元情報８１０を位置関係情報に基づき変換することによって得られた３次元情報８１０（３次元座標情報群）との差分を計算してもよい。そして、このような場合、処理装置４０は、計算された差分を上述した平面投影部４０２によって平面に投影することにより、上述した差分画像８２０を取得してもよい。

（描画計算部４０６）
描画計算部４０６は、上述した差分計算部４０４によって得られた差分情報（差分画像８２０、図８ 参照）を、スマートアイグラス３０の表示に合わせた形態になるように変換し、変換した情報をスマートアイグラス３０へ送信する。そして、当該スマートアイグラス３０は、受信した情報を用いて、被対象物１０の実像８００（図８ 参照）に重畳して、差分画像８２０を表示することができる。

詳細には、描画計算部４０６は、上述した位置関係情報、すなわち、被対象物１０に対するスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を用いて、実際のスマートアイグラス３０に対する被対象物１０の相対距離及び姿勢（向き）と一致するように、差分画像８２０（図８ 参照）に含まれる被対象物１０の占める大きさ、姿勢（向き）及び表示位置を変換する。このようにすることで、スマートアイグラス３０によって表示される差分画像８２０は、実空間上の被対象物１０の実像８００（図８ 参照）と重畳して表示されることができる。そして、本実施形態においては、差分画像８２０を実空間上の被対象物１０の実像８００と重畳して表示することから、ユーザ２０は、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備を直感的に把握することができる。

なお、本実施形態においては、描画計算部４０６は、被対象物１０の実像８００（図８ 参照）（又は、被対象物１０の撮像画像）に対して上記差分画像８２０（図８ 参照）を強調して表示するために、上記差分画像８２０に対してエフェクト処理を行うエフェクト処理部として機能してもよい。例えば、描画計算部４０６は、差分画像８２０が、被対象物１０の実像８００とは異なる色彩、明度、又は透明度によって表示されるように、上記差分画像８２０を処理してもよい。この際、描画計算部４０６は、予めＤＢ４１０に格納された被対象物１０の色彩情報等を利用してもよい。また、描画計算部４０６は、差分に係る被対象物１０の部分を輪郭線のみで表現するワイヤーフレーム８３０（図９ 参照）の形態（ワイヤーフレーム表示）で表示されるように、差分画像８２０を処理してもよい。

（記憶部４０８）
記憶部４０８は、ＲＯＭ及びＲＡＭ等の記憶装置によって実現され、被対象物１０の３次元形状に関する形状情報（３次元座標情報群）をＤＢ４１０として格納する。具体的には、当該ＤＢ４１０には、予め取得した、被対象物１０があるべき状態（理想状態）における被対象物１０の表面の各点の３次元座標情報群である３次元情報８１０（図８ 参照）が格納される。なお、記憶部４０８は、処理装置４０の内部に設けられていなくてもよく、例えば、処理装置４０と別体の装置として構成されていてもよい。

なお、処理装置４０は、図４に示されるブロックだけを含むことに限定されるものではなく、例えば、本実施形態においては、上述したデプスセンサ２２等の間で情報の送受信を行うための通信モジュールである通信部を含んでいてもよい。

＜情報処理方法＞
以上、本実施形態に係る処理装置４０の詳細構成について説明した。次に、本実施形態に係る情報処理方法を、図３及び図５から図９を参照して説明する。図５は、本実施形態に係る情報処理方法のフローチャートである。図６は、本実施形態における実空間の実像８００の例を説明するための説明図である。図７は、本実施形態における被対象物１０の３次元情報８１０の例を説明するための説明図である。図８は、本実施形態に係る情報処理方法における処理例を説明するための説明図である。さらに、図９は、本実施形態に係る差分画像８２０を重畳した重畳画像８２２の一例を説明するための説明図である。

詳細には、本実施形態に係る情報処理方法は、図５のフローチャートに示すように、ステップＳ１０１からステップＳ１１３までの複数のステップを含むことができる。以下に、本実施形態に係る情報処理方法の各ステップの詳細を説明する。

まずは、図３に示すように、ユーザ２０は、デプスセンサ２２と一体化したスマートアイグラス３０を装着し、工場内に入場して、被対象物１０と向かい合う姿勢をとる。このようにすることで、デプスセンサ２２は、被対象物１０を含む実空間における深度情報を含むセンサデータを取得する。

なお、以下に説明する例においては、工場内（実空間）に設置された被対象物１０は、図６に示すように、被対象物１０の下部に配置された引出し１０ａが引き出された状態であり、引出し１０ａが格納された被対象物１０があるべき状態（理想状態）とは異なる状態にあるものとする。また、図６に示すように、以下の例においては、被対象物１０の周囲には、本実施形態において処理の対象とならない物体６０が存在するものとする。さらに、以下の例においては、記憶部４０８のＤＢ４１０には、被対象物１０があるべき状態（理想状態）として、図７に示されるような、被対象物１０の下部に配置された引出し１０ａが被対象物１０に格納された状態における被対象物１０の表面の各点の３次元座標情報群である３次元情報８１０（図８ 参照）が格納されているものとする。

（ステップＳ１０１）
処理装置４０は、デプスセンサ２２からセンサデータを取得する。この際、ユーザ２０には、図８の左側上段に示されるような実像８００が見えているものとする。そして、処理装置４０は、デプスセンサ２２のセンサデータの深度情報に含まれる被対象物１０及び物体６０の表面の各点の相対的な３次元座標情報の集合体である３次元座標情報群を利用して、被対象物１０及び物体６０の表面の各点の深度に応じてグラデーションをつけて平面に投影する。より具体的には、処理装置４０は、深度情報を、例えば、実空間上でデプスセンサ２２までの相対距離が近い、被対象物１０及び物体６０の表面の点を濃く、一方、実空間上でデプスセンサ２２までの相対距離が遠い、被対象物１０及び物体６０の表面の点を薄くなるように平面に投影することにより、図８に示すような実デプス画像８０２を得る。なお、図８に図示する実デプス画像８０２においては、わかりやすくするために、物体の輪郭や異なるグラデーションの境目を輪郭線や境界線で示しているが、実際の実デプス画像８０２においては、グラデーションのみで物体の輪郭や形状が示されている。

（ステップＳ１０３）
処理装置４０は、デプスセンサ２２で取得されたセンサデータ（深度情報）を用いて、実空間上における、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を計算する。詳細には、処理装置４０は、例えば、上記センサデータの深度情報から被対象物１０の特徴点を抽出し、抽出した特徴点を用いることにより、記憶部４０８に格納されたＤＢ４１０から、被対象物１０に対応する３次元情報８１０を抽出し、特徴点と３次元情報８１０とを比較することにより、被対象物１０に対するデプスセンサ２２の姿勢（向き）の情報を取得する。また、先に説明したように、デプスセンサ２２とスマートアイグラス３０との間で相対的な位置関係が固定されていることから、処理装置４０は、被対象物１０に対するデプスセンサ２２の相対距離及び姿勢（向き）の情報から、被対象物１０に対するスマートアイグラス３０の相対距離及び姿勢（向き）の情報も取得することができる。

さらに、本実施形態においては、処理装置４０は、上述したカメラ２４、加速度センサ２６、地磁気センサ２８等からの画像データ又はセンサデータを用いて、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の姿勢（向き）の推定の精度を高めてもよい。もしくは、本実施形態においては、被対象物１０等に、深度情報における特徴点となるようなマーカを設けてもよく、もしくは、被対象物１０等に通信タグや赤外線照射装置等を設けてもよい。この場合、処理装置４０は、被対象物１０等に設けられたマーカや通信タグ等を利用することにより、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の姿勢（向き）の情報を取得することができる。

（ステップＳ１０５）
処理装置４０は、上述したステップＳ１０３で得られた位置関係情報を用いて、ＤＢ４１０から取得した、理想状態にある被対象物１０に対応する３次元情報８１０に含まれる理想状態にある被対象物１０の表面の各点の３次元座標情報群を、３次元情報８１０に含まれる被対象物１０のデプスセンサ２２までの相対距離及び姿勢（向き）が、実際の被対象物１０に対するデプスセンサ２２の相対距離及び姿勢（向き）と一致するように、変換（正規化）する。さらに、処理装置４０は、正規化した３次元情報８１０を、当該正規化した３次元情報８１０における被対象物１０の表面の各点の深度に応じてグラデーションをつけて平面に投影することにより、図８に示す理想デプス画像８１２を作成する。なお、図８に図示する理想デプス画像８１２においては、わかりやすくするために、物体の輪郭や異なるグラデーションの境目を輪郭線や境界線で示しているが、実際の理想デプス画像８１２においては、グラデーションのみで物体の輪郭や形状が示されている。

（ステップＳ１０７）
処理装置４０は、上述のステップＳ１０１で得られた実デプス画像８０２と、上述のステップＳ１０５で得られた理想デプス画像８１２とを差分である、図８に示される差分画像８２０を計算する。詳細には、処理装置４０は、実デプス画像８０２と理想デプス画像８１２とを比較し、両者が異なる部分を差分画像８２０として抽出する。差分画像８２０においては、例えば、差分が大きいものを明るく表示し、差分のないものを暗く表示してもよい。

この際、処理装置４０は、先に説明したように、深度情報から得られた実デプス画像８０２において、深度が無限遠になっている領域については、差分が生じていないものとして処理する。さらに、処理装置４０は、実デプス画像８０２と理想デプス画像８１２とにおいて異なる部分であっても、被対象物１０によって占められる領域でないと判断できる場合には、当該異なる部分において差分が生じていないものとして処理する。従って、図８における差分画像８２０においては、物体６０の存在により実デプス画像８０２と理想デプス画像８１２とにおいて差分が生じているものの、物体６０は、本実施形態において処理の対象とならないことから、物体６０の存在による差分は、差分でないものとして処理されることとなる。このようにすることで、本実施形態においては、機密情報である被対象物１０の周囲に存在する機器等についての情報が漏えいすることを避けることができる。

（ステップＳ１０９）
処理装置４０は、上述したステップＳ１０３で取得した、被対象物１０に対するスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を用いて、実際のスマートアイグラス３０に対する被対象物１０の相対距離及び姿勢（向き）と一致するように、差分画像８２０に含まれる被対象物１０の占める大きさ、姿勢（向き）及び表示位置を変換し、重畳表示するための表示（描画図）を作成する。このようにすることで、本実施形態においては、スマートアイグラス３０によって表示される差分画像８２０は、実空間上の被対象物１０に実像８００と重畳して表示されることができる。

（ステップＳ１１１）
処理装置４０は、被対象物１０の実像８００に対して上記差分画像８２０を強調して表示するために、上記差分画像８２０に対してエフェクト処理を行う。例えば、処理装置４０は、差分に係る被対象物１０の部分を輪郭線のみで表現するワイヤーフレーム８３０（図９ 参照）の形態で表示されるように、差分画像８２０に対してエフェクト処理を行う。なお、本実施形態においては、当該ステップＳ１１１の実施は省略されてもよい。

（ステップＳ１１３）
処理装置４０は、スマートアイグラス３０を制御して、上述のように処理された差分画像８２０を、実空間上の被対象物１０の実像８００に重畳して表示する。例えば、処理装置４０は、図８に示すような重畳画像８２２をスマートアイグラス３０に表示する。本実施形態においては、上記差分画像８２０を被対象物１０の実像８００に重畳して表示することにより、ユーザ２０は、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備を直感的に把握することができる。

また、エフェクト処理を行った場合には、例えば、図９に示されるように、実デプス画像８０２と理想デプス画像８１２との差分である引出し１０ａの部分がワイヤーフレーム８３０で表現され、当該ワイヤーフレーム８３０が実空間上の被対象物１０の実像８００と重畳して表示される。本実施形態においては、差分画像８２０をワイヤーフレーム８３０で描画することにより、差分画像８２０を、被対象物１０の実像８００又は撮像画像を覆い隠すことなく表示できることから、ユーザ２０は、被対象物１０の状態をより容易に把握することができるようになる。

なお、スマートアイグラス３０の代わりに、非透過型ディスプレイを用いたＨＭＤ３２が使用された場合には、ＨＭＤ３２は、ＨＭＤ３２の外向きカメラ３４で撮像された実空間上の被対象物１０の撮像画像に重畳して、差分画像８２０を表示することとなる。

以上のように、本発明の第１の実施形態においては、実際の被対象物１０と理想状態の被対象物１０との差分である差分画像８２０を被対象物１０の実像８００に重畳して表示することができることから、ユーザ２０は、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備等といった被対象物１０の状態を直感的に把握することができる。従って、本実施形態によれば、例えば、被対象物１０に装着すべき被対象物側センサ１２の数が不足していたり、適切な位置に被対象物側センサ１２が装着されていなかったりした場合であっても、被対象物１０の状態を把握することができる。その結果、例えば、被対象物側センサ１２の不足の洗い出しや設置漏れの検知が容易となり、さらには、被対象物側センサ１２の故障等の検知も容易となる。

さらに、本実施形態においては、被対象物１０の状態を把握するための情報として、デプスセンサ２２によって取得された被対象物１０の深度情報を用いる。従って、本実施形態によれば、深度情報には、デプスセンサ２２の特徴により、被対象物１０の表面に表示された文字情報等といった機密情報が含まれないことから、このような機密情報が外部に漏えいすることを防止することができる。

＜＜第２の実施形態＞＞
上述した本発明の第１の実施形態においては、工場の内部でユーザ２０が対象機器である被対象物１０の状態を把握し、保守作業を行う場合を例に説明した。しかしながら、被対象物１０の保守作業の内容によっては、工場内のユーザ２０に対して、工場の外部からの支援が必要となり、工場の外部にいる他のユーザが被対象物１０の状態を把握することが求められることがある。さらに、工場の外部にいる他のユーザが被対象物１０の状態を把握することにより、保守作業の効率化（作業時間の短縮化等）が図れる場合がある。そこで、このような場合であっても、機密漏えいを防止しつつ、対象機器である被対象物１０の現状の状態を直感的に把握することができる、本発明の第２の実施形態を説明する。

＜処理装置５０の詳細構成＞
本実施形態に係る情報処理システム１は、図１に示される本発明の第１の実施形態に係る情報処理システム１に、さらに処理装置５０が含まれる。そこで、図１０を参照して、処理装置５０の詳細構成を説明する。図１０は、本発明の第２の実施形態に係る処理装置４０、５０のブロック図である。なお、本実施形態においては、処理装置５０以外の情報処理システム１に含まれる各装置の詳細構成は、上述した第１の実施形態と共通するため、ここではこれらの説明を省略する。

処理装置５０は、デスクトップ型ＰＣ、ノート型ＰＣ、タブレット端末、スマートフォン等によって実現され、処理装置４０とは異なり、被対象物１０が存在する工場内以外の場所に設置されている、すなわち、被対象物１０から離れた場所に設置されているものとする。さらに、処理装置５０は、通信網７０を介して、上述した処理装置４０との間で情報の送受信を行うことができる。

詳細には、処理装置５０は、処理装置４０と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、表示装置等により実現される。図１０に示すように、処理装置５０は、平面投影部５０２、差分計算部５０４、描画計算部５０６、及びディスプレイ５０８を主に有する。以下に、本実施形態に係る処理装置５０の各ブロックについて説明する。なお、処理装置５０の有する平面投影部５０２、差分計算部５０４及び描画計算部５０６は、同一の名称を持つ、処理装置４０の平面投影部４０２、差分計算部４０４及び描画計算部４０６と同様の機能を持つため、ここではこれらのブロックの説明を省略し、ディスプレイ５０８のみを説明する。

（ディスプレイ５０８）
ディスプレイ５０８は、工場の外部に存在する他のユーザ（ユーザ２０以外のユーザ）に対して、差分画像８２０を被対象物１０の撮像画像に重畳して表示する表示装置であり、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等の表示装置により実現される。

なお、処理装置５０は、図１０に示されるブロックだけを含むことに限定されるものではなく、例えば、本実施形態においては、上述した処理装置４０との間で情報の送受信を行うための通信モジュールである通信部を含んでいてもよい。

＜情報処理方法＞
以上、本実施形態に係る処理装置５０の詳細構成について説明した。次に、本実施形態に係る情報処理方法を、図１１及び図１２を参照して説明する。図１１は、本実施形態に係る情報処理方法のシーケンス図であり、図１２は、本実施形態に係る表示画像８４０の一例を説明するための説明図である。

詳細には、本実施形態に係る情報処理方法は、図１１のシーケンス図に示すように、ステップＳ２０１からステップＳ２１９までの複数のステップを含むことができる。以下に、本実施形態に係る情報処理方法の各ステップの詳細を説明する。

（ステップＳ２０１）
上述した第１の実施形態に係る情報処理方法と同様に、ユーザ２０は、デプスセンサ２２と一体化したスマートアイグラス３０を装着し、工場内に入場して、被対象物１０と向かい合う姿勢をとる。このようにすることで、デプスセンサ２２は、被対象物１０を含む実空間における深度情報をセンシングする。

なお、以下に説明する例においても、工場内（実空間）に設置された被対象物１０は、図６に示すように、被対象物１０の下部に配置された引出し１０ａが引き出された状態であり、引出し１０ａが格納された被対象物１０があるべき状態（理想状態）とは異なる状態にあるものとする。また、以下の例においても、被対象物１０の周囲には、本実施形態において処理の対象とならない物体６０が存在するものとする。さらに、以下の例においても、記憶部４０８のＤＢ４１０には、被対象物１０があるべき状態（理想状態）として、図７に示されるような、被対象物１０の下部に配置された引出し１０ａが被対象物１０に格納された状態における被対象物１０の表面の各点の３次元座標情報群である３次元情報８１０（図８ 参照）が格納されているものとする。

（ステップＳ２０３）
当該ステップＳ２０３は、図５に示される第１の実施形態のステップＳ１０１と同じであるため、ここでは説明を省略する。

（ステップＳ２０５）
当該ステップＳ２０５は、図５に示される第１の実施形態のステップＳ１０３と同じであるため、詳細な説明を省略するが、処理装置４０は、実空間上における、被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を計算する。さらに、処理装置４０は、計算した位置関係情報を、通信網７０を介して処理装置５０へ送信する。

（ステップＳ２０７）
処理装置５０は、通信網７０を介して、デプスセンサ２２から深度情報を含むセンサデータを取得し、当該深度情報に含まれる被対象物１０及び物体６０の表面の各点の相対的な３次元座標情報の集合体である３次元座標情報群を利用して、被対象物１０及び物体６０の表面の各点の深度に応じてグラデーションをつけて平面に投影し、図８に示すような実デプス画像８０２を作成する。

さらに、処理装置５０は、カメラ２４（もしくは、ＨＭＤ３２を使用した場合には、ＨＭＤ３２の外向きカメラ３４）から、カメラ２４によって撮像された被対象物１０の撮像画像データを取得する。なお、本実施形態においては、処理装置５０において、カメラ２４によって撮像された被対象物１０の撮像画像データに、機密情報である被対象物１０の周囲に存在する機器（例えば、物体６０）等についての画像が含まれないように、マスクをかける等の処理を行うことが好ましい。

（ステップＳ２０９）
処理装置５０は、処理装置４０から通信網７０を介して、上述のステップS２０５において、処理装置４０で計算された被対象物１０に対するデプスセンサ２２及びスマートアイグラス３０の相対的な距離や姿勢（向き）を示す位置関係情報を取得する。

（ステップＳ２１１）
当該ステップＳ２１１は、処理装置４０で取得した位置関係情報を用いて処理装置５０で実行されること以外は、図５に示される第１の実施形態のステップＳ１０５と同じであるため、ここでは説明を省略する。

（ステップＳ２１３）
当該ステップＳ２１３は、処理装置５０で実行されること以外は、図５に示される第１の実施形態のステップＳ１０７と同じであるため、ここでは説明を省略する。

（ステップＳ２１５）
当該ステップＳ２１５は、処理装置５０で実行されること以外は、図５に示される第１の実施形態のステップＳ１０９と同じであるため、ここでは説明を省略する。

（ステップＳ２１７）
当該ステップＳ２１７は、処理装置５０で実行されること以外は、図５に示される第１の実施形態のステップＳ１１１と同じであるため、ここでは説明を省略する。

（ステップＳ２１９）
処理装置５０は、ディスプレイ５０８を制御して、差分画像８２０を、カメラ２４（もしくは、ＨＭＤ３２を使用した場合には、ＨＭＤ３２の外向きカメラ３４）によって撮像された被対象物１０の撮像画像に重畳して表示する。例えば、処理装置５０は、図１２に示すような表示画像８４０をディスプレイ５０８に表示する。当該表示画像８４０においては、実デプス画像８０２と理想デプス画像８１２との差分である、引出し１０ａの部分の差分画像８２０が被対象物１０の撮像画像に対して強調して表示されることが好ましい。本実施形態においては、このような差分画像８２０を被対象物１０の撮像画像に重畳して表示することにより、ユーザ２０は、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備を直感的に把握することができる。

なお、本実施形態においては、表示画像８４０には、機密情報である被対象物１０の周囲に存在する機器（例えば、物体６０）等についての画像が含まれないように、マスクをかける等の処理を行った後に表示することが好ましい。従って、図１２に示す表示画像８４０においては、被対象物１０の周囲に存在する物体６０が表示されていない。

以上のように、本発明の第２の実施形態においては、上述した第１の実施形態と同様に、実際の被対象物１０と理想状態の被対象物１０との差分である差分画像８２０を被対象物１０の撮像画像に重畳して表示することができることから、工場の外部にいるユーザは、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備等といった被対象物１０の状態を直感的に把握することができる。

さらに、本実施形態においても、被対象物１０の状態を把握するための情報として、デプスセンサ２２によって取得された被対象物１０の深度情報を用いる。従って、本実施形態によれば、深度情報には、デプスセンサ２２の特徴により、被対象物１０の表面に表示された文字情報等といった機密情報が含まれないことから、このような機密情報が外部に漏えいすることを防止することができる。加えて、本実施形態においては、工場の外部にいるユーザに向けて表示される表示画像８４０には、機密情報である被対象物１０の周囲に存在する機器（例えば、物体６０）等についての画像が含まれないように処理を行った後に表示していることから、被対象物１０の周囲に存在する機器の情報である機密情報が工場の外部に存在するユーザに漏洩することがない。

なお、上述の説明においては、処理装置５０において、平面投影してデプス画像を取得したり、差分画像８２０を取得したりするものとして説明したが、本実施形態においては、これに限定されるものではなく、処理装置４０においてこれらの処理を行った後に処理データを処理装置５０へ送信し、処理装置５０のディスプレイ５０８に表示させてもよい。このようにすることで、処理装置５０における処理の負荷を低減することができる。

また、本実施形態は、ユーザ２０の代わりに、工場内を移動することができる自走型ロボット等にデプスセンサ２２等を装着して利用することによっても、実施することができる。

＜＜まとめ＞＞
以上のように、本発明の各実施形態においては、実際の被対象物１０と理想状態の被対象物１０との差分である差分画像８２０を被対象物１０の実像８００又は撮像画像に重畳して表示することができることから、ユーザ２０又は他のユーザは、現状の被対象物１０の状態と理想状態にある被対象物１０の差、すなわち、被対象物１０の不備等といった被対象物１０の状態を直感的に把握することができる。

さらに、本発明の各実施形態においては、被対象物１０の状態を把握するための情報として、デプスセンサ２２によって取得された被対象物１０の深度情報を用いる。従って、本発明の各実施形態によれば、深度情報には、デプスセンサ２２の特徴により、被対象物１０の表面に表示された文字情報等といった機密情報が含まれないことから、このような機密情報が外部に漏えいすることを防止することができる。

また、本発明に各実施形態においては、差分画像８２０を重畳表示するだけでなく、被対象物側センサ１２から得られたセンサデータ並びにＤＢ４１０に格納された被対象物１０の形状情報を利用して生成した画像も併せて重畳表示してもよい。このようにすることで、ユーザ２０又は屋のユーザは、被対象物１０の状態の把握をより容易にすることができる。この際、差分画像８２０をワイヤーフレーム８３０で描画することが好ましく、このようにすることで、差分画像８２０を、被対象物１０の実像８００又は撮像画像を覆い隠すことなく表示することができる。

なお、先に説明したように、本発明の各実施形態は、工場、金融機関、データセンサ、各種インフラ設備が設置された工場や事業場等において、機器や設備等の設置や保守を支援するために用いることができる。

さらに、本発明の各実施形態は、上述した利用に限定されるものではなく、他の用途にも利用することができる。例えば、本実施形態によれば、被対象物１０を機器等ではなく、人物とした場合に、所定の場所における人物の通過状況や、人物の向き（姿勢）を検知し、検知した人物の輪郭を差分画像８２０として所定の場所の撮像画像に重畳して表示することができる。より具体的には、本実施形態を利用することにより、建物内の廊下の通過状況や、公共交通機関の改札における利用客の流れや混雑状況を把握するための表示を行うことができる。この際、本実施形態においては、人物（上述の実施形態では被対象物１０）の状態を把握するための情報として、デプスセンサ２２によって取得された深度情報を用いることから、人物の存在や向き（姿勢）については把握できるものの、人物を特定するための詳細な顔の情報等を取得することが難しい。その結果、本実施形態によれば、通行する人物のプライバシーを守りつつ、建物内の防犯や改札の混雑状況を容易に把握することができる。

＜＜ハードウェア構成＞＞
以上、本発明の各実施形態について説明した。続いて、本発明の各実施形態に係るハードウェア構成について説明する。図１３は、本発明の実施形態に係る処理装置４０（処理装置５０）である情報処理装置９００のハードウェア構成例を示したブロック図である。情報処理装置９００は、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６とを有する。また、情報処理装置９００は、入力部９０８と、出力部９１０と、ストレージ装置９１２と、ネットワークインタフェース９１４とを有する。以下に、当該情報処理装置９００の各ハードウェアブロックについて説明する。

（ＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６）
ＣＰＵ９０２は、演算処理装置として機能し、各種プログラムに従って処理装置４０である情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０２は、マイクロプロセッサであってもよい。ＲＯＭ９０４は、ＣＰＵ９０２が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０６は、ＣＰＵ９０２の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９１６により相互に接続されている。ＣＰＵ９０２、ＲＯＭ９０４及びＲＡＭ９０６は、ソフトウェアとの協働により図４を参照して説明した、処理装置４０の位置姿勢計算部４００等の機能を実現し得る。

（入力部９０８）
入力部９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０２に出力する入力制御回路などから構成されている。ユーザは、当該入力部９０８を操作することにより、処理装置４０に対して各種のデータを入力したり処理動作を指示したりすることができる。

（出力部９１０）
出力部９１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、出力部９１０は、上述のスマートアイグラス３０等を含んでもよい。

（ストレージ装置９１２）
ストレージ装置９１２は、データ格納用の装置である。ストレージ装置９１２は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１２は、例えば、ＲＯＭ、ＨＤＤ又はＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）等で構成される。このストレージ装置９１２は、ストレージを駆動し、ＣＰＵ９０２が実行するプログラムや各種データを格納する。

（ネットワークインタフェース９１４）
ネットワークインタフェース９１４は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。当該通信インタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）等の近距離無線通信インタフェースや、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（登録商標）、または携帯通信網（ＬＴＥ、３Ｇ）等の通信インタフェースであることができる。また、ネットワークインタフェース９１４は、有線による通信を行う有線通信装置を含んでいてもよい。

以上、本発明の実施形態に係る処理装置４０である情報処理装置９００のハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜＜補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上述した本発明の実施形態における情報処理方法は、必ずしも記載された順序に沿って動作又は処理されなくてもよい。例えば、各動作のステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの動作方法又は処理方法についても、必ずしも記載された方法に沿って動作又は処理されなくてもよく、例えば、他の機能部によって他の方法で動作又は処理されていてもよい。

さらに、上述の本発明の実施形態に係る情報処理方法の少なくとも一部は、コンピュータを機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、上記動作又は処理の少なくとも一部を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に収納し、処理装置４０等、もしくは、処理装置４０等と接続された他の装置に読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。さらに、上記情報処理方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

１ 情報処理システム
１０ 被対象物
１０ａ 引出し
１２ 被対象物側センサ
２０ ユーザ
２２ デプスセンサ
２４ カメラ
２６ 加速度センサ
２８ 地磁気センサ
３０ スマートアイグラス
３２ ＨＭＤ
３４ 外向きカメラ
４０、５０ 処理装置
６０ 物体
７０ 通信網
４００ 位置姿勢計算部
４０２、５０２ 平面投影部
４０４、５０４ 差分計算部
４０６、５０６ 描画計算部
４０８ 記憶部
４１０ ＤＢ
５０８ ディスプレイ
８００ 実像
８０２ 実デプス画像
８１０ ３次元情報
８１２ 理想デプス画像
８２０ 差分画像
８２２ 重畳画像
８３０ ワイヤーフレーム
８４０ 表示画像
９００ 情報処理装置
９０２ ＣＰＵ
９０４ ＲＯＭ
９０６ ＲＡＭ
９０８ 入力部
９１０ 出力部
９１２ ストレージ装置
９１４ ネットワークインタフェース
９１６ ホストバス

Claims (15)

1. 実空間上にある被対象物の深度情報を取得するセンサ部と、
   前記被対象物の３次元形状に関する形状情報を格納する記憶部と、
   前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する位置関係情報算出部と、
   前記位置関係情報に基づき変換された前記形状情報と、前記深度情報との差分である差分情報を算出する差分算出部と、
   算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して、ユーザに向けて表示する表示部と、
   を備える情報処理装置。
2. 前記被対象物の実像又は前記被対象物の撮像画像に対して前記差分情報を強調して表示するために、前記差分情報に対してエフェクト処理を行うエフェクト処理部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記エフェクト処理部は、前記差分情報が、前記被対象物の実像又は前記被対象物の撮像画像とは異なる色彩、明度、又は透明度によって表示されるように、前記差分情報を処理する、請求項２に記載の情報処理装置。
4. 前記エフェクト処理部は、前記差分情報がワイヤーフレーム表示されるように、前記差分情報を処理する、請求項２に記載の情報処理装置。
5. 前記センサ部は、前記被対象物に対して照射光を照射し、当該被対象物で反射された反射光を受光し、前記照射光と前記反射光との位相差又は時間差を検知することで、前記深度情報を取得するデプスセンサである、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記センサ部は、複数のカメラにより前記被対象物を撮像して、前記深度情報を取得するステレオカメラである、請求項１〜４のいずれか１項に記載の情報処理装置。
7. 前記表示部は、前記ユーザの頭部に装着されて、前記差分情報を前記被対象物の実像に重畳して表示するスマートアイグラスである、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記表示部は、前記ユーザの頭部に装着されて、前記差分情報を前記被対象物の撮像画像に重畳して表示するヘッドマウントディスプレイである、請求項１〜６のいずれか１項に記載の情報処理装置。
9. 前記被対象物を撮像する撮像部をさらに備える、請求項８に記載の情報処理装置。
10. 前記被対象物又は前記ユーザに装着された加速度センサ及び地磁気センサのうちの少なくとも１つを備え、
    前記位置関係情報算出部は、前記加速度センサ及び前記地磁気センサのうちの少なくとも１つから得られたセンサデータに基づいて、前記位置関係情報を算出する、
    請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記形状情報及び前記深度情報を平面に投影する平面投影部をさらに備え、
    前記差分算出部は、平面に投影された前記形状情報と、平面に投影された前記深度情報との差分である前記差分情報を算出する、
    請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記差分算出部は、前記深度情報において深度が無限遠となる領域に関しては、差分が発生していないものとして処理を行う、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 実空間上にある被対象物の深度情報を取得するセンサ部と、
    前記被対象物の３次元形状に関する形状情報を格納する記憶部と、
    前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する位置関係情報算出部と、
    前記位置関係情報に基づき変換された前記形状情報と、前記深度情報との差分である差分情報を算出する差分算出部と、
    算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する表示部と、
    を備える情報処理システム。
14. センサ部から実空間上にある被対象物の深度情報を取得し、
    前記実空間における前記センサ部と前記被対象物との位置関係情報を算出し、
    予め格納された前記被対象物の３次元形状に関する形状情報を前記位置関係情報に基づき変換し、変換された前記形状情報と、前記深度情報との差分である差分情報を算出し、
    算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する、
    ことを含む情報処理方法。
15. コンピュータに
    センサ部から実空間上にある被対象物の深度情報を取得する機能と、
    前記実空間における前記センサ部と前記被対象物との位置関係情報を算出する機能と、
    予め格納された前記被対象物の３次元形状に関する形状情報を前記位置関係情報に基づき変換し、変換された前記形状情報と、前記深度情報との差分である差分情報を算出する機能と、
    算出された前記差分情報を、前記被対象物の実像又は前記被対象物の撮像画像に重畳して表示する機能と、
    を実現させるプログラム。