JP2018097581A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】物体を撮像するだけで、その物体に関する関連情報を見ることを可能とする。【解決手段】管理サーバ２０の関連情報データベースには、予め登録された登録画像と、この登録画像に対応する関連情報とを対応付けて格納されている。撮像部３１は、自装置の周囲の実空間の画像を撮像する。ＨＭＤ１０の撮像部３１により撮像された画像に、管理サーバ２０の関連情報データベースに格納されている複数の登録画像のうちのいずれかの登録画像が含まれる場合、表示部３８は、その登録画像に対応する関連情報を、登録画像の周囲に存在するように表示する。【選択図】図３

Description

本発明は、情報処理装置およびプログラムに関する。

特許文献１には、実空間における視点と対応する位置で、仮想オブジェクトである付加画像を、実空間画像に重畳してユーザに提示する情報処理装置が開示されている。

特開２０１５−２２８０５０号公報

本発明の目的は、物体を撮像するだけで、その物体に関する関連情報を見ることが可能な情報処理装置およびプログラムを提供することである。

［情報処理装置］
請求項１に係る本発明は、予め登録された登録画像と、当該登録画像に対応する関連情報とを対応付けて格納する格納手段と、
実空間の画像を撮像する撮像部と、
前記撮像部により撮像された画像に、前記格納手段に格納されているいずれかの登録画像が含まれる場合、当該登録画像に対応する関連情報を、当該登録画像の周囲に存在するように表示する表示手段とを備えた情報処理装置である。

請求項２に係る本発明は、前記表示手段が、前記撮像部により撮像された画像に、当該登録画像に対応する関連情報を付加して表示する請求項１記載の情報処理装置である。

請求項３に係る本発明は、前記表示手段が、実空間を視認可能な透過型表示部であり、
当該登録画像に対応する関連情報の画像を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段をさらに備えた請求項１記載の情報処理装置である。

請求項４に係る本発明は、前記格納手段が、前記関連情報を登録した登録者の情報を当該関連情報とともに格納し、
前記表示手段は、予め設定された条件を満たす登録者により登録された関連情報のみを、当該登録画像の周囲に存在するように表示する請求項１記載の情報処理装置である。

請求項５に係る本発明は、前記撮像部により撮像された画像における、関連情報として登録すべき画像領域の指定を受付ける受付手段と、
前記受付手段により受付けられた画像領域の画像を関連情報として前記格納手段に登録する登録手段とをさらに備えた請求項１から４のいずれか記載の情報処理装置である。

[プログラム]
請求項６に係る本発明は、実空間の画像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像に、予め登録されている登録画像が含まれる場合、当該登録画像に対応する関連情報を、当該登録画像の周囲に存在するように表示する表示ステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、物体を撮像するだけで、その物体に関する関連情報を見ることが可能な情報処理装置を提供することができる。

請求項２に係る本発明によれば、物体を撮像するだけで、その物体に関する関連情報を見ることが可能な情報処理装置を提供することができる。

請求項３に係る本発明によれば、利用者は、装着した透過型表示部を介して物体を見るだけで、その物体に関する関連情報を見ることが可能な情報処理装置を提供することができる。

請求項４に係る本発明によれば、予め設定された条件を満たす登録者により登録された関連情報を見ることが可能な情報処理装置を提供することができる。

請求項５に係る本発明によれば、撮像された画像における一部の画像領域の画像を関連情報として登録することが可能な情報処理装置を提供することができる。

請求項６に係る本発明によれば、物体を撮像するだけで、その物体に関する関連情報を見ることが可能なプログラムを提供することができる。

本発明の一実施形態の関連情報表示システムのシステム構成を示す図である。 図１に示したＨＭＤ１０のハードウェア構成を示す図である。 本発明の一実施形態におけるＨＭＤ１０の機能構成を示すブロック図である。 本発明の一実施形態における管理サーバ２０の機能構成を示すブロック図である。 本発明の一実施形態におけるＨＭＤ１０の外観を示す図である。 ＨＭＤ１０を装着した場合の様子を説明するための図である。 表示させたい関連情報を管理サーバ２０に保存する際の動作を説明するためのフローチャートである。 書籍の表紙画像の一例を示す図である。 関連情報として保存したい領域を指定する様子を示す図である。 登録画像と関連情報とが格納される関連情報データベース４３の一例を示す図である。 撮像された画像に対して関連情報を表示する場合の動作を説明するためのフローチャートである。 テーブル上に書籍が置かれた状態を説明するための図である。 利用者が表示部３８を通して、テーブル上に置かれた書籍を見た場合の視界の一例を示す図である。 携帯端末装置７０のカメラにより書籍を撮像することにより関連情報を表示させた場合の様子を示す図である。 本棚の書籍の周囲に関連画像が表示された場合の様子を説明するための図である。 部品図面のフォーマットの周囲に注意書情報が表示された場合の様子を説明するための図である。 街中の建築物の周囲に、その建築物の観光情報が表示された場合の様子を説明するための図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の関連情報表示システムのシステム構成を示す図である。

近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）を用いて、利用者に仮想空間にいるような視覚を与えるＶＲ（Virtual Reality：仮想現実感）が様々な装置で実現されている。

しかし、このＶＲ技術では、ＨＭＤを装着している人にとっては実空間の視覚情報が遮断されてしまう。そのため、実空間の映像に人工的に生成した画像を重ねて表示する技術であるＡＲ（Augmented Reality：拡張現実感）という技術や、現実空間と仮想空間を混合し、現実の物と仮想的な物がリアルタイムで影響しあう新たな空間を構築するＭＲ（Mixed Reality：複合現実感）という技術が提案されている。

ここで、ＡＲ技術では、カメラ等の撮像装置により撮像した実画像上に人工的に生成した画像を重ねて表示しているのに対して、ＭＲ技術では、ＨＭＤを装着した利用者が透過型のディスプレイを通して実空間の様子をリアルタイムで直接視認可能になっている点で異なっている。

そして、本実施形態の関連情報表示システムでは、このようなＭＲ技術を用いて、利用者がリアルタイムで視認している実空間内において、予め登録されている特定の物体の周辺に、その物体の関連情報を付加して表示する構成となっている。

本実施形態の関連情報表示システムは、図１に示されるように、利用者がそれぞれ頭部に装着するための複数のヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）１０と、予め登録されている登録画像と、その登録画像に関連する関連情報とを対応付けて管理する管理サーバ２０と、無線ＬＡＮターミナル３０とから構成されている。

ＨＭＤ（頭部装着型表示装置）１０は、利用者の頭部に装着されて使用され、実空間を視認可能な透過型表示部を有し、利用者はこの透過型表示部を介して外部の様子を視認することが可能となっている。そして、ＨＭＤ１０では、この透過型表示部上に関連情報が表示されることにより、利用者にとっては、実空間内の物体の周辺に、その物体に関する関連情報が存在するかのような視覚を得ることができるような構成となっている。

なお、各ＨＭＤ１０は、それぞれ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ-Ｆｉ等の無線通信回線を介して無線ＬＡＮターミナル３０とデータの送受信を行うことにより、管理サーバ２０と接続されている。

次に、図１に示したＨＭＤ１０のハードウェア構成を図２に示す。

ＨＭＤ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線通信回線を介して管理サーバ２０等の外部装置との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、外部の画像を撮影するためのカメラ１５、関連情報を表示する表示装置１６を有する。これらの構成要素は、制御バス１７を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、ＨＭＤ１０の動作を制御する。

図３は、上記の制御プログラムが実行されることにより実現されるＨＭＤ１０の機能構成を示すブロック図である。

本実施形態のＨＭＤ１０は、図３に示されるように、撮像部３１と、オブジェクト認識部３２と、ジェスチャ認識部３３と、画像抽出部３４と、通信部３５と、関連情報取得部３６と、仮想オブジェクト描画制御部３７と、表示部３８とから構成されている。

撮像部３１は、自装置の周囲の実空間の画像を撮像する。

ジェスチャ認識部３３は、撮像部３１により撮像された画像から、自装置を装着している利用者の指先の位置や操作を認識する。

なお、ジェスチャ認識部３３は、利用者の指先の位置を認識する際には、利用者の複数回の指示操作に合わせて位置を識別する。例えば、利用者が矩形領域を指定する場合には、対角線上の２角の位置を指定するようにしても良いし、１つの角から対角線に沿ってドラッグ操作を行うことにより矩形領域の指定を行うようにしても良い。

オブジェクト認識部３２は、撮像部３１により撮像された画像から、登録画像として登録しようとする画像および関連情報を表示すべき画像を認識する。例えば、撮像された画像中に書籍の画像が含まれる場合に、この書籍に関する関連情報を表示しようとするような際には、オブジェクト認識部３２は、撮像部３１により撮像された画像から、書籍の画像を認識する。

なお、このオブジェクト認識部３２による、登録画像の認識の際には、予め様々な学習データを用いてモデル学習を行って識別モデルを作成しておくような方法を用いることができる。例えば、様々な書籍の画像を用いてモデル学習を行うことにより、書籍の画像を識別するための識別モデルを生成しておく。

そして、オブジェクト認識部３２は、撮像部３１により撮像された画像から、予め生成されていた識別モデルを用いて書籍の画像を識別することにより、登録画像として抽出すべき画像を認識する。

なお、オブジェクト認識部３２は、撮像部３１により撮像された画像に対して、台形補正やひずみ補正等の画像処理を行ってから、登録画像を認識するようにしても良い。

画像抽出部３４は、撮像部３１により撮像された画像から、オブジェクト認識部３２により登録画像として認識された画像や関連情報の表示対象である画像を抽出したり、ジェスチャ認識部３３により認識された利用者のジェスチャにより指定された関連情報として登録すべき画像を抽出する。

なお、画像抽出部３４は、撮像された画像から抽出した関連画像に対して、台形補正やひずみ補正等の画像処理を行うようにしても良い。

通信部３４は、管理サーバ２０との間で通信を行うことにより、画像抽出部３４により抽出された画像を管理サーバ２０に送信したり、管理サーバ３５から送信されてきた関連情報を受信する。

関連情報取得部３６は、通信部３５を介して管理サーバ２０から送信されてきた関連情報を取得する。

仮想オブジェクト描画制御部３７は、関連情報取得部３６により取得された関連情報に基づいて描画処理を行い、表示すべき登録画像の周囲に関連画像が存在するように表示部３８において表示されるような描画処理を行う。

表示部３８は、実空間を視認可能な透過型表示部であり、仮想オブジェクト描画制御部３７に描画された関連画像を、例えばホログラフィー技術を用いて表示する。

また、管理サーバ２０の機能構成を図４に示す。管理サーバ２０は、図４に示されるように、通信部４１と、関連情報管理部４２と、関連情報データベース４３とを備えている。

関連情報データベース４３は、予め登録された登録画像と、この登録画像に対応する関連情報とを対応付けて格納する格納手段である。

通信部４１と、ＨＭＤ１０との間で通信を行って、登録画像とこの登録画像に関する関連情報を受信したり、撮像された画像から抽出された登録画像を受信したり、登録画像の周囲に表示すべき関連情報を送信する処理を行っている。

関連情報管理部４２と、関連情報データベース４３に格納されている関連情報の管理を行っており、通信部４１を介して登録画像とこの登録画像に関する関連情報が送信されてきた場合、この登録画像と関連情報とを対応付けて関連情報データベース４３に格納する。

つまり、ジェスチャ認識部３３、撮像部３１により撮像された画像における、関連情報として登録すべき画像領域の指定を受付ける受付手段として機能する。そして、関連情報管理部４２は、ジェスチャ認識部３３によりにより受付けられた画像領域の画像を関連情報として関連情報データベース４３に登録する登録手段として機能する。

また、関連情報管理部４２は、通信部４１を介して、書籍の画像のように関連情報の表示対象となる画像が送信されてきた場合、この画像が関連情報データベース４３に格納されている複数の登録画像のいずれかと類似するか否かを判定する。そして、類似する登録画像が存在する場合には、関連情報管理部４２は、その登録画像に対応して登録されている関連情報を関連情報データベース４３から読み出して、通信部４１を介してＨＭＤ１０に送信する。

本実施形態の関連情報表示システムでは、このような構成となっていることにより、ＨＭＤ１０の撮像部３１により撮像された画像に、管理サーバ２０の関連情報データベース４３に格納されている複数の登録画像のうちのいずれかの登録画像が含まれる場合、表示部３８は、その登録画像に対応する関連情報を、登録画像の周囲に存在するように表示する。

なお、本実施形態では、表示部３８は、実空間を視認可能な透過型表示部であるため、仮想オブジェクト描画制御部３７は、その登録画像に対応する関連情報の画像を描画して、実空間内に存在するように表示部３８に表示する制御を行う。

また、表示部３８が撮像部３１により撮像された画像をそのまま表示するような構成の場合には、表示部３８は、撮像部３１により撮像された画像に、登録画像に対応する関連情報を付加して表示する。

なお、本実施形態の関連情報表示システムが複数の利用者により利用される場合には、関連情報データベース４３には、関連情報を登録した登録者の情報をその関連情報とともに格納するようにしても良い。

このような構成の場合には、表示部３８は、予め設定された条件を満たす登録者により登録された関連情報のみを、登録画像の周囲に存在するように表示する。例えば、利用者が、自分が登録した関連情報のみが表示されるような設定を行った場合には、ＨＭＤ１０の利用者により登録された関連情報のみが表示部３８に表示されるような制御が行われる。

さらに、利用者が、自分と指定した利用者が登録した関連情報のみが表示されるような設定を行った場合には、ＨＭＤ１０の利用者と指定した利用者により登録された関連情報のみが表示部３８に表示されるような制御が行われる。

また、登録者に対する指定がされない場合には、登録画像に対して登録されている全ての関連情報が表示部３８により表示されるような制御が行われる。

次に、上記で説明したＨＭＤ１０の外観を図５に示す。ＨＭＤ１０は、図５に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部３８を備えている。そして、ＨＭＤ１０の一部には、外部の様子を撮像するための撮像部３１が設けられており、利用者が透過型の表示部３８を介して視認している外部の様子の画像を撮像することができるような構成となっている。

このようなＨＭＤ１０を頭部に装着した場合の様子を図６に示す。図６を参照すると、ＨＭＤ１０を装着した利用者は、目が表示部３８により覆われているが、この表示部３８が透過型であるため外部の様子を視認することができるようになっているのが分かる。

次に、本実施形態の関連情報表示システムの動作を図面を参照して詳細に説明する。

先ず、表示させたい関連情報を管理サーバ２０に保存する際の動作を図７のフローチャートを参照して説明する。なお、以下の説明では、関連情報を表示させたい物体が書籍である場合を用いて説明する。

最初に、ＨＭＤ１０の撮像部３１により登録したい書籍を含む領域を撮像する。すると、オブジェクト認識部３２は、撮像部３１により撮像された画像から書籍を認識し、画像抽出部３４は、図８に示すような書籍の表紙画像を抽出する（ステップＳ１０１）。

次に、利用者がこの書籍の関連情報として登録したい重要ページを開いて、例えば図９に示すように、関連情報として保存したい領域を指定すると、ジェスチャ認識部３３は指定された領域を認識する（ステップＳ１０２）。

すると、指定された領域の画像は画像抽出部３４により抽出され、表紙画像とともに管理サーバ２０に送信されて、関連情報データベース４３において対応付けて格納される（ステップＳ１０３）。

このようにして登録画像と関連情報とが格納される関連情報データベース４３の一例を図１０に示す。

図１０を参照すると、書籍の表紙画像が登録画像として登録されており、この登録画像に対して表示させたい関連画像が関連情報として対応付けて格納されているのが分かる。また、それぞれの関連情報には、登録を行った登録者の情報も格納されている。

なお、本実施形態では関連情報として、登録画像に関する画像が関連画像として登録されている場合を用いて説明するが、例えば文字情報のように画像以外の情報を関連情報として登録することも可能である。

次に、このように登録画像と関連情報とが格納された状態で、撮像された画像に対して関連情報を表示する場合の動作を図１１のフローチャートを参照して説明する。

ここでは、ＨＭＤ１０を装着した利用者が、図１２に示すようなテーブル上に書籍が置かれた状態を見た場合を用いて説明する。

先ず、オブジェクト認識部３２が撮像部３１により撮像された画像中に書籍の表紙画像を認識すると、画像抽出部３４は、撮像された画像から表紙画像を抽出する（ステップＳ２０１）。

例えば、撮像部３１により撮像された画像が、図１２に示すような、テーブル上に書籍が置かれている画像だった場合、画像抽出部３４は、この書籍の表紙画像を抽出する。

すると、抽出された表紙画像は、ＨＭＤ１０の通信部３５、管理サーバ２０の通信部４１を介して、管理サーバ２０の関連情報管理部４２に送信される。そして、関連情報管理部４２は、受信した表紙画像に類似する登録画像が関連情報データベース４３内に登録されているか否かを判定する（ステップＳ２０２）。

そして、抽出された表紙画像に類似する登録画像が関連情報データベース４３内に登録されている場合（ステップＳ２０２においてｙｅｓ）、関連情報管理部４２は、その登録画像の登録者が予め設定された条件を満たすか否かを判定する（ステップＳ２０３）。

ここでは、関連情報を表示する登録者の条件が満たされているものとして説明する。そのため、関連情報管理部４２は、抽出された表紙画像に類似する登録画像に対応して格納されている関連情報を関連情報データベース４３から取得する（ステップＳ２０４）。

そして、関連情報管理部４２により取得された関連情報は、管理サーバ２０の通信部４１、ＨＭＤ１０の通信部３５を介して関連情報取得部３６に送信される。そして、仮想オブジェクト描画制御部３７が、関連情報取得部３６により受信された関連情報に基づいて表示部３８に表示するための関連画像を描画することにより、表示部３８では、表紙画像の周辺に関連画像が存在するように表示される（ステップＳ２０５）。

このような処理が行われた結果、利用者が表示部３８を通して見た場合の視界の一例を図１３に示す。

図１３では、テーブル上に置かれた書籍の周囲に、関連画像６１、６２が存在するように表示されている様子が示されている。

つまり、ＨＭＤ１０を装着した利用者は、テーブル上に置かれた書籍を見るだけで、利用者の視界には関連画像６１、６２が周囲に表示される。そして、この書籍の重要情報を関連情報として予め登録しておくことにより、わざわざ書籍を開くことなく重要情報の内容を見ることができる。

なお、本実施形態では、利用者が頭部に装着するＨＭＤ１０を用いた場合について説明したが、例えば、図１４に示すように携帯端末装置７０のカメラにより書籍を撮像することにより関連情報を付加した画像を表示させるようなことも可能である。このような構成の場合には、上記のＨＭＤ１０とは異なり、撮像された画像上に関連画像が付加された状態でディスプレイ上に表示されることになる。

また、本実施形態によれば、書籍の表紙画像ではなく背表紙画像を登録画像として登録させておくことにより、本棚に陳列された書籍の内容を本棚から書籍を取り出して開くという手間をかける必要無く、その書籍の内容を知るようなことも可能となる。

具体的には、複数の書籍の背表紙を登録画像として登録しておき、その登録画像に重要なページの画像を関連情報として登録しておくことにより、図１５に示すように、本棚の書籍を見るだけでそれぞれの書籍の重要なページ内容を把握することが可能となる。

なお、本実施形態では、関連情報を表示させる対象が書籍の場合を用いて説明したが、関連情報を表示させる対象物が書籍に限定されるものではなく、建築物、特定のフォーマットの書類等を対象物として、登録画像に対応する関連情報を表示させるようにすることも可能である。

例えば、図１６に示すように、部品図面のフォーマットを登録画像として登録しておき、設計時の注意書を関連情報として対応させておくことにより、その部品図面のフォーマットを見るだけで注意書情報を周囲に表示させることも可能である。

また、例えば、図１７に示すように、観光名所の建築物の画像を登録画像として登録しておき、その建築物の観光情報を関連情報として対応させておくことにより、街中でこの建築物を見るだけでその建築物の観光情報を周囲に表示させることも可能である。

さらに、本実施形態では、関連情報を登録画像と対応付けて格納するための関連情報データベース４３が管理サーバ２０内に設けられているような構成を用いて説明をした。しかし、この関連情報データベース４３に相当する格納手段をＨＭＤ１０内に設けるようにしてもよい。このような構成とすることにより、ＨＭＤ１０は、管理サーバ２０とデータのやり取りをする必要なく、関連画像の表示を行うことが可能となる。

[変形例]
上記実施形態では、利用者が頭部に装着して使用するＨＭＤに対して本発明を適用した場合を用いて説明したが、本発明はこれに限定されるものではなく、スマートフォン、タブレット端末等の撮像装置と表示装置を備えた情報処理装置であれば同様に本発明を適用することができるものである。

１０ ＨＭＤ（ヘッドマウントディスプレイ：頭部装着型表示装置）
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ カメラ
１６ 表示装置
１７ 制御バス
２０ 管理サーバ
３０ 無線ＬＡＮターミナル
３１ 撮像部
３２ オブジェクト認識部
３３ ジェスチャ認識部
３４ 画像抽出部
３５ 通信部
３６ 関連情報取得部
３７ 仮想オブジェクト描画制御部
３８ 表示部
４１ 通信部
４２ 関連情報管理部
４３ 関連情報データベース
６１、６２ 関連画像
７０ 携帯端末装置

Claims (6)

1. 予め登録された登録画像と、当該登録画像に対応する関連情報とを対応付けて格納する格納手段と、
   実空間の画像を撮像する撮像部と、
   前記撮像部により撮像された画像に、前記格納手段に格納されているいずれかの登録画像が含まれる場合、当該登録画像に対応する関連情報を、当該登録画像の周囲に存在するように表示する表示手段と、
   を備えた情報処理装置。
2. 前記表示手段は、前記撮像部により撮像された画像に、当該登録画像に対応する関連情報を付加して表示する請求項１記載の情報処理装置。
3. 前記表示手段は、実空間を視認可能な透過型表示部であり、
   当該登録画像に対応する関連情報の画像を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段をさらに備えた請求項１記載の情報処理装置。
4. 前記格納手段は、前記関連情報を登録した登録者の情報を当該関連情報とともに格納し、
   前記表示手段は、予め設定された条件を満たす登録者により登録された関連情報のみを、当該登録画像の周囲に存在するように表示する請求項１記載の情報処理装置。
5. 前記撮像部により撮像された画像における、関連情報として登録すべき画像領域の指定を受付ける受付手段と、
   前記受付手段により受付けられた画像領域の画像を関連情報として前記格納手段に登録する登録手段とをさらに備えた請求項１から４のいずれか記載の情報処理装置。
6. 実空間の画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像に、予め登録されている登録画像が含まれる場合、当該登録画像に対応する関連情報を、当該登録画像の周囲に存在するように表示する表示ステップとをコンピュータに実行させるためのプログラム。