JP2023011216A - 画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】撮像画像外の対象物に対応する仮想画像をユーザが認識可能な画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体を提供する。【解決手段】画像処理装置１０において、撮像情報取得部１１は、特定エリアのユーザ端末で撮像された撮像画像を取得し、ユーザ端末情報取得部１４は、ユーザ端末の位置情報及び向き情報を取得し、特定部１５は、撮像画像内に存在する対象物を特定し、且つ、撮像画像内に存在しない対象物に対してユーザ端末を基準として対象物が位置する方向を特定し、画像情報出力部１６は、撮像画像内に存在する対象物に対して、撮像画像内の対象物に対応する位置に位置画像を重畳し、且つ、撮像画像内に存在しない対象物に対して、撮像画像内に範囲外対象物表示部を設け、対象物が位置する方向に応じて、範囲外対象物表示部に対象物の位置画像の一部分又は全部を重畳した画像をユーザ端末に出力する。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体に関する。

ＡＲ（Augmented Reality：拡張現実感）技術を用いて、撮像画像上に仮想画像を重畳する技術が報告されている（例えば、特許文献１等）。

特開２０１４－００６５８２号公報

しかしながら、特許文献１の技術では、撮像画像外の対象物に対応する仮想画像をユーザが認識できないという問題がある。

そこで、本発明は、撮像画像外の対象物に対応する仮想画像をユーザが認識可能な画像処理装置、画像処理システム装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

前記目的を達成するために、本発明の画像処理装置は、
撮像情報取得部、仮想情報生成部、マップ情報管理部、ユーザ端末情報取得部、特定部、及び画像情報出力部を含み、
前記撮像情報取得部は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
前記仮想情報生成部は、前記特定エリアに関する仮想画像を生成し、
前記マップ情報管理部は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
前記ユーザ端末情報取得部は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
前記特定部は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
前記画像情報出力部は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
前記仮想情報生成部において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力部は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、装置である。

本発明の画像処理方法は、
撮像情報取得工程、仮想情報生成工程、マップ情報管理工程、ユーザ端末情報取得工程、特定工程、及び画像情報出力工程を含み、
前記撮像情報取得工程は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
前記仮想情報生成工程は、前記特定エリアに関する仮想画像を生成し、
前記マップ情報管理工程は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
前記ユーザ端末情報取得工程は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
前記特定工程は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
前記画像情報出力工程は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
前記仮想情報生成工程において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力工程は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、方法である。

本発明によれば、撮像画像内の対象物に対応する仮想画像に加えて、前記撮像画像外の対象物に対応する仮想画像をユーザが認識することができる。

図１は、実施形態１の画像処理装置の一例の構成を示すブロック図である。 図２は、実施形態１の画像処理装置のハードウエア構成の一例を示すブロック図である。 図３は、実施形態１の画像処理装置における処理の一例を示すフローチャートである。 図４は、対象物の位置情報を紐づけた特定エリアのマップの一例を示す模式図である。 図５は、実施形態２の画像処理装置からユーザ端末に出力された画像が、前記ユーザ端末のディスプレイ上に表示されている一例を示す模式図である。 図６は、実施形態３の画像処理システム装置の一例の構成を示すブロック図である。

本発明の画像処理装置において、例えば、
前記画像情報出力部は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、という態様であってもよい。

本発明の画像処理装置において、例えば、
前記マップ情報管理部は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
前記画像情報出力部は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、という態様であってもよい。

本発明の画像処理装置において、例えば、
前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力部は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、という態様であってもよい。

本発明の画像処理システム装置は、
本発明の画像処理装置と、ユーザ端末とを含む、装置である。
前記画像処理装置と前記ユーザ端末とは、通信回線網を介して通信可能である。

本発明の画像処理方法において、例えば、
前記画像情報出力工程は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、という態様であってもよい。

本発明の画像処理方法において、例えば、
前記マップ情報管理工程は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
前記画像情報出力工程は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、という態様であってもよい。

本発明の画像処理方法において、例えば、
前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力工程は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、という態様であってもよい。

本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。

本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。

次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、撮像情報取得部１１、仮想情報生成部１２、マップ情報管理部１３、ユーザ端末情報取得部１４、特定部１５、及び画像情報出力部１６を含む。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７、撮像装置１０８、及び音入出力装置１０９等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、撮像情報取得部１１、仮想情報生成部１２、マップ情報管理部１３、ユーザ端末情報取得部１４、特定部１５、及び画像情報出力部１６として機能する。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。

本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。

本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６、撮像装置１０８、及び音入出力装置１０９を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、２Ｄカメラ、３Ｄカメラ、赤外線カメラ等が挙げられる。音入出力装置１０９は、例えば、マイク、スピーカー等が挙げられる。

つぎに、本実施形態の画像処理方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１の画像処理装置１０を用いて、次のように実施する。なお、本実施形態の画像処理方法は、図１の画像処理装置１０の使用には限定されない。

まず、撮像情報取得部１１により、特定エリアのユーザ端末で撮像された撮像画像を取得する（Ｓ１）。前記特定エリアは、特に制限されず、屋内でもよいし、屋外でもよい。前記屋内としては、例えば、展示会場、イベント会場、デパート、大学等の学校等がある。前記ユーザ端末は、ユーザの端末であり、特に制限されず、例えば、パーソナルコンピュータ、スマートフォン、携帯電話、眼鏡型及び腕時計型等のウェアラブル端末等である。前記撮像画像は、例えば、静止画でもよいし、動画でもよい。前記取得は、例えば、前記通信回線網を介して実行される。

次に、仮想情報生成部１２により、前記特定エリアに関する仮想画像を生成する（Ｓ２）。前記生成する仮想画像は、前記特定エリアの対象物毎の仮想画像を含む。前記対象物は、特に制限されず、任意に設定でき、人工物であってもよいし、自然のものであってもよい。前記人工物としては、例えば、施設、展示ブース、テナント、教室等が挙げられる。前記自然のものとしては、例えば、山、海、岩等が挙げられる。前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられている。前記位置画像は、例えば、前記対象物に関連する画像である。前記仮想画像の生成とは、例えば、予め、メモリ１０２や記憶装置１０４に記憶されている前記仮想画像を読み出すことを意味してもよいし、外部のデータベースから前記通信回線網を介して前記仮想画像を取得することを意味してもよい。また、仮想情報生成部１２は、例えば、前記対象物に関する情報（対象物情報ともいう）を取得し、前記対象物情報に基づき、前記仮想画像を生成してもよい。

後述の特定部１５は、例えば、前記工程（Ｓ２）の前に、前記撮像画像から特定エリアを特定してもよい。前記特定エリアを特定する手法は、特に制限されず、例えば、公知の技術を用いることができる。そして、前記工程（Ｓ２）において、仮想情報生成部１２は、特定部１５により特定された特定エリアに関する仮想画像を生成してもよい。

次に、マップ情報管理部１３により、前記特定エリアのマップ上に前記対象物の位置情報を紐づけて管理する（Ｓ３）。前記対象物の位置情報は、例えば、前記対象物の位置を示す情報である。前記マップは、前記特定エリアを二次元的に表現したマップであってもよいし、三次元的に表現したマップであってもよい。

次に、ユーザ端末情報取得部１４により、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得する（Ｓ４）。前記ユーザ端末の位置情報及び向き情報は、例えば、前記特定エリア内に配置された位置コードや方向マーク、前記ユーザ端末の各種センサ等によって特定された前記ユーザ端末の位置及び向きを示す情報である。前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報をまとめてユーザ端末情報ともいう。前記位置コードは、例えば、前記方向マークを兼ねていてもよい。前記位置コード及び前記方向マークは、例えば、ＱＲコード（登録商標）、ＡＲマーカー、バーコード、カメレオンコード（登録商標）等がある。ユーザ端末情報取得部１４は、例えば、前記撮像画像と紐づけて、前記ユーザ端末の位置情報及び向き情報を取得してもよい。前記向き情報とは、例えば、前記ユーザ端末の撮像装置による撮像方向ともいえる。

次に、特定部１５は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定する（Ｓ５ａ）。また、特定部１５は、前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定する（Ｓ５ｂ）。前記方向は、例えば、前記ユーザ端末を基準として上下左右の少なくとも一つである。

そして、画像情報出力部１６により、前記撮像画像に前記仮想画像を重畳した合成画像を出力し（Ｓ６）、終了する（ＥＮＤ）。前記出力は、例えば、前記通信回線網を介して、実行されてもよい。具体的には、画像情報出力部１６により、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳する。また、画像情報出力部１６により、前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する。すなわち、画像情報出力部１６は、例えば、前記ユーザ端末と前記対象物との位置関係を反映して前記対象物の位置画像を前記範囲外対象物表示部に重畳する、ともいえる。前記対象物の位置画像の一部分とは、特に制限されず、例えば、前記位置画像の全部を１としたとき、１／２、２／３等の部分である。画像情報出力部１６は、例えば、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設けてもよい。前記所定の範囲は、特に制限されず、任意に設定でき、例えば、前記撮像画像の端部から前記撮像画像の中心部までの範囲を１としたとき、１／３、１／４、１／５等の範囲である。

また、マップ情報管理部１３は、例えば、前記工程（Ｓ６）の前に、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出してもよい。そして、画像情報出力部１６は、例えば、前記工程（Ｓ６）において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を前記範囲外対象物表示部に重畳してもよい。前記一方向は、特に制限されず、例えば、上から下、下から上、右から左、左から右等の方向である。

また、仮想情報生成部１２により生成される前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含んでもよい。この場合、前記対象物の位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられている。そして、画像情報出力部１６は、例えば、前記工程（Ｓ６）において、さらに、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する。前記ウインドウ部は、例えば、複数の前記詳細情報画像を遷移可能な画面で表示可能である。前記詳細情報画像は、例えば、１層又は２層以上の階層構造の画像である。前記詳細情報画像が１層又は２層以上の階層構造の画像である場合、前記ウインドウ部は、例えば、前記詳細情報画像を階層毎の画像を遷移可能な画面で表示可能である。具体的に、前記詳細情報画像は、例えば、前記対象物の詳細情報に基づく画像であり、１つの前記対象物の位置画像に対し、１つの前記詳細情報画像が紐づけられていてもよいし、２つの前記詳細情報画像が紐づけられていてもよい。

本実施形態によれば、前記撮像画像内に前記範囲外対象物表示部を設けることで、前記撮像画像内の対象物に対応する仮想画像に加えて、前記撮像画像外の対象物に対応する仮想画像を前記撮像画像に重畳することができる。このため、ユーザは、例えば、シームレスな操作で、前記撮像画像外の対象物に対応する仮想画像も認識することができる。また、前記撮像画像の端部を含む所定の範囲を前記範囲外対象物表示部とすることで、前記撮像画像内に存在する前記対象物の位置画像の視認性に影響を与えることなく、前記撮像画像外の対象物に対応する仮想画像を前記撮像画像に重畳可能である。

［実施形態２］
図４及び５に基づき、前記撮像画像に前記対象物の位置画像等を重畳する一例を説明する。

図４は、前記対象物の位置情報を紐づけた特定エリアのマップの一例を示す。なお、図４において、前記マップを二次元的に表現したマップとして示すが、これに限定されず、例えば、三次元的に表現したマップであってもよい。図４に示すように、特定部１５は、例えば、ユーザ端末１の撮像方向Ｘを特定し、撮像方向Ｘに存在する対象物として対象物Ａ～Ｃを特定し、撮像方向Ｘに存在しない対象物として対象物Ｄ～Ｏを特定する。また、特定部１５は、ユーザ端末１の撮像方向Ｘを基準としたときに、対象物Ｄ～Ｏがどの方向に位置するかを特定する。

図５は、画像処理装置１０からユーザ端末１に出力された画像が、ユーザ端末１のディスプレイ上に表示されている一例を示す。図５（Ａ）は、前記撮像画像の端部の一部分を含む所定の範囲を範囲外対象物表示部（斜線にて示す部分）として設定した一例であり、図５（Ｂ）は、前記撮像画像の端部の全部を含む所定の範囲を範囲外対象物表示部（斜線にて示す部分）として設定した一例である。

図５に示すように、撮像方向Ｘに存在する対象物Ａ～Ｃの位置画像（以下、対象物の位置画像をピンともいう）は、前記撮像画像の対応する位置に重畳して表示される。対象物Ａ～ＣのピンＡ～Ｃは、例えば、ユーザ端末１と対象物Ａ～Ｃとの距離に基づき、ユーザ端末１と離れているピンを他のピンよりも小さくして重畳されていてもよい。一方で、対象物Ａ～ＣのピンＡ～Ｃは、例えば、ユーザ端末１と対象物Ａ～Ｃとの距離に基づき、ユーザ端末１と近いピンを他のピンよりも大きくして重畳されていてもよい。また、ピンは、例えば、ユーザ端末１と対象物Ａ～Ｃとの距離に応じて、ピンの外縁を色付けてもよい。

また、図５に示すように、撮像方向Ｘに存在しない対象物Ｄ～Ｏの位置画像は、範囲外対象物表示部３に重畳して表示される。図５（Ｂ）では、ユーザ端末１と前記対象物との位置関係に応じて範囲外対象物表示部３に前記対象物のピンを重畳している。一方で、図５（Ａ）では、図５（Ｂ）の位置関係に加えて、ユーザ端末１と対象物との距離に応じて範囲外対象物表示部３内に前記対象物のピンを重畳している。

さらに、図５に示すように、前記詳細情報画像は、具体的に、ウインドウ部（Ｗｉｎｄｏｗ）４に表示される。図中において、ウインドウ部４は、前記撮像画像の下部に表示されているが、例示であって、これに限定されない。例えば、本発明を展示会に適用する場合、展示されている商品及びサービスや、そのブースの会社等の詳細な情報に基づき生成された詳細情報画像がウインドウ部４に表示される。

［実施形態３］
図６は、本実施形態の画像処理システム装置１００の一例の構成を示すブロック図である。図６に示すように、本装置１００は、前記実施形態１記載の画像処理装置１０と、ユーザ端末２０と、を含む。画像処理装置１０とユーザ端末２０とは、通信回線網３０を介して通信可能である。通信回線網３０は、前述の通信回線網と同様である。ユーザ端末２０の数は、特に制限されず、１つでもよいし、複数あってもよい。

ユーザ端末２０は、特に制限されず、例えば、パーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。

［実施形態４］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
撮像情報取得部、仮想情報生成部、マップ情報管理部、ユーザ端末情報取得部、特定部、及び画像情報出力部を含み、
前記撮像情報取得部は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
前記仮想情報生成部は、前記特定エリアに関する仮想画像を生成し、
前記マップ情報管理部は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
前記ユーザ端末情報取得部は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
前記特定部は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
前記画像情報出力部は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
前記仮想情報生成部において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力部は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、画像処理装置。
（付記２）
前記画像情報出力部は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、付記１記載の画像処理装置。
（付記３）
前記マップ情報管理部は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
前記画像情報出力部は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、付記１又は２記載の画像処理装置。
（付記４）
前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力部は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、付記１から３のいずれかに記載の画像処理装置。
（付記５）
付記１から４のいずれかに記載の画像処理装置と、ユーザ端末とを含み、
前記画像処理装置と前記ユーザ端末とは、通信回線網を介して通信可能である、画像処理システム装置。
（付記６）
撮像情報取得工程、仮想情報生成工程、マップ情報管理工程、ユーザ端末情報取得工程、特定工程、及び画像情報出力工程を含み、
前記撮像情報取得工程は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
前記仮想情報生成工程は、前記特定エリアに関する仮想画像を生成し、
前記マップ情報管理工程は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
前記ユーザ端末情報取得工程は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
前記特定工程は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
前記画像情報出力工程は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
前記仮想情報生成工程において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力工程は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、画像処理方法。
（付記７）
前記画像情報出力工程は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、付記６記載の画像処理方法。
（付記８）
前記マップ情報管理工程は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
前記画像情報出力工程は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、付記６又は７記載の画像処理方法。
（付記９）
前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力工程は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、付記６から８のいずれかに記載の画像処理方法。
（付記１０）
コンピュータに、撮像情報取得手順、仮想情報生成手順、マップ情報管理手順、ユーザ端末情報取得手順、特定手順、及び画像情報出力手順を含む手順を実行させるためのプログラム；
前記撮像情報取得手順は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
前記仮想情報生成手順は、前記特定エリアに関する仮想画像を生成し、
前記マップ情報管理手順は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
前記ユーザ端末情報取得手順は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
前記特定手順は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
前記画像情報出力手順は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
前記仮想情報生成手順において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力手順は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する。
（付記１１）
前記画像情報出力手順は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、付記１０記載のプログラム。
（付記１２）
前記マップ情報管理手順は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
前記画像情報出力手順は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、付記１０又は１１記載のプログラム。
（付記１３）
前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
前記画像情報出力手順は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、付記１０から１２のいずれかに記載のプログラム。
（付記１４）
付記１０から１３のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

本発明によれば、撮像画像外の対象物に対応する仮想画像をユーザが認識可能である。このため、本発明は、例えば、展示会やゲーム等のＡＲ技術を用いる分野において特に有用である。

１ ユーザ端末
３ 範囲外対象物表示部
４ ウインドウ部
１０ 画像処理装置
１１ 撮像情報取得部
１２ 仮想情報生成部
１３ マップ情報管理部
１４ ユーザ端末情報取得部
１５ 特定部
１６ 画像情報出力部
２０ ユーザ端末
１００ 画像処理システム装置
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１０９ 音入出力装置

Claims (10)

1. 撮像情報取得部、仮想情報生成部、マップ情報管理部、ユーザ端末情報取得部、特定部、及び画像情報出力部を含み、
   前記撮像情報取得部は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
   前記仮想情報生成部は、前記特定エリアに関する仮想画像を生成し、
   前記マップ情報管理部は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
   前記ユーザ端末情報取得部は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
   前記特定部は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
   前記画像情報出力部は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
   前記仮想情報生成部において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
   前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
   前記画像情報出力部は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
   前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、画像処理装置。
2. 前記画像情報出力部は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、請求項１記載の画像処理装置。
3. 前記マップ情報管理部は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
   前記画像情報出力部は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、請求項１又は２記載の画像処理装置。
4. 前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
   前記画像情報出力部は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、請求項１から３のいずれか一項に記載の画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置と、ユーザ端末とを含み、
   前記画像処理装置と前記ユーザ端末とは、通信回線網を介して通信可能である、画像処理システム装置。
6. 撮像情報取得工程、仮想情報生成工程、マップ情報管理工程、ユーザ端末情報取得工程、特定工程、及び画像情報出力工程を含み、
   前記撮像情報取得工程は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
   前記仮想情報生成工程は、前記特定エリアに関する仮想画像を生成し、
   前記マップ情報管理工程は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
   前記ユーザ端末情報取得工程は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
   前記特定工程は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
   前記画像情報出力工程は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
   前記仮想情報生成工程において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
   前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
   前記画像情報出力工程は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
   前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する、画像処理方法。
7. 前記画像情報出力工程は、前記撮像画像の少なくとも一つの端部の一部分又は全部を含む所定の範囲を前記範囲外対象物表示部として設ける、請求項６記載の画像処理方法。
8. 前記マップ情報管理工程は、前記マップ上において、前記ユーザ端末の位置情報及び前記対象物の位置情報に基づき、前記ユーザ端末と前記対象物との距離を算出し、
   前記画像情報出力工程は、前記範囲外対象物表示部において、前記距離が短い順に一方向に並ぶように前記対象物の位置画像の一部分又は全部を重畳する、請求項６又は７記載の画像処理方法。
9. 前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含み、前記位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられており、
   前記画像情報出力工程は、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する、請求項６から８のいずれか一項に記載の画像処理方法。
10. コンピュータに、撮像情報取得手順、仮想情報生成手順、マップ情報管理手順、ユーザ端末情報取得手順、特定手順、及び画像情報出力手順を含む手順を実行させるためのプログラム；
    前記撮像情報取得手順は、特定エリアのユーザ端末で撮像された撮像画像を取得し、
    前記仮想情報生成手順は、前記特定エリアに関する仮想画像を生成し、
    前記マップ情報管理手順は、前記特定エリアのマップ上に対象物の位置情報を紐づけて管理し、
    前記ユーザ端末情報取得手順は、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報を取得し、
    前記特定手順は、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記撮像画像内に存在する対象物と存在しない対象物とを特定し、且つ前記撮像画像内に存在しない対象物に対して、前記マップ、前記ユーザ端末の位置情報及び前記ユーザ端末の向き情報に基づき、前記ユーザ端末を基準として前記対象物が位置する方向を特定し、
    前記画像情報出力手順は、前記撮像画像に前記仮想画像を重畳した合成画像を出力し、
    前記仮想情報生成手順において生成する仮想画像は、前記特定エリアの前記対象物毎の仮想画像を含み、
    前記対象物毎の仮想画像は、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられており、
    前記画像情報出力手順は、前記撮像画像内に存在する前記対象物に対して、前記撮像画像内の前記対象物に対応する位置に前記位置画像を重畳し、且つ
    前記撮像画像内に存在しない前記対象物に対して、前記撮像画像内に範囲外対象物表示部を設け、前記対象物が位置する方向に応じて、前記範囲外対象物表示部に前記対象物の位置画像の一部分又は全部を重畳した画像を前記ユーザ端末に出力する。

Images