JP2021089461A - Ａｒ画像表示システム、ａｒ画像提供方法及びプログラム - Google Patents

Abstract

【課題】店舗などでの販売促進につながる仮想物体表示が簡単に行えるようにする。【解決手段】カードなどで構成されたＡＲ画像提供媒体１１と、端末装置１００とよりなるシステムである。ＡＲ画像提供媒体１１は、商品についての画像が印刷された画像印刷領域と、商品の３Ｄモデルデータを表示するためのアプリケーションプログラムが保存されたサイトのアドレスのコードが印刷されたアドレス印刷領域とを有する。端末装置１００は、アドレス印刷領域に印刷されたコードを読み取って取得したアドレスに接続してアプリケーションプログラムを取得すると共に、ＡＲ画像提供媒体１１に印刷された商品の画像認識で３Ｄモデルデータを取得し、取得した３Ｄモデルデータを描画してＡＲ画像を得、そのＡＲ画像を、カメラが撮影した画像に重畳して表示する。【選択図】図１

Description

本発明は、ＡＲ画像表示システム、ＡＲ画像提供方法及びプログラムに関し、特にＡＲ（Augmented Reality：拡張現実）技術を使ったＡＲ画像の提供を行う技術に関する。

従来、ＡＲ技術を使って、商品の販売に結びつける技術が実用化されている。例えば、インターネット上で商品を販売するサイトの運営者が用意したクラウドサーバ上に、特定の商品についてのコンピュータグラフィックデータ（ＣＧデータ）による３Ｄモデルを用意し、その３Ｄモデルを、ユーザ端末上でカメラ画像に合成して表示することが行われている。カメラ画像に３Ｄモデルを合成して表示することで、例えば家具などの商品をユーザの家庭の室内に配置した様子が、ＡＲ（拡張現実）として表示され、家具などの商品を室内においた状態を、購入前に確認する技術が提案されている。

例えば、特許文献１には、仮想物体であるオフィス機器（プリンタなど）を、オフィスを撮影した画像内に合成して表示し、オフィス内にオフィス機器を設置した様子を事前に確認できるシステムについての一例が記載されている。

特開２０１６−１３６２７６号公報

従来から存在する仮想物体を現実のカメラ画像に合成する処理では、ユーザは、商品の販売などを行うサイトの運営者が用意したサーバにアクセスして、商品の選択画面を表示して、選択画面上でカメラ画像に合成させたい商品を選択するようにしている。

なお、カメラ画像に３Ｄモデルを合成して表示することが可能な仮想物体は、サーバ側に予め用意されている商品である。ここで、サーバ側に多数の候補の商品が用意されている場合には、ユーザは、多数の候補の中から所望の商品を探し出す作業が必要になる。
具体的には、リストなどで表示された商品の選択画面から、所望の商品をユーザが探し出して、その商品の３Ｄモデルデータを端末にダウンロードし、取得した３Ｄモデルデータの描画処理を行う必要がある。

このように従来の仮想物体を現実のカメラ画像に合成する技術は、ウェブ上のサイトにアクセスして実行するものであり、インターネット上の商品を販売するサイトで行われているだけで、現実の店舗で商品などを販売する場合には適用されていなかった。
すなわち、現実の店舗で販売される商品をユーザが気に入り、その商品が自宅に配置した様子を見ようとしても、上述したＡＲ技術を適用した自宅での表示は事実上困難であった。

一方、現実の店舗で販売される商品と同一の商品を、万一、ユーザがインターネット上の販売サイトで見つけて、そのサイト上で３Ｄモデルデータを取得することができれば、ＡＲ技術を適用した仮想表示が可能である。しかし、実際には、ユーザが所望の商品の３Ｄモデルデータをネット上で検索して見つけることは極めて困難である。
このように、現実の店舗で販売される商品について、ユーザが３Ｄモデルデータを簡単に取得することが難しいため、その商品の販売促進につながる手法を見出すことが容易ではなかった。

本発明は、店舗などでの販売促進につながる仮想物体表示を行うことが可能なＡＲ画像表示システム、ＡＲ画像提供方法及びプログラムを提供することを目的とする。

本発明のＡＲ画像表示システムは、ＡＲ画像提供媒体と、端末装置とで構成されるＡＲ画像表示システムである。
ＡＲ画像提供媒体は、商品についての画像が印刷された画像印刷領域と、商品の３Ｄモデルデータを表示するためのアプリケーションプログラムが保存されたサイトのアドレスのコードが印刷されたアドレス印刷領域と、を有する。
端末装置は、アドレス印刷領域に印刷されたコードを読み取って取得したアドレスに接続して、アプリケーションプログラムを取得すると共に、取得したアプリケーションプログラムの実行で、画像印刷領域に印刷された商品を読み取って画像解析した結果に基づいて商品の３Ｄモデルデータを取得するデータ取得処理部と、データ取得処理部が取得した３Ｄモデルデータを描画してＡＲ画像を得るモデル画像生成部と、モデル画像生成部が生成したＡＲ画像を、カメラが撮影した画像に重畳する画像重畳部と、画像重畳部でＡＲ画像が重畳された画像を表示する表示部と、を有する。

また本発明のＡＲ画像提供方法は、ＡＲ画像提供媒体に印刷されたサイトのアドレスを読み取ってアクセスすることで、ＡＲ画像提供媒体に印刷された商品の３Ｄモデルデータを表示するためのアプリケーションプログラムを取得するアプリケーションプログラム取得処理と、アプリケーションプログラム取得処理で取得したアプリケーションプログラムの実行で、ＡＲ画像提供媒体に印刷された商品を読み取って画像解析した結果に基づいて商品の３Ｄモデルデータを取得する３Ｄモデルデータ取得処理と、３Ｄモデルデータ取得処理で取得した３Ｄモデルデータを描画してＡＲ画像を得るモデル画像生成処理と、モデル画像生成処理で生成したＡＲ画像を、カメラが撮影した画像に重畳する画像重畳処理と、画像重畳処理によりＡＲ画像が重畳された画像を表示する表示処理と、を含む。

また本発明のプログラムは、上記ＡＲ画像提供方法の各処理を実行する手順をコンピュータに実行させるプログラムである。

本発明によれば、ＡＲ画像提供媒体をユーザに配布するだけで、ユーザはスマートフォンなどの端末装置を使って、簡単にＡＲ画像提供媒体に印刷された商品の３Ｄモデルデータを取得して、任意の場所を撮影した画像に重畳表示できるようになる。したがって、商品の販売業者は、カードなどのＡＲ画像提供媒体をユーザに配布するだけで、商品の販売につながるサービスを提供できるようになる。

本発明の一実施の形態例のＡＲ画像表示システムの概要を示す図である。 本発明の一実施の形態例としてのカードの例（（ａ）：表面、（ｂ）：裏面）を示す図である。 本発明の一実施の形態例のＡＲ画像表示システムを実行することでＡＲ画像が表示される形態を示す図である。 本発明の一実施の形態例による端末装置のハードウェア構成例を示すブロック図である。 本発明の一実施の形態例による端末装置の機能ブロック図である。 本発明の一実施の形態例によるＡＲ画像提供処理の流れを示すフローチャートである。 本発明の一実施の形態例による表示例を示す図である。 本発明の他の実施の形態例による端末装置のハードウェア構成例（ネットに非接続でＡＲ画像を提供する構成の例）を示すブロック図である。

以下、本発明の一実施の形態例（以下「本例」と称する）を、添付図面を参照して説明する。

［ＡＲ画像表示システムの概要］
図１〜図３は、本例のＡＲ画像表示システムの概要を示す。
本例のＡＲ画像表示システムは、図１に示すように、ユーザＰ１が所持する端末装置１００と、商品を販売する業者などがユーザＰ１に配布するカード１１とを備える。端末装置１００は、ユーザＰ１が所持するスマートフォンやタブレット端末などの、インターネットに接続する機能を有する。

本例の場合、カード１１は、例えば、自動車を販売する業者が配布するものである。
図２は、カード１１の一例を示す。図２（ａ）はカード１１の表面１１ａを示し、図２（ｂ）はカード１１の裏面１１ｂを示す。
カード１１の表面１１ａには、図２（ａ）に示すように、業者が販売する自動車の画像印刷領域１２と、車名印刷領域１３とが設けられている。
カード１１の裏面１１ｂには、図２（ｂ）に示すように、アドレス印刷領域１４，１５と、操作手順説明領域１６とが設けられている。

カード１１の裏面１１ｂの２つのアドレス印刷領域１４、１５には、オペレーティングシステム（ＯＳ）の種類ごとのアドレスが、二次元バーコード（ＱＲコード：登録商標）にコード化されて印刷されている。各アドレス印刷領域１４、１５に印刷された二次元バーコードは、表面１１ａの画像印刷領域１２に印刷された自動車の３Ｄモデルを表示するためのアプリケーションプログラムが登録されたネット上のアドレスである。

なお、図２では１種類のカード１１を示しているが、自動車を販売する業者は、その業者が販売している複数の種類（車種）の自動車が個別に画像印刷領域１２に表示された、複数種類のカード１１を用意する。そして、自動車の販売業者は、商談などで問い合わせがあった車種のカード１１をユーザに配布する。

図１の説明に戻ると、ユーザＰ１は、カード１１の表面１１ａの画像印刷領域１２に印刷された自動車のＡＲ画像を表示させたいとき、そのカード１１の裏面１１ｂのアドレス印刷領域１４または１５に印刷された二次元バーコードを、端末装置１００のカメラ１０７（図４）で撮影して、読み取らせる。２つのアドレス印刷領域１４，１５に印刷された二次元バーコードのいずれを読み取らせるかは、端末装置１００に実装されたオペレーティングシステム（ＯＳ）の種類で決まる。

端末装置１００は、アドレス印刷領域１４または１５に印刷された二次元バーコードを読み取ることで、二次元バーコードで示されたアドレスに接続する処理を実行する。二次元バーコードで示されたアドレスは、商品情報サーバ２００に用意されたアドレスの一つである。端末装置１００は、そのアドレスに接続することで、商品情報サーバ２００に登録されたＡＲ画像提供用のアプリケーションプログラムをダウンロードして取得することができる。
ユーザＰ１は、このようにして取得したアプリケーションプログラムを端末装置１００で実行させた上で、カード１１の表面１１ａの画像印刷領域１２に印刷された自動車の画像を、端末装置１００のカメラ１０７（図４）で撮影して読み取らせ、カード１１に印刷された自動車を画像認識させる。この画像認識で、端末装置１００は、画像印刷領域１２に印刷された自動車の車種を特定し、商品情報サーバ２００から、その車種の自動車の３Ｄモデルデータを取得する処理を行う。

図３は、ＡＲ画像提供用のアプリケーションプログラムを取得した端末装置１００での表示イメージを示す。
端末装置１００は、取得したアプリケーションプログラムを実行し、上述したカード１１の表面１１ａの画像印刷領域１２の読み取りを行って３Ｄモデルデータを取得することにより、取得した自動車の３Ｄモデルデータを描画する処理を行う。そして、描画された自動車Ｍが、端末装置１００の表示部１０５（図４）に、周囲の画像に重畳した状態で表示される周囲の画像は、端末装置１００のカメラ１０７が撮影したリアルタイムの画像であり、描画された自動車Ｍは、撮影画像内の地面Ｇの上に表示される。

このとき描画される自動車Ｍは、カード１１の表面１１ａの画像印刷領域１２に印刷された自動車と同一形式のものである。なお、自動車Ｍを描画するデータは３Ｄモデルデータであるため、表示される自動車Ｍの向きは、ユーザＰ１による操作で任意の方向に動かすことができる。例えば図３のイメージでは、自動車Ｍをほぼ真横から見た状態を示すが、正面や後ろから見た状態の自動車Ｍを表示させることもできる。

このような表示が行われることで、ユーザＰ１は、自宅の駐車場などの任意の場所に自動車Ｍを配置した場合の様子を、端末装置１００に表示される画像から確認することができる。

［端末装置の構成］
図４は、本例の端末装置１００のハードウェア構成を示す。
端末装置１００は、ＣＰＵ（central processing unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶部１０４、表示部１０５、モーションセンサ１０６、カメラ１０７及びネットワークインタフェース１０８を備え、これらの各部がバスラインでデータ転送可能に接続されている。

ＣＰＵ１０１は、端末装置１００が実行する各種機能を実現するソフトウェア（プログラム）のプログラムコードをＲＯＭ１０２などから読み出して実行する演算処理部である。
ＲＯＭ１０２には、端末装置１００に実装された各種機能を実行するプログラムコードが記憶されている。
ＲＡＭ１０３は、ＲＯＭ１０２や記憶部１０４に記憶されているプログラムやデータを読み出すために使用されるワーク用メモリである。

記憶部１０４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量のデータ記憶部である。記憶部１０４には、ネットワークインタフェース１０８を介して受信したＡＲ画像提供用のアプリケーションプログラムなどが記憶され、ＣＰＵ１０１の制御で読み出される。
表示部１０５には、カメラ１０７で撮影された画像や、端末装置１００内で生成された各種画像が表示される。例えばＡＲ画像提供用のアプリケーションプログラムを実行する際には、表示部１０５に、カメラ１０７で撮影された画像や３Ｄモデルデータ（図３に示す自動車Ｍなど）が表示される。なお、表示部１０５にはタッチパネルで操作部１０５ａ（図５）が配置され、ユーザによる画面のタッチ操作で各種操作が可能になっている。

モーションセンサ１０６は、端末装置１００が向いている方位や向きを検出する。このモーションセンサ１０６は、例えば加速度センサ、ジャイロセンサ、地磁気センサなどで構成される。
カメラ１０７は、端末装置１００の周囲を撮影する。端末装置１００がスマートフォンやタブレット端末で構成される場合、通常、端末装置１００を構成する筐体の裏面側にカメラ１０７が配置され、このカメラ１０７により表示部１０５の反対側が撮影される。

ネットワークインタフェース１０８は、インターネットＮに接続される通信処理部であり、本例の場合には、アプリケーションプログラムや３Ｄモデルデータを取得するデータ取得処理部として機能する。
このネットワークインタフェース１０８は、例えばＡＲ画像提供用のアプリケーションプログラムが格納されたアドレスのサーバにアクセスして、必要なデータを取得する。
音声入出力部１０９は、音声処理部とスピーカとマイクロフォンとを備え、音声処理部でＣＰＵ１０１から指示された音声データのアナログ変換等の音声処理が実行され、処理された音声がスピーカから出力される。例えば図３で説明したように自動車Ｍを表示部１０５が表示する際に、各種効果音やＢＧＭの音楽などを音声入出力部１０９が出力してもよい。また、音声入出力部１０９は、マイクロフォンも備え、マイクロフォンが拾った音声を音声処理部が音声データ化する。マイクロフォンが拾った音声によるデータは、表示部１０５に表示された自動車Ｍの向きや色などを音声による指示で変更させる場合などに使用してもよい。

［ＡＲ画像提供機能から見た構成］
図５は、本例の端末装置１００が、ＡＲ画像提供用のアプリケーションプログラムを取得してそのプログラムを実行する際の、機能から見た構成を示している。ＡＲ画像提供用のアプリケーションプログラムは、図２に示すカード１１のアドレス印刷領域１４または１５に印刷された二次元バーコードをカメラ１０７が撮影して読み取ることで取得される。

ＡＲ画像提供用のアプリケーションプログラムが実行され、その実行でカード１１の表面１１ａの画像印刷領域１２に印刷された画像（自動車）を読み取って３Ｄモデルデータを取得すると、取得した３Ｄモデルデータは、記憶部１０４に記憶される。
そして、モデル画像生成部１０１ａは、記憶部１０４に記憶された３Ｄモデルデータを読み出し、３Ｄモデルの描画処理を行う。例えば、図３に示すように自動車Ｍの描画が行われ、モデル画像生成処理が行われる。
この描画時には、ユーザによるタッチパネルなどの操作部１０５ａの操作で、３Ｄモデルの向き、サイズ、色などが調整される。

モデル画像生成部１０１ａで描画された３Ｄモデルは、画像重畳部１０１ｂで、カメラ１０７で撮影されたリアルタイムの画像に重畳される。この画像重畳部１０１ｂでリアルタイムの画像に３Ｄモデルを重畳処理する際には、画像重畳部１０１ｂは、カメラ１０７で撮影された画像内の地面に相当する箇所を検出する画像認識処理を行い、その検出した地面の上に自動車などの３Ｄモデルが配置されるように重畳処理を行う。
画像重畳部１０１ｂで３Ｄモデルが重畳された画像は、表示部１０５により表示される。

［ＡＲ画像提供用のアプリケーションプログラム実行時の処理の流れ］
図６は、端末装置１００によりＡＲ画像提供用のアプリケーションプログラムを実行するときの処理例を示すフローチャートである。以下、図６のフローチャートに基づいて、ＡＲ画像提供用のアプリケーションプログラムを実行するときの処理の流れを説明する。端末装置１００で起動させるアプリケーションプログラムは、図２に示すカード１１の裏面１１ｂのアドレス印刷領域１４または１５に印刷された二次元バーコードを、端末装置１００のカメラ１０７で撮影して、その二次元バーコードで示されるアドレス（商品情報サーバ２００のアドレス）から取得するアプリケーションプログラム取得処理で得られたものである。なお、別の車種のカード１１などを使って、既にアプリケーションプログラム取得処理が行われている場合には、アプリケーションプログラムの取得処理は必要ない。

図６のフローチャートに従って説明すると、まずユーザは、アプリケーションプログラムを起動させた端末装置１００で、図２に示すカード１１の表面１１ａの画像印刷領域１２に印刷された自動車の画像を、端末装置１００のカメラ１０７で撮影して読み取らせ、カード１１に印刷された自動車画像を認識させる。これによりカード１１に印刷された車種の３Ｄモデルデータの要求が、端末装置１００から商品情報サーバ２００に対して行われる。この要求を受信した商品情報サーバ２００からは、端末装置１００に該当する車種の３Ｄモデルデータが伝送され、端末装置１００の記憶部１０４に記憶される。この３Ｄモデルデータ取得処理が事前に行われて、既に同じ車種の３Ｄモデルデータを記憶部１０４が記憶している場合には、データ取得処理を省略してもよい。

そして、アプリケーションプログラムの実行で、端末装置１００のＣＰＵ１０１は、カメラ１０７が撮影した画像から、地面を検出して、撮影画像の空間認識処理を行う（ステップＳ１１）。端末装置１００のＣＰＵ１０１は、この地面を検出する空間認識処理が成功したか否かを判断する（ステップＳ１２）。ここで、空間認識処理に成功しない場合（ステップＳ１２のＮＯ）、ＣＰＵ１０１は、ステップＳ１１の撮影画像の空間認識処理に戻る。

ステップＳ１２で空間認識処理に成功した場合（ステップＳ１２のＹＥＳ）、ＣＰＵ１０１は、記憶部１０４に記憶された３Ｄモデルデータを読み出す（ステップＳ１３）。そして、ＣＰＵ１０１は、読み出した自動車の３Ｄモデルデータの描画処理を行う（ステップＳ１４）。この描画時には、例えば正面を向いた自動車を描画する。また、後述するように描画する自動車のボディカラー（配色）については、複数の色の設定が可能であるが、最初に描画する自動車のボディカラーは、予め決められた配色（例えば白色）にする。この最初に描画する自動車のボディカラーは、例えば自動車を販売する業者が最もアピールしたい配色とする。

そして、ＣＰＵ１０１は、ステップＳ１４で描画した自動車の３Ｄモデルを、カメラ１０７が撮影したリアルタイムの画像内に重畳する（ステップＳ１５）。このステップＳ１５の処理が画像重畳処理である。この自動車の３Ｄモデルを撮影画像に重畳する際には、ＣＰＵ１０１は、ステップＳ１１の空間認識処理で検出した地面（平面）の上のほぼ中央に、描画した自動車の３Ｄモデルを配置する。また、ＣＰＵ１０１は、検出した平面と端末装置１００のカメラ１０７の中心線とが成す角度（仰俯角）を検出して、その角度が大きいとき、地面が近いと判断して、描画する自動車のサイズを大きくし、角度が小さいとき、地面が遠いと判断して、描画する自動車のサイズを小さくする。このようにして描画した自動車の３Ｄモデルを撮影画像に重畳することで、表示部１０５には、カメラ１０７で撮影した画像内に、描画した自動車の３Ｄモデルが合成される。

次に、ＣＰＵ１０１は、ユーザＰ１による表示画像内での操作があるか否かを判断する（ステップＳ１６）。このステップＳ１６で、ユーザＰ１による操作があると判断したとき（ステップＳ１６のＹＥＳ）、その操作に基づいた画像となるように３Ｄモデルの調整を行った上で（ステップＳ１７）、ステップＳ１４の描画処理に戻る。
また、ステップＳ１６で操作がないと判断したとき（ステップＳ１６のＮＯ）、ステップＳ１５でのカメラ画像への重畳処理を継続して行う。なお、カメラ画像から検出される地面の位置が変化した場合には、自動車が配置される位置も対応して変化する。
また、実画像上に自動車の３Ｄモデルを重畳した表示を終了した後には、記憶部１０４に記憶された３Ｄモデルデータは、消去してもよい。あるいは、新たなカード１１の表面１１ａの画像印刷領域１２に印刷された自動車の画像の読み取りがあるまで、記憶部１０４に記憶された３Ｄモデルデータは保持させ、カード１１の読み取りごとに記憶部１０４に記憶された３Ｄモデルデータを更新させてもよい。

図７は、自動車の３Ｄモデルがカメラ画像に合成される状態の一例を示す。
この図７に示す画像は、表示部１０５により表示される画面１０５ｂを示し、カメラ画像内の地面Ｇのほぼ中央の箇所に、カード１１のアドレス印刷領域１４または１５へのアクセスで所得した自動車Ｍの３Ｄモデルが表示される。

この画面１０５ｂ内には、例えば自動車Ｍのボディカラーを選択するボタン３０１と、操作をリセットして初期状態に戻すボタン３０２などが表示されている。これらのボタン３０１〜３０２を操作することで、表示される自動車Ｍのサイズ、向き、位置などの調整を行うことができる。また、表示された自動車Ｍを直接タッチするなどの操作により、画面１０５ｂ内の自動車Ｍのサイズ、向き、位置などを調整できる。例えば、二本の指で画面１０５ｂをタッチして、その二本の指の間隔を変える、いわゆるピンチインやピンチアウトの操作で、自動車Ｍのサイズを変更したり、一本の指で自動車Ｍの表面をスライドさせて、そのスライドした方向の向きに動かす操作などが可能である。また、音声入力で各種操作を行うようにしてもよい。
なお、図７に示す画像は一例であり、端末装置１００のカメラ１０７が撮影する向きや角度を変えることで、ユーザが居る箇所の周囲の様々な場所に自動車Ｍを配置した状態を確認することもできる。

このように本例のＡＲ画像表示システムによると、実際のカメラ画像内に、３Ｄモデルで描画した自動車Ｍを、実際に自動車を購入した際に駐車するスペースや自宅前などに駐車した状態で表示することができる。したがって、自動車Ｍの購入時の状態をユーザにイメージさせて、ユーザの購入意欲を高めることができるので、適切な販売促進を期待することができる。

また、ユーザは、業者から渡されたカード１１の表面１１ａに印刷された自動車を読み取らせるだけで、自動的にそのカード１１の表面１１ａに印刷された車種を表示させることができるので、従来のような種類（車種）の選択操作を行う必要はない。したがって、ユーザは、必要な形式の自動車を簡単に表示することが可能になる。

なお、ここまでの説明では自宅の周囲などで使用することを説明したが、業者との商談中に使用することも可能である。この場合にも、ボディカラーや車の形状などの確認を画面上で行うことができるので、業者から見て商品の販売促進につながるということができる。

ボディカラーを選択するボタン３０１については、販売中の自動車Ｍに用意された複数種類のボディカラーを選択できるようにする。これにより、表示に選択可能なボディカラーが判るようになり、ユーザが購入する自動車のボディカラーの選択が良好にできるようになる。

また、カード１１は、車種ごとに用意することで、販売業者にとっては自動車の販売促進ツールとして使用できる一方で、カード１１を取得したユーザにとっては、カード１１がコレクションの対象にもなり、ユーザの購入意欲を効果的に高めることができる。

［変形例］
なお、ここまで説明した例では、自動車を販売する場合のカードに適用した例とした。これに対して、その他の物品（家具、住宅など）を販売促進する場合に適用してもよい。
また、図２に示すようなカードにアプリケーションプログラムを取得するアドレスコードなどを印刷するのも一例であり、例えば商品説明のパンフレット（商談時に配布するパンフレット）や、商品を宣伝するチラシ（不特定多数に配布するチラシ）に、アドレスコードなどを印刷してもよい。そして、そのパンブレットやチラシで説明した物品の画像認識で、３Ｄモデルデータが取得できるようにしてもよい。

この場合には、例えば設備メーカが設置（販売）する設備のパンフレットに、アプリケーションプログラムを取得するアドレスコードなどを印刷し、パンフレットに印刷された設備を端末装置で読み取らせることで、商談をしながら実際の設備（製品）の大きさや生産工程を立体視で見せることができるので、ユーザは、サイズや生産工程などを確認することが可能になる。なお、業者が設備での生産工程をユーザに見せる場合には、その設備が稼働した状態を動画で見せるようにすることも考えられる。
また、生産設備や住宅のように、顧客の要求に基づいて設計が行われる商品の場合、その顧客用の設計された商品（設備、住宅など）専用の３Ｄデータを販売業者が用意して、サイトに登録してもよい。

また、販売した商品に添付するマニュアルに、アプリケーションプログラムを取得するアドレスコードを印刷すると共に、商品の説明箇所の画像を印刷しておき、該当する画像を端末装置１００のカメラ１０７で撮影して画像認識することで、好みの座標位置に３Ｄモデルを描画した商品を表示させてもよい。このようにマニュアルに適用することで、商品の組み立て方や、修理方法を、現実の環境内で立体的に確認できるようになる。

また、カードやパンフレットなどの紙媒体にアドレスコードを印刷する代わりに、テレビジョン放送で放映される画面内や、動画配信サイトで配信される動画の画面内に、アドレスコードを表示するようにしてもよい。このようにしたことで、テレビジョン放送や動画配信を行う際に、その画面内で宣伝した商品を端末装置１００で撮影することで、３Ｄデータを簡単にユーザが取得でき、ユーザの購入意欲を高めることが可能になる。

また、アプリケーションプログラムを得るアドレスは、上述した実施の形態例では、２次元バーコードを適用したが、その他のコードでアドレスを記録してもよい。図２に示すように裏面に２次元バーコードを印刷するのも一例であり、カードの表面に印刷してもよい。

また、上述した実施の形態例では、カード１１の表面１１ａに印刷された物品（自動車）の画像を端末装置１００が認識して、その物品の３Ｄモデルデータを取得するようにした。これに対して、カード１１の表面１１ａ（自動車などが印刷された面）に、何らかの識別コードを印刷して、その識別コードの端末装置１００での画像認識による検出で、対応した物品（車種）の３Ｄモデルデータをダウンロードするようにしてもよい。

あるいは、カード１１の裏面１１ｂに印刷されたアドレス印刷領域１４，１５のコードを使ってアプリケーションプログラムをダウンロードする際に、同時に３Ｄモデルデータを端末装置１００にダウンロードしてもよい。
また、上述した実施の形態例では、３Ｄモデルを表示するアプリケーションプログラムを、表示されたアドレスへのアクセスで取得するようにしたが、アプリケーションプログラムについては、図６のフローチャートで説明した一連の流れとは別の処理で、事前に端末装置にダウンロードさせてもよい。

さらに、上述した実施の形態例では、端末装置１００は、記憶部１０４は１つの物品（車種）の３Ｄモデルデータのみを記憶して、カード１１の表面１１ａを読み取らせる処理を行うごとに、対応した車種の自動車が表示されるようにした。これに対して、端末装置１００の記憶部１０４は、読み取った自動車などの３Ｄモデルデータを複数種類記憶できるようにして、ユーザによる操作で、描画して表示する際に、記憶した物品（自動車）から、好みの車種などの選択ができるようにしてもよい。

さらに、上述した実施の形態例では、端末装置１００として、ネットワークインタフェース１０８が商品サーバ２００との通信を実行して、アプリケーションプログラム取得処理や３Ｄモデルデータ取得処理を、カード１１の読み取りの進行に従って随時行うようにした。これに対して、端末装置１００は、図８に示すように、商品サーバ２００とは通信を行わない構成とした上で、予めアプリケーションプログラムや３Ｄモデルデータを一括して所定のサーバからダウンロードして記憶部１０４に記憶させておく。そして、カード１１の表面１１ａの自動車などを読み取らせて画像認識を行うことで、事前に記憶部１０４に記憶された、カードに印刷されたものと同じ形式の自動車などの３Ｄモデルデータを読み出して３Ｄモデルの描画を実行して、実画像上に重畳して表示してもよい。
このようにすることで、無線通信を行う環境がない状況でも、上述した実施の形態例と同様なＡＲ画像の提供処理が行えるようになる。

１１…カード、１１ａ…表面、１１ｂ…裏面、１２…画像印刷領域、１３…車名印刷領域、１４，１５…アドレス印刷領域、１６…操作手順説明領域、１００…端末装置、１０１…ＣＰＵ、１０１ａ…モデル画像生成部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…記憶部、１０５…表示部、１０５ａ…画面、１０６…モーションセンサ、１０７…カメラ、１０８…ネットワークインタフェース、１０９…音声入出力部、２００…商品情報サーバ、３０１，３０２…ボタン

Claims (7)

1. ＡＲ画像提供媒体と、端末装置とで構成されるＡＲ画像表示システムであり、
   前記ＡＲ画像提供媒体は、
   商品についての画像が印刷された画像印刷領域と、
   前記商品の３Ｄモデルデータを表示するためのアプリケーションプログラムが保存されたサイトのアドレスのコードが印刷されたアドレス印刷領域と、を有し、
   前記端末装置は、
   前記アドレス印刷領域に印刷されたコードを読み取って取得した前記アドレスに接続して、前記アプリケーションプログラムを取得すると共に、取得した前記アプリケーションプログラムの実行で、前記画像印刷領域に印刷された商品を読み取って画像解析した結果に基づいて前記商品の３Ｄモデルデータを取得するデータ取得処理部と、
   前記データ取得処理部が取得した前記３Ｄモデルデータを描画してＡＲ画像を得るモデル画像生成部と、
   前記モデル画像生成部が生成した前記ＡＲ画像を、カメラが撮影した画像に重畳する画像重畳部と、
   前記画像重畳部で前記ＡＲ画像が重畳された画像を表示する表示部と、を有する
   ＡＲ画像表示システム。
2. 前記商品は、複数の配色が存在し、
   前記表示部には、前記ＡＲ画像で表示された商品の配色を指示する操作ボタンが表示され、
   前記モデル画像生成部は、前記表示部に表示された操作ボタンの選択操作に基づいて、前記ＡＲ画像を描画する際の配色を、指示された配色に変更する
   請求項１に記載のＡＲ画像表示システム。
3. 前記商品は自動車であり、
   前記画像重畳部は、カメラが撮影した画像内の地面を検出して、その検出した地面上に前記自動車が配置されるように前記ＡＲ画像を重畳する
   請求項１または２に記載のＡＲ画像表示システム。
4. 前記ＡＲ画像提供媒体はカードであり、
   前記カードの表面に前記画像印刷領域を有し、
   前記カードの裏面に前記アドレス印刷領域を有する
   請求項１〜３のいずれか１項に記載のＡＲ画像表示システム。
5. 前記３Ｄモデルデータは、前記画像印刷領域に印刷された商品を読み取って画像解析する処理を省略して、前記アドレス印刷領域に印刷されたコードを読み取ることで、前記アプリケーションプログラムと同時に取得されるようにした
   請求項１〜４のいずれか１項に記載のＡＲ画像表示システム。
6. ＡＲ画像提供媒体に印刷されたサイトのアドレスを読み取ってアクセスすることで、前記ＡＲ画像提供媒体に印刷された商品の３Ｄモデルデータを表示するためのアプリケーションプログラムを取得するアプリケーションプログラム取得処理と、
   前記アプリケーションプログラム取得処理で取得した前記アプリケーションプログラムの実行で、前記ＡＲ画像提供媒体に印刷された商品を読み取って画像解析した結果に基づいて前記商品の３Ｄモデルデータを取得する３Ｄモデルデータ取得処理と、
   前記３Ｄモデルデータ取得処理で取得した前記３Ｄモデルデータを描画してＡＲ画像を得るモデル画像生成処理と、
   前記モデル画像生成処理で生成した前記ＡＲ画像を、カメラが撮影した画像に重畳する画像重畳処理と、
   前記画像重畳処理により前記ＡＲ画像が重畳された画像を表示する表示処理と、を含む
   ＡＲ画像提供方法。
7. ＡＲ画像の表示処理をコンピュータに実行させるプログラムであり、
   ＡＲ画像提供媒体に印刷されたサイトのアドレスを読み取ってアクセスすることで、前記ＡＲ画像提供媒体に印刷された商品の３Ｄモデルデータを表示するためのアプリケーションプログラムを取得するアプリケーションプログラム取得手順と、
   前記アプリケーションプログラム取得手順で取得した前記アプリケーションプログラムの実行で、前記ＡＲ画像提供媒体に印刷された商品を読み取って画像解析した結果に基づいて前記商品の３Ｄモデルデータを取得する３Ｄモデルデータ取得手順と、
   前記３Ｄモデルデータ取得手順で取得した前記３Ｄモデルデータを描画してＡＲ画像を得るモデル画像生成手順と、
   前記モデル画像生成手順で生成した前記ＡＲ画像を、カメラが撮影した画像に重畳する画像重畳手順と、
   前記画像重畳手順により前記ＡＲ画像が重畳された画像を表示する表示手順と、をコンピュータに実行させるプログラム。

Images