JP2017033129A - 情報提供システム及びコンピュータプログラム - Google Patents

Abstract

【課題】取得したAR（拡張現実）コンテンツを、ARコンテンツに対応する人物の名刺の撮影画像にのみ合成して表示する。【解決手段】スマートデバイス３で名刺に印刷された二次元コードを撮影してデコードした文字列に含まれるパーソナルＩＤに対応する画像のARコンテンツデータセットをARコンテンツサーバ１２から取得し保存する。その後、撮影された名刺の氏名をOCR動作によって認識し、認識した氏名と、取得したARコンテンツデータセットに登録されている氏名とが一致する場合のみ、取得したARコンテンツデータセットに含まれるARコンテンツの画像を、名刺の撮影画像に合成表示する。【選択図】図１

Description

本発明は、主として名刺を介して情報を提供する情報提供システムに関するものである。

名刺を介して情報を提供する技術としては、名刺に当該名刺が個人情報を表す登録ユーザの識別コードをQRコード（登録商標）として印刷しておくことにより、名刺を受領した者が、端末装置を用いて、名刺が個人情報を表す人物の詳細な情報を取得可能とした技術が知られている（たとえば、特許文献１）。

ここで、この技術において、端末装置は、名刺を撮影し、名刺に印刷されたQRコードをデコードする機能と、各人の詳細情報を管理する管理サーバにアクセスして、デコードした識別コードが示す人物についての詳細な情報を取得し表示する機能を備えている。

また、現実のようすを撮影した画像にAR(Augmented Reality；拡張現実)コンテンツを合成した映像を表示するAR表示を行う技術としては、ARコンテンツを取得するための情報をQRコードとして、カードに印刷しておくことにより、カードの受領者が端末装置を用いて、カードを撮影した画像にARコンテンツを合成したAR表示を利用できるようにした技術が知られている（たとえば、特許文献２）。

ここで、この技術において、端末装置は、カードを撮影し、カードに印刷されたQRコードをデコードする機能と、画像コンテンツをARコンテンツとして蓄積したコンテンツデータベースにアクセスし、QRコードをデコードした情報を用いて画像コンテンツを取得し、取得した画像コンテンツを、カードを撮影した映像上に、カードにマーカとして印刷されている外枠図形に対して定まる配置で合成した映像を表示する機能を備えている。

特開２０１１-８６１９８号公報 特開２０１１-１３０３８６号公報

さて、以上のようにAR表示を行う技術を応用し、名刺にARコンテンツを取得するための情報をQRコードとして印刷しておくことにより、名刺の受領者が、名刺を撮影した画像にARコンテンツを合成した映像を表示するAR表示を利用できるようにする場合には、次のような問題が生じる。

すなわち、この技術によれば、マーカとして名刺に印刷される外枠図形が各名刺について共通であるため、ある名刺のQRコードの情報を用いてARコンテンツを取得した後、他の名刺を撮影すると、当該他の名刺の映像上に取得したARコンテンツを合成して表示してしまうこととなる。

そして、このため、ARコンテンツとして、名刺が個人情報を表す人物の写真画像などの、名刺の人物毎に異なるARコンテンツを用いる場合には、名刺上に他人の写真画像が合成表示されてしまうなど、名刺に対応しないARコンテンツを、名刺の映像上に合成表示してしまうという問題が生じる。

そこで、本発明は、名刺の映像に当該名刺の人物に対応するARコンテンツを合成して表示するAR表示を行うと共に、当該AR表示において、ARコンテンツを正しく対応する人物の名刺の映像にのみ合成して表示することを課題とする。

前記課題達成のために、本発明は、印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムとして、端末装置と、対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別を表す文字列である識別文字列と対応づけて記憶したARコンテンツサーバとを備えた情報提供システムを提供する。ここで、前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段とを有し、前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に情報が記載されている対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得し、前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に記載されている識別文字列を認識し、認識した識別文字列が、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別文字列と一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示する。

また、前記課題達成のために、本発明は、印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムとして、端末装置と、対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別を表す文字列である識別文字列と対応づけて記憶したARコンテンツサーバとを備えた情報提供システムを提供する。ここで、前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段と、記憶装置を有し、前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に情報が記載されている対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得して、前記記憶装置に蓄積し、前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に記載されている識別文字列を認識し、認識した識別文字列が、前記記憶装置に記憶されているいずれかのARコンテンツ情報に含まれる識別文字列と一致した場合に、当該認識した識別文字列と一致する識別文字列を含むARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示する。

ここで、以上の情報提供システムは、前記印刷物を、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されているものとし、前記ARコンテンツ取得手段において、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードが示す対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含むARコンテンツ情報を前記ARコンテンツ情報として前記ARコンテンツサーバから取得するように構成してもよい。

また、以上の情報提供システムにおいて、前記印刷物を名刺とし、前記対象物を人物とし、前記識別文字列は当該識別文字列が識別を表す人物の氏名としてもよい。
また、前記課題達成のために、本発明は、印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムとして、端末装置と、対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別コードと対応づけて記憶したARコンテンツサーバとを有する情報提供システムを提供する。ここで、前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段とを有し、前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードに対応づけて記憶されているARコンテンツと当該ARコンテンツに対応づけられている識別コードとを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得し、前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードを識別し、識別した識別コードが、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別コードと一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示する。

また、前記課題達成のために、本発明は、印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムとして、端末装置と、対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別コードと対応づけて記憶したARコンテンツサーバとを有する情報提供システムを提供する。ここで、前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段と、記憶装置とを有し、前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードに対応づけて記憶されているARコンテンツと当該ARコンテンツに対応づけられている識別コードとを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得して、前記記憶装置に蓄積し、前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードを識別し、識別した識別コードが、前記記憶装置に記憶されているいずれかのARコンテンツ情報に含まれる識別コードと一致した場合に、当該認識した識別コードと一致する識別コードを含むARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示する。

ここで、これら情報提供システムにおいて、前記印刷物を名刺とし、前記対象物を人物としてもよい。
ここで、以上の情報提供システムにおいて、前記ARコンテンツとしては、静止画または動画であるところの画像を用いることができる。
以上のような情報提供システムでは、撮影された印刷物の識別文字列／二次元コードが表す対象物の識別コードを認識し、認識した識別文字列／識別コードと、取得したARコンテンツ情報に含まれる対象物の識別文字列／識別コードとが一致する場合のみ、取得したARコンテンツ情報に含まれるARコンテンツの画像を、印刷物の撮影画像に合成表示する。

したがって、本発明によれば、ARコンテンツを、正しく対応する対象物の印刷物の撮影画像にのみ合成して表示することができる。したがって、前記対象物を人物とし、前記印刷物を名刺とした場合には、名刺に個人情報が記載されている人物に対応するARコンテンツを、正しく対応する人物の名刺の撮影画像にのみ合成して表示することができる。なお、印刷物を名刺とした場合には、識別文字列としては、名刺に印刷されている氏名を用いることができる。

以上のように、本発明によれば、名刺の映像に当該名刺の人物に対応するARコンテンツを合成して表示するAR表示を行うと共に、当該AR表示において、ARコンテンツを正しく対応する人物の名刺の撮影画像にのみ合成して表示することができる。

本発明の実施形態に係る情報提供システムの構成を示すブロック図である。 本発明の実施形態に係るスマートデバイスの構成を示すブロック図である。 本発明の実施形態に係るARコンテンツデータベースとARコンテンツデータセットの内容を示す図である。 本発明の実施形態に係る名刺を示す図である。 本発明の実施形態に係るARコンテンツ取得処理を示すフローチャートである。 本発明の実施形態に係るAR表示処理を示すフローチャートである。 本発明の実施形態に係るAR表示例を示す図である。 本発明の実施形態に係るAR表示処理の他の例を示すフローチャートである。 本発明の実施形態に係るAR表示処理の他の例を示すフローチャートである。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る情報提供システムの構成を示す。
図示するように、情報提供システムは、ARサービスシステム１と、APPダウンロードサービスシステム２と、スマートデバイス３とを含んで構成される。
ARサービスシステム１とAPPダウンロードサービスシステム２は、インターネットなどのWAN４に接続しており、スマートデバイス３は移動通信網や無線ＬＡＮを介してWAN４に接続してARサービスシステム１やAPPダウンロードサービスシステム２にアクセスすることができる。

ここで、スマートデバイス３は、たとえば、スマートフォンやタブレット装置などである。
また、ARサービスシステム１は、Webサーバ１１と、ARコンテンツを蓄積したARコンテンツデータベース１２と、スマートデバイス３からの要求に応答して、ARコンテンツデータベース１２に格納されているARコンテンツをスマートデバイス３に転送するARコンテンツサーバ１３とを備えている。

次に、APPダウンロードサービスシステム２は、スマートデバイス用の各種アプリケーションのアプリケーションデータを蓄積したAPPデータベース２１と、スマートデバイス３からの要求に応答して、APPデータベース２１に格納されているアプリケーションデータをスマートデバイス３に転送するAPPダウンロードサーバ２２とを備えている。なお、アプリケーションデータは、スマートデバイス３で実行されるアプリケーションプログラムや当該アプリケーションプログラムが用いるデータをパッケージ化したものである。

ここで、図２にスマートデバイス３の構成を示す。
図示するように、スマートデバイス３は、操作部３０１、ディスプレイ３０２、マイクやスピーカなどを備えた音声入出力部３０３、無線通信を介して無線ＬＡＮに接続する無線インタフェース３０４、移動通信を介して移動通信網に接続する移動通信装置３０５、記憶装置３０６、カメラ３０７、その他の周辺デバイス３０８、スマートデバイス３のオペレーティングシステム３０９、オペレーティングシステム３０９上で稼働する複数のアプリケーションを備えている。

ここで、スマートデバイス３は、アプリケーションとして、移動通信装置３０５や音声入出力部３０３や操作部３０１を用いた移動電話機能を提供するアプリケーションであるテレフォン３１１、Webページの閲覧等を行うためのアプリケーションであるWebブラウザ３１２、アプリケーションをダウンロードしてスマートデバイス３にインストールするアプリケーションであるAPPダウンローダ３１３、AR表示を行うアプリケーションであるARクライアント３１４などを備えている。

ここで、ARクライアント３１４のアプリケーションデータは、APPダウンロードサービスシステム２のAPPデータベース２１に蓄積されている。そして、各スマートデバイス３のARクライアント３１４は、APPダウンロードサービスシステム２から、APPダウンローダ３１３がダウンロードして、スマートデバイス３にインストールしたものである。

なお、スマートデバイス３は、ハードウエアとしては、マイクロプロセッサやメモリやその他の周辺装置を備えたコンピュータを用いて構成されるものである、また、オペレーティングシステム３０９や各アプリケーションは、マイクロプロセッサが所定のプログラムを実行することにより実現されるものである。

次に、ARサービスシステム１のARコンテンツデータベース１２の内容を図３ａに示す。
図３ａ１に示すように、ARコンテンツデータベース１２には、パーソナル管理データベース１２１と、メディアデータベース１２２とより構成される。
そして、パーソナル管理データベース１２１には、ARサービスシステム１に登録されているユーザである登録ユーザ毎に対応して設けたパーソナル管理テーブルが格納されており、メディアデータベース１２２には、ARコンテンツとしてARサービスシステム１が提供する画像や動画などの画像のファイルであるメディアファイルが格納されている。

次に、図３ａ２に示すように、パーソナル管理テーブルには、対応する登録ユーザの識別子であるパーソナルID、パーソナルデータ、名刺データ、フロントサイドコンテンツファイルポインタ、バックサイドコンテンツファイルポインタなどが格納されている。

そして、パーソナルデータには、日本語表記と英語表記のそれぞれについて、対応する登録ユーザの氏、名、会社、部署、役職、住所、電話、メールなどの個人情報が登録される。

また、名刺データには、名刺のおもて面とうら面のそれぞれについて、対応する登録ユーザの名刺のレイアウトのタイプや、対応するユーザの名刺に印刷されている二次元コードが登録されている。ここで、二次元コードとしては、たとえば、QRコード（登録商標）を用いることができる。

そして、フロントサイドコンテンツファイルポインタには、メディアデータベース１２２に格納されている、対応する登録ユーザの名刺のおもて面のAR表示に用いる（おもて面の映像に合成する）静止画像や動画などの画像のメディアファイルを示すポインタ情報が登録される。ここで、フロントサイドコンテンツファイルポインタが示すメディアファイルとしては、たとえば、対応する登録ユーザの写真の画像ファイルなどを用いる。

また、バックサイドコンテンツファイルポインタには、メディアデータベース１２２に格納されている、対応する登録ユーザの名刺の裏面のAR表示に用いる（おもて面の映像に合成する）静止画像や動画などの画像のメディアファイルを示すポインタ情報が登録される。ここで、バックサイドコンテンツファイルポインタが示すメディアファイルとしては、たとえば、対応する登録ユーザの会社のＰＲ用の動画の動画ファイルなどを用いる。

次に、図４に、登録ユーザの名刺の例を示す。
図４ａは名刺のおもて面を、図４ｂは名刺の裏面を表したものである。
ここで、このようなARサービスシステム１の各登録ユーザの名刺は、ARサービスシステム１に登録されている、当該登録ユーザのパーソナル管理テーブルに登録されているレイアウトタイプに従って、当該登録ユーザのパーソナル管理テーブルに登録されているパーソナルデータの各項目をレイアウトしたものとなっている。なお、ARサービスシステム１の各登録ユーザの名刺は、ARサービスシステム１に登録された当該登録ユーザのパーソナル管理テーブルに登録されているレイアウトタイプとパーソナルデータとに従って印刷され、各登録ユーザに配布されるものであってもよい。

図示した例では、名刺のおもて面は日本語表記の名刺となっており、名刺の裏面は英語表記の名刺となっている。また、名刺のおもて面には、二次元コードである二次元コード４０１が印刷されている。

ここで、図４ｃに示すように、名刺に印刷する二次元コード４０１は、名刺が情報提供システムの登録ユーザの名刺であって、ARサービスシステム１に対応する名刺であることを表す文字列（card_ARservice）と、名刺の登録ユーザのパーソナルＩＤ（541ahdi744）を示す文字列（pid=541ahdi744）とを含んでいる。

以下、スマートデバイス３においてARクライアント３１４を用いて、登録ユーザの名刺のAR表示を行う動作について説明する。
この場合、ARサービスシステム１の登録ユーザの名刺を受領したスマートデバイス３のユーザである受領ユーザは、まず、ARクライアント３１４を起動し、カメラ３０７で名刺に印刷されている二次元コードを撮影する。

一方、起動されたARクライアント３１４は、図５に示すARコンテンツ取得処理を実行する。
図示するように、ARクライアント３１４はARコンテンツ取得処理において、カメラ３０７の撮影画像を取得しディスプレイ３０２に表示する処理を開始する（ステップ５０２）。そして、以降は、カメラ３０７で撮影された画像中の二次元コードを認識する（ステップ５０４）動作を、認識が成功するまで（ステップ５０６）繰り返す。

そして、二次元コードの認識が成功したならば、二次元コードが表す文字列をデコードし、デコードした文字列中のパーソナルＩＤを抽出する（ステップ５０８）。ここで、ステップ５０８では、二次元コードをデコードした文字列が、上述した名刺がARサービスシステム１に対応する名刺であることを表す文字列（card_ARservice）を含んでるかどうかを判定し、含んでいる場合に、二次元コードをデコードした文字列に含まれているパーソナルＩＤを示す文字列（pid=541ahdi744）より、パーソナルＩＤ（541ahdi744）を識別して抽出すると共に、パーソナルＩＤの抽出成功とする。一方、二次元コードをデコードした文字列が、上述した名刺がARサービスシステム１に対応する名刺であることを表す文字列（card_ARservice）を含んでいない場合には、その二次元コードは、情報提供システムの登録ユーザの名刺に印刷された二次元コードでないので、パーソナルＩＤの抽出失敗とする。

そして、パーソナルＩＤの抽出に失敗した場合には（ステップ５１０）、ステップ５０４からの処理に戻る。
一方、パーソナルＩＤの抽出に成功した場合には（ステップ５１０）ARクライアント３１４は抽出したパーソナルＩＤのARコンテンツの転送要求をARサービスシステム１のARコンテンツサーバ１３に送信する（ステップ５１２）。

一方、ARコンテンツの転送要求を受けたARコンテンツサーバ１３は、パーソナル管理データベース１２１から、ARコンテンツを要求されたパーソナルＩＤが登録されたパーソナル管理テーブルを読み出し、読み出したパーソナル管理テーブルのフロントサイドコンテンツファイルポインタが示すメディアファイルをメディアデータベース１２２より読み出してフロントサイドコンテンツファイルとする共に、読み出したパーソナル管理テーブルのバックサイドコンテンツファイルポインタが示すメディアファイルをメディアデータベース１２２より読み出してバックサイドコンテンツファイルとする。また、読み出したパーソナル管理テーブルのパーソナルＩＤとパーソナルデータを含めたパーソナル管理データを作成する。

そして、図３ｂに示すように、作成したパーソナル管理データ、フロントサイドコンテンツファイル、バックサイドコンテンツファイルを含めたARコンテンツデータセットを作成し、ARクライアント３１４に送信する。

さて、ARクライアント３１４は、ARコンテンツサーバ１３からARコンテンツデータセットを受信したならば（ステップ５１４）、受信したARコンテンツデータセットを記憶装置３０６に保存する（ステップ５１６）。

そして、AR表示処理を起動し（ステップ５１８）、ARコンテンツ取得処理を終了する。
以上、ARクライアント３１４が行うARコンテンツ取得処理について説明した。
次に、このようなARコンテンツ取得処理のステップ５１８で起動されるAR表示処理について説明する。
AR表示処理は、ARクライアント３１４が行う処理であり、図６に示すように、AR表示処理において、ARクライアント３１４は、まず、カメラ３０７の撮影画像を取得しディスプレイ３０２に表示する処理を開始する（ステップ６０２）。そして、以降は、カメラ３０７で撮影された画像中の文字列を認識するOCR（optical character recognition）動作を（ステップ６０４）、AR表示の終了をユーザから指示されるか（ステップ６０６）、OCR動作による文字列の認識が成功するまで（ステップ６０８）を行う。

そして、AR表示終了をユーザから指示されたならば（ステップ６０６）、AR表示処理を終了する。
一方、文字列の認識が成功したならば（ステップ６０８）、以下の処理を行う。
すなわち、保存してあるARコンテンツデータセット中のパーソナル管理データのおもて面の氏名と一致する文字列が認識した文字列中に含まれている場合には（ステップ６１０）、おもて面の氏名と一致する文字列を認識した画像パターンをマーカーとして用い、当該画像パターンの大きさと向きと位置より、撮影画像中の名刺の画像部分を算定し、算定した名刺の画像に対する、相対的な位置、相対的な向き、相対的な大きさが、予め定めた相対的な位置、相対的な向き、相対的な大きさとなるように、フロントサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する（ステップ６１２）。

そして、ステップ６０４からの処理に戻る。
ここで、ステップ６１２では、たとえば、図７ａ１のように撮影された名刺のおもて面の撮影画像７０１をディスプレイ３０２に表示している状態で、カメラ３０７の撮影画像から、おもて面の氏名と一致する文字列の認識に成功したならば、図７ａ２に示すように、おもて面の氏名と一致する文字列を認識した画像パターン７０の大きさと向きと位置に応じて、表示されている名刺のおもて面の画像７０１上に、フロントサイドコンテンツファイルの画像７０２を、名刺の向きに一致する向きで、名刺の画像からはみ出さない大きさで、画像７０２中の二次元コードに重なる位置に表示されるように合成表示する。なお、より具体的には、たとえば、撮影画像中の名刺の画像部分７０１の上下左右方向は、文字を認識した画像パターン７０の文字の上下左右に対応する方向として求まり、撮影画像中の名刺の画像部分の大きさは、氏名の文字を認識した画像パターン７０中の、１文字または複数の文字に対応する部分の大きさより、名刺サイズと名刺への氏名の印刷サイズとの関係に従って求まり、撮影画像中の名刺の画像部分の位置は、氏名の最初の文字を認識した画像パターン７０の位置より、名刺上の氏名のレイアウトに従って求まる。

一方、保存してあるARコンテンツデータセット中のパーソナル管理データの裏面の氏名と一致する文字列が認識した文字列中に含まれている場合には（ステップ６１４）、裏面の氏名と一致する文字列を認識した画像パターンをマーカーとして用い、当該画像パターンの大きさと向きと位置より、撮影画像中の名刺の画像部分を算定し、算定した名刺の画像に対する、相対的な位置、相対的な向き、相対的な大きさが、予め定めた相対的な位置、相対的な向き、相対的な大きさとなるように、バックサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する（ステップ６１６）。

そして、ステップ６０４からの処理に戻る。
ここで、ステップ６１６では、たとえば、図７ｂ１のように撮影された名刺の裏面の撮影画像７１１をディスプレイ３０２に表示している状態で、カメラ３０７の撮影画像から、裏面の氏名と一致する文字列の認識に成功したならば、図７ｂ２に示すように、裏面の氏名と一致する文字列を認識した画像パターン７０の大きさと向きと位置に応じて、表示されている名刺の裏面の画像７１１上に、バックサイドコンテンツファイルの画像７１２を、当該画像７１２が、撮影画像中の名刺の向きに一致する向きで、撮影画像中の名刺裏面いっぱいに表示されるように合成表示する。

また、保存してあるARコンテンツデータセット中のパーソナル管理データのおもて面の氏名と一致する文字列も、パーソナル管理データの裏面の氏名と一致する文字列も認識した文字列中に含まれていない場合には（ステップ６１４）、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにした上で（ステップ６１８）、ステップ６０４からの処理に戻る。

さて、以上のようなAR表示処理の動作において、ステップ６０６で、文字列の認識の成功が検出されなかった場合、すなわち、認識の失敗が発生した場合には、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにする（ステップ６２０）。

以上、ARクライアント３１４が行うAR表示処理について説明した。
以上、本発明の実施形態について説明した。
以上のように本実施形態では、撮影された名刺の氏名をOCR動作によって認識し、認識した氏名と、取得したARコンテンツデータセットに登録されている氏名とが一致する場合のみ、取得したARコンテンツデータセットのARコンテンツ（フロントサイドコンテンツファイルやバックサイドコンテンツファイル）の画像を、名刺の撮影画像に合成表示する。

したがって、本実施形態によれば、ARコンテンツを正しく対応する人物の名刺の撮影画像にのみ合成して表示することができる。
ところで、以上の実施形態は、図６に示したAR表示処理に代えて、図８に示すAR表示処理を行うようにしてもよい。
図示するように、図８に示したAR表示処理において、ARクライアント３１４は、カメラ３０７の撮影画像を取得しディスプレイ３０２に表示する処理を開始する（ステップ８０２）。そして、以降は、カメラ３０７で撮影された画像中の二次元コードを認識する動作を（ステップ８０４）、AR表示の終了をユーザから指示されるか（ステップ８０６）、二次元コードの認識が成功するまで（ステップ８０８）を行う。

そして、AR表示終了をユーザから指示されたならば（ステップ８０６）、AR表示処理を終了する。
一方、二次元コードの認識が成功したならば（ステップ８０８）、以下の処理を行う。
すなわち、認識した二次元コードをデコードした文字列から識別されるパーソナルＩＤが、保存してあるARコンテンツデータセット中のパーソナル管理データのパーソナルＩＤと一致する場合には（ステップ８１０）、撮影画像中の二次元コードをマーカーとして用い、当該二次元コードの大きさと向きと位置より、撮影画像中の名刺の画像部分を算定し、算定した名刺の画像に対する、相対的な位置、相対的な向き、相対的な大きさが、予め定めた相対的な位置、相対的な向き、相対的な大きさとなるように、フロントサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する（ステップ８１２）。ただし、ステップ８１０では、認識した二次元コードをデコードした文字列に、名刺がARサービスシステム１に対応する名刺であることを表す文字列（card_ARservice）を含んでいない場合には、パーソナルＩＤの識別失敗とする。

そして、ステップ８０４からの処理に戻る。
一方、認識した二次元コードをデコードした文字列から識別されるパーソナルＩＤが、保存してあるARコンテンツデータセット中のパーソナル管理データのパーソナルＩＤと一致しない場合や、パーソナルＩＤの識別に失敗した場合には（ステップ８１４）、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにした上で（ステップ８１４）、ステップ８０４からの処理に戻る。

なお、以上のようなAR表示処理の動作において、ステップ８０６で、二次元コードの認識が検出されなかった場合にも、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにする（ステップ８１４）。

このようなAR表示処理によれば、撮影された名刺に印刷されている二次元コードを認識し、二次元コードが表すパーソンルＩＤに対応するARコンテンツデータセットを取得すると共に、その後に撮影された名刺に印刷されている二次元コードが、取得したARコンテンツデータセットに登録されているパーソナルＩＤと一致する場合のみ、取得したARコンテンツデータセットのARコンテンツ（フロントサイドコンテンツファイルやバックサイドコンテンツファイル）の画像を、名刺の撮影画像に合成表示する。

したがって、図８に示したAR表示処理によっても、ARコンテンツを正しく対応する人物の名刺の撮影画像にのみ合成して表示することができる。
なお、図８に示したAR表示処理では、名刺の二次元コードが印刷されているおもて面についてのみ名刺の撮影画像にフロントサイドコンテンツファイルの画像を合成表示するAR表示を行ったが、これは、名刺の裏面についても、図６に示したAR表示処理と同様の処理により、名刺の撮影画像にバックサイドコンテンツファイルの画像を合成表示するAR表示を行うようにしてもよい。

ここで、以上の実施形態は、各時点において、ARクライアント３１４が上述したARコンテンツ取得処理で取得したARコンテンツデータセットを記憶装置３０６に蓄積すると共に、AR表示処理をユーザのAR表示開始指示操作に応じて随時実行するように、ARクライアント３１４を構成した上で、AR表示処理として図９に示すAR表示処理を行うようにしてもよい。

図示するように、図９に示したAR表示処理において、ARクライアント３１４は、カメラ３０７の撮影画像を取得しディスプレイ３０２に表示する処理を開始する（ステップ９０２）。そして、以降は、カメラ３０７で撮影された画像中の文字列を認識するOCR（optical character recognition）動作を（ステップ９０４）、AR表示の終了をユーザから指示されるか（ステップ９０６）、文字列の認識が成功するまで（ステップ９０８）を行う。

そして、AR表示終了をユーザから指示されたならば（ステップ９０６）、AR表示処理を終了する。
一方、文字列の認識が成功したならば（ステップ９０８）、以下の処理を行う。
すなわち、記憶装置３０６に蓄積されている、いずれかのARコンテンツデータセット中のパーソナル管理データのおもて面の氏名と一致する文字列が認識した文字列中に含まれている場合には（ステップ９１０）、おもて面の氏名と一致する文字列を認識した画像パターンをマーカーとして用いて、名刺の画像に対する、相対的な位置、相対的な向き、相対的な大きさが、予め定めた相対的な位置、相対的な向き、相対的な大きさとなるように、認識した文字列中の文字列と一致するおもて面の氏名が登録されている管理データを含むARコンテンツデータセット中のフロントサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する（ステップ９１２）。

そして、ステップ９０４からの処理に戻る。
一方、記憶装置３０６に蓄積されている、いずれかのARコンテンツデータセット中のパーソナル管理データの裏面の氏名と一致する文字列が認識した文字列中に含まれている場合には（ステップ９１４）、裏面の氏名と一致する文字列を認識した画像パターンをマーカーとして用いて、名刺の画像に対する、相対的な位置、相対的な向き、相対的な大きさが、予め定めた相対的な位置、相対的な向き、相対的な大きさとなるように、認識した文字列中の文字列と一致する裏面の氏名が登録されている管理データを含むARコンテンツデータセット中のバックサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する（ステップ９１６）。

また、記憶装置３０６に蓄積されている、いずれかのARコンテンツデータセット中のパーソナル管理データのおもて面の氏名と一致する文字列も、記憶装置３０６に蓄積されている、いずれかのARコンテンツデータセット中のパーソナル管理データの裏面の氏名と一致する文字列も、認識した文字列中に含まれていない場合には（ステップ９１４）、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにした上で（ステップ９１８）、ステップ９０４からの処理に戻る。

さて、以上のようなAR表示処理の動作において、ステップ９０８で、文字列の認識の成功が検出されなかった場合、すなわち、認識の失敗が発生した場合には、その時点で、以上のような合成表示を行っている場合には、合成表示を解除し、カメラ３０７の撮影画像のみが表示されるようにする（ステップ９２０）。

このようにすることにより、名刺が撮影されると、蓄積しておいたARコンテンツデータセットのうちの、撮影した名刺の登録ユーザに対応するARコンテンツデータセットのARコンテンツ（フロントサイドコンテンツファイルやバックサイドコンテンツファイル）の画像が、当該名刺の撮影画像に合成表示されることとなるので、受領ユーザは、随時、登録ユーザの名刺を撮影するだけで、その名刺のAR表示を利用することができるようになる。

なお、ARクライアント３１４は、図９に示すAR表示処理に代えて、図８に示すAR表示処理のステップ８１０、８１２を、記憶装置３０６に蓄積されている、いずれかのARコンテンツデータセット中のパーソナルＩＤが、認識した二次元コードをデコードした文字列によって示されているかどうかを調べ、示されていない場合にステップ８１４に進み、示されている場合に、認識した文字列によって示されるパーソナルＩＤが登録されている管理データを含むARコンテンツデータセット中のフロントサイドコンテンツファイルの画像の大きさや向きや配置位置を調整して、当該画像を名刺の画像上に合成表示する処理に置換した処理を行うようにしてもよい。

このようにしても、受領ユーザは、随時、登録ユーザの名刺を撮影するだけで、その名刺のAR表示を利用することができるようになる。
また、以上の実施形態において、ARコンテンツは、音声、または、音声と画像を組み合わせたものであってもよい。この場合、AR表示処理では、撮影した名刺の登録ユーザに対応するARコンテンツデータセットに含まれる音声について、これを再生出力する処理を行う。

また、以上の実施形態は、カタログ、パンフレット、会社案内、ポスター、雑誌や本、電車の吊り広告、看板、印刷がなされた自動車や飛行機の車体や機体などの、名刺以外の印刷物についても同様に適用することができる。

すなわち、この場合には、ユーザを印刷物が情報を表している対象物に置換し、氏名を対象物の識別を表す文字列に置換し、二次元コードを対象物の識別を表すものとして、以上の実施形態を適用すればよい。なお、対象物の識別を表す文字列としては、たとえば、印刷物が、製品のカタログやパンフレットであれば、製品の製品名や型番の文字列を用い、会社案内であれば、会社名の文字列を用いる。

１…ARサービスシステム、２…APPダウンロードサービスシステム、３…スマートデバイス、４…WAN、１１…Webサーバ、１２…ARコンテンツデータベース、１３…ARコンテンツサーバ、２１…APPデータベース、２２…APPダウンロードサーバ、７０…画像パターン、１２１…パーソナル管理データベース、１２２…メディアデータベース、３０１…操作部、３０２…ディスプレイ、３０３…音声入出力部、３０４…無線インタフェース、３０５…移動通信装置、３０６…記憶装置、３０７…カメラ、３０８…周辺デバイス、３０９…オペレーティングシステム、３１１…テレフォン、３１２…Webブラウザ、３１３…APPダウンローダ、３１４…ARクライアント。

Claims (12)

1. 印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムであって、
   端末装置と、
   対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別を表す文字列である識別文字列と対応づけて記憶したARコンテンツサーバとを有し、
   前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段とを有し、
   前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に情報が記載されている対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得し、
   前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に記載されている識別文字列を認識し、認識した識別文字列が、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別文字列と一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示することを特徴とする情報提供システム。
2. 印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムであって、
   端末装置と、
   対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別を表す文字列である識別文字列と対応づけて記憶したARコンテンツサーバとを有し、
   前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段と、記憶装置を有し、
   前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に情報が記載されている対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得して、前記記憶装置に蓄積し、
   前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に記載されている識別文字列を認識し、認識した識別文字列が、前記記憶装置に記憶されているいずれかのARコンテンツ情報に含まれる識別文字列と一致した場合に、当該認識した識別文字列と一致する識別文字列を含むARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示することを特徴とする情報提供システム。
3. 請求項１または２記載の情報提供システムであって、
   前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、
   前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードが示す対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含むARコンテンツ情報を前記ARコンテンツ情報として前記ARコンテンツサーバから取得することを特徴とする情報提供システム。
4. 請求項１、２または３記載の情報提供システムであって、
   前記印刷物は名刺であり、前記対象物は人物であり、前記識別文字列は当該識別文字列が識別を表す人物の氏名であることを特徴とする情報提供システム。
5. 印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムであって、
   端末装置と、
   対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別コードと対応づけて記憶したARコンテンツサーバとを有し、
   前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段とを有し、
   前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、
   前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードに対応づけて記憶されているARコンテンツと当該ARコンテンツに対応づけられている識別コードとを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得し、
   前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードを識別し、識別した識別コードが、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別コードと一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示することを特徴とする情報提供システム。
6. 印刷物に情報が記載されている対象物に対応するARコンテンツを、当該印刷物を撮影した画像に合成して表示するAR表示を行う情報提供システムであって、
   端末装置と、
   対象物毎に当該対象物に対応して設けられたARコンテンツを、当該対象物の識別コードと対応づけて記憶したARコンテンツサーバとを有し、
   前記端末装置は、カメラと、ARコンテンツ取得手段と、AR表示手段と、記憶装置とを有し、
   前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、
   前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードに対応づけて記憶されているARコンテンツと当該ARコンテンツに対応づけられている識別コードとを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得して、前記記憶装置に蓄積し、
   前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードを識別し、識別した識別コードが、前記記憶装置に記憶されているいずれかのARコンテンツ情報に含まれる識別コードと一致した場合に、当該認識した識別コードと一致する識別コードを含むARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示することを特徴とする情報提供システム。
7. 請求項５または６記載の情報提供システムであって、
   前記印刷物は名刺であり、前記対象物は人物であることを特徴とする情報提供システム。
8. 請求項１、２、３、４、５、６または７記載の情報提供システムであって、
   前記ARコンテンツは、静止画または動画であるところの画像であることを特徴とする情報提供システム。
9. カメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
   前記コンピュータを、
   対象物毎に当該対象物に対応して設けられたARコンテンツを当該対象物の識別を表す文字列である識別文字列と対応づけて記憶したARコンテンツサーバにアクセスし、前記カメラが撮影した印刷物に情報が記載されている対象物に対応するARコンテンツと当該ARコンテンツに対応づけられている識別文字列とを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得するARコンテンツ取得手段と、
   前記カメラが撮影した印刷物の画像から当該印刷物に記載されている識別文字列を認識し、認識した識別文字列が、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別文字列と一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示するAR表示手段として機能させることを特徴とするコンピュータプログラム。
10. 請求項９記載のコンピュータプログラムであって、
    前記印刷物は名刺であり、前記対象物は人物であり、前記識別文字列は当該識別文字列が識別を表す人物の氏名であることを特徴とするコンピュータプログラム。
11. カメラを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
    当該コンピュータプログラムは、前記コンピュータを、ARコンテンツを取得するARコンテンツ取得手段と、印刷物の画像上に取得したARコンテンツを合成した表示を行うAR表示手段として機能させ、
    前記印刷物には、当該印刷物に情報が記載されている対象物の識別コードを表す文字列を二次元コード化した二次元コードが印刷されており、
    前記ARコンテンツ取得手段は、前記カメラが撮影した印刷物に印刷されている二次元コードをデコードすると共に、対象物毎に当該対象物に対応して設けられたARコンテンツを当該対象物の識別コードと対応づけて記憶したARコンテンツサーバにアクセスし、デコードした文字列が表す識別コードに対応づけて記憶されているARコンテンツと当該ARコンテンツに対応づけられている識別コードとを含む情報をARコンテンツ情報として前記ARコンテンツサーバから取得し、
    前記AR表示手段は、前記カメラが撮影した印刷物の画像から当該印刷物に印刷されている二次元コードをデコードし、デコードした文字列が表す識別コードを識別し、識別した識別コードが、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれる識別コードと一致した場合に、前記ARコンテンツ取得手段が取得したARコンテンツ情報に含まれるARコンテンツを前記カメラが撮影した印刷物の画像に合成して表示することを特徴とするコンピュータプログラム。
12. 請求項１１記載のコンピュータプログラムであって、
    前記印刷物は名刺であり、前記対象物は人物であり、前記識別文字列は当該識別文字列が識別を表す人物の氏名であることを特徴とするコンピュータプログラム。