JP2013236282A - 情報通信プログラム、情報通信装置及び配信サーバ - Google Patents

Abstract

【課題】撮像部を商品に向けて撮像するという直感的な操作方法で、商品に関連する情報を容易に得る。
【解決手段】商品の外観の特徴データ及び商品の識別情報を記憶する特徴データ記憶部２０、商品の外観を撮像する撮像部１１、撮像されたライブビュー画像を表示する表示部１３、ライブビュー画像から商品の外観の特徴データを抽出する特徴抽出部２２ａ、特徴データを抽出された商品を識別する識別表示を、ライブビュー画像とともに表示部１３に表示させる表示制御部２７、特徴データ記憶部２０に記憶された特徴データのうち、特徴抽出部２２ａにより抽出された特徴データと一致する特徴データを判定するマッチング部２３、一致すると判定された特徴データの商品に関する情報の再生データを要求する要求部２４、受信した再生データを一時的に保持する再生データバッファ部２５、再生データを再生する再生制御部２６を有する。
【選択図】図２

Description

本発明は、たとえば店舗等において、販売している商品に関連する情報を知得するための情報通信プログラム、情報通信装置及び配信サーバに関する。

ＣＤショップなどの現実の店舗において、ユーザが、商品であるＣＤの試聴をしたい場合がある。この場合、店舗にＣＤを試聴するための再生装置が設置されていれば、ユーザは、この再生装置を用いてヘッドホンにより試聴できる。

しかし、このような再生装置は、選曲や再生のための操作が面倒である。特に、再生装置に付された番号によって所望のＣＤを選択する場合、その番号がどのＣＤに相当するのかを確認する手間がかかる。したがって、直感的に目的のＣＤを選択することができなかった。

また、一つの再生装置において再生できるＣＤは数枚程度である。このため、ユーザが試聴できるＣＤの数は、非常に少なかった。しかも、同時に試聴できる人数が、設置された再生装置及びヘッドホンの数に制約されてしまう。さらに、他人が使用したヘッドホンを使用することに、衛生面での抵抗を感じる人も存在する。

これに対処するため、携帯電話等を用いて、ＣＤのジャケットに表示されたバーコード等の識別情報を読み取り、配信元から、インターネットを介して、試聴データをダウンロードして再生する技術が、特許文献１に開示されている。

特開２００３−３２３３６８号公報

しかしながら、上記の従来技術では、バーコードの撮像、バーコードの識別、ＵＲＬ表示、ＵＲＬ表示の選択によるインターネットへの接続、ファイルの選択等の手順が必要となる。

この場合、ユーザは、表示された文字を確認しながら、選択操作を実行しなければならず、また、入力ミスによるやり直しも頻繁に発生していた。特に、文字情報のみによる選択では、本当に所望の商品についての情報を選択しているかどうか、直感的に判断できなかった。

本発明は、上記のような従来技術の問題点を解決するもので、その目的は、直感的な操作方法で、商品に関連する情報を容易に得ることができる情報通信プログラム、情報通信装置、配信サーバを提供することにある。

上記の目的を達成するため、本発明の情報通信プログラムは、送受信部、撮像部、表示部に接続されたコンピュータに、商品の外観の特徴データ及びその商品の識別情報若しくは商品のコンテンツの画像の特徴データ及びそのコンテンツの識別情報を記憶する特徴データ記憶処理と、撮像部に商品の外観若しくは商品のコンテンツの画像を撮像させる撮像処理と、前記撮像部により撮像されたライブビュー画像を表示部に表示させる表示制御処理と、前記ライブビュー画像から、商品の外観若しくは商品のコンテンツの画像の特徴データを抽出する特徴抽出処理と、前記特徴データ記憶処理により記憶された特徴データと、前記特徴抽出処理により抽出された特徴データとのマッチングにより、撮像された商品若しくはコンテンツを特定するマッチング処理と、前記マッチング処理により特定された商品若しくはコンテンツの識別情報に基づいて、商品若しくはコンテンツに関する情報の再生データの要求を、前記送受信部に送信させる要求処理と、前記要求処理による要求に応じて送受信部が受信した再生データを、一時的に保持する再生データバッファ処理と、前記再生データバッファ処理により保持された再生データを再生する再生制御処理と、を実行させることを特徴とする。

この発明は、上記の各処理の機能を実現する情報通信装置として捉えることもできる。

他の態様は、前記コンピュータに、前記特徴抽出処理により特徴データが抽出された商品の外観若しくは商品のコンテンツの画像を識別する識別表示を、前記ライブビュー画像とともに前記表示部に表示させる識別表示制御処理を実行させることを特徴とする。

他の態様は、前記コンピュータに、前記ライブビュー画像に含まれる複数の商品若しくは複数のコンテンツについて、前記特徴抽出処理を実行させることを特徴とする。
他の態様は、前記コンピュータに、前記マッチング処理により一つの商品若しくは一つのコンテンツを特定させた後、他の商品若しくはコンテンツについてのマッチング処理を停止する停止モードとさせることを特徴とする。

他の態様は、前記特徴データには、商品の外観若しくは商品のコンテンツの画像の寸法に関する情報が含まれ、前記コンピュータに、前記特徴抽出処理により抽出された前記寸法に関する情報に基づいて、商品若しくはコンテンツの画像と撮像部との距離を判定させる距離判定処理と、前記距離判定処理により判定された距離に応じて、前記再生制御処理による再生音量を変える処理を実行させることを特徴とする。

他の態様は、前記再生制御処理は、前記商品若しくはコンテンツに対応する再生データが複数存在する場合に、いずれかの再生データを選択するためのリスト表示を、前記表示部に表示させる処理を含むことを特徴とする。

他の態様は、前記再生制御処理は、前記ライブビュー画像とともに、前記再生データとしての動画像を、前記表示部に表示させる処理を含むことを特徴とする。
他の態様は、前記コンピュータに、前記ライブビュー画像とともに、前記再生データとしてのポップアップ画像を、前記表示部に表示させる処理を実行させることを特徴とする。

他の態様は、前記特徴データには、商品の外観若しくは商品のコンテンツの画像の寸法に関する情報が含まれ、前記コンピュータに、前記特徴抽出処理により抽出された前記寸法に関する情報に基づいて、複数の商品若しくは複数のコンテンツの画像と撮像部との距離を判定させる距離判定処理と、前記マッチング処理により特定された商品若しくはコンテンツが複数存在し、前記受信部が受信した当該複数の商品若しくは複数のコンテンツの再生データを前記再生制御処理により同時に再生する場合に、前記距離判定処理により判定された距離に応じて、各商品若しくは各コンテンツの再生データの再生音量を変える処理を実行させることを特徴とする。

他の態様は、前記コンピュータに、前記再生制御処理による再生データの再生を操作するユーザインタフェース部品として、前記表示部に表示された前記ライブビュー画像に含まれる複数の商品若しくは複数のコンテンツの領域を特定させる処理を含むことを特徴とする。

以上のような本発明によれば、撮像部を商品に向けて撮像するという直感的な操作方法で、商品に関連する情報を容易に得ることが可能な情報通信プログラム、情報通信装置及び配信サーバを提供することができる。

実施形態における情報通信システムを示す全体構成図 実施形態における情報通信装置を示すブロック図 実施形態における配信サーバを示すブロック図 情報通信システムの処理手順を示すシーケンス図 情報通信装置の処理手順を示すフローチャート 情報通信装置の初期画面例を示す図 情報通信装置の説明画面例を示す図 情報通信装置のライブビュー画像と認識表示例を示す図 情報通信装置のリスト表示例を示す図 情報通信装置の音量変更例を示す図 情報通信装置の複数同時認識例を示す図 情報通信装置の動画像表示例を示す図 情報通信装置のポップアップ画像表示例を示す図

次に、本発明を実施するための形態（以下「実施形態」と呼ぶ）について図面を参照して具体的に説明する。なお、本実施形態は、コンピュータとしてのスマートフォンやタブレット端末等の情報通信装置を、プログラムで制御することで実現できる。この場合のハードウェアやプログラムの実現態様は各種変更可能である。

また、本発明は、上記のようなプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。以下の説明では、本実施形態の各機能をブロックで図示した仮想的ブロック図を用いる。

［１．構成］
［１−１．全体構成］
まず、本実施形態は、図１に示すように、ネットワークＮを介した情報の送受信が可能な情報通信装置Ｐ及び配信サーバＳによって構成されている。ユーザが情報通信装置Ｐを用いて商品を撮像すると、ネットワークＮを介して配信サーバＳから再生データを受信して、これを再生する。本実施形態では、商品の一例としてＣＤを用い、撮像対象となる商品の外観の一例として、ジャケットＪ及びこれに含まれる表示を用いる。

［１−２．情報通信装置］
本実施形態の情報通信装置Ｐは、図２に示すように、一般的な携帯電話が備える送受信部１０、撮像部１１、音声出力部１２、表示部１３、入力部１４を有する。送受信部１０は、ネットワークＮを介して、配信サーバＳとの間で情報を送受信する処理部である。たとえば、送受信部１０は、ＷｉＦｉ等の無線ＬＡＮ及びインターネットへの接続機能を有する。

撮像部１１は、ジャケットＪを撮像する処理部である。たとえば、この撮像部１１は、レンズ等の光学部１１ａ、ＣＭＯＳやＣＣＤ等の受光素子であるイメージセンサ部１１ｂを有するカメラである。本実施形態は、以下に述べるように、撮像部１１により撮像したライブビュー画像を用いる。

このライブビュー画像とは、イメージセンサ部１１ｂが受光した光を変換した電気信号を、後述する表示部１３にリアルタイムで表示する画像データである。この画像データは、ＤＲＡＭ等の揮発性メモリに一時的に保持され、イメージプロセッサにより画像処理される画像データも含む。

ライブビュー画像は、逐次上書きされ、プログラムを終了させる、電源を切る等の処理により消失する。つまり、ライブビュー画像には、カメラのシャッターを切る処理等により、不揮発性メモリに記憶される画像データは含まれない。

音声出力部１２は、ユーザが聴取する音声を出力するヘッドホン、イヤホン、スピーカ等の出力装置である。無線により、ヘッドホン、イヤホン、スピーカ等に音声データを送信する送信装置も、音声出力部１２に含まれる。表示部１３は、ユーザが視覚的に認識する画像を表示するディスプレイ等の出力装置である。

入力部１４は、ユーザが、本実施形態の処理、操作に必要な情報を入力する入力装置である。この入力部１４は、表示部１３に構成されたタッチパネル、情報通信装置Ｐの筐体に構成されたスイッチを含む。ユーザは、表示部１３に構成されたタッチパネルを用いて、タップ、スワイプ等のスマートフォンによる入力操作が可能となる。さらに、マイクと音声認識部を備えた音声入力装置も、入力部１４に含まれる。つまり、本実施形態は、音声による操作も可能である。

また、情報通信装置Ｐは、特徴データ記憶部２０、解析部２２、マッチング部２３、要求部２４、再生データバッファ部２５、再生制御部２６、表示制御部２７、モード選択部２８を有する。

特徴データ記憶部２０は、ジャケットＪの特徴データを記憶する処理部である。この特徴データは、ジャケットＪの外観に関する特徴量を、あらかじめ抽出したデータである。特徴量としては、ジャケットＪの外形の形状、寸法、ジャケットＪに表示された図形、文字等の形状、寸法、位置、色彩の境界に関する情報等が考えられる。

特徴データは、ＣＤの識別情報であるＩＤと関連付けられて、後述する配信サーバＳにあらかじめ登録されている。そして、送受信部１０は、特徴データを、定期的に配信サーバＳからダウンロードする。ユーザによる装置若しくはプログラムの起動、入力部１４からの入力等に応じて、送受信部１０が特徴データをダウンロードしてもよい。

解析部２２は、撮像部１１により撮像されたライブビュー画像を解析する処理部である。この解析部２２は、特徴抽出部２２ａ、距離判定部２２ｂを有する。特徴抽出部２２ａは、ライブビュー画像から、ジャケットＪの特徴データを抽出する処理部である。外形や特徴部分の境界抽出等の手法は、公知の技術を適用可能である。

距離判定部２２ｂは、ジャケットＪと撮像部１１との距離を判定する処理部である。この距離の判定は、特徴抽出部２２ａにより解析された特徴データと、後述するマッチングに用いられる特徴データ記憶部２０に記憶された特徴データとに基づいて行われる。たとえば、実際のジャケットＪにおける外形や特徴部分の寸法と、撮像された画像における外形や特徴部分の寸法とを、角度の補正を行なって対比することにより、距離を求めることができる。

マッチング部２３は、特徴データ記憶部２０に記憶された特徴データと、特徴抽出部２２ａにより抽出された特徴データとをマッチングすることにより、撮像されたジャケットＪのＣＤを特定する処理部である。なお、特徴抽出部２２ａが抽出する特徴データは、特徴データ記憶部２０に記憶された特徴データとの照合により、商品を特定できればよい。このため、その商品についての特徴データの全部であっても一部であってもよい。したがって、必ずしも商品の全体がライブビュー画像内に収まっている必要はない。要求部２４は、マッチング部２３により特定されたＣＤのＩＤに基づいて、配信サーバＳに試聴用の再生データを要求する処理部である。再生データは、後述するように、音声、動画、静止画、テキストのデータを含む。

再生データバッファ部２５は、受信した試聴用の再生データを、一時的に保持するメモリである。たとえば、再生データバッファ部２５としては、再生データを保持するＤＲＡＭ等の揮発性メモリの記憶領域の一部を用いる。この再生データバッファ部２５は、逐次上書きされ、プログラムを終了させる、電源を切る等の処理により消失する。

再生制御部２６は、再生データバッファ部２５に保持された再生データに基づいて、音声出力部１２に音声出力させる処理部である。つまり、再生制御部２６は、再生データを受信しながらその再生を行うストリーミング再生を行う。この再生制御部２６による再生処理は、ＤＡ変換、音量調整、音質調整等を含む。

表示制御部２７は、表示部１３に表示させる情報を制御する処理部である。この情報は、ライブビュー画像、識別表示、リスト表示、ポップアップ画像、動画像などを含む。

識別表示は、特徴抽出部２２ａにより特徴データが抽出された商品を識別する表示である。この識別表示としては、たとえば、ジャケットＪの外形や、デザインを含む特徴部分を囲む枠を、所定の色の線で表示したものが例示できる（図８参照）。

リスト表示は、一つのＣＤに、複数の試聴用の再生データがある場合に、いずれか一つを選択するための表示である。このリスト表示としては、たとえば、曲名を並べて表示したものが例示できる（図９参照）。

ポップアップ画像は、ＣＤに関する文字や図形を、表示画面の所定の箇所に、色分けした背景とともに表示するものである。このポップアップ画像としては、たとえば、商品を勧める解説を表示したものが例示できる（図１１参照）。このポップアップ画像のデータは、表示画面における表示位置情報、若しくはライブビュー画像で認識された商品における位置情報とともに、再生データに含まれている。

動画像は、商品に関する動画像である。この動画像としては、たとえば、ライブビュー画像とともに若しくはライブビュー画像に変えて表示されるプロモーションビデオを例示できる（図１２参照）。なお、動画像には、商品としてＤＶＤ等の動画像を記録した媒体を用いる場合、再生データとしてのトレーラ等の宣伝用画像も含まれる。また、動画像には、商品としてゲームを用いる場合、再生データとしてのプレイ画面等の宣伝用画像も含まれる。なお、表示制御部２７は、これらの情報のそれぞれについての表示制御部として機能する。

さらに、表示制御部２７は、ユーザインタフェース（ＵＩ）制御部を有している。このＵＩ制御部は、表示部１３に表示されたライブビュー画像のうち、特徴抽出部２２ａにより特徴データが抽出された領域を、再生制御部２６による再生処理を操作するためのＵＩの領域として特定する処理部である。つまり、ＵＩ制御部は、タッチパネルにより再生処理を操作可能な領域として、ライブビュー画像に含まれる商品や商品の特徴部分の画像の領域を特定する。これにより、ユーザは、商品やその特徴部分をスワイプやタッチすることによって、再生処理を操作できる。

また、本実施形態は、ライブビュー画像に基づいて、再生データへアクセスできる他、この画像に付加された様々な情報が得られるという機能から、いわゆる拡張現実、ＡＲ（Augmented Reality）の新たな態様ということができる。

ここで、上記のように商品の外観の認識を、複数の商品に対して連続して若しくは同時に行うことを許容するモードをＡＲモードと呼ぶ。また、一旦、一つの商品を認識したら、他の商品の認識を停止させるモードを停止モードと呼ぶ。

モード選択部２８は、マッチング部２３による処理をＡＲモードとするか、停止モードとするかを選択する処理部である。たとえば、デフォルトでは、ＡＲモードが選択されている。そして、入力部１４からの入力に応じて、モード選択部２８が停止モードへ切り替え、その後、適宜、ＡＲモードへ復帰させる。

停止モードとさせる入力部１４からの入力としては、リスト表示を指示するボタンの選択がある（図８参照）。また、ＡＲモードへ復帰させる入力部１４からの入力としては、ＡＲに戻るボタンの選択がある（図９参照）。

なお、情報通信装置Ｐは、典型的には、スマートフォンにアプリケーションプログラム（以下、単に、アプリと呼ぶ）をインストールすることにより構成できる。このため、上記の各部の処理に必要な設定、演算式、パラメータ等は、アプリに含まれ、あらかじめ内蔵の若しくはリムーバブルなメモリに記憶されている。

［１−３．配信サーバ］
本実施形態の配信サーバＳは、図３に示すように、商品の販売会社、店舗等において管理されるサーバであり、記憶部１１０、配信制御部１２０を有する。記憶部１１０は、配信用の情報を記憶する処理部である。この記憶部１１０は、上記のアプリ、特徴データ、再生データを記憶している。アプリのバージョン、特徴データ及び再生データは、適宜、更新される。たとえば、新譜の販売状況に応じて、特徴データ及び再生データは更新される。

配信制御部１２０は、送受信部１２１、アプリ配信部１２２、特徴データ配信部１２３、要求取得部１２４、検索部１２５、再生データ配信部１２６を有している。送受信部１２１は、ネットワークＮを介して、情報通信装置Ｐ及び他のサーバとの間で情報を送受信する処理部である。たとえば、送受信部１２１は、インターネットへの接続機能を有する。

アプリ配信部１２２は、情報通信装置Ｐからの本実施形態のアプリのダウンロード要求に応じて、当該アプリを配信する処理部である。

特徴データ配信部１２３は、所定のタイミングで、上記の特徴データを情報通信装置Ｐに配信する処理部である。このタイミングは、自由に設定可能である。たとえば、まず、特徴データ配信部１２３は、アプリの配信と同時に、特徴データも含めて配信する。

その後、特徴データ配信部１２３は、情報通信装置Ｐの起動時、情報通信装置Ｐにおけるアプリの起動時、情報通信装置Ｐにおけるアプリの更新時、あらかじめ設定された所定の期間等に、特徴データを配信する。新譜の情報が更新されるごとに特徴データも更新されるので、これに応じて、特徴データ配信部１２３が、特徴データを配信してもよい。特徴データ配信部１２３が、情報通信装置Ｐ側から送信されたアプリのバージョン、特徴データの識別情報をチェックして、最新でない場合にのみ、配信してもよい。

要求取得部１２４は、情報通信装置Ｐからの再生データの送信要求を取得する処理部である。検索部１２５は、受信した要求に含まれるＩＤ等の識別情報に応じて、記憶部１１０から必要な再生データを検索する処理部である。再生データ配信部１２６は、検索部１２５により検索された再生データを配信する処理部である。

［２．作用］
以上のような本実施形態による試聴用の再生データの再生処理の一例を、図４のシーケンス図及び図５のフローチャートに従って説明する。なお、以下のような手順により再生データを再生する方法も、本発明の一態様である。

まず、情報通信装置Ｐは、あらかじめアプリのダウンロード及びインストールを完了しているものとする。また、配信サーバＳには、定期的に、商品の識別情報とともに、その特徴データがアップロードされ、これを記憶部１１０が記憶している。商品がＣＤの場合、新譜のＣＤの識別情報とともに、そのＣＤのジャケットＪの特徴データを、配信サーバＳが記憶している。

なお、配信サーバＳに、商品の画像データを解析する解析部を設定してもよい。この解析部は、商品の画像データを受信すると、その画像から、特徴データを抽出する。記憶部１１０は、この特徴データを記憶する。

そして、ユーザがアプリの起動操作を行うと、アプリが起動して設定の初期化を行うとともに、送受信部１０がネットワークＮへの接続を行い、撮像部１１が起動する（ステップ１０１）。このときの画面の推移例が、図６及び図７である。図６は初期画面、図７は撮像部１１が起動して撮像可能となった状態の画面である。

なお、配信サーバＳは、上記のようなタイミングで、特徴データを情報通信装置Ｐに配信する。たとえば、図４に示すように、起動したアプリが配信サーバＳに特徴データを要求すると、配信サーバＳが特徴データを送信する。この特徴データを、情報通信装置Ｐの送受信部が受信して、特徴データ記憶部２０が記憶する。

ユーザは、ＣＤショップ等の店舗において、店頭に陳列されているＣＤのジャケットＪに、撮像部１１の光学部１１ａを向ける。すると、イメージセンサ部１１ｂが受光した光に基づいて、表示制御部２７が、ジャケットＪのライブビュー画像を、表示部１３に表示させる（ステップ１０２）。

特徴抽出部２２ａは、ライブビュー画像から、ジャケットＪの特徴データを抽出する（ステップ１０３）。このとき、表示制御部２７は、抽出された特徴部分の識別表示を、表示部１３のライブビュー画像に重ねて表示させる。

このように、抽出された特徴データに基づく識別表示の例が、図８である。図８では、ジャケットＪには、左上にＣＤのタイトル、左右に雲、右下に飛行機が表示されている。そして、図８では、ジャケットＪ、タイトル、雲、飛行機の外形の縁に重なるように、それぞれ枠が色分け表示されている。

マッチング部２３は、特徴データ記憶部２０に記憶された特徴データと、特徴抽出部２２ａにより抽出された特徴データとをマッチングすることにより、撮像されたジャケットＪのＣＤを特定する（ステップ１０４）。

特徴データ記憶部２０に該当する特徴データが存在しない場合には、マッチング部２３は、ＣＤの特定はできない（ステップ１０５のＮＯ）。マッチング部２３がＣＤを特定できた場合（ステップ１０５のＹＥＳ）、要求部２４は、特定されたＣＤのＩＤにより、配信サーバＳへ試聴用の再生データ要求を出力する（ステップ１０６）。図８の画面例では、特定されたＣＤのタイトルが左上に、リスト表示に切り替えるためのリストボタンが、右上に表示されている。

送受信部１０は、図４に示すように、再生データの要求を配信サーバＳへ送信する（ステップ１０７）。配信サーバＳにおいては、送受信部１２１が受信した再生データの要求を、要求取得部１２４が取得する。検索部１２５は、要求されたＩＤの再生データを、記憶部１１０から検索する。再生データ配信部１２６は、検索された再生データを送受信部１２１に配信させる。

情報通信装置Ｐにおける送受信部１０が再生データを受信すると、その一部を順次、再生データバッファ部２５が記憶する（ステップ１０８）。このような再生データバッファ部２５への記憶とともに、再生制御部２６は、再生データの再生制御処理を行い、順次、音声出力部１２へ出力する（ステップ１０９）。

以上の処理により、情報通信装置Ｐにおいて、試聴用の再生データのストリーミング再生が行われる。このため、ユーザは、音声出力部１２から出力された試聴データを聴くことができる。

また、ＣＤがアルバムの場合のように、試聴用の再生データが複数用意されている場合がある。この場合、ユーザが、入力部１４であるタッチパネルに触れた指を移動させるスワイプ操作を行う（ステップ１１０のＹＥＳ）。すると、図４に示すように、スワイプ操作の方向に応じて、要求部２４が、次の若しくは前の曲の試聴データを要求する（ステップ１０６）。なお、ＵＩ制御部が、ＵＩ領域として、ライブビュー画像に含まれる商品や商品の特徴を特定している場合には、その領域がユーザが指を触れて操作可能な領域となる。

たとえば、要求部２４は、右へのスワイプ操作が行われると次の曲、左へのスワイプ操作が行われると前の曲を要求する。その後、同様の処理により、次の若しくは前の曲の試聴データの再生が行われる（ステップ１０７〜１０９）。

ユーザが、スワイプ操作をせず（ステップ１１０のＮＯ）、情報通信装置Ｐの方向を変えて、撮像部１１による撮像対象となるジャケットＪを変える（ステップ１１１のＹＥＳ）。すると、当該ジャケットＪについてのマッチング処理による試聴用の再生データの再生が行われる（ステップ１０３〜１１０）。

ユーザが撮像対象を変えず（ステップ１１１のＮＯ）、入力部１４からアプリを終了させる指示を入力しない場合（ステップ１１２のＮＯ）、試聴用の再生データが終了するまで再生が行われる。

ユーザが、入力部１４からアプリを終了させる指示を入力した場合には（ステップ１１２のＹＥＳ）、送受信部１０は、ネットワークを切断し（ステップ１１３）、処理を終了する。

なお、表示部１３に表示されたリストボタンを、入力部１４により選択すると、モード選択部２８が、停止モードを選択する（図４参照）。これにより、マッチング部２３は、他のＣＤのマッチング処理を行わない。そして、表示制御部２７は、図９に示すように、複数の曲名のリスト表示を、表示部１３に表示させる。図９には、ＡＲモードに戻るための戻りボタンが、左上に表示されている。

ユーザが、リスト表示された曲名をタップすると、要求部２４がその曲の試聴データの要求を出力するので、上記と同様に、ユーザは、その曲を試聴できる。入力部１４の戻りボタンが選択されると、モード選択部２８は、ＡＲモードを選択することにより、マッチング部２３によるマッチング処理に復帰する。そして、表示制御部２７は、ライブビュー画像を表示部１３に表示させる。

また、本実施形態では、解析部２２における特徴抽出部２２ａが抽出した特徴データに基づいて、距離判定部２２ｂが、ジャケットＪと撮像部１１との距離を判定している。再生制御部２６は、この距離に応じて、音声出力部１２に出力させる音量を変化させる。

たとえば、図１０に示すように、ジャケットＪに情報通信装置Ｐを近づけると、ライブビュー画像に含まれるジャケットＪの画像も大きくなり、遠ざけると、画像は小さくなる。このように画像が大きくなるに従って、再生制御部２６は、音量を上げ、小さくなるに従って、音量を下げる（図４参照）。このため、ユーザは、ジャケットＪの画像の大きさを変えることによって、直感的に音量を操作できる。

また、表示制御部２７は、図１１に示すように、試聴データに含まれるポップアップ画像を、あらかじめ再生データに含まれる位置情報に従った位置に表示させてもよい。この表示は、デフォルトで表示されるようにしてもよいし、入力部１４による入力に応じて表示されるように設定してもよい。表示部１３の所望の箇所をユーザがタッチすると、その箇所のポップアップ画像が表示されるように設定してもよい。

表示制御部２７によるポップアップ画像の表示は、２つの態様が設定可能である。まず、ライブビュー画像におけるジャケットＪ等の商品の特定箇所に、ポップアップ画像を表示させて、撮像部１１が移動すると、特定箇所の位置に、ポップアップ画像を追従させる態様がある。この態様では、実際に店頭で付されたポップ広告のような、リアルな表示が可能となる。

一方、ライブビュー画像とは別のレイヤーで、表示画面の特定位置に、ポップアップ画像を表示させる態様である。この態様では、撮像部１１の移動によってもポップアップ画像は移動しない。このため、ポップアップ画像の内容を、ユーザに確実に見せることができ、ユーザも読み易いという利点がある。

さらに、表示制御部２７は、表示部１３に動画像を表示させることもできる。この場合、動画像のみを表示させてもよい。ただし、ライブビュー画像と、動画像を分割若しくはウィンドウ表示により、同時に表示させることにより、何の動画を再生しているのが、確認できる。たとえば、図１２に示すように、左右の２画面表示とする。動画像、ライブビュー画像の大きさの比率は自由である。動画像、ライブビュー画像のいずれか一方を、他方の内部に小画面で表示させてもよい。

［３．効果］
以上のような本実施形態の効果は、以下の通りである。
［ユーザ側］
ユーザは、情報通信装置Ｐの撮像部１１を商品に向けるだけで、即座に試聴用の再生データを聴くことができる。このため、タイトル、アーティスト名等の文字情報の確認や選択操作の手間が全くかからず、非常に簡単でわかりやすい方法で、素早く試聴可能となる。

そして、ユーザは、ライブビュー画像により、今、何の商品についての情報を得ようとしているのかが、直感的に判断することができ、入力ミス等も発生しない。また、店舗側の設備は使用しないため、多数人による同時試聴も容易であり、衛生面での抵抗もない。

また、解析にはライブビュー画像を用いて、再生データはストリーミング再生されるので、撮像された画像も再生データも情報通信装置Ｐ側には残存しない。このため、著作権上の問題も発生せず、気軽に利用できる。情報通信装置Ｐ側であらかじめ記憶しておくのは、特徴データのみであるため、記憶容量も少なくて済む。

撮像部１１を向ける商品を変えるだけで、次々と連続的に異なる商品の試聴を行うことも可能となる。このように、ザッピング的に試聴できるので、短時間で多くの情報を得たい現在のユーザに適したインタフェースを提供できる。

また、入力部１４からの入力により、停止モードに切り替えて、他の商品のマッチングを停止できるので、所望の商品の試聴のみを継続して楽しむこともできる。この場合、他の商品の再生データが、次々に再生されることによる煩わしさがない。

また、再生データが複数ある場合に、スワイプによる直感的な操作によって、曲の選択ができる。撮像された商品の画像に触れて操作するので、目の前にあるリアルな商品に関する再生データであることを意識しながら、画面越しにダイレクトに触れているかのような操作が可能となる。特に、ＵＩとして、商品や商品の特徴の領域を特定した場合には、その領域に触れてタッチやスワイプした場合にのみ操作できるので、よりリアルな操作感が得られる。つまり、ＵＩとして特定しない場合にも、撮像した商品を見ながら操作するので、リアルな操作感が得られるが、ＵＩとして特定した場合は、より一層、リアルな操作感が得られる。さらに、リスト表示に切り替えることにより、より正確な曲の選択ができる。

また、商品との距離に応じて、音量を変化させることができるので、撮像された商品の大きさを変えることにより、音量を直感的に操作できる。

［店舗側］
現行の試聴用の設備は、同時に試聴できる人数が限られていたが、本実施形態を利用すれば、より多くの顧客が試聴でき、来客数の増加が見込める。

店舗側では、アクセスポイント、場合によってはサーバを容易するだけでよいので、低導入コスト、省スペース化を実現できる。データの更新も容易となる。

試聴しているコンテンツに関連した情報を、レコメンド、広告などを含めて表示させることにより、宣伝効果を高めて、来店意欲や購買意欲を高めることができる。特に、適切な位置に、ポップアップ画像で表示させることにより、伝えたい情報に注目させることができる。

［４．他の実施形態］
なお、本発明は上記実施形態に限定されるものではない。ライブビュー画像に複数の商品が含まれ、複数の商品の特定がなされた場合、いずれの再生データを優先して再生するかは、自由に設定可能である。

たとえば、最初に特定された商品を優先する、撮像部との距離が最も近い商品を優先する、画面の中央に表示されている商品を優先する等が考えられる。図１３に示すように、複数の商品が撮像されている場合に、距離が近い若しくは中央に表示されている真ん中の商品を優先することができる。また、再生制御部が、優先した商品の再生音量を大きく、他の商品の再生音量を小さくすることも可能である。これにより、複数の商品について、同時に試聴できるので、ユーザの選択に役立つ。

また、特徴データが抽出された場合の識別表示が、ライブビュー画像とともに表示されると、特定した商品をユーザが認識しやすくなり、便利である。ただし、この識別表示を、ライブビュー画像とともに表示させず、処理を簡略化してもよい。ユーザは、ライブビュー画像内に含まれる商品によって、対象となる商品を識別することができる。

また、特徴データ及び再生データが用意される商品の数は、特定の数には限定されない。ただし、ＣＤ、ＤＶＤ等の新譜のデータのみとすれば、記憶媒体の容量、ネットワークの帯域を節約できる。また、新譜に限らず、たとえば、特定のジャンルのものでも、売れ筋のもの等に限定してもよい。

再生データの再生方法は、必ずしもストリーミング再生には限定されない。複数の再生データを、再生データバッファ部若しくは他の記憶部に再生データを保持しておき、入力部からの入力により選択されたいずれかの再生データについて、再生制御部が再生処理を行なってもよい。この場合、再生データを不揮発性メモリに記憶しても、揮発性メモリへ記憶しておいて、電源オフ若しくはプログラム終了により、再生データを消去してもよい。

商品の種類は、外観が撮像可能なものであればよい。また、再生データの種類も、音声、動画には限定されない。たとえば、漫画の単行本等、書籍の表紙を撮像することにより、再生データとして、内容の一部の画像を表示させることもできる。

さらに、撮像により特徴データを抽出する対象としては、商品の外観の他、商品のコンテンツの画像であってもよい。たとえば、書籍、雑誌、新聞等の商品内のページに含まれるコンテンツの画像を撮像し、その特徴データに基づくマッチング処理により、上記のように、そのコンテンツに関する再生データにアクセスする態様も構成可能である。コンテンツとしては、記事として紹介若しくは宣伝されている商品であっても、商品でなくてもよい。たとえば、コンテンツは、料理、景色、人物、動植物、建築物、作品、記事等であってもよい。テキスト等の文字を含む箇所であっても、画像として特徴データを抽出できればよい。

より具体的な一例を説明する。テレビ番組を紹介する雑誌に掲載された芸能人の写真若しくは番組表の各番組欄に関して、あらかじめ特徴データ記憶部が特徴データと識別情報を記憶しておく。ユーザは、撮像部により、所望の芸能人の写真若しくは番組欄を撮像すると、ライブビュー画像を表示部が表示する。特徴抽出部は、ライブビュー画像から、芸能人の写真若しくは番組欄の画像の特徴データを抽出する。表示制御部は、特徴データが抽出された芸能人の写真若しくは番組欄を識別する識別表示を、ライブビュー画像とともに表示部に表示させる。

マッチング部は、特徴データ記憶部に記憶された特徴データと、特徴抽出部により抽出された特徴データとのマッチングにより、撮像された芸能人が出演する番組若しくは番組欄に対応する番組を特定する。要求部は、特定された番組の識別情報に基づいて、番組の宣伝等の番組に関する情報の再生データの要求を送受信部に送信させる。要求部の要求に応じて送受信部が受信した再生データを、再生データバッファ部が一時的に保持し、再生制御部が再生する。

芸能人の写真等は、著作権法上の制限が厳しい場合が多いが、本発明では、ライブビュー画像のみを利用し、送受信され記憶される情報は、画像そのものではない特徴データであるため、制限を受けることが回避できる。しかも、ライブビュー画像に含まれる芸能人の写真等を、著作権法上の制限を受けずに、上記の実施形態で述べたように、ＵＩとして利用して再生処理を操作することができるという利点を有している。映画、ＤＶＤ、ＣＤを紹介する雑誌でも、同様である。

Ｊ…ジャケット
Ｎ…ネットワーク
Ｐ…情報通信装置
Ｓ…配信サーバ
１０…送受信部
１１…撮像部
１１ａ…光学部
１１ｂ…イメージセンサ部
１２…音声出力部
１３…表示部
１４…入力部
２０…特徴データ記憶部
２２…解析部
２２ａ…特徴抽出部
２２ｂ…距離判定部
２３…マッチング部
２４…要求部
２５…再生データバッファ部
２６…再生制御部
２７…表示制御部
２８…モード選択部
１１０…記憶部
１２０…配信制御部
１２１…送受信部
１２２…アプリ配信部
１２３…特徴データ配信部
１２４…要求取得部
１２５…検索部
１２６…再生データ配信部

Claims (16)

1. 送受信部、撮像部、表示部に接続されたコンピュータに、
   商品の外観の特徴データ及びその商品の識別情報若しくは商品のコンテンツの画像の特徴データ及びそのコンテンツの識別情報を記憶する特徴データ記憶処理と、
   撮像部に商品の外観若しくは商品のコンテンツの画像を撮像させる撮像処理と、
   前記撮像部により撮像されたライブビュー画像を表示部に表示させる表示制御処理と、
   前記ライブビュー画像から、商品の外観若しくは商品のコンテンツの画像の特徴データを抽出する特徴抽出処理と、
   前記特徴データ記憶処理により記憶された特徴データと、前記特徴抽出処理により抽出された特徴データとのマッチングにより、撮像された商品若しくはコンテンツを特定するマッチング処理と、
   前記マッチング処理により特定された商品若しくはコンテンツの識別情報に基づいて、商品若しくはコンテンツに関する情報の再生データの要求を、前記送受信部に送信させる要求処理と、
   前記要求処理による要求に応じて送受信部が受信した再生データを、一時的に保持する再生データバッファ処理と、
   前記再生データバッファ処理により保持された再生データを再生する再生制御処理と、
   を実行させることを特徴とする情報通信プログラム。
2. 前記コンピュータに、
   前記特徴抽出処理により特徴データが抽出された商品の外観若しくは商品のコンテンツの画像を識別する識別表示を、前記ライブビュー画像とともに前記表示部に表示させる識別表示制御処理を実行させることを特徴とする請求項１記載の情報通信プログラム。
3. 前記コンピュータに、
   前記ライブビュー画像に含まれる複数の商品若しくは複数のコンテンツについて、前記特徴抽出処理を実行させることを特徴とする請求項１又は請求項２記載の情報通信プログラム。
4. 前記コンピュータに、
   前記マッチング処理により一つの商品若しくは一つのコンテンツを特定させた後、他の商品若しくはコンテンツについてのマッチング処理を停止する停止モードとさせることを特徴とする請求項１〜３のいずれか１項に記載の情報通信プログラム。
5. 前記特徴データには、商品の外観若しくは商品のコンテンツの画像の寸法に関する情報が含まれ、
   前記コンピュータに、
   前記特徴抽出処理により抽出された前記寸法に関する情報に基づいて、商品若しくはコンテンツの画像と撮像部との距離を判定させる距離判定処理と、
   前記距離判定処理により判定された距離に応じて、前記再生制御処理による再生音量を変える処理を実行させることを特徴とする請求項１〜４のいずれか１項に記載の情報通信プログラム。
6. 前記再生制御処理は、前記商品若しくはコンテンツに対応する再生データが複数存在する場合に、いずれかの再生データを選択するためのリスト表示を、前記表示部に表示させる処理を含むことを特徴とする請求項１〜５のいずれか１項に記載の情報通信プログラム。
7. 前記再生制御処理は、前記ライブビュー画像とともに、前記再生データとしての動画像を、前記表示部に表示させる処理を含むことを特徴とする請求項１〜６のいずれか１項に記載の情報通信プログラム。
8. 前記再生制御処理は、前記ライブビュー画像とともに、前記再生データとしてのポップアップ画像を、前記表示部に表示させる処理を含むことを特徴とする請求項１〜７のいずれか１項に記載の情報通信装置。
9. 前記特徴データには、商品の外観若しくは商品のコンテンツの画像の寸法に関する情報が含まれ、
   前記コンピュータに、
   前記特徴抽出処理により抽出された前記寸法に関する情報に基づいて、複数の商品若しくは複数のコンテンツの画像と撮像部との距離を判定させる距離判定処理と、
   前記マッチング処理により特定された商品若しくはコンテンツが複数存在し、前記受信部が受信した当該複数の商品若しくは複数のコンテンツの再生データを前記再生制御処理により同時に再生する場合に、前記距離判定処理により判定された距離に応じて、各商品若しくは各コンテンツの再生データの再生音量を変える処理を実行させることを特徴とする請求項３記載の情報通信プログラム。
10. 前記コンピュータに、
    前記再生制御処理による再生データの再生を操作するユーザインタフェース部品として、前記表示部に表示された前記ライブビュー画像に含まれる複数の商品若しくは複数のコンテンツの領域を特定させる処理を含むことを特徴とする請求項１〜９のいずれか１項に記載の情報通信装置。
11. ネットワークを介して、情報を送受信する送受信部と、
    前記送受信部が受信した商品の外観の特徴データ及びその商品の識別情報若しくは商品のコンテンツの画像の特徴データ及びそのコンテンツの識別情報を記憶する特徴データ記憶部と、
    商品の外観若しくは商品のコンテンツの画像を撮像する撮像部と、
    前記撮像部により撮像されたライブビュー画像を表示する表示部と、
    前記ライブビュー画像から、商品の外観若しくは商品のコンテンツの画像の特徴データを抽出する特徴抽出部と、
    前記特徴抽出部により特徴データが抽出された商品の外観若しくは商品のコンテンツの画像を識別する識別表示を、前記ライブビュー画像とともに前記表示部に表示させる識別表示制御部と、
    前記特徴データ記憶部に記憶された特徴データと、前記特徴抽出部により抽出された特徴データとのマッチングにより、撮像された商品若しくはコンテンツを特定するマッチング部と、
    前記マッチング部により特定された商品若しくはコンテンツの識別情報に基づいて、商品若しくはコンテンツに関する情報の再生データの要求を、前記送受信部に送信させる要求部と、
    前記要求部の要求に応じて前記送受信部が受信した再生データを、一時的に保持する再生データバッファ部と、
    前記再生データバッファ部に保持された再生データを再生する再生制御部と、
    を有することを特徴とする情報通信装置。
12. 前記マッチング部が一つの商品を特定した後、他の商品若しくはコンテンツについてのマッチングを停止させる停止モードとする停止モード選択部を有することを特徴とする請求項１１記載の情報通信装置。
13. 前記特徴データには、商品の外観若しくは商品のコンテンツの画像の寸法に関する情報が含まれ、
    前記特徴抽出部により抽出された前記寸法に関する情報に基づいて、商品若しくはコンテンツの画像と撮像部との距離を判定する距離判定部と、
    前記距離判定部により判定された距離に応じて、前記再生制御部が、再生データの再生音量を変えることを特徴とする請求項１１又は請求項１２記載の情報通信装置。
14. 前記商品若しくはコンテンツに対応する再生データが複数存在する場合に、いずれかの再生データを選択するためのリスト表示を、前記表示部に表示させるリスト表示制御部を有することを特徴とする請求項１１〜１３のいずれか１項に記載の情報通信装置。
15. 前記再生制御処理による再生データの再生を操作するユーザインタフェース部品として、前記表示部に表示された前記ライブビュー画像に含まれる複数の商品若しくは複数のコンテンツの領域を特定するユーザインタフェース制御部を有することを特徴とする請求項１１〜１４のいずれか１項に記載の情報通信装置。
16. 前記請求項１１〜１５のいずれか１項に記載の情報通信装置に、ネットワークを介して接続された送受信部と、
    前記送受信部に、前記特徴データを送信させる特徴データ配信部と、
    前記要求部の要求に応じて、前記送受信部に、再生データを送信させる再生データ配信部と、
    を有することを特徴とする配信サーバ。

Images