JP2018142959A - コンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラム - Google Patents

Abstract

【課題】音楽に連動したコンテンツを表示するコンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラムを提供する。【解決手段】眼鏡１は、カメラ３１と、コンテンツを表示可能な透過型ディスプレイ３２と、予め設定された現実の対象物の形状であるＡＲ用コードを記憶するコンテンツデータ記憶部２２と、カメラ３１が撮影した撮影画像に、コンテンツデータ記憶部２２に記憶されているＡＲ用コードを含むか否かを判断する対象判断部１３と、撮影画像にＡＲ用コードを含む間、ＡＲ用コードに対応付けられたコンテンツを、ＡＲ用コードから特定される特定位置に重畳して、透過型ディスプレイ３２に表示させる表示制御部１５と、を備える。【選択図】図２

Description

本発明は、コンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラムに関する。

従来、音楽データ等のオーディオデータの再生位置に応じて、それに関連するコンテンツを表示することが行われている（例えば、特許文献１）。
また、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる、現実の環境から知覚に与えられる情報に、コンピュータが作り出した情報を重ね合わせることで、補足的な情報を与える技術が開示されている（例えば、特許文献２）。

特開２００８−８３２９７号公報 特許第５１５８００７号公報

上述の特許文献１は、コンテンツが、オーディオデータの再生開始からの経過時間に対応するページコンテンツであった。また、特許文献２は、音楽との連携がないものであった。

そこで、本発明は、音楽に連動したコンテンツを表示するコンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、撮影部と、映像コンテンツを表示可能な表示部と、音データと、予め設定された認識対象物とを対応付けて記憶する記憶部と、音データを取得する音取得部と、前記音取得部が前記音データを取得している間に、前記撮影部が撮影した撮影画像に、取得中の音データに対応する前記認識対象物を含むか否かを判断する対象判断部と、前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられた映像コンテンツを、前記音データの再生位置に対応させながら、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させる表示制御部と、を備えること、を特徴とする映像コンテンツ表示装置である。
第２の発明は、第１の発明の映像コンテンツ表示装置において、音データを出力する音出力部と、前記特定位置と撮影位置との距離を算出し、前記認識対象物から特定される位置から音が発生しているように前記音出力部への前記音データの出力を制御する音制御部と、を備えること、を特徴とする映像コンテンツ表示装置である。
第３の発明は、第１の発明又は第２の発明の映像コンテンツ表示装置において、前記映像コンテンツを記憶するコンテンツサーバに対して通信ネットワークを介して通信可能に接続されており、前記表示制御部は、前記コンテンツサーバから予めダウンロードし、又は、逐次取得した前記映像コンテンツを表示させること、を特徴とする映像コンテンツ表示装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの映像コンテンツ表示装置を備える眼鏡である。
第５の発明は、第１の発明から第３の発明までのいずれかの映像コンテンツ表示装置と、前記映像コンテンツ表示装置に対して通信ネットワークを介して通信可能に接続されたコンテンツサーバと、を備え、前記コンテンツサーバは、音データと、認識対象物と、前記映像コンテンツとを対応付けて記憶する記憶部を有し、前記映像コンテンツ表示装置の前記記憶部は、前記コンテンツサーバからダウンロードした前記音データと、前記音データに対応する前記認識対象物とを記憶すること、を特徴とする映像コンテンツ処理システムである。
第６の発明は、撮影部と、映像コンテンツを表示可能な表示部と、音データと、予め設定された認識対象物とを対応付けて記憶する記憶部と、を備えるコンピュータの映像コンテンツ表示プログラムであって、前記コンピュータを、音データを取得する音取得手段と、前記音取得手段が前記音データを取得している間に、前記撮影部が撮影した撮影画像に、取得中の音データに対応する前記認識対象物を含むか否かを判断する対象判断手段と、前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられた映像コンテンツを、前記音データの再生位置に対応させながら、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させる表示制御手段と、して機能させること、を特徴とする映像コンテンツ表示プログラムである。

本発明によれば、音楽に連動したコンテンツを表示するコンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラムを提供することができる。

第１実施形態に係る眼鏡の概要を説明する図である。 第１実施形態に係る映像コンテンツ処理システムの機能ブロックを示す図である。 第１実施形態に係るコンテンツデータ記憶部に記憶されたコンテンツデータを説明する図である。 第１実施形態に係る眼鏡のメイン処理を示すフローチャートである。 第１実施形態に係る眼鏡の映像コンテンツ表示処理を示すフローチャートである。 第１実施形態に係る眼鏡での表示例を示す図である。 第２実施形態に係るマークと携帯端末との例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲は、これに限られるものではない。
（第１実施形態）
＜映像コンテンツ処理システム１００の全体構成＞
図１は、第１実施形態に係る眼鏡１の概要を説明する図である。
図２は、第１実施形態に係る映像コンテンツ処理システム１００の機能ブロックを示す図である。
図３は、第１実施形態に係るコンテンツデータ記憶部２２に記憶されたコンテンツデータを説明する図である。

＜眼鏡１＞
図１に示す眼鏡１は、音楽を再生し、再生中の音楽に対応した立体映像コンテンツ（コンテンツ）として、アニメーションキャラクタの立体映像を、あたかも眼鏡１を装着した使用者の目の前にいるかのように表示する装置である。
眼鏡１は、例えば、ＣＤ、ＤＶＤ等を販売するＣＤショップに常設されている。そして、眼鏡１には、例えば、ＣＤショップで販売を強化している音楽が、予め記憶部２０（図２参照）に記憶されている。
眼鏡１は、カメラ３１（撮影部）、透過型ディスプレイ３２（表示部）、スピーカ３３（音出力部）、各操作ボタン３４（３４ａ〜３４ｆ）、通信Ｉ／Ｆ（インタフェース）部３９等を備える。また、眼鏡１は、片側の側面に筐体３０を有する。筐体３０は、図２に示す制御部１０、記憶部２０等を備える。
図２に示す制御部１０は、眼鏡１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）や、各種のアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、音取得部１１、音制御部１２、対象判断部１３、コンテンツ取得部１４、表示制御部１５等を備える。
音取得部１１は、音楽の音データを取得する制御部である。
音制御部１２は、音楽の音データを、スピーカ３３に出力する制御部である。また、音制御部１２は、スピーカ３３の音量を制御する。
対象判断部１３は、音取得部１１が音楽の音データを取得している間に、カメラ３１が撮影した画像に、その音楽に対応するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用コード（認識対象物）を含むか否かを判断する制御部である。
コンテンツ取得部１４は、記憶部２０に記憶され、対象判断部１３が判断したＡＲ用コードに対応するアニメーションキャラクタの立体映像を取得する制御部である。
表示制御部１５は、ＡＲ用コードの前面であって、ＡＲ用コードから特定される特定位置に、音楽の再生位置に対応したアニメーションキャラクタの立体映像を表示させる制御部である。
これらの各機能の詳細及びＡＲ用コードについては、後述する。

記憶部２０は、眼鏡１の動作に必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶装置である。
なお、本発明でいうコンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、眼鏡１は、制御部１０、記憶部２０等を備えた情報処理装置であり、本発明のコンピュータの概念に含まれる。
記憶部２０は、プログラム記憶部２１、コンテンツデータ記憶部２２等を記憶している。
プログラム記憶部２１は、眼鏡１に様々な機能を実行させる複数のアプリケーションプログラムを記憶可能な記憶領域である。プログラム記憶部２１は、少なくとも、ＡＲ用プログラム（コンテンツ表示プログラム）２１ａを記憶している。
コンテンツデータ記憶部２２は、音楽と、ＡＲ用コードと、アニメーションキャラクタの立体映像とが対応付けられたコンテンツデータを記憶する記憶領域である。

図３（Ａ）に示すように、コンテンツデータは、ＡＲ用コードを仲介して、音楽と、アニメーションキャラクタの立体映像とを対応付けている。例えば、ＡＲ用コードが「Ｂ」の場合、ＡＲ用コードが同じでも音楽が異なれば、対応するアニメーションキャラクタの立体映像も異なるものになる。
音楽には、その楽曲の曲名や作者、歌の場合には歌手名等に関する音楽属性データ、実際の音に関する音データ等を有する。また、音データは、その音楽の再生時間を示す再生位置を有する。
ＡＲ用コードは、例えば、ＣＤショップにあるステージの形状である。その他、ＡＲ用コードは、ＣＤジャケットの形状等であってもよく、予め設定された形状である。
アニメーションキャラクタの立体映像は、例えば、アイドルを模したキャラクタの立体映像である。音楽にあわせてあたかも歌い、踊っているかのように振舞う、アニメーションキャラクタの立体映像は、音データの再生位置に同期して、歌い、踊っているかのような動きをする。

図３（Ｂ）は、音楽「Ａ１」と、アニメーションキャラクタの立体映像「ａ１」との再生位置の説明のための図である。音楽「Ａ１」と、アニメーションキャラクタの立体映像「ａ１」とは、再生の長さである再生時間が同じである。例えば、音楽「Ａ１」が「１：０２」の時間の音データを再生中の場合には、アニメーションキャラクタの立体映像「ａ１」は、「１：０２」の映像を再生する。
図３（Ｃ）は、音楽「Ｂ１」と、アニメーションキャラクタの立体映像「ｂ１」との再生位置の説明のための図である。音楽「Ｂ１」より、アニメーションキャラクタの立体映像「ｂ１」の再生時間が短い。そこで、アニメーションキャラクタの立体映像「ｂ１」を、音楽「Ｂ１」の再生時間にあわせるために、アニメーションキャラクタの立体映像「ｂ１」を３回繰り返す。

図１に戻り、カメラ３１は、透過型ディスプレイ３２の脇に設けられ、使用者の前方方向を撮影する装置である。つまり、カメラ３１は、透過型ディスプレイ３２を介して使用者がスルー状態で見る視界領域を撮影する。
透過型ディスプレイ３２は、眼鏡１のレンズ部分に設けられたディスプレイ装置である。透過型ディスプレイ３２は、例えば、液晶パネルが用いられ、透過率を制御することで、透明又は半透明な状態にできる。使用者は、透過型ディスプレイ３２を介してスルー状態で視界領域を見ることができる。
スピーカ３３は、音楽の音データを出力する装置である。スピーカ３３は、使用者が眼鏡１をかけた状態で音楽が聞こえるように、使用者の左右の耳付近になる位置に設けられる。

操作ボタン３４は、眼鏡１の片側のつる部に設けられている。操作ボタン３４は、使用者が眼鏡１をかけた状態で、使用者の手によって操作するボタンである。操作ボタン３４は、電源ボタン３４ａ、メニューボタン３４ｂ、選択ボタン３４ｃ、決定ボタン３４ｄ、停止ボタン３４ｅ、再生／一時停止ボタン３４ｆ等を備える。
電源ボタン３４ａは、眼鏡１に電源を供給し、及び眼鏡１に供給されている電源を停止するボタンである。
メニューボタン３４ｂは、透過型ディスプレイ３２にメニュー画面（図示せず）を表示させるためのボタンである。
選択ボタン３４ｃは、透過型ディスプレイ３２に表示されたメニュー画面等にて、カーソルを動かすボタンである。
決定ボタン３４ｄは、メニュー画面等にあるカーソル位置の内容を決定するためのボタンである。
停止ボタン３４ｅは、音楽の再生を停止するためのボタンである。
再生／一時停止ボタン３４ｆは、音楽の再生及び一時停止を行うためのボタンである。
これらの操作ボタン３４の使用方法については、後述する。

通信Ｉ／Ｆ部３９は、通信ネットワークＮを介して、コンテンツサーバ４（図２）との通信を行うためのインタフェース部である。通信Ｉ／Ｆ部３９は、例えば、有線によって通信を行うためのコネクタ部を備えてもよい。また、通信Ｉ／Ｆ部３９は、無線によって通信を行うためのアンテナ部を備えてもよい。眼鏡１は、有線及び無線によって通信を行うことができるものであってもよい。

図２に示す映像コンテンツ処理システム１００（コンテンツ処理システム）は、上述の眼鏡１と、コンテンツサーバ４とが通信ネットワークＮを介して接続されたシステムである。
＜コンテンツサーバ４＞
コンテンツサーバ４は、制御部４０、記憶部４５、通信Ｉ／Ｆ部４９等を備える。
制御部４０は、コンテンツサーバ４の全体を制御するＣＰＵである。制御部４０は、記憶部４５に記憶されているＯＳや、各種のアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
記憶部４５は、制御部４０の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶装置である。
記憶部４５は、音楽と、ＡＲ用コードと、アニメーションキャラクタの立体映像とが対応付けられたコンテンツデータを記憶するコンテンツデータベースを備える。
通信Ｉ／Ｆ部４９は、通信ネットワークＮを介して、眼鏡１との通信を行うためのインタフェース部である。
通信ネットワークＮは、眼鏡１と、コンテンツサーバ４との間のネットワークであり、インターネット回線等の通信網である。

＜メイン処理＞
次に、眼鏡１の処理について説明する。
図４は、第１実施形態に係る眼鏡１のメイン処理を示すフローチャートである。
ステップＳ（以下、「Ｓ」という。）１において、使用者が眼鏡１の電源ボタン３４ａを操作することで、眼鏡１の制御部１０に電源が供給される。
Ｓ２において、使用者が眼鏡１のメニューボタン３４ｂを操作することで、制御部１０は、透過型ディスプレイ３２にメニュー画面を表示する。メニュー画面は、例えば、コンテンツデータをダウンロードしたり、ＡＲ用プログラム２１ａを起動したりするための項目が表示された画面である。
メニュー画面での選択及び決定は、選択ボタン３４ｃ及び決定ボタン３４ｄにより行う。

Ｓ３において、コンテンツデータのダウンロードが選択された状態で、使用者が眼鏡１の決定ボタン３４ｄを操作することで、制御部１０は、コンテンツデータのダウンロードを受け付けたか否かを判断する。コンテンツデータのダウンロードを受け付けた場合（Ｓ３：ＹＥＳ）には、制御部１０は、処理をＳ４に移す。他方、コンテンツデータのダウンロードを受け付けていない場合（Ｓ３：ＮＯ）には、制御部１０は、処理をＳ５に移す。
Ｓ４において、制御部１０は、コンテンツデータのダウンロード処理を行う。制御部１０は、通信Ｉ／Ｆ部３９を介してコンテンツサーバ４と通信可能であることを確認後、コンテンツサーバ４からコンテンツデータをダウンロードして、コンテンツデータ記憶部２２に記憶する。なお、コンテンツデータのデータ量が大きいことから、コンテンツデータのダウンロードは、コンテンツサーバ４に記憶されたコンテンツデータから対象を絞ってダウンロードすることが望ましい。その後、制御部１０は、処理をＳ２に移す。

Ｓ５において、ＡＲ用プログラム２１ａの起動が選択された状態で、使用者が眼鏡１の決定ボタン３４ｄを操作することで、制御部１０は、ＡＲ用プログラム２１ａの起動を受け付けたか否かを判断する。ＡＲ用プログラム２１ａの起動を受け付けた場合（Ｓ５：ＹＥＳ）には、制御部１０は、処理をＳ６に移す。他方、ＡＲ用プログラム２１ａの起動を受け付けていない場合（Ｓ５：ＮＯ）には、制御部１０は、処理をＳ７に移す。
Ｓ６において、制御部１０は、後述する映像コンテンツ表示処理を行う。その後、制御部１０は、処理をＳ２に移す。

Ｓ７において、電源が投入されている状態で、使用者が眼鏡１の電源ボタン３４ａを操作することで、制御部１０は、電源ＯＦＦを受け付けたか否かを判断する。電源ＯＦＦを受け付けた場合（Ｓ７：ＹＥＳ）には、制御部１０は、電源の供給を停止し、本処理を終了する。他方、電源ＯＦＦを受け付けていない場合（Ｓ７：ＮＯ）には、制御部１０は、処理をＳ２に移す。
なお、ここで説明したメイン処理では、起動するプログラムが、ＡＲ用プログラム２１ａのみであった。しかし、プログラム記憶部２１に記憶してある複数のアプリケーションプログラムについても起動するものであってもよい。その場合には、各々のアプリケーションプログラムに対応する処理を行うが、ここでの説明は、省略する。

＜映像コンテンツ表示処理＞
次に、映像コンテンツ表示処理について説明する。
図５は、第１実施形態に係る眼鏡１の映像コンテンツ表示処理を示すフローチャートである。
図６は、第１実施形態に係る眼鏡での表示例を示す図である。
図５のＳ１０において、眼鏡１の制御部１０は、ＡＲ用プログラム２１ａを起動する。ＡＲ用プログラム２１ａが起動されると、制御部１０は、透過型ディスプレイ３２に、音楽選択画面（図示せず）として、コンテンツデータ記憶部２２に記憶されている音楽の音楽属性データを表示する。
ここで、使用者が、例えば、ある音楽属性データを選択ボタン３４ｃで選択し、再生／一時停止ボタン３４ｆを操作することで、制御部１０（音制御部１２）は、音楽属性データに対応する音データをスピーカ３３から出力する。また、制御部１０（音取得部１１）は、音データを取得する。なお、上述のように、使用者が再生／一時停止ボタン３４ｆを操作した場合には、制御部１０は、透過型ディスプレイ３２に表示していた音楽選択画面の表示を消して、表示しないようにする。

Ｓ１１において、制御部１０は、カメラ３１を起動させて、撮影画像を取得する。
Ｓ１２において、音楽が再生中であり、制御部１０（音取得部１１）は、音データを取得しているか否かを判断する。上述のように、使用者が音楽選択画面に表示されたある音楽属性データを選択ボタン３４ｃで選択し、再生／一時停止ボタン３４ｆを操作した場合には、制御部１０（音取得部１１）は、音データを取得している。他方、音楽選択画面が表示されていても、使用者が操作をしない場合には、制御部１０は、音データを取得していない。音データを取得している場合（Ｓ１２：ＹＥＳ）には、制御部１０は、処理をＳ１３に移す。他方、音データを取得していない場合（Ｓ１２：ＮＯ）には、制御部１０は、処理をＳ１４に移す。

Ｓ１３において、制御部１０（対象判断部１３）は、カメラ３１が撮影した撮影画像に、取得した音データの音楽に対応するＡＲ用コードを含むか否かを判断する。これは、カメラ３１が撮影した撮影画像に、コンテンツデータ記憶部２２に記憶され、音データの音楽に対応するＡＲ用コードがあるか否かを、制御部１０（対象判断部１３）が照合することで行われる。コンテンツデータ記憶部２２に記憶されたＡＲ用コードには、予めそのＡＲ用コードの特徴として対象物の形状の特徴等が設定してある。そして、制御部１０（対象判断部１３）は、撮影した撮影画像内に、その特徴を有する被写体が含まれているか否かにより判別できる。撮影画像に、取得した音データの音楽に対応するＡＲ用コードを含む場合（Ｓ１３：ＹＥＳ）には、制御部１０は、処理をＳ１６に移す。他方、撮影画像に、取得した音データの音楽に対応するＡＲ用コードを含まない場合（Ｓ１３：ＮＯ）には、制御部１０は、処理をＳ１８に移す。

Ｓ１４において、制御部１０（対象判断部１３）は、カメラ３１が撮影した撮影画像に、コンテンツデータ記憶部２２に記憶されているＡＲ用コードを含むか否かを判断する。これは、カメラ３１が撮影した撮影画像に、コンテンツデータ記憶部２２に記憶されている複数のＡＲ用コードのうちいずれかがあるか否かを、制御部１０が照合することで行われる。撮影画像に、コンテンツデータ記憶部２２に記憶されているＡＲ用コードを含む場合（Ｓ１４：ＹＥＳ）には、制御部１０は、処理をＳ１５に移す。他方、撮影画像に、コンテンツデータ記憶部２２に記憶されているＡＲ用コードを含まない場合（Ｓ１４：ＮＯ）には、処理をＳ２２に移す。
なお、撮影画像に、コンテンツデータ記憶部２２に記憶されている複数のＡＲ用コードのうち２つ以上を含む場合には、制御部１０は、そのうち１つを選択すればよい。
Ｓ１５において、制御部１０（音制御部１２）は、所定時間（例えば、１０秒）を経過後に、撮影画像に含まれているＡＲ用コードに対応する音楽の音データを、スピーカ３３に出力する。また、制御部１０（音取得部１１）は、音楽の音データを取得する。なお、図３（Ａ）を例に説明すると、ＡＲ用コードが「Ａ」の場合には、音楽「Ａ１」が特定できる。しかし、ＡＲ用コードが「Ｂ」の場合には、対応する音楽が「Ｂ１」から「Ｂ３」まである。この場合には、制御部１０は、例えば、「Ｂ１」から「Ｂ３」までの音楽のうち１つを選択して、音データを出力すればよい。

このように、音楽が再生されておらず、音データを取得中ではない場合であっても、カメラ３１が撮影した撮影画像にＡＲ用コードを含む場合には、制御部１０は、そのＡＲ用コードに対応する音楽の音データを自動的に出力することができ、その結果、音データを取得できる。

Ｓ１６において、制御部１０（コンテンツ取得部１４）は、アニメーションキャラクタの立体映像を、透過型ディスプレイ３２に表示させる。透過型ディスプレイ３２に表示されるアニメーションキャラクタの立体映像は、対応する音楽の音データの再生位置に対応して同期する。また、アニメーションキャラクタの立体映像は、ＡＲ用コードの前面であって、ＡＲ用コードの位置から特定される特定位置に重畳して表示される。これは、周知の技術（例えば、特開２０１３−８４３１３号公報）により実現可能である。
Ｓ１７において、制御部１０（音制御部１２）は、透過型ディスプレイ３２に表示されたアニメーションキャラクタの立体映像の向きに応じて、使用者の両耳付近に設けられたスピーカ３３への音データの出力を制御する。これは、特定位置と撮影位置との距離を算出し、ＡＲ用コードから特定される位置から音が発生しているようにするものであり、周知の技術（例えば、特許第５１９７５２５号公報）により実現可能である。

＜具体例＞
ここで、図６を例に説明する。
ＡＲ用コードが、例えば、ＣＤショップ６０内に設けられたステージ６１の形状である場合、使用者が、眼鏡１をかけた状態でステージ６１を見ることで、アニメーションキャラクタの立体映像であるキャラクタ６２が透過型ディスプレイ３２に表示される。
なお、現実のステージ６１には、キャラクタ６２は表示されていない（図６（Ａ）参照）。これにより、使用者は、図６（Ｂ）に示すように、音楽にあわせてあたかもステージ６１上で歌い、踊っているかのようなキャラクタ６２を見ることができる。
そして、キャラクタ６２が正面を向いている場合、図６（Ｂ）に示すように、使用者がステージ６１を正面から見ると、キャラクタ６２が正面を向いて歌い踊る。この時、制御部１０（音制御部１２）は、使用者の両耳のスピーカ３３の音量を同じにする制御を行う。

他方、使用者が移動して、図６（Ｃ）に示すように、ステージ６１を斜め右方向から見ると、キャラクタ６２は左方向を向いて歌い踊る。この時、制御部１０（音制御部１２）は、使用者の左耳のスピーカ３３の音量を、使用者の右耳のスピーカ３３の音量より大きくする制御を行う。これにより、使用者は、あたかも、キャラクタ６２から音が出力されているように感じることができる。
また、使用者は、移動せず、キャラクタ６２が向きを変えた場合、制御部１０（音制御部１２）は、キャラクタ６２の向きに応じてスピーカ３３の音量を変化させる。使用者は、向きが変わったキャラクタ６２を見ることができ、向きに応じた音量の音楽を聴くことができる。

図５に戻り、Ｓ１８において、制御部１０は、音楽が終了したか否かを判断する。音楽が終了した場合とは、例えば、音データの再生位置が最後に到達した場合や、使用者により停止ボタン３４ｅが操作された場合をいう。音楽が終了した場合（Ｓ１８：ＹＥＳ）には、制御部１０は、処理をＳ２１に移す。他方、音楽が終了していない場合（Ｓ１８：ＮＯ）には、制御部１０は、処理をＳ１９に移す。
Ｓ１９において、制御部１０は、音楽が一時停止中か否かを判断する。音楽が一時停止中の場合とは、音楽が再生中に、使用者が再生／一時停止ボタン３４ｆを操作した場合をいう。音楽が一時停止中である場合（Ｓ１９：ＹＥＳ）には、制御部１０は、処理をＳ２０に移す。他方、音楽が一時停止中ではない場合（Ｓ１９：ＮＯ）には、制御部１０は、処理をＳ１３に移す。
Ｓ２０において、制御部１０は、音データの一時停止した再生位置に対応するアニメーションキャラクタの立体映像を、透過型ディスプレイ３２に表示させる。つまり、一時停止の場合には、透過型ディスプレイ３２に表示されたアニメーションキャラクタの立体映像は、音楽の再生位置に同期しているので、一時停止中の音楽の再生位置に対応する動きのない静止画像になる。その後、制御部１０は、処理をＳ１９に移す。
なお、使用者が再生／一時停止ボタン３４ｆをさらに操作して、一時停止が解除された場合には、音楽の音データの再生位置に対応して、アニメーションキャラクタの立体映像が動くものになる（Ｓ１９でＮＯが選択され、Ｓ１３でＹＥＳが選択された場合）。

Ｓ２１において、制御部１０は、透過型ディスプレイ３２にアニメーションキャラクタの立体映像が表示されている場合には、アニメーションキャラクタの立体映像を消去する。つまり、制御部１０は、音データの再生中にのみ、透過型ディスプレイ３２に音データに対応するアニメーションキャラクタの立体映像を表示する。
Ｓ２２において、制御部１０は、ＡＲ用プログラム２１ａを終了するか否かを判断する。ＡＲ用プログラム２１ａを終了する場合（Ｓ２２：ＹＥＳ）には、制御部１０は、本処理を終了し、図４に戻る。他方、ＡＲ用プログラム２１ａを終了しない場合（Ｓ２２：ＮＯ）には、制御部１０は、処理をＳ１２に移す。

なお、Ｓ１８やＳ１９において、音楽が終了した場合や、一時停止中の場合を、停止ボタン３４ｅや、再生／一時停止ボタン３４ｆの操作を判断するものとして説明したが、これに限定されない。例えば、制御部１０は、音楽が止まっていることを検知した場合に、停止した再生位置に対応するアニメーションキャラクタの立体映像を、透過型ディスプレイ３２に表示させる。そして、一定時間を超えるまでに音楽が再生されたら、制御部１０は、再生を検知してアニメーションキャラクタの立体映像を動かし、一定時間を超えても音楽が再生されなかったら、制御部１０は、アニメーションキャラクタの立体映像を、透過型ディスプレイ３２から消去する、というものであってもよい。

このように、第１実施形態によれば、眼鏡１は、以下のような効果がある。
（１）音楽の音データを取得している間に、カメラ３１が取得した撮影画像に、取得した音データの音楽に対応するＡＲ用コードを含む場合には、ＡＲ用コードに対応するアニメーションキャラクタの立体映像を透過型ディスプレイ３２に表示できる。そして、音データを取得しなくなった場合には、透過型ディスプレイ３２に表示していたＡＲ用コードに対応するアニメーションキャラクタの立体映像を消去して、表示させなくする。よって、音楽の再生中にのみ、音楽に対応するアニメーションキャラクタの立体映像を、透過型ディスプレイ３２に表示できる。
（２）音楽と、アニメーションキャラクタの立体映像とは、ＡＲ用コードに対応するので、ＡＲ用コードが同じであっても、音楽が異なれば、透過型ディスプレイ３２に表示されるアニメーションキャラクタの立体映像を異なるものにできる。

（３）透過型ディスプレイ３２に表示されるアニメーションキャラクタの立体映像は、音データの再生位置に対応するので、音データの再生にあわせて、アニメーションキャラクタの立体映像があたかも歌って、踊っているかのように演出できる。
（４）アニメーションキャラクタの立体映像から音データが出力されているかのように、スピーカ３３から出力される音量を変化させることができる。
（５）アニメーションキャラクタの立体映像を、ＡＲ用コードに対応する特定位置に配置して表示させるので、例えば、ＡＲ用コードがステージの形状である場合には、アニメーションキャラクタの立体映像があたかもステージ上で歌って、踊っているかのように表示させることができる。
（６）音楽が再生中でない場合でも、カメラ３１が撮影した撮影画像に、コンテンツデータ記憶部２２に記憶されたＡＲ用コードが存在する場合には、ＡＲ用コードに対応する音楽を再生できる。そして、音楽を再生することで、ＡＲ用コードに対応するアニメーションキャラクタの立体映像を透過型ディスプレイ３２に表示できる。

（７）音楽を再生中であっても、カメラ３１が撮影した撮影画像に音楽に対応するＡＲ用コードを含まない場合には、アニメーションキャラクタの立体映像を表示しない。そして、使用者が動くことで、カメラ３１が撮影した撮影画像に音楽に対応するＡＲ用コードを含んだ場合には、その時点から、音データの再生位置に応じたアニメーションキャラクタの立体映像を、透過型ディスプレイ３２に表示する。他方、音楽を再生中であって、アニメーションキャラクタの立体映像を透過型ディスプレイ３２に表示している場合であっても、使用者が動くことで、カメラ３１が撮影した撮影画像に、そのＡＲ用コードを含まなくなると、表示していたアニメーションキャラクタの立体映像を消去して表示しない。このような仕組みを利用して、使用者に、アニメーションキャラクタの立体映像の表示に関して、宝探しのような楽しみ方を提供できる。

（第２実施形態）
第２実施形態は、眼鏡にかわって携帯端末を用いた場合について説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図７は、第２実施形態に係るマーク２６１と携帯端末２０１との例を示す図である。

図７（Ａ）は、マーク２６１（認識対象物）を示す。マーク２６１は、コンテンツデータ記憶部に記憶されているＡＲ用コードの１つである。マーク２６１は、図７（Ａ）に示す例では、斧の図柄である。
図７（Ｂ）に示す携帯端末２０１は、タッチパネルディスプレイ２３２の他、制御部、記憶部、カメラ、スピーカ、通信Ｉ／Ｆ部を備える。
タッチパネルディスプレイ２３２は、例えば、液晶パネル等で構成される表示部としての機能と、使用者からの指等によるタッチ入力を検出する操作部としての機能とを有する。
タッチパネルディスプレイ２３２は、カメラで撮影した撮影画像を表示する。
図７（Ｂ）は、携帯端末２０１が、ＡＲ用プログラムを起動し、マーク２６１に対応する音楽を再生して音データを取得している状態で、カメラがマーク２６１を撮影した場合である。この場合には、タッチパネルディスプレイ２３２には、再生中の音楽及びマーク２６１に対応するアニメーションキャラクタの立体画像（コンテンツ）であるキャラクタ２６２が表示される。キャラクタ２６２は、マーク２６１の前面に重畳して配置される。キャラクタ２６２は、範囲２６３（特定位置）の中を動く。

このように、第２実施形態によれば、以下のような効果がある。
タッチパネルディスプレイ２３２が透過性を有さないものであっても、カメラで撮影した撮影画像を表示し、その撮影画像にマーク２６１を含む場合には、マーク２６１に対応するキャラクタ２６２を、音楽の再生位置に同期して表示できる。しかも、キャラクタ２６２は、そのマーク２６１に対応する音楽の音データを取得している間であって、そのマーク２６１を撮影している間に表示できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）第１実施形態では、眼鏡１が透過型ディスプレイ３２を備えるものとして説明したが、これに限定されない。第２実施形態の携帯端末２０１と同様に、カメラ３１で撮影した撮影画像を背景として表示し、その前面にアニメーションキャラクタの立体映像を表示するものであってもよい。
（２）第１実施形態では、ステージの形状を、第２実施形態では、斧の図柄を、各々ＡＲ用コードとして説明したが、これに限定されない。例えば、アニメーションキャラクタの立体映像である場合に、ＡＲ用コードを、そのアニメーションキャラクタの輪郭の形状にしてもよい。そうすることで、ＡＲ用コードを映したら、そのＡＲ用コードからアニメーションキャラクタの立体映像が浮き出て動作するという演出を行うことができる。
（３）第１実施形態では、眼鏡１がＣＤショップに常設されたものとして説明したが、これに限定されない。使用者が所有するものであってもよい。

（４）各実施形態では、アニメーションキャラクタの立体映像を表示するものとして説明したが、これに限定されない。アニメーションキャラクタではないオブジェクトの立体映像であってもよいし、立体映像ではなく、二次元の映像であってもよい。
（５）各実施形態では、音楽を再生して音データを取得するものとして説明したが、これに限定されない。例えば、マイク（集音部）を備え、外部の音を集音し、音を分析して音楽を特定する。音楽の特定は、例えば、音の波長から類似の音楽を特定できる。また、音に電子透かしが埋め込んである場合には、その電子透かしから音楽を特定できる。そうすることで、撮影した撮影画像が、特定した音楽の音データに対応するＡＲ用コードを含む場合に、音楽及びＡＲ用コードに対応する映像コンテンツを表示できる。よって、街中やＣＤショップ等で流れている音楽と、映像コンテンツとを、ＡＲ用コードを用いて連携させることができる。
（６）各実施形態では、映像コンテンツを各装置（眼鏡１、携帯端末２０１）の記憶部２０等に予め記憶しているものとして説明したが、これに限定されない。例えば、映像コンテンツをコンテンツサーバ４から逐次受信することで取得してもよい。
（７）各実施形態では、カメラ３１を１つ備えるものとして説明したが、これに限定されない。例えば、第１実施形態の眼鏡１において、透過型ディスプレイ３２の両側に計２つ備えていてもよい。

１ 眼鏡
４ コンテンツサーバ
１０，４０ 制御部
１１ 音取得部
１２ 音制御部
１３ 対象判断部
１４ コンテンツ取得部
１５ 表示制御部
２０，４５ 記憶部
２１ａ ＡＲ用プログラム
２２ コンテンツデータ記憶部
３１ カメラ
３２ 透過型ディスプレイ
３３ スピーカ
６１ ステージ
６２，２６２ キャラクタ
１００ 映像コンテンツ処理システム
２０１ 携帯端末
２３２ タッチパネルディスプレイ
２６１ マーク

Claims (10)

1. 撮影部と、
   コンテンツを表示可能な表示部と、
   予め設定された現実の対象物の形状である認識対象物を記憶する記憶部と、
   前記撮影部が撮影した撮影画像に、前記記憶部に記憶されている前記認識対象物を含むか否かを判断する対象判断部と、
   前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられたコンテンツを、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させる表示制御部と、
   を備えること、
   を特徴とするコンテンツ表示装置。
2. 請求項１に記載のコンテンツ表示装置において、
   前記認識対象物は、現実のステージの形状であること、
   を特徴とするコンテンツ表示装置。
3. 請求項１又は請求項２に記載のコンテンツ表示装置において、
   前記表示制御部は、前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられたコンテンツを、前記認識対象物から特定される特定位置に少なくとも部分的に重畳して、前記表示部に表示させること、
   を特徴とするコンテンツ表示装置。
4. 請求項１から請求項３までのいずれかに記載のコンテンツ表示装置において、
   前記記憶部は、音データを、前記認識対象物に対応付けて記憶し、
   音データを取得する音取得部を備え、
   前記対象判断部は、前記撮影部が撮影した撮影画像に、前記音取得部が取得中の音データに対応する前記認識対象物を含むか否かを判断し、
   前記表示制御部は、前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられたコンテンツを、前記音データの再生位置に対応させながら、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させること、
   を特徴とするコンテンツ表示装置。
5. 請求項１から請求項３までのいずれかに記載のコンテンツ表示装置において、
   前記記憶部は、一の前記認識対象物に対して複数の音データと、各音データに対応するコンテンツとを記憶し、
   音データを取得する音取得部を備え、
   前記対象判断部は、前記撮影部が撮影した撮影画像に、前記音取得部が取得中の音データに対応する前記認識対象物を含むか否かを判断し、
   前記表示制御部は、前記撮影画像に前記認識対象物を含む間、前記認識対象物及び前記音データに対応付けられたコンテンツを、前記音データの再生位置に対応させながら、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させること、
   を特徴とするコンテンツ表示装置。
6. 請求項１から請求項５までのいずれかに記載のコンテンツ表示装置において、
   音データを出力する音出力部と、
   前記特定位置と撮影位置との距離を算出し、前記認識対象物から特定される位置から音が発生しているように前記音出力部への前記音データの出力を制御する音制御部と、
   を備えること、
   を特徴とするコンテンツ表示装置。
7. 請求項１から請求項６までのいずれかに記載のコンテンツ表示装置において、
   前記コンテンツを記憶するコンテンツサーバに対して通信ネットワークを介して通信可能に接続されており、
   前記表示制御部は、前記コンテンツサーバから予めダウンロードし、又は、逐次取得した前記コンテンツを表示させること、
   を特徴とするコンテンツ表示装置。
8. 請求項１から請求項７までのいずれかに記載のコンテンツ表示装置を備える眼鏡。
9. 請求項１から請求項７までのいずれかに記載のコンテンツ表示装置と、
   前記コンテンツ表示装置に対して通信ネットワークを介して通信可能に接続されたコンテンツサーバと、
   を備え、
   前記コンテンツサーバは、現実の対象物の形状である認識対象物と、前記コンテンツとを対応付けて記憶する記憶部を有し、
   前記コンテンツ表示装置の前記記憶部は、前記コンテンツサーバからダウンロードした前記認識対象物を記憶すること、
   を特徴とするコンテンツ処理システム。
10. 撮影部と、
    コンテンツを表示可能な表示部と、
    予め設定された現実の対象物の形状である認識対象物を記憶する記憶部と、
    を備えるコンピュータのコンテンツ表示プログラムであって、
    前記コンピュータを、
    前記撮影部が撮影した撮影画像に、前記記憶部に記憶されている前記認識対象物を含むか否かを判断する対象判断手段と、
    前記撮影画像に前記認識対象物を含む間、前記認識対象物に対応付けられたコンテンツを、前記認識対象物から特定される特定位置に重畳して、前記表示部に表示させる表示制御手段と、
    して機能させること、
    を特徴とするコンテンツ表示プログラム。

Images