JP2015222865A - 携帯端末、関連データ提示方法、及びプログラム - Google Patents

Abstract

【課題】視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供する。【解決手段】カメラ部１２により、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、電子透かし検出部２２により、画像から、電子透かしを検出し、検索部２８により、検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、電子透かしが表す情報及び個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部２６から、表示端末によって出力された画像に関連する関連データを検索し、提示制御部３０により、検索された関連データを提示するように提示部９０を制御する。【選択図】図３

Description

本発明は、携帯端末、関連データ提示方法、及びプログラムに係り、特に、表示端末により出力された画像に関連するデータを提示する携帯端末、関連データ提示方法、及びプログラムに関する。

従来、印刷物に対して電子透かしやバーコード、２次元コード等の形態で印刷を行い、携帯端末において印刷物に印刷されている電子透かしやバーコード、２次元コードを読み取り、その画像をサーバに送信することで、関連する音声などのデータを取得する技術が存在する（特許文献１）。

さらに、印刷物の翻訳を行う際には、携帯端末にて利用者が希望する翻訳文の言語設定をキー入力にて指定するという翻訳出版サービスが存在する（特許文献２）。

特許第３８８０３６８号公報 特開２００３−１５７２７２号公報

しかし、特許文献１の技術においては、画像をサーバに送信した後、関連情報を取得するまでの時間がかかるために、秒単位で変化する映像の内容に合わせたデータの取得が難しいという問題がある。例えば、映像の字幕の翻訳を取得する際には、視聴時のネットワーク環境によって映像と取得する字幕のタイムラグが大きく視聴に耐えうるものとならない。また、画像をサーバに送信する事が必要となるため携帯端末がネットワークに接続されていないと利用ができないという問題がある。バーコード、２次元コードについては映像中に常時表示を行うことは映像の見た目を損ねたり、映像の表示領域を制限するという問題がある。

また、特許文献２の技術においては、言語の指定をキー入力にて行う事で指定するため、煩わしく、また言語の数が増えると入力ミスにより異なる言語指定を行う可能性もあるという問題がある。

本発明では、上記問題点を解決するために成されたものであり、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる携帯端末、関連データ提示方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る携帯端末は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取るカメラ部と、前記カメラ部によって読み取られた前記画像から、電子透かしを検出する電子透かし検出部と、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、を含んで構成されている。

第２の発明に係る関連データ提示方法は、カメラ部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、前記カメラ部は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、前記電子透かし検出部は、前記カメラ部によって読み取られた前記画像から、電子透かしを検出し、前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する。

第１及び第２の発明によれば、カメラ部により、表示端末に出力された、電子透かしが埋め込まれた画像を読み取り、電子透かし検出部により、読み取られた前記画像から、電子透かしを検出し、検索部により、検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、電子透かしが表す情報及び個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、表示端末によって出力された画像に関連する関連データを検索し、提示制御部により、検索された関連データを提示するように提示部を制御する。

このように、読み取られた、電子透かしが埋め込まれた画像から、電子透かしを検出し、検出された電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応付けられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、第１の発明において、判断部を更に含み、前記電子透かしが表す情報には、前記個人設定情報の範囲が含まれており、前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれるか否かを判断し、前記検索部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記予め定められた前記個人設定情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御してもよい。

第３の発明に係る携帯端末は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取るカメラ部と、自端末の位置情報を検出する位置情報検出部と、前記カメラ部によって読み取られた画像から、電子透かしを検出する電子透かし検出部と、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、を含んで構成されている。

第４の発明に係る関連データ提示方法は、カメラ部と、位置情報検出部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、前記カメラ部は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、前記位置情報検出部は、自端末の位置情報を検出し、前記電子透かし検出部は、前記カメラ部によって読み取られた画像から、電子透かしを検出し、前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する。

第３及び第４の発明によれば、カメラ部により、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、位置情報検出部により、自端末の位置情報を検出し、電子透かし検出部により、読み取られた画像から、電子透かしを検出し、検索部により、検出された電子透かしが表す情報と、位置情報検出部により検出された位置情報とに基づいて、電子透かしが表す情報及び位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、表示端末によって出力されたフレーム画像に関連する関連データを検索し、提示制御部により、検索された関連データを提示するように提示部を制御する。

このように、読み取られた、電子透かしが埋め込まれた画像から、電子透かしを検出し、検出された電子透かしが表す情報及び検出された位置情報の組み合わせに対応付けられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、第３の発明において、判断部を更に含み、前記電子透かしが表す情報には、前記位置情報の範囲が含まれており、前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれるか否かを判断し、前記検索部は、前記判断部により前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記判断部により前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御してもよい。

第５の発明に係る携帯端末は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取るマイク部と、前記マイク部によって読み取られた音声から、電子透かしを検出する電子透かし検出部と、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、を含んで構成されている。

第６の発明に係る関連データ提示方法は、マイク部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、前記マイク部は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、前記電子透かし検出部は、前記マイク部によって読み取られた音声から、電子透かしを検出し、前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する。

第５及び第６の発明によれば、マイク部により、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、電子透かし検出部により、読み取られた音声から、電子透かしを検出し、検索部により、検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、電子透かしが表す情報及び個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、表示端末によって出力された画像に関連する関連データを検索し、提示制御部により、検索された関連データを提示するように提示部を制御する

このように、読み取られた、電子透かしが埋め込まれた音声から、電子透かしを検出し、検出された電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応づけられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、第５の発明において、判断部を更に含み、前記電子透かしが表す情報には、前記個人設定情報の範囲が含まれており、前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれるか否かを判断し、前記検索部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記予め定められた前記個人設定情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御してもよい。

第７の発明に係る携帯端末は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取るマイク部と、自端末の位置情報を検出する位置情報検出部と、前記マイク部によって読み取られた音声から、電子透かしを検出する電子透かし検出部と、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、を含んで構成されている。

第８の発明に係る関連データ提示方法は、マイク部と、位置情報検出部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、前記マイク部は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、前記位置情報検出部は、自端末の位置情報を検出し、前記電子透かし検出部は、前記マイク部によって読み取られた音声から、電子透かしを検出し、前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する。

第７及び第８の発明によれば、マイク部により、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、位置情報検出部により、自端末の位置情報を検出し、電子透かし検出部により、読み取られた音声から、電子透かしを検出し、検索部により、検出された電子透かしが表す情報と、検出された位置情報とに基づいて、電子透かしが表す情報及び位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、表示端末によって出力された画像に関連する関連データを検索し、提示制御部により、前記検索部により検索された関連データを提示するように提示部を制御する。

このように、読み取られた、電子透かしが埋め込まれた音声から、電子透かしを検出し、検出された電子透かしが表す情報及び検出された位置情報の組み合わせに対応づけられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、本発明のプログラムは、コンピュータを、上記の携帯端末の前記電子透かし検出部、前記検索部、及び前記提示制御部として機能させるためのプログラムである。

以上説明したように、本発明の携帯端末、関連データ提示方法、及びプログラムによれば、読み取られた、電子透かしが埋め込まれた画像又は音声から、電子透かしを検出し、検出された電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応付けられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、本発明の携帯端末、関連データ提示方法、及びプログラムによれば、読み取られた、電子透かしが埋め込まれた画像又は音声から、電子透かしを検出し、検出された電子透かしが表す情報及び検出された位置情報の組み合わせに対応付けられた、画像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

本発明の第１の実施の形態に係る関連データ提示システムの構成を示すブロック図である。 本発明の第１の実施の形態に係る表示端末の構成を示すブロック図である。 本発明の第１の実施の形態に係る携帯端末の構成を示すブロック図である。 本発明の第１の実施の形態に係る携帯端末における関連データ提示処理ルーチンのフローチャート図である。 本発明の第２の実施の形態に係る携帯端末の構成を示すブロック図である。 本発明の第２の実施の形態に係る携帯端末における関連データ提示処理ルーチンのフローチャート図である。 本発明の第３の実施の形態に係る携帯端末の構成を示すブロック図である。 本発明の第３の実施の形態に係る携帯端末における関連データ提示処理ルーチンのフローチャート図である。 本発明の第４の実施の形態に係る携帯端末の構成を示すブロック図である。 本発明の第４の実施の形態に係る携帯端末における関連データ提示処理ルーチンのフローチャート図である。 本発明の第５の実施の形態に係る関連データ提示システムの構成を示すブロック図である。 本発明の第５の実施の形態に係る表示端末の構成を示すブロック図である。 本発明の第５の実施の形態に係る携帯端末の構成を示すブロック図である。 本発明の第５の実施の形態に係る携帯端末における関連データ提示処理ルーチンのフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る関連データ提示システムの構成＞
まず、本発明の第１の実施の形態に係る関連データ提示システムの構成について説明する。図１に示すように、第１の実施の形態に係る関連データ提示システムは、一又は複数の表示端末１（テレビ、プロジェクタなど）の各々と、放送網３と、一又は複数の携帯端末２（携帯電話、スマートフォン、持ち運び可能なＰＣなど）の各々とを含んでいる。

表示端末１の各々は、放送網３と接続されており、表示端末１の各々は放送網３から送信された映像データを受信し、デコードを行い表示する。

携帯端末２の各々は、表示端末１から出力される映像に関連する関連データを再生する。

＜本発明の第１の実施の形態に係る表示端末の構成＞
次に、本発明の第１の実施の形態に係る表示端末の構成について説明する。図２に示すように、第１の実施の形態に係る表示端末１は、ＣＰＵと、ＲＡＭと、各種プログラムや各種データを記憶したＲＯＭと、を含んで構成することが出来る。この表示端末は、機能的には図３に示すようにチューナー４と、入力部５と、処理部６と、表示部８と、スピーカ部９とを備えている。

チューナー４は、放送網３から電子透かしが埋め込まれた映像を受信する。なお、電子透かしは、映像の各フレーム画像に埋め込まれている。ここで、電子透かしの埋め込み方法としては、例えば、ミリ秒単位で電子透かしが検出可能な特許文献３（特許第３７４５７２９号公報）と同様の方法を用いればよい。具体的には、各フレーム画像について、鍵情報を用いて埋め込み対象成分位置情報を生成し、また、鍵情報を用いて位置マーカ系列と電子透かしとを埋め込み系列に拡散し、埋め込み対象成分位置情報と埋め込み系列とを用いて、初期値をゼロ行列の複素行列とする透かし係数行列の成分値を変更することによって、透かし系列行列を作成し、当該透かし系列行列を離散逆フーリエ変換することにより透かしパターンを作成し、当該透かしパターンを予め定められた強度パラメータで強調して、各フレームにタイル状に加算して埋め込み済み画像を作成することにより、電子透かしを埋め込む。また、各フレーム画像に埋め込まれる電子透かしは、例えば、シーンを特定する情報を表している。

入力部５は、ユーザの入力を受け付け、処理部６に出力する。

処理部６は、入力部５において受け付けたユーザの入力に基づいて、チューナー４において受信した映像をデコードし、デコードされた映像のデータを表示部８に出力し、映像の音声データをスピーカ部９に出力する。

表示部８は、ディスプレイであり、処理部６から入力される映像の各フレーム画像を連続して表示させる。

スピーカ部９は、処理部６から入力される映像の音声データを再生する。

＜本発明の第１の実施の形態に係る携帯端末の構成＞
次に、本発明の第１の実施の形態に係る携帯端末の構成について説明する。図３に示すように、本発明の実施の形態に係る携帯端末２は、ＣＰＵと、ＲＡＭと、後述する関連データ提示処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この携帯端末２は、機能的には図３に示すように入力部１０と、カメラ部１２と、演算部２０と、提示部９０とを備えている。

入力部１０は、ユーザからのカメラ部１２を起動する入力を受け付ける。

カメラ部１２は、入力部１０から入力される起動命令に従い、起動され、表示端末１に表示されている映像のフレーム画像を逐次読み込み、電子透かし検出部２２に出力する。具体的には、ユーザの操作により、表示端末１にカメラ部１２をかざすことにより、表示端末１において再生中の映像を読み込む。本実施の形態では、電子透かしには、映像と再生する映像の関連データとの時間同期を行うために、タイムスタンプのような映像の再生時間を特定する情報が含まれる。

演算部２０は、電子透かし検出部２２と、個人設定情報記憶部２４と、関連データ記憶部２６と、検索部２８と、提示制御部３０と、を含んで構成されている。

電子透かし検出部２２は、カメラ部１２から逐次入力されるフレーム画像の各々について、当該フレーム画像について電子透かしの検出を行い、電子透かしが検出された場合は、当該電子透かしを検索部２８に出力する。また、電子透かしが検出されなかった場合には、次の時刻のフレーム画像について電子透かしの検出を行う。ここで、各フレーム画像についての電子透かしの検出方法としては、例えば、上記特許文献３に記載の方法と同様の方法を用いればよい。具体的には、鍵情報を用いて埋め込み対象成分位置情報を生成し、また、鍵情報を用いて位置マーカ系列を生成し、検出対象画像から電子透かしパターンのサイズの画素ブロックを切り出し、画素ブロックの左上の位置である開始点と、埋め込み時の電子透かしの開始点が一致するときの、画素ブロックの開始点をオフセット情報として取得し、検出対象画像、鍵情報、検出対象成分位置情報、及びオフセット情報で指定されるオフセット位置から画素ブロックを切り出し、当該画素ブロックに埋め込まれている電子透かしを検出する（特許文献３）。なお、本実施の形態においては、電子透かし検出部２２は、ハードウェア処理によって実現される形態である。

個人設定情報記憶部２４には、個人設定情報として、例えば、携帯端末のＯＳの言語設定情報が記憶されている。

関連データ記憶部２６には、電子透かしが表す情報、及び個人設定情報の組み合わせの各々に対応づけられた、映像に関連する関連データ（文字、画像、音声、及び動画像等）の情報が記憶されている。

検索部２８は、フレーム画像の各々について、電子透かし検出部２２において当該フレーム画像から検出された電子透かしが表す情報と、個人設定情報記憶部２４に記憶されている個人設定情報との組み合わせに対応付けられた関連データを、関連データ記憶部２６に記憶されている関連データから検索し、検索された関連データを、提示制御部３０に出力する。

提示制御部３０は、フレーム画像の各々について、当該フレーム画像と共に検索部２８において検索された関連データを提示するように、提示部９０を制御する。例えば、関連データが、文字、画像、動画像である場合には、カメラ部１２において取得したフレーム画像の枠を検出し、当該フレーム画像と共に検索部２８において検索された関連データを、フレーム画像の枠の外に提示するように、表示部９２を制御する。なお、フレーム画像の枠検出としては、ミリ秒単位で検出可能な公知の技術を用いる（特許文献４：特許第４０２００９３号公報、特許文献５：特開２０１３−１６１２４７号公報）。また、関連データが音声である場合には、カメラ部１２において取得したフレーム画像を表示させるように表示部９２を制御すると共に、検索部２８において検索された関連データを提示するようにスピーカ部９４を制御する。

提示部９０は、表示部９２と、スピーカ部９４とを備えている。提示部９０は、カメラ部１２において取得したフレーム画像とともに、提示制御部３０により出力された関連データを提示する。

＜本発明の第１の実施の形態に係る関連データ提示システムの作用＞
次に、本発明の第１の実施の形態に係る関連データ提示システムの作用について説明する。まず、表示端末１が、チューナー４を介して受信した、フレーム画像に電子透かしが埋め込まれた映像を表示部８に表示する。このとき、ユーザが、携帯端末２のカメラ部１２を起動させるとともに、カメラ部１２を、表示端末１の表示部８にかざす。そして、カメラ部１２により、表示端末１に表示されている映像の各フレーム画像を逐次取得しているときに、携帯端末２は、図４に示す関連データ提示処理ルーチンを実行する。

まず、ステップＳ１００では、カメラ部１２において取得したフレーム画像について、電子透かしを検出する。

次に、ステップＳ１０２では、ステップＳ１００において当該フレーム画像について電子透かしが検出されたか否かを判定する。当該フレーム画像について電子透かしが検出された場合には、ステップＳ１０４へ移行し、当該フレーム画像について電子透かしが検出されていない場合には、ステップＳ１００へ戻る。

次に、ステップＳ１０４では、個人設定情報記憶部２４に記憶されている個人設定情報を読み込む。

次に、ステップＳ１０８では、ステップＳ１００において取得した当該フレーム画像についての電子透かしが表す情報と、ステップＳ１０４において取得した個人設定情報との組み合わせに基づいて、関連データ記憶部２６から、対応する関連データを検索する。

次に、ステップＳ１１０では、当該フレーム画像と共に、ステップＳ１０８において取得した当該フレーム画像の関連データを提示部９０に提示させるように制御して、ステップＳ１００へ戻り、次のフレーム画像について、ステップＳ１００〜ステップＳ１１０の処理を繰り返す。

以上説明したように、本発明の第１の実施の形態に係る関連データ提示システムによれば、読み取られた、電子透かしが埋め込まれた映像のフレーム画像から、電子透かしを検出し、電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応付けられた映像に関連する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、映像に同期して関連データを再生し、視聴時のネットワーク環境によらず個人に合わせた関連情報をユーザが意図することなく自然に提供することができる。

また、携帯端末のカメラで取得したフレーム毎に繰り返し実施することによって、映像に合わせた関連情報の再生が可能となる。

また、映像の枠を検出することで関連データを枠の外に提示し映像の視聴を妨げないように提示することができる。

また、あらかじめ制作しておいた映像に対して、後ほど関連データを提供することが可能となるために、映像を制作・再配布するコスト、例えば当初日本語音声の映像のみがあり多言語対応を行う場合にも、複数の言語のDVD映像を制作・再配布するコストをかけることがなく、携帯端末にアプリケーションを配布するだけで簡易に多言語対応の付加価値を付けることが可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第１の実施の形態においては、電子透かしの埋め込み、及び電子透かしの検出について特許文献３の技術を利用しているが、これに限定されるものではなく、ミリ秒単位で電子透かしが検出可能な他の公知の技術を利用してもよい。

また、第１の実施の形態においては、表示端末が、チューナー、入力部、処理部、表示部、及びスピーカ部を含んで構成される場合について説明したがこれに限定されるものではない。例えば、表示端末が、表示部と、スピーカ部とを含み、処理部が外部に設けられるように構成してもよい。また、スピーカ部として外付けのスピーカ等を用いてもよい。

また、第１の実施の形態においては、チューナーを通して映像を取得する場合について説明したが、これに限定されるものではない。例えば、ネットワークとの間で通信を行う通信部を設け、通信部を通して取得した電子透かしを含んだ映像を表示部に表示させることにより表示端末は電子透かしを含む映像を出力してもよい。

また、第１の実施の形態においては、映像に予め電子透かしが埋め込まれている場合について説明したが、これに限定されるものではない。例えば、表示端末１に蓄積部を設け、予めチューナー又は通信部を介するなどして電子透かしを蓄積部に蓄積しておき、チューナーや通信部を介して取得した電子透かしが埋め込まれていない映像に対して、処理部６において、電子透かしを埋め込んでもよい。

また、第１の実施の形態においては、電子透かし検出部２２は、ハードウェア処理によって実現される形態である場合について説明したが、これに限定されるものではない。例えば、ソフトウェア処理によって実現されてもよい。この場合、予め端末にプリインストールされている形式であっても、携帯端末が通信部を有し、通信部を通じて予めインターネット等からインストールされる形態であってもよい。

また、第１の実施の形態においては、個人設定情報として、携帯端末のＯＳの言語設定情報を用いる場合について説明したが、これに限定されるものではない。例えば、提供するサービスに応じて適当な個人設定情報を用いてもよい。具体的には、映像の字幕の翻訳サービスを提供する場合には携帯端末のOSの言語設定情報を取得したり、映像エンターテイメントサービスとしてユーザ好みの映像修飾をするために携帯端末内に保存されたユーザ固有の絵文字、スタンプ情報、画像、音声、映像を取得する。

また、第１の実施の形態においては、映像と同期して情報を提示するという観点、及びオフライン視聴が可能という観点から、関連データ記憶部は携帯端末内に保持している場合について説明したがこれに限定されるものではない。例えば、映像に対して秒単位での関連情報提示が可能であるほど高速なネットワーク接続が担保されている場合には、関連データはネットワークを介してサーバ上に保持されているもよい。

また、第１の実施の形態においては、映像の枠を検出し、関連データを枠の外に提示する場合について説明したが、これに限定されるものではない。例えば、映像の枠を検出することにより、表示端末の表示部における映像の変形の程度が計測可能であるので、変形に応じて、関連データを変形させ映像に合わせて提示することも可能である。また、映像視聴の妨げとならないようにスマートフォン・タブレット端末などのタッチデバイスにおいて、表示部の任意位置を指定し関連データを重ね合わせ提示してもよい。

また、第１の実施の形態においては、表示端末が、電子透かしが埋め込まれた映像を表示する場合について説明したが、これに限定されるものではない。例えば、表示端末が、電子透かしが埋め込まれた画像を表示してもよい。なお、この場合、関連データ記憶部２６には、電子透かしが表す情報、及び個人設定情報の組み合わせの各々に対応づけられた、画像に関連する関連データ（文字、画像、音声、及び動画像等）の情報が記憶されている。また、電子透かしを画像に埋め込む方法としては、例えば、ミリ秒単位で電子透かしが検出可能な特許文献６（特許第４２７９８３９号公報）と同様の方法を用いればよい。具体的には、画像を複数の画素ブロックに分割し、電子透かしを拡散することにより、分割された画素ブロック数に対応する長さの埋め込み系列を取得し、一の画素ブロックの画像における位置に対応する埋め込み系列の項値に応じて、予め定めた複数の周波数から少なくとも１つの周波数を選択し、選択された周波数に対応する波形パターンの振幅を埋め込み強度値で増幅し、振幅を増幅した波形パターンを一の画素ブロックに重畳し、各画素ブロックに対して波形パターンが重畳された画像を電子透かしが埋め込まれた画像としてすることにより行う。また、電子透かしを当該画像から検出する方法としては、例えば、特許文献６と同様の方法を用いればよい。具体的には、電子透かしが埋め込まれた画像を複数の画素ブロックに分割し、一の画素ブロックについて、＋の符号及び−の符号に対応づけられた２種類の周波数のエネルギーの中で大きいほうのエネルギーを有する周波数を決定し、決定された周波数に対応する符号を求めその符号に応じた値を一の画素ブロックに対応する検出値として求め、複数の画素ブロックに対応する検出値の列を逆拡散することにより、当該画像に埋め込まれた電子透かしを検出する（特許文献６）。

次に、第２の実施の形態に係る関連データ提示システムについて説明する。

第２の実施の形態においては、電子透かしが表す情報に、個人設定情報の範囲が含まれている点が第１の実施の形態と異なる。なお、第１の実施の形態に係る表示端末、及び携帯端末と同様の構成及び作用については、同一の符号を付して説明を省略する。また、関連データ提示システムの構成については、携帯端末２を携帯端末２００に置き換える構成であるので、説明を省略する。

＜本発明の第２の実施の形態に係る携帯端末の構成＞
次に、本発明の第２の実施の形態に係る携帯端末の構成について説明する。図５に示すように、本発明の実施の形態に係る携帯端末２００は、ＣＰＵと、ＲＡＭと、後述する関連データ提示処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この携帯端末２００は、機能的には図５に示すように入力部１０と、カメラ部１２と、演算部２２０と、提示部９０とを備えている。

演算部２２０は、電子透かし検出部２２と、個人設定情報記憶部２４と、判断部２２５と、関連データ記憶部２６と、検索部２８と、提示制御部２３０と、を含んで構成されている。

判断部２２５は、フレーム画像の各々について、電子透かし検出部２２において検出された電子透かしが表す情報に含まれる個人設定情報の範囲に、個人設定情報記憶部２４に記憶されている個人設定情報が含まれるか否かを判断する。そして、電子透かしが表す情報に含まれる個人設定情報の範囲に、個人設定情報記憶部２４に記憶されている個人設定情報が含まれる場合には、検出された電子透かし、及び個人設定情報記憶部２４に記憶されている個人設定情報を検索部２８に出力する。また、電子透かしが表す情報に含まれる個人設定情報の範囲に、個人設定情報記憶部２４に記憶されている個人設定情報が含まれない場合には、提示制御部２３０に範囲外であることを示すメッセージを出力する。

提示制御部２３０は、フレーム画像の各々について、当該フレームについて関連データが検索されている場合には、フレーム画像の各々について、当該フレーム画像と共に検索部２８において検索された関連データを提示するように、提示部９０を制御する。また、当該フレームについて範囲外であることを示すメッセージを取得している場合には、範囲外であるメッセージを提示するように、提示部９０を制御する。

＜本発明の第２の実施の形態に係る関連データ提示システムの作用＞
次に、本発明の第２の実施の形態に係る関連データ提示システムの作用について説明する。まず、表示端末１が、チューナー４を介して受信した、フレーム画像に電子透かしが埋め込まれた映像を表示部８に表示する。このとき、ユーザが、携帯端末２００のカメラ部１２を起動させるとともに、カメラ部１２を、表示端末１の表示部８にかざす。そして、カメラ部１２により、表示端末１に表示されている映像の各フレーム画像を逐次取得しているときに、携帯端末２００は、図６に示す関連データ提示処理ルーチンを実行する。

ステップＳ２００では、ステップＳ１００において取得した電子透かしが表す情報に含まれる個人設定情報の範囲に、ステップＳ１０４において取得した個人設定情報が含まれるか否かを判定する。電子透かしが表す情報に含まれる個人設定情報の範囲に、取得した個人設定情報が含まれる場合には、ステップＳ１０６へ移行し、電子透かしが表す情報に含まれる個人設定情報の範囲に、取得した個人設定情報が含まれない場合には、ステップＳ２０２へ移行する。

ステップＳ２０２では、提示制御部２３０が範囲外であるメッセージを提示するように、提示部９０を制御して処理を終了する。

以上説明したように、本発明の第２の実施の形態に係る関連データ提示システムによれば、読み取られた、電子透かしが埋め込まれた映像のフレーム画像から、電子透かしを検出し、電子透かしが表す情報に含まれる個人設定情報の範囲に、予め定められた個人設定情報が含まれるか否かを判断し、含まれると判断された場合、電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応付けられた映像に関連する関連データを検索し、関連データを提示するように制御し、一方、電子透かしが表す情報に含まれる個人設定情報の範囲に、予め定められた個人設定情報が含まれない場合には、範囲外であることを示すメッセージを提示するように制御することによって、視聴時のネットワーク環境によらず、対象となる個人にのみ、当該個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、映像に関連する関連データが、映像の字幕であり、映像の字幕が、日英中韓の４か国語のみとなっているときに、日英中韓に当たる関連データの範囲を電子透かしとして埋め込んでおき、携帯端末の個人設定情報が、電子透かしが表す情報に含まれる個人設定情報の範囲に含まれる場合には、該当言語の字幕を表示し、一方、個人設定情報が電子透かしが表す情報に含まれる個人設定情報の範囲に含まれない場合には、携帯端末の提示部に視聴対象外である旨を表示することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第２の実施の形態においては、範囲外であることを示すメッセージを表示部９２に表示させる場合について説明したが、これに限定されるものではなく、範囲外であることを示す音声をスピーカ部９４から出力してもよいし、メッセージを表示部９２に表示すると同時にスピーカ部９４から範囲外である音声を出力してもよい。

また、後述する第５の実施の形態のように、音声に電子透かしを埋め込んで、関連データを提示する方法を第２の実施の形態に適用してもよい。この場合には、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を、携帯端末のマイク部により読み取って、読み取った音声から、電子透かしを検出し、検出された電子透かしが表す情報に含まれる個人設定情報の範囲に、個人設定情報記憶部に記憶されている個人設定情報が含まれるか判断し、当該個人設定情報が含まれる場合には、検出された電子透かしが表す情報及び当該個人設定情報の組み合わせに対応する関連データを、関連データ記憶部から検索し、検索された関連データを提示するように提示部を制御し、一方、検出された電子透かしが表す情報に含まれる個人設定情報の範囲に、個人設定情報記憶部に記憶されている個人設定情報が含まれない場合には、範囲外であることを示すメッセージを提示するように提示部を制御する。

次に、第３の実施の形態に係る関連データ提示システムについて説明する。

第３の実施の形態においては、電子透かしが表す情報と、携帯端末の位置情報とに基づいて、関連データを検索している点が第１の実施の形態と異なる。なお、第１の実施の形態に係る表示端末、及び携帯端末と同様の構成及び作用については、同一の符号を付して説明を省略する。また、関連データ提示システムの構成については、携帯端末２を携帯端末３００に置き換える構成であるので、説明を省略する。

＜本発明の第３の実施の形態に係る携帯端末の構成＞
次に、本発明の第３の実施の形態に係る携帯端末の構成について説明する。図７に示すように、本発明の実施の形態に係る携帯端末３００は、ＣＰＵと、ＲＡＭと、後述する関連データ提示処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この携帯端末３００は、機能的には図７に示すように入力部１０と、カメラ部１２と、位置情報検出部３２と、演算部３２０と、提示部９０とを備えている。

位置情報検出部３２は、携帯端末３００に内蔵されているＧＰＳを利用して、自端末の位置情報を検出する。

演算部３２０は、電子透かし検出部２２と、関連データ記憶部３２６と、検索部３２８と、提示制御部３０と、を含んで構成されている。

関連データ記憶部３２６には、電子透かしが表す情報、及び位置情報の組み合わせの各々に対応づけられた、映像に関連する関連データ（文字、画像、音声、及び動画像等）の情報が記憶されている。

検索部３２８は、フレーム画像の各々について、電子透かし検出部２２において当該フレーム画像から検出された電子透かしが表す情報と、位置情報検出部３２において検出した位置情報との組み合わせに対応づけられた関連データを、関連データ記憶部３２６に記憶されている関連データから検索し、検索された関連データを、提示制御部３０に出力する。

＜本発明の第３の実施の形態に係る関連データ提示システムの作用＞
次に、本発明の第３の実施の形態に係る関連データ提示システムの作用について説明する。まず、表示端末１が、チューナー４を介して受信した、フレーム画像に電子透かしが埋め込まれた映像を表示部８に表示する。このとき、ユーザが、携帯端末３００のカメラ部１２を起動させるとともに、カメラ部１２を、表示端末１の表示部８にかざす。そして、カメラ部１２により、表示端末１に表示されている映像の各フレーム画像を逐次取得しているときに、携帯端末３００は、図８に示す関連データ提示処理ルーチンを実行する。

ステップＳ３００では、位置情報検出部３２において検出されている自端末の位置情報を取得する。

ステップＳ３０２では、ステップＳ１００において取得した当該フレーム画像についての電子透かしが表す情報と、ステップＳ３００において取得した位置情報との組み合わせに基づいて、関連データ記憶部３２６から、対応する関連データから検索する。

以上説明したように、本発明の第３の実施の形態に係る関連データ提示システムによれば、読み取られた、電子透かしが埋め込まれた映像のフレーム画像から、電子透かしを検出し、電子透かしが表す情報及び検出された自端末の位置情報の組み合わせに対応する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、携帯端末の位置情報を取得することで、映像にユーザがいる地域の情報を再生することができる。例えば、映像に地域の名産物情報などを表示するサービスを提供することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、後述する第５の実施の形態のように、音声に電子透かしを埋め込んで、関連データを提示する方法を第３の実施の形態に適用してもよい。この場合には、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を、携帯端末のマイク部により読み取り、位置情報検出部により自端末の位置情報を検出し、読み取った音声から、電子透かしを検出し、検出された電子透かしが表す情報及び検出された位置情報の組み合わせに対応する関連データを、関連データ記憶部から検索し、検索された関連データを提示するように提示部を制御するように提示部を制御する。

また、第３の実施の形態においては、ＧＰＳを利用して、自端末の位置情報を検出する場合について説明したが、これに限定されるものではない。例えば、シーンに応じて、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＬＴＥ等を利用して、自端末の位置情報を検出してもよい。

次に、第４の実施の形態に係る関連データ提示システムについて説明する。

第４の実施の形態においては、電子透かしが表す情報に位置情報の範囲が含まれている点が第３の実施の形態と異なる。なお、第１〜３の実施の形態に係る表示端末、及び携帯端末と同様の構成及び作用については、同一の符号を付して説明を省略する。また、関連データ提示システムの構成については、携帯端末２を携帯端末４００に置き換える構成であるので、説明を省略する。

＜本発明の第４の実施の形態に係る携帯端末の構成＞
次に、本発明の第４の実施の形態に係る携帯端末の構成について説明する。図９に示すように、本発明の実施の形態に係る携帯端末４００は、ＣＰＵと、ＲＡＭと、後述する関連データ提示処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この携帯端末４００は、機能的には図９に示すように入力部１０と、カメラ部１２と、位置情報検出部３２と、演算部４２０と、提示部９０とを備えている。

演算部４２０は、電子透かし検出部２２と、判断部４２５と、関連データ記憶部３２６と、検索部３２８と、提示制御部２３０と、を含んで構成されている。

判断部４２５は、フレーム画像の各々について、電子透かし検出部２２において検出された電子透かしが表す情報に含まれる位置情報の範囲に、位置情報検出部３２において検出された位置情報が含まれるか否かを判断する。そして、電子透かしが表す情報に含まれる位置情報の範囲に、位置情報検出部３２において検出された位置情報が含まれる場合には、検出された電子透かし、及び位置情報検出部３２において検出された位置情報を検索部３２８に出力する。また、電子透かしが表す情報に含まれる位置情報の範囲に、位置情報検出部３２において検出された位置情報が含まれない場合には、提示制御部２３０に範囲外であることを示すメッセージを出力する。

＜本発明の第４の実施の形態に係る関連データ提示システムの作用＞
次に、本発明の第４の実施の形態に係る関連データ提示システムの作用について説明する。まず、表示端末１が、チューナー４を介して受信した、フレーム画像に電子透かしが埋め込まれた映像を表示部８に表示する。このとき、ユーザが、携帯端末４００のカメラ部１２を起動させるとともに、カメラ部１２を、表示端末１の表示部８にかざす。そして、カメラ部１２により、表示端末１に表示されている映像の各フレーム画像を逐次取得しているときに、携帯端末４００は、図１０に示す関連データ提示処理ルーチンを実行する。

ステップＳ４００では、ステップＳ１００において取得した電子透かしが表す情報に含まれる位置情報の範囲に、ステップＳ３００において取得した位置情報が含まれるか否かを判定する。電子透かしが表す情報に含まれる位置情報の範囲に、取得した位置情報が含まれる場合には、ステップＳ１０６へ移行し、電子透かしが表す情報に含まれる位置情報の範囲に、取得した位置情報が含まれない場合には、ステップＳ２０２へ移行する。

以上説明したように、本発明の実施の形態に係る関連データ提示システムによれば、読み取られた、電子透かしが埋め込まれた映像のフレーム画像から、電子透かしを検出し、電子透かしが表す情報に含まれる位置情報の範囲に、検出した位置情報が含まれるか否かを判断し、含まれると判断された場合、電子透かしが表す情報及び検出した位置情報の組み合わせに対応付けられた映像に関連する関連データを検索し、関連データを提示するように制御し、一方、電子透かしが表す情報に含まれる位置情報の範囲に、検出した位置情報が含まれない場合には、範囲外であることを示すメッセージを提示するように制御することによって、視聴時のネットワーク環境によらず、対象となる個人にのみ、当該個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、該当範囲に含まれる位置に存在するユーザのみに、ユーザがいる地域のご当地映像を再生する形態を実現することができ、また、位置情報が範囲に含まれない場合は携帯端末の表示部に視聴対象外である旨を表示することができることによって、実際にユーザがいる位置に応じた映像の出しわけが可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、後述する第５の実施の形態のように、音声に電子透かしを埋め込んで、関連データを提示する方法を第４の実施の形態に適用してもよい。この場合には、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を、携帯端末のマイク部により読み取り、位置情報検出部により自端末の位置情報を検出し、読み取った音声から、電子透かしを検出し、検出された電子透かしが表す情報に含まれる位置情報の範囲に、検出した位置情報が含まれるか判断し、当該位置情報が含まれる場合には、検出された電子透かしが表す情報及び検出された位置情報の組み合わせに対応する関連データを、関連データ記憶部から検索し、検索された関連データを提示するように提示部を制御し、一方、検出された電子透かしが表す情報に含まれる位置情報の範囲に、検出した位置情報が含まれない場合には、範囲外であることを示すメッセージを提示するように提示部を制御する。

次に、第５の実施の形態に係る関連データ提示システムについて説明する。

第５の実施の形態においては、音声に電子透かしが埋め込まれている点が第１の実施の形態と異なる。なお、第１〜４の実施の形態に係る関連データ提示システム、表示端末、及び携帯端末と同様の構成及び作用については、同一の符号を付して説明を省略する。

＜本発明の第５の実施の形態に係る関連データ提示システムの構成＞
まず、本発明の第５の実施の形態に係る関連データ提示システムの構成について説明する。図１１に示すように、第５の実施の形態に係る関連データ提示システムは、一又は複数の表示端末１０００（テレビ、プロジェクタなど）の各々と、放送網３と、一又は複数の携帯端末５００（携帯電話、スマートフォン、持ち運び可能なＰＣなど）の各々とを含んでいる。

表示端末１０００の各々は、放送網３と接続されており、表示端末１０００の各々は放送網３から送信された映像データ及び音声データを受信し、デコードを行い表示する。

携帯端末５００の各々は、表示端末１０００から出力される映像に関連する関連データを再生する。

＜本発明の第５の実施の形態に係る表示端末の構成＞
次に、本発明の第５の実施の形態に係る表示端末の構成について説明する。図１２に示すように、第５の実施の形態に係る表示端末１０００は、ＣＰＵと、ＲＡＭと、各種プログラムや各種データを記憶したＲＯＭと、を含んで構成することが出来る。この表示端末は、機能的には図１２に示すようにチューナー１００４と、入力部５と、処理部６と、表示部８と、スピーカ部９とを備えている。

チューナー１００４は、放送網３から映像、及び電子透かしが埋め込まれた当該映像の音声を受信する。なお、電子透かしは、音声の音声区間毎に埋め込まれている。ここで、電子透かしの埋め込み方法としては、例えば、ミリ秒単位で電子透かしが検出可能な特許文献７（特許第５２１８０２０号公報）と同様の方法を用いればよい。具体的には、音声信号に帯域分割を施し、複数帯域のサブキャリアを生成する。そして、複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアをデータシンボル列の埋め込み先であるデータキャリアとし、データキャリアの位相成分をシンボル列を示す連続的な波形のデータシンボル用変調信号により置き換える。そして、サブキャリアに帯域合成を施し、電子透かしの埋め込まれた音声信号とする

入力部５は、ユーザの入力を受け付け、処理部６に出力する。

処理部６は、入力部５において受け付けたユーザの入力に基づいて、チューナー１００４において受信した映像、及び音声をデコードし、デコードされた映像のデータを表示部８に出力し、当該映像の音声データをスピーカ部９に出力する。

＜本発明の第５の実施の形態に係る携帯端末の構成＞
次に、本発明の第１の実施の形態に係る携帯端末の構成について説明する。図１３に示すように、本発明の実施の形態に係る携帯端末５００は、ＣＰＵと、ＲＡＭと、後述する関連データ提示処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この携帯端末５００は、機能的には図１３に示すように入力部１０と、カメラ部５１２と、マイク部５１４と、演算部５２０と、提示部９０とを備えている。

入力部１０は、ユーザからのカメラ部５１２、及びマイク部５１４を起動する入力を受け付ける。

カメラ部５１２は、入力部１０から入力される起動命令に従い、起動され、表示端末１０００に表示されている映像のフレーム画像を逐次読み込み、提示制御部５３０に出力する。

マイク部５１４は、入力部１０から入力される起動命令に従い、起動され、表示端末１０００から出力されている音声を読み込み、電子透かし検出部５２２に出力する。

演算部５２０は、電子透かし検出部５２２と、個人設定情報記憶部２４と、関連データ記憶部２６と、検索部２８と、提示制御部５３０と、を含んで構成されている。

電子透かし検出部５２２は、マイク部５１４から入力される音声について、音声区間毎に、当該音声区間に対する電子透かしの検出を行い、電子透かしが検出された場合は、当該電子透かしを検索部２８に出力する。また、電子透かしが検出されなかった場合には、次の音声区間について電子透かしの検出を行う。ここで、各音声区間についての電子透かしの検出方法としては、例えば、上記特許文献７に記載の方法と同様の方法を用いればよい。具体的には、音声信号のデータキャリアにおけるパイロットシンボルの埋め込み区間、すなわち、音声信号のデータキャリアにおけるデータシンボルの埋め込み区間を概略的に探索し、探索されたデータシンボル列の埋め込み区間からデータシンボル列を抽出する。

提示制御部５３０は、音声区間の各々について、カメラ部５１２において取得した映像と、検索部２８において検索された関連データを提示するように、提示部９０を制御する。

＜本発明の第５の実施の形態に係る関連データ提示システムの作用＞
次に、本発明の第５の実施の形態に係る関連データ提示システムの作用について説明する。まず、表示端末１０００が、チューナー１００４を介して受信した、映像を表示部８に表示し、当該映像の音声であって、かつ、電子透かしが埋め込まれた音声をスピーカ部９に出力する。このとき、ユーザが、携帯端末５００のカメラ部５１２及びマイク部５１４を起動させるとともに、カメラ部５１２を、表示端末１０００の表示部８にかざし、カメラ部５１２により、表示端末１０００に表示されている映像の各フレーム画像を逐次取得すると共に、マイク部５１４により、スピーカ部９から出力されている音声を取得する。そして、カメラ部５１２及びマイク部５１４により、表示端末１０００に表示されている映像の各フレーム画像、及び表示端末１０００から出力されている音声を逐次取得しているときに、携帯端末５００は、図１４に示す関連データ提示処理ルーチンを実行する。

ステップＳ５００では、マイク部５１４において取得した音声の現時点の音声区間について、電子透かしを検出する。

以上説明したように、本発明の第５の実施の形態に係る関連データ提示システムによれば、読み取られた、電子透かしが埋め込まれた音声から、電子透かしを検出し、電子透かしが表す情報及び予め定められた個人設定情報の組み合わせに対応する関連データを検索し、関連データを提示するように制御することによって、視聴時のネットワーク環境によらず個人に合わせた関連データをユーザが意図することなく自然に提供することができる。

また、音声に同期して関連情報を再生し、視聴時のネットワーク環境によらず個人に合わせた関連情報をユーザが意図することなく自然に提供することができる。

また、携帯端末のマイクで取得した音声区間毎に繰り返し実施することによって、映像に合わせた関連情報の再生が可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第５の実施の形態においては、表示端末によって映像と共に出力された、電子透かしが埋め込まれた音声を読み取る場合について説明したが、これに限定されるものではない。例えば、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取ってもよい。

また、第５の実施の形態においては、音声に予め電子透かしが埋め込まれている場合について説明したが、これに限定されるものではない。例えば、表示端末１０００に蓄積部を設け、予めチューナー又は通信部を介するなどして電子透かしを蓄積部に蓄積しておき、チューナーや通信部を介して取得した電子透かしが埋め込まれていない音声に対して、処理部６において、電子透かしを埋め込んでもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１ 表示端末
２ 携帯端末
３ 放送網
４ チューナー
５ 入力部
６ 処理部
８ 表示部
９ スピーカ部
１０ 入力部
１２ カメラ部
２０ 演算部
２２ 検出部
２４ 個人設定情報記憶部
２６ 関連データ記憶部
２８ 検索部
３０ 提示制御部
３２ 位置情報検出部
９０ 提示部
９２ 表示部
９４ スピーカ部
２００ 携帯端末
２２０ 演算部
２２５ 判断部
２３０ 提示制御部
３００ 携帯端末
３２０ 演算部
３２６ 関連データ記憶部
３２８ 検索部
４００ 携帯端末
４２０ 演算部
４２５ 判断部
５００ 携帯端末
５１２ カメラ部
５１４ マイク部
５２０ 演算部
５２２ 検出部
５３０ 提示制御部
１０００ 表示端末
１００４ チューナー

Claims (12)

1. 表示端末によって出力された、電子透かしが埋め込まれた画像を読み取るカメラ部と、
   前記カメラ部によって読み取られた前記画像から、電子透かしを検出する電子透かし検出部と、
   前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、
   前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、
   を含む、携帯端末。
2. 判断部を更に含み、
   前記電子透かしが表す情報には、前記個人設定情報の範囲が含まれており、
   前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれるか否かを判断し、
   前記検索部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記予め定められた前記個人設定情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、
   前記提示制御部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御する請求項１記載の携帯端末。
3. 表示端末によって出力された、電子透かしが埋め込まれた画像を読み取るカメラ部と、
   自端末の位置情報を検出する位置情報検出部と、
   前記カメラ部によって読み取られた画像から、電子透かしを検出する電子透かし検出部と、
   前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、
   前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、
   を含む、携帯端末。
4. 判断部を更に含み、
   前記電子透かしが表す情報には、前記位置情報の範囲が含まれており、
   前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれるか否かを判断し、
   前記検索部は、前記判断部により前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、
   前記提示制御部は、前記判断部により前記位置情報の範囲に、前記位置情報検出部により検出された位置情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御する請求項３記載の携帯端末。
5. 表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取るマイク部と、
   前記マイク部によって読み取られた音声から、電子透かしを検出する電子透かし検出部と、
   前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、
   前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、
   を含む、携帯端末。
6. 判断部を更に含み、
   前記電子透かしが表す情報には、前記個人設定情報の範囲が含まれており、
   前記判断部は、前記電子透かし検出部により検出された電子透かしが表す情報に含まれる前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれるか否かを判断し、
   前記検索部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれると判断された場合、前記電子透かし検出部により検出された電子透かしが表す情報と、前記予め定められた前記個人設定情報とに基づいて、前記表示端末によって出力された前記画像に関連する関連データを検索し、
   前記提示制御部は、前記判断部により前記個人設定情報の範囲に、前記予め定められた前記個人設定情報が含まれないと判断された場合、範囲外であることを示すメッセージを提示するように提示部を制御する請求項５記載の携帯端末。
7. 表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取るマイク部と、
   自端末の位置情報を検出する位置情報検出部と、
   前記マイク部によって読み取られた音声から、電子透かしを検出する電子透かし検出部と、
   前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索する検索部と、
   前記検索部により検索された前記関連データを提示するように提示部を制御する提示制御部と、
   を含む、携帯端末。
8. カメラ部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、
   前記カメラ部は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、
   前記電子透かし検出部は、前記カメラ部によって読み取られた前記画像から、電子透かしを検出し、
   前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、
   前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する
   関連データ提示方法。
9. カメラ部と、位置情報検出部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、
   前記カメラ部は、表示端末によって出力された、電子透かしが埋め込まれた画像を読み取り、
   前記位置情報検出部は、自端末の位置情報を検出し、
   前記電子透かし検出部は、前記カメラ部によって読み取られた画像から、電子透かしを検出し、
   前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、
   前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する
   関連データ提示方法。
10. マイク部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、
    前記マイク部は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、
    前記電子透かし検出部は、前記マイク部によって読み取られた音声から、電子透かしを検出し、
    前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、予め定められた個人設定情報とに基づいて、前記電子透かしが表す情報及び前記個人設定情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、
    前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する
    関連データ提示方法。
11. マイク部と、位置情報検出部と、電子透かし検出部と、検索部と、提示制御部と、を含む携帯端末における関連データ提示方法であって、
    前記マイク部は、表示端末によって画像と共に出力された、電子透かしが埋め込まれた音声を読み取り、
    前記位置情報検出部は、自端末の位置情報を検出し、
    前記電子透かし検出部は、前記マイク部によって読み取られた音声から、電子透かしを検出し、
    前記検索部は、前記電子透かし検出部により検出された電子透かしが表す情報と、前記位置情報検出部により検出された位置情報とに基づいて、前記電子透かしが表す情報及び前記位置情報の組み合わせの各々に対応付けて、画像に関連する関連データを格納した関連データ記憶部から、前記表示端末によって出力された前記画像に関連する関連データを検索し、
    前記提示制御部は、前記検索部により検索された前記関連データを提示するように提示部を制御する
    関連データ提示方法。
12. コンピュータを、請求項１〜７の何れか１項記載の携帯端末の前記電子透かし検出部、前記検索部、及び前記提示制御部として機能させるためのプログラム。