JP2011171903A - 情報送出表示システム - Google Patents

Abstract

【課題】第１情報表示端末にデジタルコードを重畳表示させ、該デジタルコードで定められたビジュアルデータを第２情報表示端末に表示させる情報送出表示システムにおいて、視聴者にとって有用なビジュアルデータや音声データの表示を可能にすること。
【解決手段】情報送出端末10は、第１情報表示端末30からの要求に従ってテレビ番組を配信する。この際、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを多重化する。第１情報表示端末30は、デジタルコードが重畳された画面を表示する。第２情報表示端末40により第１情報表示端末30の画面を撮影すると、該画面中のデジタルコードにより定められたビジュアルデータがビジュアルデータ記憶部43から読み出され、撮影された画面に重畳表示される。
【選択図】図１

Description

本発明は、情報送出表示システムに関し、特に、第１情報表示端末において映像にデジタルコードを重畳表示させ、第２情報表示端末によりその表示画面を撮影することによりデジタルコードにより定められたビジュアルデータや音声データを再生させることができる情報送出表示システムに関する。

従来、QRコードなどのデジタルコードを用いた情報表示装置および情報取得装置が知られている。このような装置を利用すれば、表示されたデジタルコードを撮影することにより、デジタルコードにより定められたビジュアルデータを装置内部あるいは外部から取得して表示させることができる。

特許文献１には、対象物に付与されているデジタルコード(QRコード)をカメラあるいはコードリーダで読み取って付加情報を検出し、該付加情報を対象物の撮影画像に重畳して表示させる端末が記載されている。この端末において、例えば、人物画をカメラで撮影すると、人物画に付与されているデジタルコードによって規定される枠画像や人物名を、撮影画面(人物画)に重畳して表示させることができる。

特許文献２には、QRコードの画像を読み取り、該QRコードの情報に基づいて画像配信元もしくは仲介者のシステムから画像・音声をネットワーク経由で取得し、該画像を携帯端末で表示する情報通信方式が記載されている。この情報通信方式によれば、例えば、テレビ広告に埋め込まれたQRコードを携帯端末のカメラで撮影することにより、該テレビ広告に関連する情報をネットワーク経由で取得し、携帯端末で表示させることができる。

特許文献３には、掲示手段に表示される掲示画像と該掲示画像に対応する付加情報を格納しておき、掲示画像を含む撮影画像が受信されたとき、掲示画像に付加情報を付加した合成画像を生成して携帯端末に送信する画像処理装置が記載されている。この画像処理装置では、例えば、街中のデジタルサイネージ(電子看板)にデジタルコードを付加情報として表示する。その表示を携帯端末で撮影し、その撮影画像を携帯端末から画像処理装置に送信すると、画像処理装置はデジタルサイネージ周辺部分にビジュアルデータとしてのコンピュータグラフィックを重畳した合成画像を生成し、携帯端末に送信する。携帯端末ではその合成画像を表示部でみることができる。

特開２００８−１９３６４０号公報 特開２００６−２９５８９８号公報 特開２００８−４６８０６号公報

従来の、QRコードなどのデジタルコードを用いた情報表示装置や情報取得装置では人物画やテレビ広告などに付加されるデジタルコードがそれらに固有のものであり、視聴者属性などに応じて適応的にデジタルコードを切り替えることは考えられていない。また、デジタルコードを撮影することによって付加されるビジュアルデータは、枠画像、画像の説明文字やインターネット上のURL程度であり、それらのビジュアルデータは固定的に表示される。

本発明は、第１情報表示端末においてデジタルコードを重畳表示し、第２情報表示端末によりその表示画面を撮影することによりデジタルコードにより定められたビジュアルデータや音声データを再生させることができる情報送出表示システムにおいて、視聴者にとって有用なビジュアルデータや音声データを表示させることができるようにすることを目的としている。

上記課題を解決するため、本発明は、情報送出端末、第１情報表示端末および第２情報表示端末を備え、前記情報送出端末は、前記第１情報表示端末へ映像を送出する映像送出手段と、前記第１情報表示端末へ送出する任意数のデジタルコードを映像の内容および視聴者情報に従って選択するデジタルコード選択手段と、前記デジタルコード選択手段により選択されたデジタルコードを映像と共に送出するデジタルコード送出手段を備え、前記第１情報表示端末は、前記情報送出端末から送出された映像およびデジタルコードを受信する受信手段と、前記受信手段により受信された映像の表示画面にデジタルコードを重畳表示させる第１表示手段を備え、前記第２情報表示端末は、前記第１情報表示端末の表示画面を撮影する撮影手段と、前記撮影手段により撮影された表示画面中のデジタルコードからの相対位置に、該デジタルコードにより定められるビジュアルデータを、前記撮影手段により撮影された表示画面に重畳表示させる第２表示手段を備えた点に第１の特徴がある。

また、本発明は、情報送出端末、第１情報表示端末および第２情報表示端末を備え、前記情報送出端末は、前記第１情報表示端末へ映像を送出する映像送出手段と、前記第１情報表示端末へ送出する任意数のデジタルコードを映像の内容および視聴者情報に従って選択するデジタルコード選択手段と、前記デジタルコード選択手段により選択されたデジタルコードを映像と共に送出するデジタルコード送出手段を備え、前記第１情報表示端末は、前記情報送出端末から送出された映像およびデジタルコードを受信する第１受信手段と、前記第１受信手段により受信されたデジタルコードを解釈する解釈手段と、前記解釈手段により解釈されたデジタルコードを前記第２情報表示手段に送信する送信手段と、前記第１受信手段により受信された映像を表示させる第１表示手段を備え、前記第２情報表示端末は、前記第１情報表示端末の表示画面を撮影する撮影手段と、前記第１情報表示端末から送信されたデジタルコードを受信する第２受信手段と、前記撮影手段により撮影された表示画面の所定位置に、前記第２受信手段により受信されたデジタルコードにより定められるビジュアルデータを、前記撮影手段により撮影された表示画面に重畳表示させる第２表示手段を備えた点に第２の特徴がある。

また、本発明は、前記デジタルコード送出手段が、可視マーカ画像としてデジタルコードを送出し、前記第１表示手段は、デジタルコードを可視表示する点に第３の特徴がある。

また、本発明は、前記デジタルコード送出手段が、デジタルコードを電子透かしの不可視マーカ画像として映像に埋め込んで送出し、前記第１表示手段は、デジタルコードを不可視表示する点に第４の特徴がある。

また、本発明は、 前記送信手段と前記第２受信手段が、短距離無線通信手段を用いてデジタルコードを送受信する点に第５の特徴がある。

また、本発明は、前記第２情報表示端末が、前記撮影手段により撮影された画面における、第１情報表示端末の画面表示領域を推定する推定手段を備え、前記第２表示手段は、ビジュアルデータを重畳表示させる位置を前記画面表示領域外に設定する点に第６の特徴がある。

また、本発明は、前記第２情報表示端末が、ビジュアルデータとしての文字列をデジタルコードに対応付けて格納する文字列データ格納手段を備え、前記第２表示手段は、前記文字列データ格納手段からデジタルコードに対応する文字列を読み出して重畳表示させる点に第７の特徴がある。

また、本発明は、前記第２情報表示端末が、ビジュアルデータとしての文字列を音声データとしてデジタルコードに対応付けて格納する音声データ格納手段を備え、前記第２表示手段は、前記音声データ格納手段からデジタルコードに対応する音声データを読み出して、ビジュアルデータを重畳表示させることに加えて、あるいはビジュアルデータを重畳表示させることなく、該音声データを再生させる点に第８の特徴がある。

また、本発明は、前記情報送出端末が、映像送出端末とデジタルコード送出端末から構成されている点に第９の特徴がある。

また、本発明は、前記視聴者情報が、視聴者属性情報、視聴者履歴情報、視聴者現在状態情報、の少なくとも１つである点に第１０の特徴がある。

また、本発明は、前記情報送出端末が、前記第１情報表示端末においてデジタルコードが重畳表示される空間的位置を、画面の特性に基づいて適応的に決定する空間的位置決定手段を備え、前記第１情報表示端末は、前記空間的位置手段により決定された空間的位置にデジタルコードを重畳表示させる手段を備える点に第１１の特徴がある。

また、本発明は、前記情報送出端末が、前記第１情報表示端末においてデジタルコードが重畳表示される時間的区間を、映像の構成に基づいて適応的に決定する時間的区間決定手段を備え、前記第１情報表示端末は、前記時間的区間決定手段により決定された時間的区間にデジタルコードを重畳表示させる手段を備える点に第１２の特徴がある。

また、本発明は、前記情報送出端末または第１情報表示端末が、デジタルコードの外観を該デジタルコードが重畳される画面領域の特性に基づいて適応的に加工する手段を備える点に第１３の特徴がある。

また、本発明は、前記第２情報表示端末が、視聴者属性情報を格納し、重畳表示させるビジュアルデータを該視聴者属性情報に基づいて加工する手段を備える点に第１４の特徴がある。

また、本発明は、前記情報送出端末が、前記第１情報表示端末においてデジタルコードが重畳表示される空間的位置をデジタルコードに含ませる手段を備え、前記第２情報表示端末は、デジタルコードに含まれる空間的位置を復号する復号手段を備え、復号した空間的位置にデジタルコードを重畳表示させる点に第１５の特徴がある。

また、本発明は、前記情報送出端末が、前記第１情報表示端末においてデジタルコードが重畳表示される時間的区間をデジタルコードに含ませる手段を備え、前記第２情報表示端末は、デジタルコードに含まれる時間的区間を復号する復号手段を備え、復号した時間的区間にデジタルコードを重畳表示させる点に第１６の特徴がある。

また、本発明は、デジタルコードが、ビジュアルデータを含み、前記第２情報表示端末は、デジタルコードに含まれるビジュアルデータを復号する復号手段を備え、復号したビジュアルデータを重畳表示させる点に第１７の特徴がある。

また、本発明は、デジタルコードが、文字列を含み、前記第２情報表示端末は、デジタルコードに含まれる文字列を復号する復号手段を備え、復号した文字列をビジュアルデータとして重畳表示させる点に第１８の特徴がある。

また、本発明は、デジタルコードが、ビジュアルデータ識別子を含み、前記第２情報表示端末は、デジタルコードに含まれるビジュアルデータ識別子を復号する識別子復号手段と、前記識別子復号手段により復号されたビジュアルデータ識別子で指示されるビジュアルデータを内部あるいは外部から読み込む読込手段を備え、読み込んだビジュアルデータを重畳表示させる点に第１９の特徴がある。

また、本発明は、デジタルコードが、文字列を含み、前記第２情報表示端末は、デジタルコードに含まれる文字列を復号する復号手段と、復号した文字列を音声として再生する音声再生手段を備える点に第２０の特徴がある。

また、本発明は、デジタルコードが、さらに文字列の音声データを再生する時間的区間を含み、前記第２情報表示端末は、デジタルコードに含まれる時間的区間を復号する復号手段を備え、前記音声再生手段は、復号された時間的区間で文字列の音声データを再生する点に第２１の特徴がある。

また、本発明は、デジタルコードが、音声データを含み、前記第２情報表示端末は、デジタルコードに含まれる音声データを復号する復号手段と、復号された音声データを音声として再生する音声再生手段を備えた点に第２２の特徴がある。

また、本発明は、デジタルコードが、音声データ識別子を含み、前記第２情報表示端末は、デジタルコードに含まれる音声データ識別子を復号する識別子復号手段と、復号された音声データ識別子で指示される音声データを内部あるいは外部から読み込む読込手段と、音声再生手段を備え、読み込んだ音声データを再生する点に第２３の特徴がある。

また、本発明は、前記第２情報表示端末が、復号した文字列に基づいて自端末を制御する制御手段を備えた点に第２４の特徴がある。

また、本発明は、前記制御手段が、前記第２情報表示端末における発話、メール送信、インターネット接続の少なくともいずれかを制御する点に第２５の特徴がある。

本発明によれば、映像の内容および視聴者情報に従ってデジタルコードを選択することにより、視聴者あるいは視聴者群ごとのデジタルコードとし、各デジタルコードに対応付けられたビジュアルデータや音声データを再生させることができるので、視聴者にとって有用なビジュアルデータや音声データを再生させることができる。また、第１の情報表示端末において、画面表示するデジタルコードの特性をテレビ番組の構成や画面の特性に基づいて適応的に変更することにより、デジタルコードを視覚効果の高い形式で表示させることができる。また、第１の情報表示端末において、画面表示するデジタルコードの空間的位置や時間的区間をテレビ番組の構成に応じて適応的に変更することによっても、デジタルコードを視覚効果の高い形式で表示させることができる。

さらに、第２の情報表示端末において、第２の情報表示端末に予め格納された属性情報を用いてビジュアルデータを加工することにより、同一のデジタルコードでも第２の情報表示端末によって異なる形態でビジュアルデータを表示させることができる。

本発明の第１実施形態の構成を示すブロック図である。 本発明の第２実施形態の構成を示すブロック図である。 本発明の第３実施形態の構成を示すブロック図である。 本発明の第４実施形態の構成を示すブロック図である。 本発明の第５実施形態の構成を示すブロック図である。 本発明の第６実施形態の構成を示すブロック図である。 本発明の第７実施形態の構成を示すブロック図である。 本発明の第８実施形態の構成を示すブロック図である。

本発明の情報送出システムは、テレビ番組や広告、インターネット動画などの映像を送出する情報送出端末(放送局、中継局、動画送出サーバなど)、送出された映像を受信して再生する第１情報表示端末(テレビ、パソコンやデジタルサイネージ(電子看板)など)、および第１情報表示端末の表示画面を撮影する撮影機能を有する第２情報表示端末（携帯電話やスマートフォンなど)を備える。

本発明では、第１情報表示端末で視聴される映像に対し、その画面にQRコードなどのデジタルコードを重畳表示させ、この表示画面を第２情報表示端末で撮影することにより、第２情報表示端末に映像に関連するビジュアルデータや音声データを再生させる。ここで、画面に重畳表示されるデジタルコードは、情報送出端末から送出され、その送出されるデジタルコードは、映像の内容および第２情報表示端末の視聴者情報によって適応的に選択される。

以下、図面を参照して本発明を詳細に説明する。以下では、情報送出端末が地上波のテレビ番組を送出する情報送出端末であり、第１の情報表示端末が、情報表示端末から送出されるテレビ番組を受信するテレビであり、第２の情報表示端末が携帯電話である場合を想定する。

図１は、本発明の第１実施形態の構成を示すブロック図である。第１実施形態の情報送出表示システムは、情報送出端末10、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。ここでは、第１情報表示端末30と第２情報表示端末40の１組を図示しているが、実際には、第１情報表示端末30と第２情報表示端末40の組が複数存在し、第２情報表示端末40それぞれで視聴者は異なる。

情報送出端末10は、映像受信部11、コード読出部12および映像・コード多重化部13を備える。

映像受信部11は、映像として供給されるテレビ番組を受信する。テレビ番組は広告を含むが、以下では、これを単にテレビ番組と記す。したがって、テレビ番組の内容は、テレビ番組そのものの内容だけでなく、広告の内容も意味する。

デジタルコード記憶部20は、複数のデジタルコードを任意の形状、任意の形式で予め格納している。デジタルコードは、テレビ番組の内容に関連付けられていると共に視聴者情報に対応付けられている。視聴者とは、第２情報表示端末40でのテレビ番組の視聴者である。テレビ番組の内容は、テレビ番組提供者が付与したメタデータ、第三者が作成したメタデータあるいは番組表などから取得できる。デジタルコードは、同じテレビ番組でも、視聴者あるいは視聴者群毎に異なっており、これによりデジタルコードを元にして、テレビ番組の内容に関連すると共に各視聴者に有用なビジュアルデータや音声データを再生することが可能となる。

視聴者情報としては、視聴者属性情報(視聴者の住所、性別、年齢など)、視聴者履歴情報(テレビ番組視聴履歴情報、第２情報表示端末40を通して行われたWebアクセスや物品購入の履歴情報など)の内の１つあるいは組み合わせを用いることができる。視聴者情報は、視聴者からの報告を適宜受けることにより取得することができる。また、VOD(video on demand)やSTB(set top box)を用いた映像配信サービスなどでは、予め登録されている配信先(視聴者)から視聴者情報を取得することもできる。デジタルコード記憶部20に格納されるデジタルコードの各々は、予めテレビ番組の内容と視聴者情報に対応付けられている。

コード読出部12は、デジタルコード記憶部20に格納されている複数のデジタルコードの中からテレビ番組の内容に関連付けられている共に視聴者情報に対応付けられたデジタルコードを適応的に選択し、映像・コード多重化部13へ送出する。

映像・コード多重化部13は、映像受信部11で現在受信中のテレビ番組のストリームデータに、コード読出部12により読み出されたデジタルコードを多重化(テレビ番組＋デジタルコード)し、ネットワークを介して第１情報表示端末30へ送出する。
このとき、デジタルコードは、可視であってもよいし、不可視であってもよい。デジタルコードを可視とする場合、デジタルコードを表す画像または当該画像を表示するアプリケーションをテレビ番組のストリームに多重化すればよい。一方、デジタルコードを不可視とする場合は、例えば、映像に電子透かしを埋め込む手法を利用することができる。

第１情報表示端末30は、映像・コード逆多重化部31、映像再生部32およびコード再生部33を備える。

映像・コード逆多重化部31は、情報送出端末10から送出された(テレビ番組＋デジタルコード)を受信し、逆多重化する。映像・コード逆多重化部31により取り出されたテレビ番組や広告は、映像再生部32へ送出され、デジタルコードは、コード再生部33へ送出される。

映像再生部32とコード再生部33によりテレビ番組とデジタルコードが１つの画面として表示される。すなわち、現在の表示画面にデジタルコードが重畳表示される。図１には、第１情報表示端末30における表示画面の一具体例も図示している。

第１情報表示端末30におけるデジタルコードは、予告なしに重畳表示させてもよいが、例えば、第１情報表示端末30に、まず、表示許可の問い合わせ画面やメッセージを表示し、視聴者による第１情報表示端末30上での許可操作を待つという手順を経て重畳表示させるようにすれば、テレビ番組を視聴するだけの時にデジタルコードが重畳表示されないようにすることができる。

第２情報表示端末40は、画面撮影部41、コード認識部42、ビジュアルデータ記憶部43およびデータ重畳部44を備える。

ビジュアルデータ記憶部43は、デジタルコードにより定められるビジュアルデータ(文字列データやグラフィックデータ)を格納している。ビジュアルデータは、例えば、事前などの任意のタイミングで情報送出端末10あるいは他端末から配信され、ビジュアルデータ記憶部43に格納される。また、デジタルデータにより定められるビジュアルデータを、デジタルコード認識部42が画面中のデジタルコードを認識した後にネットワーク経由で他端末から取得するようにしてもよい。このようにすれば、ビジュアルデータ記憶部43に予めデジタルデータを格納させておく必要がない。文字列データは、任意の形式のファイルとして格納しておけばよい。

画面撮影部41は、第１情報表示端末30の表示画面を撮影し、表示画面をコード認識部42とデータ重畳部44へ送出する。コード認識部42は、画面撮影部41により撮影された表示画面中のデジタルコードを認識する。コード認識部42で認識されたデジタルコードにより定められたビジュアルデータがビジュアルデータ記憶部43から読み出され、これもデータ重畳部44へ送出される。

データ重畳部44は、画面撮影部41により撮影された表示画面にビジュアルデータ記憶部43から読み出されたビジュアルデータを重畳して表示させる。画面撮影部41により撮影された表示画面に重畳するビジュアルデータは、グラフィックデータ、文字列データ、あるいはそれらの組み合わせでもよく、重畳表示させるビジュアルデータを、グラフィックデータのみとするか文字列データのみとするか、あるいは両者とも重畳表示させるかを視聴者が適宜選択できるようにしてもよい。

表示画面上へのビジュアルデータの重畳は、AR(Augmented Reality)技術を利用することにより実現することができる。AR技術では、実写世界にデジタルコード(マーカ)を配置し、情報表示端末で実写とビジュアルデータ(コンピュータグラフィックなど)を合成するが、ここでは、第１情報表示端末30の表示画面にデジタルコードを重畳表示させ、表示画面を第２情報表示端末40で撮影することにより第２情報表示端末40において表示画面にビジュアルデータを合成して表示させる。

次に、図１の情報送出表示システムにおける動作を説明する。視聴者が、まず、第１情報表示端末30を通して情報送出端末10にテレビ番組の配信を要求すると、情報送出端末10は、該要求に従ってテレビ番組を第１情報表示端末30に配信する。この際、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報、例えば、視聴者属性情報(性別や年齢など)に対応付けられたデジタルコードが適応的に読み出され、該デジタルコードがテレビ番組に多重化される。

第１情報表示端末30は、情報送出端末10から配信された、デジタルコードが多重化されたテレビ番組を受信し、デジタルコードが重畳された表示画面を表示する。

第２情報表示端末40により第１情報表示端末30における表示画面を撮影すると、該表示画面中のデジタルコードにより定められるビジュアルデータ、例えば視聴者属性情報に対応付けられたビジュアルデータがビジュアルデータ記憶部43から読み出され、撮影された表示画面に重畳して表示される。

以上のように、第１実施形態の情報送出表示システムによれば、第１情報表示端末30における表示画面中のデジタルコードにより定められたビジュアルデータを、撮影された表示画面に重畳表示させるので、視聴者にとって有用なビジュアルデータ、例えば、当該視聴者にとって有用なテレビ番組の詳細情報を表示させることができる。

図１には、第２情報表示端末40における表示画面の一具体例も図示している。これは、富士山を題材としたテレビ番組に、登山に興味があるという視聴者属性のデジタルコードが多重化され、該デジタルコードに対応付けられた四角枠と文字列で"大人気！登山ツアー ・・・"が提供された例を示している。同じ表示画面でも他の視聴者に対しては異なるデジタルコードが多重化されるので、他の視聴者に対しては別の有用なビジュアルデータが提供される。

デジタルコードを視聴者属性情報に対応付けておけば、テレビ番組の内容に関連すると共に視聴者の居所や住所、年齢、性別ごとに有用な情報を提供することができ、デジタルコードを視聴者履歴情報に対応付けておけば、テレビ番組の内容に関連すると共に視聴者の経験ごとに有用な情報を提供することができる。

次に、本発明の第２実施形態を説明する。第１実施形態では、テレビ番組の内容に関連付けられていると共に視聴者情報に対応付けられているデジタルコードが既にデジタルコード記憶部20に格納されているとした。第２実施形態では、テレビ番組の内容および視聴者情報を適宜取得し、これにより取得されたテレビ番組の内容や視聴者情報を用いてデジタルコードを適応的に選択するようにしている。

また、第１実施形態は、テレビ番組とデジタルコードを多重化して１つの端末(情報送出端末)から送出する構成を有するが、第２実施形態は、テレビ番組を送出する端末とデジタルコードを送出する端末を別々の端末とした構成を有する。このように、テレビ番組を送出する端末とデジタルコードを送出する端末を１つの端末として構成するか別々の端末に構成するかは任意である。

図２は、本発明の第２実施形態の構成を示すブロック図であり、図１と同一あるいは同等部分には同じ符号を付してある。

以下では、主として第１実施形態と異なる部分について説明する。第２実施形態の情報送出表示システムは、映像送出端末60、デジタルコード送出端末70、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。

映像送出端末60は、第１情報表示端末30からのテレビ番組の配信要求に従ってテレビ番組を第１情報表示端末30に配信する。

デジタルコード送出端末70は、コード読出部71、送出コード選択部72およびコード送出部73を備える。

コード読出部71は、デジタルコード記憶部20からデジタルコードを読み出し、送出コード選択部72は、映像送出端末60から現在送出されているテレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを適応的に選択する。なお、テレビ番組の内容や視聴者情報は、後述するように、映像送出端末60や第１の情報表示端末30や第２の情報表示端末40から適宜与えられ、コード読出部71は、与えられるテレビ番組の内容や視聴者情報からデジタルコードを動的に決定して選択する。

この選択のために、送出コード選択部72には、テレビ番組の内容、視聴者属性情報(視聴者の居所や住所、性別、年齢など)、視聴者履歴情報(テレビ番組視聴履歴情報、第２情報表示端末を通して行われたWebアクセスや物品購入の履歴情報など)および視聴者現在状態情報が与えられる。なお、送出コード選択部72に与える視聴者情報は、視聴者属性情報、視聴者履歴情報、視聴者現在状態情報の内のいずれか１つあるいは適宜の組み合わせでよい。

テレビ番組の内容は、テレビ番組提供者が付与したメタデータ、第三者が作成したメタデータあるいは番組表などから取得できる。視聴者属性情報は、テレビ番組の視聴開始時に明示的にログインさせる仕組みを導入することにより取得でき、また、第２情報表示端末40から第１情報表示端末30を通して、あるいは第２情報表示端末40から直接的に取得することもできる。視聴者履歴情報は、第１情報表示端末や第２情報表示端末40の利用状況から取得できる。また、視聴者現在状態情報は、視聴者の居場所やその周囲環境、行動などであり、視聴者の行動や視聴者の明示的な入力に基づいて推定することができる。

図２において、テレビ番組の内容は、映像送出端末60から与えられ、視聴者属性情報は、第２情報表示端末40から第１の情報表示端末30を通して与えられ、視聴者履歴情報や視聴者現在状態情報は、第２情報表示端末40から直接的に与えられる。

コード送出部73は、送出コード選択部72により選択されたデジタルコードを第１情報表示端末30へ送出する。デジタルコードの伝送経路は、テレビ番組の伝送経路と同一であっても異なっていてもよい。

第１情報表示端末30は、映像受信・再生部34、コード受信・再生部35および視聴者属性情報受信・送信部36を備える。

映像受信・再生部34は、映像送出端末60から送出された映像を受信・再生し、コード受信・再生部35は、デジタルコード送出端末70から送出されたデジタルコードを受信・再生する。映像受信・再生部34により再生されたテレビ番組にコード受信・再生部35により再生されたデジタルコードを重畳表示させる。すなわち、現在の表示画面にデジタルコードを重畳表示させる。

視聴者属性情報受信・送信部36は、例えば、短距離無線通信技術であるBluetoothを利用して第２情報表示端末40から視聴者属性情報を受信し、該視聴者属性情報をデジタルコード送出端末60へ送信する。

第２情報表示端末40は、画面撮影部41、コード認識部42、ビジュアルデータ記憶部43、データ重畳部44、視聴者属性情報保存・送信部45、視聴者履歴情報収集・送信部46および視聴者現在状態推定・送信部47を備える。

画面撮影部41、コード認識部42、ビジュアルデータ記憶部43、データ重畳部44は、第１実施形態と同様に動作する。

視聴者属性情報保存・送信部45は、視聴者属性情報を保存し、デジタルコード送出端末70へ送信する。視聴者属性情報は、第２情報表示端末40におけるユーザ登録情報などから取得でき、また、テレビ番組の視聴開始時に明示的にログインさせる仕組みを導入することによっても取得できる。

視聴者履歴情報収集・送信部46は、第１情報表示端末30における視聴者番組視聴履歴情報や第２情報表示端末40を通して行われたWebアクセスや物品購入の履歴情報などを収集し、デジタルコード送出端末70へ送信する。例えば、視聴者が第２情報表示端末40を利用して物品を購入した際に、その履歴が視聴者履歴情報収集・送信部46に保存される。

視聴者現在状態推定・送信部47は、視聴者の現在状態を推定して視聴者現在状態情報を生成し、デジタルコード送出端末70へ送信する。視聴者の現在状態は、例えば、視聴者の行動から推定することができる。

図２において、視聴者属性情報は、第１情報表示端末30を経由してデジタルコード送出端末70へ送信され、視聴者履歴情報や視聴者現在状態情報は、直接的にデジタルコード送出端末70へ送信される。しかし、これに限らず、例えば、全ての視聴者情報が第２情報表示端末40から直接的にデジタルコード送出端末70へ送信されてもよいし、全ての視聴者情報が第１情報表示端末30を経由してデジタルコード送出端末70へ送信されてもよい。

次に、図２の情報送出表示システムにおける動作を説明する。視聴者が、まず、第１情報表示端末30を通して映像送出端末60にテレビ番組の配信を要求すると、映像送出端末60は、該要求に従ってテレビ番組を第１情報表示端末30に配信する。

テレビ番組の配信と同時に、デジタルコード送出端末70は、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを、テレビ番組の内容、視聴者情報(視聴者属性情報、視聴者履歴情報、視聴者現在状態情報)に従って適応的に読み出し、該デジタルコードを第１情報表示端末30に送出する。

第１情報表示端末30は、映像送出端末60から配信されたテレビ番組にデジタルコード送出端末70から送出されたデジタルコードを重畳表示する。

第２情報表示端末40により第１情報表示端末30における表示画面を撮影すると、該表示画面中のデジタルコードにより定められるビジュアルデータ、すなわち、視聴者情報により定められたビジュアルデータがビジュアルデータ記憶部43から読み出され、撮影された表示画面に該ビジュアルデータが重畳表示される。

第２実施形態では、映像送出端末とデジタルコード送出端末を別々の端末として構成し、テレビ番組の内容および視聴者情報を適宜取得・収集してデジタルコード送出端末へ与え、送出するデジタルコードを選択するようにしているので、視聴者情報を更新しつつビジュアルデータに反映させることができる。

次に、本発明の第３実施形態を説明する。第３実施形態では、第１情報表示端末において重畳表示されるデジタルコードの空間的位置や時間的区間をテレビ番組の構成や画面の特性に応じて適応的に決定するようにしている。

図３は、本発明の第３実施形態の構成を示すブロック図であり、図２と同一あるいは同等部分には同じ符号を付してある。

第３実施形態の情報送出表示システムは、第２実施形態と同様に、映像送出端末60、デジタルコード送出端末70、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。

映像送出端末60は、画面内特性解析部61および番組構成解析部62を備える。なお、画面内特性解析部61と番組構成解析部62は、いずれか一方を備えるだけでもよい。画面内特性解析部61は、視聴中のテレビ番組の画面内の特性を予めまたは送出時に解析し、番組構成解析部62は、視聴中のテレビ番組の構成を予めまたは送出時に解析する。

映像送出端末60は、第１情報表示端末30からのテレビ番組の配信要求に従ってテレビ番組を第１情報表示端末30に配信すると共に、画面内特性解析部61および番組構成解析部62による解析結果をデジタルコード送出端末70に送信する。

デジタルコード送出端末70は、コード読出部71、送出コード選択部72、コード送出部73およびコード重畳位置決定部74を備える。

デジタルコード記憶部20に格納されたデジタルコードは、テレビ番組の内容に関連付けられていると共に視聴者情報に対応付けられている。

コード読出部71は、テレビ番組の内容に関連付けられ、当該視聴者情報に対応するデジタルコードをデジタルコード記憶部20から読み出す。

送出コード選択部72は、映像送出端末60から現在送出されているテレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを適応的に選択する。送出コード選択部72には、映像送出端末60からテレビ番組の内容が与えられる。

コード重畳位置決定部74は、デジタルコードを重畳表示させる空間的位置および時間的区間の一方あるいは両方を決定する。例えば、コード重畳位置決定部74は、デジタルコードが表示画面に重畳表示された場合に、それが視覚的に目立たない空間的位置あるいは目立つ空間的位置を画面内特性解析部61による解析結果に従って決定する。コード重畳位置決定部74で空間的位置だけを決定する場合には、時間的区間については映像送出端末60あるいはデジタルコード送出端末70側で予め指定しておくことが望ましい。

番組構成解析部62を備えて時間的区間を決定する場合には、番組構成上で視覚的にデジタルコードが目立たない時間的区間あるいは目立つ時間的区間を決定する。例えば、比較的動きが穏やかなシーンなどを時間的区間として決定すれば、デジタルコードの重畳表示がテレビ番組の視聴を妨げないようにすることができる。逆に、デジタルコードが視聴者の目に触れやすい時間的区間を決定することもできる。

コード送出部73は、送出コード選択部72により選択されたデジタルコードと共に、コード重畳位置決定部74により決定された空間的位置および時間的区間の情報を第１情報表示端末30へ送出する。

第１情報表示端末30は、映像受信・再生部34、コード受信・再生部35およびコード加工部37を備える。

映像受信・再生部34は、映像送出端末60から送出された映像を受信・再生し、コード受信・再生部35は、デジタルコード送出端末70から送出されたデジタルコードを受信・再生する。

映像受信・再生部34により再生されたテレビ番組にコード受信・再生部35により再生されたデジタルコードを重畳表示する。すなわち、現在の表示画面にデジタルコードを重畳表示する。デジタルコードは、デジタルコード送出端末70から送出された空間的位置および時間的区間の情報により従って重畳表示される。

このとき、デジタルコードを、重畳表示させる表示画面の領域の特性に応じて加工してもよい。このために、本実施形態の第１情報表示端末30は、コード加工部37を備えている。コード加工部37は、例えば、表示画面内に青色の平坦領域があれば、テレビ番組の視聴を妨げないように、これに類似する色にデジタルコードを加工する。逆に、デジタルコードを表示画面内の平坦領域の補色(例えば青色に対して黄色や橙色)に加工すれば、デジタルコードを視聴者の目に触れやすいようにすることができる。なお、コード加工部37は、コード送出端末70側に具備させてもよい。

図３には、第２情報表示端末40における表示画面の一具体例も図示している。この表示画面では、デジタルコードを重畳表示する空間的位置を空色の平坦領域とし、さらにデジタルコードの色を空色に類似する色に加工している。

第２情報表示端末40は、画面撮影部41、コード認識部42、ビジュアルデータ記憶部43、データ重畳部44、データ加工部48および視聴者属性情報記憶部49を備える。

画面撮影部41、コード認識部42、ビジュアルデータ記憶部43、データ重畳部44は、第１実施形態と同様に動作する。

データ加工部48は、デジタルコードにより定められて表示されるビジュアルデータを、第２情報表示端末40の視聴者属性情報記憶部49に予め格納されている視聴者属性情報に基づいて加工する。視聴者属性情報記憶部49は、視聴者属性情報として、例えば、視聴者の年齢を格納している。デジタルコードを解釈して文字を重畳表示させる場合、デジタルコードを解釈して得られる文字列の文字サイズを視聴者の年齢に従って変更する。これにより、高齢者に対しては重畳表示される文字列(ビジュアルデータ)の大きさを通常より大きくして見やすくすることができる。

次に、図３の情報送出表示システムにおける動作を説明する。視聴者が、まず、第１情報表示端末30を通して映像送出端末60にテレビ番組の配信を要求すると、映像送出端末60は、該要求に従ってテレビ番組を第１情報表示端末30に配信すると共に、画面内特性および番組構成を解析する。

テレビ番組の配信と同時に、デジタルコード送出端末70は、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードをテレビ番組の内容、視聴者情報に従って適応的に読み出す。さらに、デジタルコードを重畳表示する空間的位置および時間的区間を画面内特性および番組構成の解析結果に従って決定し、該デジタルコードを第１情報表示端末30に送出する。

第１情報表示端末30は、映像送出端末60から配信されたテレビ番組にデジタルコード送出端末70から送出されたデジタルコードを重畳表示する。この際、重畳表示するデジタルコードの色変更などの加工を行う。

第２情報表示端末40により第１情報表示端末30における表示画面を撮影すると、該表示画面中のデジタルコードにより定められるビジュアルデータ、すなわち、視聴者情報により定められたビジュアルデータがビジュアルデータ記憶部43から読み出されてデータ加工部48へ送出される。一方、視聴者属性情報記憶部49に格納された視聴者属性情報も読み出されてデータ加工部48へ送出される。

データ加工部48は、視聴者属性情報を用いてビジュアルデータを加工し、例えば、文字列の文字サイズを変更する。データ加工部48により加工されたビジュアルデータは、データ重畳部44へ送出され、撮影された表示画面に該ビジュアルデータが重畳表示される。

第３実施形態によれば、デジタルコードを表示画面中で視覚的に目立たない空間的位置に重畳表示させたり、逆に、目立つ空間的位置に重畳表示させることができる。また、テレビ番組の構成上で邪魔にならない時間的区間にデジタルコードを重畳表示させることもできる。さらに、ビジュアルデータを視聴者属性情報に基づいて加工することにより、各視聴者に合った形態でビジュアルデータを重畳表示させることができる。

次に、本発明の第４実施形態を説明する。第４実施形態では、デジタルコードが、第２情報表示端末において重畳表示されるビジュアルデータとしての文字列を含むようにしている。

図４は、本発明の第４実施形態の構成を示すブロック図であり、図１と同一あるいは同等部分には同じ符号を付してある。

第４実施形態の情報送出表示システムは、情報送出端末10、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。ここでは、情報表示端末10は、簡略して図示しているが、図１と同様の構成を有する。ただし、ここで用いられるデジタルコードは、ビジュアルデータとしての文字列を含む。

通常のAR技術では、デジタルコードはビジュアルデータの位置を決定する手段としてのみ利用されるが、本発明によるデジタルコードは、ビジュアルデータとして表示する情報そのものを保持することができる。この拡張的なデジタルコードは、任意の形式で与えられるが、例えば、既知のQRコードを用いることができる。

情報送出端末10は、第１情報表示端末30からテレビ番組の配信要求に従ってテレビ番組を第１情報表示端末30に配信する。この際、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを適応的に読み出し、該デジタルコードをテレビ番組に多重化して配信する。

第１情報表示端末30は、映像・コード逆多重化部31、映像再生部32およびコード再生部33を備える。

映像・コード逆多重化部31は、情報送出端末から送出された(テレビ番組＋デジタルコード)を受信し、逆多重化する。映像・コード逆多重化部31により取り出されたテレビ番組や広告は、映像再生部32へ送出され、デジタルコードは、コード再生部33へ送出される。

映像再生部32とコード再生部33によりテレビ番組とデジタルコードが１つの画面として表示される。すなわち、現在の表示画面にデジタルコードが重畳表示される。

第２情報表示端末40は、画面撮影部41、コード認識部42、データ重畳部44、コード解釈部50、文字列変換部51および端末制御部52を備える。

画面撮影部41は、第１情報表示端末30の表示画面を撮影し、表示画面をコード認識部42とデータ重畳部44へ送出する。コード認識部42は、画面撮影部41により撮影された表示画面中のデジタルコードを認識する。コード解釈部50は、コード認識部42で認識されたデジタルコードを解釈して文字列を取得する。文字列変換部51は、コード解釈部50で取得された文字列を任意の文字書式を用いてビジュアルデータに変換する。

データ重畳部44は、画面撮影部41により撮影された表示画面に文字列変換部51から送出されるビジュアルデータを重畳して表示させる。このとき、ビジュアルデータを重畳表示させる空間的位置は、QRコードの表示位置に基づいて決定することができる。また、グラフィックデータを別途読み出し、該グラフィックデータをさらに重畳表示させることもできる。

例えば、以下の形式でQRコードなどのデジタルコードに文字列を含ませることができる。

CAPTION：登山ツアー２日間(改行)申し込みはこちら。

また、上記実施形態において、ファイルとして格納され、当該ファイルの指定で読み出されていたビジュアルデータそのものをバイナリ形式でデジタルコードに格納することもできる。バイナリデータは、例えば、以下の形式で指定することができ、コード解釈部50で解釈されたバイナリデータは、データ重畳部44へ直接送出される。なお、各行の「//」以降は、その説明であり、実際に記載する必要はない。以下でも同じである。

VDATA：101B28F5899CA235E・・・ //グラフィックデータ

第２情報表示端末40が携帯電話である場合、ビジュアルデータに従って端末制御を行わせることができる。このために、第２情報表示端末40は、端末制御部52を備える。コード解釈部50あるいは文字列変換部51から送出される文字列に発話やメール送信、WEBページ閲覧などに該当する制御情報が含まれていた場合、端末制御部52は、該制御情報に従って端末を制御する。

例えば、コード解釈部50により解釈された文字列がメールアドレスを含む場合、この文字列は、端末制御部52へ送出される。端末制御部52は、第２情報表示端末40に具備されているメール送信機能を呼び出し、メールアドレスや題名などのメール送信に必要な情報を入力してメール送信を行う。

一方、コード解釈部50により解釈された文字列がWEBページのURLを含む場合、この文字列は、端末制御部52へ送出される。端末制御部52は、第２情報表示端末40に具備されているWEB閲覧機能を呼び出し、当該URLを入力してWEBページを開く。コード解釈部50により解釈された文字列が電話番号を含む場合、端末制御部52は、発呼機能を呼び出し、該電話番号に発呼する。

第４実施形態によれば、第２情報表示端末のビジュアルデータ記憶部を不要とすることができる。また、第２情報表示端末40の各種機能を制御することができる。

次に、本発明の第５実施形態を説明する。第５実施形態では、デジタルコードが、第２情報表示端末において重畳表示されるビジュアルデータの空間的位置情報や時間的位置情報を含むようにしている。

図５は、本発明の第５実施形態の構成を示すブロック図であり、図4と同一あるいは同等部分には同じ符号を付してある。

第５実施形態の情報送出表示システムは、情報送出端末10、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。ここでも、情報表示端末10は、簡略して図示しているが、図１と同様の構成を有する。ただし、ここで用いられるデジタルコードは、ビジュアルデータを重畳表示させる空間的位置情報や時間的位置情報を含む。

情報送出端末10は、第１情報表示端末30からテレビ番組の配信要求に従ってテレビ番組を第１情報表示端末30に配信する。この際、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを適応的に読み出し、該デジタルコードをテレビ番組に多重化して配信する。

第１情報表示端末30は、映像・コード逆多重化部31、映像再生部32およびコード再生部33を備える。第１情報表示端末30における動作は、第４実施形態と同様である。

第２情報表示端末40は、画面撮影部41、コード認識部42、ビジュアルデータ記憶部43、データ重畳部44、データ加工部48、コード解釈部50およびデータ重畳制御部53を備える。

画面撮影部41は、第１情報表示端末30の表示画面を撮影し、表示画面をコード認識部42とデータ重畳部44へ送出する。コード認識部42は、画面撮影部41により撮影された表示画面中のデジタルコードを認識する。このデジタルコードに対応付けされたビジュアルデータがビジュアルデータ記憶部43から読み出され、該ビジュアルデータは、必要に応じてデータ加工部48で加工されてデータ重畳部44へ送出される。データ加工部48は、デジタルコードに含まれる空間的位置情報に基づいて、例えば、ビジュアルデータのサイズ変更を伴う場合、ビジュアルデータ記憶部43から読み出されたグラフィックデータを入力され指定されたサイズに整形する。

コード解釈部50は、コード認識部42で認識されたデジタルコードを解釈してビジュアルデータを重畳表示させる空間的位置情報や時間的位置情報を取得する。データ重畳制御部53は、コード解釈部50で取得された空間的位置情報や時間的位置情報に従ってビジュアルデータを重畳表示させる空間的位置や時間的区間を制御する。

データ重畳部44は、画面撮影部41により撮影された表示画面にデータ加工部48から送出されるビジュアルデータを重畳して表示させる。このとき、ビジュアルデータを重畳表示させる空間的位置や時間的位置は、コード解釈部50から送出される空間的位置情報や時間的位置情報により決定される。

情報表示端末10側においてビジュアルデータを重畳表示させる空間的位置や時間的区間を予め決定したりテレビ番組に応じて適応的に決定し、デジタルコードからの固定的な相対位置にビジュアルデータを重畳表示させることができるが、第５実施形態では、ビジュアルデータを重畳表示させる空間的位置や時間的位置の情報をデジタルコードそのものに含ませることにより、ビジュアルデータを重畳表示させる空間的位置や時間的位置を決定する。デジタルコードとしては、既知のQRコードを利用することができる。

例えば、表示画面の左上隅を原点とする座標(X,Y)=(200,20)の位置に、幅512x高さ64のサイズのビジュアルデータを重畳する場合、以下のような形式で空間的位置(座標と大きさ)を含めることができる。

COORD：200,20； //X座標,Y座標
DIM：512,64； //幅,高さ

同様にして、ビジュアルデータを重畳表示させる時間的区間(例えばタイムコード)をデジタルコードそのものに含めることができる。例えば、デジタルコードが表示されてから120秒後に20秒間ビジュアルデータを重畳する場合、以下のような形式で時間的区間を含めることができる。

TIME：120,20； //表示開始相対秒数,表示継続時間

表示開始相対秒数や表示継続時間は、第２情報表示端末40のデータ重畳制御部53にて管理され、時間的区間を指定するタイミングでデータ重畳部44へ表示制御情報を送出する。

さらに、第２情報表示端末40のビジュアルデータ記憶部43に格納されているビジュアルデータを指示する識別子をデジタルコードに含めることもできる。このデジタルコードに含まれている識別子を解釈し、該識別子で指示されるビジュアルデータをビジュアルデータ記憶部43から読み出すことができる。

ビジュアルデータは、第２情報表示端末40で再生可能な任意の形式のファイルで与えられるが、例えば、ADIMG.PNGという静止画ファイルをビジュアルデータとして重畳表示させる場合、以下のような形式で識別子を含めることができる。

VFILE：ADIMG.PNG //グラフィックデータのファイル名

次に、本発明の第６実施形態を説明する。第６実施形態では、デジタルコードにより文字列を定め、第２情報表示端末においてデジタルコードにより定められた文字列を音声データとして再生するようにしている。また、ここでは、情報送出端末で、デジタルコードを電子透かしとして埋め込んで不可視としている。

図６は、本発明の第６実施形態の構成を示すブロック図であり、図１や図４と同一あるいは同等部分には同じ符号を付してある。

第６実施形態の情報送出表示システムは、情報送出端末10、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。

情報送出端末10は、映像受信部11、コード読出部12およびコード埋込部14を備える。

映像受信部11は、映像として供給されるテレビ番組を受信し、コード埋込部14へ送出する。コード読出部12は、デジタルコード記憶部20に格納されている複数のデジタルコードの中からテレビ番組の内容に関連付けられている共に視聴者情報に対応付けられたデジタルコードを適応的に選択し、コード埋込部16へ送出する。コード埋込部14は、テレビ番組中にデジタルコードを不可視の電子透かしとして埋め込み、第１情報表示端末30に配信する。

第１情報表示端末30は、映像再生部32を備え、情報送出端末10から送出されるテレビ番組を再生する。ここで、デジタルコードも再生されるが電子透かしとして埋め込まれているので不可視である。

第２情報表示端末40は、画面撮影部41、コード認識部42、コード解釈部50、音声合成部54、データ再生部55および音声データ記憶部56を備える。

画面撮影部41は、第１情報表示端末30の表示画面を撮影し、表示画面をコード認識部42とデータ再生部44へ送出する。コード認識部42は、画面撮影部41により撮影された表示画面中に電子透かしとして埋め込まれているデジタルコードを認識する。コード解釈部50は、認識されたデジタルコードから文字列を取得する。

音声合成部54は、コード解釈部50により取得された文字列を音声合成技術を用いて音声データに変換する。データ再生部55は、画面撮影部41から送出される表示画面と共に音声データを再生する。

さらに、第５実施形態と同様に、第２情報表示端末40の音声データ記憶部54に格納されている音声データを指示する識別子(ファイル名)をデジタルコードに含めることもできる。このデジタルコードに含まれている識別子を解釈し、該識別子で指示される音声データを音声データ記憶部54から読み出して再生することができる。

音声データは、第２情報表示端末40で再生可能な任意の形式のファイルで与えることができる。例えば、ADSPEECH.MP3というファイルを音声データとして再生させる場合、以下のような形式で識別子を含めることができる。この場合、データ再生部56は、コード解釈部50により取得された識別子に基づいて音声データ記憶部54から該当する音声データを読み出して再生する。

AFILE：ADSPEECH.MP3 //音声データのファイル名

音声データは、バイナリ形式で格納させることもできる。例えば、バイナリデータは、以下の形式で指定することができる。この場合、コード解釈部50により解釈されたデータ、すなわちバイナリデータは、データ再生部56に直接送出すればよいので、音声データ記憶部54は不要となる。

ADATA：101B28F5899CA235E・・・ //音声データ

なお、第４実施形態乃至第６実施形態において記載したCOORD、DIM、TIME、CAPTION、VFILEまたはVDATA、AFILEまたはADATAについては、デジタルコードが含み得る情報量の制限を超えない範囲で、任意の組み合わせを用いることができる。

第６実施形態によれば、第２情報表示端末40にファイルとして予め格納されている文字列やデジタルコードから復号される文字列を、文字というビジュアルデータとして表示するだけでなく、音声合成などの技術を用いて音声データに変換して再生することができる。

次に、本発明の第７実施形態を説明する。第７実施形態では、第１の情報表示端末でデジタルコードを解釈して第２情報表示端末に送信するようにしている。また、第２情報表示端末では、撮影された画面における第１情報表示端末の画面表示領域を考慮してビジュアルデータを重畳させる位置を定めるようにしている。

図７は、本発明の第７実施形態の構成を示すブロック図であり、図５と同一あるいは同等部分には同じ符号を付してある。

第７実施形態の情報送出表示システムは、情報送出端末10、デジタルコード記憶部20、第１情報表示端末(テレビ)30および第２情報表示端末(携帯電話)40を備える。

情報送出端末10は、第１情報表示端末30からテレビ番組の配信要求に従ってテレビ番組を第１情報表示端末30に配信する。この際、デジタルコード記憶部20から、テレビ番組の内容に関連すると共に視聴者情報に対応付けられたデジタルコードを適応的に読み出し、該デジタルコードをテレビ番組に多重化して配信する。

第１情報表示端末30は、映像・コード逆多重化部31、映像再生部32、コード解釈部38およびコード送信部39を備える。

映像・コード逆多重化部31は、情報送出端末から送出された(テレビ番組＋デジタルコード)を受信し、逆多重化する。映像・コード逆多重化部31により取り出されたテレビ番組や広告は、映像再生部32で再生される。

一方、映像・コード逆多重化部31により取り出されたデジタルコードは、コード解釈部38で解釈され、その解釈結果がコード送信部39を通して第２情報表示端末40へ送信される。コード送信部39での送信手段としては、Bluetoothなどの短距離無線通信技術を利用することができる。第１情報表示端末30では、デジタルコードを表示画面に重畳表示してもよいし、重畳表示しなくてもよい。

第２情報表示端末40は、画面撮影部41、ビジュアルデータ記憶部43、データ重畳部44、データ重畳制御部53、画面領域推定部57およびコード受信部58を備える。

画面撮影部41は、第１情報表示端末30の表示画面を撮影し、表示画面を画面領域推定部57とデータ重畳部44へ送出する。コード受信部58は、第１情報表示端末30から送信されたデジタルコードの解釈結果を受信し、それに対応付けされたビジュアルデータをビジュアルデータ記憶部43から読み出す。該ビジュアルデータは、データ重畳部44へ送出される。

画面領域推定部57は、第２情報表示端末40で撮影された画面における、第１情報表示端末30の画面表示領域を推定し、その推定結果をデータ重畳制御部53へ送出する。この画面表示領域推定は、画像処理により可能である。

第２情報表示端末40で撮影された画面が、第１情報表示端末30の画面表示領域と同等またはそれより小さい領域のみを含む場合、データ重畳制御部53は、ビジュアルデータを、これまでの実施形態と同様に、所定の空間的位置と時間的区間に重畳表示させる。一方、第２情報表示端末40で撮影された画面が、第１情報表示端末30の画面表示領域よりも大きい領域を含む場合、データ重畳制御部53は、ビジュアルデータをその余剰領域に重畳する。

データ重畳部44は、画面撮影部41により撮影された表示画面にビジュアルデータ記憶部43から読み出されたビジュアルデータを重畳して表示させる。このとき、ビジュアルデータを重畳表示させる空間的位置は、データ重畳制御部53により制御される。

第７実施形態によれば、テレビ番組の再生を妨げないようにビジュアルデータを重畳表示させることができる。

次に、本発明の第８実施形態を説明する。第８実施形態では、第１情報表示端末としてデジタルサイネージ(電子看板)を想定し、第２情報表示端末として携帯電話やスマートフォン(多機能携帯電話)を想定している。

図８は、本発明の第８実施形態の構成を示すブロック図であり、図１と同一あるいは同等部分には同じ符号を付してある。

第８実施形態の情報送出表示システムでは、デジタルコードは、デジタルコード送出端末から送出される。すなわち、第８実施形態の情報送出表示システムは、映像送出端末60、デジタルコード送出端末70、デジタルコード記憶部20、第１情報表示端末(デジタルサイネージ)30および第２情報表示端末(携帯電話，スマートフォン)40を備える。ここでは、第２情報表示端末(携帯電話)40と第２情報表示端末(スマートフォン)40の２つを図示している。

映像送出端末60は、第１情報表示端末(デジタルサイネージ)30に映像を配信する。

デジタルコード送出端末70は、視聴者数や視聴者属性などの情報を収集し、該情報の判定結果に従うデジタルコードをデジタルコード記憶部20から読み出して第１情報表示端末30へ送出する。

視聴者数や視聴者属性などの情報の収集は、第１情報表示端末30に据え付けられたカメラによって第１情報表示端末30の周辺所定領域を撮影し、撮影された画面から視聴者の人数や視聴者それぞれの性別や年齢などを推定する方法、あるいは視聴者が所持する第２情報表示端末40からそれぞれの視聴者属性情報を短距離無線通信手段で取得する方法などで可能である。

第１情報表示端末30は、映像送出端末60から配信された映像を電子看板として再生する。この再生画面においてデジタルコード送出端末70から送出されたデジタルコードが重畳される。

第２情報表示端末40により第１情報表示端末30における再生画面を撮影すると、第２情報表示端末40において、再生画面中のデジタルコードにより定められるビジュアルデータが、撮影された再生画面に重畳されて可視表示される。

ここで、第２情報表示端末(携帯電話)40と第２情報表示端末(スマートフォン)40に重畳表示されるビジュアルデータの内容は同じであるが、図示するように、視聴者属性情報に従って再生文字のサイズを異ならせてもよい。また、第６実施形態と同様に、音声データを再生させるようにしてもよい。

特許文献３でも、街中のデジタルサイネージにデジタルコードを表示し、該表示を携帯端末で撮影することによりデジタルサイネージにビジュアルデータとしてのコンピュータグラフィックを重畳して携帯端末上に表示するが、第８実施形態の情報送出表示システムでは、第１情報表示端末(デジタルサイネージ)30において映像に重畳表示させるデジタルコードを視聴者数や視聴者属性など情報の判定結果に従って選択しているので、第１情報表示端末情報30の周辺の存在する視聴者に有用なビジュアルデータを提供することができる。

以上、実施形態を説明したが、本発明は、上記実施形態に限られるものではなく、種々に変形することができる。例えば、テレビ画面に重畳表示させるデジタルコードは１つに限らず、任意数でよい。また、デジタルコードには、格納可能な情報量内で、ビジュアルデータ(文字列データやグラフィックデータ)や音声データ、ビジュアルデータや音声データの識別子の適宜の組み合わせを含ませることもできる。さらに、情報送出装置からの映像送出は、VODのような要求型に限らず、通常の放送のような一斉同報送出などの任意の形態でもよい。また、映像が送出される経路や媒体も任意である。

本発明による情報送出表示システムは、テレビやセットトップボックス、デジタルサイネージなどへの視覚効果の高いターゲティング広告配信に適用できる。

10・・・情報送出端末、11・・・映像受信部、12・・・コード読出部、13・・・映像・コード多重化部、14・・・コード埋込部、20・・・デジタルコード記憶部、30・・・第１情報表示端末、31・・・映像・コード逆多重化部、32・・・映像再生部、33・・・コード再生部、34・・・映像受信・再生部、35・・・コード受信・再生部、36・・・視聴者属性情報受信・送信部、37・・・コード加工部、38・・・コード解釈部、39・・・コード送信部、40・・・第２情報表示端末、41・・・画面撮影部、42・・・コード認識部、43・・・ビジュアルデータ記憶部、44・・・データ重畳部、45・・・視聴者属性情報保存・送信部、46・・・視聴者履歴情報収集・送信部、47・・・視聴者現在状態推定・送信部、48・・・データ加工部、49・・・視聴者属性情報記憶部、50・・・コード解釈部、51・・・文字列変換部、52・・・端末制御部、53・・・データ重畳制御部、54・・・音声合成部、55・・・データ再生部、56・・・音声データ記憶部、57・・・画面領域推定部、58・・・コード受信部、60・・・映像送出端末、61・・・画面内特性解析部、62・・・番組構成解析部、70・・・デジタルコード送出端末、71・・・コード読出部、72・・・送出コード選択部、73・・・コード送出部、74・・・コード重畳位置決定部

Claims (27)

1. 情報送出端末、第１情報表示端末および第２情報表示端末を備え、
   前記情報送出端末は、
   前記第１情報表示端末へ映像を送出する映像送出手段と、
   前記第１情報表示端末へ送出する任意数のデジタルコードを映像の内容および視聴者情報に従って選択するデジタルコード選択手段と、
   前記デジタルコード選択手段により選択されたデジタルコードを映像と共に送出するデジタルコード送出手段を備え、
   前記第１情報表示端末は、
   前記情報送出端末から送出された映像およびデジタルコードを受信する受信手段と、
   前記受信手段により受信された映像の表示画面にデジタルコードを重畳表示させる第１表示手段を備え、
   前記第２情報表示端末は、
   前記第１情報表示端末の表示画面を撮影する撮影手段と、
   前記撮影手段により撮影された表示画面中のデジタルコードからの相対位置に、該デジタルコードにより定められるビジュアルデータを、前記撮影手段により撮影された表示画面に重畳表示させる第２表示手段を備えたことを特徴とする情報送出表示システム。
2. 情報送出端末、第１情報表示端末および第２情報表示端末を備え、
   前記情報送出端末は、
   前記第１情報表示端末へ映像を送出する映像送出手段と、
   前記第１情報表示端末へ送出する任意数のデジタルコードを映像の内容および視聴者情報に従って選択するデジタルコード選択手段と、
   前記デジタルコード選択手段により選択されたデジタルコードを映像と共に送出するデジタルコード送出手段を備え、
   前記第１情報表示端末は、
   前記情報送出端末から送出された映像およびデジタルコードを受信する第１受信手段と、
   前記第１受信手段により受信されたデジタルコードを解釈する解釈手段と、
   前記解釈手段により解釈されたデジタルコードを前記第２情報表示手段に送信する送信手段と、
   前記第１受信手段により受信された映像を表示させる第１表示手段を備え、
   前記第２情報表示端末は、
   前記第１情報表示端末の表示画面を撮影する撮影手段と、
   前記第１情報表示端末から送信されたデジタルコードを受信する第２受信手段と、
   前記撮影手段により撮影された表示画面の所定位置に、前記第２受信手段により受信されたデジタルコードにより定められるビジュアルデータを、前記撮影手段により撮影された表示画面に重畳表示させる第２表示手段を備えたことを特徴とする情報送出表示システム。
3. 前記デジタルコード送出手段は、可視マーカ画像としてデジタルコードを送出し、前記第１表示手段は、デジタルコードを可視表示することを特徴とする請求項１に記載の情報送出表示システム。
4. 前記デジタルコード送出手段は、デジタルコードを電子透かしの不可視マーカ画像として映像に埋め込んで送出し、前記第１表示手段は、デジタルコードを不可視表示することを特徴とする請求項１に記載の情報送出表示システム。
5. 前記送信手段と前記第２受信手段は、短距離無線通信手段を用いてデジタルコードを送受信することを特徴とする請求項２に記載の情報送出表示システム。
6. 前記第２情報表示端末は、前記撮影手段により撮影された画面における、第１情報表示端末の画面表示領域を推定する推定手段を備え、前記第２表示手段は、ビジュアルデータを重畳表示させる位置を前記画面表示領域外に設定することを特徴とする請求項１ないし５のいずれかに記載の情報送出表示システム。
7. 前記第２情報表示端末は、ビジュアルデータとしての文字列をデジタルコードに対応付けて格納する文字列データ格納手段を備え、前記第２表示手段は、前記文字列データ格納手段からデジタルコードに対応する文字列を読み出して重畳表示させることを特徴とする請求項１ないし６のいずれかに記載の情報送出表示システム。
8. 前記第２情報表示端末は、ビジュアルデータとしての文字列を音声データとしてデジタルコードに対応付けて格納する音声データ格納手段を備え、前記第２表示手段は、前記音声データ格納手段からデジタルコードに対応する音声データを読み出して、ビジュアルデータを重畳表示させることに加えて、あるいはビジュアルデータを重畳表示させることなく、該音声データを再生させることを特徴とする請求項１ないし６のいずれかに記載の情報送出表示システム。
9. 前記情報送出端末は、映像送出端末とデジタルコード送出端末から構成されていることを特徴とする請求項１ないし８のいずれかに記載の情報送出表示システム。
10. 前記視聴者情報は、視聴者属性情報、視聴者履歴情報、視聴者現在状態情報、の少なくとも１つであることを特徴とする請求項１ないし９のいずれかに記載の情報送出表示システム。
11. 前記視聴者属性情報、視聴者履歴情報、視聴者現在状態情報を前記第２情報表示端末から前記第１情報表示端末へ送信する手段は、短距離無線通信手段であることを特徴とする請求項１０に記載の情報送出表示システム。
12. 前記情報送出端末は、前記第１情報表示端末においてデジタルコードが重畳表示される空間的位置を、画面の特性に基づいて適応的に決定する空間的位置決定手段を備え、
    前記第１情報表示端末は、前記空間的位置手段により決定された空間的位置にデジタルコードを重畳表示させる手段を備えることを特徴とする請求項１ないし１１のいずれかに記載の情報送出表示システム。
13. 前記情報送出端末は、前記第１情報表示端末においてデジタルコードが重畳表示される時間的区間を、映像の構成に基づいて適応的に決定する時間的区間決定手段を備え、
    前記第１情報表示端末は、前記時間的区間決定手段により決定された時間的区間にデジタルコードを重畳表示させる手段を備えることを特徴とする請求項１ないし１１のいずれかに記載の情報送出表示システム。
14. 前記情報送出端末または第１情報表示端末は、デジタルコードの外観を加工する手段を備え、該手段は、デジタルコードが重畳される画面領域の特性に基づいて適応的にデジタルコードを加工することを特徴とする請求項１ないし１３のいずれかに記載の情報送出表示システム。
15. 前記デジタルコードの外観を加工する手段は、表示画面内の平坦領域の補色または類似色のいずれかに加工することを特徴とする請求項１４に記載の情報送出表示システム。
16. 前記第２情報表示端末は、視聴者属性情報を格納し、重畳表示させるビジュアルデータを該視聴者属性情報に基づいて加工する手段を備えることを特徴とする請求項１ないし１５のいずれかに記載の情報送出表示システム。
17. 前記情報送出端末は、前記第１情報表示端末においてデジタルコードが重畳表示される空間的位置をデジタルコードに含ませる手段を備え、前記第２情報表示端末は、デジタルコードに含まれる空間的位置を復号する復号手段を備え、復号した空間的位置にデジタルコードを重畳表示させることを特徴とする請求項１ないし１６のいずれかに記載の情報送出表示システム。
18. 前記情報送出端末は、前記第１情報表示端末においてデジタルコードが重畳表示される時間的区間をデジタルコードに含ませる手段を備え、前記第２情報表示端末は、デジタルコードに含まれる時間的区間を復号する復号手段を備え、復号した時間的区間にデジタルコードを重畳表示させることを特徴とする請求項１ないし１７のいずれかに記載の情報送出表示システム。
19. デジタルコードは、ビジュアルデータを含み、前記第２情報表示端末は、デジタルコードに含まれるビジュアルデータを復号する復号手段を備え、復号したビジュアルデータを重畳表示させることを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
20. デジタルコードは、文字列を含み、前記第２情報表示端末は、デジタルコードに含まれる文字列を復号する復号手段を備え、復号した文字列をビジュアルデータとして重畳表示させることを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
21. デジタルコードは、ビジュアルデータ識別子を含み、前記第２情報表示端末は、デジタルコードに含まれるビジュアルデータ識別子を復号する識別子復号手段と、前記識別子復号手段により復号されたビジュアルデータ識別子で指示されるビジュアルデータを内部あるいは外部から読み込む読込手段を備え、読み込んだビジュアルデータを重畳表示させることを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
22. デジタルコードは、文字列を含み、前記第２情報表示端末は、デジタルコードに含まれる文字列を復号する復号手段と、復号した文字列を音声として再生する音声再生手段を備えることを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
23. デジタルコードは、さらに文字列の音声データを再生する時間的区間を含み、前記第２情報表示端末は、デジタルコードに含まれる時間的区間を復号する復号手段を備え、前記音声再生手段は、復号された時間的区間で文字列の音声データを再生することを特徴とする請求項２２に記載の情報送出表示システム。
24. デジタルコードは、音声データを含み、前記第２情報表示端末は、デジタルコードに含まれる音声データを復号する復号手段と、復号された音声データを音声として再生する音声再生手段を備えたことを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
25. デジタルコードは、音声データ識別子を含み、前記第２情報表示端末は、デジタルコードに含まれる音声データ識別子を復号する識別子復号手段と、復号された音声データ識別子で指示される音声データを内部あるいは外部から読み込む読込手段と、音声再生手段を備え、読み込んだ音声データを再生することを特徴とする請求項１ないし１８のいずれかに記載の情報送出表示システム。
26. 前記第２情報表示端末は、復号した文字列に基づいて自端末を制御する制御手段を備えたことを特徴とする請求項１９，２２または２３に記載の情報送出表示システム。
27. 前記制御手段は、前記第２情報表示端末における発話、メール送信、インターネット接続の少なくともいずれかを制御することを特徴とする請求項２６に記載の情報送出表示システム。