JP2012244360A - 受信機及びプログラム - Google Patents

Abstract

【課題】放送と通信の連携を図るシステムにおいて、受信機にデバイスを接続させて機能させるための適切な仕組みを実現化すること。
【解決手段】受信機４のデバイス接続部２４においては、デバイスマネージャによって、関連付け部２５の情報とデバイス（例えばカメラデバイス５やマイクデバイス６）の情報とに基づいて、デバイスインスタンスが生成される（ステップＳ８）。そして、デバイスインスタンスによって、デバイスと関連付け部２５とが制御され、アプリケーションからの入力イベント要求があると、デバイスから入力情報が取得されて関連付け部２５に供給される（ステップＳ１４〜Ｓ１９）。
【選択図】図８

Description

本発明は、放送と通信の連携を図る機能を有する受信機及びプログラムに関する。

近年、放送のデジタル化と通信のブロードバンド化の進展に伴い、放送通信連携サービスの実現に向けた研究開発が行われている。

また、この放送通信連携サービスにおいては、放送と通信という異なる伝送路を用いて複数のコンテンツを配信し、デジタルテレビ等の受信機において、配信された複数のコンテンツを統合して提示する形態が想定される。

ところで、現在、データ放送では、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）をベースとした、マルチメディア符号化用に開発されたＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）という放送サービスに必要な機能を拡張した言語を用いて、様々なコンテンツが提供されている（特許文献１を参照）。

特開２００３−６０９３１号公報

ところで、データ放送では、全ての情報を放送波に多重化させる必要があるため、放送波で送信可能なデータ容量に一定の制限がある。

そこで、放送に対して、送信可能なデータ容量に制限のない通信との連携させるシステムの実現が望まれている。

特に、このような放送と通信の連携を図るシステムでは、通信により受信機に対して各種サービスを提供するサーバが構築される。
従って、例えば、放送局が放送したコンテンツのうち所定シーンに対する視聴者の視聴状態、例えば当該所定シーンを視聴しているときの視聴者の表情や音声等を、多数の受信機の各々から取得して、サービスに活用するサーバが現れてくることが想定される。

この場合、視聴者の表情を撮影するカメラや、視聴者の音声を入力するマイクロフォンといったデバイスを、受信機に接続させて機能させるための適切な仕組みの実現が要求される。

本発明は、このような状況に鑑みてなされたものであり、放送と通信の連携を図るシステムにおいて、受信機にデバイスを接続させて機能させるための適切な仕組みを実現化することを１つの目的とする。

本発明に係る受信機は、ネットワークを介してサーバに接続され、放送局から放送された、番組コンテンツと共に複数の情報が多重化されて構成された放送信号を受信する受信機であって、前記放送信号に多重化されて又は前記ネットワークを介して伝送されてくるアプリケーション管理情報により管理されるアプリケーションの実行を制御する実行制御手段と、前記番組コンテンツに関する情報と、デバイスからの入力情報とを関連付ける関連付け手段と、前記関連付け手段の情報と前記デバイスの情報とに基づいて、デバイスインスタンスを生成するデバイスマネージャと、前記デバイスマネージャにより生成された後、前記デバイスと前記関連付け手段とを制御し、前記アプリケーションからの入力イベント要求を受け取ると、前記デバイスから前記入力情報を取得して前記関連付け手段に供給するデバイスインスタンスと、を備える構成とした。

かかる構成によれば、デバイスマネージャによって、関連付け手段の情報とデバイスの情報とに基づいて、デバイスインスタンスが生成される。そして、デバイスインスタンスによって、デバイスと関連付け手段とが制御され、アプリケーションからの入力イベント要求があると、デバイスから入力情報が取得されて関連付け手段に供給される。
このようにして、放送と通信の連携を図るシステムにおいて、受信機にデバイスを接続させて機能させるための適切な仕組みが実現される。

この場合、前記デバイスは、前記受信機に対して外部から接続される外部機器であり、前記デバイスマネージャは、さらに、前記外部機器としての前記デバイスを発見することが好ましい。
かかる構成によれば、デバイスマネージャによって、さらに、外部機器としてのデバイスが発見される。
これにより、放送と通信の連携を図るシステムにおいて、外部機器としてのデバイスに受信機を接続させて機能させるための適切な仕組みが実現される。

本発明に係るプログラムは、ネットワークを介してサーバに接続され、放送局から放送された、番組コンテンツと共に複数の情報が多重化されて構成された放送信号を受信する受信機であって、前記放送信号に多重化されて又は前記ネットワークを介して伝送されてくるアプリケーション管理情報により管理されるアプリケーションの実行を制御する実行制御手段を備える受信機を制御するコンピュータを、前記番組コンテンツに関する情報と、デバイスからの入力情報とを関連付ける関連付け手段、前記関連付け手段の情報と前記デバイスの情報とに基づいて、デバイスインスタンスを生成するデバイスマネージャ、前記デバイスマネージャにより生成された後、前記デバイスと前記関連付け手段とを制御し、前記アプリケーションからの入力イベント要求を受け取ると、前記デバイスから前記入力情報を取得して前記関連付け手段に供給するデバイスインスタンス、として機能させる構成とした。
かかる構成によれば、本発明に係る受信機と同様の作用効果を奏する。

本発明によれば、放送と通信の連携を図るシステムにおいて、受信機にデバイスを接続させて機能させるための適切な仕組みの実現化が図られる。

本発明の一実施形態に係る放送通信連携システムの全体構成図である。 デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。 放送通信連携システムの概要を示す図である。 受信機の機能構成を示すブロック図である。 ＸＭＬ形式で記述されたＡＩＴの一例を示す図である。 デバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。 デバイス接続部の概念を示す図である。 動作認識等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図である。 デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。 動作認識等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機の内蔵機器を用いる場合のシーケンス図である。 関連付け部の機能構成の一例を示すブロック図である。 図１１の関連付け部の処理の流れを説明するフローチャートである。 関連付け部の機能構成の一例であって、図１１とは異なる例を示すブロック図である。 図１３の関連付け部の処理の流れを説明するフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の一実施形態に係る放送通信連携システム１００の全体構成図である。放送通信連携システム１００は、放送局１と、放送用アンテナ２と、サービスサーバ３と、受信機４とを含んで構成される。この放送通信連携システム１００では、受信機４において、ＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ：統合デジタル放送サービス）方式によって放送局１から提供される放送サービスと、インターネット等により構成される通信ネットワークＮを介してサービスサーバ３から提供される通信サービスとが連携される。これにより、放送通信連携サービスが受信機４のユーザに提供される。
本実施形態では、放送通信連携システム１００は、Ｈｙｂｒｉｄｃａｓｔ（登録商標）システムであるものとする。Ｈｙｂｒｉｄｃａｓｔとは、同報性、高品質、高信頼という放送の特徴と、視聴者の個別の要求に応えることができるという通信の特徴とを生かしたシステムを構築するための仕組みである。Ｈｙｂｒｉｄｃａｓｔシステムは、放送サービスを中心に置きながら、通信の活用によってサービスを強化するという観点で、放送と通信のハイブリッドサービスを実現することができる。

放送局１は、番組編成設備と、番組送出設備と、送信設備とを含んで構成される一般的なデジタル放送用の放送設備（図示省略）を備える。
放送局１は、放送設備によって、コンテンツや、イベント情報（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ：ＥＩＴ）や、ＡＩＴ（以下、アプリケーション管理情報とも適宜呼ぶ）等を制作する。そして、放送局１は、放送設備によって、これらコンテンツ、イベント情報及びＡＩＴ等を多重化した放送信号を生成し、当該放送信号を放送波に変調して放送用アンテナ２から送信する。

このような放送波に含まれるコンテンツとしては、放送スケジュールに従って放送される番組を構成する映像や音声の各データを含むコンテンツ（以下、番組コンテンツと呼ぶ）の他、番組コンテンツとは非同期に発生するコンテンツ、例えば緊急地震速報等を含むコンテンツ（以下、緊急コンテンツと呼ぶ）も存在する。

イベント情報は、番組コンテンツの名称、番組コンテンツの放送日時、番組コンテンツの説明等、コンテンツに関するメタ情報を含む。以下、テーブル形式のイベント情報をＥＩＴと呼ぶ。
ＡＩＴ（アプリケーション管理情報）は、受信機４で実行可能な１以上のアプリケーションを管理するための情報である。ＡＩＴには、１以上のアプリケーションのそれぞれに対応し、当該１以上のアプリケーションのそれぞれを管理するための個別管理情報が含まれる。個別管理情報には、管理対象のアプリケーションを識別するアプリケーションＩＤ、当該アプリケーションのライフサイクルを制御するライフサイクル制御情報、当該アプリケーションの所在を示すロケーション情報等が含まれている（後述の図５参照）。

アプリケーションにより提供されるコンテンツには、番組コンテンツに連動するコンテンツ及び番組コンテンツに連動しないコンテンツが含まれる。以下、アプリケーションにより提供されるコンテンツをアプリ用コンテンツという。

放送信号は、従来のデジタル放送の放送信号と同一であり、ＡＲＩＢ（登録商標）（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｒｏａｄｃａｓｔ：社団法人電波産業会）標準規格で規定される。

図２は、デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。図２に示すように、デジタル放送によって提供される映像、音声等の各種データは、国際標準規格ＭＰＥＧ−２ Ｓｙｓｔｅｍｓで規定されるＴＳパケット（トランスポートストリームパケット）に格納されて、時分割で多重伝送される。

ＴＳパケットには、図２に示すように、セクション（Ｓｅｃｔｉｏｎ）に対してＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が規定されている。ＰＳＩ／ＳＩには、ＴＳパケットに格納されているデータの種別を示す情報や、コンテンツの種別を示す情報が含まれている。上述のＥＩＴは、ＳＩに含まれている。

ＴＳパケットによるデータ伝送は、セクションを用いてデータを伝送する方式とＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを用いてデータを伝送する方式（データストリーム伝送方式）とに分類される。

セクションを用いてデータを伝送する方式には、データカルーセル伝送方式と、イベントメッセージ伝送方式がある。

データカルーセル伝送方式は、１以上のデータを一定周期で繰り返し伝送する伝送方式である。データカルーセル伝送方式によって伝送される個々のデータ（モジュール）には、それらを一意に識別するための識別情報が付されている。データカルーセル伝送方式は、受信機４側に個々のデータを任意のタイミングで取得させるために用いられる。

イベントメッセージ伝送方式は、放送局１から受信機４に対して、トリガ信号を送るための方式である。イベントメッセージ伝送方式は、データ量が少ないメッセージを放送局１から受信機４に伝送する場合に用いられる。

データストリーム伝送方式は、伝送するデータをＰＥＳパケットに収容してストリームとして伝送する伝送方式である。データストリーム伝送方式は、映像、音声、字幕データ等のリアルタイム型のデータや、他のストリームとの同期を要するデータの伝送に用いられる。

ここで、ＡＩＴは、ＴＳパケットを用いて様々な方法によって伝送可能である。
即ち、ＡＩＴは、ＴＳパケットのＳＩに含まれるＥＩＴに対して記述することによって伝送可能である。

また、ＡＩＴは、セクションを用いてデータカルーセル伝送方式により伝送可能である。ＡＩＴをデータカルーセル伝送方式により伝送する場合、受信機４側でＡＩＴであることを認識できるようにモジュールに対して識別情報が付される。

また、ＡＩＴは、ＰＥＳとしてコンテンツの映像や音声に多重させて伝送可能である。

また、ＡＩＴは、バイナリ表現又はＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によるテキスト表現で記述して、ＴＳパケットに格納することができる。
本実施形態では、ＡＩＴの伝送方法は、上記の伝送方法の少なくともいずれかに予め規定されているものとする。

なお、ＸＭＬをベースとした、マルチメディア符号化用に開発されたＢＭＬは、Ｗ３Ｃ（登録商標）（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）が定義したｘＨＴＭＬを基礎とし、手続き型言語にはＪａｖａＳｃｒｉｐｔ（登録商標）を基礎としたＥＣＭＡＳｃｒｉｐｔを用いて国際標準との整合性を考慮して定義された規格である。

サービスサーバ３は、図示は省略するが、放送済みの番組コンテンツや、アプリ用コンテンツを配信するコンテンツ配信サーバと、受信機４で動作する各種のアプリケーションを配信するアプリケーション配信サーバとを備える。

サービスサーバ３は、放送局１の設備と通信可能に接続されており、番組コンテンツや、番組コンテンツのメタデータを放送局１から受信する。
サービスサーバ３は、受信機４から番組コンテンツの取得要求を受け付けたことに応じて、受信機４に対して番組コンテンツを送信する。

また、サービスサーバ３は、受信機４からアプリケーションの取得要求を受け付けたことに応じて、受信機４に対してアプリケーションを送信する。さらに、サービスサーバ３は、受信機４においてアプリケーションが実行されている場合に、映像や音声等の各データを含むアプリ用コンテンツを受信機４に送信する。

また、サービスサーバ３は、必要に応じて、番組コンテンツに対してＡＩＴを多重化させて受信機４に送信する。また、サービスサーバ３は、受信機４からＡＩＴの取得要求を受け付けたことに応じて、受信機４に対してＡＩＴを送信する。

また、サービスサーバ３は、番組コンテンツの所定シーンに対する視聴者の視聴状態を示す情報（以下、視聴状態情報と呼ぶ）と、放送局１から放送された放送信号に含まれる番組コンテンツを特定する番組ＩＤと、を関連付けた関連付け情報を受信機４から受信する。
ここで、関連付け情報には、視聴状態情報が所定シーンを視聴した時の視聴者の画像である画像関連付け情報と、視聴状態情報が所定シーンを視聴した時の視聴者の音声情報である音声関連付け情報と、が含まれる。

また、サービスサーバ３は、受信機４から受信した画像関連付け情報をもとに、視聴者の動作認識や表情認識を行い、これを用いて視聴者の番組に関する関心度等を算出し、当該視聴者に勧める番組や当該番組や所定シーンに関連する情報を生成し、当該情報を受信機４や受信機４に接続された携帯端末等に送信する。

また、サービスサーバ３は、受信機４から受信した音声関連付け情報をもとに、視聴者の発話内容や周囲の暗騒音区間を抽出し、この抽出の結果を用いて視聴者の番組に関する関心度等を算出し、当該視聴者に勧める番組や当該番組や所定シーンに関連する情報を生成し、当該情報を受信機４や受信機４に接続された携帯端末等に送信する。

受信機４は、放送局１からの放送又はサービスサーバ３との通信を介して受信する番組コンテンツに対して所定の処理を行うことにより、番組コンテンツを構成する映像や音声を同期して出力する。また、受信機４は、ＡＩＴに基づいて、アプリケーションを適宜取得し、取得したアプリケーションを起動して実行する。また例えば、受信機４は、実行されているアプリケーションによってサービスサーバ３からアプリ用コンテンツを取得し、番組コンテンツに連携させて出力することも可能である。なお、アプリ用コンテンツの出力は、必ずしも番組コンテンツに連携させる必要はない。
以下、このような受信機４の機能について詳述する。

まず、理解を容易にするため、図３を参照して、受信機４が有する機能の一部の概要を説明する。
図３は、放送通信連携システム１００の概要を示す図である。

図３の例では、視聴状態情報として、視聴者の顔の表情が写った画像のデータ、及び、視聴者が発声した音声のデータが採用されている。このため、当該画像を撮影するためのカメラデバイス５、及び、視聴者の音声を入力するためのマイクロフォンデバイス６（以下、マイクデバイス６と略称する）が、受信機４に接続されている。なお、図３においては、カメラデバイス５とマイクデバイス６とは受信機４からみて外部機器となっているが、これはあくまでも例示であって、後述するように、カメラデバイス５及びマイクデバイス６は受信機４に内蔵されていてもよい。また、受信機４は、スマートフォンや携帯電話機等で構成される携帯端末１０と連動して動作することもできる。

受信機４は、放送局１が放送した番組コンテンツを含んだ放送信号を受信して、当該番組コンテンツを再生する。
このとき、受信機４は、当該番組コンテンツにおける所定シーンを再生させているときに、カメラデバイス５に視聴者を撮影させて、その結果得られる画像のデータを視聴状態情報として取得したり、マイクデバイス６から入力した視聴者の音声のデータを視聴状態情報として取得する。
また、受信機４は、当該番組コンテンツにおける所定シーンの相対的な再生開始タイミングを示す時刻情報を取得する。
さらに、受信機４は、当該番組コンテンツを特定する番組ＩＤを取得する。
次に、受信機４は、これら取得した情報を関連付けた情報（以下、関連付け情報と呼ぶ）を生成する。即ち、当該番組コンテンツにおける所定シーンについての視聴状態情報並びに時刻情報、及び番組ＩＤが関連付けられた関連付け情報が生成される。
そして、受信機４は、関連付け情報を、通信によりサービスサーバ３に提供する。

サービスサーバ３は、関連付け情報を受信すると、これに対するサービスフィードバック情報として、当該番組コンテンツの所定シーンに関連する各種情報や、当該視聴者に推薦する別の番組コンテンツの情報を、受信機４や携帯端末１０に送信する。

さらに以下、図４を参照して、受信機４について詳述する。
図４は、受信機４の機能構成を示すブロック図である。
受信機４は、放送波受信部１１と、第１分離部１２と、放送ＡＩＴ取得部１３と、通信部１４と、第２分離部１５と、通信ＡＩＴ取得部１６と、アプリケーション実行制御部１７と、音声制御部１８と、表示制御部１９と、スピーカ２０と、ディスプレイ２１と、メモリ２２と、ＡＩＴ記憶部２３、外部機器接続手段としてのデバイス接続部２４と、関連付け部２５とを備える。

放送波受信部１１は、放送用アンテナ２を介して放送局１から送信されている放送波を受信する。

第１分離部１２は、放送波受信部１１に受信された放送波を復調することによって、放送信号、即ちＴＳパケットを抽出する。そして、第１分離部１２は、ＴＳパケットのＰＳＩ／ＳＩを参照して、ＴＳパケットに含まれているデータの種別を判別し、映像、音声、ＥＩＴ、番組ＩＤ等の各種データを分離して抽出する。また、第１分離部１２は、予め規定されているＡＩＴの伝送方法に応じて、セクションやＰＥＳを参照してＡＩＴを分離して抽出する。

続いて、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが音声データである場合、この音声データを音声制御部１８に出力する。また、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが映像データである場合、この映像データを表示制御部１９に出力する。

また、第１分離部１２は、抽出したＥＩＴ、番組ＩＤやその他の各種データをメモリ２２に記憶させる。また、第１分離部１２は、ＡＩＴを抽出した場合、抽出したＡＩＴを放送ＡＩＴ取得部１３に出力する。

放送ＡＩＴ取得部１３は、第１分離部１２から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。

通信部１４は、通信ネットワークＮを介するサーバ群３との間で各種情報を送受信したり、リモートコントローラＲ（以下、リモコンＲと略記する）からの操作信号を受信したり、携帯端末１０との間で各種情報を送受信する。

第２分離部１５は、サーバ群３から通信ネットワークＮを介して送信されてきて通信部１４に受信されたデータの種別を判別し、その判別結果に基づいてデータの出力先を分離する。例えば、第２分離部１５は、受信したデータがＡＩＴであると判別した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力する。また、第２分離部１５は、受信したデータがアプリケーションであると判別した場合、このアプリケーションをアプリケーション実行制御部１７に出力する。

また、第２分離部１５は、受信したデータがＴＳパケットであると判別した場合、映像、音声、ＡＩＴ、番組ＩＤ等の各種データをＴＳパケットから分離して抽出する。そして、第２分離部１５は、ＡＩＴを抽出した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力し、ＡＩＴ以外のデータを抽出した場合、このデータをアプリケーション実行制御部１７に出力する。

通信ＡＩＴ取得部１６は、第２分離部１５から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。

アプリケーション実行制御部１７は、ＡＩＴ又はリモコンＲを介したユーザの実行指示に基づいてアプリケーションを取得し、取得したアプリケーションの実行を制御する。例えば、アプリケーション実行制御部１７は、関連付け情報を生成して出力するアプリケーションを起動した場合、当該アプリケーションの実行によって、メモリ２２に記憶された番組ＩＤ及びユーザを特定するユーザＩＤを関連付け部２５に出力する。

メモリ２２は、ＥＩＴ、番組ＩＤ等の番組コンテンツのメタ情報やその他各種情報を記憶する。
ＡＩＴ記憶部２３は、放送ＡＩＴ取得部１３及び通信ＡＩＴ取得部１６によって取得されたＡＩＴを記憶する。

デバイス接続部２４は、カメラデバイス５やマイクデバイス６等のデバイスを接続し、当該デバイスからの入力情報を視聴状態情報として関連付け部２５に供給する。
具体的には、デバイス接続部２４は、アプリケーション実行制御部１７により実行されたアプリケーション（以下、Ｈｙｂｒｉｄｃａｓｔアプリケーションとも呼ぶ）によって、カメラデバイス５により視聴者が撮影された結果得られる画像のデータを、視聴状態情報として取得して、関連付け部２５に出力する。また、デバイス接続部２４は、アプリケーション実行制御部１７により実行されたアプリケーションによって、マイクデバイス６から入力された視聴者の音声のデータを、視聴状態情報として取得して、関連付け部２５に出力する。
なお、デバイス接続部２４に接続されるデバイスは、カメラデバイス５やマイクデバイス６に限られず、その他例えば、視聴者の位置情報を取得可能なジャイロセンサや、視聴者の動作を検知可能な光センサであってもよい。
さらに、デバイス接続部２４に接続とは、外部機器に接続することのみを意味せず、内蔵機器に接続することも意味する。従って、カメラデバイス５やマイクデバイス６は、外部機器である必要は特になく、受信機４に内蔵されていてもよい。
なお、デバイス接続部２４のさらなる詳細については、図６乃至図１０を参照して後述する。

関連付け部２５は、番組コンテンツにおける所定シーンの相対的な再生開始タイミングを示す時刻情報として、ＮＰＴ又はＰＴＳを表示制御部１９から取得する。関連付け部２５は、当該所定シーンを視聴した時の視聴者の視聴状態を示す視聴状態情報として、画像又は音声のデータをデバイス接続部２４から取得する。関連付け部２５は、番組ＩＤやユーザＩＤ等のＩＤ情報をメモリ２２から取得する。
関連付け部２５は、これらの取得した情報、即ち、ＮＰＴ又はＰＴＳと、画像又は音声のデータとしての視聴状態情報と、ＩＤ情報とを関連付けることによって、関連付け情報を生成して、通信部１４を介してサービスサーバ３に送信する。
なお、関連付け部２５のさらなる詳細については、図１１乃至図１４を参照して後述する。

さらに以下、このような機能的構成を有する受信機４のうち、デバイス接続部２４について、図６乃至図１０を参照して説明する。

上述の如く、デバイス接続部２４には、カメラデバイス５やマイクデバイス６といったデバイスが接続される。ただし、デバイス接続部２４は、デバイスが単に物理的に接続されたとしても、当該デバイスを発見して認識しなければ、当該デバイスからの情報を視聴状態情報として関連付け部２５に出力することはできない。

図６は、このようなデバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。
図６に示すように、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤとしては、下層から上層に向かう順に、ハードウェア、システムソフトウェア、ヴァーチャルマシン、Ｈｙｂｒｉｄｃａｓｔ基本ライブラリ及び拡張ライブラリ、並びに、Ｈｙｂｒｉｄｃａｓｔアプリケーションが存在する。
デバイス接続部２４におけるデバイスの発見の動作は、本実施形態では、拡張ライブラリ（ソフトウェアプログラム）の１つである機器発見ライブラリによって行われる。

図７は、デバイス接続部２４の概念を示す図である。
図７に示すように、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーションが、デバイス接続部２４に設けられるデバイスマネージャやＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）等とやり取りをする。
ここで、一般的なフィジカルネットワーク層におけるデバイスマネージャインプリメンテイションやＨＩＤインプリメンテイションは、本実施形態では、従来から存在するものが流用される。このため、図８乃至図１０のシーケンス図に示すような各種各様のリスナーを実装し、同シーケンス図に示すような各種イベント等を生成して処理するクラスとして、デバイスマネージャやＨＩＤを含むインプリメンテイションクラスを実装することにより、デバイス接続部２４が実現される。

図８は、動作認識等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図を示している。
ステップＳ１において、関連付け部２５は、番組ＩＤやユーザＩＤ等のＩＤ情報をメモリ２２から取得する。ただし、ＩＤ情報の取得は、ステップＳ１の処理タイミングだけではなく、放送局１からの番組コンテンツの変わり目等で随時行われる。

次に、デバイスマネージャによる機器発見部分のシーケンスとして、次のようなステップＳ２乃至Ｓ９の処理が実行される。
ステップＳ２において、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーション（図８乃至図１０のシーケンス図の説明ではアプリと略称する）は、デバイス接続部２４において、デバイスマネージャインスタンスを登録する。
ステップＳ３において、デバイスマネージャは、関連付け部２５に対してアプリを通知する。
ステップＳ４において、関連付け部２５は、関連付け部物理情報をデバイスマネージャに通知する。ここで、関連付け部物理情報とは、視聴者状態情報（画像や音声）を物理的にどこに流すべきかを示す情報である。
ステップＳ５において、アプリは、デバイスディスカバリーリスナを生成する。即ち、デバイスディスカバリイベントが登録される。
ステップＳ６において、デバイスマネージャが、ＨＩＤに対してデバイスの発見を試みる。
ステップＳ７において、ＨＩＤは、その応答をデバイスマネージャに返す。
ステップＳ８において、デバイスマネージャは、ステップＳ７の応答から得られたデバイス情報と、ステップＳ４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
ステップＳ９において、デバイスマネージャは、デバイス情報をアプリに送ることによって、新しいデバイスをアプリに通知する。

このようにして、デバイスマネージャによる機器発見部分のシーケンスとして、ステップＳ２乃至Ｓ９の処理が実行されると、それに引き続き、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、次のようなステップＳ１０乃至Ｓ１４の処理が実行される。
ステップＳ１０において、アプリは、デバイスインスタンスに対して、デバイスステイタスリスナーを登録する。
ステップＳ１１において、デバイスインスタンスは、デバイスの状況（例えば電源状態がＯＮ状態なのかＯＦＦ状態なのかといった状況）を、ＨＩＤに対して確認する。
ステップＳ１２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、デバイスの電源状態がＯＦＦ状態の場合には、さらに図９に示す処理が必要になるが、この処理については後述する。
ステップＳ１３において、デバイスインスタンスは、ＨＩＤから通知されたデバイスの状況を、アプリに通知する。
ステップＳ１４において、デバイスインスタンスは、デバイスの入力データ（画像や音声のデータであって、視聴者状態情報になるデータ）を関連付け部２５に出力する制御を実行すべく、関連付け部２５の通知をＨＩＤに対して行う。

ここで、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスについて説明する。
先ず、デバイスの電源状態によらず、ステップＳ１１の処理は実行されるが、デバイスの電源状態がＯＦＦ状態である場合には、ステップＳ１２の処理の代わりに、図９のシーケンス図に従った処理が実行される。
図９は、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。
ステップＳ１２−１の処理は、ステップＳ１２と実質同一の処理である。ただし、ステップＳ１２−１においては、電源状態がＯＦＦ状態である旨がデバイスインスタンスに通知される。
そこで、ステップＳ３３において、デバイスインスタンスは、デバイスの電源状態をＯＮ状態に遷移させる要求（以下、デバイス電源ＯＮ要求と呼ぶ）を、デバイスマネージャに対して行う。
ステップＳ３４において、デバイスマネージャは、デバイスの電源状態をＯＮ状態に遷移させる。
ステップＳ１２−２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、この場合、電源状態がＯＮ状態である旨がデバイスインスタンスに通知される。
その後、上述した図８のステップＳ１３及びＳ１４の処理が実行される。

このようにして、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、図８のステップＳ１０乃至Ｓ１４の処理（デバイスの電源状態がＯＦＦ状態の場合図９の処理）が実行されると、次に引き続き、次のようなステップＳ１５乃至Ｓ１９の処理が実行される。
ステップＳ１５において、アプリは、デバイスインスタンスに対して、入力イベントを要求する。
ステップＳ１６において、デバイスインスタンスは、ＨＩＤに対して、入力イベントを要求する。
ステップＳ１７において、デバイスは、即ちここでは外部機器であるカメラデバイス５又はマイクデバイス６は、画像又は音声のデータをＨＩＤに入力する。
ステップＳ１８において、ＨＩＤは、ステップＳ１７の処理で入力された画像又は音声のデータを、入力データとして関連付け部２５に提供する。なお、関連付け部２５は、当該入力データを視聴者状態情報として取得する。
ステップＳ１９において、表示制御部１９は、ステップＳ１８の処理時点のＮＰＴ／ＰＴＳを関連付け部２５に提供する。
これ以降、アプリから入力イベントが要求される毎に、ステップＳ１５乃至Ｓ１９の処理が繰り返し実行される。

以上まとめると、デバイス接続部２４においては、デバイスマネージャが機能する。このデバイスマネージャの主な機能は、ＨＩＤ（デバイス）を発見し、発見したデバイスのデバイス情報と、関連付け部情報とを一緒に用いてデバイスインスタンスを生成することである。
また、このようにしてデバイスマネージャにより生成されたデバイスインスタンスの機能は、アプリから入力イベントを受け取り、ＨＩＤと関連付け部２５とを制御することである。
また、関連付け部２５の機能は、デバイス（ＨＩＤ）からの入力データ（画像や音声のデータであって、視聴者状態情報となるデータ）と、受信機４の内部情報（ＮＰＴ／ＰＴＳといった時間情報やＩＤ情報）とを関連付けることである。

ところで、デバイス接続部２４に接続されるデバイスは、上述したように、外部機器に特に限定されず、受信機４の内蔵機器であってもよい。

図１０は、動作認識等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機４の内蔵機器を用いる場合のシーケンス図を示している。
図１０と図８とを比較するに、図１０のステップＳ５１乃至Ｓ５４は、図８のステップＳ１乃至Ｓ４と同様の処理である。
しかしながら、図１０においては、図８のステップＳ５乃至Ｓ７に相当する処理は存在しない。内蔵機器の発見は不要だからである。このため、図１０のステップＳ５５においては、デバイスマネージャは、内蔵機器の既知情報と、ステップＳ５４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
また、図１０においては、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスが存在しない。即ち、図１０においては、図８のステップＳ１０乃至Ｓ１４（デバイスの電源状態がＯＦＦ状態の場合には図９）に相当する処理は存在しない。内蔵機器の場合、ステイタスリスナーは不要だからである。即ち、デバイスマネージャから状況を変更可能だからである。
なお、図１０のステップＳ５６乃至Ｓ６０は、図８のステップＳ１５乃至Ｓ１９と同様の処理である。即ち、アプリから入力イベントが要求される毎に、ステップＳ５６乃至Ｓ６０の処理が繰り返し実行される。

以上、図４の機能的構成を有する受信機４のうち、デバイス接続部２４の詳細について、図６乃至図１０を参照して説明した。次に、このような受信機４のうち、関連付け部２５の詳細について、図１１乃至図１４を参照して説明する。

図１１は、関連付け部２５の機能構成の一例を示す機能ブロック図である。
関連付け部２５は、画像情報取得部２５１と、相対時間情報取得部２５２と、ＩＤ（番組・ユーザＩＤ）取得部２５３と、画像関連付け部２５４と、により画像関連付け情報を生成する。
画像情報取得部２５１は、デバイス接続部２４から入力データとして出力された画像（動画のコマ又は静止画）のデータ（図８のステップＳ１８参照）、即ち番組コンテンツの所定シーンを視聴した時の視聴者が写った画像のデータを、視聴者状態情報として取得する。
相対時間情報取得部２５２は、表示制御部１９から出力された所定シーンの相対的な再生開始タイミングを示す時刻情報として、ＮＰＴ又はＰＴＳ（図８のステップＳ１９参照）を取得する。
ＩＤ（番組・ユーザＩＤ）取得部２５３は、アプリケーション実行制御部１７から出力された番組ＩＤ及びユーザＩＤ（図８のステップＳ１のＩＤ情報）を取得する。
画像関連付け部２５４は、画像情報取得部２５１に取得された画像のデータと、相対時間情報取得部２５２に取得されたＮＰＴ又はＰＴＳと、ＩＤ（番組・ユーザＩＤ）取得部２５３に取得された番組ＩＤ及びユーザＩＤと、を関連付けることによって、関連付け情報を生成する。なお、以下、画像関連付け部２５４により生成される関連付け情報を、特に、画像関連付け情報と呼ぶ。画像関連付け部２５４は、アプリケーション実行制御部１７がアプリケーションを終了させるまで、随時、画像関連付け情報を通信部１４に出力する。

図１２は、図１１の例の関連付け部２５の処理の流れを説明するフローチャートである。
ステップＳ１０１において、関連付け部２５は、画像情報取得部２５１で画像（動画のコマ又は静止画）のデータを取得し、相対時間情報取得部２５２で時刻情報（ＮＰＴ又はＰＴＳ）を取得し、ＩＤ取得部２５３で番組ＩＤ及びユーザＩＤを取得する。
ステップＳ１０２において、画像関連付け部２５４は、ステップＳ１０１で取得した各種情報、即ち、画像のデータ、時刻情報、並びに番組ＩＤ及びユーザＩＤを関連付けることによって、画像関連付け情報を生成する。
ステップＳ１０３において、画像関連付け部２５４は、ステップＳ１０２で生成した画像関連付け情報を通信部１４に出力する。
ステップＳ１０４において、関連付け部２５は、アプリケーション実行制御部１７がアプリケーションを終了させたか否かを判断し、終了させていない場合はステップＳ１０１に処理を戻し、終了させた場合は本処理を終了させる。

関連付け部２５から出力された画像関連付け情報は、通信部１４を介して、サービスサーバ３（図４参照）に送信される。
サービスサーバ３は、受信した画像関連付け情報をもとに画像処理を行う。これにより、サービスサーバ３は、視聴者が「どのシーンで笑った」、「どのシーンで興味を失った」等の情報を推定し、視聴者に特別な動作をさせることなく、視聴者の視聴状態を推定することが可能となる。

図１３は、関連付け部２５の機能構成の別の例を示す機能ブロック図である。
関連付け部２５は、音声情報取得部２５５と、相対時間情報取得部２５２と、ＩＤ（番組・ユーザＩＤ）取得部２５３と、音声関連付け部２５６と、により音声関連付け情報（音声の関連付けられたアップリンク情報）を生成する。
音声情報取得部２５５は、デバイス接続部２４から入力データとして出力された音声のデータ（図８のステップＳ１８参照）、即ち番組コンテンツの所定シーンを視聴した時に発した音声のデータを、音声情報として取得する。
音声関連付け部２５６は、音声情報取得部２５５に取得された音声情報と、相対時間情報取得部２５２に取得されたＮＰＴ又はＰＴＳと、ＩＤ（番組・ユーザＩＤ）取得部２５３に取得された番組ＩＤ及びユーザＩＤと、を関連付けることによって、関連付け情報を生成する。なお、以下、音声関連付け部２５６により生成される関連付け情報を、特に、音声関連付け情報と呼ぶ。音声関連付け部２５６は、アプリケーション実行制御部１７がアプリケーションを終了させるまで、随時、音声関連付け情報を通信部１４に出力する。

図１４は、図１３の例の関連付け部２５の処理の流れを説明するフローチャートである。
ステップＳ２０１において、関連付け部２５は、音声情報取得部２５５で音声情報を取得し、相対時間情報取得部２５２で時刻情報（ＮＰＴ又はＰＴＳ）を取得し、ＩＤ取得部２５３で番組ＩＤ及びユーザＩＤを取得する。
ステップＳ２０２において、音声関連付け部２５６は、ステップＳ２０１で取得した各種情報、即ち、音声情報、時刻情報、番組ＩＤ及びユーザＩＤを関連付けることによって、音声関連付け情報を生成する。
ステップＳ２０３において、音声関連付け部２５６は、ステップＳ２０２で生成した音声関連付け情報を通信部１４に出力する。
ステップＳ２０４において、関連付け部２５は、アプリケーション実行制御部１７がアプリケーションを終了させたか否かを判断し、終了させていない場合はステップＳ２０１に処理を戻し、終了させた場合は本処理を終了させる。

本実施形態によれば、以下のような効果がある。
（１）受信機４のデバイス接続部２４においては、デバイスマネージャによって、関連付け部２５の情報とデバイス（例えばカメラデバイス５やマイクデバイス６）の情報とに基づいて、デバイスインスタンスが生成される。そして、デバイスインスタンスによって、デバイスと関連付け部２５とが制御され、アプリケーションからの入力イベント要求があると、デバイスから入力情報が取得されて関連付け部２５に供給される。
このようにして、放送と通信の連携を図るシステムにおいて、受信機４にデバイスを接続させて機能させるための適切な仕組みが実現される。

（２）デバイスマネージャによって、さらに、外部機器としてのデバイスが発見される。
これにより、放送と通信の連携を図るシステムにおいて、外部機器としてのデバイスに受信機を接続させて機能させるための適切な仕組みが実現される。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
本実施形態では、例えば、デバイスとしてカメラデバイス及びマイクデバイスを備えているが、これに限られるものではなく、視聴者の視聴状態情報を取得できる限り、カメラデバイス又はマイクデバイスのいずれかを備えればよい。

１ 放送局
３ サービスサーバ
４ 受信機
１７ アプリケーション実行部
２４ デバイス接続部
２５ 関連付け部
１４ 通信部
Ｎ ネットワーク

Claims (3)

1. ネットワークを介してサーバに接続され、放送局から放送された、番組コンテンツと共に複数の情報が多重化されて構成された放送信号を受信する受信機であって、
   前記放送信号に多重化されて又は前記ネットワークを介して伝送されてくるアプリケーション管理情報により管理されるアプリケーションの実行を制御する実行制御手段と、
   前記番組コンテンツに関する情報と、デバイスからの入力情報とを関連付ける関連付け手段と、
   前記関連付け手段の情報と前記デバイスの情報とに基づいて、デバイスインスタンスを生成するデバイスマネージャと、
   前記デバイスマネージャにより生成された後、前記デバイスと前記関連付け手段とを制御し、前記アプリケーションからの入力イベント要求を受け取ると、前記デバイスから前記入力情報を取得して前記関連付け手段に供給するデバイスインスタンスと、
   を備える受信機。
2. 前記デバイスは、前記受信機に対して外部から接続される外部機器であり、
   前記デバイスマネージャは、さらに、前記外部機器としての前記デバイスを発見する、
   請求項１に記載の受信機。
3. ネットワークを介してサーバに接続され、放送局から放送された、番組コンテンツと共に複数の情報が多重化されて構成された放送信号を受信する受信機であって、前記放送信号に多重化されて又は前記ネットワークを介して伝送されてくるアプリケーション管理情報により管理されるアプリケーションの実行を制御する実行制御手段を備える受信機を制御するコンピュータを、
   前記番組コンテンツに関する情報と、デバイスからの入力情報とを関連付ける関連付け手段、
   前記関連付け手段の情報と前記デバイスの情報とに基づいて、デバイスインスタンスを生成するデバイスマネージャ、
   前記デバイスマネージャにより生成された後、前記デバイスと前記関連付け手段とを制御し、前記アプリケーションからの入力イベント要求を受け取ると、前記デバイスから前記入力情報を取得して前記関連付け手段に供給するデバイスインスタンス、
   として機能させるプログラム。

Images