JP2009260824A

JP2009260824A - 映像音声出力装置

Info

Publication number: JP2009260824A
Application number: JP2008109355A
Authority: JP
Inventors: Noriaki Kawai; 紀昭河合; Takahisa Kaihatsu; 貴久開發
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-04-18
Filing date: 2008-04-18
Publication date: 2009-11-05

Abstract

【課題】本発明は視聴者の生体情報がコンテンツ制作者の意図に沿って変化するようにコンテンツの内容を変更することが出来る映像音声出力装置を提供する。
【解決手段】１つの小期間に複数のシーンデータが用意され、各シーンデータは映像音声ストリームと該映像音声ストリームの視聴時の視聴者の生体情報の変化の予測データからなり、複数のシーンデータは予測データの値が異なり、複数の小期間にわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力装置は、コンテンツから生体情報パターンを抽出する抽出部（２０）と、視聴者の生体情報を検出する生体情報取得部（２４）と、抽出された生体情報パターンと検出された視聴者の生体情報と、小期間の生体情報の変化の予測データとに基づいてシーンデータを選択して再生するシナリオコンポーザ部（２６）とを具備する。
【選択図】図１

Description

本発明は映像音声出力装置に係り、特にコンテンツの出力方法・出力内容を変更することができる映像音声出力装置に関する。

状況に応じてコンテンツの出力方法・出力内容を変えるコンテンツ出力装置がある（特許文献１参照）。例えば、コンテンツの内容がホラー映画である場合、心臓に負担をかけられない高年齢者、心臓病患者、幼児等には刺激が強く、身体的に悪影響を与えることになり問題である。また、アダルト系の刺激の強い内容のコンテンツも多数存在し、大きな社会問題になっている。このため、特許文献１記載の装置は、視聴者の生体情報、例えば心拍数等を受け付け、心拍数が基準値以上に達する場合に、コンテンツの出力を制限する、あるいはコンテンツの内容を変更する。このように、視聴者の生体情報に基づきコンテンツの出力が制御されている。

しかし、コンテンツの出力の制御は出力装置に設けられた判断部、出力部が行うものであり、コンテンツ制作者の意図に沿わない形態でコンテンツが出力されることもある。
特開２００５−１５０７９６号公報（段落０００５、０００７、００３１）

このように従来のコンテンツ出力装置の出力制御は出力装置側で行われるので、コンテンツ制作者の意図に沿わない形態でコンテンツが出力されることもあるという問題点がある。

本発明の目的は視聴者の生体情報がコンテンツ制作者の意図に沿って変化するようにコンテンツの内容を変更することが出来る映像音声出力装置を提供することにある。

本発明の一態様による映像音声出力装置は、１つの小期間に複数のシーンデータが用意されており、各シーンデータは映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、前記１つの小期間の複数のシーンデータは前記予測データの値が異なり、複数の小期間にわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力装置において、
前記コンテンツから前記生体情報パターンを抽出する手段と、
視聴者の生体情報を検出する手段と、
前記抽出手段により抽出された生体情報パターンと、前記検出手段により検出された視聴者の生体情報と、前記小期間の生体情報の変化の予測データとに基づいて前記小期間の複数のシーンデータのいずれかを選択して再生する選択手段と、
を具備するものである。

本発明の他の態様による映像音声出力方法は、１つの小期間に複数のシーンデータが用意されており、各シーンデータは映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、前記１つの小期間の複数のシーンデータは前記予測データの値が異なり、複数の小期間にわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力方法において、
前記コンテンツから前記生体情報パターンを抽出するステップと、
視聴者の生体情報を検出するステップと、
前記抽出手段により抽出された生体情報パターンと、前記検出手段により検出された視聴者の生体情報と、前記小期間の生体情報の変化の予測データとに基づいて前記小期間の複数のシーンデータのいずれかを選択して再生する選択ステップと、
を具備するものである。

本発明の別の一態様によるコンテンツ制作装置は、コンテンツデータと生体情報パターンとからなるコンテンツを制作し、前記生体情報パターンはコンテンツ制作者が意図する前記コンテンツデータの視聴時の生体情報の変化パターンであり、前記コンテンツデータは小期間毎に複数のシーンデータからなり、前記シーンデータの各々は映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、１つの小期間の複数のシーンデータは前記予測データの値が異なるものである。

以上説明したように本発明によれば、シーンデータに含まれる生体情報の変化の予測データに基づいて小期間のシーンデータを選択するので、視聴者から検出された生体情報がコンテンツに付随する生体情報パターンと近づくようにコンテンツの内容を変えて出力することができる。

以下、図面を参照して本発明による映像音声出力装置の実施の形態を説明する。

第１の実施の形態
図１は本発明の第１の実施の形態に係る映像音声出力装置１２の構成を示す図である。

図示しない媒体から供給されたコンテンツがストリーム抽出部１８、生体情報パターン抽出部２０、予測生体情報抽出部２２に入力される。媒体は光ディスク、半導体メモリ、ハードディスク装置等の記憶媒体に限らず、ネットワーク等の伝送媒体も含む。

コンテンツは図２に示すように、コンテンツデータと生体情報パターンＸとからなる。生体情報パターンＸは１コンテンツに１つ付随している。コンテンツデータの視聴に伴い、刺激や感動により視聴者の生体情報は何らかの変化を示す。生体情報パターンＸとはコンテンツデータの視聴時のコンテンツ制作者の意図する生体情報の遷移パターンであリ、コンテンツが持っている再生時間を細かく区切った小期間（時間区切り）ｎ（の終了時点）毎の生体情報値Ｘ_ｎからなる。

生体情報パターンＸの一例を図５に示す。コンテンツ再生の進行に従い生体情報値がパターンの通り増減・変化すると、視聴者の感情がコンテンツ制作者の意図通りにコンテンツに引き込まれることになる。生体情報とは、例えば視聴者の体温、血圧、心拍数、発汗量、脳波、血液成分の変動、眼球移動、体重移動等のいずれか一つ、あるいはその組み合わせを含む。

コンテンツデータは図３に示すように時間区切りｎ毎に異なる複数の種類ｍのシーンデータからなる。シーンデータＳ_ｎ，ｍはｎ番目の時間区切りのｍ番目のシーンを示す。なお、必ずしも全部の時間区切りで複数種類のシーンデータが用意されていなくてもよく、ある時間区切りでは１種類のシーンデータだけであってもよい。

１つのシーンデータＳ_ｎ，ｍは図４に示すようにＭＰＥＧ２等の映像圧縮データである映像ストリームＶ_ｎ，ｍと、ＡＣ３等の音声圧縮データである音声ストリームＡ_ｎ，ｍと、予測生体情報Ｕ_ｎ，ｍとからなる。映像ストリームＶ_ｎ，ｍと音声ストリームＡ_ｎ，ｍとが映像音声ストリームＡＶ_ｎ，ｍを構成する。予測生体情報Ｕ_ｎ，ｍは当該シーンデータの映像音声ストリームＡＶ_ｎ，ｍを視聴した時に平均的な視聴者の生体情報がどのように変化するかを記載する。予測生体情報Ｕ_ｎ，ｍは生体情報値がどの程度上昇／減少するかの予測値である。

ストリーム抽出部１８はコンテンツ（のシーンデータ）に含まれる映像音声ストリームＡＶ_ｎ，ｍを抽出し、抽出した映像音声ストリームＡＶ_ｎ，ｍをシナリオコンポーザ部２６に供給する。後述するように、ストリーム抽出部１８はシナリオコンポーザ部２６からの制御信号に基づいて各時間区切り毎に１つのシーンデータ（の中の映像音声ストリーム）を抽出する。しかし、ストリーム抽出部１８はコンテンツに含まれる全ての映像音声ストリームＡＶ_ｎ，ｍを抽出し、シナリオコンポーザ部２６で各時間区切り毎に１つの映像音声ストリームを選択しても良い。

生体情報パターン抽出部２０はコンテンツに含まれる生体情報パターンＸを抽出し、抽出した生体情報パターンＸをシナリオコンポーザ部２６に供給する。

予測生体情報抽出部２２はコンテンツ（のシーンデータ）に含まれる予測生体情報Ｕ_ｎ，ｍを抽出し、抽出した予測生体情報Ｕ_ｎ，ｍをシナリオコンポーザ部２６に供給する。

生体情報取得部２４は図示しないセンサ等の出力に基づき視聴者の生体情報Ｙを取得する。生体情報Ｙは連続して取得する必要は無く、時間区切りの境目（開始点、あるいは終了点）でデータがあればよい。生体情報の一例としては、体温、血圧、心拍数、発汗量、脳波、血液成分の変動、眼球移動、体重移動等のいずれか一つ、あるいはその組み合わせがある。眼球移動以外の生体情報は視聴者に取り付けられたセンサから取得する。取得された生体情報はシナリオコンポーザ部２６に供給される。

シナリオコンポーザ部２６は生体情報パターン抽出部２０から供給される生体情報パターンＸと、予測生体情報抽出部２２から供給される予測生体情報Ｕ_ｎ，ｍと、生体情報取得部２４で取得された生体情報Ｙとに基づいて各時間区切りｎ毎のシーンデータｍを選択する。時間区切り情報ｎと選択情報ｍとはストリーム抽出部１８に供給され、各時間区切りｎ毎に１つの映像音声ストリームＡＶ_ｎ，ｍが抽出される。抽出された映像音声ストリームＡＶ_ｎ，ｍの映像ストリームＶ_ｎ，ｍが映像デコード処理部２８へ、音声ストリームＡ_ｎ，ｍが音声デコード処理部３０へ供給される。

映像デコード処理部２８、音声デコード処理部３０は映像ストリーム、音声ストリームをデコード処理し、映像出力処理部３２、音声出力処理部３４を介して表示部１４、スピーカ１６７で再生出力する。

本実施形態の映像音声出力装置１２の動作について図６の模式図、図７のフローチャート、図８、図９の説明図を参照して説明する。

コンテンツの再生（映像音声出力装置１２へのコンテンツの入力）が開始すると、ブロック１０２で生体情報パターン抽出部２０はコンテンツに含まれる生体情報パターンＸを取得し、時間区切りの終了時点毎の生体情報値Ｘ_１、Ｘ_２、…Ｘ_ｎ（図８、図９参照）を取得する。

ブロック１０４で時間区切りを表す変数ｉに１をセットする。すなわち、各時間区切り毎にシーンデータを選択しながらコンテンツの出力が制御される。

ブロック１０６で予測生体情報抽出部２２はコンテンツの時間区切りｉに関するシーンデータに含まれる全ての予測生体情報Ｕ_ｉ，１、Ｕ_ｉ，２、…Ｕ_ｉ，ｍを取得する。

ブロック１０８で生体情報取得部２４は図示しないセンサ等の出力に基づき１つ前の時間区切りの終了時点（本時間区切りｉの開始時点）の生体情報Ｙ_ｉ−１を取得する。

ブロック１１０でシナリオコンポーザ部２６は以下のパラメータＶ_ｉを計算する。

Ｖ_ｉ＝（Ｘ_ｉ−Ｙ_ｉ−１）／（Ｔ_ｉ−Ｔ_ｉ−１）
ここで、Ｔ_ｉは時間区切りｉの終了時間、Ｔ_ｉ−１は時間区切りｉ−１の終了時間である。すなわち、パラメータＶ_ｉは時間区切りｉの終了時点での生体情報値Ｙ_ｉと時間区切りｉの終了時点での予測生体情報値Ｘ_ｉとが一致するために必要な生体情報値Ｙの変化量（傾き）を示す。

ブロック１１２でシナリオコンポーザ部２６は図６に模式的に示すようにパラメータＶ_ｉに最も近い予測生体情報Ｕ_ｉ，ｊを決定し、それを含むシーンデータＳ_ｉ，ｊを選択する。

選択結果の情報ｉ，ｊはシナリオコンポーザ部２６からストリーム抽出部１８に送られる。ブロック１１４でストリーム抽出部１８はこの選択情報ｉ，ｊに基づいて映像音声ストリームＡＶ_ｉ，ｊを抽出し、ブロック１１６で映像音声ストリームＡＶ_ｉ，ｊをシナリオコンポーザ部２６を介して映像デコード処理部２８、音声デコード処理部３０へ供給する。映像デコード処理部２８、音声デコード処理部３０は映像ストリーム、音声ストリームをデコード処理し、映像出力処理部３２、音声出力処理部３４を介して表示部１４、スピーカ１６７で再生出力する。

図８は時間区切りｎ−１までコンテンツの再生が終了したことを示す。コンテンツに含まれる生体情報パターンＸの時刻Ｔ_ｎ−１での値Ｘ_ｎ−１と実際の視聴者の生体情報Ｙの時刻Ｔ_ｎ−１での値Ｙ_ｎ−１とは完全には一致していないとする。次の時間区切りｎにおいて再生される映像音声ストリームには、そのストリームを視聴することにより視聴者の生体情報Ｙが変化し、その結果映像音声コンテンツの視聴終了時刻Ｔ_ｎに生体情報Ｙの検出値Ｙ_ｎが生体情報パターンＸの読み取り値Ｘ_ｎと一致することが求められる。そのため、ブロック１１４でパラメータＶ_ｉに最も近い予測生体情報Ｕ_ｉ，ｊを含む映像音声ストリームＡＶ_ｉ，ｊが選択される。視聴者の生体情報が予測生体情報Ｕ_ｉ，ｊ通りに変化すると、図９に示すように、時間区切りｎにおいてパラメータＶ_ｉの通り生体情報が変化し、時刻Ｔ_ｎで生体情報Ｙ_ｎが生体情報パターンＸ_ｎとほぼ一致する。

ブロック１１８で次のシーンデータがあるか否か判定する。ある場合はブロック１２０でｉがインクリメントされ、ブロック１０６の処理が繰り返される。

このように本実施形態によれば、１つの時間区切りに複数のシーンデータが用意されており、各シーンデータは映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、１つの時間区切りの複数のシーンデータは予測データの値が異なり、複数の時間区切りにわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力装置において、コンテンツから生体情報パターンを抽出し、視聴者の生体情報を検出し、抽出された生体情報パターンと、検出された視聴者の生体情報と、時間区切りの生体情報の変化の予測データとに基づいて時間区切りの複数のシーンデータのいずれかを選択して再生することにより、視聴者の生体情報がコンテンツ制作者の意図（生体情報パターン）に沿って変化するようにコンテンツの内容を変更することが出来る。

上記実施形態では、シーンデータが時間区切りごとに映像ストリームと音声ストリームをともに選択するデータ構造をとったが、映像ストリームのみ、もしくは音声ストリームのみを選択するようなデータ構造をとってもよい。

上記実施形態ではコンテンツ制作者の意図する生体情報パターンは不変としたが、個人によって生体情報値にバラツキがある場合がある。生体情報パターンの絶対値は重要ではなく、その変化（遷移パターン）が意味があるものである。そのため、コンテンツ制作者が決めた生体情報パターンの値が視聴者の生体情報値とずれている場合は、視聴者がそのレベルを調整できるようにすると良い。図１０はコンテンツで指定されている生体情報パターンを示す。視聴者の生体情報のピーク値がこのピーク値以下である場合は、視聴者が指示入力することにより図１１に示すようにピーク値を下げた生体情報パターンに変更することができる。画面に生体情報パターン（図１０）を表示して、視聴者が表示を見ながらレベル増減指示することにより調整する。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

また、本発明は、コンピュータに所定の手段を実行させるため、コンピュータを所定の手段として機能させるため、コンピュータに所定の機能を実現させるため、あるいはプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。

本発明の一実施形態に係る映像音声出力装置の概略構成を示すブロック図。コンテンツの一例を示す図。コンテンツ内のコンテンツデータの一例を示す図。コンテンツデータ内のシーンデータの一例を示す図。コンテンツ内の生体情報パターンの一例を示す図。シーンデータ選択の様子を示す模式図。一実施形態の動作を示すフローチャート。一実施形態のシナリオコンポーザ部の動作原理を示す模式図。一実施形態のシナリオコンポーザ部のシーンデータ選択結果を示す模式図。本発明の第２実施形態の生体情報パターンの一例を示す図。第２実施形態におけるレベル変更後の生体情報パターンの一例を示す図。

符号の説明

１２…映像音声出力装置、１４…表示部、１６…スピーカ、１８…ストリーム抽出部、２０…生体情報パターン抽出部、２２…予測生体情報抽出部、２４…生体情報取得部、２６…シナリオコンポーザ部、２８…映像デコード処理部、３０…音声デコード処理部、３２…映像出力処理部、３４…音声出力処理部。

Claims

１つの小期間に複数のシーンデータが用意されており、各シーンデータは映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、前記１つの小期間の複数のシーンデータは前記予測データの値が異なり、複数の小期間にわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力装置において、
前記コンテンツから前記生体情報パターンを抽出する手段と、
視聴者の生体情報を検出する手段と、
前記抽出手段により抽出された生体情報パターンと、前記検出手段により検出された視聴者の生体情報と、前記小期間の生体情報の変化の予測データとに基づいて前記小期間の複数のシーンデータのいずれかを選択して再生する選択手段と、
を具備する映像音声出力装置。
前記再生手段は、任意の正整数であるｎ番目の小期間の終了時の抽出生体情報の値Ｘｎとｎ番目の小期間の開始時の検出生体情報の値Ｙｎ−１との差に応じていずれかのシーンデータを選択することを特徴とする請求項１記載の映像音声出力装置。
前記小期間における視聴者の生体情報の変化の予測データは生体情報の変化の傾きを示し、
前記再生手段はＸｎとＹｎ−１との差を前記ｎ番目の小期間の時間で割った値に最も近い予測データを有するシーンデータを選択することを特徴とする請求項２記載の映像音声出力装置。
前記生体情報は視聴者の体温、血圧、心拍数、発汗量、脳波、血液成分の変動、眼球移動、体重移動のいずれか一つあるいはその組み合わせを含むことを特徴とする請求項１記載の映像音声出力装置。
前記抽出手段により抽出された生体情報パターンのレベルを変更する手段をさらに具備することを特徴とする請求項１記載の映像音声出力装置。
１つの小期間に複数のシーンデータが用意されており、各シーンデータは映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、前記１つの小期間の複数のシーンデータは前記予測データの値が異なり、複数の小期間にわたる生体情報の変化パターンの希望パターンである生体情報パターンが付随しているコンテンツを再生する映像音声出力方法において、
前記コンテンツから前記生体情報パターンを抽出するステップと、
視聴者の生体情報を検出するステップと、
前記抽出手段により抽出された生体情報パターンと、前記検出手段により検出された視聴者の生体情報と、前記小期間の生体情報の変化の予測データとに基づいて前記小期間の複数のシーンデータのいずれかを選択して再生する選択ステップと、
を具備する映像音声出力方法。
前記再生ステップは、任意の正整数であるｎ番目の小期間の終了時の抽出生体情報の値Ｘｎとｎ番目の小期間の開始時の検出生体情報の値Ｙｎ−１との差に応じていずれかのシーンデータを選択することを特徴とする請求項６記載の映像音声出力方法。
前記小期間における視聴者の生体情報の変化の予測データは生体情報の変化の傾きを示し、
前記再生ステップはＸｎとＹｎ−１との差を前記ｎ番目の小期間の時間で割った値に最も近い予測データを有するシーンデータを選択することを特徴とする請求項７記載の映像音声出力方法。
前記生体情報は視聴者の体温、血圧、心拍数、発汗量、脳波、血液成分の変動、眼球移動、体重移動のいずれか一つあるいはその組み合わせを含むことを特徴とする請求項６記載の映像音声出力方法。
前記抽出ステップにより抽出された生体情報パターンのレベルを変更するステップをさらに具備することを特徴とする請求項６記載の映像音声出力方法。
コンテンツデータと生体情報パターンとからなるコンテンツを制作し、前記生体情報パターンはコンテンツ制作者が意図する前記コンテンツデータの視聴時の生体情報の変化パターンであり、前記コンテンツデータは小期間毎に複数のシーンデータからなり、前記シーンデータの各々は映像音声データと当該映像音声データの視聴時の視聴者の生体情報の変化の予測データからなり、１つの小期間の複数のシーンデータは前記予測データの値が異なるコンテンツ制作装置。