JP2012074773A - 編集装置、制御方法及びプログラム - Google Patents

Abstract

【課題】視聴者の嗜好に即したシーンを特定することが可能な編集装置を提供する。
【解決手段】 本実施形態の編集装置（100）は、コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得部（1）と、生体情報に所定の反応のあったシーンをコンテンツの中から特定するシーン特定部（4）と、を有することを特徴とする。
【選択図】図１

Description

本発明は、コンテンツを編集する編集装置、制御方法及びプログラムに関する。

近年、コンテンツを要約したダイジェスト情報を作成する技法が開発されている。例えば、特許文献１（特開2007-174260号広報）には、映像データを解析し、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成し、重要度の高いシーンのみを短時間で視聴するなどの、視聴者の視聴形態に合わせたダイジェスト情報の生成を可能にしている技術について開示されている。

しかし、上記特許文献１の技術は、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成しているため、ユーザが実際に求めているシーンとは異なるシーンが含まれたダイジェスト情報を生成してしまう場合がある。

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであるとする。上記特許文献１の技術は、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成するため、視聴者の嗜好に関係なく、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成することになる。このため、上記特許文献１の技術では、視聴者がチームAに特化したシーンを求めていても、そのようなシーンで構成するダイジェスト情報を生成することができない。このため、視聴者の嗜好に即したシーンが含まれるダイジェスト情報を生成することができる仕組みの開発が必要視されることになる。

なお、本発明より先に出願された技術文献として、特許文献２（特開2007-97047号公報）には、個人の感性をより反映した要約映像を生成する技術について開示されている。具体的には、コンテンツの出演者の感情を推測する。また、コンテンツを視聴しているときの視聴者の感情を推測する。そして、上記推測した出演者及び視聴者の感情情報に基づいて、コンテンツの中から視聴者と出演者とで共感度の高いシーンを推測し、その推測した共感度の高いシーンを用いてコンテンツの要約映像を生成することにしている。これにより、個人の感性をより反映した要約映像を生成することにしている。

特開２００７−１７４２６０号公報 特開２００７−９７０４７号公報

上記特許文献２の技術は、個人の感性をより反映したダイジェスト情報を生成する技術について開示されている。しかし、上記特許文献２の技術は、視聴者と映像データの出演者とで共感度の高いシーンを推測し、その推測した共感度の高いシーンを用いてダイジェスト情報を生成している。このため、上記特許文献２の技術は、視聴者と出演者とで共感したシーンでなければ、ダイジェスト情報として生成することができない。その結果、上記特許文献２の技術でも、視聴者の嗜好に即したシーンが含まれるダイジェスト情報を生成することができない場合がある。

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであり、コンテンツの出演者が主にチームBのファンであるとする。この場合、上記特許文献２の技術は、視聴者と出演者とで共感したシーンをダイジェスト情報として生成するため、上記特許文献２の技術では、視聴者がチームAに特化したシーンを求めていても、そのようなシーンで構成するダイジェスト情報を生成することができない。

本発明は、上記事情に鑑みてなされたものであり、視聴者の嗜好に即したシーンを特定することが可能な編集装置、制御方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

＜編集装置＞
本発明にかかる編集装置は、
コンテンツのシーンを特定する編集装置であって、
前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得手段と、
前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定手段と、を有することを特徴とする。

＜制御方法＞
本発明にかかる制御方法は、
コンテンツのシーンを特定する編集装置で行う制御方法であって、
前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得工程と、
前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定工程と、を有することを特徴とする。

＜プログラム＞
本発明にかかるプログラムは、
コンテンツのシーンを特定する編集装置のコンピュータに実行させるプログラムであって、
前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得処理と、
前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定処理と、を、前記コンピュータに実行させることを特徴とする。

本発明によれば、視聴者の嗜好に即したシーンを特定することができる。

本実施形態の編集装置100の構成例を示す図である。 キーワードDB24の構成例を示す図である。 感情判定DB25の構成例を示す図である。 キーワード検出処理の処理動作例を示す図である。 感情判定の切り替わりポイントの検出処理の処理動作例を示す図である。 各感情の感情ポイント（a）と、感情判定の切り替わりポイント（b）と、を説明するための図である。 感情盛り上がりの算出方法例を示す図である。 視聴者の生体情報から取得したキーワード、感情判定の切換ポイント、感情盛り上がりを示す図である。 映像コンテンツから抽出したシーン切換点を示す図である。 視聴者の生体情報に即したシーン切換点の特定処理例を示す図である。 図１０に示す特定処理例で得られるシーン切換点の一例を示す図である。

＜編集装置100の概要＞
まず、図１を参照しながら、本実施形態の編集装置100の概要について説明する。

本実施形態の編集装置100は、コンテンツのシーンを特定する編集装置100であり、コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得部1と、生体情報取得部1で取得した生体情報に所定の反応のあったシーンをコンテンツの中から特定するシーン特定部4と、を有することを特徴とする。

本実施形態の編集装置100は、上記構成を有することで、コンテンツを視聴している視聴者の生体情報に所定の反応のあったシーンをそのコンテンツの中から特定することになるため、視聴者の嗜好に即したシーンを特定することができる。以下、添付図面を参照しながら、本実施形態の編集装置100について詳細に説明する。

＜編集装置100の構成例＞
まず、図１を参照しながら、本実施形態の編集装置100の構成例について説明する。

本実施形態の編集装置100は、生体情報取得部1と、視聴者反応抽出部2と、シーン切換抽出部3と、シーン特定部4と、を有して構成する。

生体情報取得部1は、映像コンテンツを視聴している時の視聴者の生体情報を取得するものである。本実施形態の生体情報取得部1は、マイク11と、カメラ12と、を有して構成する。マイク11は、視聴者の音声などを取得する。カメラ12は、視聴者の画像などを取得する。なお、生体情報取得部1は、視聴者の生体情報を取得することが可能であれば、あらゆるものが適用可能である。例えば、視聴者の体温を測定する温度センサや、視聴者の心拍数を測定する心拍数センサなどが挙げられる。

視聴者反応抽出部2は、生体情報取得部1で取得した視聴者の生体情報を基に、映像コンテンツを視聴している時の視聴者の反応を抽出する。視聴者反応抽出部2は、番組情報取得部21と、ジャンル判別部22と、ジャンル別キーワード特定部23と、キーワードDB24と、感情判定DB25と、センシング部26と、を有して構成する。

番組情報取得部21は、EPGやWEB等から番組情報を取得する。

ジャンル判別部22は、番組情報取得部21で取得した番組情報から番組のジャンルを判別する。ジャンルとしては、例えば、『スポーツ』、『お笑い』、『ホラー』などが挙げられる。例えば、番組情報取得部21が取得した番組情報がサッカー番組の場合は、ジャンルとして『スポーツ』と判別する。

ジャンル別キーワード特定部23は、ジャンル判別部22で判別したジャンルと、番組情報取得部21で取得した番組情報と、を基に、ジャンル判別部22で判別したジャンルに関連するキーワード（人名、地名、曲名、ジャンル関連ワードなど）を取得する。また、各ジャンルに共通なキーワード（ジャンル共通ワード）を取得する。例えば、ジャンル判別部22で判別したジャンルが『スポーツ』であれば、ジャンル別キーワード特定部23は、番組情報取得部21で取得した番組情報を基に、『選手名』、『チーム名』などを取得する。また、スポーツに関連する『ジャンル関連ワード（ゴール、アシスト、シュート）』を取得する。また、各ジャンルに共通する『ジャンル共通ワード』を取得する。なお、上述したジャンル関連ワードやジャンル共通ワードは、予め、データベース等に格納して管理し、ジャンル判別部22で判別したジャンルを基に、データベース等からジャンル関連ワードやジャンル共通ワードを取得するようにすることも可能である。

キーワードDB24は、ジャンル判別部22で判別した『ジャンル』と、ジャンル別キーワード特定部23で特定した『人名、地名、曲名、ジャンル関連ワード』、『ジャンル共通ワード』と、を関連付けて記憶する。これにより、キーワードDB24は、図２に示すように、『ジャンル』と、そのジャンルに関連する『キーワード』（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）と、を対応付けて管理することができる。なお、キーワードDB24で管理する情報は、予め登録しておくことも可能である。

感情判定DB25は、視聴者の感情を判定するための情報を管理するものであり、図３に示すように、喜・怒・哀・楽の各々に対応付けて各種情報を管理する。本実施形態の編集装置100は、マイク11から視聴者の『セリフ』、『効果音』、『声質』などを取得し、カメラ12から視聴者の『表情』、『視線』、『動作』などを取得するため、喜・怒・哀・楽の各々に対応づけて『セリフ』、『効果音』、『声質』、『表情』、『視線』、『動作』を管理している。

センシング部26は、マイク11やカメラ12等の生体情報取得部1から取得した視聴者の生体情報（セリフ、効果音、声質、表情、視線、動作などの情報）を基に、視聴者の反応を抽出する。

シーン切換抽出部3は、再生装置200で再生している映像コンテンツを解析し、映像コンテンツのシーン切換点を抽出する。シーン切換抽出部3は、コンテンツ解析部31と、シーン切換検出部32と、を有して構成する。

コンテンツ解析部31は、再生装置200で再生している映像コンテンツを解析する。コンテンツ解析部31は、ジャンル別キーワード特定部23で特定した『人名、地名、曲名、ジャンル関連ワード』、『ジャンル共通ワード』などの情報を基に、映像コンテンツを解析する。シーン切換検出部32は、コンテンツ解析部31で解析した解析結果を基に、映像コンテンツのシーン切換点を検出する。なお、シーン切換点の検出方法は特に限定せず、様々な手法が適用可能である。例えば、映像コンテンツに含まれるBGMやカメラワーク、字幕情報などを基に、シーン切換点を検出することも可能である。

シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。シーン特定部4は、反応分析部41と、視聴者シーン切換検出部42と、を有して構成する。

反応分析部41は、センシング部26で抽出した視聴者の反応を分析する。視聴者シーン切換検出部42は、反応分析部41の分析結果を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。

＜編集装置100の処理動作例＞
次に、本実施形態の編集装置100の処理動作例について説明する。

＜キーワード検出処理例＞
まず、図４を参照しながら、キーワード検出処理例について説明する。センシング部26は、生体情報取得部1で取得した生体情報の中からキーワードDB24で管理している図２に示すキーワードを検出する。

まず、映像コンテンツを視聴している視聴者の生体情報を生体情報取得部1で取得する。センシング部21は、生体情報取得部1で取得した生体情報と、キーワードDB24で管理しているキーワードと、を基に視聴者の反応をモニタリングし（ステップA1）、生体情報取得部1で取得した生体情報の中から、キーワードDB24で管理しているキーワード（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）を検出する（ステップA2）。

本実施形態では、キーワードDB24でジャンル毎に図２に示す情報を管理しているため、センシング部26は、視聴者が現在視聴している映像コンテンツのジャンルに該当するキーワードをキーワードDB24から特定し、生体情報取得部1を構成するマイク11やカメラ12から取得した生体情報の中に、キーワードDB24から特定したジャンルのキーワード（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）が含まれている場合は、そのキーワードを検出する。

これにより、センシング部26は、生体情報取得部1で取得した生体情報の中からキーワードDB24で管理しているキーワードを検出することができる。

＜感情判定の切り替わりポイントの検出処理例＞
次に、図５を参照しながら、感情判定の切り替わりポイントの検出処理例について説明する。センシング部26は、生体情報取得部1で取得した生体情報の中から感情判定DB25で感情（喜・怒・哀・楽）毎に管理している図３に示す情報を検出し、その検出した情報を基に、感情判定の切り替わりポイントを検出する。

まず、映像コンテンツを視聴している視聴者の生体情報を生体情報取得部1で取得する。センシング部26は、生体情報取得部1で取得した生体情報と、感情判定DB25で管理している情報と、を基に視聴者の反応をモニタリングし（ステップB1）、視聴者の反応をリアルタイムに各感情（喜・怒・哀・楽）に分類する（ステップB2）。

本実施形態では、感情判定DB25で感情（喜・怒・哀・楽）毎に図３に示す情報を管理しているため、センシング部26は、生体情報取得部1を構成するマイク11やカメラ12から取得した生体情報（セリフ、効果音、声質、表情、視線、動作）の中に、感情判定DB25で感情（喜・怒・哀・楽）毎に管理している図３に示す情報が含まれている場合は、視聴者の反応をその情報に該当する感情に割り振る。

センシング部26は、ステップB2で分類した各感情の情報を基に、各感情（喜・怒・哀・楽）の単位時間当たりの出現頻度を計測する。これにより、図６（a）に示すような各感情（喜・怒・哀・楽）の単位時間当たりの感情ポイントを算出することができる（ステップB3）。なお、感情ポイントの算出方法は特に限定せず、様々な方法で算出することが可能である。例えば、各感情の出現頻度を全て１ポイントとして換算し、単位時間毎の各感情のポイントを算出することで、各感情の単位時間当たりのポイントを算出することも可能である。

センシング部26は、ステップB3で算出した各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わったか否かを判定し（ステップB4）、最も感情ポイントの高い感情が変わった場合は（ステップB4/Yes）、感情判定の切り替わりポイントとして検出する（ステップB5）。これにより、図６（b）に示すような感情判定の切り替わりポイントを検出することができる。なお、図６（b）に図示する感情判定の切り替わりポイントは、一部分であり、図６（a）に示す各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わった部分は、全て感情判定の切り替わりポイントとして検出することになる。

これにより、センシング部26は、生体情報取得部1で取得した生体情報の中から感情判定の切り替わりポイントを検出することができる。

＜感情盛り上がりの算出方法例＞
次に、図７を参照しながら、感情盛り上がりの算出方法例について説明する。

センシング部26は、上述した感情判定の切り替わりポイントの検出処理で算出した図７（a）に示す各感情の感情ポイントを加算し、図７（b）に示す感情盛り上がりを算出する。

なお、図７（b）に示す感情盛り上がりを算出する際は、映像コンテンツのジャンルや、視聴者の設定により、各感情ポイントに重み付けを施すことも可能である。例えば、視聴者が面白いシーンを見たい場合には、『喜』、『楽』の感情ポイントを1.2倍にして感情盛り上がりを算出することも可能である。また、視聴者が悲しいシーンを見たい場合には、『哀』の感情ポイントを1.2倍にして感情盛り上がりを算出することも可能である。

これにより、センシング部26は、生体情報取得部1から取得した視聴者の生体情報を基に、キーワード、感情判定の切り替わりポイント、感情盛り上がりを得ることができる。

例えば、視聴者が視聴している映像コンテンツがサッカーであった場合は、センシング部26は、図８に示すような、『キーワード』、『感情判定の切り替わりポイント』、『感情盛り上がり』を得ることができる。なお、図８では、『感情判定の切り替わりポイント』は、キーワードを検出した周囲の感情判定の切り替わりポイントのみを表示しており、例えば、図６（a）に示す各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わった部分は、感情判定の切り替わりポイントとして検出することになる。

＜映像コンテンツのシーン切換点の抽出処理例＞
次に、図９を参照しながら、映像コンテンツのシーン切換点の抽出処理例について説明する。

シーン切換抽出部3は、再生装置200で再生している映像コンテンツを解析し、映像コンテンツのシーン切換点を抽出する。なお、シーン切換抽出部3で行う抽出処理は、映像コンテンツのシーン切換点を抽出することが可能であれば、様々な手法を用いて行うことが可能である。

例えば、再生装置200で再生している映像コンテンツがサッカーであった場合は、シーン切換抽出部3は、『ゴール』、『アシストゴール』、『セットプレイゴール』などのキーワードを基に、図９に示すようなシーン切換点を抽出することができる。

＜視聴者の生体情報に即したシーン切換点の特定処理例＞
次に、図１０を参照しながら、視聴者の生体情報に即したシーン切換点の特定処理例について説明する。シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。

反応分析部41は、センシング部26で該当するキーワードを検出したか否かを判定する（ステップC1）。該当するキーワードを検出した場合は（ステップC1/Yes）、そのキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。

キーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがある場合は（ステップC2/Yes）、反応分析部41は、キーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。

また、キーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがない場合は（ステップC2/No）、キーワードを検出した時間の感情の盛り上がりが閾値（α）以上か否かを判定する（ステップC4）。反応分析部41は、キーワードを検出した時間の感情の盛り上がりが閾値（α）以上である場合は（ステップC4/Yes）、キーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。

反応分析部41は、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。反応分析部41は、例えば、感情盛り上がりの傾き量が所定の値以上で、且つ、感情盛り上がりが増加している場合は、立ち上がりがあると判定する。そして、その立ち上がりの時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。

反応分析部41は、感情盛り上がりの立ち上がり直前にシーン切換点がある場合は（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。

また、反応分析部41は、感情盛り上がりの立ち上がり直前にシーン切換点がない場合は（ステップC5/No）、キーワードを検出した時間の直前にシーン切換点があるか否かを判定する（ステップC6）。例えば、反応分析部41は、キーワードを検出した時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。

キーワードを検出した時間の直前にシーン切換点がある場合は（ステップC6/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。

また、反応分析部41は、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。反応分析部41は、例えば、感情盛り上がりの傾き量が所定の値以下で、且つ、感情盛り上がりが減少している場合は、立ち下がりがあると判定する。そして、その立ち下がりの時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。

反応分析部41は、感情盛り上がりの立ち下がり直後にシーン切換点がある場合は（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。

また、反応分析部41は、感情盛り上がりの立ち下がり直後にシーン切換点がない場合は（ステップC8/No）、視聴者シーン切換検出部42は、キーワードを検出した時間の直後にシーン切換点にStopフラグを立てる（ステップC10）。

これにより、シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定することができる。

例えば、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）が図８に示す情報であり、シーン切換抽出部3で抽出したシーン切換点が図９に示す情報であると仮定する。この場合、シーン特定部4は、視聴者反応抽出部2で抽出した図８に示す視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出した図９に示すシーン切換点に対して、図１１（a）に示すようなフラグを立てることができる。

例えば、図１１（b）に示す『ゴール』のキーワードを検出した場合は（ステップC1/Yes）、その『ゴール』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『ゴール』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『ロングシュート』にStartフラグを立て、『ゴールならず』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。

また、図１１（b）に示す『アシスト』のキーワードを検出した場合は（ステップC1/Yes）、その『アシスト』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『アシスト』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり自体がないため（ステップC8/No）、視聴者シーン切換検出部42は、キーワードを検出した時間の直後にシーン切換点にStopフラグを立てる（ステップC10）。これにより、図１１（a）に示すように、『スルーパス』にStartフラグを立て、『センタリング』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。

また、図１１（b）に示す『ゴールゴール』のキーワードを検出した場合は（ステップC1/Yes）、その『ゴールゴール』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがないため（ステップC2/No）、感情の盛り上がりが閾値（α）以上か否かを判定する（ステップC4）。この場合、感情の盛り上がりが閾値（α）以上であるため（ステップC4/Yes）、『ゴールゴール』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『スルーパス』にStartフラグを立て、『リプレイ』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。

また、図１１（b）に示す『くそ』のキーワードを検出した場合は（ステップC1/Yes）、その『くそ』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『くそ』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『味方の反則』にStartフラグを立て、『押し込まれゴール』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。

なお、図１１（a）に示すようにStart,Stopのフラグを立てたシーン切換点を基に、ダイジェスト情報を生成する場合は、フラグを立てた採用回数が多いシーン切換点や、感情盛り上がりの高いシーン切換点を優先的に使用してダイジェスト情報を生成し、ダイジェスト再生を行う。例えば、図１１（a）の場合は、『スルーパス』が２回採用されおり、その後の『リプレイ』の感情盛り上がりが高いため、『スルーパス』から『リプレイ』までの間のシーンをダイジェスト情報として生成し、その生成したダイジェスト情報を再生する。これにより、視聴者の嗜好に即したシーンを含んだダイジェスト情報を再生することができる。また、早送り、巻き戻しのスキップ再生時にStartのフラグを立てたシーン切換点をスキップ先として利用することで、より効果的な再生視聴が可能となる。

なお、図１０、図１１に示す処理動作内で使用するΔt1や、Δt2は、固定である必要はなく、ジャンルに応じて任意に変更したりすることが可能である。例えば、シーンの切換が早いジャンルについては、Δt1や、Δt2を短く設定し、シーンの切換が遅いジャンルについては、Δt1や、Δt2を長く設定することも可能である。また、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）に応じてΔt1や、Δt2を動的に変更することも可能である。

また、図１０、図１１に示す処理動作では、重要シーンを確実に含めるために、ステップC5において、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定し、ステップC8において、感情盛り上がりの立ち上がり直後にシーン切換点があるか否かを判定することにした。しかし、ステップC5において、感情盛り上がりの立ち上がり直後にシーン切換点があるか否かを判定し、ステップC8において、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定することも可能である。即ち、図１０、図１１に示す処理動作で使用する直前、直後は、任意に設定変更することが可能である。

＜本実施形態の編集装置100の作用・効果＞
このように、本実施形態の編集装置100において、生体情報取得部1は映像コンテンツを視聴している時の視聴者の生体情報を取得し、視聴者反応抽出部2は、生体情報取得部1で取得した視聴者の生体情報を基に、映像コンテンツを視聴している時の視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を抽出する。また、シーン切換抽出部3は、映像コンテンツのシーン切換点を抽出する。そして、シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。これにより、視聴者の嗜好に即したシーンを特定することができる。

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであるとする。この場合、視聴者は、映像コンテンツを視聴している時に、主に、チームAに即した反応をすることになるため、視聴者反応抽出部2は、チームAに即した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を抽出することになる。その結果、シーン特定部4は、視聴者反応抽出部2で抽出したチームAに即した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中からチームAに即したシーン切換点を特定することができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した本実施形態における編集装置100を構成する各装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやROM（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー（登録商標）ディスク、CD-ROM（Compact Disc Read Only Memory）、MO（Magneto optical）ディスク、DVD（Digital Versatile Disc）、磁気ディスク、半導体メモリなどが挙げられる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。

また、本実施形態における編集装置100は、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

１００ 編集装置
２００ 再生装置
１ 生体情報取得部
１１ マイク
１２ カメラ
２ 視聴者反応抽出部
２１ 番組情報取得部
２２ ジャンル判別部
２３ ジャンル別キーワード特定部
２４ キーワードＤＢ
２５ 感情判定ＤＢ
２６ センシング部
３ シーン切換抽出部
３１ コンテンツ解析部
３２ シーン切換検出部
４ シーン特定部
４１ 反応分析部
４２ 視聴者シーン切換検出部

Claims (8)

1. コンテンツのシーンを特定する編集装置であって、
   前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得手段と、
   前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定手段と、を有することを特徴とする編集装置。
2. 前記視聴者の反応を特定するためのキーワードを管理するキーワード管理手段と、
   前記生体情報の中から前記キーワードを抽出するキーワード抽出手段と、を有し、
   前記特定手段は、前記キーワードを抽出した時刻を前記生体情報に所定の反応のあった時刻と判断し、前記時刻に該当するシーンを前記コンテンツの中から特定することを特徴とする請求項１記載の編集装置。
3. 前記視聴者の感情を特定するための感情情報を管理する感情情報管理手段と、
   前記生体情報の中から前記感情情報を抽出する感情情報抽出手段と、
   前記感情情報により特定される感情が切り替わった切替点を検出する切替点検出手段と、を有し、
   前記特定手段は、前記キーワードを抽出した時刻から所定の範囲内に前記切替点を検出している場合に、前記生体情報に所定の反応のあった時刻と判断することを特徴とする請求項２記載の編集装置。
4. 前記感情情報管理手段は、喜怒哀楽の各感情を特定するための前記感情情報を各感情に対応付けて管理し、
   前記感情情報抽出手段は、前記生体情報の中から各感情の前記感情情報を抽出し、
   前記切換点検出手段は、各感情の前記感情情報を基に、前記感情情報が最も多い前記感情が切り替わった切替点を検出することを特徴とする請求項３記載の編集装置。
5. 各感情の前記感情情報を加算して得られる感情盛り上がり値を算出する算出手段を有し、
   前記特定手段は、前記キーワードを抽出した時刻から所定の範囲内に前記切替点を検出していない場合は、前記キーワードを抽出した時刻の前記感情盛り上がり値が所定の閾値以上の場合は、前記生体情報に所定の反応のあった時刻と判断することを特徴とする請求項４記載の編集装置。
6. 前記特定手段で特定したシーンのダイジェスト情報を生成する生成手段を有し、
   前記生成手段は、前記特定手段で特定した回数の多いシーンと、前記感情盛り上がり値が所定の閾値以上のシーンと、の少なくとも一方のシーンを優先的に使用してダイジェスト情報を生成することを特徴とする請求項５記載の編集装置。
7. コンテンツのシーンを特定する編集装置で行う制御方法であって、
   前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得工程と、
   前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定工程と、を有することを特徴とする制御方法。
8. コンテンツのシーンを特定する編集装置のコンピュータに実行させるプログラムであって、
   前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得処理と、
   前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定処理と、を、前記コンピュータに実行させることを特徴とするプログラム。

Images