JP2008205861A - 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体 - Google Patents

Abstract

【課題】視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供すること。
【解決手段】感情期待値情報生成部３００は、コンテンツを視聴する際に視聴者にコンテンツの編集内容に基づいて生起すると期待される感情を示す感情期待値と、前記編集内容の存在する参照点と、を検出し、感情期待値情報を生成する。感情情報生成部２００は、コンテンツを視聴する際に視聴者に生起する感情を示す感情実測値と、その生起時間と、を検出し、感情情報を生成する。視聴質データ生成部４００は、感情期待値情報と感情情報について、時間一致性と感情一致性を判定し、これらの判定結果を統合してコンテンツの視聴質を判定し、判定結果を示す視聴質データ情報を生成する。
【選択図】図１

Description

本発明は、コンテンツを視聴者がどの程度の関心を持って視聴したかを示す視聴質を判定する技術に係り、特に、視聴者から検出される情報に基づいて視聴質を判定する視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納する記録媒体に関する。

視聴質は、放送番組などのコンテンツを視聴者がどの程度の関心を持って視聴したかを示す情報であり、コンテンツの評価指標の１つとして注目されている。コンテンツの視聴質を判定する手法として、たとえば、視聴者からアンケートをとることが従来行われているが、視聴者に負担が掛かるという問題がある。

そこで、視聴者から検出された情報に基づいて視聴質を自動で判定する技術が、たとえば特許文献１に記載されている。特許文献１記載の技術では、視聴者の視線方向や瞳孔直径、コンテンツに対する操作内容、および心拍数などの生体情報を視聴者から検出し、検出した情報に基づいて視聴質を判定する。これにより、視聴者への負担を軽減して、視聴質を判定することができる。
特開２００５−１４２９７５号公報

しかしながら、特許文献１記載の技術では、視聴者から検出される情報が、視聴者の実際のコンテンツへの関心の度合いにどの程度の影響を受けているかを判別できないため、精度良く視聴質を判定できないという問題がある。

たとえば、視聴者が電話等で他者と会話しながらコンテンツに視線を向けている場合には、実際にはコンテンツにあまり関心を持っていないにもかかわらず、関心を持って視聴していると誤って判定される恐れがある。また、たとえば、運動を行った直後に心拍数が高い状態であまり関心を持たずにコンテンツを視聴している場合に、やはり関心を持って視聴していると誤って判定される恐れがある。特許文献１記載の技術において視聴質判定の精度を高めるためには、視聴中の電話を禁止するなど、コンテンツへの関心の度合い以外の要素による影響を最小限に抑えるための制約を視聴者に課さなくてはならず、視聴者に負担が掛かる。

本発明は、かかる点に鑑みてなされたものであり、視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体を提供することを目的とする。

本発明の視聴質判定装置は、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報を取得する感情期待値情報取得部と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報を取得する感情情報取得部と、前記感情期待値情報と前記感情情報との比較により、前記コンテンツの視聴質を判定する視聴質判定部とを具備する構成を採る。

本発明の視聴質判定方法は、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する情報取得ステップと、前記感情期待値情報と前記感情情報とを比較する情報比較ステップと、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する視聴質判定ステップとを有するようにした。

本発明によれば、視聴者から検出される感情情報と、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報とを比較するので、感情情報のうち実際のコンテンツへの関心の度合いに影響を受けているものといないものを区別でき、精度良く視聴質を判定することができる。また、コンテンツへの関心の度合い以外の要素による影響を抑えるための制約を視聴者に課す必要が無いため、視聴者に特に負担を掛けることなく、上記視聴質判定を実現できる。

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る視聴質情報判定装置を含む視聴質データ生成装置の構成を示すブロック図である。以下、視聴質情報の判定の対象が、映画やドラマなど、音声付きの映像コンテンツである場合について説明する。

図１において、視聴質データ生成装置１００は、感情情報生成部２００、感情期待値情報生成部３００、視聴質データ生成部４００、および視聴質データ格納部５００を有する。

感情情報生成部２００は、視聴質判定の対象となる視聴者に生起した感情を示す感情情報を、視聴者の生体情報から生成する。ここで、感情とは、喜怒哀楽といった情動のみならず、リラックスなどの気分をも含む精神状態全般を指し、感情の生起とは、ある精神状態から異なる精神状態へと遷移することを含むものとする。感情情報生成部２００は、センシング部２１０および感情情報取得部２２０を有する。

センシング部２１０は、センサやディジタルカメラなどの検出装置（図示せず）に接続され、たとえば、視聴者の心拍数、脈拍、体温、顔の筋電変化、音声など、視聴者の生体情報を検出（センシング）する。

感情情報取得部２２０は、センシング部２１０で得られた視聴者の生体情報から、視聴者に生起した感情を示す感情実測値を求め、感情実測値とそれぞれの感情が生起した時間（以下「感情生起時間」という）とを含む感情情報を生成する。

感情期待値情報生成部３００は、映像コンテンツを視聴する際に視聴する視聴者に生起すると期待される感情を示す感情期待値情報を、映像コンテンツの編集内容から生成する。感情期待値情報生成部３００は、映像取得部３１０、映像操作／属性情報取得部３２０、参照点感情期待値算出部３３０、および参照点感情期待値変換テーブル３４０を有する。

映像取得部３１０は、視聴者が視聴する映像コンテンツを取得する。具体的には、映像取得部３１０は、たとえば、地上波放送や衛星放送の受信データや、ＤＶＤやハードディスクなどの記憶媒体、インターネット上の映像配信サーバから、映像コンテンツのデータを取得する。

映像操作／属性情報取得部３２０は、映像コンテンツの番組属性情報や番組操作情報を含む映像操作／属性情報を取得する。具体的には、映像操作／属性情報取得部３２０は、たとえば、映像コンテンツの再生を操作するリモートコントローラの操作履歴から、映像操作情報を取得する。また、映像操作／属性情報取得部３２０は、再生される映像コンテンツに付加された情報や、映像コンテンツ制作側の情報サーバから、映像コンテンツの属性情報を取得する。

参照点感情期待値算出部３３０は、映像コンテンツから参照点を検出する。また、参照点感情期待値算出部３３０は、参照点感情期待値変換テーブル３４０を用いて、検出した参照点に対応する感情期待値を算出し、感情期待値と各参照点の時間とを含む感情期待値情報を生成する。ここで、参照点とは、映像コンテンツにおいて、視聴者に心理的あるいは感情的影響を与える映像編集が存在する箇所または区間であり、感情期待値とは、視聴者が映像コンテンツを視聴する際に上記映像編集の内容に基づいて各参照点で視聴者に生起すると期待される感情を示すパラメータである。

参照点感情期待値変換テーブル３４０は、音楽（ＢＧＭ：background music）、効果音、映像ショット、カメラワークごとに、それぞれの内容と感情期待値とをあらかじめ対応付けて記述する。

視聴質データ生成部４００は、感情情報と感情期待値情報とを比較し、視聴者が前記コンテンツをどの程度関心を持って視聴したかを判定して、判定結果を示す視聴質データ情報を生成する。視聴質データ生成部４００は、時間一致性判定部４１０、感情一致性判定部４２０、および統合判定部４３０を有する。

時間一致性判定部４１０は、感情情報と感情期待値情報とで感情が生起するタイミングが同期する時間一致性の有無を判定し、判定結果を示す時間一致性判定情報を生成する。

感情一致性判定部４２０は、感情情報と感情期待値情報とで感情が類似する感情一致性の有無を判定し、判定結果を示す感情一致性判定情報を生成する。

統合判定部４３０は、時間一致性判定情報と感情一致性判定情報とを統合して、視聴者がどの程度関心を持って映像コンテンツを見ているかを判定し、判定結果を示す視聴質データ情報を生成する。

視聴質データ格納部５００は、生成された視聴質データ情報を格納して保持する。

視聴質データ生成装置１００は、たとえば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどで実現できる。この場合、ＣＰＵが制御プログラムを実行することで、上記各部の機能は実現される。

視聴質データ生成装置１００の動作説明の前に、まず、視聴質データ生成装置１００における感情の定義に用いられる感情モデルと、参照点感情期待値変換テーブル３４０の内容について説明する。

図２は、視聴質データ生成装置１００において用いられる２次元感情モデルの一例を示す説明図である。図２に示す２次元感情モデル６００は、ＬＡＮＧ感情モデルと呼ばれ、快と不快の度合いである快度を示す横軸と、興奮または緊張とリラックスの度合いである覚醒度を示す縦軸の２軸により形成される。２次元感情モデル６００の２次元空間は、縦軸と横軸との関係から、「興奮（Excited）」、「沈静（Relaxed）」、「哀しみ（Sad）」など、感情種別ごとに領域が定義されている。２次元感情モデル６００を用いることにより、縦軸の値と横軸の値との組合せで、感情を簡単に表現することができる。上記した感情期待値および感情実測値は、この２次元感情モデル６００における座標値であり、間接的に感情を表現する。

ここでは、たとえば、座標値（４，５）は「興奮」という感情種別の領域内に位置し、座標値（−４，−２）は「哀しみ」という感情種別の領域内に位置している。したがって、座標値（４，５）の感情期待値および感情実測値は「興奮」という感情を示し、座標値（−４，−２）の感情期待値および感情実測値は「哀しみ」という感情種別を示す。２次元感情モデル６００において、感情期待値と感情実測値との距離が短い場合、それぞれが示す感情は類似したものであるといえる。

なお、感情モデルとして、２次元以上の空間やＬＡＮＧ感情モデル以外のモデルを用いてもよい。たとえば、３次元感情モデル（快／不快、興奮／沈静、緊張／弛緩）や、６次元感情モデル（怒り、恐れ、哀しみ、喜び、嫌悪、驚き）を用いる。このようなより高次元の感情モデルを用いた場合には、感情種別をより細分化して表現することができる。

次に、参照点感情期待値変換テーブル３４０について説明する。参照点感情期待値変換テーブル３４０は、映像コンテンツの映像編集の種別ごとに用意された複数の変換テーブルと、これら複数の変換テーブルを管理するための参照点種別情報管理テーブルとを含む。

図３は、各変換テーブルの構成の一例を示す説明図である。

図３Ａに示す変換テーブル３４１ａは、映像コンテンツに含まれるＢＧＭの内容と感情期待値とを対応付けており、「Ｔａｂｌｅ＿ＢＧＭ」というテーブル名が付けられている。ＢＧＭの内容は、調性、テンポ、ピッチ、リズム、和声、および旋律のパラメータの組み合わせで表現され、組合せごとに、感情期待値が対応付けられている。

図３Ｂに示す変換テーブル３４１ｂは、映像コンテンツに含まれる効果音の内容を示すパラメータと感情期待値とを対応付けており、「Ｔａｂｌｅ＿ＥＳｏｕｎｄ」というテーブル名が付けられている。

図３Ｃに示す変換テーブル３４１ｃは、映像コンテンツに含まれる映像ショットの内容を示すパラメータと感情期待値とを対応付けており、「Ｔａｂｌｅ＿Ｓｈｏｔ」というテーブル名が付けられている。

図３Ｄに示す変換テーブル３４１ｄは、映像コンテンツに含まれるカメラワークの内容を示すパラメータと感情期待値とを対応付けており、「Ｔａｂｌｅ＿ＣａｍｅｒａＷｏｒｋ」というテーブル名が付けられている。

たとえば、変換テーブル３４１ｂでは、「歓声音」という効果音の内容に対して、感情期待値「（４，５）」が対応付けられており、この感情期待値「（４，５）」は、上記したように感情種別「興奮」を示す。これは、映像コンテンツを視聴する際に関心を持って視聴している状態であれば、通常、歓声音が挿入された箇所で視聴者は興奮するということを意味する。また、変換テーブル３４１ａでは、「調整：短調、テンポ：遅い、ピッチ：低い、リズム：固定、和声：複雑」というＢＧＭの内容に対して、感情期待値「（−４，−２）」が対応付けられており、この感情期待値「（−４，−２）」は、上記したように感情種別「悲しみ」を示す。これは、映像コンテンツを視聴する際に関心を持って視聴している状態であれば、通常、上記内容のＢＧＭが挿入された箇所で視聴者は哀しい気分になるということを意味する。

図４は、参照点種別情報管理テーブルの一例を示す説明図である。図４に示す参照点種別情報管理テーブル３４２は、映像コンテンツから取得される参照点の種別を示す参照点種別情報に、図３に示す各変換テーブル３４１のテーブル名を、それぞれテーブル種別ナンバー（No.）を付した状態で対応付けている。これは、参照点がどの種別のときに、どの変換テーブル３４１を参照すべきかを示している。

たとえば、「ＢＧＭ」という参照点種別情報には、「Ｔａｂｌｅ＿ＢＧＭ」というテーブル名が対応付けられている。これは、取得した参照点の種別が「ＢＧＭ」であった場合には、図３Ａに示すテーブル名「Ｔａｂｌｅ＿ＢＧＭ」の変換テーブル３４１ａを参照することを指定するものである。

以下、上記構成を有する視聴質データ生成装置１００の動作について説明する。

図５は、視聴質データ生成装置における視聴質データ生成処理の全体的な流れの一例を示すフローチャートである。まず、視聴者から必要な生体情報を検出するためのセンサやディジタルカメラのセッティングなどが行われ、セッティングが完了すると、視聴質データ生成処理が開始される。

まず、ステップＳ１０００で、センシング部２１０は、映像コンテンツ視聴時の視聴者の生体情報をセンシングし、取得した生体情報を感情情報取得部２２０に出力する。センシング部２１０は、生体情報として、たとえば、脳波、皮膚電気抵抗値、皮膚コンダクタンス、皮膚温度、心電図周波数、心拍数、脈拍、体温、筋電、顔画像、音声などを検出する。

次いで、ステップＳ１１００で、感情情報取得部２２０は、たとえば１秒など所定の時間間隔ごとに生体情報を解析し、視聴者の映像コンテンツ視聴時の感情を示す感情情報を生成して視聴質データ生成部４００に出力する。人間の生理的信号は、人間の感情の変化に応じて変化することが知られている。感情情報取得部２２０は、この感情の変化と生理的信号の変化との関係を用いて、生体情報から感情実測値を取得する。

たとえば、人間は、よりリラックスした状態にあるほど、アルファ（α）波成分の割合が大きくなることが知られている。また、驚きや恐怖、心配によって皮膚電気抵抗値が上昇することや、喜びの感情が大きく生起すると皮膚温度や心電図周波数が上がること、心理的・精神的に安定している場合には心拍数や脈拍はゆっくりとした変化を示すことなどが知られている。また、上記した生理的指標以外にも、喜怒哀楽などの感情に応じて、泣く、笑う、怒るなど、表情や音声の種類が変化することが知られている。さらに、落ち込んでいるときには声が小さくなり、怒ったり喜んだりしているときには声が大きくなる傾向があることも知られている。

したがって、皮膚電気抵抗値、皮膚温度、心電図周波数、心拍数、脈拍、音声レベルを検出したり、脳波から脳波のα波成分の割合を解析したり、顔の筋電変化や画像から表情認識を行ったり、音声認識を行うなどして生体情報を取得し、生体情報から感情を解析することが可能である。

具体的には、たとえば、上記各生体情報の値を図２に示す２次元感情モデル６００の座標値に変換するための変換テーブルや変換式を、感情情報取得部２２０にあらかじめ用意する。そして、感情情報取得部２２０は、センシング部２１０から入力された生体情報を、変換テーブルや変換式を用いて２次元感情モデル６００の２次元空間にマッピングし、該当する座標値を感情実測値として取得する。

たとえば、皮膚コンダクタンス信号（skin conductance）は、覚醒度に応じて増加し、筋電信号（electromyography：EMG）は、快度に応じて変化する。したがって、視聴者の視聴コンテンツに対する好ましさの程度に対応付けて、あらかじめ皮膚コンダクタンスを測定しておくことにより、２次元感情モデル６００において、皮膚コンダクタンス信号の値を覚醒度を示す縦軸に、筋電信号の値を快度を示す横軸に、それぞれ対応付けることができる。この対応付けをあらかじめ用意しておき、皮膚コンダクタンス信号と筋電信号とを検出することにより、簡単に感情実測値を取得できる。生体情報を感情モデル空間にマッピングする具体的手法は、たとえば、“Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ ａｎｄ Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ”（Ａｒｔｕｒｏ Ｎａｋａｓｏｎｅ，Ｈｅｌｍｕｔ Ｐｒｅｎｄｉｎｇｅｒ，Ｍｉｔｓｕｒｕ Ｉｓｈｉｚｕｋａ，Ｔｈｅ Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｂｉｏｓｉｇｎａｌ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ，ＢＳＩ−０５，Ｔｏｋｙｏ，Ｊａｐａｎ，２００５，ｐｐ.２１９−２２２）に記載されているため、ここでの説明を省略する。

図６は、感情情報取得部２２０から出力される感情情報の構成の一例を示す説明図である。感情情報６１０は、感情情報ナンバー、感情生起時間［秒］、および感情実測値を含む。感情生起時間は、対応する感情実測値が示す種別の感情が生起した時間を、基準時刻からの経過時間で示す。基準時刻は、たとえば映像開始時間である。この場合には、たとえば映像コンテンツの絶対時間であるタイムコードを用いて、感情生起時間を取得することができる。なお、基準時刻は、たとえば、視聴を行う場所の標準時で表され、感情情報６１０に付加される。

ここでは、たとえば、「１３秒」という感情生起時間に、「（−４，−２）」という感情実測値が対応付けられている。これは、感情情報取得部２２０が、基準時刻から１３秒後に得られた視聴者の生体情報から感情実測値「（−４，−２）」を取得したこと、つまり、基準時刻から１３秒後に視聴者に「哀しみ」の感情が生起したことを示す。

ただし、感情情報取得部２２０は、感情モデルにおいて感情種別が変化する場合の情報のみを、感情情報として出力するようにしてもよい。この場合には、たとえば、感情情報ナンバー「００２」、「００３」の情報は、感情情報ナンバー「００１」の情報と同じ感情種別に対応するため、出力されない。

次に、ステップＳ１２００で、映像取得部３１０は、視聴者が視聴する映像コンテンツを取得し、参照点感情期待値算出部３３０に出力する。視聴者が視聴する映像コンテンツは、たとえば、地上波放送や衛星放送などの映像番組や、ＤＶＤやハードディスクなどの記憶媒体に蓄積された映像データ、インターネットからダウンロードされる映像ストリーム等である。映像取得部３１０は、視聴者に対して再生される映像コンテンツのデータを直接に取得してもよく、視聴者に対して再生される映像と同一の映像内容の別のデータを取得してもよい。

ステップＳ１３００で、映像操作／属性情報取得部３２０は、映像コンテンツに対する映像操作情報や、映像コンテンツの属性情報を取得し、取得した情報から映像操作／属性情報を生成して、参照点感情期待値算出部３３０に出力する。映像操作情報は、視聴者がリモートコントローラなどのインタフェースを用いて、どのチャンネルからどのチャンネルへいつ変更したか、あるいは映像の再生や停止をいつ行ったかなど、視聴者による操作の内容および各操作の時間を示す情報である。属性情報は、視聴者が視聴する映像コンテンツのＩＤ（identifier）番号、放送チャンネル、ジャンルなど、処理の対象を識別するための映像コンテンツの属性を示す情報である。

図７は、映像操作／属性情報取得部３２０から出力される映像操作／属性情報の構成の一例を示す説明図である。図７に示すように、映像操作／属性情報６２０は、インデックスナンバー（Index No.）、ユーザＩＤ、コンテンツＩＤ、コンテンツ名、ジャンル、視聴開始時相対時間［秒］、および視聴開始時絶対時間［年月日時分秒］を含む。視聴開始時相対時間は、映像コンテンツの開始時間からの経過時間を示す。視聴開始時絶対時間は、映像コンテンツの開始時間を、たとえば視聴を行う場所の標準時で表す。

図７に示す映像操作／属性情報６２０では、たとえば、「ハリービーター」というコンテンツ名には、「Ｎｕｌｌ」という視聴開始時相対時間が対応付けられている。これは、該当する映像コンテンツが、たとえば生放送の映像番組であり、映像開始時間から視聴開始までの経過時間（視聴開始時相対時間）が０秒であることを示す。この場合、視聴質判定の対象となる映像区間は、放送中の映像と同期する。一方、「羅塾門」というコンテンツ名には、「２０秒」という視聴開始時相対時間が対応付けられている。これは、該当する映像コンテンツが、たとえば、録画した映像データであり、映像開始時間から２０秒後に視聴が開始されたことを示す。

図２のステップＳ１４００で、参照点感情期待値算出部３３０は、映像コンテンツおよび映像操作／属性情報から各参照点の時間と感情期待値を算出する参照点感情期待値情報算出処理を実行する。

図８は、参照点感情期待値算出部３３０による参照点感情期待値情報算出処理の流れの一例を示すフローチャートであり、図５のステップＳ１４００に対応するものである。参照点感情期待値算出部３３０は、映像コンテンツを単位時間Ｓごとに分割した映像部分を１つずつ取得し、映像部分を１つ取得するごとに参照点感情期待値情報算出処理を実行する。以下、添え字のパラメータｉは、ある映像部分で検出した参照点の番号を示し、初期値をｉ＝０とする。

まず、ステップＳ１４１０で、参照点感情期待値算出部３３０は、映像部分から、参照点Ｖｐ_ｉを検出し、検出した参照点Ｖｐ_ｉにおける映像編集の種別である参照点種別Ｔｙｐｅ_ｉと、その参照点種別Ｔｙｐｅ_ｉの映像パラメータＰ_ｉと、を抽出する。

参照点種別Ｔｙｐｅとして、ここでは、「ＢＧＭ」、「効果音」、「映像ショット」、および「カメラワーク」が、あらかじめ定められているものとする。図３に示す変換テーブルは、これらの参照点種別Ｔｙｐｅに対応して用意されており、図４に示す参照点種別情報管理テーブル３４２に記述される参照点種別情報は、参照点種別Ｔｙｐｅに対応している。

映像パラメータＰ_ｉは、それぞれの映像編集の内容を示すパラメータとしてあらかじめ定められたものであり、図３に示す各変換テーブル３４１に記述される各パラメータは、映像パラメータＰ_ｉに対応している。たとえば、参照点種別Ｔｙｐｅが「ＢＧＭ」の場合、参照点感情期待値算出部３３０は、調性、テンポ、ピッチ、リズム、和声、および旋律の映像パラメータＰ_ｉを抽出する。このため、参照点種別情報管理テーブル３４２で参照点種別情報「ＢＧＭ」に対応付けられている図３Ａに示す変換テーブル３４１ａには、調性、テンポ、ピッチ、リズム、和声、および旋律のパラメータが記述されている。

参照点種別Ｔｙｐｅが「ＢＧＭ」の参照点Ｖｐの検出の具体的手法については、たとえば「複数の音符列から構成される音楽データを対象とした印象メタデータ抽出方式」（石橋直樹等、日本データベース学会Ｌｅｔｔｅｒｓ、Ｖｏｌ.２，Ｎｏ.２）に記載されているので、ここでの説明を省略する。

また、参照点種別Ｔｙｐｅが「効果音」の参照点Ｖｐの検出の具体的手法については、たとえば「映画における音楽、効果音（ＳＥ）の印象評価」（濱村正治等、信学技報、２０００−０３）に記載されているので、ここでの説明を省略する。

また、参照点種別Ｔｙｐｅが「映像ショット」の参照点Ｖｐの検出の具体的手法については、たとえば「ショット長遷移による演出を利用した映像の編集」（竹本楽・吉高淳夫・平嶋宗、ヒューマン情報処理研究会、２００６−１−１９〜２０）に記載されているので、ここでの説明を省略する。

また、参照点種別Ｔｙｐｅが「カメラワーク」の参照点Ｖｐの検出の具体的手法については、たとえば特許文献特開２００３−６１１１２号公報（カメラワーク検出装置およびカメラワーク検出方法）、および「カメラワークを利用した演出効果の抽出」（松井亮治・吉高淳夫・平嶋宗、信学技報、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ｏｆ ＩＥＩＣＥ，ＰＲＭＵ２００４−１６７，２００５−０１）に記載されているので、ここでの説明を省略する。

次いで、ステップＳ１４２０で、参照点感情期待値算出部３３０は、映像開始時間からの相対時間における参照点Ｖｐ_ｉの開始時間（以下「参照点相対開始時間」という）Ｔ_ｉ−ＳＴおよび終了時間（以下「参照点相対終了時間」という）Ｔ_ｉ−ＥＮを取得する。

次いで、ステップＳ１４３０で、参照点感情期待値算出部３３０は、参照点種別情報管理テーブル３４２を参照し、参照点種別Ｔｙｐｅ_ｉに対応する変換テーブル３４１を特定し、特定した変換テーブル３４１を取得する。たとえば、参照点種別Ｔｙｐｅ_ｉが「ＢＧＭ」の場合には、図３Ａに示す変換テーブル３４１ａが取得される。

次いで、ステップＳ１４４０で、参照点感情期待値算出部３３０は、映像パラメータＰ_ｉと取得した変換テーブル３４１に記述されたパラメータとのマッチングを行い、映像パラメータＰ_ｉと一致するパラメータを検索する。一致するパラメータが存在した場合には（Ｓ１４４０：ＹＥＳ）、ステップＳ１４５０に進み、一致するパラメータが存在しない場合には（Ｓ１４４０：ＮＯ）、ステップＳ１４５０を経ずに、次のステップＳ１４６０に進む。

ステップＳ１４５０で、参照点感情期待値算出部３３０は、映像パラメータＰ_ｉと一致するパラメータに対応する感情期待値ｅ_ｉを取得し、ステップＳ１４６０に進む。たとえば、参照点種別Ｔｙｐｅ_ｉが「ＢＧＭ」であり、映像パラメータＰ_ｉが「調整：短調、テンポ：遅い、ピッチ：低い、リズム：固定、和声：複雑」であった場合には、図３Ａに示す「Ｍ＿００２」というインデックスナンバーの各パラメータが一致する。したがって、対応する感情期待値として、「（−４，−２）」が取得される。

ステップＳ１４６０で、参照点感情期待値算出部３３０は、映像部分に他の参照点Ｖｐが存在するか否かを判別し、存在する場合には（Ｓ１４６０：ＹＥＳ）、ステップＳ１４７０でパラメータｉの値を１つ増加させ、ステップＳ１４２０へ戻って、次の参照点Ｖｐ_ｉに対する解析を行う。映像部分の全ての参照点Ｖｐ_ｉに対する解析が終了した場合（Ｓ１４６０：ＮＯ）、参照点感情期待値算出部３３０は、各参照点の参照点相対開始時間Ｔ_ｉ−ＳＴおよび参照点相対終了時間Ｔ_ｉ−ＥＮと、参照した変換テーブルのテーブル名と、感情期待値ｅ_ｉとを対応付けた感情期待値情報を生成し、図１に示す時間一致性判定部４１０および感情一致性判定部４２０のそれぞれに出力して（ステップＳ１４８０）、一連の処理を終了する。そして、図２のステップＳ１５００、Ｓ１６００に進む。

なお、ステップＳ１４４０でのパラメータのマッチングは、たとえば、最も類似するパラメータを一致するパラメータと判断し、ステップＳ１４５０に進むようにしてもよい。

図９は、参照点感情期待値算出部３３０が出力する感情期待値情報の構成の一例を示す説明図である。図９に示すように、感情期待値情報６３０は、ユーザＩＤ、操作情報インデックスナンバー、参照点相対開始時間［秒］、参照点相対終了時間［秒］、参照点感情期待値変換テーブル名、参照点インデックスナンバー、参照点感情期待値、参照点開始絶対時間［年月日時分秒］、および参照点終了絶対時間［年月日時分秒］を含む。参照点開始絶対時間および参照点終了絶対時間は、参照点相対開始時間および参照点相対終了時間を、たとえば視聴を行う場所の標準時で表したものである。参照点感情期待値算出部３３０は、参照点開始絶対時間および参照点終了絶対時間を、たとえば、図７に示す映像操作／属性情報６２０の視聴開始時相対時間および視聴開始時絶対時間から求める。

なお、図８に示す参照点感情期待値情報算出処理において、映像部分の開始位置から終了位置へと小刻みに仮の参照点を設定し、感情種別が変化する箇所を特定し、該当箇所を視聴者に感情の変化を与えることが期待される映像編集（以下単に「映像編集」という）が存在する箇所と判断し、参照点Ｖｐ_ｉとして扱うようにしてもよい。

具体的には、たとえば、映像部分の開始部分を仮の参照点に設定し、ＢＧＭ、効果音、映像ショット、およびカメラワークの内容を解析し、図３に示す各変換テーブル３４１に記述されたパラメータで該当するものを検索して、該当するパラメータが存在した場合には対応する感情期待値を取得する。このような解析と検索とを、映像部分の終了部分へ向かって小刻みに繰り返し行う。

そして、２つめ以降の感情期待値が取得されるごとに、直前に取得された感情期待値と、新たに取得された感情期待値との間で、２次元感情モデルで対応する感情種別が変化したか否か、つまり映像編集が存在するか否かを判別する。感情種別が変化した場合には、感情期待値が取得された参照点を参照点Ｖｐ_ｉとして検出し、感情種別の変化の元となる映像部分の構成要素の種別を種別Ｔｙｐｅ_ｉとして検出する。

なお、１つ前の他の映像部分で既に参照点の解析を行っている場合には、その解析結果を用いて、１つ目の感情期待値が取得された時点で感情種別の変化の有無を判別してもよい。

このようにして、視聴質データ生成部４００に感情情報と感情期待値情報が入力されると、処理は図５のステップＳ１５００およびステップＳ１６００に進む。

まず、図５のステップＳ１５００について説明する。図５のステップＳ１５００で、時間一致性判定部４１０は、感情情報と感情期待値情報との時間一致性の有無を判定する時間一致性判定処理を実行する。

図１０は、時間一致性判定部４１０による時間一致性判定処理の流れの一例を示すフローチャートであり、図５のステップＳ１５００に対応するものである。時間一致性判定部４１０は、映像コンテンツの単位時間Ｓごとの映像部分のそれぞれについて、以下に説明する一致性判定処理を実行する。

まず、ステップＳ１５１０で、時間一致性判定部４１０は、単位時間Ｓの映像部分に対応する感情期待値情報を取得する。ここで、該当する参照点が複数存在する場合には、それぞれに対応する感情期待値情報を取得する。

図１１は、１つの単位時間に複数の参照点が複数存在する様子を示す説明図である。ここでは、単位時間Ｓの映像部分において、時間Ｔ_１を開始時間とする参照点種別Ｔｙｐｅ_１「ＢＧＭ」の参照点Ｖｐ_１と、時間Ｔ_２を開始時間とする参照点種別Ｔｙｐｅ_２「映像ショット」の参照点Ｖｐ_２が検出され、それぞれに対応して感情期待値ｅ_１、ｅ_２が取得された場合を示している。

図１０のステップＳ１５２０で、時間一致性判定部４１０は、感情期待値情報から、単位時間Ｓの映像部分を代表する参照点の参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}を算出する。具体的には、時間一致性判定部４１０は、感情種別が変化する参照点を代表的な参照点とし、その参照点相対開始時間を、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}として算出する。

ここで、時間一致性判定部４１０は、映像コンテンツがリアルタイム放送映像の場合は、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}＝参照点開始絶対時間とし、映像コンテンツが録画映像の場合は、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}＝参照点相対開始時間とする。図１１に示すように、感情種別が変化する参照点Ｖｐが複数存在する場合には、最も早い時間、つまり最初に感情種別が変化する時間を、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}に決定する。

次いで、ステップＳ１５３０で、時間一致性判定部４１０は、単位時間Ｓの映像部分に対応する感情情報を特定し、特定した感情情報から、単位時間Ｓの映像部分で感情種別が変化する時間を、感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}として取得する。該当する感情生起時間が複数存在する場合には、たとえば、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と同様に、最も早い時間を取得すればよい。このとき、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}が同一の時刻系で表現されるようにする。

具体的には、たとえば、時間一致性判定部４１０は、リアルタイム放送による映像コンテンツの場合、視聴開始時絶対時間に参照点相対開始時間を加算した時間を、参照点絶対開始時間と置く。一方、蓄積された映像コンテンツの場合には、時間一致性判定部４１０は、視聴開始時絶対時間から視聴開始時相対時間を差し引いた時間に参照点相対開始時間を加えた時間を、参照点絶対開始時間と置く。

たとえば、リアルタイム放送による映像コンテンツで、参照点相対開始時間が「２０秒」、視聴開始時絶対時間が「２００６０９０１：１９：１０：１０」の場合、参照点絶対開始時間は、「２００６０９０１：１９：１０：３０」となる。また、たとえば、蓄積された映像コンテンツで、参照点相対開始時間が「２０秒」、視聴開始時相対時間が「１０秒」、視聴開始時絶対時間が「２００６０９０１：１９：１０：１０」の場合、参照点絶対開始時間は、「２００６０９０１：１９：１０：２０」となる。

一方、視聴者から計測した感情生起時間については、時間一致性判定部４１０は、たとえば、感情情報６１０に記述された値を基準時刻に加算し、絶対時間での表現に置き換える。

次いで、ステップＳ１５４０で、時間一致性判定部４１０は、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}との時間差を算出し、これら２つの時間の一致性から、単位時間Ｓの映像部分における時間一致性の有無を判定する。具体的には、時間一致性判定部４１０は、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}との差の絶対値があらかじめ定めた閾値Ｔ_ｄ以下であるか否かを判別し、差の絶対値が閾値Ｔ_ｄ以下の場合（Ｓ１５４０：ＹＥＳ）、ステップＳ１５５０に進み、差の絶対値が閾値Ｔ_ｄを超える場合（Ｓ１５４０：ＮＯ）、ステップＳ１５６０に進む。

ステップＳ１５５０で、時間一致性判定部４１０は、単位時間Ｓの映像部分において時間一致性が有ると判断し、時間一致性の有無を示す時間一致性判定情報ＲＴに値「１」を設定する。つまり、時間一致性の判定結果として時間一致性判定情報ＲＴ＝１を取得する。そして、時間一致性判定部４１０は、時間一致性判定情報ＲＴと、この時間一致性判定情報ＲＴの取得に用いられた感情期待値情報および感情情報とを、統合判定部４３０に出力し、図５のステップＳ１７００に進む。

一方、ステップＳ１５６０では、時間一致性判定部４１０は、単位時間Ｓの映像部分において時間一致性が無いと判断し、時間一致性判の有無を示す時間一致性判定情報ＲＴに値「０」を設定する。つまり、時間一致性の判定結果として時間一致性判定情報ＲＴ＝０を取得する。そして、時間一致性判定部４１０は、時間一致性判定情報ＲＴと、この時間一致性判定情報ＲＴの取得に用いられた感情期待値情報および感情情報とを、統合判定部４３０に出力し、図５のステップＳ１７００に進む。

上記ステップＳ１５４０〜Ｓ１５６０の処理は、たとえば、以下の式（１）を用いることができる。

次に、図５のステップＳ１６００について説明する。図５のステップＳ１６００で、感情一致性判定部４２０は、感情情報と感情期待値情報との感情一致性の有無を判定する感情一致性判定処理を実行する。

図１２は、感情一致性判定部４２０による感情一致性判定処理の流れの一例を示すフローチャートである。感情一致性判定部４２０は、映像コンテンツの単位時間Ｓごとの映像部分のそれぞれについて、以下に説明する感情一致性判定処理を実行する。

ステップＳ１６１０で、感情一致性判定部４２０は、単位時間Ｓの映像部分に対応する感情期待値情報を取得する。ここで、該当する参照点が複数存在する場合には、それぞれに対応する感情期待値情報を取得する。

次いで、ステップＳ１６２０で、感情一致性判定部４２０は、感情期待値情報から、単位時間Ｓの映像部分を代表する感情期待値Ｅ_ｅｘｐを算出する。図１１に示すように、複数の感情期待値ｅ_ｉが存在する場合には、感情一致性判定部４２０は、あらかじめ参照点種別Ｔｙｐｅごとに定めた重みｗをそれぞれの感情期待値ｅ_ｉに乗じることにより、各感情期待値ｅ_ｉを合成する。それぞれの感情期待値ｅ_ｉに対応する参照点種別Ｔｙｐｅの重みをｗ_ｉ、感情期待値ｅ_ｉの総数をＮとすると、感情一致性判定部４２０は、たとえば以下の式（２）を用いて感情期待値Ｅ_ｅｘｐを決定する。

ただし、それぞれの感情期待値ｅ_ｉに対応する参照点種別Ｔｙｐｅの重みｗ_ｉは、以下の式（３）を満たすように設定される。

または、感情一致性判定部４２０は、参照点種別Ｔｙｐｅごとにあらかじめ固定値で設定された重みｗを用いて、以下の式（４）により感情期待値Ｅ_ｅｘｐを決定してもよい。この場合には、それぞれの感情期待値ｅ_ｉに対応する参照点種別Ｔｙｐｅの重みｗ_ｉは、式（３）を満たさなくてもよい。

たとえば、図１１に示す例で、時間Ｔ_１を開始時間とする参照点種別Ｔｙｐｅ_１「ＢＧＭ」の参照点Ｖｐ_１と、時間Ｔ_２を開始時間とする参照点種別Ｔｙｐｅ_２「映像ショット」の参照点Ｖｐ_２に対して、それぞれ感情期待値ｅ_１、ｅ_２が取得されたとする。また、参照点種別Ｔｙｐｅ「ＢＧＭ」、「映像ショット」には、相対的に７：３となる重み付けが設定されたとする。この場合、感情期待値Ｅ_ｅｘｐは、たとえば、以下の式（５）のように算出される。

次いで、ステップＳ１６３０で、感情一致性判定部４２０は、単位時間Ｓの映像部分に対応する感情情報を特定し、特定した感情情報から、単位時間Ｓの映像部分の感情実測値Ｅ_ｕｓｅｒを取得する。該当する感情実測値が複数存在する場合には、たとえば、感情期待値Ｅ_ｅｘｐと同様に、複数の感情実測値を合成すればよい。

次いで、ステップＳ１６４０で、感情一致性判定部４２０は、感情期待値Ｅ_ｅｘｐと感情実測値Ｅ_ｕｓｅｒとの差分を算出し、これら２つの値の一致性から、単位時間Ｓの映像部分における感情一致性の有無を判定する。具体的には、感情期待値Ｅ_ｅｘｐと感情実測値Ｅ_ｕｓｅｒとの差分の絶対値が、あらかじめ定めた２次元感情モデル６００の２次元空間における距離の閾値Ｅ_ｄ以下であるか否かを判別し、差分の絶対値が閾値Ｅ_ｄ以下の場合（Ｓ１６４０：ＹＥＳ）、ステップＳ１６５０に進み、差分の絶対値が閾値Ｅ_ｄを超える場合（Ｓ１６４０：ＮＯ）、ステップＳ１６６０に進む。

ステップＳ１６５０で、感情一致性判定部４２０は、単位時間Ｓの映像部分において感情一致性が有ると判断し、感情一致性判の有無を示す感情一致性判定情報ＲＥに値「１」を設定する。つまり、感情一致性の判定結果として感情一致性判定情報ＲＥ＝１を取得する。そして、感情一致性判定部４２０は、感情一致性判定情報ＲＥと、この感情一致性判定情報ＲＥの取得に用いられた感情期待値情報および感情情報とを、統合判定部４３０に出力し、図５のステップＳ１７００に進む。

一方、ステップＳ１６６０では、感情一致性判定部４２０は、単位時間Ｓの映像部分において感情一致性が無いと判断し、感情一致性判の有無を示す感情一致性判定情報ＲＥに値「０」を設定する。つまり、感情一致性の判定結果として感情一致性判定情報ＲＥ＝０を取得する。そして、感情一致性判定部４２０は、感情一致性判定情報ＲＥと、この感情一致性判定情報ＲＥの取得に用いられた感情期待値情報および感情情報とを、統合判定部４３０に出力し、図５のステップＳ１７００に進む。

上記ステップＳ１６４０〜Ｓ１６６０の処理は、たとえば、以下の式（６）を用いることができる。

このようにして、統合判定部４３０には、映像コンテンツを単位時間Ｓで分割した映像部分ごとに、感情期待値情報および感情情報と、時間一致性判定情報ＲＴおよび感情一致性判定情報ＲＥとが入力される。統合判定部４３０は、入力されるこれらの情報を、視聴質データ格納部５００に格納する。

時間一致性判定情報ＲＴと感情一致性判定情報ＲＥは、それぞれ値「１」と「０」を取り得ることから、４パターンの組合せが考えられる。

時間一致性と感情一致性の両方が有るということは、映像コンテンツを視聴する際、関心を持って視聴する視聴者に映像編集に基づいて生起すると期待される感情が、該当する映像編集の存在箇所で視聴者に生起したことを示す。したがって、該当する映像部分を視聴者が関心を持って視聴したと推定できる。

また、時間一致性と感情一致性のいずれも無いということは、映像コンテンツを視聴する際、関心を持って視聴する視聴者に映像編集に基づいて生起すると期待される感情が視聴者に生起せず、なんらかの感情が生起したとしても映像編集に起因するものではない可能性が高いということを示す。したがって、該当する映像部分を視聴者が関心を持って視聴しなかったと推定できる。

しかしながら、時間一致性と感情一致性のいずれか一方が有り、他方が無い場合には、映像コンテンツの該当する映像部分を視聴者が関心を持って視聴したか否かを推定することは難しい。

図１３は、時間一致性は有るが感情一致性が無い場合の一例を示す説明図である。以下、参照点の線種は、感情種別に対応し、同一の線種は同一の感情種別であることを示し、異なる線種は異なる感情種別であることを示す。図１３に示す例では、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}はほぼ一致しているが、感情期待値Ｅ_ｅｘｐと感情実測値Ｅ_ｕｓｅｒは異なる感情種別を示している。

一方、図１４は、感情一致性は有るが時間一致性が無い場合の一例を示す説明図である。図１４に示す例では、感情期待値Ｅ_ｅｘｐと感情実測値Ｅ_ｕｓｅｒの感情種別は一致しているが、参照点相対開始時間Ｔ_{ｅｘｐ＿ｓｔ}と感情生起時間Ｔ_{ｕｓｅｒ＿ｓｔ}は大きくずれている。

統合判定部４３０は、図１３や図１４に示すような場合を考慮し、図５のステップＳ１７００で、時間一致性判定結果と感情一致性判定結果とを統合して最終的な視聴質判定を行う統合判定処理を、映像コンテンツを単位時間Ｓで分割した各映像部分に対して実行する。

図１５は、統合判定部４３０による統合判定処理の流れの一例を示すフローチャートであり、図５のステップＳ１７００に対応するものである。

まず、ステップＳ１７１０で、統合判定部４３０は、映像コンテンツを単位時間Ｓで分割した映像部分を１つ選択し、対応する時間一致性判定情報ＲＴおよび感情一致性判定情報ＲＥを取得する。

次いで、ステップＳ１７２０で、統合判定部４３０は、時間一致性を判別し、時間一致性判定情報ＲＴが値「１」で時間一致性が有る場合には（Ｓ１７２０：ＹＥＳ）、ステップＳ１７３０に進み、時間一致性判定情報ＲＴが値「０」で時間一致性が無い場合には（Ｓ１７２０：ＮＯ）、ステップＳ１７４０に進む。

ステップＳ１７３０で、統合判定部４３０は、感情一致性を判別し、感情一致性判定情報ＲＥが値「１」で感情一致性が有る場合には（Ｓ１７３０：ＹＥＳ）、ステップＳ１７５０に進み、感情一致性判定情報ＲＥが値「０」で感情一致性が無い場合には（Ｓ１７３０：ＮＯ）、ステップＳ１７５１に進む。

ステップＳ１７５０で、統合判定部４３０は、時間一致性と感情一致性の両方が有ることから、該当する映像部分の視聴質情報を「有」に設定し、視聴質情報を取得する。そして、統合判定部４３０は、取得した視聴質情報を、視聴質データ格納部５００に格納する。

一方、ステップＳ１７５１で、統合判定部４３０は、時間一致性は有るものの感情一致性が無いことから、さらに詳細な解析を行って視聴質判定を行う時間一致感情不一致時判定処理を実行する。時間一致感情不一致時判定処理については後述する。

ステップＳ１７４０で、統合判定部４３０は、感情一致性を判別し、感情一致性判定情報ＲＥが値「０」で感情一致性が無い場合には（Ｓ１７４０：ＮＯ）、ステップＳ１７７０に進み、感情一致性判定情報ＲＥが値「１」で感情一致性が有る場合には（Ｓ１７４０：ＹＥＳ）、ステップＳ１７７１に進む。

ステップＳ１７７０で、統合判定部４３０は、時間一致性と感情一致性のいずれも無いことから、該当する映像部分の視聴質情報を「無」に設定し、視聴質情報を取得する。そして、統合判定部４３０は、取得した視聴質情報を、視聴質データ格納部５００に格納する。

一方、ステップＳ１７７１で、統合判定部４３０は、感情一致性は有るものの時間一致性が無いことから、さらに詳細な解析を行って視聴質判定を行う感情一致時間不一致時判定処理を実行する。感情一致時間不一致時判定処理については後述する。

次に、時間一致感情不一致時判定処理について説明する。

図１６は、統合判定部４３０による時間一致感情不一致時判定処理の流れの一例を示すフローチャートであり、図１５のステップＳ１７５１に対応するものである。

ステップＳ１７５２で、統合判定部４３０は、視聴質データ格納部５００を参照し、視聴質判定の対象としている映像部分（以下「判定対象」という）の近傍の他の映像部分に、参照点が存在するか否かを判別する。該当する参照点が存在しない場合には（Ｓ１７５２：ＮＯ）、ステップＳ１７５３に進み、該当する参照点が存在する場合には（Ｓ１７５２：ＹＥＳ）、ステップＳ１７５４に進む。

判定対象の近傍の他の映像部分をどのように設定するかは、視聴質データ情報を、映像コンテンツの視聴に対してリアルタイムで生成するかオフタイムで生成するかによって異なる。

映像コンテンツの視聴に対して視聴質データ情報をリアルタイムで生成する場合、たとえば、判定対象からＭ個分の単位時間Ｓだけ時間を遡った範囲を、上記近傍の他の映像部分とし、この範囲で参照点を検索する。つまり、判定対象からみて、Ｓ×Ｍの範囲の過去の情報を用いる。

一方、映像コンテンツの視聴に対して視聴質データ情報をオフタイムで生成する場合、判定対象よりも後の映像部分で得られた感情実測値を用いることができる。したがって、過去の情報だけでなく、判定対象からみて未来の情報を用いることができ、たとえば、判定対象を中心とする前後Ｓ×Ｍの範囲を上記近傍の他の映像部分とし、この範囲で参照点を検索する。Ｍの値は任意とすることができ、たとえば「５」などの整数があらかじめ設定される。また、参照点の検索範囲は、時間長さで設定してもよい。

ステップＳ１７５３で、統合判定部４３０は、判定対象の近傍の他の映像部分に参照点が存在しないことから、該当する映像部分の視聴質情報を「無」に設定し、ステップＳ１７６９に進む。

ステップＳ１７５４で、統合判定部４３０は、判定対象の近傍の他の映像部分に参照点が存在することから、その参照点における時間一致性の有無を参考にして視聴質判定を行う時間一致近傍参照点存在時判定処理を実行する。

図１７は、統合判定部４３０による時間一致近傍参照点存在時判定処理の流れの一例を示すフローチャートであり、図１６のステップＳ１７５４に対応するものである。

まず、ステップＳ１７５５で、統合判定部４３０は、視聴質データ格納部５００から、時系列に連続したＬ個以上の映像部分のそれぞれから代表的な参照点を検索し、取得する。ここで、検索範囲における参照点の番号および感情実測値Ｅ_ｕｓｅｒの番号を示すパラメータを、それぞれｊ、ｋとする。パラメータｊ、ｋは、それぞれ｛０，１，２，３，…Ｌ｝の値を取る。

次いで、ステップＳ１７５６で、統合判定部４３０は、視聴質データ格納部５００に格納された感情期待値情報および感情情報から、ｊ番目の参照点の感情期待値Ｅ_ｅｘｐ（ｊ、ｔ_ｊ）と、ｋ番目の感情実測値Ｅ_ｕｓｅｒ（ｋ，ｔ_ｋ）と、を取得する。ここで、時刻ｔ_ｊおよび時刻ｔ_ｋは、それぞれ感情期待値と感情実測値が得られた時刻、つまり対応する感情が生起した時刻である。

次いで、ステップＳ１７５７で、統合判定部４３０は、感情期待値Ｅ_ｅｘｐ（ｊ）と、同じ映像部分における感情実測値Ｅ_ｕｓｅｒ（ｋ）との差分の絶対値を算出し、差分の絶対値があらかじめ定めた２次元感情モデル６００の２次元空間における距離の閾値Ｋ以下であり、かつ時刻ｔ_ｊと時刻ｔ_ｋが一致するか否かを判別する。統合判定部４３０は、差分の絶対値が閾値Ｋ以下であり、かつ時刻ｔ_ｊと時刻ｔ_ｋが一致する場合には（Ｓ１７５７：ＹＥＳ）、ステップＳ１７５８に進み、差分の絶対値が閾値Ｋを超えるか、時刻ｔ_ｊと時刻ｔ_ｋが一致しない場合には（Ｓ１７５７：ＮＯ）、ステップＳ１７５９に進む。時刻ｔ_ｊと時刻ｔ_ｋとの一致不一致判定は、たとえば、時刻ｔ_ｊと時刻ｔ_ｋとの差の絶対値が、あらかじめ定められた閾値未満のときには一致すると判定し、閾値以上のときには一致しないと判定すればよい。

ステップＳ１７５８で、統合判定部４３０は、感情が大きく異なっておらず、かつ生起時間が一致すると判断して、ｊ番目の参照点についての処理フラグＦＬＧに、ＴＲＵＥの論理を示す値「１」を設定し、ステップＳ１７６０に進む。ただし、後述するステップＳ１７５９で既に処理フラグＦＬＧにＦＡＬＳＥの論理を示す値「０」が設定されている場合には、そのままとする。

ステップＳ１７５９で、統合判定部４３０は、感情が大きく異なるか、生起時間が一致しないと判断して、ｊ番目の参照点についての処理フラグＦＬＧに、ＦＡＬＳＥの論理を示す値「０」を設定し、ステップＳ１７６０に進む。

次いで、ステップＳ１７６０で、統合判定部４３０は、Ｌ個の参照点全てについて処理フラグＦＬＧ設定の処理が完了したか否かを判別する。まだＬ個の参照点全てについて処理が完了していない場合、つまりパラメータｊがＬ未満の場合には（Ｓ１７６０：ＮＯ）、パラメータｊ，ｋの値をそれぞれ１つずつ増加させ、ステップＳ１７５６へ戻る。ステップＳ１７５６〜Ｓ１７６０の処理を繰り返し、Ｌ個の参照点全てについて処理が完了すると（Ｓ１７６０：ＹＥＳ）、ステップＳ１７６１に進む。

ステップＳ１７６１で、統合判定部４３０は、処理フラグＦＬＧが、値「０」（ＦＡＬＳＥ）に設定されているか否かを判別する。処理フラグＦＬＧに値「０」が設定されていない場合には（Ｓ１７６１：ＮＯ）、ステップＳ１７６２に進み、処理フラグＦＬＧに値「０」が設定された場合には（Ｓ１７６１：ＹＥＳ）、ステップＳ１７６３に進む。

ステップＳ１７６２で、統合判定部４３０は、感情期待値情報と感情情報とで、感情一致性は無いものの、近傍のＬ個の参照点で連続して時間一致性が有ることから、視聴者は関心を持って判定対象の映像部分を視聴したと判断し、判定対象の視聴質情報を「有」に設定する。そして、図１６のステップＳ１７６９に進む。

一方、ステップＳ１７６３では、統合判定部４３０は、感情期待値情報と感情情報とで、感情一致性が無く、近傍のＬ個の参照点でも連続して時間一致性が無いことから、視聴者は関心を持って判定対象の映像部分を視聴しなかったと判断し、判定対象の視聴質情報を「無」に設定する。そして、図１６のステップＳ１７６９に進む。

図１６のステップＳ１７６９において、統合判定部４３０は、図１６のステップＳ１７５３、図１７のステップＳ１７６２またはステップＳ１７６３で設定された視聴質情報を取得し、視聴質データ格納部５００に格納する。そして、図５のステップＳ１８００に進む。

このようにして、総合判定部４３０は、時間一致近傍参照点存在時判定処理により、時間一致性が有り感情一致性が無い映像部分に対しても視聴質の判定を行う。

図１８は、時間一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図である。ここでは、視聴質データ情報をリアルタイムで生成し、パラメータＬ＝３、閾値Ｋ＝９の場合を図示し、Ｖ_ｃｐ１は、判定対象で検出された効果音の参照点を、Ｖ_ｃｐ２、Ｖ_ｃｐ３は、判定対象の近傍の映像部分でＢＧＭと映像ショットから検出された参照点を、それぞれ示す。

図１８に示すように、参照点Ｖ_ｃｐ１が検出された判定対象から、感情期待値（４，２）および感情実測値（−３，４）が取得されたとする。また、参照点Ｖ_ｃｐ２が検出された映像部分から感情期待値（３，４）および感情実測値（３，−４）が、参照点Ｖ_ｃｐ３が検出された映像部分から感情期待値（−４，−２）および感情実測値（３，−４）が、それぞれ取得されたとする。参照点Ｖ_ｃｐ１が検出された判定対象は、時間一致性は有るものの感情一致性が無いため、図１６に示す時間一致感情不一致時判定処理が実行されるまでは視聴質情報は未定の状態である。参照点Ｖ_ｃｐ２、Ｖ_ｃｐ３が検出された映像部分も同様である。この状態で、図１７に示す時間一致近傍参照点存在時判定処理が実行されると、近傍の参照点Ｖ_ｃｐ２、Ｖ_ｃｐ３においても時間一致性が有ることから、参照点Ｖ_ｃｐ１が検出された判定対象の視聴質情報は「有」と判定される。参照点Ｖ_ｃｐ２の近傍の参照点として参照点Ｖ_ｃｐ１、Ｖ_ｃｐ３が検索された場合や、参照点Ｖ_ｃｐ３の近傍の参照点として参照点Ｖ_ｃｐ１、Ｖ_ｃｐ２が検索された場合も、同様である。

次に、感情一致時間不一致時判定処理について説明する。

図１９は、統合判定部４３０による感情一致時間不一致時判定処理の流れの一例を示すフローチャートであり、図１５のステップＳ１７７１に対応するものである。

ステップＳ１７７２で、統合判定部４３０は、視聴質データ格納部５００を参照し、判定対象の近傍の他の映像部分に、参照点が存在するか否かを判別する。該当する参照点が存在しない場合には（Ｓ１７７２：ＮＯ）、ステップＳ１７７３に進み、該当する参照点が存在する場合には（Ｓ１７７２：ＹＥＳ）、ステップＳ１７７４に進む。

判定対象の近傍の他の映像部分をどのように設定するかは、図１６に示す時間一致感情不一致時判定処理と同様に、視聴質データ情報をリアルタイムで生成するかオフタイムで生成するかによって異なる。

ステップＳ１７７３で、統合判定部４３０は、判定対象の近傍の他の映像部分に参照点が存在しないことから、該当する映像部分の視聴質情報を「無」に設定し、ステップＳ１７８９に進む。

ステップＳ１７７４で、統合判定部４３０は、判定対象の近傍の他の映像部分に参照点が存在することから、その参照点における感情一致性の有無を参考にして視聴質判定を行う感情一致近傍参照点存在時判定処理を実行する。

図２０は、統合判定部４３０による感情一致近傍参照点存在時判定処理の流れの一例を示すフローチャートであり、図１９のステップＳ１７７４に対応するものである。ここで、判定対象の参照点の番号をパラメータｐで示す。

まず、ステップＳ１７７５で、統合判定部４３０は、視聴質データ格納部５００から、判定対象の１つ前（ｐ−１番目）の参照点の感情期待値Ｅ_{ｅｘｐ（ｐ−１）}と、判定対象の１つ後（ｐ＋１番目）の参照点の感情期待値Ｅ_{ｅｘｐ（ｐ＋１）}と、を取得する。

次いで、ステップＳ１７７６で、統合判定部４３０は、視聴質データ格納部５００から、判定対象の１つ前（ｐ−１番目）の参照点と同じ映像部分で計測された感情実測値Ｅ_{ｕｓｅｒ（ｐ−１）}と、判定対象の１つ後（ｐ＋１番目）の参照点と同じ映像部分で計測された感情実測値Ｅ_{ｕｓｅｒ（ｐ＋１）}と、を取得する。

次いで、ステップＳ１７７７で、統合判定部４３０は、感情期待値Ｅ_{ｅｘｐ（ｐ＋１）}と感情実測値Ｅ_{ｕｓｅｒ（ｐ＋１）}との差分の絶対値と、感情期待値Ｅ_{ｅｘｐ（ｐ−１）}と感情実測値Ｅ_{ｕｓｅｒ（ｐ−１）}との差分の絶対値と、を算出する。そして、両方の値が、あらかじめ定めた２次元感情モデル６００の２次元空間における距離の閾値Ｋ以下であるか否かを判別する。ただし、ここでは、感情が一致するといえる最大値が閾値Ｋにあらかじめ設定される。統合判定部４３０は、両方の値が閾値Ｋ以下の場合には（Ｓ１７７７：ＹＥＳ）、ステップＳ１７７８に進み、両方の値が閾値Ｋ以下ではない場合には（Ｓ１７７７：ＮＯ）、ステップＳ１７７９に進む。

ステップＳ１７７８で、統合判定部４３０は、感情期待値情報と感情情報とで、時間一致性は無いものの、前後の参照点の映像部分でも感情一致性が有ることから、視聴者は関心を持って判定対象の映像部分を視聴したと判断し、判定対象の視聴質情報を「有」に設定する。そして、図１９のステップＳ１７８９に進む。

一方、ステップＳ１７７９では、統合判定部４３０は、感情期待値情報と感情情報とで、時間一致性が無く、前後の参照点の映像部分の少なくとも一方で感情一致性が無いことから、視聴者は関心を持って判定対象の映像部分を視聴しなかったと判断し、判定対象の視聴質情報を「無」に設定する。そして、図１９のステップＳ１７８９に進む。

図１９のステップＳ１７８９において、統合判定部４３０は、図１９のステップＳ１７７３、図２０のステップＳ１７７８またはステップＳ１７７９で設定された視聴質情報を取得し、視聴質データ格納部５００に格納する。そして、図５のステップＳ１８００に進む。

このようにして、総合判定部４３０は、感情一致近傍参照点存在時判定処理により、感情一致性は有るが時間一致性が無い映像部分に対しても視聴質の判定を行う。

図２１は、感情一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図である。ここでは、視聴質データ情報をオフタイムで生成し、判定対象の前後１つずつの参照点を判定に用いた場合を図示し、Ｖ_ｃｐ２は、判定対象で検出された効果音の参照点を、Ｖ_ｃｐ１、Ｖ_ｃｐ３は、判定対象の近傍の映像部分で効果音とＢＧＭから検出された参照点を、それぞれ示す。

図２１に示すように、参照点Ｖ_ｃｐ２が検出された判定対象から、感情期待値（−１，２）および感情実測値（−１，２）が取得されたとする。また、参照点Ｖ_ｃｐ１が検出された映像部分から感情期待値（４，２）および感情実測値（４，２）が、参照点Ｖ_ｃｐ３が検出された映像部分から感情期待値（３，４）および感情実測値（３，４）が、それぞれ取得されたとする。参照点Ｖ_ｃｐ２が検出された判定対象は、感情一致性は有るものの時間一致性が無いため、図１９に示す感情一致時間不一致時判定処理が実行されるまでは視聴質情報は未定の状態である。ただし、参照点Ｖ_ｃｐ１、Ｖ_ｃｐ３が検出された映像部分は、感情一致性と時間一致性の両方が有るものとする。この状態で、図２０に示す感情一致近傍参照点存在時判定処理が実行されると、近傍の参照点Ｖ_ｃｐ１、Ｖ_ｃｐ３においても時間一致性が有ることから、参照点Ｖ_ｃｐ２が検出された判定対象の視聴質情報は「有」と判定される。参照点Ｖ_ｃｐ１の近傍の参照点として参照点Ｖ_ｃｐ２、Ｖ_ｃｐ３が検索された場合や、参照点Ｖ_ｃｐ３の近傍の参照点として参照点Ｖ_ｃｐ１、Ｖ_ｃｐ２が検索された場合も、同様である。

このように、総合判定部４３０は、統合判定処理により、映像コンテンツの視聴質情報を取得し、視聴質データ情報を生成して視聴質データ格納部５００に格納する（図５のステップＳ１８００）。具体的には、総合判定部４３０は、たとえば、視聴質データ格納部５００に既に格納した感情期待値情報を編集し、感情期待値のフィールドを、取得した視聴質情報で置き換える。

図２２は、統合判定部４３０が生成する視聴質データ情報の一例を示す説明図である。図２２に示すように、視聴質データ情報６４０は、図９に示す感情期待値情報６３０と同様の構成となっているが、感情期待値情報６３０の感情期待値のフィールドは視聴質情報のフィールドに置き換えられ、視聴質情報が格納される。ここでは、視聴質情報「有」を値「１」、視聴質情報「無」を値「０」で示した場合を例示している。つまり、この視聴質データ情報６４０から、参照点インデックスナンバー「ＥＳ＿００１」が存在した映像部分では、視聴者は関心を持って映像コンテンツを視聴せず、参照点インデックスナンバー「Ｍ＿００１」が存在した映像部分では、視聴者は関心を持って映像コンテンツを視聴していたということが解析できる。

なお、参照点が検出されない映像部分の存在を示す視聴質情報を格納したり、時間一致性と感情一致性の一方が有り他方が無い映像部分については、感情一致時間視線不一致時判定処理や時間一致感情視線不一致時判定処理を行うことなく、「未定」を示す視聴質情報格納してもよい。

また、視聴質データ格納部５００に蓄積された複数の視聴質情報を解析することにより、映像コンテンツ全体を視聴者がどの程度の関心を持って視聴したかを判別し、視聴質情報として出力してもよい。具体的には、たとえば、視聴質情報「有」を値「１」に、視聴質情報「無」を値「−１」に変換し、変換した値を映像コンテンツ全体で合計する。また、映像コンテンツの種類や、視聴質データ情報の用途によって、視聴質情報に対応する数値を変えてもよい。

また、たとえば、視聴質情報「有」を値「１００」に、視聴質情報「無」を値「０」に変換した値の合計値を、取得された視聴質情報の個数で除することにより、映像コンテンツ全体に対する視聴者の関心度合いをパーセンテージで表現することができる。この場合、たとえば、視聴質情報「未定」にも値「５０」などの特有の値を与えれば、視聴質情報「未定」の状態を、視聴者がどの程度の関心を持って視聴したかの評価値に反映させることができる。

以上説明したように本実施の形態によれば、映像コンテンツを視聴する際に視聴者に生起すると期待される感情を示す感情期待値情報と、視聴者に生起する感情を示す感情情報について、時間一致性と感情一致性を判定し、これらの結果から視聴質を判定するので、感情情報のうち実際のコンテンツへの関心の度合いに影響を受けているものといないものを区別でき、精度良く視聴質を判定することができる。また、時間一致性と感情一致性を統合して判定を行うので、たとえば映像編集に対する反応の個人差を考慮した視聴質判定を行うことができる。また、コンテンツへの関心の度合い以外の要素による影響を抑えるための制約を視聴者に課す必要が無いため、視聴者に特に負担を掛けることなく、精度の良い視聴質判定を実現できる。また、映像コンテンツの映像編集の内容から感情期待値情報を取得するので、各種の映像コンテンツに適用することができる。

なお、図５に示す視聴質データ生成処理において、ステップＳ１０００、Ｓ１１００の処理と、ステップＳ１２００〜Ｓ１４００の処理は、どちらを先に実行してもよく、また、同時並行で実行してもよい。ステップＳ１５００とステップＳ１６００についても同様である。

また、時間一致性と感情一致性の一方が有り他方が無い場合に、統合判定部４３０が、判定対象の近傍の参照点について時間一致性や感情一致性を判定するとしたが、これに限るものではない。たとえば、統合判定部４３０は、時間一致性判定部４１０から入力された時間一致性判定情報や、感情一致性判定部４２０から入力された感情一致性判定情報をそのまま判定結果として用いても良い。

（実施の形態２）
図２３は、本発明の実施の形態２に係る視聴質データ生成装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２３において、視聴質データ生成装置７００は、図１に示す構成に加えて、視線方向検出部９００を有し、実施の形態１の統合判定部４３０とは異なる処理を実行する統合判定部８３０と、視線一致性判定部８４０とを備えた視聴質データ生成部８００を有する。

視線方向検出部９００は、視聴者の視線方向を検出する。具体的には、視線方向検出部９００は、たとえば、映像コンテンツが表示される画面の近傍に画面側から視聴者をステレオ撮影するディジタルカメラを設置し、撮影画像から視聴者の顔方向や眼球方向を解析して、視聴者の視線方向を検出する。

視聴一致性判定部８４０は、検出された視聴者の視線方向（以下単に「視線方向」という）が、テレビジョンの画面など映像コンテンツの表示領域に向いている視線一致性の有無の判定を行い、判定結果を示す視線一致性判定情報を生成する。具体的には、視聴一致性判定部８４０は、映像コンテンツの表示領域の位置をあらかじめ記憶しており、視線方向上に映像コンテンツの表示領域が存在するか否かを判別する。

統合判定部８３０は、時間一致性判定情報、感情一致性判定情報、および視線一致性判定情報を統合して、視聴質判定を行う。具体的には、たとえば、上記３つの判定結果の組合せごとに視聴質情報の値を定めた判定テーブルをあらかじめ格納し、この判定テーブルを参照して視聴質情報の設定および取得を行う。

図２４は、視線を用いた統合判定処理で用いられる判定テーブルの構成の一例を示す説明図である。判定テーブル８３１は、時間一致性判定情報（ＲＴ）、感情一致性判定情報（ＲＥ）、および視線一致性判定情報（ＲＳ）の判定結果の各組合せに対応付けて、視聴質情報の値が記述されている。たとえば、時間一致性判定情報ＲＴ＝「一致しない」、感情一致性判定情報ＲＥ＝「一致しない」、および視線一致性判定結果＝「一致」という組合せには、視聴質情報の値＝「４０％」が対応付けられている。これは、時間一致性も感情一致性も無く視線一致性のみが有る場合には、視聴者は４０％程度の関心を持って映像コンテンツを視聴していると推定されることを示している。なお、視聴質情報の値は、時間一致性と感情一致性と視線一致性の全てが有る場合を１００％、時間一致性と感情一致性と視線一致性の全てが無い場合を０％としたときの、関心の程度を示す。

統合判定部８３０は、ある映像部分について、時間一致性判定情報、感情一致性判定情報、および視線一致性判定情報が入力されると、判定テーブル８３０で一致する組合せを検索し、対応する視聴質情報を取得し、取得した視聴質情報を視聴質データ格納部５００に格納する。

統合判定部８３０は、この判定テーブル８３０を用いて視聴質判定を行うことにより、迅速に視聴質情報を取得することができ、また、視線一致性を考慮したきめ細かい判定を実現できる。

なお、図２４に示す判定テーブル８３０では、時間一致性と感情一致性の一方のみが有り視線一致性が無い場合には、「２０％」の値が対応付けられているが、他の参照点の判定結果を反映させることにより、よりきめ細かく値を決定することも可能である。以下、時間一致性は有るものの感情一致性が無い場合にさらに詳細な解析を行って視聴質判定を行う時間一致感情視線不一致時判定処理と、感情一致性は有るものの時間一致性が無い場合にさらに詳細な解析を行って視聴質判定を行う感情一致時間視線不一致時判定処理について説明する。

図２５は、時間一致感情視線不一致時判定処理の流れの一例を示すフローチャートである。以下、判定対象の参照点の番号をパラメータｑで示す。また、判定対象の参照点の前後の参照点で、視線一致性情報と視聴質情報の値が取得されているものとして説明する。

まず、ステップＳ７７５１で、統合判定部８３０は、ｑ−１番目の参照点とｑ＋１番目の参照点、つまり判定対象の前後の参照点の視聴質データと視線一致性判定情報とを取得する。

次いで、ステップＳ７７５２で、統合判定部８３０は、前後の参照点の両方で視線一致性が有りかつ視聴質情報の値が６０％を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には（Ｓ７７５２：ＹＥＳ）、ステップＳ７７５３に進み、上記条件を満たさない場合には（Ｓ７７５２：ＮＯ）、ステップＳ７７５４に進む。

ステップＳ７７５３で、統合判定部８３０は、前後の参照点の両方で視聴質情報の値が比較的高く、かつ視聴者は映像コンテンツに視線を向けていることから、視聴者が比較的高い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「７５％」を設定する。

次いで、ステップＳ７７５５で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

一方、ステップＳ７７５４で、統合判定部８３０は、前後の参照点の少なくとも一方で視線一致性が無くかつ視聴質情報の値が６０％を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には（Ｓ７７５４：ＹＥＳ）、ステップＳ７７５６に進み、上記条件を満たさない場合には（Ｓ７７５４：ＮＯ）、ステップＳ７７５７に進む。

ステップＳ７７５６で、統合判定部８３０は、前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないものの、前後の参照点の両方で視聴質情報の値が比較的高いことから、視聴者がやや高い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「６５％」を設定する。

次いで、ステップＳ７７５８で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

また、ステップＳ７７５７で、統合判定部８３０は、前後の参照点の少なくとも一方で視聴質情報の値が比較的低く、かつ前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者がかなり低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「１５％」を設定する。

次いで、ステップＳ７７５９で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

このようにして、時間一致性が有り感情一致性が無い場合について、前後の参照点について得られた情報を考慮して、きめ細やかに視聴質情報の値を決定できる。

図２６は、感情一致時間視線不一致時判定処理の流れの一例を示すフローチャートである。

まず、ステップＳ７７７１で、統合判定部８３０は、ｑ−１番目の参照点とｑ＋１番目の参照点、つまり判定対象の前後の参照点の視聴質データと視線一致性判定情報とを取得する。

次いで、ステップＳ７７７２で、統合判定部８３０は、前後の参照点の両方で視線一致性が有りかつ視聴質情報の値が６０％を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には（Ｓ７７７２：ＹＥＳ）、ステップＳ７７７３に進み、上記条件を満たさない場合には（Ｓ７７７２：ＮＯ）、ステップＳ７７７４に進む。

ステップＳ７７７３で、統合判定部８３０は、前後の参照点の両方で視聴質情報の値が比較的高く、かつ視聴者は映像コンテンツに視線を向けていることから、視聴者が中程度の関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「５０％」を設定する。

次いで、ステップＳ７７７５で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

一方、ステップＳ７７７４で、統合判定部８３０は、前後の参照点の少なくとも一方で視線一致性が無くかつ視聴質情報の値が６０％を超えるという条件を満たすか否かを判別する。上記条件を満たす場合には（Ｓ７７７４：ＹＥＳ）、ステップＳ７７７６に進み、上記条件を満たさない場合には（Ｓ７７７４：ＮＯ）、ステップＳ７７７７に進む。

ステップＳ７７７６で、統合判定部８３０は、前後の参照点の両方で視聴質情報の値が比較的高いものの、前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者がやや低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「４５％」を設定する。

次いで、ステップＳ７７７８で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

また、ステップＳ７７７７で、統合判定部８３０は、前後の参照点の少なくとも一方で視聴質情報の値が比較的低く、かつ前後の参照点の少なくとも一方で視聴者は映像コンテンツに視線を向けていないことから、視聴者が低い関心を持って映像コンテンツを視聴していると判断し、視聴質情報に値「２０％」を設定する。

次いで、ステップＳ７７７９で、統合判定部８３０は、値を設定した視聴質情報を取得し、実施の形態１の図５のＳ１８００に進む。

このようにして、感情一致性は有るものの時間一致性が無い場合についても、前後の参照点について得られた情報を考慮して、きめ細やかに視聴質情報の値を決定できる。

なお、図２５、図２６では、前後の参照点で視線一致性情報と視聴質情報の値が取得できる場合について説明したが、感情一致性は有るものの時間一致性が無い参照点が、複数連続したり、最初と最後の参照点である場合も有り得る。このような場合には、たとえば、前後いずれか一方の参照点の情報のみを用いたり、前後いずれか一方で連続する複数の参照点の情報を用いるようにすればよい。

図５のステップＳ１８００では、視聴質情報としてパーセンテージの値が視聴質データ情報に記述されることになる。統合判定部８３０は、たとえば、映像コンテンツ全体で得られた視聴質情報の値の平均を算出し、映像コンテンツ全体に対する視聴者の関心度合いをパーセンテージで出力するようにしてもよい。

このように、本実施の形態によれば、感情一致性判定結果と時間一致性判定結果に加えて、視線一致性判定結果を視聴質判定に用いるので、より精度の高い視聴質判定や、より詳細な視聴質判定を実現できる。また、判定テーブルを用いるので、判定処理を高速化できる。

なお、第１段階として、まず感情一致性判定結果と時間一致性判定結果によって視聴質判定を試み、判定対象に参照点が無い場合や近傍に参照点が存在しない場合など判定結果を得られない場合にのみ、第２段階として、視線一致性判定結果を用いた視聴質判定を行うようにしてもよい。

また、以上説明した各実施の形態では、映像コンテンツの映像編集の内容から感情期待値情報を取得するとしたが、映像コンテンツにあらかじめ参照点を示す情報とそれぞれの感情期待値を示す情報とを付加しておき、これらの情報から感情期待値情報を取得するようにしてもよい。

また、同じ映像コンテンツを視聴した他の視聴者によるコメントや評価が、インターネット上に公開されていたり、映像コンテンツに付加されていることがある。そこで、映像コンテンツに映像編集点があまり含まれておらず、参照点を十分に検出できないような場合には、これらのコメントや評価を解析して、感情期待値情報の取得を補うようにしてもよい。たとえば、「Ａさんが登場したシーンでは特に悲しくなった」というコメントがブログ（blog）に記載されていたとする。この場合、該当コンテンツの「Ａさん」が登場する時間を検出し、検出した時間を参照点として取得するとともに、「悲しい」に該当する値を感情期待値として取得すればよい。

また、感情一致性の判定の手法として、感情モデルの空間における感情期待値と感情実測値との距離を閾値と比較したが、映像コンテンツの映像編集の内容と視聴者の生体情報とをそれぞれ感情種別に変換し、感情種別が一致または類似するか否かを判定してもよい。また、この場合には、感情種別が遷移する点ではなく、「興奮」などの特定の感情種別が生起する時刻または生起している時間帯を、感情一致性や時間一致性の判定の対象としてもよい。

本発明は、映像コンテンツ以外にも、音楽コンテンツや、ウェブ上の文章などのテキストコンテンツなど、各種のコンテンツに適用できることは勿論である。

本発明に係る視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体は、視聴者に特に負担を掛けることなく、精度良く視聴質を判定することができる視聴質判定装置、視聴質判定方法、視聴質判定プログラム、およびこのプログラムを格納した記録媒体として有用である。

本発明の実施の形態１に係る視聴質データ生成装置の構成を示すブロック図 実施の形態１で用いられる２次元感情モデルの一例を示す説明図 実施の形態１における各変換テーブルの構成の一例を示す説明図 実施の形態１における参照点種別情報管理テーブルの一例を示す説明図 実施の形態１における視聴質データ生成装置における視聴質データ生成処理の全体的な流れの一例を示すフローチャート 実施の形態１における感情情報取得部から出力される感情情報の構成の一例を示す説明図 実施の形態１における映像操作／属性情報取得部から出力される映像操作／属性情報の構成の一例を示す説明図 実施の形態１における照点感情期待値算出部による感情期待値情報算出処理の流れの一例を示すフローチャートの構成の一例を示す説明図 実施の形態１における参照点感情期待値算出部が出力する参照点感情期待値情報の一例を示す説明図 実施の形態１における時間一致性判定部による時間一致性判定処理の流れの一例を示すフローチャート 実施の形態１における１つの単位時間に複数の参照点が複数存在する様子を示す説明図 実施の形態１における感情一致性判定部による感情一致性判定処理の流れの一例を示すフローチャート 実施の形態１における時間一致性が有り感情一致性が無い場合の一例を示す説明図 実施の形態１における感情一致性が有り時間一致性が無い場合の一例を示す説明図 実施の形態１における統合判定部による統合判定処理の流れの一例を示すフローチャート 実施の形態１における統合判定部による時間一致感情不一致時判定処理の流れの一例を示すフローチャート 実施の形態１における統合判定部による時間一致近傍参照点存在時判定処理の流れの一例を示すフローチャート 実施の形態１における時間一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図 実施の形態１における感情一致時間不一致時判定処理の流れの一例を示すフローチャート 実施の形態１における感情一致近傍参照点存在時判定処理の流れの一例を示すフローチャート 実施の形態１における時間不一致近傍参照点存在時判定処理によって視聴質情報が設定される様子を示す説明図 実施の形態１における統合判定部が生成する視聴質データ情報の一例を示す説明図 本発明の実施の形態２に係る視聴質データ生成装置の構成を示すブロック図 視線を用いた統合判定処理で用いられる判定テーブルの構成の一例を示す説明図 実施の形態２における時間一致感情視線不一致時判定処理の流れの一例を示すフローチャート 実施の形態２における感情一致時間視線不一致時判定処理の流れの一例を示すフローチャート

符号の説明

１００、７００ 視聴質データ生成装置
２００ 感情情報生成部
２１０ センシング部
２２０ 感情情報取得部
３００ 感情期待値情報生成部
３１０ 映像取得部
３２０ 映像操作／属性情報取得部
３３０ 参照点感情期待値算出部
３４０ 参照点感情期待値変換テーブル
４００ 視聴質データ生成部
４１０ 時間一致性判定部
４２０ 感情一致性判定部
４３０、８３０ 統合判定部
５００ 視聴質データ格納部
８４０ 視線一致性判定部
９００ 視線方向検出部

Claims (16)

1. コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報を取得する感情期待値情報取得部と、
   前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報を取得する感情情報取得部と、
   前記感情期待値情報と前記感情情報との比較により、前記コンテンツの視聴質を判定する視聴質判定部と、
   を有する視聴質判定装置。
2. 前記視聴質判定部は、
   前記コンテンツを時分割した部分のそれぞれに対して前記比較を実行し、複数の比較結果から前記視聴質を判定する、
   請求項１記載の視聴質判定装置。
3. 前記コンテンツを取得するコンテンツ取得部と、
   前記コンテンツの編集内容の種別と前記感情期待値情報とをあらかじめ対応付けた感情期待値情報テーブルと、をさらに有し、
   前記感情期待値情報取得部は、
   取得された前記コンテンツの編集内容の種別を判別し、前記感情期待値情報テーブルを参照して前記感情期待値情報を取得する、
   請求項１記載の視聴質判定装置。
4. 前記視聴者の生体情報を取得するセンシング部、をさらに有し、
   前記感情情報取得部は、前記生体情報から前記感情情報を取得する、
   請求項１記載の視聴質判定装置。
5. 前記感情期待値情報は、前記生起すると期待される感情の生起時間を示す感情期待生起時間と、前記生起すると期待される感情の種別を示す感情期待値と、を含み、前記感情情報は、前記視聴者に生起する感情の生起時間を示す感情生起時間と、前記視聴者に生起する感情の種別を示す感情実測値と、を含み、
   前記視聴質判定部は、
   前記感情期待生起時間と前記感情生起時間が同期する時間一致性の有無を判定する時間一致性判定部と、
   前記感情期待値と前記感情実測値が類似する感情一致性の有無を判定する感情一致性判定部と、
   前記時間一致性の有無と前記感情一致性の有無とを統合して前記視聴質を判定する統合判定部と、を有する、
   請求項１記載の視聴質判定装置。
6. 前記統合判定部は、
   前記時間一致性と前記感情一致性の両方が有るとき、前記視聴者が関心を持って視聴したと判定し、前記時間一致性と前記感情一致性いずれも無いとき、前記視聴者が関心を持って視聴しなかったと判定する、
   請求項５記載の視聴質判定装置。
7. 前記統合判定部は、
   前記時間一致性と感情一致性の一方が有り他方が無いとき、前記視聴者が関心を持って視聴したか否かが不明と判定する、
   請求項６記載の視聴質判定装置。
8. 前記時間一致性判定部は、
   前記コンテンツに対し単位時間ごとに前記時間一致性の有無を判定し、
   前記感情一致性判定部は、
   前記コンテンツに対し前記単位時間ごとに前記感情一致性の有無を判定し、
   前記統合判定部は、
   前記時間一致性判定部および前記感情一致性判定部による判定結果から、前記視聴質を判別する、
   請求項６記載の視聴質判定装置。
9. 前記統合判定部は、
   前記コンテンツのうち、前記時間一致性が有り前記感情一致性が無い部分に対し、前記コンテンツの他の部分で前記時間一致性が有るとき前記視聴者が関心を持って視聴したと判定し、前記他の部分で前記時間一致性が無いとき前記視聴者が関心を持って視聴しなかったと判定する、
   請求項８記載の視聴質判定装置。
10. 前記統合判定部は、
    前記コンテンツのうち、前記時間一致性が無く前記感情一致性が有る部分に対し、前記コンテンツの他の部分で前記感情一致性が有るとき前記視聴者が関心を持って視聴したと判定し、前記他の部分で前記感情一致性が無いとき前記視聴者が関心を持って視聴しなかったと判定する、
    請求項８記載の視聴質判定装置。
11. 前記コンテンツは画像を含み、
    前記視聴者の視線方向を検出する視線方向検出部と、
    前記視線方向が前記コンテンツに含まれる画像に向いている視線一致性の有無を判定する視線一致性判定部と、をさらに有し、
    前記統合判定部は、前記時間一致性の有無と、前記感情一致性の有無と、前記視線一致性の有無とを統合して、前記視聴質を判定する、
    請求項５記載の視聴質判定装置。
12. 前記コンテンツは、音楽、効果音、映像ショット、カメラワークの少なくとも１つを含む映像コンテンツであり、
    前記感情期待値情報テーブルは、
    音楽、効果音、映像ショット、およびカメラワークについて、それぞれの種別と前記感情期待値情報とをあらかじめ対応付け、
    前記感情期待値情報取得部は、
    音楽、効果音、映像ショット、カメラワークのうち前記コンテンツに含まれるものの種別を判別し、前記感情期待値情報テーブルを参照して前記感情期待値情報を取得する、
    請求項３記載の視聴質判定装置。
13. 前記感情期待値情報取得部は、
    前記感情期待値情報として感情モデルの空間の座標値を取得し
    前記感情情報取得部は、
    前記感情情報として前記感情モデルの空間の座標値を取得し、
    前記感情一致性判定部は、
    前記感情モデルの空間における前記感情期待値と前記感情実測値との距離から前記感情一致性の有無を判定する、
    請求項５記載の視聴質判定装置。
14. コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する情報取得ステップと、
    前記感情期待値情報と前記感情情報とを比較する情報比較ステップと、
    前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する視聴質判定ステップと、
    を有する視聴質判定方法。
15. コンピュータに、
    コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する処理と、
    前記感情期待値情報と前記感情情報とを比較する処理と、
    前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する処理と、
    を実行させる視聴質判定プログラム。
16. コンピュータに、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、前記コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得する処理と、前記感情期待値情報と前記感情情報とを比較する処理と、前記感情期待値情報と前記感情情報との比較結果から前記コンテンツの視聴質を判定する処理と、を実行させる視聴質判定プログラムを格納した記録媒体。
    

Images