JP2010016482A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】視聴者による番組に対する評価を反映したハイライトの抽出が可能な技術を提供する。
【解決手段】情報処理装置１０は、モニタ１９に表示された映像を見ることにより、または、スピーカから出力された音声を聴くことにより、再生された番組コンテンツ１９２を視聴する視聴者に関する情報の入力を、視聴者情報として受け付ける視聴者情報入力部１１０と、視聴者情報入力部１１０が入力を受け付けた視聴者情報をもとに、視聴者の盛り上がり度を取得する盛り上がり度取得部１２０と、盛り上がり度取得部１２０が取得した盛り上がり度をもとに、番組コンテンツ１９２のハイライトを抽出するハイライト抽出部１３０と、を備える。
【選択図】図２

Description

本発明は、情報処理装置および情報処理方法に関する。詳しくは、視聴者を観察した結果によって、番組コンテンツの分類、評価およびハイライト検出を行う技術に関する。

従来、番組コンテンツに対する評価指標の一つとして視聴率調査が行われている。しかし、視聴率調査は、手間がかかる上にサンプルが少ないという問題があった。また、視聴時間に基づいて調査するため、番組コンテンツの質を十分に反映しているとは言いがたいものとなってきている。さらに、録画再生装置が普及し、タイムシフト視聴が一般的になってきている現状において、番組放映時の視聴率だけでは、番組コンテンツの本来の視聴率を把握できないという問題があった。したがって、そのような視聴率に基づいて、番組のハイライトシーン（以下、「ハイライト」ともいう。）を抽出するのは適切ではない。

その課題を補完するために、番組コンテンツの映像自体を評価することによって、ハイライトを検出する技術が開示されている（例えば、特許文献１参照）。

特開２００７−２８８６９７号公報

しかしながら、特許文献１に開示された技術によれば、番組コンテンツ自体を評価してハイライトを抽出しているため、視聴者による番組に対する評価を反映したハイライトの抽出ができないという問題があった。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者による番組に対する評価を反映したハイライトの抽出が可能な技術を提供することにある。

上記目的を達成するために、本発明のある観点によれば、モニタに表示された映像を見ることにより、または、スピーカから出力された音声を聴くことにより、再生された番組コンテンツを視聴する視聴者に関する情報の入力を、視聴者情報として受け付ける視聴者情報入力部と、視聴者情報入力部が入力を受け付けた視聴者情報をもとに、視聴者の盛り上がり度を取得する盛り上がり度取得部と、盛り上がり度取得部が取得した盛り上がり度をもとに、番組コンテンツのハイライトを抽出するハイライト抽出部と、を備える、情報処理装置が提供される。

かかる構成によれば、視聴者の盛り上がり度に応じて、番組コンテンツのハイライトを抽出することが可能となる。これによって、視聴者による番組に対する評価を反映したハイライトの抽出が可能となる。

本発明によれば、視聴者による番組に対する評価を反映したハイライトの抽出が可能な技術を提供することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

《本実施形態に係るシステム構成について》
先ず、本実施形態に対する理解を容易とするために、本実施形態に係るシステム構成について説明する。

本実施形態では、番組コンテンツの視聴時間だけではなく、視聴者の喜怒哀楽や属性（年代、性別など）も含めた情報を取得することで、継続的に番組コンテンツの「分類」、「評価」および「ハイライト検出」を行う。また、その結果から、それ以後の視聴者による番組コンテンツ選択を補助するシステムを提供する。

図１は、本実施形態に係るシステム構成を示す図である。図１に示すように、視聴者３０が存在し、テレビなどのモニタ１９を通して番組コンテンツを視聴しているものとする。モニタ１９（例えば、モニタ１９の上部）にはカメラ１１やマイク１２を内蔵もしくはオプションとして具備しているものとする。システム内部には、録画再生装置４０が存在する。録画再生装置４０は、モニタ１９に内蔵され、もしくは接続されているものとし、モニタ１９または録画再生装置４０からは、家庭内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク５０に接続できるものとする。

ネットワーク５０の先には番組コンテンツから検出された情報を管理するサーバ６０が存在し、多数の番組コンテンツの情報を受信し、集合知として情報処理し、かつ、視聴者３０にフィードバックできるものとする。

本実施形態では、カメラ１１やマイク１２を用いて、視聴者３０の喜怒哀楽を識別する。カメラ１１は視聴者３０を撮影し、その映像から表情を検出する。また視線の動きから集中度や番組コンテンツの動きの激しさを判定する、さらに視聴者３０の属性情報として、視聴人数、年代、性別などをカメラ１１の映像から判定する。

マイク１２は、カメラでの分類・評価を補助する役割で用いられ、声量から笑い声や泣き声の程度を判定し、声質から性別を識別するために利用する。さらに、録画再生装置４０は、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）情報やネットワーク上のＥＰＧ連動情報から、番組コンテンツの出演者や、提供側の分類などの情報を取得する。

分類の処理においては、以上の各情報を統合して、番組コンテンツの分類を行う。評価の処理においては、視聴者３０の表情や声などから、盛り上がり具合を数値化し、かつ、時系列で記録したものを盛り上がり度とし、その数値と実際の視聴者３０の数や割合から、番組コンテンツとしての質を数値化したものを番組評価とする。盛り上がり度のうち、特に数値が高い部分を選択することでハイライト抽出を行う。

これらの分類、評価、ハイライト検出の各処理は、各モニタ１９や接続された録画再生装置４０、もしくはモニタ１９内蔵のシステムにおいて独立して行うことができる。一方で、ネットワーク５０に接続されたサーバ６０上で集合知として扱われ、より精度の高い情報を視聴者３０にフィードバックすることもできる。

また、上記の集合知を個人情報保護の範囲で、番組制作者や広告を展開したい会社などが利用することで、よりターゲットを絞った番組を制作したり、広告を展開したりすることが可能である。

《情報処理装置の機能構成について》
図２は、本実施形態に係る情報処理装置の機能構成を示す図である。図２を参照して（適宜図１参照）、本実施形態に係る情報処理装置の機能構成について説明する。

図２に示すように、本実施形態においては、情報処理装置１０が、録画再生装置４０の内部に組み込まれていることとするが、情報処理装置１０は、録画再生装置４０の内部に組み込まれていなくてもよい。情報処理装置１０は、少なくとも、視聴者情報入力部１１０と、盛り上がり度取得部１２０と、ハイライト抽出部１３０とを備えるものである。また、図２に示すように、視聴者情報入力部１１０は、映像情報入力部１１１と、音声情報入力部１１２とのうち、少なくともいずれか一方を有していてもよい。また、閾値記憶部１４０、番組情報記憶部１５０、分類情報取得部１６０、評価情報取得部１７０、送信部１８０等を備えることとしてもよい。

カメラ１１は、モニタ１９に表示された映像を見ることにより、または、スピーカ（不図示）から出力された音声を聴くことにより、再生された番組コンテンツ１９２を視聴する視聴者３０を撮影して、視聴者３０の映像情報を取得するものである。カメラ１１は、図１に示したように、モニタ１９に内蔵されていてもよいし、モニタ１９の近くに設置されていることとしてもよい。番組コンテンツ１９２は、再生部１９３によって再生される。モニタ１９は、モニタ制御部１９１によって制御される。

マイク１２は、視聴者３０が発した音声を取得して、視聴者３０の音声情報を取得するものである。マイク１２は、図１に示したように、モニタ１９に内蔵されていてもよいし、モニタ１９の近くに設置されていることとしてもよい。

視聴者情報入力部１１０は、モニタ１９に表示された映像を見ることにより、または、スピーカ（不図示）から出力された音声を聴くことにより、再生された番組コンテンツを視聴する視聴者３０に関する情報の入力を、視聴者情報として受け付けるものである。

映像情報入力部１１１は、視聴者情報としてカメラ１１を介して視聴者３０の映像情報の入力を受け付けるものである。映像情報入力部１１１は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース等によって構成される。

音声情報入力部１１２は、視聴者情報としてマイク１２を介して視聴者３０の音声情報の入力を受け付けるものである。音声情報入力部１１２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース等によって構成される。

盛り上がり度取得部１２０は、視聴者情報入力部１１０が入力を受け付けた視聴者情報をもとに、視聴者３０の盛り上がり度を取得するものである。

盛り上がり度取得部１２０は、視聴者情報入力部１１０が映像情報入力部１１１を有する場合には、以下に説明する、視聴者３０の表情を示す値と、割合と、視聴者３０の視聴人数とのうち、少なくともいずれか１つを、前記盛り上がり度として取得する。

盛り上がり度取得部１２０は、映像情報入力部１１１が入力を受け付けた映像情報をもとに、視聴者３０の表情を示す値を取得する。視聴者３０の表情を示す値を取得する技術は、特に限定されるものではない。この技術は、例えば、「ソニー株式会社ホームページ、[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｏｎｙ．ｊｐ／ｐｒｏｄｕｃｔｓ／Ｃｏｎｓｕｍｅｒ／ＤＳＣ／ＤＳＣ−Ｔ２００／ｆｅａｔ１．ｈｔｍｌ＞」等に記載されている。

また、盛り上がり度取得部１２０は、映像情報入力部１１１が入力を受け付けた映像情報をもとに、視聴者３０が番組コンテンツを視聴している時間に対する、視聴者３０の視線がモニタ１９の映像表示面上にある時間の割合を盛り上がり度として取得する。視聴者３０の視線を検出する技術は、特に限定されるものではない。この技術は、例えば、「栗原謙三教授他、[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｊｏｉｎｔ．ｉｄｅｃ．ｏｒ．ｊｐ／ｋｏｒｙｕ／０２０４２６＿２．ｐｈｐ＞」等に記載されている。

また、盛り上がり度取得部１２０は、映像情報入力部１１１が入力を受け付けた映像情報をもとに、視聴者３０の視聴人数を盛り上がり度として取得する。

盛り上がり度取得部１２０は、視聴者情報入力部１１０が音声情報入力部１１２を有する場合には、以下に説明する、視聴者３０の声量と、視聴者３０の声の高さとのうち、少なくともいずれか１つを、前記盛り上がり度として取得する。

また、盛り上がり度取得部１２０は、音声情報入力部１１２が入力を受け付けた音声情報をもとに、視聴者３０の声量を盛り上がり度として取得する。

また、盛り上がり度取得部１２０は、音声情報入力部１１２が入力を受け付けた音声情報をもとに、前記視聴者の声の高さを、盛り上がり度として取得する。

盛り上がり度取得部１２０は、複数の盛り上がり度を取得した場合には、取得した複数の盛り上がり度を乗算した値を、新たな盛り上がり度として取得することとしてもよい。盛り上がり度の算出アルゴリズムについての詳細な説明については、図３を参照して後述する。なお、盛り上がり度は、盛り上がり度取得部１２０が取得した、視聴者３０の視聴人数、声量、声の高さ等自体であるとしてもよいし、視聴者３０の視聴人数、声量、声の高さ等を複数段階に分類したものであるとしてもよい。

盛り上がり度取得部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成される。この場合には、ＣＰＵがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶されたプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等に展開し、展開したＲＡＭ上のプログラムを実行することによって盛り上がり度取得部１２０の機能が実現される。盛り上がり度取得部１２０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

閾値記憶部１４０は、閾値を記憶するものである。閾値記憶部１４０は、例えば、ＲＡＭやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によって構成される。

番組情報記憶部１５０は、後述するハイライト情報、分類情報、評価情報等の番組情報を記憶するものである。番組情報記憶部１５０は、例えば、ＲＡＭやＨＤＤ等によって構成される。

ハイライト抽出部１３０は、盛り上がり度取得部１２０が取得した盛り上がり度をもとに、番組コンテンツのハイライトを抽出するものである。

また、ハイライト抽出部１３０は、盛り上がり度取得部１２０が取得した盛り上がり度と閾値記憶部１４０が記憶する閾値との比較を行うこととしてもよい。その場合には、ハイライト抽出部１３０は、盛り上がり度が閾値を超える時刻または閾値未満となる時刻と、番組コンテンツに付与された番組コンテンツ１９２を識別可能とする番組識別情報とを対応付けた情報を、ハイライト情報として番組情報記憶部１５０に記憶する。ここで、番組識別情報は、例えば、再生中の番組コンテンツ１９２を識別可能とする番組識別情報再生部１９３から通知されることとすればよい。通知されるタイミングは、例えば、再生部１９３が番組コンテンツ１９２の再生を開始するとき等が考えられるが、特に限定されるものではない。時刻とは、例えば、番組コンテンツの先頭からの再生経過時間であり、時刻が所定時間継続する場合には、その開始時刻および終了時刻と番組識別情報とを対応付けた情報を、ハイライト情報として番組情報記憶部１５０に記憶するとすればよい。このようにして、番組コンテンツのハイライトを抽出する。

また、ハイライト抽出部１３０は、盛り上がり度取得部１２０が取得した新たな盛り上がり度を比較の対象としてもよい。

ハイライト抽出部１３０は、ＣＰＵ等によって構成される。この場合には、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭ等に展開し、展開したＲＡＭ上のプログラムを実行することによってハイライト抽出部１３０の機能が実現される。ハイライト抽出部１３０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

分類情報取得部１６０は、視聴者情報入力部１１０が映像情報入力部１１１を有する場合には、映像情報をもとに、番組コンテンツの動きの激しさ、視聴者３０の属性情報（視聴人数、年代および性別等を示す情報）のうち、少なくともいずれか１つを取得するものである。そして、分類情報取得部１６０は、取得した情報と、番組コンテンツに付与された番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、分類情報として番組情報記憶部１５０に記憶する。番組コンテンツの動きの激しさについては、例えば、視聴者３０の視線がモニタ１９の範囲内で動作している場合に、その移動速度を計測し、移動速度の大きさに応じて決定することとすればよい。年代や性別は、例えば、視聴者３０の事前登録情報とのマッチングではなく、映像のみから判定されるものとすることができる。

視聴者３０の年代を検出する技術は、特に限定されるものではない。この技術は、例えば、「ソニー株式会社ホームページ、[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｏｎｙ．ｊｐ／ｐｒｏｄｕｃｔｓ／Ｃｏｎｓｕｍｅｒ／ＤＳＣ／ＤＳＣ−Ｔ３００／ｆｅａｔ１．ｈｔｍｌ＞」等に記載されている。

視聴者３０の性別を検出する技術は、特に限定されるものではない。この技術は、例えば、「[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｊｓｔ．ｇｏ．ｊｐ／ｃｈｉｉｋｉ／ｋｅｓｓｈｕ／ｓｅｉｋａ／ｃ−ｈ１１−ｇｉｆｕ／ｔｅｃｈ／ｃｔ−ｈ１１−ｇｉｆｕ−２．ｈｔｍｌ＞」等に記載されている。これには、視聴者３０の年代を検出する技術についても記載されている。

また、この技術は、例えば、「財団法人ソフトピアジャパンホームページ、[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｏｆｔｏｐｉａ．ｏｒ．ｊｐ／ｒｄ／ｈｏｉｐ．ｈｔｍｌ＞」等に記載されている。これには、視聴者３０の年代、視線を検出する技術についても記載されている。

分類情報取得部１６０は、視聴者情報入力部１１０が音声情報入力部１１２を有する場合には、音声情報をもとに、視聴者３０の性別を示す情報を取得することとしてもよい。その場合には、分類情報取得部１６０は、取得した情報と、番組コンテンツに付与された番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、分類情報として番組情報記憶部１５０に記憶する。このように、マイク１２は、カメラ１１での分類・評価を補助する役割で用いられ、視聴者３０が笑顔の場合には笑いの程度がどの程度なのか、泣き顔の場合は、声を出して泣いているのか、すすり泣いているのかを判定するために利用する。また、性別などの判定のために利用する。

分類情報取得部１６０は、ＣＰＵ等によって構成される。この場合には、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭ等に展開し、展開したＲＡＭ上のプログラムを実行することによって分類情報取得部１６０の機能が実現される。分類情報取得部１６０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

分類情報取得部１６０は、以上の各情報を統合して、番組コンテンツ１９２の分類を行う。分類情報取得部１６０は、例えば、「１０代未満」「男性」「視線移動大」「爆笑」「アニメＸ」という情報から、「アニメＸ」という番組コンテンツ１９２を「１０代未満の男の子が好む動きのある爆笑アニメ」と分類することができる。

また、分類情報取得部１６０は、例えば、「３０代」「女性」「視線移動小」「集中」「ドラマ」という情報から、「ドラマＹ」という番組コンテンツ１９２を「３０代の女性が好む落ち着いたドラマＹ」と分類することができる。

評価情報取得部１７０は、盛り上がり度取得部１２０が取得した盛り上がり度と、時刻と、番組コンテンツに付与された番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、評価情報として番組情報記憶部１５０に記憶するものである。

評価情報取得部１７０は、例えば、笑顔や笑い声、泣き顔や泣き声、すまし顔などから、盛り上がり具合を数値化し、かつ時系列で記録したものを「盛り上がり度」とする。評価情報取得部１７０は、「盛り上がり度」の時間平均および視聴している視聴者３０の総数や割合などの情報から、番組コンテンツ１９２としての質を数値化したものを「番組評価」とする。視聴者３０は、番組コンテンツ１９２を選択する際には、この「番組評価」を利用する。

評価情報取得部１７０は、ＣＰＵ等によって構成される。この場合には、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭ等に展開し、展開したＲＡＭ上のプログラムを実行することによって評価情報取得部１７０の機能が実現される。評価情報取得部１７０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

ハイライト抽出部１３０、分類情報取得部１６０、評価情報取得部１７０によって番組情報記憶部１５０に記憶された情報（ハイライト情報、分類情報、評価情報）は、各モニタ１９や接続された録画再生装置４０で個別に扱うことができる。他方において、ネットワーク５０に接続されたサーバ６０で集合知として扱われる。これによって、より精度の高い情報を視聴者３０にフィードバックすることもできる。また、この集合知の情報は個人情報保護の範囲で、番組制作や広告にも利用できる。

送信部１８０は、番組情報記憶部１５０に記憶された情報を、ネットワーク５０を介して、サーバ６０に送信するものである。送信部１８０は、例えば、通信インタフェース等によって構成される。さらに、テレビなどでは一般的であるＥＰＧ情報や、ネットワーク５０上のサーバ６０からＥＰＧ連動情報を獲得し、番組コンテンツ１９２の出演者や提供側が作成した分類などの情報を取得することとしてもよい。

《盛り上がり度算出アルゴリズムについて》
本実施形態に係る盛り上がり度の算出アルゴリズムについて説明する。

図３は、本実施形態に係る盛り上がり度算出アルゴリズムについて説明するための図である。図３を参照して（適宜他の図参照）、盛り上がり度算出アルゴリズムの一例について説明する。

ここで、盛り上がり度を算出するための各パラメータを以下のように設定する。
視聴者３０の視線の先がモニタ１９内に存在する時間の割合ｅ［％］
笑顔レベルｓ（−５：大泣き、−３：泣き顔、０：すまし顔、＋３：笑顔、＋５：大笑い）
視聴者の声量レベルｖ（０：音量なし−５：音量大）
盛り上がり量＝ｓ×ｖ×ｅ（単位時間の平均）
盛り上がり度は、図３に示したグラフの通り、盛り上がり量毎に、−３（大泣き）〜＋３（大笑い）の間でランクされるものとする。

例えば、盛り上がり度が−３の場合をクライマックス、＋３の場合を大笑いとし、それぞれハイライトシーンとして検出することなどが考えられる。また盛り上がり量の絶対値ではなく相対値を利用することで、盛り上がり量の絶対値が小さいコンテンツに対してもハイライト検出が可能となる。

《情報処理装置１０が実行する処理の流れについて》
図４は、本実施形態に係る情報処理装置が実行する処理の流れを示すフローチャートである。図４を参照して（適宜他の図参照）、本実施形態に係る情報処理装置が実行する処理について説明する。

映像情報入力部１１１は、視聴者情報としてカメラ１１を介して視聴者３０の映像情報の入力を受け付ける。盛り上がり度取得部１２０は、映像情報入力部１１１が入力を受け付けた映像情報をもとに、視聴者３０の顔の位置を検出する（ステップＳ１０１）。また、映像情報入力部１１１は、視聴者３０の顔の数を視聴者３０の人数として検出する（ステップＳ１０２）。

続いて、ステップＳ１０３〜ステップＳ１０６の繰り返し処理が実行される。顔検出処理（ステップＳ１０４）の一例として、分類情報取得部１６０は、視聴者３０の年代検出を行う（ステップＳ１０４１）。また、顔検出処理（ステップＳ１０４）の一例として、分類情報取得部１６０は、視聴者３０の性別検出を行う（ステップＳ１０４２）。顔検出処理（ステップＳ１０４）の一例として、盛り上がり度取得部１２０は、視聴者３０の表情検出を行う（ステップＳ１０４３）。検出結果は、メモリ（番組情報記憶部１５０）に格納される（ステップＳ１０５）。

また、音声情報入力部１１２は、視聴者情報としてマイク１２を介して視聴者３０の音声情報の入力を受け付ける。声検出処理（ステップＳ１０７）の一例として、盛り上がり度取得部１２０は、音声情報入力部１１２が入力を受け付けた音声情報をもとに、視聴者３０の音量（声量）を検出する（ステップＳ１０７１）。また、声検出処理（ステップＳ１０７）の一例として、盛り上がり度取得部１２０は、音声情報入力部１１２が入力を受け付けた音声情報をもとに、視聴者３０の高低（声の高さ）を検出する（ステップＳ１０７２）。検出結果は、メモリ（番組情報記憶部１５０）に格納される（ステップＳ１０８）

盛り上がり度取得部１２０は、視聴者３０の声量、声の高さ、表情を示す値、視聴人数等を盛り上がり度として取得する（ステップＳ１０９）。取得結果は、メモリ（番組情報記憶部１５０）に格納される（ステップＳ１１０）。

ハイライト抽出部１３０は、盛り上がり度取得部１２０が取得した盛り上がり度をもとに、番組コンテンツ１９２のハイライトを抽出する（ステップＳ１１１）。ハイライト抽出部１３０は、抽出結果をメモリ（番組情報記憶部１５０）に格納する（ステップＳ１１２）。所定時間が経過すると（ステップＳ１１３で「ＹＥＳ」）、ステップＳ１０１の処理に戻る。例えば、このように、所定時間が経過するまで待機することによって、カメラ１１が撮影した映像１フレーム毎に繰り返しステップＳ１０１〜ステップＳ１１２の処理が行われる。

《本実施形態に係るシステムの変形例について》
図５は、本実施形態に係るシステムの変形例を示す図である。図５を参照して（適宜他の図参照）、本実施形態に係るシステムの変形例について説明する。

図５に示す例では、モニタ１９に、カメラ１１が２つ備え付けられ、マイク１２が２つ備え付けられている。このように、カメラ１１を複数とすることで、視聴者３０の位置や視線を、より検出しやすくなることが考えられる。また、マイク１２を複数とすることで、視聴者３０の音を、より検出しやすくなることが考えられる。

また、１台のカメラ１１を用いる場合、顔の角度や髪の影響により、顔検出や視線検出の精度が低下する場合がある。２台以上を用いてその結果を平均化することで、バラつきが少なく、より精度の高い検出が可能となる。

カメラ１１が複数存在する場合には、映像情報入力部１１１が複数存在することとなり、映像情報入力部１１１は、複数のカメラ１１のそれぞれを介して視聴者３０の映像情報の入力を受け付ける。マイク１２が複数存在する場合には、音声情報入力部１１２が複数存在することとなり、音声情報入力部１１２は、複数のマイク１２のそれぞれを介して視聴者３０の音声情報の入力を受け付ける。

《本実施形態が奏する効果について》
従来においては、番組コンテンツの視聴時間を基準とした視聴率で番組コンテンツを評価していた。それに対して、本実施形態においては、視聴者の喜怒哀楽を識別することで番組コンテンツの分類、評価、ハイライト検出を行うこととした。これによって、本実施形態は、以下のような優れた効果を奏する。

１）視聴者は、視聴者自身を含む複数の視聴者の盛り上がり具合を元にした情報から、番組コンテンツを選択することができる。

２）視聴者の属性(年代、性別)および番組コンテンツの属性から、視聴者の嗜好に沿った番組コンテンツを選択できる。ここでいう選択は視聴者自身が自分で選択する以外に、システムが番組コンテンツを推奨するということも含むものとする。

３）番組コンテンツを視聴したいが、十分な時間が確保できない場合や短時間で視聴したい場合に、盛り上がり具合からハイライト部分を選択して視聴することができる。また、システムに任せて、ハイライト部分のみを抽出して一連のコンテンツとして提供することも可能である。この機能により視聴者の視聴時間を短縮できる。

４）多くの視聴者からの情報をネットワーク５０上のサーバ６０で情報処理することで、盛り上がり情報には、集合知として多数の視聴者の嗜好が取り込まれる。また、この盛り上がり情報を利用することで、より精度が高く、視聴者の嗜好に沿った番組コンテンツを視聴者が選択できるようになる。

５）視聴者の属性(年代、性別)情報を番組コンテンツの製作者が利用することで、ターゲット視聴者に、より適した番組コンテンツの製作を行うことができる。

６）視聴者の属性（年代、性別）情報を広告（ＣＭ）に利用することで、よりターゲットを絞った広告を展開することができる。

７）視聴者の属性（年代、性別）は、カメラで取得した映像のみから判定されるものであるため、視聴者が顔情報の事前登録などの手間が必要無い。

上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本実施形態に係るシステム構成を示す図である。 本実施形態に係る情報処理装置の機能構成を示す図である。 本実施形態に係る盛り上がり度算出アルゴリズムについて説明するための図である。 本実施形態に係る情報処理装置が実行する処理の流れを示すフローチャートである。 本実施形態に係るシステムの変形例を示す図である。

符号の説明

１０ 情報処理装置
１１ カメラ
１２ マイク
１９ モニタ
３０ 視聴者
４０ 録画再生装置
５０ ネットワーク
６０ サーバ
１１０ 視聴者情報入力部
１１１ 映像情報入力部
１１２ 音声情報入力部
１２０ 度取得部
１３０ ハイライト抽出部
１４０ 閾値記憶部
１５０ 番組情報記憶部
１６０ 分類情報取得部
１７０ 評価情報取得部
１８０ 送信部
１９１ モニタ制御部
１９２ 番組コンテンツ

Claims (12)

1. モニタに表示された映像を見ることにより、または、スピーカから出力された音声を聴くことにより、再生された番組コンテンツを視聴する視聴者に関する情報の入力を、視聴者情報として受け付ける視聴者情報入力部と、
   前記視聴者情報入力部が入力を受け付けた前記視聴者情報をもとに、当該視聴者の盛り上がり度を取得する盛り上がり度取得部と、
   前記盛り上がり度取得部が取得した前記盛り上がり度をもとに、前記番組コンテンツのハイライトを抽出するハイライト抽出部と、
   を備える、情報処理装置。
2. 前記視聴者情報入力部は、
   前記視聴者情報としてカメラを介して前記視聴者の映像情報の入力を受け付ける映像情報入力部と、マイクを介して前記視聴者情報として前記視聴者の音声情報の入力を受け付ける音声情報入力部とのうち、少なくともいずれか一方を有する、
   請求項１に記載の情報処理装置。
3. 閾値を記憶する閾値記憶部をさらに備え、
   前記ハイライト抽出部は、
   前記盛り上がり度取得部が取得した前記盛り上がり度と前記閾値記憶部が記憶する前記閾値との比較を行い、当該盛り上がり度が当該閾値を超える時刻または前記閾値未満となる時刻と、前記番組コンテンツに付与された当該番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、ハイライト情報として番組情報記憶部に記憶することによって、前記番組コンテンツのハイライトを抽出する、
   請求項２に記載の情報処理装置。
4. 前記盛り上がり度取得部は、
   前記視聴者情報入力部が前記映像情報入力部を有する場合には、前記映像情報をもとに、前記視聴者の表情を示す値と、前記視聴者が前記番組コンテンツを視聴している時間に対する、前記視聴者の視線が前記モニタの映像表示面上にある時間の割合と、前記視聴者の視聴人数のうち、少なくともいずれか１つを、前記盛り上がり度として取得する、
   請求項３に記載の情報処理装置。
5. 前記盛り上がり度取得部は、
   前記視聴者情報入力部が前記音声情報入力部を有する場合には、前記音声情報をもとに、前記視聴者の声量と、前記視聴者の声の高さとのうち、少なくともいずれか１つを、前記盛り上がり度として取得する、
   請求項３に記載の情報処理装置。
6. 前記盛り上がり度取得部は、
   複数の前記盛り上がり度を取得した場合に、当該取得した複数の前記盛り上がり度を乗算した値を、新たな前記盛り上がり度として取得し、
   前記ハイライト抽出部は、
   前記盛り上がり度取得部が取得した前記新たな盛り上がり度を前記比較の対象とする、
   請求項３に記載の情報処理装置。
7. 前記視聴者情報入力部が前記映像情報入力部を有する場合には、前記映像情報をもとに、前記番組コンテンツの動きの激しさ、前記視聴者の視聴人数、年代および性別を示す情報のうち、少なくともいずれか１つを取得し、取得した情報と、前記番組コンテンツに付与された当該番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、分類情報として番組情報記憶部に記憶する、分類情報取得部をさらに備える、
   請求項３に記載の情報処理装置。
8. 前記視聴者情報入力部が前記音声情報入力部を有する場合には、前記音声情報をもとに、前記視聴者の性別を示す情報を取得し、取得した情報と、前記番組コンテンツに付与された当該番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、分類情報として番組情報記憶部に記憶する、分類情報取得部をさらに備える、
   請求項３に記載の情報処理装置。
9. 前記盛り上がり度取得部が取得した前記盛り上がり度と、時刻と、前記番組コンテンツに付与された当該番組コンテンツを識別可能とする番組識別情報とを対応付けた情報を、評価情報として番組情報記憶部に記憶する、評価情報取得部をさらに備える、
   請求項３に記載の情報処理装置。
10. 前記番組情報記憶部に記憶された情報を、ネットワークを介して、サーバに送信する送信部をさらに備える、
    請求項７乃至請求項９のいずれかに記載の情報処理装置。
11. 前記映像情報入力部が複数存在する場合に、当該映像情報入力部は、複数のカメラのそれぞれを介して前記視聴者の映像情報の入力を受け付け、前記音声情報入力部が複数存在する場合に、複数のマイクのそれぞれを介して前記視聴者の音声情報の入力を受け付ける
    請求項３に記載の情報処理装置。
12. 視聴者情報入力部が、モニタに表示された映像を見ることにより、または、スピーカから出力された音声を聴くことにより、再生された番組コンテンツを視聴する視聴者に関する情報の入力を、視聴者情報として受け付けるステップと、
    盛り上がり度取得部が、前記視聴者情報入力部が入力を受け付けた前記視聴者情報をもとに、当該視聴者の盛り上がり度を取得するステップと、
    ハイライト抽出部が、前記盛り上がり度取得部が取得した前記盛り上がり度をもとに、前記番組コンテンツのハイライトを抽出するステップと、
    を含む、情報処理方法。

Images