JP2013239991A - テレビ制御装置、テレビ制御方法及びテレビ制御プログラム - Google Patents

テレビ制御装置、テレビ制御方法及びテレビ制御プログラム Download PDF

Info

Publication number
JP2013239991A
JP2013239991A JP2012113059A JP2012113059A JP2013239991A JP 2013239991 A JP2013239991 A JP 2013239991A JP 2012113059 A JP2012113059 A JP 2012113059A JP 2012113059 A JP2012113059 A JP 2012113059A JP 2013239991 A JP2013239991 A JP 2013239991A
Authority
JP
Japan
Prior art keywords
television
content
degree
control
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012113059A
Other languages
English (en)
Other versions
JP5847646B2 (ja
Inventor
Hiroyoshi Watanabe
大喜 渡邊
Yasuhiko Miyazaki
泰彦 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012113059A priority Critical patent/JP5847646B2/ja
Publication of JP2013239991A publication Critical patent/JP2013239991A/ja
Application granted granted Critical
Publication of JP5847646B2 publication Critical patent/JP5847646B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】団欒視聴場の雰囲気に合わせてテレビを制御すること。
【解決手段】複数ユーザの注目によるテレビの視聴度合いと複数ユーザの発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報をイベントテーブルに記憶しておき、団欒視聴中の複数ユーザを撮影した映像データを用いて視聴度合いを計算すると共に、その複数ユーザの発話による音声データを用いて盛上り度合いを計算し、上記イベントテーブルを用いて、過去と現在でそれぞれ計算された注目度及び強調度の各時間変化に対応するイベント情報を判定し、判定されたイベント情報の内容がコンテンツ制御に関する場合に、外部から取得した情報に基づいて複数ユーザへの推薦コンテンツを決定してテレビ300の画面に表示させ、判定されたイベント情報の内容がテレビの基本機能の制御に関する場合に、その内容に基づいてテレビ300の基本機能を制御する。
【選択図】図1

Description

本発明は、テレビを制御する技術に関する。
テレビの視聴方法として、ユーザがリモコンを用いてテレビの電源を付け、所期番組を選択するという視聴行為は一般的である。近年、このような視聴行為に対し、ユーザの状況を推定する技術(以下、状況推定技術)を活用することにより、ユーザの現状況に応じてテレビを自動制御する技術が提案されている。
例えば、非特許文献1によれば、テレビ操作制御技術に関し、ユーザの存在やその動きを感知して、リモコンを利用することなく自動で電源をオンオフする技術が開示されている。具体的には、ユーザが部屋から出て誰もテレビを観ていないとされる場合や、ユーザの視線方向を認識して視聴していないとされる場合には、消画する。
また、そのようなユーザの表層的な状況のみでなく、ユーザの心的な状況を推定して画面表示対象コンテンツの検索処理や推薦処理に役立てる技術も提案されている。例えば、非特許文献2によれば、非特許文献3の「顔の変化度合測定」技術を用いて、視聴中の番組に対するユーザの関心の高さを推定する技術が開示されている。
具体的には、視聴中のユーザの顔画像とそのユーザの基準顔画像のSURF(Speed-Up Robust Features)を取得し、k−means法(K平均法)によりクラスタに分類してその要素数を比較して顔表情の変化度を計算し、その変化度が大きい番組場面を当該ユーザの関心度が高いものとしてブックマークを付与し、再視聴のためのインデキシングに利用する。
鶴見辰吾、「小特集 画像認識とヒューマンインタフェース、3.画像認識を応用したヒューマンインタフェース、3−1.インテリジェント人感センサ」、映像情報メディア学会誌、Vol.64、No.12、2010年、p.1809-1811 苗村昌秀、外5名、「小特集 画像認識とヒューマンインタフェース、3.画像認識を応用したヒューマンインタフェース、3−3.視聴状況に基づいたテレビインタフェース」、映像情報メディア学会誌、Vol.64、No.12、2010年、p.1816-1819 奥田誠、外1名、「画像処理による顔の変化度合測定」、2010年映像情報メディア学会年次大会予稿集、2010年
一方、一般的なテレビの視聴形態の一つに、テレビを囲んで複数ユーザで団欒しながら視聴するスタイルが存在する。この団欒視聴スタイルでは、何か他の作業を行いながら視聴したり、ユーザ同士が会話をしながら視聴したりと、テレビの画面を特に注視することなく受動的に映像を視聴することが多い。
このとき、ユーザの意図とは無関係に次々とコンテンツが画面に表示されるが、その場の雰囲気に応じて適切に「テレビの電源を落とす」、「音量を上げ下げする」、「チャンネルを変える」等の操作が行われることがある。
そこで、こうしたテレビの団欒視聴時に、その場の雰囲気を推定することにより、リモコン操作することなくテレビの基本機能や表示コンテンツを自動制御できれば極めて利便性が高いと言える。
しかしながら、非特許文献1の従来技術によれば、単にユーザの存在や動作の感知信号に基づいてテレビを制御するため、ユーザの表層的な状況を推定するに留まり、場の雰囲気といったユーザの心的要素が含まれる状況を推定して制御することはできない。
一方、非特許文献2の従来技術によれば、顔画像情報から取得した表情変化に基づいてユーザの心的状況を推定することは可能である。しかし、団欒視聴時には、ユーザ同士が会話している状況が存在し、観測用の撮像機器に対して常に顔を向けているとは限らないため、団欒視聴時下での心的状況を推定する手段としては適切ではない。
また、非特許文献2で推定されるユーザの心的状況は、番組の関心度といった個人を中心としたものにすぎず、複数ユーザによって構成される団欒視聴場での心的状況を推定することはできない。
すなわち、複数ユーザによるテレビの団欒視聴時に、そのユーザが顔をわざわざ撮像機器に向けずとも、場の雰囲気といった心的状況を推定してテレビを自動制御する技術は発明されていなかった。
本発明は、上記を鑑みてなされたものであり、その課題とするところは、団欒視聴場の雰囲気に合わせてテレビを制御することにある。
請求項1記載のテレビ制御装置は、複数人で団欒視聴中のテレビを制御するテレビ制御装置において、複数人の注目によるテレビの視聴度合いと前記複数人の発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報をイベントテーブルに記憶しておく記憶手段と、前記複数人を撮影した映像データを用いて前記視聴度合いを計算し、前記複数人の発話による音声データを用いて前記盛上り度合いを計算する解析手段と、前記記憶手段からイベントテーブルを読み出して、過去と現在でそれぞれ計算された前記視聴度合い及び前記盛上り度合いの各時間変化に対応するイベント情報を判定する判定手段と、判定されたイベント情報の内容がコンテンツ制御に関する場合、外部から取得した情報に基づいて前記複数人への推薦コンテンツを決定する推薦手段と、決定された推薦コンテンツを前記テレビの画面に表示させる制御手段と、判定されたイベント情報の内容がコンテンツ制御以外の場合、当該内容に基づいて前記テレビの機能を制御する制御手段と、を備えることを特徴とする。
請求項2記載のテレビ制御装置は、請求項1記載のテレビ制御装置において、前記推薦手段は、外部ネットワークを介して電子番組情報を取得し、現在放送中の放送番組に関する複数のキーワードを抽出して、ソーシャル・ネットワーキング・サイトへの書込み数を集計し、最高書込み数のキーワードを持つ放送番組を前記推薦コンテンツとして決定する。
請求項3記載のテレビ制御方法は、複数人で団欒視聴中のテレビを制御するテレビ制御方法において、テレビ制御装置により、複数人の注目によるテレビの視聴度合いと前記複数人の発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報を記憶手段のイベントテーブルに記憶しておく記憶ステップと、前記複数人を撮影した映像データを用いて前記視聴度合いを計算し、前記複数人の発話による音声データを用いて前記盛上り度合いを計算する解析ステップと、前記記憶手段からイベントテーブルを読み出して、過去と現在でそれぞれ計算された前記視聴度合い及び前記盛上り度合いの各時間変化に対応するイベント情報を判定する判定ステップと、判定されたイベント情報の内容がコンテンツ制御に関する場合、外部から取得した情報に基づいて前記複数人への推薦コンテンツを決定する推薦ステップと、決定された推薦コンテンツを前記テレビの画面に表示させる制御ステップと、判定されたイベント情報の内容がコンテンツ制御以外の場合、当該内容に基づいて前記テレビの機能を制御する制御ステップと、を備えることを特徴とする。
請求項4記載のテレビ制御方法は、請求項3記載のテレビ制御方法において、前記推薦ステップは、外部ネットワークを介して電子番組情報を取得し、現在放送中の放送番組に関する複数のキーワードを抽出して、ソーシャル・ネットワーキング・サイトへの書込み数を集計し、最高書込み数のキーワードを持つ放送番組を前記推薦コンテンツとして決定する。
請求項5記載のテレビ制御プログラムは、請求項3又は4記載のテレビ制御方法をコンピュータに実行させることを特徴とする。
以上より、本発明によれば、複数人の注目によるテレビの視聴度合いと複数人の発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報をイベントテーブルに記憶しておき、団欒視聴中の複数人を撮影した映像データを用いて上記視聴度合いを計算し、その複数人の発話による音声データを用いて上記盛上り度合いを計算して、イベントテーブルを用いて過去と現在でそれぞれ計算された視聴度合い及び盛上り度合いの各時間変化に対応するイベント情報を判定し、判定されたイベント情報の内容がコンテンツ制御に関する場合に、外部から取得した情報に基づいて複数人への推薦コンテンツを決定してテレビの画面に表示させ、判定されたイベント情報の内容がコンテンツ制御以外の場合に、その内容に基づいてテレビの機能を制御するため、団欒視聴場の雰囲気に合わせてテレビを制御することができる。
本発明によれば、団欒視聴場の雰囲気に合わせてテレビを制御することができる。
テレビ制御装置の機能ブロックを示す図である。 指標化データリスト例を示す図である。 イベント判定部の処理フローを示す図である。 会話を楽しみたい人向けのイベントテーブル例を示す図である。 視聴に集中したい人向けのイベントテーブル例を示す図である。 イベント指示履歴データリスト例を示す図である。 外部ネットワーク構成例を示す図である。 話題度の集計結果例を示す図である。 コンテンツの表示制御例を示す図である。
本発明は、テレビを団欒視聴中の複数ユーザによる場の雰囲気といった心的状況は、その複数ユーザの発する音声の強調状態から推測可能であることに着目し、音声情報を利用した状況推定技術と画像情報を利用した状況推定技術とを組み合わせ、団欒視聴時の状況やその場の雰囲気を推定する。また、その場にいる人数や、音声及び画像の時間変化を考慮してルールブックを事前生成しておき、そのルールブックに基づいて現在の場の雰囲気を推定し、その推定結果に合わせたテレビ制御を実行することを特徴としている。
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
図1は、本実施の形態に係るテレビ制御装置の機能ブロックを示す図である。テレビ制御装置100は、通信可能に接続された映像・音声取得装置200から映像データ及び音声データを取得し、それら各データに基づいて団欒視聴場の雰囲気を推定し、その推定結果を基にテレビ300を制御する装置である。
映像・音声取得装置200は、テレビ300の周辺で団欒視聴中の複数ユーザを撮画すると共にその音声を集音する装置であり、一般市販されている個々のカメラやマイク、又はマイク付きカメラ等で実現可能である。
以下、テレビ制御装置100の機能を説明する。テレビ制御装置100は、図1に示したように、特徴解析部11と、データ記憶部12と、イベント判定部13と、テレビ制御部14と、コンテンツ推薦部15と、表示制御部16とで主に構成される。本装置100は、メモリ等の記憶手段、CPU等の計算・制御手段を備えたコンピュータで実現可能であり、プログラムによって実行される。
特徴解析部11は、映像・音声取得装置200で撮画・集音された映像データ及び音声データを取得し、その映像データから団欒視聴中の複数ユーザの注目によるテレビの視聴度合いやその場の人数を計算し、更に、その音声データからそのユーザの発話による場の盛上り度合いを計算することにより、団欒視聴場の情報を指標化する機能を有する。
データ記憶部12は、上記テレビ視聴度合いと上記盛上り度合いとの各時間変化や場の人数に応じて定めた各イベント情報をイベントテーブルに予め記憶しておく機能や、特徴解析部11によって行われた解析結果を指標化データリストに記憶する機能を有する。
イベント判定部13は、データ記憶部12からイベントテーブル及び指標化データリストを読み出して、過去と現在でそれぞれ計算された視聴度合い及び盛上り度合いの各時間変化や場の人数に対応するイベント情報を判定する機能を有する。
テレビ制御部14は、イベント判定部13によって判定されたイベント情報の内容がコンテンツ制御以外の場合に、その内容に基づいてテレビ300の機能を制御する機能を有する。尚、以下では、画面のオンオフや音量調節といったテレビの基本機能を制御する場合を例に説明する。
コンテンツ推薦部15は、イベント判定部13によって判定されたイベント情報の内容がコンテンツ制御に関する場合に、外部ネットワーク400を介して外部から取得した情報に基づいて複数ユーザへの推薦コンテンツを決定する機能を有する。
表示制御部16は、コンテンツ推薦部15によって決定された推薦コンテンツをテレビ300の画面に表示させる機能を有する。
次に、テレビ制御装置100の動作を説明する。最初に、テレビ300を団欒視聴中の複数ユーザを撮画・集音した映像データ及び音声データが取得された後に、特徴解析部11により、その映像データからテレビの視聴度合いが計算され、その音声データから場の盛上り度合いが計算される(ステップS101)。
ここでは、「注目度」と「強調度」を定義し、「注目度」を視聴度合いの指標とし、「強調度」を場の盛上りの指標として、団欒視聴場の情報の数値化を行う。以下、「注目度」と「強調度」の計算例について説明する。
「注目度(視聴度合い)」は、例えば、得られた映像データからユーザの顔を複数の識別器を通じて識別し、更にその複数の識別器を統合してテレビ300を向いたユーザの顔を検出し、テレビ300を向いているユーザ数と映像データから識別された全ユーザ数との比を「注目度」として計算する。この際に、ユーザの顔の角度と大きさをあらかじめ閾値パラメータとして定義しておく。尚、このような「注目度」の計算方法は公知技術であり、例えば、特開2006−65447号公報に開示されている。
「強調度(盛上り度合い)」は、例えば、まず、音声において任意区間の特徴量ベクトルの強調状態及び平静状態を各出現確率から、強調状態であるか否かを判定する。「(音声が)強調状態である」とは、例えば、楽しいときに笑声となり、怒るときには声を荒げ、嬉しいときには大声となる、といったような韻律特徴の変化を伴う状態であり、強調状態の音声には何らかの感性状態や心理状態が含まれると推測される。
少なくとも基本周波数パワー、動的特徴量の時間変化特性値、又はこれらのフレーム間差分の少なくともいずれかを含む音声特徴量の組から成る音声特徴量ベクトルの強調状態での出現確率及び平静状態での出現確率をコードごとに格納した符号帳を用い、入力音声からフレームごとに得た音声特徴量の組を量子化した対応する音声特徴量ベクトルの強調状態及び平静状態での各出現確率を求め、それらを比較して強調状態であるか否かを判定する。
次に、音声が強調状態となる尤度と平静状態となる尤度を求め、その尤度比を「強調度」として計算する。尚、このような「強調度」の計算方法は公知技術であり、例えば、特開2003−316378号公報、「音声の感性情報に注目したマルチメディアコンテンツ要約技術」(日高浩太、外4名、インタラクション2003論文集、2003年2月、p.17−24)に開示されている。
ここで説明した「注目度」と「強調度」の計算方法は例であり、映像データを用いて「注目度」を計算し、音声データを用いて「強調度」を計算可能であればどのような計算方法も採用できる。
尚、特徴解析部11によって計算された「強調度」と「注目度」の指標化値は、イベント判定部13に送信され、データ記憶部12に蓄積される。併せて、「注目度」の算出過程で計算された全ユーザ数(テレビの方向を向いている・いないに関わらず撮影された全ての顔の数)が「場の人数」としてイベント判定部13に送信され、データ記憶部12に蓄積される。
以上のステップS101は、例えば1秒間隔(一定時間間隔)で繰り返し実行され、図2に示すように、「(解析又は撮影)時刻」と「場の人数」と「注目度」と「強調度」とを対応付けた団欒視聴場の情報(指標化データリスト)が、現在から遡った過去の一定期間、データ記憶部12に蓄積される。
次に、イベント判定部13により、データ記憶部12からイベントテーブル及び指標化データリストが読み出され、ステップS101で計算された「強調度」と「注目度」の各時間変化や「場の人数」に基づいて、テレビ300で実行するイベントが決定される(ステップS102)。
ここで、図3を参照しながら、イベント判定部13の動作を詳述する。最初に、データ記憶部12からイベントテーブルが読み出され、ユーザの満足度を高めるためにテレビ300に対するイベントの実行が指示される(ステップS102−1)。
ここで、イベントテーブルについて説明する。満足度の感じ方は人それぞれであり、容易に一般化できない場合が多い。例えば、テレビを見ているときに、全員が盛り上がっていない状態について、不満に思う場合もあれば、気にならずにむしろ静かに視聴していることを好む場合もある。
そこで、本実施の形態では、「強調度」と「注目度」と「場の人数」、更にはそれらの値の時間変化によって、テレビ300で実行するイベントをイベントテーブルによって管理している。これにより、対象となるユーザが、どのような状態において、より高い満足度を感じるか、すなわち満足度がどのようにモデル化できるかによって、様々なパターンに基づいてテレビ300を制御することが可能となる。
例えば、図4に示すような、団欒時の会話を楽しみたい人向け用のイベントテーブルを生成し利用してもよいし、図5に示すような、会話よりも視聴に集中したい人向け用のイベントテーブルを用いてもよい。例えば条件4のように、過去は盛り上がっていてテレビを見ていたが現在急に静かになった場合、図4のイベントテーブルでは関連情報を提示して再度盛り上げようとしているが、図5のイベントテーブルでは音量を下げてそのまま視聴を促すことを期待して設定している。このようにイベントテーブルは設計者によって書き換え可能であり、多様なユーザに対応できる。
次に、現在の時刻が前回のイベント実行から例えば5分以内(一定時間以内)でない場合に、「強調度」と「注目度」と「場の人数」のリアルタイムデータとその過去データ(すなわち、指標化データリスト)がデータ記憶部12から取得される(ステップS102−2〜S102−3)。
尚、本テレビ制御装置100によってテレビ300が自動制御されるが、その制御タイミングが頻繁に発生するとユーザに対して視覚的・聴覚的な煩わしさを与えるため、前回のイベント実行から5分以内の場合には処理を終了する。
次に、イベントテーブルを用いてテレビ300で実行するイベントの判定処理が開始され、「強調度」と「注目度」のリアルタイムデータとその過去データとの各時間変化や「場の人数」がイベントテーブルに設定された各パラメータに合致する場合に、合致した「イベント指示」情報がイベントテーブルから抽出され、図6に示すように、現在時刻に対応付けてイベント指示履歴データリストに蓄積される(ステップS102−4〜S102−7)。
例えば、イベントテーブルの条件項目を上から順に参照し、現在の「場の人数」が値に適合するか否か、5分前から現時刻までの平均値と現在値の「注目度」及び「強調度」が閾値(0.3)よりも高いか否かでマッチングを順次行い、合致する「イベント指示(「内容」と「指示先」との組み合わせ)」情報が抽出される。
尚、イベントテーブルの参照項目は、この限りではなく、閾値を異なる値に設定してもよいし、より細かな時間変化を参照してもよいし、参照パラメータを増やしてもよい。
最後に、抽出された「イベント指示」情報に含まれる「内容」のイベント指示が、その「イベント指示」情報の「指示先」に応じて、テレビ制御部14若しくはコンテンツ推薦部15、又はそれら両部14,15に送信される(ステップS102−8〜S102−10)。
例えば、実行するイベントが音量や電源などの「テレビの基本機能の制御に関するもの」であれば、その実行指示がテレビ制御部14に送られる。一方、チャンネル切り替えや関連情報の提供など「コンテンツ制御に関するもの」であれば、コンテンツ制御指示がコンテンツ推薦部15に送られる。
以上、イベント判定部13の動作を詳述した。引き続き、テレビ制御装置100の動作を説明する。
ステップS102の後、テレビ制御部14により、イベント判定部13から送信されたイベント指示に基づいてテレビの基本機能が制御される(ステップS103)。例えば、消画や音量の上げ下げなどが実行されるが、指示された内容によって出力される結果は一意に決定しているため、従来技術を用いて制御可能である。
次に、コンテンツ推薦部15により、イベント判定部13から送信されたコンテンツ制御を目的とするイベント指示に基づいて、提供する推薦コンテンツが決定され、表示制御部16に送信される(ステップS104)。
尚、ここで決定されるコンテンツは、例えば、動画、静止画、音声、音楽、文字情報であり、それらを組み合わせた複数のコンテンツでもよい。推薦コンテンツを決定する際に必要なコンテンツ情報は、例えば、EPG(Electronic Program Guide)やSNS(Social Networking Service)など、インターネット上に存在するデータを利用可能である。
ここでは例として、第三者がリアルタイムに入力した番組関連情報を機械的に解析し、話題として現在盛り上がっている放送番組を抽出する手法を用いて、推薦番組を決定する方法について説明する。図7にその構成を示す。
まず、イベント判定部13から「コンテンツ切替」の指示を受けると、インターネットなどの外部ネットワーク400を介して放送局21からEPGデータ(電子番組情報)を取得し、現在放送中の「番組名」「放送局」「ジャンル」「登場人物」等のキーワードを抽出する。
次に、現在時刻を含む任意の時間内で、第三者端末22,23によってコミュニティサーバ24に書き込まれた情報のうち上記抽出キーワードが含まれる数(すなわち、キーワードの書込み数)を集計する。尚、コミュニティサーバ24とは、twitterやSNS等のソーシャル・ネットワーキング・サイトを提供・運営しているサーバである。
最後に、図8に示すように、キーワードの集計数(書込み数)が大きいほど話題になっていると判断できることから、一番話題性の高いとされる最高集計数のキーワードを持つ放送番組を推薦番組として決定する。
最後に、表示制御部16により、コンテンツ推薦部15から送信されたコンテンツ情報を用いて、テレビ300の画面にコンテンツが表示される(ステップS105)。
例えば、図9の例1に示すように、画面全体を推薦番組のチャンネルに強制的に切り替える。他の表示例としては、複数の推薦コンテンツが送られてきた場合には、同図の例2に示すようにワイプとして並べて提示してもよいし、SNSから取得した関連情報を表示する場合には、同図の例3に示すように画面上にポップアップして提示してもよい。
以上より、本実施の形態によれば、データ記憶部12が、複数ユーザの注目によるテレビの視聴度合い(注目度)と複数ユーザの発話による場の盛上り度合い(強調度)との各時間変化に応じて定めた各イベント情報をイベントテーブルに記憶しておき、特徴解析部11が、団欒視聴中の複数ユーザを撮影した映像データを用いて視聴度合いを計算すると共に、その複数ユーザの発話による音声データを用いて盛上り度合いを計算し、イベント判定部13が、上記イベントテーブルを用いて、過去と現在でそれぞれ計算された注目度及び強調度の各時間変化に対応するイベント情報を判定し、コンテンツ推薦部15及び表示制御部16が、判定されたイベント情報の内容がコンテンツ制御に関する場合に、外部から取得した情報に基づいて複数ユーザへの推薦コンテンツを決定してテレビ300の画面に表示させ、テレビ制御部14が、判定されたイベント情報の内容がテレビの基本機能の制御に関する場合に、その内容に基づいてテレビ300の基本機能を制御するので、複数ユーザが常に観測用の撮像機器に顔を向けていなくても、その場の雰囲気を推測し、コンテンツ切替やテレビの基本機能を自動制御することができる。
100…テレビ制御装置
200…映像・音声取得装置
300…テレビ
400…外部ネットワーク
11…特徴解析部
12…データ記憶部
13…イベント判定部
14…テレビ制御部
15…コンテンツ推薦部
16…表示制御部
21…放送局
22,23…第三者端末
24…コミュニティサーバ
S101〜S105,S102−1〜S102−10…ステップ

Claims (5)

  1. 複数人で団欒視聴中のテレビを制御するテレビ制御装置において、
    複数人の注目によるテレビの視聴度合いと前記複数人の発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報をイベントテーブルに記憶しておく記憶手段と、
    前記複数人を撮影した映像データを用いて前記視聴度合いを計算し、前記複数人の発話による音声データを用いて前記盛上り度合いを計算する解析手段と、
    前記記憶手段からイベントテーブルを読み出して、過去と現在でそれぞれ計算された前記視聴度合い及び前記盛上り度合いの各時間変化に対応するイベント情報を判定する判定手段と、
    判定されたイベント情報の内容がコンテンツ制御に関する場合、外部から取得した情報に基づいて前記複数人への推薦コンテンツを決定する推薦手段と、
    決定された推薦コンテンツを前記テレビの画面に表示させる制御手段と、
    判定されたイベント情報の内容がコンテンツ制御以外の場合、当該内容に基づいて前記テレビの機能を制御する制御手段と、
    を備えることを特徴とするテレビ制御装置。
  2. 前記推薦手段は、
    外部ネットワークを介して電子番組情報を取得し、現在放送中の放送番組に関する複数のキーワードを抽出して、ソーシャル・ネットワーキング・サイトへの書込み数を集計し、最高書込み数のキーワードを持つ放送番組を前記推薦コンテンツとして決定する請求項1記載のテレビ制御装置。
  3. 複数人で団欒視聴中のテレビを制御するテレビ制御方法において、
    テレビ制御装置により、
    複数人の注目によるテレビの視聴度合いと前記複数人の発話による場の盛上り度合いとの各時間変化に応じて定めた各イベント情報を記憶手段のイベントテーブルに記憶しておく記憶ステップと、
    前記複数人を撮影した映像データを用いて前記視聴度合いを計算し、前記複数人の発話による音声データを用いて前記盛上り度合いを計算する解析ステップと、
    前記記憶手段からイベントテーブルを読み出して、過去と現在でそれぞれ計算された前記視聴度合い及び前記盛上り度合いの各時間変化に対応するイベント情報を判定する判定ステップと、
    判定されたイベント情報の内容がコンテンツ制御に関する場合、外部から取得した情報に基づいて前記複数人への推薦コンテンツを決定する推薦ステップと、
    決定された推薦コンテンツを前記テレビの画面に表示させる制御ステップと、
    判定されたイベント情報の内容がコンテンツ制御以外の場合、当該内容に基づいて前記テレビの機能を制御する制御ステップと、
    を備えることを特徴とするテレビ制御方法。
  4. 前記推薦ステップは、
    外部ネットワークを介して電子番組情報を取得し、現在放送中の放送番組に関する複数のキーワードを抽出して、ソーシャル・ネットワーキング・サイトへの書込み数を集計し、最高書込み数のキーワードを持つ放送番組を前記推薦コンテンツとして決定する請求項3記載のテレビ制御方法。
  5. 請求項3又は4記載のテレビ制御方法をコンピュータに実行させることを特徴とするテレビ制御プログラム。
JP2012113059A 2012-05-17 2012-05-17 テレビ制御装置、テレビ制御方法及びテレビ制御プログラム Expired - Fee Related JP5847646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012113059A JP5847646B2 (ja) 2012-05-17 2012-05-17 テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012113059A JP5847646B2 (ja) 2012-05-17 2012-05-17 テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Publications (2)

Publication Number Publication Date
JP2013239991A true JP2013239991A (ja) 2013-11-28
JP5847646B2 JP5847646B2 (ja) 2016-01-27

Family

ID=49764646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012113059A Expired - Fee Related JP5847646B2 (ja) 2012-05-17 2012-05-17 テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Country Status (1)

Country Link
JP (1) JP5847646B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101554784B1 (ko) 2013-12-20 2015-09-22 경희대학교 산학협력단 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
JP2016010626A (ja) * 2014-06-30 2016-01-21 グリー株式会社 ゲーム制御方法、コンピュータ及び制御プログラム
KR101766347B1 (ko) * 2015-05-27 2017-08-08 노성렬 집중도 평가시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258748A (ja) * 2007-04-02 2008-10-23 Funai Electric Co Ltd 液晶テレビジョン、及びテレビジョン受信機
JP2010154395A (ja) * 2008-12-26 2010-07-08 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011239247A (ja) * 2010-05-12 2011-11-24 Nippon Hoso Kyokai <Nhk> デジタル放送受信装置および関連情報提示プログラム
JP2012014394A (ja) * 2010-06-30 2012-01-19 Nippon Hoso Kyokai <Nhk> ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
JP2012065054A (ja) * 2010-09-14 2012-03-29 Nippon Television Network Corp 電子番組表生成システム、放送局、テレビ受信機、サーバ及び電子番組表生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258748A (ja) * 2007-04-02 2008-10-23 Funai Electric Co Ltd 液晶テレビジョン、及びテレビジョン受信機
JP2010154395A (ja) * 2008-12-26 2010-07-08 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011239247A (ja) * 2010-05-12 2011-11-24 Nippon Hoso Kyokai <Nhk> デジタル放送受信装置および関連情報提示プログラム
JP2012014394A (ja) * 2010-06-30 2012-01-19 Nippon Hoso Kyokai <Nhk> ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
JP2012065054A (ja) * 2010-09-14 2012-03-29 Nippon Television Network Corp 電子番組表生成システム、放送局、テレビ受信機、サーバ及び電子番組表生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101554784B1 (ko) 2013-12-20 2015-09-22 경희대학교 산학협력단 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
JP2016010626A (ja) * 2014-06-30 2016-01-21 グリー株式会社 ゲーム制御方法、コンピュータ及び制御プログラム
KR101766347B1 (ko) * 2015-05-27 2017-08-08 노성렬 집중도 평가시스템

Also Published As

Publication number Publication date
JP5847646B2 (ja) 2016-01-27

Similar Documents

Publication Publication Date Title
US7889073B2 (en) Laugh detector and system and method for tracking an emotional response to a media presentation
US8995823B2 (en) Method and system for content relevance score determination
US9329677B2 (en) Social system and method used for bringing virtual social network into real life
JP2011217197A (ja) 電子機器、再生制御システム、再生制御方法及びプログラム
CN105615902A (zh) 情绪监控方法和装置
CN113709384A (zh) 基于深度学习的视频剪辑方法、相关设备及存储介质
JP2010181461A (ja) デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
WO2010071112A1 (ja) トピック遷移解析システム、トピック遷移解析方法およびプログラム
US9525841B2 (en) Imaging device for associating image data with shooting condition information
CN113301358B (zh) 内容提供及展示方法、装置、电子设备、存储介质
JP6747444B2 (ja) 情報処理システム、情報処理方法、およびプログラム
CN112653902A (zh) 说话人识别方法、装置及电子设备
JP2010011409A (ja) 映像ダイジェスト装置及び映像編集プログラム
JP2008005175A (ja) 情報配信装置、情報配信方法およびプログラム
JP5847646B2 (ja) テレビ制御装置、テレビ制御方法及びテレビ制御プログラム
US10425578B1 (en) Image capturing assistant
WO2017143951A1 (zh) 一种表情反馈方法及智能机器人
JP2011164681A (ja) 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
US20140012792A1 (en) Systems and methods for building a virtual social network
JP2006279111A (ja) 情報処理装置、情報処理方法およびプログラム
CN110139021A (zh) 辅助拍摄方法及终端设备
CN112492400B (zh) 互动方法、装置、设备以及通信方法、拍摄方法
CN113157174A (zh) 数据处理方法、装置、电子设备及计算机存储介质
WO2016188304A1 (zh) 拍照的方法及装置
CN116088675A (zh) 虚拟形象交互方法及相关装置、设备、系统和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151125

R150 Certificate of patent or registration of utility model

Ref document number: 5847646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees