JP2016092510A - 画像表示システム、画像表示方法および画像表示装置 - Google Patents

Abstract

【課題】ユーザーの感情状態や活動状態に応じたコンテンツを推奨するシステムを提供する。【解決手段】画像表示システム５０は、生体に関する生体情報を検出する生体情報検出部６１２と、体動に関する体動情報を検出する体動情報検出部６１４と、位置に関する位置情報を検出する位置情報検出部６１６と、検出した生体情報に基づいて感情状態を推定する感情状態推定部１７３と、体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部１７４と、推定した感情状態および活動状態に基づいて嗜好を判定する嗜好判定部１７５と、嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部１７６と、を備える。【選択図】図２

Description

本発明は、画像表示システム、画像表示方法および画像表示装置に関する。

近年、家庭内で用いられる電気製品の多くは、手許の遠隔制御装置（リモートコントローラー）で制御される。例えば、テレビジョン装置やビデオ録画装置などのマルチメディア機器には、種々の機能を制御するためのリモートコントローラーを付属品として具備している。
これらのマルチメディア機器は多くの機能を備えるが、多くの機能を指示できるリモートコントローラーの操作も複雑になり、ユーザーがリモートコントローラーを使いこなすのは煩わしく、手間がかかった。そこで、ユーザービリティを向上させるべく、下記特許文献１に示すように、ユーザーの位置情報を用いて、視聴者によるコンテンツの選択の傾向や再生しようとする映像などの供給元としての情報源の選択の状況等々に関する視聴の類型を自動的に識別し、識別された類型に対応したコンテンツを選択して映像表示部または音声出力部での再生に供する装置が提案されている。

特許第４９２９７２１号公報

しかしながら、同一のユーザーであっても、ユーザーの感情状態、視聴場所および活動状態等に応じて嗜好が変化するため、視聴の類型から抽出されたコンテンツは、その時の状況に合致したものであるとは限らなかった。従って、ユーザーの嗜好と合致しない場合には、ユーザーがリモートコントローラーを操作し、視聴するコンテンツを再選択する必要があり、コンテンツを視聴するのに手間と時間を要した。
また、近年ではいわゆるワンセグなどの通信を利用して携帯電話等で移動しながらコンテンツを視聴したり、通信回線を経由してインターネット上からデータを取得して、スマートフォンなどの小型情報端末でコンテンツを視聴したりする形態が増えている。このような動的な視聴環境下において、その時の状況とユーザーの嗜好とに合致したコンテンツを提供することは困難であった。
本発明は、上述の課題に鑑みてなされたものであり、ユーザーの感情状態や活動状態、および状況（環境情報や文脈情報等）に応じたコンテンツを推奨することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
本適用例にかかる画像表示システムは、生体に関する生体情報を検出する生体情報検出部と、体動に関する体動情報を検出する体動情報検出部と、位置に関する位置情報を検出する位置情報検出部と、前記生体情報に基づいて感情状態を推定する感情状態推定部と、前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする。

このような構成によれば、生体情報に基づいて感情状態を推定し、体動情報または位置情報の少なくとも一方に基づいて活動状態を推定し、感情状態および活動状態に基づいて嗜好を判定し、嗜好の判定に基づいて視聴する推奨コンテンツを決定する。従って、感情状態および活動状態に応じて変化する嗜好に合わせて、コンテンツを適切に決定できる。

［適用例２］
上記適用例にかかる画像表示システムにおいて、前記生体情報は脈波を示す脈波信号を含むことが好ましい。

このような構成によれば、脈波を示す脈波信号が生体情報に含まれるため、検出した生体情報から脈波信号を得ることができる。

［適用例３］
上記適用例にかかる画像表示システムにおいて、前記感情状態推定部は、前記脈波信号の周期変動に基づいて前記感情状態を推定することが好ましい。

このような構成によれば、脈波信号の周期変動に基づいて感情状態を推定できる。

［適用例４］
上記適用例にかかる画像表示システムにおいて、前記感情状態推定部は、前記周期変動を解析することにより、自律神経の活性状況を取得し、前記活性状況に基づいて前記感情状態を推定することを特徴とする画像表示システム。

このような構成によれば、周期変動を解析することにより、自律神経の活性状況を取得し、活性状況に基づいて感情状態を推定できる。

［適用例５］
上記適用例にかかる画像表示システムにおいて、前記体動情報は体動に由来する体動信号を含むことが好ましい。

このような構成によれば、体動に由来する体動信号が体動情報に含まれるため、検出した体動情報から体動信号を得ることができる。

［適用例６］
上記適用例にかかる画像表示システムにおいて、前記嗜好判定部は、視聴しているコンテンツに対する興味の有無を判定し、前記コンテンツ決定部は、前記コンテンツに対する前記興味の有無に基づいて、前記推奨コンテンツを決定することが好ましい。

このような構成によれば、コンテンツに対する興味の有無に基づいて、視聴を推奨する推奨コンテンツを決定できるため、視聴者が興味を持つ推奨コンテンツを決定できる。

［適用例７］
上記適用例にかかる画像表示システムにおいて、前記コンテンツ決定部は、視聴する態様の類型を識別し、適合する前記類型から前記推奨コンテンツを決定することが好ましい。

このような構成によれば、視聴する態様の類型を識別し、適合する類型から推奨コンテンツを決定するため、視聴者の類型に適合した推奨コンテンツを決定できる。

［適用例８］
上記適用例にかかる画像表示システムにおいて、前記コンテンツ決定部が決定した前記推奨コンテンツと、ユーザーが視聴した視聴コンテンツと、の差異に基づいて、前記嗜好判定部で前記嗜好を判定するためのパラメーターを視聴者毎に学習する個人特性学習部を備えることが好ましい。

このような構成によれば、嗜好判定部で嗜好を判定するためのパラメーターを視聴者毎に学習するため、嗜好をより正確に判定できる。

［適用例９］
本適用例にかかる画像表示システムは、情報端末装置と、画像表示装置と、が通信可能に接続された画像表示システムであって、前記情報端末装置は、生体に関する生体情報を検出する生体情報検出部と、体動に関する体動情報を検出する体動情報検出部と、位置に関する位置情報を検出する位置情報検出部と、前記画像表示装置と通信する通信部と、を備え、前記画像表示装置は、前記情報端末装置と通信する通信部と、前記生体情報に基づいて感情状態を推定する感情状態推定部と、前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする。

このような構成によれば、生体情報に基づいて感情状態を推定し、体動情報または位置情報の少なくとも一方に基づいて活動状態を推定し、感情状態および活動状態に基づいて嗜好を判定し、嗜好の判定に基づいて視聴する推奨コンテンツを決定するため、感情状態および活動状態に応じて変化する嗜好に合わせて、コンテンツを適切に決定できる。

［適用例１０］
本適用例にかかる画像表示方法は、生体に関する生体情報を検出する生体情報検出工程と、体動に関する体動情報を検出する体動情報検出工程と、位置に関する位置情報を検出する位置情報検出工程と、前記生体情報に基づいて感情状態を推定する感情状態推定工程と、前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定工程と、前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定工程と、前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定工程と、を備えることを特徴とする。

このような方法によれば、生体情報に基づいて感情状態を推定し、体動情報または位置情報の少なくとも一方に基づいて活動状態を推定し、感情状態および活動状態に基づいて嗜好を判定し、嗜好の判定に基づいて視聴する推奨コンテンツを決定するため、感情状態および活動状態に応じて変化する嗜好に合わせて、コンテンツを適切に決定できる。

［適用例１１］
本適用例にかかる画像表示装置は、生体に関する生体情報に基づいて感情状態を推定する感情状態推定部と、体動に関する体動情報、または位置に関する位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする。

このような構成によれば、生体情報に基づいて感情状態を推定し、体動情報または位置情報の少なくとも一方に基づいて活動状態を推定し、感情状態および活動状態に基づいて嗜好を判定し、嗜好の判定に基づいて視聴する推奨コンテンツを決定するため、感情状態および活動状態に応じて変化する嗜好に合わせて、コンテンツを適切に決定できる。

本発明の実施形態に係る画像表示システムの概略を示す図。 情報端末装置の構成を示すブロック図。 デジタルテレビの構成を示すブロック図。 システムコントローラーの機能部を示すブロック図。 画像表示システムによる処理の流れを示すフローチャート。 判定した嗜好に基づいて実行リストを作成する処理の流れを示すフローチャート。

以下、本発明の実施形態について図面を参照して説明する。

（実施形態）
以下、本発明の実施形態について図面を参照して説明する。
図１は、画像表示システム５０の概略を示す図である。画像表示システム５０は、画像表示装置としてのデジタルテレビジョン受像機（以下、デジタルテレビという）１００、および、視聴者ＧＦ（ユーザー）の腕部等に装着される腕時計型の情報端末装置６００が通信可能に接続されている。
この画像表示システム５０は、情報端末装置６００が視聴者ＧＦの生体情報や体動情報を検出してデジタルテレビ１００に通知し、デジタルテレビ１００が視聴者ＧＦの生体情報や体動情報に基づいて視聴者ＧＦの感情状態や活動状態を推定し、推定した結果に基づいて、視聴者ＧＦに適したコンテンツ視聴を提案するものである。

デジタルテレビ（表示部）１００は、その筐体１０１に、映像が表示されるスクリーン１０２を持つ表示器１６０を備えている。この表示器１６０は、例えば、液晶パネルやプラズマディスプレイを想定する。また、このデジタルテレビ１００は、リモートコントローラー２００から送信される赤外光によるリモートコントロール信号により、制御されるように構成されている。
本実施形態では、デジタルテレビ１００のスクリーン１０２の上方中央の筐体１０１の部分にカメラ１９０が備えられている。カメラ１９０は、一点鎖線で示されているように、その撮像視野内に通常視聴者が位置する領域が含まれるように設置されている。更に、スクリーン１０２の上方右側に寄った位置の筐体１０１の部分にはＲＦ‐ＩＤ検出部６６０が設けられている。

また、デジタルテレビ１００の、スクリーン１０２の下方の右側に寄った位置の筐体１０１の部分にはリモートコントローラー２００からリモートコントロール信号を受けるリモートコントロール信号検出用窓１８０が設けられている。
図示の場面では、視聴者ＧＦがリモートコントローラー２００を把持し、所定のキー操作を行うと、リモートコントローラー２００は、キー操作に応じたリモートコントロール信号をデジタルテレビ１００に送信する。
デジタルテレビ１００は、リモートコントローラー２００から送信されるリモートコントロール信号に基づいて、コンテンツの表示を含む種々の動作を実行する。

尚、デジタルテレビ１００が表示するコンテンツは、放送から得られる放送系コンテンツには限定されず、ＰＶＲ３００（図３）、セットトップボックス３１０（図３）およびＩＰ網インターフェイス部１５１（図３）等を介して供給されるパッケージ系メディアやプライベートコンテンツも想定できる。尚、コンテンツは、映像情報と音声情報とを含む態様を想定するが、音声情報のみの態様や、映像情報のみの態様も想定できる。
図２は、情報端末装置６００の構成を示すブロック図である。情報端末装置６００は、制御部６１０、生体情報検出部６１２、体動情報検出部６１４、位置情報検出部６１６、操作部６１８、記憶部６２０、表示部６２２および近距離通信部６２４を備える。
生体情報検出部６１２は、視聴者ＧＦの生体に関する生体情報を検出する。本実施形態では、生体情報には脈波信号を含む。即ち、生体情報検出部６１２は、図示を略した光電脈波センサーを備え、ＬＥＤ等の光源の出力光が視聴者ＧＦの手首等の血管で反射して生じる反射光を受光し、脈波に応じた脈波信号を検出する。

体動情報検出部６１４は、視聴者ＧＦの体動に関する体動情報を検出する。本実施形態１では、体動情報には体動信号を含む。即ち、体動情報検出部６１４は、図示を略した加速度センサーやジャイロセンサーを備え、視聴者ＧＦの体動を検出し、体動に由来する体動信号を出力する。
位置情報検出部６１６は、情報端末装置６００の位置に関する位置情報を検出する。本実施形態では、例えば、ＧＰＳ（Global Positioning System）に代表されるように、複数の測位衛星から送信される衛星信号を受信し、受信した衛星信号に基づいて現在の位置情報を取得し、位置情報を含む位置信号を出力する。尚、衛星信号から現在の位置情報を算出する方法は、例えば特開平１０‐３３２４１４号公報に開示されている。
また、位置情報検出部６１６は、屋内においては、Ｗｉｆｉ（登録商標）や、ｉＢｅａｃｏｎ（登録商標）等の電波に基づいて位置情報を算出しても良い。

近距離通信部６２４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ‐Ｆｉ Ｄｉｒｅｃｔ（登録商標）を使ってデジタルテレビ１００と無線により通信できるように設定される。
操作部６１８は視聴者ＧＦの操作指示を受け付ける。また、記憶部６２０は各検出部が検出したデータや情報を記憶する。また、表示部６２２は種々の情報を視聴者ＧＦに通知する。
制御部６１０は、情報端末装置６００の各機能部の動作を制御する。更に、制御部６１０は、デジタルテレビ１００と通信による認証（ペアリング）を行い、生体情報検出部６１２、体動情報検出部６１４および位置情報検出部６１６がそれぞれ検出した生体情報、体動情報および位置情報を、近距離通信部６２４からデジタルテレビ１００に所定の時間間隔で送信する。

図３は、デジタルテレビ１００の構成を示すブロック図である。アンテナ１１０で受信された放送波は復調・フィルタリング部１２０で復調され、トランスポートストリームが抽出され、視聴者ＧＦによる選局に応じた映像及び音声並びに番組情報を取得するためのフィルタリングが行われる。
復調・フィルタリング部１２０の映像出力は映像処理部１３０に供給され、音声出力は音声処理部１４０に供給され、番組情報はＯＳＤ部１３１に供給される。
また、近距離通信部１５５は、所定の近距離内にある情報端末装置６００と通信し、デジタルテレビ１００を視聴する視聴者ＧＦを識別する。

映像処理部１３０の出力にはＯＳＤ部１３１からの出力が重畳され、このような番組情報が重畳された映像信号により表示器１６０に映像が表示されるが、表示器１６０の前段には映像処理部１３０（チューナー出力）の他にＰＶＲ（Personal Video Recorder）３００等のような他の種々の映像再生装置の出力のうちの何れか一のものを選択的に映像処理部１３０に供給する入力切換部１６１が介在している。
ＯＳＤ部１３１の出力に基づいて表示器１６０の画面上に番組情報やその他の情報が映像に重畳するようにして、或いは、画面内の一画を占めるようにして表示される。また、ポインティングもＯＳＤ部１３１を介して表示器１６０の画面上の目的とする位置に特定のマーカー等を表示することにより行われる。更に、このデジタルテレビ１００のＧＵＩ（Graphical User Interface）もこのＯＳＤ部１３１から表示器１６０に所定のパターンを表示するための信号を供給することによって実現されるように構成されている。

一方、復調・フィルタリング部１２０からの音声信号を処理する音声処理部１４０の出力は増幅器１４１を介して対応するスピーカー１４２に供給されて、ステレオ音声が発音される。このようにステレオ音声が発音されるために増幅器１４１及びスピーカー１４２は左チャンネルと右チャンネルとの２系統が用意されているが、図３では便宜的に、両系統を一まとめにして表現してある。
また、デジタルテレビ１００は、復調・フィルタリング部１２０、音声処理部１４０、ＯＳＤ部１３１、近距離通信部１５５およびシステムコントローラー１７０を備えている。
システムコントローラー１７０は、図示を略したマイクロプロセッサーを主要な構成要素として含み、入力切換部１６１を含むデジタルテレビ１００の系全体を統括的に制御する機能を備える。

このシステムコントローラー１７０には、視聴者ＧＦによる操作を受け付ける操作キー等を含んで構成される操作部１７１の出力が供給されるようになされ、また、メモリー１７２がアクセス可能に接続され、所要のタイミングで種々のデータ（情報）の格納と読み出しが実行される。
また、システムコントローラー１７０には、情報端末装置６００が検出した視聴者ＧＦの生体情報や体動情報に基づいて、視聴者ＧＦの感情状態や活動状態を推定することで嗜好を判定し、判定した嗜好に基づいて、視聴者ＧＦに対して適するコンテンツを推奨するコンテンツ推奨機能を備える。この機能については後述する。
また、システムコントローラー１７０には、リモートコントロール信号デコード部１８２が接続されている。このリモートコントロール信号デコード部１８２は、リモートコントロール信号検出用窓１８０の背後にリモートコントロール信号を受けるように設けられたリモートコントロール信号受信部１８１が受けた信号を、システムコントローラー１７０に適合した信号に変換する機能を備える。

システムコントローラー１７０は、各該当する機能部の働きによって本発明の枢要な構成要件としての各手段や、それらを構成する部分として機能するようになされている。上述のＧＵＩを実現するためにＯＳＤ部１３１から表示器１６０に供給される所定のパターンを表す信号も、このシステムコントローラー１７０からＯＳＤ部１３１に供給される信号に基づいて生成されるものである。
リモートコントロール信号受信部１８１で受信した制御信号（リモートコントロール信号デコード部１８２でデコードされた信号）に応じて表示装置の画面における指標の移動・確定操作を認識し、該認識に基づいて行われる被制御動作もこのシステムコントローラー１７０によって実行される。

また、視聴者ＧＦによる操作部１７１に対する映像情報源を選択するための操作、或いは、遠隔操作に基づいてリモートコントロール信号受信部１８１で受けた映像情報源を選択する信号に応じて、システムコントローラー１７０から入力切換部１６１に与えられる指令に応じて、この入力切換部１６１が表示器１６０に供給する映像情報源を選択する。
このような映像情報源の選択によって、映像処理部１３０の出力（チューナー出力）、又は、ＰＶＲ３００の再生出力、若しくは、その他の映像信号源からの出力が視聴者ＧＦの任意に応じて選択されて表示器１６０に供給され映像が表示されることになる。このデジタルテレビ１００（システムコントローラー１７０）は、現在時点で表示器１６０に表示されている映像の情報源を常時認識している。

更に、システムコントローラー１７０には、この種の映像機器において通常の仕様とされるＩＰ網４００との接続を可能にするためのＩＰ網インターフェイス部１５１が接続されている。本例のデジタルテレビ１００は、このＩＰ網インターフェイス部１５１を通してＩＰ網４００と、従って、ＩＰ網４００を介してサーバー４５０のような情報源と結ばれて広範囲に情報の授受を行うことが可能である。
更に、近年急速に普及の兆しが明らかになりつつあるホームネットワークでデジタルＡＶ機器同士やパーソナルコンピューターを相互に接続し、動画、音楽、静止画等のデータを相互利用する仕様に係るＤＬＮＡ（Digital Living Network Alliance）所定のガイドラインに準拠した通信方式でＰＶＲ等の外部機器との接続を行うためのＤＬＮＡインターフェイス部１５２もシステムコントローラー１７０に接続されている。
図示の例では、このＤＬＮＡインターフェイス部１５２を通してデジタルテレビ１００とＰＶＲ３００とはその操作に係る制御信号の授受を行う。

また、セットトップボックス（ＳＴＢ）３１０もシステムコントローラー１７０と結ばれてシステムコントローラー１７０の制御下で動作するように構成され、このＳＴＢ３１０の出力も入力切換部１６１によって選択的に切換えられて表示器１６０に供給される。即ち、ＳＴＢ３１０も既述の映像情報源のうちの一のものに該当する。
尚、カメラ１９０もシステムコントローラー１７０の制御下で動作するように構成され、撮影によって得られた画像の信号がシステムコントローラー１７０に供給されるようになっている。更に、ＲＦ‐ＩＤ検出部６６０の出力もシステムコントローラー１７０に供給される。
図４は、システムコントローラー１７０において、コンテンツ推奨機能を実現するための機能部を示すブロック図である。

システムコントローラー１７０は、コンテンツ推奨機能を実現するための機能部として、感情状態推定部１７３、活動状態推定部１７４、嗜好判定部１７５、コンテンツ決定部１７６、実行リスト作成部１７７、ユーザー識別部１７８および個人特性学習部１７９を備える。これらの機能は、システムコントローラー１７０が備えるハードウェアと、メモリー１７２等に記憶されたソフトウェアと、が協働することにより実現している。また、これらの機能部の一部は、システムコントローラー１７０以外に持たせる態様も想定できる。
感情状態推定部１７３は、情報端末装置６００から送信される生体情報に基づいて、視聴者ＧＦの感情状態を推定する。周知のように、生体情報に含まれる脈波信号の周期変動を周波数解析して得られるパワースペクトルの低周波成分と高周波成分は、自律神経の交感神経および副交感神経の活性状況と相関がある。本実施形態では、脈波信号から交感神経と副交感神経の活性状況を推定し、推定結果に基づいて視聴者ＧＦの感情状態を推定しても良い。また、脈波のばらつきに基づいて感情状態を推定する方法（例えば、特開２００５−１９８８２８号公報）を採用し、視聴者ＧＦの感情状態を推定しても良い。
感情状態推定部１７３が推定した感情状態に関する感情情報は嗜好判定部１７５に送られる。更に、感情情報はメモリー１７２に記憶される。

活動状態推定部１７４は、情報端末装置６００から送信される体動信号および位置信号等に基づいて、視聴者ＧＦの活動状態を推定する。活動状態推定部１７４が推定した活動状態に関する活動情報は嗜好判定部１７５に送られる。更に、活動情報はメモリー１７２に記憶される。
嗜好判定部１７５は、感情情報および活動情報に基づいて、デジタルテレビ１００が映出しているコンテンツに対する視聴者ＧＦの嗜好を判定する。また、嗜好判定部１７５は、コンテンツ毎に視聴者ＧＦの嗜好レベルを示す嗜好ランクを作成してメモリー１７２に記憶する。嗜好判定部１７５の判定結果は、コンテンツ決定部１７６に送られる。

コンテンツ決定部１７６は、嗜好判定部１７５の判定結果に基づいて視聴者ＧＦが視聴しているコンテンツに対して評価し、更に、視聴者ＧＦの嗜好に合致するコンテンツ（推奨コンテンツ）を決定する。
例えば、視聴者ＧＦが眠っていない状態（覚醒状態）であって、視聴中のコンテンツがサッカーの試合中継であり、かつ、視聴者ＧＦが興奮状態を維持している場合、コンテンツ決定部１７６は、メモリー１７２に記憶されている情報に基づいて視聴者ＧＦがお気に入りのチームを推定し、お気に入りのチームに関する推奨コンテンツを決定する。
また、お気に入りのチームが試合中継で負けているような場合、コンテンツ決定部１７６は、お気に入りのチームが勝った過去の試合を含むような推奨コンテンツを決定したり、お気に入りのチームが負けたことを連想させない推奨コンテンツを決定したりしても良い。
例えば、コンテンツの概要を表す概要情報がデジタルテレビ１００に提供される。情報である概要情報が、各コンテンツには付与されており、コンテンツとともに視聴中のコンテンツ分類からスポーツ番組を視聴していることを特定し、コンテンツデータベースあるいはコンテンツデータから、対戦チームと試合結果とを含む概要情報を取得し、概要情報と上述のお気に入り情報とを比較して、お気に入りのチームが負けていると判断された場合、コンテンツ決定部１７６は、お気に入りのチームが勝った過去の試合を含むような推奨コンテンツを決定する。また、過去のコンテンツの一部を抜粋して繋ぎ合わせた一時的なコンテンツを生成し、お気に入りのチームが負けたことを連想させない推奨コンテンツとしても良い。

一方で、視聴者ＧＦが覚醒状態であって、視聴中のコンテンツがサッカーの試合中継であり、かつ、視聴者ＧＦが興奮状態に遷移しない場合、コンテンツ決定部１７６は、視聴者ＧＦがサッカーには興味が無いと判定し、他に興味が有りそうな推奨コンテンツを決定する。
本実施形態では、コンテンツ決定部１７６は、視聴者ＧＦが視聴したという履歴に注目し、この視聴履歴に関連する５Ｗ１Ｈといった６つの視座からこの視聴履歴を解析する方法を採用する。この場合、５Ｗ１Ｈは、Ｗｈｅｎ（いつ、どんなときに）、Ｗｈｅｒｅ（どこで、どこから）、Ｗｈｏ（だれが、どんな人が）、Ｗｈａｔ（何を、どんなことを、どんなものを）、Ｗｈｙ（なぜ、どうして、なんのために）およびＨｏｗ（どのように、どうやって、どんなふうに）という視座である。
更に、コンテンツ決定部１７６は、学習に該当する情報処理手法も利用し、視聴者ＧＦに対応する視聴態様の類型を識別し、視聴者ＧＦの感情状態や活動状態において最も適合すると推定される推奨コンテンツを選択する。このような方法は、例えば、特開２００７‐１８９３９７号公報に詳述されている。

コンテンツ決定部１７６が決定した推奨コンテンツの情報は実行リスト作成部１７７に送られる。
ユーザー識別部１７８は、視聴者ＧＦを識別して認証を行う。認証方法は、カメラ１９０によって視聴者ＧＦを撮影して得られる撮影画像に基づいて画像認識技術等によって識別する方法や、情報端末装置６００がＲＦ‐ＩＤタグを搭載し、図１の二点鎖線で示すように、視聴者ＧＦが情報端末装置６００をＲＦ‐ＩＤ検出部６６０にかざすことによって識別する方法が想定できる。尚、ＲＦ信号による認証方法は、特開２００２‐３００６５１号公報に記載された技術を採用できる。
実行リスト作成部１７７は、コンテンツ決定部１７６から送られる推奨コンテンツの情報と、ユーザー識別部１７８が認証した視聴者ＧＦと、を関連付けて実行リストに記録する。実行リストはメモリー１７２に記憶され、次回、視聴者ＧＦがデジタルテレビ１００を起動させた場合、デジタルテレビ１００は実行リストに記載された推奨コンテンツの視聴を視聴者ＧＦに推奨する。

また、視聴者ＧＦが興味を持ったコンテンツが、コマーシャルのように特定の商品を宣伝する内容である場合、実行リスト作成部１７７は、特定の商品を購入可能なショッピング番組や、ウェブ上で商品購入可能なウェブサイトのアドレス情報を記載しても良い。この場合、視聴者ＧＦがデジタルテレビ１００を起動させると、ＳＴＢ３１０を経由してショッピング番組のコンテンツを表示したり、ＩＰ網インターフェイス部１５１を経由して商品購入可能なショッピングサイトを表示したりする。
また、実行リストに記録される内容は、デジタルテレビ１００が次回に起動させた場合には限定されない。例えば、視聴者ＧＦがデジタルテレビ１００を視聴中に眠ったと判定した場合、予め決められた時間経過後にデジタルテレビ１００の電源を切断する指示であっても良い。

個人特性学習部１７９は、視聴者ＧＦがデジタルテレビ１００を起動させ、デジタルテレビ１００が実行リストに記載された推奨コンテンツの視聴を推奨した場合、推奨した動作と、視聴者ＧＦの実際の動作と、の差異を示す動作情報を視聴者ＧＦ毎に収集し、収集した動作情報に基づいて個人毎の特性や習性を学習する。例えば、個人毎に疲労しているか、否かの判定は異なるため、個人特性学習部１７９は、動作情報に基づいて、個人毎に疲労等の判定の重み付け、即ち、判定の閾値を設定しても良い。
更に、個人特性学習部１７９は、学習した結果を嗜好判定部１７５に伝達し、嗜好を判定する際の閾値等のパラメーターに反映させる。この結果、視聴者ＧＦの嗜好をより正確に判定できる。

次に、図５のフローチャートを参照し、画像表示システム５０による処理（画像表示方法）の流れを説明する。
最初に、視聴者ＧＦは、視聴するコンテンツを選択してデジタルテレビ１００に視聴開始を指示することにより、システムコントローラー１７０はコンテンツの画像の表示を開始し、視聴者ＧＦは表示されるコンテンツの視聴を開始する（ステップＳ８００）。
次に、情報端末装置６００は視聴者ＧＦの体動情報、位置情報および生体情報を検出し＜生体情報検出工程，体動情報検出工程，位置情報検出工程＞、システムコントローラー１７０は、情報端末装置６００が検出した体動情報、位置情報および生体情報を取得する（ステップＳ８０２）。
次に、システムコントローラー１７０は、体動情報および位置情報の少なくとも一方に基づいて視聴者ＧＦの活動状態を推定し（ステップＳ８０４）＜活動状態推定工程＞、更に、生体情報に基づいて視聴者ＧＦの感情状態を推定する（ステップＳ８０６）＜感情状態推定工程＞。

次に、システムコントローラー１７０は、記憶していた活動状態および感情状態と比較することにより、活動状態および感情状態が変化したか、否かを判定する（ステップＳ８０８）。
ここで、活動状態および感情状態が変化したと判定した場合（ステップＳ８０８でＹｅｓ）、システムコントローラー１７０は、活動状態および感情状態から視聴者ＧＦの嗜好を判定し＜嗜好判定工程＞、判定した嗜好に基づいて実行リストを作成する（ステップＳ８１０）＜コンテンツ決定工程＞。尚、ステップＳ８１０の詳細は後述する。ステップＳ８１０が実行された後、ステップＳ８１４に進む。
他方で、活動状態または感情状態が変化しないと判定した場合（ステップＳ８０８でＮｏ）、ステップＳ８１２に進む。
ステップＳ８１２では、システムコントローラー１７０は活動状態および感情状態を記憶する。

次に、システムコントローラー１７０は、画像表示システム５０による処理に対して終了が指示されているか、否かを判定し（ステップＳ８１４）、終了が指示されていないと判定した場合（ステップＳ８１４でＮｏ）、ステップＳ８０２に戻り以降の処理を繰り返す。
他方で、終了が指示されていると判定した場合（ステップＳ８１４でＹｅｓ）、処理を終了する。
図６は、ステップＳ８１０の処理の流れを詳細に説明するフローチャートである。
この処理が開始されると、システムコントローラー１７０は、視聴者ＧＦの活動状態から視聴者ＧＦが覚醒しているか、否かを判定する（ステップＳ８２０）。

ここで、視聴者ＧＦが覚醒していない、即ち、視聴者ＧＦが眠ったと判定した場合（ステップＳ８２０でＮｏ）、システムコントローラー１７０は、記憶している視聴者ＧＦの活動状態および感情状態から、活動履歴および感情履歴を取得する（ステップＳ８２２）。
次に、システムコントローラー１７０は、活動履歴および感情履歴を解析し、視聴者ＧＦの入眠は疲労によるものか、否かを判定する（ステップＳ８２４）。
ここで、視聴者ＧＦの入眠は疲労によるものではないと判定した場合（ステップＳ８２４でＮｏ）、システムコントローラー１７０は、視聴しているコンテンツに対して視聴者ＧＦの興味が低いために入眠したと判定し、視聴しているコンテンツに対する嗜好ランクを下げる（ステップＳ８３０）。

次に、システムコントローラー１７０は、視聴中のコンテンツよりも視聴者ＧＦの嗜好ランクが高いコンテンツを選択し（ステップＳ８３２）、選択したコンテンツを推奨コンテンツとして実行リストに追加し（ステップＳ８３４）、ステップＳ８１０の処理を終了する。あるいは、視聴中のコンテンツの嗜好ランクを下げる処理を行うことで、実行リストを更新しても良い。
他方で、ステップＳ８２４において、視聴者ＧＦの入眠は疲労によるものであると判定した場合（Ｙｅｓ）、システムコントローラー１７０は、視聴しているコンテンツに対して視聴者ＧＦの興味は高いが疲労のために入眠したと判定し、視聴しているコンテンツに対する嗜好ランクを上げる（ステップＳ８２６）。
次に、システムコントローラー１７０は、次回にデジタルテレビ１００を起動させた場合、視聴していたコンテンツを入眠した続きから視聴できるように実行リストに追加し（ステップＳ８２８）、ステップＳ８１０の処理を終了する。
また、ステップＳ８２０において、視聴者ＧＦが覚醒していると、即ち、視聴者ＧＦが眠ることなくコンテンツを視聴していると判定した場合（Ｙｅｓ）、システムコントローラー１７０は、視聴者ＧＦの感情状態を解析し、視聴者ＧＦが興奮しているか、否かを判定する（ステップＳ８４０）。

ここで、視聴者ＧＦが興奮していると判定した場合（ステップＳ８４０でＹｅｓ）、システムコントローラー１７０は、視聴しているコンテンツに対して視聴者ＧＦの興味が高いと判定し、視聴しているコンテンツに対する嗜好ランクを上げる（ステップＳ８４２）。
次に、システムコントローラー１７０は、視聴中のコンテンツと嗜好ランクが類似するコンテンツを選択し（ステップＳ８４４）、視聴中のコンテンツが終了した後に視聴を推奨する推奨コンテンツとして実行リストに追加し（ステップＳ８４６）、ステップＳ８１０の処理を終了する。
他方で、ステップＳ８４０において、視聴者ＧＦが興奮していないと判定した場合（Ｎｏ）、システムコントローラー１７０は、視聴しているコンテンツに対して視聴者ＧＦの興味が低いと判定し、視聴しているコンテンツに対する嗜好ランクを下げる（ステップＳ８５０）。
次に、システムコントローラー１７０は、視聴中のコンテンツよりも視聴者ＧＦの嗜好ランクが高いコンテンツを選択し（ステップＳ８５２）、選択したコンテンツを推奨コンテンツとして実行リストに追加し（ステップＳ８５４）、ステップＳ８１０の処理を終了する。

以上述べた実施形態によれば、以下のような効果を奏する。
（１）画像表示システム５０は、視聴者ＧＦの感情状態や活動状態に基づいて推奨コンテンツを決定するため、視聴者ＧＦの心理状態や体調状態に適するコンテンツを視聴者ＧＦに推奨できる。
（２）画像表示システム５０は、視聴者ＧＦが興味を持って視聴するような視聴コンテンツを推奨するため、デジタルテレビ１００を効率的に稼働させることができることから、電力消費を抑制した省エネルギー効果を奏することができる。

本発明の実施形態について、図面を参照して説明したが、具体的な構成は、この実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、画像表示装置は種々の態様が想定できる。例えば、スマートフォンのような高機能携帯電話や、タブレットのような多機能携帯端末も想定できる。また、画像表示装置として、視聴者ＧＦの頭部に装着するメガネ型のヘッドマウントディスプレイ装置や、画像を投写するプロジェクター装置も想定できる。更に、画像表示装置に情報端末装置６００の機能を集積した態様や、腕時計型の情報端末装置６００に画像表示装置の機能を集積した態様も想定できる。

このような視聴者が移動しながらコンテンツを視聴することが可能な電子機器をデジタルテレビ１００とした場合、視聴者の活動状態、感情状態の推定あるいは判定の他に、環境情報や文脈情報（コンテキスト情報）の少なくとも一方の推定あるいは判定を行う処理を追加しても良い。ここで環境情報とは視聴者がコンテンツを視聴しようとしている場所、あるいは居る場所、気温、天候などに関する情報である。
また、文脈情報は、視聴者がどのような状況であるかを表す情報、たとえば視聴者がどんな乗り物で移動しているか、誰と居るか、１時間前には何をしていたか、などを表す情報である。
例えば、視聴者ＧＦがホラー映画を嗜好している場合であっても、混雑した電車内でコンテンツを視聴するような場合には、嗜好するホラー映画に代えて、落ち着いたコンテンツ等が選択されることが好ましい。このような情報を考慮することで、視聴者ＧＦの嗜好によらず、視聴者が置かれている環境や状況に応じたコンテンツを提供することができる。

また、実施形態で記述したシステムコントローラー１７０の機能の一部は、ＩＰ網４００を介して接続したクラウドサーバー側で実行される態様も想定できる。
また、コンテンツ決定部１７６は、推奨コンテンツを決定することに加え、照明器具やエアコン等のような電気機器の制御を決定し、制御に基づく制御信号を電気機器に対して送信する態様も想定できる。
各実施形態における各構成及びそれらの組み合わせは一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換およびその他の変更が可能である。また、本発明は実施形態により限定されるものではなく、クレームの範囲によってのみ限定される。

５０…画像表示システム、１００…デジタルテレビ、１０１…筐体、１０２…スクリーン、１１０…アンテナ、１２０…復調・フィルタリング部、１３０…映像処理部、１３１…ＯＳＤ部、１４０…音声処理部、１４１…増幅器、１４２…スピーカー、１５１…ＩＰ網インターフェイス部、１５２…ＤＬＮＡインターフェイス部、１５５…近距離通信部、１６０…表示器、１６１…入力切換部、１７０…システムコントローラー、１７１…操作部、１７２…メモリー、１７３…感情状態推定部、１７４…活動状態推定部、１７５…嗜好判定部、１７６…コンテンツ決定部、１７７…実行リスト作成部、１７８…ユーザー識別部、１７９…個人特性学習部、１８０…リモートコントロール信号検出用窓、１８１…リモートコントロール信号受信部、１８２…リモートコントロール信号デコード部、１９０…カメラ、２００…リモートコントローラー、３００…ＰＶＲ、３１０…ＳＴＢ、４００…ＩＰ網、４５０…サーバー、６００…情報端末装置、６１０…制御部、６１２…生体情報検出部、６１４…体動情報検出部、６１６…位置情報検出部、６１８…操作部、６２０…記憶部、６２２…表示部、６２４…近距離通信部、６６０…ＲＦ‐ＩＤ検出部。

Claims (11)

1. 生体に関する生体情報を検出する生体情報検出部と、
   体動に関する体動情報を検出する体動情報検出部と、
   位置に関する位置情報を検出する位置情報検出部と、
   前記生体情報に基づいて感情状態を推定する感情状態推定部と、
   前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、
   前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、
   前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記生体情報は脈波を示す脈波信号を含むことを特徴とする画像表示システム。
3. 請求項２に記載の画像表示システムにおいて、
   前記感情状態推定部は、前記脈波信号の周期変動に基づいて前記感情状態を推定することを特徴とする画像表示システム。
4. 請求項３に記載の画像表示システムにおいて、
   前記感情状態推定部は、前記周期変動を解析することにより、自律神経の活性状況を取得し、前記活性状況に基づいて前記感情状態を推定することを特徴とする画像表示システム。
5. 請求項１乃至４のいずれか１項に記載の画像表示システムにおいて、
   前記体動情報は体動に由来する体動信号を含むことを特徴とする画像表示システム。
6. 請求項１乃至５のいずれか１項に記載の画像表示システムにおいて、
   前記嗜好判定部は、視聴しているコンテンツに対する興味の有無を判定し、
   前記コンテンツ決定部は、前記コンテンツに対する前記興味の有無に基づいて、前記推奨コンテンツを決定することを特徴とする画像表示システム。
7. 請求項１乃至６のいずれか１項に記載の画像表示システムにおいて、
   前記コンテンツ決定部は、視聴する態様の類型を識別し、適合する前記類型から前記推奨コンテンツを決定することを特徴とする画像表示システム。
8. 請求項１乃至７のいずれか１項に記載の画像表示システムにおいて、
   前記コンテンツ決定部が決定した前記推奨コンテンツと、ユーザーが視聴した視聴コンテンツと、の差異に基づいて、前記嗜好判定部で前記嗜好を判定するためのパラメーターを視聴者毎に学習する個人特性学習部を備えることを特徴とする画像表示システム。
9. 情報端末装置と、画像表示装置と、が通信可能に接続された画像表示システムであって、
   前記情報端末装置は、
   生体に関する生体情報を検出する生体情報検出部と、
   体動に関する体動情報を検出する体動情報検出部と、
   位置に関する位置情報を検出する位置情報検出部と、
   前記画像表示装置と通信する通信部と、を備え、
   前記画像表示装置は、
   前記情報端末装置と通信する通信部と、
   前記生体情報に基づいて感情状態を推定する感情状態推定部と、
   前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、
   前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、
   前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする画像表示システム。
10. 生体に関する生体情報を検出する生体情報検出工程と、
    体動に関する体動情報を検出する体動情報検出工程と、
    位置に関する位置情報を検出する位置情報検出工程と、
    前記生体情報に基づいて感情状態を推定する感情状態推定工程と、
    前記体動情報または前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定工程と、
    前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定工程と、
    前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定工程と、を備えることを特徴とする画像表示方法。
11. 生体に関する生体情報に基づいて感情状態を推定する感情状態推定部と、
    体動に関する体動情報、または位置に関する前記位置情報の少なくとも一方に基づいて活動状態を推定する活動状態推定部と、
    前記感情状態および前記活動状態に基づいて嗜好を判定する嗜好判定部と、
    前記嗜好の判定に基づいて、視聴を推奨する推奨コンテンツを決定するコンテンツ決定部と、を備えることを特徴とする画像表示装置。

Images