JP2020065097A - 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム - Google Patents

電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム Download PDF

Info

Publication number
JP2020065097A
JP2020065097A JP2017189955A JP2017189955A JP2020065097A JP 2020065097 A JP2020065097 A JP 2020065097A JP 2017189955 A JP2017189955 A JP 2017189955A JP 2017189955 A JP2017189955 A JP 2017189955A JP 2020065097 A JP2020065097 A JP 2020065097A
Authority
JP
Japan
Prior art keywords
content
electronic device
information
control
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017189955A
Other languages
English (en)
Inventor
旭 谷口
Akira Taniguchi
旭 谷口
敦宏 辻
Atsuhiro Tsuji
敦宏 辻
幸 裕弘
Yasuhiro Yuki
幸  裕弘
坂井 剛
Takeshi Sakai
剛 坂井
羊佑 塩田
Yosuke Shioda
羊佑 塩田
浩充 森下
Hiromitsu Morishita
浩充 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to PCT/JP2018/005616 priority Critical patent/WO2018155354A1/ja
Publication of JP2020065097A publication Critical patent/JP2020065097A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】電子機器の周囲の環境に応じたコンテンツの提示の制御を行う。【解決手段】電子機器の制御方法は、電子機器の周囲の環境に関する情報、又は、電子機器の設置態様に関する情報を含む、電子機器の環境情報を取得し(ステップS1)、電子機器の環境情報と、電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、電子機器によるコンテンツの提示に関する制御を行う(ステップS2)。【選択図】図27

Description

本開示は、電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラムに関する。
従来、複数のコンピュータ端末による映像再生を同期させるために、各コンピュータ端末の通信環境又はコンピュータ環境に応じたコンテンツを選択する技術がある(特許文献1参照)。
特開2006−108895号公報
しかしながら、特許文献1が開示する技術では、コンピュータのハードウェア的な要因、及び、ソフトウェア的な要因を含む通信環境又はコンピュータ環境に応じたコンテンツの選択がなされるだけである。そのため、その他の要因に基づくコンテンツの選択、及び、コンテンツの提示の制御などが実現し得ないという問題がある。
そこで、本開示は、電子機器のハードウェア又はソフトウェア的な要因とは異なる、電子機器の周囲の環境に応じたコンテンツの提示の制御を行う電子機器の制御方法を提供する。
本開示の一態様に係る電子機器の制御方法は、前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得し、前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、電子機器の周囲の環境に応じたコンテンツの提示の制御を行うことができる。
図1は、サービスの全体像を示す説明図である。 図2は、実施の形態1に係る電子機器の外観を示す模式図である。 図3は、実施の形態1に係る電子機器の構成を示すブロック図である。 図4は、実施の形態1に係る制御処理部の詳細なブロック図である。 図5は、実施の形態1に係るコンテンツ管理部の詳細なブロック図である。 図6は、実施の形態1に係る電子機器を壁に立てかけて設置する設置態様の例を示す模式図である。 図7は、実施の形態1に係る電子機器を壁に掛けて吊り下げて設置する設置態様の例を示す模式図である。 図8は、実施の形態1に係る電子機器の外観を示す斜視図である。 図9は、実施の形態1に係る電子機器の分解斜視図である。 図10は、実施の形態1に係る電子機器の処理を示すフロー図である。 図11は、実施の形態1に係る視聴環境判定処理の第一例を示すフロー図である。 図12は、実施の形態1に係る視聴環境判定処理の第二例を示すフロー図である。 図13は、実施の形態1に係る制御内容決定処理の一例を示すフロー図である。 図14は、実施の形態1における空間の状態と、出力される情報の例とを示す説明図である。 図15は、実施の形態1における人物および空間の状態の推定結果を示すテーブルの説明図である。 図16は、実施の形態1における、カメラによる目配せ判定を用いた制御内容決定のためのテーブルの説明図である。 図17は、実施の形態1における、照度計による設置環境判定を用いた制御内容決定のためのテーブルの説明図である。 図18は、実施の形態1における、3軸センサによる傾き判定を用いた制御内容決定のためのテーブルの説明図である。 図19は、実施の形態1における、上面及び下面のボタンによる設置環境判定を用いた制御内容決定のためのテーブルの説明図である。 図20は、実施の形態1におけるコンテンツ管理テーブルの説明図である。 図21は、実施の形態1における音声管理テーブルの説明である。 図22は、実施の形態1における視聴環境状態の変化と、コンテンツの制御との一例を示すテーブルの説明図である。 図23は、実施の形態1の変形例に係る電子機器およびクラウドサーバの構成を示すブロック図である。 図24は、実施の形態2に係る電子機器およびクラウドサーバの構成を示すブロック図である。 図25は、実施の形態2に係る電子機器およびクラウドサーバの処理を示すシーケンス図である。 図26は、実施の形態3に係る電子機器を示すブロック図である。 図27は、実施の形態3に係る電子機器の制御方法を示すフロー図である。 図28は、サービスの類型1(自社データセンタ型)を示す図である。 図29は、サービスの類型2(IaaS利用型)を示す図である。 図30は、サービスの類型3(PaaS利用型)を示す図である。 図31は、サービスの類型4(SaaS利用型)を示す図である。
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
(1)従来、複数のコンピュータ端末による映像再生を同期させるために、各コンピュータ端末の通信環境又はコンピュータ環境に応じたコンテンツを選択する技術がある(特許文献1参照)。
しかしながら、特許文献1が開示する技術では、コンピュータのハードウェア的な要因、及び、ソフトウェア的な要因を含む通信環境又はコンピュータ環境に応じたコンテンツの選択がなされるだけである。そのため、その他の要因に基づくコンテンツの選択、及び、コンテンツの提示の制御などが実現し得ないという問題がある。
(2)従来、ユーザの環境に応じて動作を変化させる電子機器がある。例えば、コンサート会場などの映像音響装置の調光、照明発色、又は、音場の調整は、プロの整備士が調整見本又は配置を設計して個別に対応することで、個々の機器の設定をカスタマイズすることでなされている。
しかし、この技術では、プロの整備士自らがユーザの環境に合わせて個別に設定することが必要であり、整備士の労力が過大であるという問題がある。
(3)近年、映像投影型の液晶プロジェクタであって、投影画像の適正化を図るため、台形補正を行う液晶プロジェクタがある。この液晶プロジェクタでは、画像の歪みだけは自動である程度補正することができる。
しかし、この液晶プロジェクタでは、液晶プロジェクタ本体が投じた画像を台形補正する程度に留まる。つまり、ユーザを取り巻く環境、又は、ユーザの行動に応じて、映像音響コンテンツの再生環境を調整することはできない。そのため、ポータブル性が重視される液晶ディスプレイの設置方法、又は、ユーザの行動に応じて変化する利用環境次第では、画像が見にくい、音声が聴きにくい、又は、ユーザが欲していない映像音響コンテンツが再生され続けるなどの問題がある。
本開示の一態様に係る電子機器の制御方法は、前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得し、前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う。
上記態様によれば、電子機器は、取得した環境情報と、所定の対応付けとを用いてコンテンツの提示に関する制御を行う。所定の対応付けには、電子機器の環境情報と、制御の内容とが予め対応づけられている。よって、電子機器は、取得した電子機器の環境情報に基づいてコンテンツの提示に関する制御を行い得る。このように、電子機器は、電子機器の周囲の環境に応じたコンテンツの提示の制御を行うことができる。
例えば、前記環境情報は、前記電子機器の周囲の環境に関する情報として、前記電子機器の周囲の人の有無、前記電子機器の周囲の人の向き、又は、前記電子機器の周囲の明るさを示す情報を含み、前記環境情報の取得は、前記電子機器の周囲の環境を感知して前記環境を示す環境値を出力するセンサによりなされてもよい。
上記態様によれば、環境情報は、電子機器の周囲の人の有無若しくは向き、又は、周囲の明るさというように具体的な情報を含む。また、電子機器は、環境情報を取得するセンサを用いて具体的に構成され得る。このような具体的な構成に基づいて、電子機器は、電子機器の周囲の環境に応じたコンテンツの提示に関する制御を行うことができる。
例えば、前記コンテンツの提示に関する制御では、前記所定の対応付けを参照することで、前記センサにより取得された前記環境情報に対応付けられた前記制御の内容である、前記電子機器により提示すべきコンテンツを選択し、選択された前記コンテンツを提示する制御を行ってもよい。
上記態様によれば、電子機器は、コンテンツの提示に関する制御として、複数のコンテンツのうちから提示すべきコンテンツを選択することができる。
例えば、前記所定の対応付けは、前記電子機器の環境情報と、当該環境情報に適合する環境情報を有する電子機器が提示すべきコンテンツの属性を示す属性情報との対応付けを含み、前記コンテンツの提示に関する制御では、前記所定の対応付けを参照することで、取得した前記環境情報に対応付けられた属性情報を有するコンテンツの選択を行ってもよい。
上記態様によれば、電子機器は、複数のコンテンツのうちから提示すべきコンテンツを選択する際に、コンテンツの属性情報に基づいてコンテンツを選択することができる。
例えば、前記所定の対応付けは、前記電子機器が提示すべきコンテンツと、当該コンテンツの許容される提示態様を示す許容情報とを含み、前記コンテンツの提示に関する制御では、前記許容情報によって許容される提示態様で提示できるコンテンツの選択を行ってもよい。
上記態様によれば、電子機器は、複数のコンテンツのうちから提示すべきコンテンツを選択する際に、コンテンツの提示の際におけるコンテンツの編集、調整又は加工などが許容されるか否かを示す許容情報に基づいて、コンテンツの選択をすることができる。これにより、許容されない態様でのコンテンツの提示が回避される。
例えば、前記所定の対応付けは、前記電子機器の環境情報の変化を示す情報と、コンテンツの提示の開始、停止又は終了との対応付けを含み、前記コンテンツの提示に関する制御では、前記所定の対応付けを参照することで、取得した前記環境情報の変化に対応付けられた、前記電子機器により提示すべきコンテンツの提示の開始、停止又は終了を行ってもよい。
上記態様によれば、電子機器は、コンテンツの提示に関する制御として、コンテンツの提示の開始、停止又は終了を行うことができる。
例えば、前記所定の対応付けは、前記電子機器の環境情報の変化を示す情報と、コンテンツの音量又は明るさの変更との対応付けを含み、前記コンテンツの提示に関する制御では、前記所定の対応付けを参照することで、取得した前記環境情報の変化に対応付けられた、前記電子機器により提示すべきコンテンツの音量又は明るさの変更を行ってもよい。
上記態様によれば、電子機器は、コンテンツの提示に関する制御として、コンテンツの音量又は明るさの変更を行うことができる。
例えば、前記環境情報は、前記電子機器の設置態様に関する情報として、設置された前記電子機器の姿勢を示す情報を含み、前記所定の対応付けは、前記電子機器の姿勢を示す情報と、当該姿勢にある前記電子機器によるコンテンツの提示に関する制御との対応付けを含み、前記コンテンツの提示に関する制御では、前記電子機器の姿勢を示す情報に対応付けられた、コンテンツの提示に関する制御を行ってもよい。
上記態様によれば、環境情報は、電子機器の姿勢に関する具体的な情報を含む。そして、電子機器は、電子機器の姿勢に基づいてコンテンツの提示に関する制御を行うことができる。
例えば、前記環境情報は、前記電子機器の設置態様に関する情報として、前記電子機器が他の電子機器とともに並べて設置されているか否かに関する情報である並置情報を含み、前記所定の対応付けは、前記電子機器の並置情報と、当該並置情報に示される設置の態様で設置された前記電子機器によるコンテンツの提示に関する制御との対応付けを含み、前記コンテンツの提示に関する制御では、前記電子機器の並置情報に対応付けられた、コンテンツの提示に関する制御を行ってもよい。
上記態様によれば、環境情報は、電子機器が複数並べて配置されているか否かを示す具体的な情報を含む。そして、電子機器は、電子機器の配置のされ方に基づいてコンテンツの提示に関する制御を行うことができる。
例えば、前記制御方法では、さらに、前記コンテンツの提示に関するログ情報を出力してもよい。
上記態様によれば、電子機器は、コンテンツを提示した回数、提示した時刻などを示すログ情報を出力する。出力されたログ情報は、例えばコンテンツのクリエータにフィードバックされ、コンテンツの改善、又は、新規コンテンツの作成の際に活用され得る。
また、本開示の一態様に係る電子機器の制御システムは、前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得する取得部と、前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える。
これにより、上記電子機器の制御方法と同様の効果を奏する。
また、本開示の一態様に係る電子機器は、前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得する取得部と、前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える。
これにより、上記電子機器の制御方法と同様の効果を奏する。
また、本開示の一態様に係るプログラムは、上記の電子機器の制御方法をコンピュータに実行させるためのプログラムである。
これにより、上記電子機器の制御方法と同様の効果を奏する。
また、本開示の一態様に係る電子機器は、家庭内或いは業務用施設において映像音響コンテンツを再生する電子機器であって、再生する映像音響コンテンツを管理するコンテンツ管理部と、映像音響コンテンツを画面として出力する出力部と、映像音響コンテンツと同期または非同期で再生される音声を外部上方に出力する上部スピーカと、同じく同期または非同期で再生される音声を外部下方に出力する下部スピーカと、当該ユーザからの操作指示や外部の機器との通信を司る上方送受信部と、前記電子機器が配置された空間内の情報を取得するセンサと、前記センサによって検出された情報から、少なくとも1以上のユーザまたは利用環境の状態を推定する視聴環境推定手段を含む制御処理部と、前記制御処理部は視聴状態推定手段が推定したユーザまたは利用環境の状態に応じて、前記電子機器の制御処理部は制御内容を決定する制御内容決定手段と、を備えた。
また、前記電子機器は、映像再生、音声再生、照明の調光、もしくはにおいを発生する機能のうちいずれかを有し、前記制御内容決定部は、前記視聴環境推定手段を含む制御処理部が前記ユーザが起床している状態と推定している間または前記ユーザが就寝状態から起床状態に変化すると推定する時、前記電子機器にて所定の映像を再生、所定の音声を再生、所定の照明の光出力を調節、もしくは所定のにおいを発生し、前記視聴環境推定手段を含む制御処理部が前記ユーザが就寝している状態と推定している間または前記ユーザが起床状態から就寝状態に変化すると推定する時、前記電子機器にて前記所定の映像を停止または映像の内容を変更、所定の音声を停止または音声の内容を変更、所定の照明の光出力を停止または動作モードを変更、もしくは所定のにおいの発生を停止またはにおいの内容を変更する。
また、前記センサは、前記電子機器に備えられた撮像装置、もしくは前記電子機器外部の撮像装置であり、前記撮像装置によって取得した画像を解析することで、少なくとも1以上のユーザの存在を検出し、前記視聴環境推定手段を含む制御処理部は、前記撮像装置が取得した画像を解析することで、少なくとも1以上のユーザの存在を検出し、時間的に異なる複数枚の画像の変化を解析することで、前記ユーザが起床しているか否かを推定する。
また、前記センサは前記電子機器に備えられた人感センサー装置、もしくは前記電子機器外部の人感センサー装置であり、前記視聴環境推定手段を含む制御処理部は、前記人感センサー装置が取得したセンサーデータを解析することで、少なくとも1以上のユーザの存在を検出し、時間的に異なる複数のセンサーデータの変化を解析することで、前記ユーザが起床しているか否かを推定する。
また、前記視聴環境推定手段を含む制御処理部はユーザの存在および利用環境を推定し、前記制御内容決定部は、ユーザの存在または利用環境に応じて前記電子機器の制御内容を変更する。
また、前記電子機器は、映像を再生する出力部および音声を再生する上部および下部スピーカ部を有し、前記制御内容決定部は、前記視聴環境推定手段を含む制御処理部がユーザが存在している状態であって、かつ、機器が斜めに配置されている状態と推定している間、前記電子機器にて所定の映像を再生しながら、上部スピーカおよび下部スピーカの音声の出力を変化調整して再生する。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、以下各実施の形態において、特にことわりのない限り、次の言葉の意味を以下のように定義する。
「ユーザ」とは、電子機器が置かれた環境において、電子機器を視聴する1以上の人をいう。なお、ユーザを単に人ともいう。
「利用環境」とは、電子機器が空間内に置かれた状態を示す。利用環境は、例えば、床に直接置かれた状態、又は、壁にフックを用いて掛けられた状態などを示し、設置態様ともいう。また、利用環境は、外部の空間における照明の照度など外的要因で変化する状態をも含むものとする。なお、以下の説明にて「機器」および「電子機器」という言葉が記載されているが、同一の意味とする。
(提供するサービスの全体像)
図1の(A)には、電子機器及び電子機器システムの全体像が示されている。
グループ100は、例えば企業、団体、家庭等であり、その規模を問わない。グループ100には、複数の機器101に含まれる機器101a、機器101bおよびホームゲートウェイ102が存在する。リモコン103は、1つまたは複数の機器101をコントロールするリモートコントローラである。機器101またはリモコン103は、単独でインターネットと接続不可能な機器であっても、ホームゲートウェイ102を介してインターネットと接続可能となる場合がある。またグループ100には複数の機器101を使用するユーザ10が存在する。なお、ここでは複数の機器101に、機器101aと機器101bが含まれると述べたが、これに限られない。グループ100内には多数の機器が存在することが考えられ、複数の機器101に含まれる機器の数は特に限定しない。なお以下の実施の形態では、機器101aから機器101eまでを記載しているが、これらすべては図1に記載の複数の機器101に含まれるものとする。
データセンタ運営会社110には、クラウドサーバ111が存在する。クラウドサーバ111とはインターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ111は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ(ビッグデータ)等を管理する。データセンタ運営会社110は、データ管理、クラウドサーバ111の管理、及び、それらを行うデータセンタの運営等を行っている。データセンタ運営会社110が行っている役務については詳細を後述する。ここで、データセンタ運営会社110は、データ管理又はクラウドサーバ111の運営等のみを行っている会社に限らない。例えば複数の機器101のうちの一つの機器を開発及び製造している機器メーカが、併せてデータ管理又はクラウドサーバ111の管理等を行っている場合は、機器メーカがデータセンタ運営会社110に該当する(図1の(B))。また、データセンタ運営会社110は一つの会社に限らない。例えば機器メーカ及び他の管理会社が共同もしくは分担してデータ管理又はクラウドサーバ111の運営を行っている場合は、両者もしくはいずれか一方がデータセンタ運営会社110に該当するものとする(図1の(C))。
サービスプロバイダ120は、サーバ121を保有している。サーバ121には、機器101が再生する映像音響コンテンツのうち、映像とセットで管理されるタグを含む複数の映像コンテンツと、音とセットで管理されるタグを含む複数の音コンテンツが格納されているものとする。映像とセットで管理されるタグは、映像の内容を端的に示す自然言語で表現されたものが一般的であるが、自然言語表現に限らず、検索ワードの高速検索など、自然言語がハッシュタグ化されたバイナリデータ表現のものも含み、管理運用されることが想定される。また、音とセットで管理されるタグは、映像とセットで管理されるタグと同様のタグであって、音の内容に関するものが想定される。なお、ここで言うサーバ121とは、その規模は問わず、例えば、個人用PC内のメモリ等も含む。また、サービスプロバイダ120がサーバ121を保有していない場合もある。
なお、上記サービスにおいてホームゲートウェイ102は必須ではない。例えば、クラウドサーバ111が全てのデータ管理を行っている場合等は、ホームゲートウェイ102は不要となる。また、家庭内のあらゆる機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
次に、上記サービスにおける情報の流れを説明する。
まず、グループ100の機器101a又は機器101bは、各ログ情報をデータセンタ運営会社110のクラウドサーバ111に送信する。クラウドサーバ111は、機器101a又は機器101bのログ情報を集積する(図1の(a))。ここで、ログ情報とは複数の機器101の、例えば運転状況又は動作日時等を示す情報、機器に搭載するカメラ又はセンサーから取得する機器周辺の状態又は周辺環境に関する情報である。例えば、電子機器に搭載するカメラによる機器周辺の画像を、個人情報を削除した状態で分析した結果、より具体的には、どの映像音響コンテンツでユーザが画面側を注視して映像に見入っていたかのログ、電子機器に搭載する人感センサーにより機器周辺にユーザが存在していたかの履歴、又は、機器の映像音響コンテンツの再生履歴又は機器に搭載した照度センサによる機器周辺の照明環境の周期性を示すログ情報などであるが、これらのものに限らず、電子機器本体あるいは周辺空間設備に配置されるあらゆる機器から取得が可能なすべての情報をいう。ログ情報は、インターネットを介して複数の機器101自体から直接クラウドサーバ111に提供される場合もある。また、複数の機器101から一旦ホームゲートウェイ102にログ情報が集積され、ホームゲートウェイ102からクラウドサーバ111に提供されてもよい。
次に、データセンタ運営会社110のクラウドサーバ111は、集積したログ情報を一定の単位でサービスプロバイダ120に提供する。ここで、一定の範囲とは、データセンタ運営会社110が集積した情報を整理してサービスプロバイダ120に提供することのできる単位でもよいし、サービスプロバイダ120が要求した単位でもよい。一定の単位と記載したが、時間的に一定でなくてもよく、状況に応じて提供する情報量が変化する場合もある。ログ情報は、必要に応じてサービスプロバイダ120が保有するサーバ121に保存される(図1の(b))。そして、サービスプロバイダ120は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。提供するユーザは、複数の機器101を使用するユーザ10でもよいし、映像音響コンテンツを制作するクリエータ20でもよい。なお、ユーザへのサービス提供方法は、例えば、サービスプロバイダ120から直接ユーザへ提供されてもよい(図1の(f)及び(e))。また、ユーザへのサービス提供方法は、例えば、データセンタ運営会社110のクラウドサーバ111を再度経由して、ユーザに提供されてもよい(図1の(c)及び(d))。また、データセンタ運営会社110のクラウドサーバ111がログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ120に提供してもよい。
なお、ユーザ10とクリエータ20とは、別の人でも同一の人でもよい。ここで、クリエータ20は、サービスプロバイダ120のサーバ121上で提供可能なクリエータコミュニティサービスを利用可能であり、クリエータ20は、自身が制作した映像音響コンテンツについて映像と音響とを同期または非同期に登録管理することができ、機器101への配信可否を設定することができる。ここでは説明の簡単化のためクリエータ20が配信可否を設定できると説明したが、実施の別の形態としては、クリエータ20を管理する管理者がクリエータコミュニティサービスに存在し、当該管理者が配信の可否を設定することも考えうるものとする。また、クリエータコミュニティサービスは、機器101から得られたログ情報を利用し、クリエータ20に登録した映像音響コンテンツと連動するログ情報の分析結果を提供し、登録済みの映像音響コンテンツの改善または新規に登録する映像音響コンテンツの制作の参考情報としてリアルタイムにフィードバックを得て活用することができる。上記ログ情報の分析結果は、再生した映像音響コンテンツのユーザによる評価結果、再生された時間帯又は再生時間、他の映像音響コンテンツにスイッチングしたポイントを示す再生ログ、機器101が配置された場所設備情報、再生された際の音響音量、再生設定に用いられた照度、人の視線又は表情を分析することによる注視の度合いを示す目配せログなどが含まれる。
(実施の形態1)
本実施の形態において、電子機器の周囲の環境に応じたコンテンツの提示の制御を行う電子機器について説明する。
本実施の形態に係る電子機器は、電子機器の周囲の環境に関する情報、又は、電子機器の設置態様に関する情報を含む、電子機器の環境情報を取得する取得部と、電子機器の環境情報と、電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える。
また、上記電子機器が備える機能を、互いに通信可能に接続された複数の装置により分担することで制御システムとしても構成され得る。つまり、本実施の形態に係る制御システムは、電子機器の制御システムであって、電子機器の周囲の環境に関する情報、又は、電子機器の設置態様に関する情報を含む、電子機器の環境情報を取得する取得部と、電子機器の環境情報と、電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える。
また、本実施の形態に係る電子機器の制御方法は、電子機器の周囲の環境に関する情報、又は、電子機器の設置態様に関する情報を含む、電子機器の環境情報を取得し、電子機器の環境情報と、電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、電子機器によるコンテンツの提示に関する制御を行う。
以下に電子機器の構成、及び、電子機器の制御方法について具体的に説明する。なお、電子機器を単に機器ともいう。
[機器の構成]
図2は、本実施の形態に係る機器101の外観を示す模式図である。図3は、本実施の形態に係る機器101の構成を示すブロック図である。図4は、本実施の形態に係る制御処理部の詳細なブロック図である。図5は、本実施の形態に係るコンテンツ管理部の詳細なブロック図である。図6及び図7は、本実施の形態に係る機器101の設置態様の例を示す模式図である。
なお、本実施の形態では、図1における機器101として、スピーカ及びディスプレイを搭載した装置の例を記載して説明するがこれに限られるものではない。
図2の(a)は、機器101の正面図である。図2の(b)は、機器101の側面図である。図2の(c)は、機器の背面図である。また、機器101の設置態様の一例として、機器101を壁に立てかけて設置する設置態様が図6に示されている。また、機器101の設置態様の別の一例として、機器101を壁に吊り下げて設置する設置態様が図7に示されている。
図2の(a)、及び、図3に示されるように、機器101は、センサ201と、出力部202と、制御処理部203と、コンテンツ管理部204と、上部スピーカ205と、下部スピーカ206と、情報送受信部207とを備える。なお、機器101について、図2に示されるように上下方向、左右方向、及び、前後方向を定義する。
センサ201は、機器101の周囲の環境に関する情報、又は、機器101の設置態様に関する情報を含む、機器101の環境情報を取得する取得部の一例である。より具体的には、センサ201は、機器101の周囲の環境を感知して、環境を示す環境値を出力するセンサである。なお、センサ201は、カメラ、ボタン、又は、機器101の姿勢を検知するためのセンサを含む。
図2の(a)に示されるように、センサ201の一例としてのセンサ201Fは、機器101の一部に配置される。センサ201Fが配置される位置は、例えば、機器101における上部であるがこれに限られない。
センサ201Fは、例えば、環境値としての二次元画像を検出するカメラなどである。センサ201Fが検出する二次元画像は、二次元の可視画像または二次元の赤外画像(熱画像ともいう)などである。センサ201Fは、機器101から見て正面方向の二次元画像を検出し、後述する制御処理部203に出力する。なお、センサ201Fは、必ずしも二次元画像を検出するものでなくてもよい。センサ201Fは、人又は物体の存在有無のみを検出する人感センサであってもよいし、照度を検出するセンサ、滞留するにおい成分を検出するセンサなど、空間の状態を検出するセンサを想定したものでもよい。例えば、センサ201Fが、においセンサであれば、空間に置かれた果物(りんご、かき、オレンジ又はバナナなど)、植物(薔薇、ゆり、胡蝶蘭など)、人が使う香水若しくは体臭、又は、空間で使われている芳香剤などを検出できる。この場合、機器101は、空間に対する人間の心地よさ又は違和感などをにおいによって把握することができ、検出したにおいに関連する映像音響コンテンツを再生するよう制御することで、果物又は植物に関連した映像又は音響でリラックス効果を高め、また、使う香水に近しい価値観の映像音響コンテンツを選定することで空間価値の向上を演出することができる。
なお、機器101は、センサ201に代えて、又は、センサ201とともに、インターネット上のWebサイトなどから情報を取得する情報取得部(不図示)を備えていてもよい。そして、機器101は、インターネット上のWebサイトから情報取得部によって、天気に関する情報等を取得してもよい。取得した情報は、上記の環境値に代えて、又は、環境値と共に、コンテンツの提示に関する制御に用いられ得る。
出力部202は、図2の(a)に示すとおり、例えば機器101の正面に配置される液晶パネルなどであり、後述する制御処理部203から出力された情報である画像又は動画像をユーザ10に対して出力つまり表示する。
制御処理部203は、機器101の環境情報と、機器101によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、機器101によるコンテンツの提示に関する制御を行う処理部である。例えば、機器101の内部に備えられるCPU(Central Processing Unit)又はマイコンなどである。
制御処理部203は、センサ201F、出力部202もしくはコンテンツ管理部204から情報を取得して、取得した情報を基に判断等の処理を行う。また、制御処理部203は、センサ201F、出力部202、もしくはコンテンツ管理部204に情報を出力し、各構成を制御する。図4には制御処理部203の詳細な機能構成の一部を示す。図4に示されるように、制御処理部203は、視聴環境推定部203Aと、制御内容決定部203Bとを含む。各機能構成の処理については後述する。なお、制御処理部203の一部の機能、例えば視聴環境推定部203Aの一部または全部の処理を実行する機能が、センサ201Fの一例であるカメラ又はセンサに含まれていてもよい。
コンテンツ管理部204は、各構成から出力された情報、及び、外部から取得した情報等を一時的に記録もしくは蓄積する。コンテンツ管理部204は、例えば、機器101の内部に備えられるメモリなどである。
図5にはコンテンツ管理部204の詳細な機能構成の一部を示す。図5に示されるように、コンテンツ管理部204は、視聴環境蓄積DB(データベース)204Aと、コンテンツ管理DB(データベース)204Bとを含む。各機能構成の特徴については後述する。なお、コンテンツ管理部204は、必須の構成ではない。例えば、機器101以外の外部装置が、コンテンツ管理部204の視聴環境蓄積DB204A及びコンテンツ管理DB208の一方又は両方を備えており、機器101と当該外部装置が情報を有線通信もしくは無線通信でやり取りすることで代用してもよい。
上部スピーカ205は、機器101の本体上部に配置されるスピーカである。
下部スピーカ206は、機器101の本体下部に配置されるスピーカである。
センサ201には、本体の背面の上下それぞれの端部には、床への設置などを感圧式で検出するセンサ201BH及び201BLが配置されていてもよい。センサ201BH及び201BLは、機器101の姿勢を検知するセンサとして機能する。センサ201BH及び201BLは、物体により押圧又は接触される場合にON信号を出力し、そうでない場合にOFF信号を出力する。ON信号又はOFF信号は環境値に相当する。
図6に示されるように、壁に対して機器101の本体を立てかける場合において、機器101が床に置かれた際にセンサ201BLが床と接することで、置かれたことを検知することができる。なお、ここでは感圧式センサで検知する例を示したが、センサの検知方式はこれに限らず、静電容量式又は照度照合方式のような他の手段を用いてもかまわない。
なお、センサ201BH及び201BLの代わりに3軸センサを用いて機器101の姿勢を検知することもできる。3軸センサは、予め定められた互いに直交する3軸それぞれに対する角度を検出する。この検出角度を用いて任意の軸又は面に対する角度を算出することもできる。例えば、上記3軸それぞれに対する角度を用いて、機器101の水平面からの立上がり角θを算出することができる。この立上がり角θを用いて機器101の姿勢が表現され得る。立上がり角θは、環境値の一例である。
また、図2の(c)に示されるように、機器101がフック掛け穴H1を有しており、壁に固定されたフックF1がフック掛け穴H1に挿入されることで、機器101を壁に掛けて吊り下げるようにして設置することもできる(図7参照)。この場合、センサ201BHおよびセンサ201BLにより壁又は床が検出されないことから、機器101が壁に吊り下げられていると判定することができる。
なお、図6に示されるように機器101が壁に立て掛けられて設置される場合、上部スピーカ205が出力する音声C205より、下部スピーカ206が出力する音声C206の音量を大きくしてもよい。このように音量を調整することで、適切な視聴環境をユーザ10に提供するためである。
なお、機器101は、さらに、コンテンツの再生に関するログ情報を出力するログ出力部(不図示)を備えてもよい。ログ出力部が出力するログ情報は、クリエータ20にフィードバックされるログ情報として活用され得る。
図8は、本実施の形態に係る機器101の外観を示す斜視図である。図9は、本実施の形態に係る機器101の分解斜視図である。図8及び図9に示される構成について以下で詳細に説明する。
機器101は、外装フレームP101と、構造フレームP102と、バックカバーP103と、装飾部材P104と、スピーカネットP111と、スピーカベース板P112と、スピーカP113と、カバーガラスP121と、表示パネルP122とを備える。
外装フレームP101は、アルミニウムなどの金属材料により形成される外装フレームである。外装フレームP101は、着脱可能な構造としてもよく、この場合、表示パネルP122等とは独立に、機器101の外観を変更できる利点がある。なお、外装フレームP101に、LCD(Liquid Crystal Display)又はOLED(Organic Light Emitting Diode)を配備してもよい。
構造フレームP102は、アルミニウムなどの金属材料により形成される構造フレームである。構造フレームP102は、機器101の機械的構造を維持するための骨組みである。
バックカバーP103は、機器101の構成要素を背面側から覆う、エンクロージャとしてのカバーである。
装飾部材P104は、バックカバーP103の装飾用の部材である。装飾部材P104は、布製(ファブリック)、金属製、木製などの任意の部材であり、機器101の外観を演出する部材である。装飾部材P104は、例えば、放熱孔などの機能的な形状を外面から隠すことで美しい外観を確保するために用いられ得る。装飾部材P104は、取り外し可能とし、ユーザ10の好みに応じてカスタマイズされ得るように構成されてもよい。
スピーカネットP111は、スピーカP113を前面側から覆うカバー部材である。スピーカネットP111は、例えば、金属又は樹脂に微細孔を設けたものであり、外面からスピーカP113が視認されにくくする。また、スピーカネットP111は、裏面に紗をはることで内部構造がさらに視認されにくくすることもできる。スピーカネットP111は、音透過性のある材料を使用することが好ましく、Fabricを用いるなどカスタマイズされてもよい。
スピーカベース板P112は、スピーカP113及びスピーカネットP111を保持する板体である。
スピーカP113は、機器101を前面側から見て上部の左右の2箇所に上部スピーカ205として搭載され、また、下部の左右の2箇所に下部スピーカ206として搭載される。スピーカP113は、10Hz程度の低音域から100kHz程度の高音域までの音を出力する。
カバーガラスP121は、表示パネルP122を前面側から覆うカバー部材である。カバーガラスP121は、表示パネルP122に対してダイレクトボンディング加工をして、空気層なく接着することで、表面の均一な外観と表示性能を両立する。なお、カバーガラスP121のガラス形状を工夫することで、カバーガラスP121の端いっぱいまで画像を表示するブラックマトリクスレスに対応し得る。
表示パネルP122は、画像を表示する表示パネルである。表示パネルP122は、例えば、LCD又はOLEDである。表示パネルP122は、出力部202に相当する。
以上、図2〜図9を用いて各構成について説明したが、機器101がこれらの構成全てを備えている必要はない。すなわち、外部の機器がこれらの構成のうち一部を備えており、機器101と情報をやり取りすることで代用してもよい。また機器101は上記した各構成以外の構成を備えていてもよい。
[機器の動作・処理の流れ]
図10は、本実施の形態に係る機器101の処理を示すフロー図である。
ステップS401にて、センサ201は、機器101の前方向の可視画像又は熱画像等の二次元画像を検出し、検出した二次元画像を制御処理部203に出力する。ここで、二次元画像の検出のタイミング又は頻度は、特に限定されない。例えば5分又は10分などの所定の間隔ごとに検出してもよいし、制御処理部203がユーザ10の存在が検出されたときに検出頻度を上げるように制御してもよい。なお、センサ201が取得する情報は必ずしも二次元画像に関する情報ではなくてもよい。例えばセンサ201が取得した空間内のセンシング情報であってもよい。
ステップS402にて、制御処理部203は、ユーザ10から操作を受け付けたか否かを判定する。ユーザ10からの操作を受け付けた場合(ステップS402でYes)には、ステップS421に進み、そうでない場合(ステップS402でNo)には、ステップS403に進む。
ステップS403にて、制御処理部203は、オートモードに遷移するか否かを決定する。ここで、オートモードとは、センサ201による検知結果に基づいて視聴環境を推定し、制御内容を決定するモード(後述のステップS411〜S413の動作をするモード)をいう。オートモードに遷移するか否かは、例えばステップS402で受け付けた操作が、オートモードに遷移するための操作として予め定められた操作であるか否かに基づいて判定され得るが、これに限定されない。オートモードに遷移すると決定した場合(ステップS403でYes)には、ステップS411に進み、そうでない場合(ステップS403でNo)には、ステップS404に進む。
ステップS404にて、制御処理部203は、通常モードでのコンテンツの再生を行う。ここで、通常モードとは、オートモードとは異なるモードであって、予め定められた1以上のコンテンツの再生を行うモードである。なお、通常モードでの再生は、1以上のコンテンツが、予め定められた順序で再生されてもよいし、ランダムに再生されてもよいし、その他、任意の態様で再生されてよい。
ステップS405にて、制御処理部203は、機器101の電源をOFFする指示を受信したか否かを判定する。上記指示を受信した場合(ステップS405でYes)には、図10に示される一連の処理を終了する。上記指示を受信していない場合(ステップS405でNo)には、ステップS402を再び実行する。
ステップS411にて、制御処理部203の視聴環境推定部203Aは、センサ201を動作させる。
ステップS412にて、制御処理部203の視聴環境推定部203Aは、センサ201から出力された情報である二次元画像又はセンシング情報などを基に、空間にユーザ10がいるかどうか、又は、空間の照度が規定値以下かどうか、などの観点で空間の状態を推定する。視聴環境推定部203Aが推定する情報は、例えば、機器101の周囲の環境に関する情報であり、機器101の周囲の人の有無、機器101の周囲の人の向き、又は、機器101の周囲の明るさを示す情報である。ステップS412の詳細な処理は、後で説明する。
ステップS413にて、制御処理部203の制御内容決定部203Bは、ステップS402にて視聴環境推定部203Aが推定したユーザ10の有無、ユーザ10の人数、又は、ユーザ10の状態に応じて、機器101の制御内容を決定する。ステップS413の詳細な処理は、後で説明する。
ステップS421にて、制御処理部203は、チャネルの指定を受信する。ここで、チャネルとは、特定のキーワード又はジャンルに関連するコンテンツの集合、又は、特定の提供者が提供するコンテンツの集合などを意味する。制御処理部203は、例えば、ユーザ10がリモコン103による操作により指定するキーワード又はジャンルを受信する。
ステップS422にて、制御処理部203は、ステップS421で受信したチャネルの指定に基づいて、コンテンツの再生設定を変更する。
上記ステップS406、S413、又は、S422を終了したら、図10に示される一連の処理を終了する。
次に、図10のステップS412の詳細な処理について2つの例を示しながら説明する。
図11は、本実施の形態に係る視聴環境判定処理の第一例を示すフロー図である。図11に示される処理は、図10のステップS412に含まれる処理の一例である。
ステップS501にて、制御処理部203の視聴環境推定部203Aは、センサ201から出力された二次元画像又はセンシング情報などの情報を解析することで、ユーザ10の有無、又は、ユーザ10の人数などを判断する。
ユーザ10の有無、又は、ユーザ10の人数の判断方法に関しては特に限定しない。例えば、取得された時刻の異なる複数の画像の変化、つまり、画像間の差分からユーザ10が存在するか否かを判断してもよい。取得された時刻を取得時刻ともいう。取得時刻の異なる複数の画像の変化、つまり、画像間の差分とは、例えば、複数の画像間で所定の時間内に所定の輝度値が閾値以上変化した画素領域又は差分領域などを示す。当該差分領域は、画像中の動きのある領域であると推定できる。このように、取得時刻の異なる複数の画像間の差分を検出することで、空間内における、動きがあるユーザ10の存在を特定できる。また、画像中における、差分が検出された領域の数を計測することで、ユーザ10の人数を特定することができる。また、ユーザ10の有無を判断するその他の方法として、例えば可視画像の場合、画像中の色情報、輝度の特徴、又は、形状の特徴等から画像におけるユーザ10の領域を特定してもよい。また、熱画像の場合、画像中の温度に関する情報を基に画像におけるユーザ10の領域を特定してもよい。
ステップS502にて、視聴環境推定部203Aは、ステップS501の判断結果を踏まえ、画像を取得した空間内にユーザ10が存在するか否かを判断し、その後の処理を分岐する。ユーザ10が存在する場合(ステップS502でYes)には、ステップS503の処理に進む。一方でユーザ10が存在しない場合(ステップS502でNo)には、ステップS412の処理を抜け、視聴環境推定部203Aは、ユーザ10が存在しない旨の情報を制御内容決定部203Bに出力する。
ステップS503にて、視聴環境推定部203Aは、画像中のユーザ10と特定した領域に関して、ユーザ10の視線が機器101に向いているか否かを特定する。ここで、機器101に向いているか否かを特定する方法は特に限定しない。
例えば、視聴環境推定部203Aは、画像中においてステップS501にてユーザ10と特定された領域に対して、顔の要素を分析し、ユーザ10の視線が機器101を向いているか否かを判断してもよい。その場合、事前に、例えば機器101の出荷時点に、画像中におけるユーザ10に対する一般的な視線の判定ができることが前提とされる。なお、さらに特定環境に居住するユーザ10の特徴がコンテンツ管理部204などに記録されていることが認識率向上のために望ましい。また、機器101を使用するユーザ10およびユーザ10の特徴を事前に取得し保持しておき、画像中のユーザ10と特定した領域と比較することで特定の人か否かを判断してもよい。この事前の取得を、事前登録又はキャリブレーションともいう。これによって、より検出精度が向上する。
ステップS504にて、視聴環境推定部203Aは、ステップS503で特定したユーザ10の状態を、機器101の視聴環境の推定結果とする。ユーザ10の状態の具体例は、注視の度合いを示す目配せに関する状態である。
ここで、ユーザ10の状態を推定する方法は特に限定しない。例えば、取得時刻が異なる複数枚の画像の変化を解析することで、ユーザ10が機器101を注視しているか、又は、偶発的に機器101の方を向いているかを推定してもよい。この場合、時間的な変化が大きければ「偶発的」と推定し、時間的な変化が小さければ「注視」と推定する。また、センサ201が二次元画像を取得しないセンサである場合には、センサが取得したセンサ情報の時間的な変化を基に、注視の状態であるのか、それ以外の状態(睡眠などを含む状態)であるのかを推定してもよい。
ステップS504の処理を実施した後、もしくは、ステップS502でユーザ10が存在しないと判断された(ステップS502でNo)後、ステップS412の処理を完了しステップS413に進む。
なお、ステップS502でユーザ10が存在すると判断された(ステップS502で「Yes」)後にステップS504の処理を実行してステップS412の処理を完了した場合、視聴環境推定部203Aは、制御内容決定部203Bに、(i)ユーザ10の種類、又は、人の有無、(ii)存在するユーザ10の数、(iii)存在するユーザ10の状態(注視、又は、その他:睡眠など)、に関する情報のうち少なくともいずれか一つの情報を出力する。ここで、ユーザの種類とは、ユーザの性別又は年齢などを意味し、個人宅での使用の場合には、当該個人宅の主人であるか、夫人であるか、又はゲストであるかの別などを意味する。
また、ステップS502でユーザ10が存在しないと判断された(ステップS502で「No」)後にステップS412の処理を完了した場合、視聴環境推定部203Aは、制御内容決定部203Bに、(iv)空間内にユーザ10が存在しない旨の情報を出力する。
図12は、本実施の形態に係る視聴環境判定処理の第二例を示すフロー図である。図12に示される処理は、図10のステップS412に含まれる処理の一例である。
ステップS511にて、制御処理部203の視聴環境推定部203Aは、センサ201から出力された二次元画像又はセンシング情報などの情報を解析することで、ユーザ10の有無、又は、ユーザ10の人数などを判断する。
ステップS512にて、視聴環境推定部203Aは、センサ201としての照度センサにより機器101の周囲の照度を取得し、取得した照度が規定値以下であるか否かを判定する。ここで、照度の規定値は、例えば、薄暗い室内に相当する300〜500ルクス程度である。照度が規定値以下である場合(ステップS512でYes)には、ステップS513に進み、そうでない場合(ステップS512でNo)には、図12に示される一連の処理を終了する。
ステップS513にて、視聴環境推定部203Aは、ステップS512で検出した照度を機器101の視聴環境の推定結果とする。ステップS513を終了したら、図12に示される一連の処理を終了する。
図13は、本実施の形態に係る制御内容決定処理の一例を示すフロー図である。図13を参照しながら、制御処理部203が有する制御内容決定部203Bの詳細を示す。
ステップS601にて、制御内容決定部203Bは、制御内容決定のためのテーブルをコンテンツ管理部204から取得する。当該テーブルは、図16〜図20(後述)に示されるテーブルである。
ステップS602にて制御内容決定部203Bは、ステップS601にて取得したテーブルを参照し、ステップS412にて推定した視聴環境に基づいて、コンテンツの提示に関する制御内容を決定する。
ステップS603にて、制御内容決定部203Bは、ステップS602で決定した制御内容に基づいてコンテンツの提示に関する制御をする。具体的には、制御内容決定部203Bは、ステップS602で決定したコンテンツを取得して、取得したコンテンツを出力部202により出力してユーザ10に提示する。
コンテンツの提示に関する制御では、例えば、所定の対応付けを参照することで、センサ201により取得された環境情報に対応付けられた制御の内容である、機器101により提示すべきコンテンツを選択し、選択されたコンテンツを提示する制御を行ってもよい。
図14は、本実施の形態における空間の状態と、出力される情報の例とを示す説明図である。より具体的には、図14では、視聴環境推定部203Aが、ステップS501からS504までの処理により推定した空間内の状態を示す図を上段に示しており、また、制御内容決定部203Bへ出力する情報の例を示す図を下段に示している。図14の(a)は、1人の起床中のユーザ10と、1匹の犬とが、空間内に同時に存在する状態を示している。図14の(b)は、1人の起床中のユーザ10と、2匹の犬とが、空間内に存在する状態を示している。視聴環境推定部203Aは、これらの状態からの推定により、上記(i)〜(iv)の少なくともいずれかの情報を制御内容決定部203Bに出力する。
なお、ステップS504にて視聴環境推定部203Aは、「起床」又は「注視」という状態に代えて、その他の情報を推定してもよいし、「起床」又は「注視」という状態に加えて、その他の情報を推定してもよい。
例えば、図14の(a)及び(b)の場合、視聴環境推定部203Aは、機器101に対するユーザ10の向きを推定している。ここで、ユーザ10の向きは、例えば、正面又は横向きなどである。ユーザ10の向きを推定する方法は、既知の手法を採用することができ、特に限定しない。例えば、顔認識技術等を採用し、顔の向きを推定することでそのユーザ10の向きを推定してもよい。向きを推定することにより、ユーザ10が機器101の方向を向いているか否か、すなわち、機器101に関心を持っているか否かを推定することができるので、後述する制御内容決定部203Bでの制御内容決定において、ユーザ10にとってより適切な制御、又は、ユーザ10の状態により適合する制御を決定することができる。よって、空間内にユーザ10が存在すると推定された場合には、加えてユーザ10の向きを推定するようにすることが好ましい。
さらに、例えば、図14の(a)のように、そのユーザ10の行動を推定してもよい。ここで、ユーザ10の行動とは、読書中、食事中、又は、歩行中などである。行動を推定する方法に関しては既知の手法を採用することができ、特に限定しない。取得時刻の異なる複数の画像間の差分を算出することで、ユーザ10が動いているか、又は、静止しているかを判断することができるので、読書中もしくは歩行中等の行動を推定できる。また所定の場所に静止している場合、その場所によって食事中なのか読書中なのか等の行動を推定してもよい。行動を推定することによっても、ユーザ10が、機器101に関心を持っている状態か否かを推定することができる。また、ユーザ10の精神状態も推定できるので、後述する制御内容決定部203Bでの制御内容決定において、ユーザ10にとってより適切な制御、又は、ユーザ10の状態により適合する制御を決定することができる。ここで、ユーザ10の精神状態とは、落ち着きたい精神状態、又は、活発な精神状態などである。よって、起床中のユーザ10が存在する場合に、加えて行動を推定するようにすることが好ましい。
図15は、本実施の形態における人物および空間の状態の推定結果を示すテーブルの説明図である。より具体的には、図15は、視聴環境推定部203Aが、制御内容決定部203Bに出力する情報を管理したテーブル801の例を示す。これらの情報はテーブル801として、コンテンツ管理部204の視聴環境蓄積DB204Aにログ情報として蓄積されてもよいし、一時的に記録され適宜消去されてもよい。視聴環境蓄積DB204Aにログ情報として蓄積されている場合は、ある程度空間内のユーザ10の状態に関するパターンを学習することができる。よって、処理する情報量の削減、又は、視聴環境推定部203Aの推定精度の向上などに貢献することができる。また、このように、視聴環境蓄積DB204Aによってテーブル化して管理する場合は、視聴環境推定部203Aが推定した情報を制御内容決定部203Bに直接に出力するのではなく、推定した情報をコンテンツ管理部204の視聴環境蓄積DB204Aに、一旦、出力するようにしてもよい。そして、ステップS413では制御内容決定部203Bが視聴環境蓄積DB204Aから情報を取得し、制御内容を決定してもよい。
図15の例では、センサ201から制御処理部203の視聴環境推定部203Aに、15分おきに検出結果が出力されており、15分おきのユーザ状態の推定結果がテーブル化されている。なお、センサ201が検出する頻度、及び、視聴環境推定部203Aが推定する頻度は15分に限られない。また、図15のテーブル801では、図14に示した各状態に対応するログ情報の例が「状態の例」として記載されている。例えば、図14の(a)の状態は、図15のログ3に対応しており、1人のユーザ10が存在しており、1人のユーザ10が起床中であり横向きで読書中であるという状態が視聴環境蓄積DB204Aのテーブル801に管理されている。なお、この「状態の例」は説明のために記載しているものであり、テーブル801に蓄積されている必要はない。
以上、視聴環境推定部203Aによって、空間内にユーザ10が存在するか否か、及び、ユーザ10が存在する場合にはそのユーザ10の人数及び状態等を推定し、制御内容決定部203Bに出力する。なお、視聴環境推定部203Aは、必ずしもステップS501からS504の順番に処理を実行しなくてもよい。また一部のステップを省略してもよい。また各ステップをまとめて実施してもよい。すなわち視聴環境推定部203Aは、結果として上記(i)〜(iv)の情報のうち少なくともいずれかを制御内容決定部203Bに出力できれば、その処理の順序又は内容に関して異なる手段を用いても構わない。
以降において、コンテンツ管理部204が管理する制御内容決定のためのテーブルの例を示しながら、制御内容を決定する処理について説明する。
図16は、本実施の形態における、カメラによる目配せ判定を用いた制御内容決定のためのテーブル901Aの説明図である。
テーブル901Aは、所定の対応付けの一例である。テーブル901Aは、機器101の環境情報の変化を示す情報と、コンテンツの提示の開始、停止又は終了との対応付けを含む。また、コンテンツの提示に関する制御では、テーブル901Aを参照することで、取得した環境情報の変化に対応付けられた、機器101により提示すべきコンテンツの提示の開始、停止又は終了を行う。
テーブル901Aは、より具体的には、センサ201としてカメラを搭載し、ユーザ10の状態としての目配せ行動に応じて機器101の出力部202で実行する動作を規定したテーブルの例である。
制御内容決定部203Bがテーブル901Aを参照する場合、視聴環境推定部203Aによって、前状態と後状態とにおいて、人が「存在しない」もしくは「睡眠」であると判断されていた場合、制御内容決定部203Bは、機器101の出力動作として「規定時間以上変化がなければ再生を停止する」動作を決定する。ここで、人が「存在しない」もしくは「睡眠」であると判断されるのは、例えば、図11のステップS502においてユーザ10が存在しないと判断された場合である。また、「前状態」及び「後状態」は、それぞれ、判断時の前の所定の時点と、判断時の後の所定の時点とをいう。
また、視聴環境推定部203Aによって、人が存在しており、かつ、前状態と後状態とで「正面」が継続すると判断された場合、制御内容決定部203Bは、機器101の出力動作として「当該映像音響コンテンツの再生継続」動作を決定する。なお、このとき、コンテンツを視聴するユーザ10が機器101に向かって正面を向いている状態にあったことに基づいて、ユーザ10が注視してコンテンツを見ていたものと判断し、当該映像音響コンテンツに対する注目ポイントを向上してもよい。この注目ポイントは、当該映像音響コンテンツに紐づいて管理され、当該映像音響コンテンツを制作したクリエータ20にフィードバックされ得る。また、注目ポイントに限らず、当該映像音響コンテンツが再生された際の音量、又は、総再生時間など、ユーザ10が視聴することに伴って生ずるあらゆる情報を記録しておけば、当該映像音響コンテンツを制作したクリエータ20は、当該映像音響コンテンツの改善または次回制作する映像音響コンテンツの検討要素として活用することができる。
また、視聴環境推定部203Aによって、人が存在しており、かつ、前状態と後状態とで「横」を向いた状態が続いていると判断された場合、制御内容決定部203Bは、機器101の出力動作として「当該映像音響コンテンツの再生継続」動作を決定する。このとき、上記の「正面を向く状態の継続」の場合と同様に、フィードバックを記録できる。ユーザ10が横を向いた状態を継続しているときは、コンテンツが心地よいBGV(Back Ground Visual)であるとユーザ10に認識されていると考えられ、横を向いた状態である累計時間をクリエータ20にフィードバックすることができる。
また、視聴環境推定部203Aによって、人が「正面又は横」から「なし(存在しない)」状態に変化した場合、制御内容決定部203Bは、機器101の出力動作として「映像音響コンテンツの再生継続」動作を決定する。これは、ユーザ10が存在しなくなったことが、一時的な退室によるものである可能性があるため、比較的短時間後にユーザ10が戻ってくることを想定して、様子見として行う動作ともいえる。
また、その逆に、ユーザ10が暫く存在せず、映像音響コンテンツの再生が停止していた場合、前状態「なし(存在しない)」から後状態「正面又は横」に状態が変化した場合、制御内容決定部203Bは、機器101の出力動作として「停止していた映像音響コンテンツの再生再開」動作を決定する。
また、前状態及び後状態ともに「なし(存在しない)」の状態である場合、この状態から規定時間以上変化がなければ、制御内容決定部203Bは、機器101の出力動作として、「再生停止」動作を決定する。
なお、制御内容決定部203Bが制御内容を決定するために取得するテーブルは、テーブル901Aのみに限られない。
図17は、本実施の形態における、照度計による設置環境判定を用いた制御内容決定のためのテーブル901Bの説明図である。テーブル901Bは、所定の対応付けの一例である。テーブル901Bは、機器101の環境情報の変化を示す情報と、コンテンツの音量又は明るさの変更との対応付けを含む。また、コンテンツの提示に関する制御では、所定の対応付けを参照することで、取得した環境情報の変化に対応付けられた、機器101により提示すべきコンテンツの音量又は明るさの変更を行う。
テーブル901Bは、センサ201として照度計を搭載し、機器101が設置された環境、より具体的には、機器101の周囲の明るさの状態変化に応じて機器101の出力部202で実行する動作を規定したテーブルの例である。
テーブル901Bは、テーブル901Aと同様に、前状態と後状態とを管理している。
機器101の周囲の明るさが「低」つまり暗い状態から「中又は高」つまり比較的明るい状態に変化した場合、制御内容決定部203Bの判定として「周囲の明るさの変化と連動し、ユーザ10が軽快と感じる傾向にあるトーンアップした映像音響コンテンツに切り替え、必要に応じて出力部202のバックライトを明るくする」動作を決定する。機器101の周囲の明るさが上記のように変化するのは、例えば、ユーザ10の起床時、又は、ユーザ10が不在であった部屋にユーザ10が入室した時、などに生じ得る。このとき、再生環境としての照度がいかほどであったかの照度ログの実績をフィードバック記録として記録することができ、任意にクリエータ20が活用することができる。同様に、前状態と後状態との変化に応じて、出力を変化させるものとする。
また、機器101の周囲の明るさが「高」つまり明るい状態から「中又は低」つまり比較的暗い状態に変化した場合、制御内容決定部203Bの判定として「周囲の明るさの変化と連動し、落ち着いた映像音響コンテンツに切り替え、必要に応じて出力部202のバックライトを暗くする」動作を決定する。
また、例えば、機器101の周囲の明るさが「低」つまり暗い状態を維持している場合、制御内容決定部203Bの判定として「規定時間以上変化がなければ再生停止」動作を決定する。
また、前状態及び後状態ともに「低」の状態である場合、この状態から規定時間以上変化がなければ、制御内容決定部203Bは、機器101の出力動作として、「再生停止」動作を決定する。
また、例えば、機器101の周囲の明るさが「中」つまり中程度の状態から、「高」つまり明るい状態に変化した場合には、制御内容決定部203Bの判定として「彩度の高いコンテンツに切り替える」動作を決定する。
図18は、本実施の形態における、3軸センサによる傾き判定を用いた制御内容決定のためのテーブル901Cの説明図である。テーブル901Cは、所定の対応付けの一例である。テーブル901Cは、機器101の姿勢を示す情報と、当該姿勢にある機器101によるコンテンツの提示に関する制御との対応付けを含む。また、コンテンツの提示に関する制御では、機器101の姿勢を示す情報に対応付けられた、コンテンツの提示に関する制御を行う。
テーブル901Cは、センサ201として3軸センサを搭載し、機器101が設置された環境、より具体的には、機器101本体の傾き状態に応じて機器101の出力部202で実行する動作を規定したテーブルの例である。
テーブル901Cは、立ち上がり角θに基づいて機器101本体の設置状態を管理している。機器101本体の設置状態が「水平面からの立上がり角θが0度以上、60度未満」である場合、制御内容決定部203Bは、判定により、「機器が転倒する可能性があるとし、ユーザ10に、文字、音又は光を用いてアラート通知する」動作と、「当該映像音響コンテンツの再生継続」動作とを決定する。このとき、再生環境として本体の設置状態ログの実績(平置き再生)をフィードバック記録として記録することができる。クリエータ20は、このフィードバック記録を任意に活用することができる。なお、この設置状態を、平置き状態ともいう。
また、機器101本体の設置状態が「水平面からの立上がり角θが60度以上、90度未満」である場合、制御内容決定部203Bは、判定により、本体が斜めにたてかけられた状態では、上部と下部のスピーカでユーザ10の耳までの距離が異なることから、視聴するユーザ10にとっての均衡をはかるよう「上部スピーカの音量よりも下部スピーカの音量を大きくする」動作を決定する。なお、この設置状態を、立て掛け状態ともいう。
また、機器101本体の設置状態が「水平面からの立上がり角θが90度以上」である場合、制御内容決定部203Bは、判定により、「上部スピーカと下部スピーカで音量を同じにする」動作を決定する。なお、この設置状態を、壁掛け状態、又は、屋根天井設置状態ともいう。
図19は、本実施の形態における、上面及び下面のボタンによる設置環境判定を用いた制御内容決定のためのテーブル901Dの説明図である。テーブル901Dは、機器101の設置状態、つまり、平置き状態、壁掛け状態、立て掛け状態、又は、屋根天井設置状態に応じて、機器101の出力部202で実行する動作を規定したテーブルの例である。
ここで、機器101は、ボタンセンサである上部ボタン及び下部ボタンを搭載しているとする。なお、上部ボタンはセンサ201BHに相当し、下部ボタンはセンサ201BLに相当する。
テーブル901Dは、上部ボタンおよび下部ボタンの状態に基づいて機器101本体の設置状態を管理している。機器101本体の設置状態が、上部ボタン及び下部ボタンともに「ON」である場合、つまり、設置状態が立て掛け状態である場合、制御内容決定部203Bは、判定により、「上部スピーカの音量よりも下部スピーカの音量を大きくする」動作を決定する。本体が斜めになって壁に立て掛けられた状態では、上部スピーカ205からユーザ10の耳までの距離と、下部スピーカ206からユーザ10の耳までの距離とが異なることから、視聴するユーザ10にとっての視点で均衡を図るためである。
また、機器101本体の設置状態が、上部ボタン及び下部ボタンともに「OFF」である場合、つまり、設置状態が壁掛け状態又は平置き状態である場合、制御内容決定部203Bは、判定により、「上部スピーカ205と下部スピーカ206とで音量を同じにする」動作を決定する。
図20は、本実施の形態におけるコンテンツ管理テーブルであるテーブル1001の説明図である。テーブル1001は、所定の対応付けの一例である。テーブル1001は、機器101の環境情報と、当該環境情報に適合する環境情報を有する機器101が提示すべきコンテンツの属性を示す属性情報との対応付けを含み、コンテンツの提示に関する制御では、上記所定の対応付けを参照することで、取得した環境情報に対応付けられた属性情報を有するコンテンツの選択を行ってもよい。さらに、上記所定の対応付けは、機器101が提示すべきコンテンツと、当該コンテンツの許容される提示態様を示す許容情報とを含み、コンテンツの提示に関する制御では、許容情報によって許容される提示態様で提示できるコンテンツの選択を行ってもよい。
テーブル1001は、コンテンツ管理部204に管理されており、図16〜図19で説明した出力するコンテンツを管理するテーブルである。また、テーブル1001に記載されているコンテンツは、コンテンツ管理DB208に保持されているものもあれば、放送局からネットワーク又は放送電波を介して配信されるものがあってもよい。
テーブル1001では、各コンテンツに対して、コンテンツ種別、コンテンツID(CID)、名称、音源の有無、音重畳の可否、BGM(Back Ground Music)メタ情報、注目ランク、及び、許容情報が対応付けられて管理されている。
コンテンツ種別は、当該コンテンツの種別又はカテゴリである。コンテンツ種別は、図9で制御内容決定部203Bが決定した出力内容と対応している。
コンテンツIDは、当該コンテンツを一意に識別し得る識別子である。
名称は、当該コンテンツの名称である。
音源の有無は、当該コンテンツに紐づけられる音源の有無を示す情報である。
音重畳の可否は、当該コンテンツへの音の重畳の可否を示す情報である。
BGMメタ情報は、当該コンテンツにBGMとして音を重畳する場合の音源ソースの検索に用いることができるメタ情報である。
注目ランクは、当該コンテンツを利用するユーザ10のお気に入り度などのレーティング行為から得られる注目度を示す情報である。注目ランクは、個々のユーザ10が注視して視聴したかどうかの注目ポイントとは別に管理するのが基本だが、注目ポイントと連動して注目ランクを加工又は補正してもよい。
許容情報は、当該コンテンツを制作したクリエータ20が意図した出力に関する許容情報であり、当該コンテンツの提示の際に、当該コンテンツの編集、調整又は加工などが許容されるか否かを、その編集等ごとに示す情報である。許容情報は、例えば、コンテンツの正方形形状への切り出しの可否を示す情報である正方形切出し可否情報、又は、つまり、コンテンツを構成する映像の長手が縦方向になる向きでの再生の可否を示す情報を示す縦設置再生可否情報のような、コンテンツの形状又は向きの調整についての許否に関する情報を含む。また、許容情報は、環境設定、つまり、コンテンツを出力するときの環境についての適否に関する情報を含む。
例えば、ステップS602にて制御内容決定部203Bがコンテンツの再生を出力内容として決定していた場合、テーブル1001のC11などのコンテンツのいずれかが選択される。
なお、コンテンツを選択する方法は特に限定しない。例えば、コンテンツによって再生する時間が決まっているものがある場合は、そのときの時間又はコンテンツ種別に対応するものを選択すればよい。
また、ステップS412の状態推定にて、ユーザ10の顔の向き、ユーザ10の行動又は表情などの詳細な状態を推定している場合は、当該状態に合わせて制御内容決定部203BがBGMメタ情報、注目ランク、環境設定などを加味してコンテンツを選択するようにしてもよい。例えば、図14の(b)のように空間内に1人のユーザ10と2匹の犬とが存在し、機器101に対して正面を向いていると視聴環境推定部203Aにより推定された場合は、テーブル1001のBGMメタ情報のうちユーザ10の注視を受けてじっくり閲覧されることが想定される「じっくり」といったキーワードが設定されているコンテンツC11を選択する。ここでは、例えばC11の「ペーパークラフト」というコンテンツが選択される。
また、図14の(a)のように空間内に1人のユーザ10と1匹の犬とが存在し、人が機器101に対して横を向いており、かつ、読書中であると視聴環境推定部203Aにより推定していた場合は、メタ情報のうち読書を邪魔しないような音楽とマッチする「スロー」といったキーワードが設定されているコンテンツC13を選択する。ここでは例えばC13の「職人技 時計」というコンテンツが選択される。なお、コンテンツの選択基準は上で説明したものに限られず、コンテンツ名をキーワード検索により選択してもよいし、映像コンテンツの内容を直接的に示すメタ情報を管理テーブルに追加して管理してもよい。
また、上記の説明では、制御内容決定部203Bが、ユーザ10の有無又は状態に合わせて、各コンテンツに紐づくBGMメタ情報と対応づけてコンテンツを選択する例を説明したがこれに限られない。例えば、ユーザ10、サービス管理者またはクリエータ20が予め嗜好又は想定する行動に合わせて、状態に対応づけて出力するコンテンツのカテゴリを設定しておいてもよい。これによれば、例えば、あるユーザ10は、図14の(b)のような正面を向いた状態のときに、ユーザ10が好きな音楽を再生し、その音楽を音源として重畳が可能な映像コンテンツをコンテンツ候補として設定することもできる。ここでは、C11、C13、C15のコンテンツが、音の重畳が可又は必須となっていることからコンテンツ候補として設定される。このように、より一層、ユーザ10の趣味又は趣向に適合した映像音響コンテンツを、ユーザ10の設定した状態又はタイミングで出力することができる。
また、ユーザ10が存在する場合は、機器101の制御内容決定部203Bがコンテンツを選択するのではなく、複数のコンテンツから、状態に応じた複数のコンテンツ候補を表示してレコメンドし、ユーザ10に選択させるようにしてもよい。
本実施の形態ではあらゆるコンテンツが機器101内に保持されていることを想定しているので基本的にはコンテンツ管理DB208にあらゆるコンテンツが管理されている。よって、制御内容決定部203Bは、ステップS603にてコンテンツ管理DB208からコンテンツを取得する。
ただし、上でも記載したが、各コンテンツは、コンテンツ管理DB208に保持されているコンテンツであってもよいし、放送局からネットワーク又は放送電波を介して配信されるコンテンツであってもよい。テーブル1001は、各コンテンツのソースに関しても管理している。例えば、C11〜C52は少なくとも数秒以上の連続した映像コンテンツの実態データを持つものであるので、コンテンツ管理DB208に実データが管理されているものがあれば、実データは別のところに保持され、その保持された領域へのアクセスパス情報だけが管理されているパターンも存在し得る。制御内容決定部203Bは、コンテンツがコンテンツ管理DB208に管理されていない場合、ネットワーク経由でコンテンツを取得するように機器101を制御する。また、再生するコンテンツは、写真のような静止画でもよく、制御内容決定部203Bは、機器101のコンテンツDB204Bにて写真のような静止画も管理することができ、映像コンテンツとして取得再生制御することができる。
なお、写真は、ユーザ10が撮影した写真でもよいし、サービス管理者又はクリエータ20が登録した写真でもよく、ユーザ10が機器101内に記録したもの全てを含んでよい。また、「写真」が選択された場合は、複数の写真をスライドショー形式で順次に再生させるように制御することもできるし、クリエータ20が意図した順序又は再生時間を含むプレイリストを細かく管理制御することもできる。また、ユーザ10の状態に応じて、スライドショー再生速度又は再生方法を変更してもよい。また、ユーザ10の状態に応じて再生すべき写真を複数選択して再生するように制御してもよい。
なお、テーブル1001の例では、出力するコンテンツとして映像コンテンツと音響コンテンツの組み合わせで管理する例のテーブルで記載したが、管理方法はこれに限られない。例えば、音声のみのコンテンツが含まれていてもよいし、映像コンテンツが必ず音響データを内包してもよい。
なお、ここでは、各映像音響コンテンツに対する注目ランクを、1を最大として正規化された数値で表現したが、管理方法はこれに限らず、累積加点で整数管理してもよい。また、相互に再生順序の関係性が深いコンテンツ同士をリンクし、Webサイトの相互リンクによる検索性重み付けと同様に、リンクの関係性を重視した管理方法としてもよい。
なお、テーブル1001に「許容情報」が管理されているように、各コンテンツの機器における再生出力設定に限らず、機器101の前方のユーザ10の存在、もしくは、ユーザ10の属性又は行動に応じて、出力部202での出力方法を調整又は変更してもよい。
なお、許容情報のうち、正方形の切り出しを例に説明したが、たとえば、16:9の映像コンテンツのうち、正方形に切り出すことの許否に限らず、クリエータ20の意図に反しない範囲での制限有の表現方法として、たとえば、編集不可領域を映像コンテンツの画面領域の中に時系列に対応して設定し、その編集不可領域を保持した上で映像を切り出すことを許容するような編集制御を行うようにしてもよい。
なお、許容情報のうち、クリエータ20が意図する環境設定を例として説明する。C11は「周囲を暗く」と設定しており、機器101の本体の外枠に備わる照明機能、機器101の周囲でネットワークを介して連動可能な照明など、ユーザ10の視聴空間で制御可能なものと連動して周囲を暗くするシステム制御ができるものとする。また、C12は「サイズM以上」と設定しており、機器101の再生画面としてサイズがM以上でなければ、当該映像音響コンテンツC12は再生不可とする。また、C13は「照度明るく」と設定しており、機器101の出力部202のバックライトを通常の設定よりも明るめに設定して再生することにより、当該映像コンテンツの欠点であった原映像が暗い問題をクリエータ20の意図として補填する設定が可能となる。また、C14は「フレーム色:赤」と設定されており、たとえば、機器101の本体の外枠のフレームが物理的に赤であるもののみで再生できるようにする、または、外装フレームP101がLED又はOLEDなど色又は模様を発光により表現できる素材である場合、当該コンテンツと連動してフレーム色を出力部202とは独立に「赤」に変化させて当該コンテンツを出力部202にて再生するよう制御することもできる。また、C15は「宿泊施設不向き」と設定しており、機器101が設置された場所が宿泊施設であれば、当該映像音響コンテンツは不向きなものとして再生候補から外すよう制御できる。
図21は、本実施の形態における音声管理テーブルであるテーブル1101の説明である。図21に示されるテーブル1101は、音声のカテゴリに応じた出力方法が紐付けられたテーブルを示す。テーブル1101も、コンテンツ管理部204に管理されている。
テーブル1101では各音源種別に応じたカテゴリに応じて、音楽ID(Music ID)、その音源の概要を示すテキストおよびキーワード、対応するファイルへのパス情報が管理されている。カテゴリは、例えば、品格、伝統又は好奇心などがある。
例えば、テーブル1001における「品格」が設定されたコンテンツが選択された場合、制御内容決定部203Bは、テーブル1101を参照し、品格に最適な音源候補からキーワードでよりマッチングが取れる音源を選定出力する。
かかる構成によれば、機器101は、ユーザ10の現在の状態に基づき、提示するコンテンツを自動的に制御できる。例えば、機器101は、機器101が壁に立て掛けられた状態を検知して、上部スピーカ205より下部スピーカ206の音量を自動で大きく調整することで、ユーザ10の視聴環境を最適化することができる。また、機器101は、ユーザ10の目配せを分析し、ユーザ10の注目度合いに応じて映像音響コンテンツを選定切り替えることができる。また、機器101は、ユーザ10の視聴状態をログとして管理し、クリエータ20にフィードバックすることで当該映像音響コンテンツの改良または新規に作成する映像音響コンテンツの制作につなげることができ、ユーザ10にとっての快適な映像音響コンテンツの再生環境およびクリエータ20による継続的な映像音響コンテンツの制作環境を操作なく手間なく提供することができる。
なお、同時に再生させる映像コンテンツと音響コンテンツとの組み合わせの決定には、さまざまな指標を用いることもできる。この指標には、例えば、コンテンツに紐付けられる指標であって、連続値により表現される指標を採用し得る。より具体的には、映像コンテンツ及び音響コンテンツそれぞれに対してユーザ10が向ける注意の度合いを示す推定指標を採用し得る。この場合、ユーザ10が指標の範囲を指定し、ユーザ10により指定された範囲に含まれる指標が紐付けられた映像コンテンツと音響コンテンツとをともに再生することができる。このようにすることで、ユーザ10が同じ程度の注意を向けると推定される映像コンテンツと音響コンテンツとをともに再生させることができる。
なお、本実施の形態の一例では、ユーザ10の状態又は行動を推定して当該状態又は行動に合わせて機器の制御を行う方法を説明したが、図22に示すように予め機器の制御順序を設定しておいて、ユーザ10の行動を変更するように促すようにしてもよい。図22には、ユーザ10が存在することが分かっている状態で、予めユーザ10が15分おきの行動を促すためのターゲット行動を設定して作成したテーブル1201を示す。テーブル1201に示すように、ユーザ10が予めターゲット行動を設定しておくと、制御内容決定部203Bがコンテンツを決定してテーブル1201を完成させ、テーブル1201に従ってコンテンツを再生するように出力部202を制御する。これにより、ターゲット行動をユーザ10が行うように、コンテンツの再生によりユーザ10を誘導することができる。例えば、テーブル1201が設定されている場合、12:00にはユーザ10が再入室することが自明であれば、再入室時に、アップテンポで何かを作り出したくなる映像と音楽として、C15のコンテンツが再生される。これにより、例えば、親が外出中に、自動再生される映像音響コンテンツによって、子供の行動を誘導したりコントロールしたりすることができる。
なお、15分ごとのターゲット行動を設定した例を説明したがこれに限られず、ユーザ10が任意の所定時間ごとに設定すればよい。また、ユーザ10が予め所定時間ごとの再生コンテンツを直接設定してもよい。また、これらのターゲット行動に関して推奨パターンが複数の機器101のコンテンツ管理部204に保持されていてもよい。ここで、推奨パターンとは、教育優先パターン、運動優先パターン、又は、睡眠優先パターンなどを含む。これにより、ユーザ10は、外出時に機器101からレコメンドされる複数の推奨パターンから一つを選択しておくだけで、映像音響コンテンツによりユーザ10の行動を促進又はコントロールすることができる。
すなわち、機器101の制御内容決定部203Bは、内部に制御内容の順序を時系列に管理するスケジュール機能を有し、スケジュールは、ユーザ10に対して指示したいターゲット行動に応じて出力を規定し、時系列に記載された規定時刻に当該ターゲット行動に沿った所定の映像または音声を出力する。かかる構成によれば、スケジュールに規定された順序で所定の映像または音声を出力できるため、例えば、親が不在の際でも、勉強、運動又は睡眠を促す映像音響コンテンツを再生でき、生活リズムを形成することで、ユーザ10に対して想定する生活パターンへの誘導ができる。
また、本実施の形態では、視聴環境推定部203Aが推定した、その時々の状態に対応する制御内容を制御内容決定部203Bが決定するように制御したが、これに限られない。例えば、制御内容決定部203Bは、視聴環境推定部203Aが推定した状態が変化したタイミングに応じて最適な制御内容を決定し出力部202を制御するようにしてもよい。
なお、環境情報は、機器101の設置態様に関する情報として、機器101が他の機器101とともに並べて設置されているか否かに関する情報である並置情報を含んでいてもよい。また、上記所定の対応付けは、機器101の並置情報と、当該並置情報に示される設置の態様で設置された機器101によるコンテンツの提示に関する制御との対応付けを含んでいてもよい。そして、コンテンツの提示に関する制御では、機器101の並置情報に対応付けられた、コンテンツの提示に関する制御を行ってもよい。
(実施の形態1の変形例)
図23は、本変形例に係る機器101およびクラウドサーバ111の構成を示すブロック図である。図23は、実施の形態1における制御処理部203の機能のうちの一部を、クラウドサーバ111、サーバ121、もしくはホームゲートウェイ102などの外部装置にて処理する構成における各装置の構成図を示す。本変形例では、機器101がクラウドサーバ111と情報をやり取りしながら処理を行う。なお、クラウドサーバ111の代わりに、サーバ121又はホームゲートウェイ102を用いても同様の説明が成立する。
以下、実施の形態1に示した構成図と異なる点を中心に説明する。また、実施の形態1に示した構成と同じ構成には、同じ符号を付け説明を省略する。
図23の機器101において、図3の機器101と異なる点は、制御処理部1301が視聴環境推定部203Aを備えていない点と、情報送受信部1302を備えている点とである。
情報送受信部1302は、ネットワークを介して、クラウドサーバ111と情報を送受信するための構成であり、本変形例においては必須の構成である。情報送受信部1302は、一般的な通信モジュールなどを採用すればよく、その仕様は特に限定しない。また、情報を送受信するための通信方式等に関しても特に限定しない。
クラウドサーバ111は、制御処理部1303と、情報送受信部1304と、コンテンツ管理部1305とを備える。
制御処理部1303は、視聴環境推定部1303Aを含む。視聴環境推定部1303Aの動作は、実施の形態1にて説明した動作と同様である。
情報送受信部1304は、ネットワークを介して、機器101と情報を送受信する構成である。
コンテンツ管理部1305は、視聴環境蓄積DB204Aと、コンテンツDB204Bとを含む。視聴環境蓄積DB204Aと、コンテンツDB204Bとの基本的な機能、並びに、記録及び管理するデータ等は、実施の形態1で説明したとおりである。
本変形例における各装置及び各構成の動作又は処理の流れは、実施の形態1にて図4〜図12を用いて説明した動作又は処理の流れと同様である。すなわち本変形例では、機器101の情報送受信部1302と、クラウドサーバ111の情報送受信部1304とによって情報を適宜送受信することで、基本的には図4に示すとおりの順に処理をしていく。よって実施の形態1と同様の作用効果が本変形例においても発揮される。
実施の形態1と変形例とで主に異なる点は、実施の形態1における視聴環境推定部203Aをクラウドサーバ111が視聴環境推定部1303Aとして備えていること、及び、基本な情報の蓄積をクラウドサーバ111のコンテンツ管理部1305が行う点である。これにより、機器101側で行う処理を削減できるので、機器101側に高機能なプロセッサを搭載する必要がない。また、機器101側で各テーブル又はコンテンツを記録及び管理しておく必要がないので、機器101側の記録容量を削減できる。すなわち機器101の処理能力が低い場合であっても、ユーザ10の状態等を推定した最適な機器制御が実行できる。
さらに、クラウドサーバ111が機器101からのログ情報を取得することができるので、更なる情報解析、又は、大量の情報を利用した学習、情報の活用が期待できる。さらにはクラウドサーバ111にて他のユーザ10が保持している機器から取得した情報を併せて解析することで新たな価値あるサービスの提供が可能となる。
また、本変形例においても、機器101およびクラウドサーバ111は、上記の各構成以外の構成を備えていてもよい。
(実施の形態2)
[各機器の構成]
図24には、実施の形態2における機器101c、機器101d、機器101e、クラウドサーバ111の構成を示す。以下各機器の構成について実施の形態1および実施の形態1の変形例と同様の構成に関しては同様の符号を付して、説明する。また実施の形態1および実施の形態1の変形例と同様の構成に関しては一部説明を省略する。
なお、実施の形態1の変形例と同様、クラウドサーバ111の代わりに、サーバ121又はホームゲートウェイ102を用いても同様の説明が成立する。
機器101cは、センサ201cと、情報送受信部1302cとを備える。これらの構成の基本的な機能は、それぞれ、図23にて説明したセンサ201と、情報送受信部1302と同様である。ここでは、機器101cとしては、いかなる機器を用いてもよい。実施の形態1と同様に映像音響コンテンツを再生できる電子機器でもよいし、センサおよび情報送受信部のみを備えた専用端末、又は、ユーザ10が身につける端末、いわゆるウェアラブル端末でもよい。なお、機器101cとしてウェアラブル端末を用いる場合、センサ201cは、活動量計、歩数計、血圧計、心拍計、発汗計測又は脳波計測などの生体情報を取得するセンサであってもよい。ここで、生体情報は、バイタル情報、行動情報、ストレス情報などを含む。
また、うなり又は鳴き声などの音声を直接的または間接的に取得する収音マイクなどであってもよい。また、機器101cは、図示していないその他の構成を備えていてもよい。
機器101dは、出力部202dと、情報送受信部1302dとを備える。本実施の形態においては、例えば機器101dは、センサを搭載しないディスプレイ若しくはLED(Light Emitting Diode)の通知のみを行う機器、又は、音声だけを出力するスピーカなどを想定する。ここで、上記ディスプレイ、LED又はスピーカ等が出力部202dに相当する。また、情報送受信部1302dは、図23にて説明した情報送受信部1302と同様である。なお、機器101dは、図示していないその他の構成を備えていてもよい。
機器101eは、入出力部202eと、情報送受信部1302eとを備える。本実施の形態においては、例えば機器101eとして操作入力を可能とする操作画面(GUI:Graphcal User Interface)を備える電子機器を想定する。情報送受信部1302eは、図13にて説明した情報送受信部1302と同様である。なお、機器101eは、図示していないその他の構成を備えていてもよい。
クラウドサーバ111は、制御処理部1401と、情報送受信部1304と、コンテンツ管理部1404とを備える。
制御処理部1401は、実施の形態1で説明した機器101aが備える制御処理部203と基本的には同様であり、視聴環境推定部1402、制御内容決定部1403を含む。視聴環境推定部1402、制御内容決定部1403の具体的なユーザ状態推定方法、制御内容の決定方法に関しては後述する。
情報送受信部1304は、図23で説明した構成と同様であるので説明を省略する。
コンテンツ管理部1404は、視聴環境蓄積DB204Aと、コンテンツ管理DB208と、嗜好傾向DB1405を含む。視聴環境蓄積DB204A、コンテンツ管理DB208に関しては実施の形態1で説明したものと同様なので説明を省略する。嗜好傾向DB1405が管理する情報に関しては後述する。
[各機器の動作、処理の流れ]
図25には、本実施の形態における各機器の動作及び処理の流れを示すシーケンス図である。以下、図10に示した実施の形態1のフローチャートと異なる点を中心に説明していく。
ステップS1501にて、機器101cのセンサ201cが空間内の状態を検出する。このステップS1501は、図10に示すステップS401と基本的には同じである。ただし、上述したようにセンサ201cが、ユーザ10が身につける端末の生体センサである場合、取得する情報は、空間内の二次元画像ではなく、生体センサが検出した生体情報である。
ステップS1502にて、機器101cの情報送受信部1302cは、ステップS1501にて取得した情報をクラウドサーバ111に送信する。クラウドサーバ111の情報送受信部1304は、機器101cから情報を受信する。
ここで、ステップS1501にてセンサ201が検出する頻度、又は、ステップS1502にて情報送受信部1302cが情報を送信するタイミングについては特に限定されず、所定の時間間隔で情報を検出、送信すればよい。
ステップS1503にて、クラウドサーバ111の制御処理部1401の視聴環境推定部1402は、受信した情報を基に空間内の状態およびユーザ10の状態を推定する。ここで、センサ201が撮像装置により二次元画像を検出している場合、実施の形態1と同様の方法で(例えば図11等を参照)、空間内のユーザ10の有無、ユーザ10の人数、又は、ユーザ10の状態、向き若しくは行動などを推定する。
また、センサ201が、ユーザ10が身につける端末の生体センサ等である場合、取得した生体情報からユーザ10の状態又は感情を推定する。この場合、クラウドサーバ111内でどのユーザ10が身につけている機器101cなのかが管理されていれば、事前に把握しておくことができる。その場合、実施の形態1で説明したようにユーザ10の存否の推定は不要である。また状態又は感情の推定方法は、既知の方法を用いればよく詳細な説明は省略する。また、このとき推定した状態をコンテンツ管理部1404の視聴環境蓄積DB204Aに記録又は蓄積していってもよい。また、センサ201が収音マイクである場合、うなり又は鳴き声などの音声からストレス又は緊張の度合いを推定するようにしてもよい。また、会話の頻度、又は、会話の盛り上がり若しくは盛り下がり、楽器又は声音の特徴把握、楽曲の進行状況、拍手又は指を鳴らすなどユーザ10の行為などを検知して再生する映像音響コンテンツを切り替えるようにしてもよい。
ステップS1505にて、クラウドサーバ111の情報送受信部1304は、ステップS1504にて決定した制御内容、つまり制御コマンドを各機器に送信する。ここで、ステップS1505にて情報送受信部1304が制御内容を送信するタイミングは、ステップS1504にて制御内容が決定した都度に遅滞なく送信することが望ましいが、これに限られない。例えば所定の時間間隔ごとに定期的に制御内容を各機器に送信してもよい。
ステップS1506にて、機器101b、101c及び101dは、クラウドサーバ111から送信された制御内容、つまり制御コマンドに従って出力動作を行う。
以上、本実施の形態では、機器101cにて検出した空間の情報もしくはユーザ10の生体情報などから、クラウドサーバ111にてユーザ10の状態を推定し、クラウドサーバ111にて機器101c以外の機器、つまり機器101d及び101eなどを制御する内容を決定し、各機器を制御する。かかる構成によれば、実施の形態1と同様、ユーザ10に煩わしい操作を要することなくユーザ10にとって最適な映像音響コンテンツの再生環境を提供することができる。また、本実施の形態では、クラウドサーバ111にて状態推定又は制御内容の決定に関する処理、情報の蓄積、テーブルの管理を行っている。よって、機器側に処理能力の高いプロセッサ又はメモリ等を搭載する必要がない。また、本実施の形態では複数の機器およびクラウドサーバ間で連携し制御内容を決定している。よって、一つの機器に搭載されているセンサの情報のみから、複数の機器を最適に制御することが可能となり、各機器が各々センサを搭載する必要がない。
なお、コンテンツ管理部1404に嗜好傾向DB1405を構築し、ユーザ10の状態に応じた制御内容に関する嗜好を学習していってもよい。すなわち、ユーザ10の機器への制御コマンドに関するログ情報を分析することで制御内容決定のためのテーブルを適宜最適なものに更新していく。この場合、センサ201cとして、機器の利用状況をセンシングするものを用いてもよい。例えば、図24の各機器の使用状況をセンシングし、嗜好傾向DB1405に蓄積していく。
クラウドサーバ111では、膨大な情報つまりビッグデータを管理及び解析することが可能となる。よって、このように嗜好傾向DB1405にて機器のログ情報又はセンシング情報を蓄積しユーザ10もしくはユーザ10の嗜好を学習していくことが可能であるため、実施の形態1に比べてより快適なサービスを提供できる。また、クラウドサーバ111にて他のユーザ10が保持している機器から取得した情報を合わせて解析することで、(a)類似のユーザ10が好む映像音響コンテンツの傾向を用いた再生順又はタイミングの制御パターンを抽出する、(b)映像と音響との相性又は人気のランキングを形成し次回の再生に活用する、(c)映像音響コンテンツを制作するクリエータ20の画面又はコミュニティにフィードバックし、電子機器が置かれている環境又は再生条件を意識した映像又は音響に役立てるなど、新たな価値あるサービスの提供が可能となる。
なお、ここでは電子機器を制御するサーバを、ネットワークを介して接続するクラウドサーバ111として説明したが、電子機器を制御する機器制御サーバの構成はこれに限らず、宅内の電子機器と同一のネットワークに接続されたローカルな環境にあるローカルサーバがゲートウエイとしての役割を担ってもよく、また、電子機器そのものに電子機器を制御する機器制御サーバ機能を実装してもよい。
なお、ここでは、制御対象となる電子機器について、スピーカを搭載したディスプレイを例に説明したが、制御対象とする電子機器と、その判定基準および制御内容とはこれに限られない。説明した形状とは異なるが、映像を壁面に投影するプロジェクタ、ユーザ10専用に用意された画面付端末、床に埋め込まれたディスプレイサイネージ、自動走行又は自動飛行を行う移動型のディスプレイなどを制御対象としてもよい。また、空気又はアロマの香りを制御可能な加湿器又は除湿機、窓又は玄関の採光を制御できる、カーテン又はブラインドの電子制御装置を制御対象としてもよい。また、その判定基準は、説明の簡易化のために睡眠状態又は行動状態に映像を出力するか否かという観点で説明したが、制御の判定基準はこれに限らず、ユーザ10の行動履歴の状態、泣き声から推測される欲求、ユーザ10の振動状態から推測するストレス反応などの大きさを判定基準としてもよい。なお、ユーザ10の行動履歴の状態には、例えば、いつもに比べて今日はあまり動いていない、又は、いつもに比べて今日は動きが激しい、などの情報を含む。また、制御内容はひとつの電子機器の画面に対する映像音響出力又は香りの制御、照明の調光オンオフによるユーザ10におけるストレス緩和又は発散につなげてもよい。
なお、ここではセンサ、具体的にはカメラ、照度計、3軸センサ又は感圧式ボタンなどから得られた現在のデータを解析して、現在のユーザ10の状態を推定することを例に説明したが、制御内容を決定する判定基準に用いる入力データは、現時点での状態推定に限らない。例えば、入力データは、過去の状態から現在の状態に至る状態変化と過去のデータとを比較し、過去のデータと類似の状況において過去に不良状態から良状態に状態を遷移させた実績のある当該ユーザ種別または当該ユーザ固有の嗜好に基づくコンテンツを現在の状態に応じて選別して採用するようにしてもよい。また、選別には、時間帯、天候又は季節、ユーザ10の人数などに応じて制御するようにしてもよい。例えば、突然の夕立又は落雷が予測されるときには、外の様子の変化を映像として採用する、又は、雷などの突然の音に備えて予め小さな音から大きな音へ変化するような映像を採用するようにしてもよい。また、当該ユーザ10が子供であれば安心を促す映像、成人であれば勇敢に狩りに出かけることをイメージさせる映像を採用するなど、採用する映像に変化を与えるものとしてもよい。なお、過去のデータは、ユーザ10自身の家族又は子供の成長記録の実績データでもよいし、同世代の実績値又はその平均値を利用してもよい。さらに、一定時間内に想定した状態に遷移しない場合、又は、不良状態へ遷移してしまった場合に、過去のデータに応じて出力コンテンツの優先度付けを行い、優先度の高いものから順次制御を実行するようにしてもよい。
なお、ここでは電子機器または連携する外部の専用端末が実装するセンサからのインプットを中心に具体的な例を示して説明したが、インプットされるデータはセンサに限らず、例えば、電子機器又は連携する外部の専用端末が、レストランの個室、ホテルの客室、マンションのパーティルーム、結婚式の披露宴会場、個人または法人が注文するデリバリー形式のケータリング先といった場所に置かれる場合、レストランであれば予約したユーザ10の属性情報、過去の予約履歴又はオーダー履歴、招待したユーザ10のプロフィール、お祝い事又は記念日などのパーティ、又は、宿泊の利用目的、当日のコース料理の内容、予約した個室又はホテル居室の空間テーマ又は特徴などの、ユーザ10または空間に関する静的または動的な情報を含んでもよい。ここで、ユーザ10の属性情報は、ユーザ10の年齢、性別、家族構成、子供の有無又は職業などを含む。オーダー履歴は、食事又は酒の嗜好を含む。そして、コンテンツに関する制御では、例えば、お子様がいる時にはポップな映像音響コンテンツを優先的に再生させる、コース料理の提供の進捗に合わせて映像音響コンテンツの再生内容を変更するようにしてもよい。より具体的には、音響は途切れなく再生しながら、食材の原産地に関連する映像に切り替える、選択したデザート又は紅茶に関連する地域に属するアーティストの音楽又はアート作品を優先して選定する、ウィーン宮廷料理ならオーストリアに関連する映像又は音楽を優先する、などがあり得る。
また、専用端末は、例えば、焙煎機、コーヒーメーカー、電磁調理機、又は、オーブンといった調理機器であり、焙煎した生豆の原産地を判定し、焙煎時の音、ミル時の音、ドリップ時の音を活用したその時々の映像音響コンテンツをその場で生成するようにしてもよい。また、電磁調理機でコトコトと煮る様子又はオーブンでじっくりと焼きあがる工程を映像音響コンテンツとして組み込むことで、提供される料理又は飲料のバックグラウンドを五感で楽しませる演出を提供することができる。また、ワイン又は日本酒の銘柄を特定することができるワインボトルクーラーが外部の専用端末として存在する場合、喫飲するお酒の銘柄情報から産地又は原材料、こだわりの飲み方に関連する映像音響コンテンツを再生したり、日本酒の造り方を解説する映像音響コンテンツをボトル挿入と連動して再生したりするよう制御してもよい。また、外部の専用端末のセンサが、天井カメラのように、空間の広範囲の状況を認識できるセンサであった場合、コース料理がテーブル上に出揃った時点、又は、出揃うまでの時間に、料理長からのメッセージビデオ、又は、料理に使われた食材の原産地又は飼育環境、3日間の仕込み工程など、食卓に並んだ料理のバックストーリーをタイミングよく自動的に挿入再生することで、空間の間延びを避け、料理の美味しさを映像音響コンテンツの情報により最高潮に演出することができる。
また、会話の頻度、又は、会話の盛り上がり若しくは盛り下がりを検知することで、会話の頻度が高く、笑い声又は声のトーンを指標に盛り上がっていると判定する場合には、映像音響コンテンツの映像又は音響が主張し過ぎず、画面のちらつき若しくは切り替えが少ない映像、又は、音の強弱が少ない音響楽曲を優先的に選定するようにしてもよい。また、会話の頻度が低く、笑い声が少なく声のトーンから緊張又は盛り下がりを判定する場合には、映像音響コンテンツの映像、又は、音響に工夫を施し、ポップでユーモアに富んだ映像、動きのある映像、じっくり鑑賞することで変化又は意外性の話題を提供できる映像、又は、場の雰囲気を軽快にする音響楽曲を優先的に選定するようにしてもよい。
また、電子機器又は連携する外部の専用端末が、ビル共用部、会議室、音楽スタジオ、又は、シェアハウスの共有空間に置かれる場合、電子機器および外部の専用端末を複数台設置するようにしてもよい。例えば、ビル共用部の混雑度合いを電子機器または外部の専用端末に搭載したセンサまたは来館数記録システムから取得し、空間が閑散としていれば、複数の電子機器の配置関係を把握し、複数の電子機器で1枚の大きな映像を形成して再生させるよう各電子機器に配置関係を加味して映像を切り出して配信制御するようにしてもよい。また、空間内が混雑していれば、個々の来場者が身近に映像音響コンテンツを視認できるよう個々の電子機器に最適化して映像音響コンテンツを再生するように制御してもよい。また、大切なお客様の来客をビル共用部でおもてなしの心でお迎えするために、お客様の事業に関係する映像音響コンテンツを優先的に再生してもよい。また、お客様の顔の特徴を予め登録し、お客様の来客を検知することで劇的または自然体に映像音響コンテンツを変化させる演出を提供してもよい。
また、例えば、会議室であれば、会議の設定時間に合わせて映像音響コンテンツの再生順序を設計し、冒頭の目的課題共有から議論派生のフェーズ、まとめのフェーズ、ラップアップと承認、アクションアイテム確認などに応じて映像音響コンテンツを再生するようにしてもよい。また、会話の頻度が高く活発な議論が行えていることを示す場合には、電子機器の本体では、活発でよい会議を示す映像音響コンテンツを再生し、さらに、外部の出力機器として、照明の色合いを変更したり、リラックス又はクールダウン効果を促す香りを出力したりするよう制御することで、空間価値を高めるよう制御してもよい。また、会話の頻度が低く活発な議論が展開されていない場合、議論のきっかけになるような映像音響コンテンツを再生したり、煮詰まった思考感情をブレークダウンさせるような爽やかな効果がある映像音響コンテンツを再生したり、思考を刺激するような効果のある香りを出力するよう制御したりしてもよい。さらに、会議室利用終了時刻の15分前から、会議室利用終了時刻が近いことを示すよう再生方法を変更制御してもよい。例えば、15分前からアラーム音が段階的に挿入される、画面が段階的に小さくなる、音響音量が大きくなる、又は、画面が真っ赤に染まっていくなど、会議室利用者に明示的に状況の変化が伝わるよう工夫することができる。
また、例えば、音楽スタジオ又はカラオケなどの音響ルームであれば、音楽を奏でる奏者又は声楽として音声を発する演者が音楽を発するので映像コンテンツだけを再生する制御にしてもよい。奏者又は演者がリラックスして練習できる環境づくりとして、奏者又は演者を認識して予め登録された奏者又は演者の好みの映像コンテンツを再生したり、奏でた楽器の声音特徴又は声楽として発した声音の特徴を把握し、その特徴に応じた映像コンテンツを再生したりしてもよい。特に、練習中の奏者又は演者においては、本来奏でるべき音階に対し、適合度が高い場合には、適合度が高いことを示す映像コンテンツを再生する、または、適合度が低い場合には、適合度が低く対処すべき内容を含む映像コンテンツを再生するなどが考えられる。この映像コンテンツは、例えば、音程を高くする方向に誘導するための右肩上がりに物体が動く映像などがある。また、音楽スタジオに限らず、奏者又は演者を有するコンサートホール、高級レストラン、ホテルロビー、ビル共用部、又は、商業複合施設のステージなどに当該電子機器を複数台設置した場合、各々が個別に動作するのではなく、電子機器同士が通信部を介してネットワークで接続され、統一された同期的な動きをするよう設計実装し、奏者または演者が発した音声の特徴、具体的には楽曲、楽器、演者の声紋に応じて複数の電子機器で同期的に映像コンテンツを再生させるよう演出することもできる。例えば、クラシックなどの楽曲を特定し、楽曲の起承転結のために設計された映像コンテンツを、進行状況に合わせて少なくとも1つ以上の電子機器で再生するよう制御してもよい。
また、奏者または演者が発する音声の特徴に限らず、演奏又は声楽を聴衆する観客の拍手又は指笛、場を取り仕切るファシリテーターが指を鳴らす動作で発する単発音など、ユーザ10の行動行為で発する非言語の音声又は環境音の特徴を判定し、映像音響コンテンツの再生内容又は再生順序を変更するようにしてもよい。
また、例えば、シェアハウスの共用スペースであれば、時系列と共に共用スペースでも共同生活をする入居者が増減し、場の雰囲気づくりを変化させる必要がある。そのため、例えば、電子機器または外部の専用端末のセンサで共用スペースの人数を把握し、人数が少ない時には落ち着いた映像音響コンテンツに切り替える、又は、人数が増えて人同士の会話が増えたり、パーティに近い雰囲気になったりすれば、明るくポップな映像音響コンテンツに切り替えるように制御してもよい。さらに、あるユーザ10がアナログレコードを持ち出して、レコードプレーヤーで再生を始めたら、外部音楽ありと判定し、電子機器または外部の専用端末からの音響コンテンツ出力を停止して、映像コンテンツの再生のみに変更するよう制御してもよい。ここで、人数の把握は、例えば二次元温度センサにより有温物体の数を把握することでなされ得る。また、外部音楽の特徴をクラウド上のデータベースと照合して把握し、外部音楽の特徴にマッチするカテゴリの映像コンテンツに切り替えるようにしてもよい。なお、ここでは、映像音響コンテンツは、電子機器または外部の専用端末にプリセットされていてもよいし、通信部を介してネットワーク経由でダウンロードして追加できるようにしてもよい。
(実施の形態3)
本実施の形態では、上記の各実施の形態又は変形例に示した電子機器の構成、及び、電子機器の制御方法について説明する。
図26は、本実施の形態に係る機器101を示すブロック図である。
図26に示されるように、機器101は、取得部301と、制御処理部302とを備える。
取得部301は、機器101の周囲の環境に関する情報、又は、機器101の設置態様に関する情報を含む、機器101の環境情報を取得する。
制御処理部302は、機器101の環境情報と、機器101によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、機器101によるコンテンツの提示に関する制御を行う。
図27は、本実施の形態に係る機器101の制御方法を示すフロー図である。
図27に示されるように、機器101の制御方法は、ステップS1及びS2を含む。
ステップS1において、取得部301は、機器101の周囲の環境に関する情報、又は、機器101の設置態様に関する情報を含む、機器101の環境情報を取得する。
ステップS2において、制御処理部302は、機器101の環境情報と、機器101によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した環境情報に対応付けられた、機器101によるコンテンツの提示に関する制御を行う。
これにより、電子機器は、ハードウェア又はソフトウェア的な要因とは異なる、電子機器の周囲の環境に応じたコンテンツの提示の制御を行うことができる。
上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現される類型はこれに限られるものでない。
(サービスの類型1:自社データセンタ型)
図28は、サービスの類型1(自社データセンタ型)を示す。本類型は、サービスプロバイダ120がグループ100から情報を取得し、ユーザ10に対してサービスを提供する類型である。本類型では、サービスプロバイダ120が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ120が、ビッグデータの管理をするクラウドサーバ111を保有している。従って、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ120は、データセンタ2203(クラウドサーバ111)を運営、管理している。また、サービスプロバイダ120は、OS2202及びアプリケーション2201を管理する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS2202及びアプリケーション2201を用いてサービス提供2204を行う。
(サービスの類型2:IaaS利用型)
図29は、サービスの類型2(IaaS利用型)を示す。ここでIaaSとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社がデータセンタ2203(クラウドサーバ111)を運営、管理している。また、サービスプロバイダ120は、OS2202及びアプリケーション2201を管理する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS2202及びアプリケーション2201を用いてサービス提供2204を行う。
(サービスの類型3:PaaS利用型)
図30は、サービスの類型3(PaaS利用型)を示す。ここでPaaSとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社110は、OS2202を管理し、データセンタ2203(クラウドサーバ111)を運営、管理している。また、サービスプロバイダ120は、アプリケーション2201を管理する。サービスプロバイダ120は、データセンタ運営会社が管理するOS2202及びサービスプロバイダ120が管理するアプリケーション2201を用いてサービス提供2204を行う。
(サービスの類型4:SaaS利用型)
図31は、サービスの類型4(SaaS利用型)を示す。ここでSaaSとはソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社・個人(利用者)がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社110は、アプリケーション2201を管理し、OS2202を管理し、データセンタ2203(クラウドサーバ111)を運営、管理している。また、サービスプロバイダ120は、データセンタ運営会社110が管理するOS2202及びアプリケーション2201を用いてサービス提供2204を行う。
以上いずれの類型においても、サービスプロバイダ120がサービス提供行為を行ったものとする。また例えば、サービスプロバイダ若しくはデータセンタ運営会社は、OS、アプリケーション若しくはビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
以上のように、各実施の形態の電子機器の制御方法によれば、電子機器は、取得した環境情報と、所定の対応付けとを用いてコンテンツの提示に関する制御を行う。所定の対応付けには、電子機器の環境情報と、制御の内容とが予め対応づけられている。よって、電子機器は、取得した電子機器の環境情報に基づいてコンテンツの提示に関する制御を行い得る。このように、電子機器は、電子機器の周囲の環境に応じたコンテンツの提示の制御を行うことができる。
また、環境情報は、電子機器の周囲の人の有無若しくは向き、又は、周囲の明るさというように具体的な情報を含む。また、電子機器は、環境情報を取得するセンサを用いて具体的に構成され得る。このような具体的な構成に基づいて、電子機器は、電子機器の周囲の環境に応じたコンテンツの提示に関する制御を行うことができる。
また、電子機器は、コンテンツの提示に関する制御として、複数のコンテンツのうちから提示すべきコンテンツを選択することができる。
また、電子機器は、複数のコンテンツのうちから提示すべきコンテンツを選択する際に、コンテンツの属性情報に基づいてコンテンツを選択することができる。
また、電子機器は、複数のコンテンツのうちから提示すべきコンテンツを選択する際に、コンテンツの提示の際におけるコンテンツの編集、調整又は加工などが許容されるか否かを示す許容情報に基づいて、コンテンツの選択をすることができる。これにより、許容されない態様でのコンテンツの提示が回避される。
また、電子機器は、コンテンツの提示に関する制御として、コンテンツの提示の開始、停止又は終了を行うことができる。
また、電子機器は、コンテンツの提示に関する制御として、コンテンツの音量又は明るさの変更を行うことができる。
また、環境情報は、電子機器の姿勢に関する具体的な情報を含む。そして、電子機器は、電子機器の姿勢に基づいてコンテンツの提示に関する制御を行うことができる。
また、環境情報は、電子機器が複数並べて配置されているか否かを示す具体的な情報を含む。そして、電子機器は、電子機器の配置のされ方に基づいてコンテンツの提示に関する制御を行うことができる。
また、電子機器は、コンテンツを提示した回数、提示した時刻などを示すログ情報を出力する。出力されたログ情報は、例えばコンテンツのクリエータにフィードバックされ、コンテンツの改善、又は、新規コンテンツの作成の際に活用され得る。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の電子機器などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、 電子機器の制御方法であって、前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得し、前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う制御方法を実行させる。
以上、一つまたは複数の態様に係る電子機器などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示にかかる電子機器の機器制御方法は、家庭内および家庭外のあらゆる電子機器に搭載可能である。また自動車等の車両や飛行機などの移動体に本開示における電子機器および機器制御方法を搭載することもできる。
10 ユーザ
20 クリエータ
100 グループ
101、101a、101b、101c、101d、101e 機器
102 ホームゲートウェイ
103 リモコン
110 データセンタ運営会社
111 クラウドサーバ
120 サービスプロバイダ
121 サーバ
201、201c、201F、201BH、201BL センサ
202、202d 出力部
202e 入出力部
203、302、1301、1303、1401 制御処理部
203A、1303A、1402 視聴環境推定部
203B、1403 制御内容決定部
204、1305、1404 コンテンツ管理部
204A 視聴環境蓄積DB
204B コンテンツDB
205 上部スピーカ
206 下部スピーカ
207、1302、1302c、1302d、1302e、1304 情報送受信部
301 取得部
801、901A、901B、901C、901D、1001、1101、1201 テーブル
1405 嗜好傾向DB
2201 アプリケーション
2202 OS
2203 データセンタ
2204 サービス提供
C205、C206 音声
F1 フック
H1 フック掛け穴
P101 外装フレーム
P102 構造フレーム
P103 バックカバー
P104 装飾部材
P111 スピーカネット
P112 スピーカベース板
P113 スピーカ
P121 カバーガラス
P122 表示パネル

Claims (13)

  1. 電子機器の制御方法であって、
    前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得し、
    前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う
    制御方法。
  2. 前記環境情報は、前記電子機器の周囲の環境に関する情報として、前記電子機器の周囲の人の有無、前記電子機器の周囲の人の向き、又は、前記電子機器の周囲の明るさを示す情報を含み、
    前記環境情報の取得は、
    前記電子機器の周囲の環境を感知して前記環境を示す環境値を出力するセンサによりなされる
    請求項1に記載の制御方法。
  3. 前記コンテンツの提示に関する制御では、
    前記所定の対応付けを参照することで、前記センサにより取得された前記環境情報に対応付けられた前記制御の内容である、前記電子機器により提示すべきコンテンツを選択し、選択された前記コンテンツを提示する制御を行う
    請求項2に記載の制御方法。
  4. 前記所定の対応付けは、前記電子機器の環境情報と、当該環境情報に適合する環境情報を有する電子機器が提示すべきコンテンツの属性を示す属性情報との対応付けを含み、
    前記コンテンツの提示に関する制御では、
    前記所定の対応付けを参照することで、取得した前記環境情報に対応付けられた属性情報を有するコンテンツの選択を行う
    請求項3に記載の制御方法。
  5. 前記所定の対応付けは、前記電子機器が提示すべきコンテンツと、当該コンテンツの許容される提示態様を示す許容情報とを含み、
    前記コンテンツの提示に関する制御では、前記許容情報によって許容される提示態様で提示できるコンテンツの選択を行う
    請求項4に記載の制御方法。
  6. 前記所定の対応付けは、前記電子機器の環境情報の変化を示す情報と、コンテンツの提示の開始、停止又は終了との対応付けを含み、
    前記コンテンツの提示に関する制御では、
    前記所定の対応付けを参照することで、取得した前記環境情報の変化に対応付けられた、前記電子機器により提示すべきコンテンツの提示の開始、停止又は終了を行う
    請求項1〜5のいずれか1項に記載の制御方法。
  7. 前記所定の対応付けは、前記電子機器の環境情報の変化を示す情報と、コンテンツの音量又は明るさの変更との対応付けを含み、
    前記コンテンツの提示に関する制御では、
    前記所定の対応付けを参照することで、取得した前記環境情報の変化に対応付けられた、前記電子機器により提示すべきコンテンツの音量又は明るさの変更を行う
    請求項1〜6のいずれか1項に記載の制御方法。
  8. 前記環境情報は、前記電子機器の設置態様に関する情報として、設置された前記電子機器の姿勢を示す情報を含み、
    前記所定の対応付けは、前記電子機器の姿勢を示す情報と、当該姿勢にある前記電子機器によるコンテンツの提示に関する制御との対応付けを含み、
    前記コンテンツの提示に関する制御では、前記電子機器の姿勢を示す情報に対応付けられた、コンテンツの提示に関する制御を行う
    請求項1〜7のいずれか1項に記載の制御方法。
  9. 前記環境情報は、前記電子機器の設置態様に関する情報として、前記電子機器が他の電子機器とともに並べて設置されているか否かに関する情報である並置情報を含み、
    前記所定の対応付けは、前記電子機器の並置情報と、当該並置情報に示される設置の態様で設置された前記電子機器によるコンテンツの提示に関する制御との対応付けを含み、
    前記コンテンツの提示に関する制御では、前記電子機器の並置情報に対応付けられた、コンテンツの提示に関する制御を行う
    請求項1〜8のいずれか1項に記載の制御方法。
  10. 前記制御方法では、さらに、
    前記コンテンツの提示に関するログ情報を出力する
    請求項1〜9のいずれか1項に記載の制御方法。
  11. 電子機器の制御システムであって、
    前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得する取得部と、
    前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える
    制御システム。
  12. 電子機器であって、
    前記電子機器の周囲の環境に関する情報、又は、前記電子機器の設置態様に関する情報を含む、前記電子機器の環境情報を取得する取得部と、
    前記電子機器の環境情報と、前記電子機器によるコンテンツの提示に関する制御の内容との所定の対応付けを参照することで、取得した前記環境情報に対応付けられた、前記電子機器によるコンテンツの提示に関する制御を行う制御処理部とを備える
    電子機器。
  13. 請求項1に記載の電子機器の制御方法をコンピュータに実行させるためのプログラム。
JP2017189955A 2017-02-21 2017-09-29 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム Pending JP2020065097A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/005616 WO2018155354A1 (ja) 2017-02-21 2018-02-19 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762461439P 2017-02-21 2017-02-21
US62/461,439 2017-02-21

Publications (1)

Publication Number Publication Date
JP2020065097A true JP2020065097A (ja) 2020-04-23

Family

ID=70387729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017189955A Pending JP2020065097A (ja) 2017-02-21 2017-09-29 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム

Country Status (1)

Country Link
JP (1) JP2020065097A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371299B1 (ja) 2023-04-06 2023-10-30 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371299B1 (ja) 2023-04-06 2023-10-30 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Similar Documents

Publication Publication Date Title
WO2018155354A1 (ja) 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム
JP6719535B2 (ja) 情報処理システム、サーバシステム、情報処理プログラム、および情報処理方法
JP6676309B2 (ja) 電子機器、電子機器システム、及び機器制御方法
US11163520B2 (en) Multimedia experience according to biometrics
US11986721B2 (en) Reflective video display apparatus for interactive training and demonstration and methods of using same
CN110996796B (zh) 信息处理设备、方法和程序
JP6504165B2 (ja) 情報処理装置及び情報処理方法並びにプログラム
TW201217999A (en) Methods and apparatus for capturing ambience
CN108292320A (zh) 信息处理装置、信息处理方法和程序
US20170289661A1 (en) Intelligent flat speaker panel system
US20180241582A1 (en) Control system, operation determining apparatus, device, control method, and control program
US20180207522A1 (en) Contextual user interface based on video game playback
US20180213290A1 (en) Contextual user interface based on media playback
JP2020065097A (ja) 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム
WO2018136299A1 (en) Contextual user interface based on shared activities
JPWO2019012784A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11930328B2 (en) Operation modes, audio layering, and dedicated controls for targeted audio experiences
EP3607521B1 (en) Method and apparatus for monitoring usage of a lighting system
WO2022244298A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021053936A1 (ja) 情報処理装置及び情報処理方法、並びに人工知能機能搭載表示装置
JP2021052965A (ja) 上映施設