JP2004064433A

JP2004064433A - System, program, and method for device operation

Info

Publication number: JP2004064433A
Application number: JP2002220115A
Authority: JP
Inventors: Shinji Miwa; 三輪　真司
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-07-29
Filing date: 2002-07-29
Publication date: 2004-02-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device operation system easy to handle and suitable to detailed manipulation for a device. <P>SOLUTION: A television operating device 100 comprises a device control DB (database )116 for storing device operation information for each state of a user, a state estimating unit 114 for estimating user's state, and a device control unit 118 for operating a television 200 based on the estimated result by the state estimating unit 114 and device operation information in the device control DB. The device control unit 118 reads out device operation information corresponding to a state same to the one estimated by the state estimating unit 114, and operates the television 200 based on the readout device operation information. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、利用者の状態に基づいて機器を操作するシステムおよびプログラム、並びに方法に係り、特に、使い勝手がよく、機器を詳細に操作するのに好適な機器操作システムおよび機器操作プログラム、並びに機器操作方法に関する。
【０００２】
【従来の技術】
従来、利用者の状態に基づいて機器の動作を制御する技術としては、例えば、特開平７−９３７００号公報に開示された運転者状態監視装置（以下、第１の従来例という。）および特開平１１−８６００５号公報に開示された動作検出装置（以下、第２の従来例という。）があった。
【０００３】
第１の従来例では、まず、撮像部が撮像した運転者の顔画像が撮像画像メモリに蓄積される。この顔画像は、エッジ検出回路によってエッジが検出され、この検出された顔画像（以下、エッジ画像という。）はエッジ画像メモリに蓄積され、テンプレートマッチング部はこのエッジ画像からまぶたおよび瞳の位置を検出する。次に、制御・演算部は、このまぶたおよび瞳の位置から検出したまばたき動作と眼球動作および信号入力部から受けた自動車の走行状態から運転者に対して運転者に向けて警告を発するべきと判断した場合には、スピーカより警告を発する。
【０００４】
これにより、自動車の運転者の顔画像をカメラで撮像し、まばたき動作等を自動認識することによって、運転者の状態を監視して運転者の居眠り等による交通事故を警報を発することで防止する。
第２の従来例では、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラが運転者の顔面を撮像する。全体制御部は、照明発光制御部の制御によって運転者を正面から照明する第１照明と斜め方向から照明する第２照明が個別に照明を行なったときの顔面画像をＡ／Ｄ変換器でＡ／Ｄ変換させる。瞳孔抽出部は画像メモリから顔面画像を入力し両画像の差分演算を行ない、二値化処理によって濃度の高い領域を検出する。各領域について面積と円形検出によって瞳孔領域を検出する。うなずき検知部は、瞳孔の重心の変位を検出し、所定時間内の往復変位でうなずきを検知する。ナビゲーション表示制御部は全体制御部を介して情報開始操作スイッチが操作されたことを検知し、うなずきによって確認された情報ナビ情報データベースから読み出しナビ表示部に表示するとともに、表示を終了させる。
【０００５】
これにより、首振りを確実に検出することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、第１の従来例にあっては、運転者の居眠り状態を検出し、その検出結果に基づいて警告を発する構成となっているため、あくまで運転者を監視するものであり、運転者の動作が機器の操作に反映されるわけではない。
また、第２の従来例にあっては、運転者のうなずき動作を検出し、その検出結果に基づいて情報開始操作スイッチを操作する構成となっているため、運転者の特定状態がナビ表示部による表示といった特定操作に反映されるだけであり、運転者の動作によって機器を詳細に操作することはできない。例えば、運転者の動作によって機器の電源を遮断するとか、機器の表示精度を変更するとかいったことまではできない。また、仮に複数の動作を規定し、それら動作と複数の操作を対応付けて機器を詳細に操作することを実現しようとした場合、利用者は、機器を詳細に操作するために複数の動作を覚えなければならず、これでは、使いこなすのが容易ではない。したがって、使い勝手を向上する観点からは、操作のための動作を利用者が覚えることを極力少なくすることが望ましく、そのためには、利用者が所定の動作をして機器の操作を行うという能動的な仕組みよりは、利用者の動作を検証してその検証結果に基づいて機器の操作を行うという受動的な仕組みの方が好ましい。
【０００７】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、使い勝手がよく、機器を詳細に操作するのに好適な機器操作システムおよび機器操作プログラム、並びに機器操作方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の機器操作システムは、
利用者の状態に基づいて機器を操作するシステムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段と、前記利用者の状態を推定する状態推定手段と、前記状態推定手段の推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段とを備えることを特徴とする。
【０００９】
このような構成であれば、状態推定手段により、利用者の状態が推定され、機器操作手段により、状態推定手段の推定結果および機器操作情報記憶手段の機器操作情報に基づいて機器が操作される。また、機器操作情報記憶手段には、利用者の各状態ごとに機器操作情報が対応付けられているので、利用者の状態によっては多様な操作が行われる。
【００１０】
ここで、状態推定手段は、利用者の状態を推定するようになっていればどのような構成であってもよく、例えば、利用者の画像、音声、体温等の身体状況または周辺環境を検出する検出手段の検出内容に基づいて、利用者の状態を推定するようになっていてもよい。以下、発明１２の機器操作プログラムにおいて同じである。
【００１１】
また、機器操作情報記憶手段は、機器操作情報をあらゆる手段でかつあらゆる時期に記憶するものであり、機器操作情報をあらかじめ記憶してあるものであってもよいし、機器操作情報をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって機器操作情報を記憶するようになっていてもよい。以下、発明１２の機器操作プログラム、および発明１４の機器操作方法において同じである。
【００１２】
また、本システムは、単一の装置として実現するようにしてもよいし、複数の端末を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の端末のうちどの端末に属していてもよい。
〔発明２〕
さらに、発明２の機器操作システムは、発明１の機器操作システムにおいて、前記機器操作手段は、前記状態推定手段で推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする。
【００１３】
このような構成であれば、機器操作手段により、推定された状態と同一または関連の状態に対応する機器操作情報が機器操作情報記憶手段のなかから読み出され、読み出された機器操作情報に基づいて機器が操作される。
〔発明３〕
さらに、発明３の機器操作システムは、発明１および２のいずれかの機器操作システムにおいて、
さらに、前記利用者の画像を入力する画像入力手段を備え、
前記状態推定手段は、前記画像入力手段で入力した画像に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１４】
このような構成であれば、画像入力手段により、利用者の画像が入力され、状態推定手段により、入力された画像に基づいて利用者の状態が推定される。
〔発明４〕
さらに、発明４の機器操作システムは、発明３の機器操作システムにおいて、
さらに、前記画像入力手段で入力した画像から当該画像の特徴を抽出する画像特徴抽出手段を備え、
前記状態推定手段は、前記画像特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１５】
このような構成であれば、画像特徴抽出手段により、入力された画像からその画像の特徴が抽出され、状態推定手段により、抽出された特徴に基づいて利用者の状態が推定される。
〔発明５〕
さらに、発明５の機器操作システムは、発明１ないし４のいずれかの機器操作システムにおいて、
さらに、前記利用者の音声を入力する音声入力手段を備え、
前記状態推定手段は、前記音声入力手段で入力した音声に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１６】
このような構成であれば、音声入力手段により、利用者の音声が入力され、状態推定手段により、入力された音声に基づいて利用者の状態が推定される。
〔発明６〕
さらに、発明６の機器操作システムは、発明５の機器操作システムにおいて、
さらに、前記音声入力手段で入力した音声から当該音声の特徴を抽出する音声特徴抽出手段を備え、
前記状態推定手段は、前記音声特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１７】
このような構成であれば、音声特徴抽出手段により、入力された音声からその音声の特徴が抽出され、状態推定手段により、抽出された特徴に基づいて利用者の状態が推定される。
〔発明７〕
さらに、発明７の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記表示装置の表示内容について前記利用者の印象が肯定的なものから否定的なものに変化した特定状態に対して、前記表示装置が表示する動画情報を切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００１８】
このような構成であれば、状態推定手段により、利用者の状態が、表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化した特定状態であると推定されると、機器操作手段により、表示装置が表示する動画情報を切り替えるべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化すると、表示装置の表示内容が変更される。
〔発明８〕
さらに、発明８の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が前記表示装置の視聴から会話に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００１９】
このような構成であれば、状態推定手段により、利用者の状態が、利用者の行動が表示装置の視聴から会話に変化した特定状態であると推定されると、機器操作手段により、表示装置の音量を小さくすべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者の行動が表示装置の視聴から会話に変化すると、表示装置の音量が小さくなる。
〔発明９〕
さらに、発明９の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が起きている状態から寝ている状態に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００２０】
このような構成であれば、状態推定手段により、利用者の状態が、利用者の行動が起きている状態から寝ている状態に変化した特定状態であると推定されると、機器操作手段により、表示装置の音量を小さくすべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者の行動が起きている状態から寝ている状態に変化すると、表示装置の音量が小さくなる。
〔発明１０〕
さらに、発明１０の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者が特定者である特定状態に対して、前記表示装置が表示する動画情報を前記特定者の好みのものに切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００２１】
このような構成であれば、状態推定手段により、利用者が特定者であると推定されると、機器操作手段により、表示装置の表示内容を特定者の好みのものに切り替えるべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者が特定者であると、表示装置の表示内容が特定者の好みのものに切り替わる。
なお、これら発明７，８，９，１０における「動画情報を表示可能な表示装置」とは、動画情報を復号化して表示する装置のことであって、その表示方式としてブラウン管表示方式や液晶表示方式を用いた表示装置や、それら表示方式を用いた投射型の表示装置等を含む総称であり、例えば、テレビジョン受像器等が該当する。
【００２２】
また、これら発明７，８，９，１０における「動画情報」としては、例えば放送電波（衛星／地上波、アナログ／ディジタル波）やネットワークを介して配信されるビデオストリームや、ビデオテープ、光学ディスク、磁気ディスク等に蓄積されている情報等が該当する。
〔発明１１〕
さらに、発明１１の機器操作システムは、発明１ないし９のいずれかの機器操作システムにおいて、
さらに、前記機器の操作結果に対する前記利用者の満足度を推定する満足度推定手段と、前記満足度推定手段の推定結果に基づいて前記機器操作情報記憶手段の記憶内容を更新する記憶内容更新手段とを備え、
前記機器操作情報記憶手段には、前記利用者の一の状態に対して複数の前記機器操作情報が優先順位を伴って対応付けられており、
前記記憶内容更新手段は、前記満足度推定手段の推定結果に基づいて前記機器操作情報の優先順位を変更するようになっていることを特徴とする。
【００２３】
このような構成であれば、満足度推定手段により、機器の操作結果に対する利用者の満足度が推定され、記憶内容更新手段により、その推定結果に基づいて機器操作情報の優先順位が変更される。したがって、機器の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていく。
〔発明１２〕
一方、上記目的を達成するために、発明１２の機器操作プログラムは、
利用者の状態に基づいて機器を操作するプログラムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段を利用可能なコンピュータに対して、
前記利用者の状態を推定する状態推定手段、並びに前記状態推定手段の推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００２４】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の機器操作システムと同等の作用が得られる。
〔発明１３〕
さらに、発明１３の機器操作プログラムは、発明１２の機器操作プログラムにおいて、
前記機器操作手段は、前記状態推定手段で推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする。
【００２５】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の機器操作システムと同等の作用が得られる。
〔発明１４〕
一方、上記目的を達成するために、発明１４の機器操作方法は、
利用者の状態に基づいて機器を操作する方法であって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を機器操作情報記憶手段に記憶する機器操作情報記憶ステップと、前記利用者の状態を推定する状態推定ステップと、前記状態推定ステップの推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作ステップとを含むことを特徴とする。
【００２６】
ここで、状態推定ステップは、利用者の状態を推定すればどのような方法であってもよく、例えば、利用者の画像、音声、体温等の身体状況または周辺環境を検出する検出手段の検出内容に基づいて利用者の状態を推定してもよい。
〔発明１５〕
さらに、発明１５の機器操作方法は、発明１４の機器操作方法において、
前記機器操作ステップは、前記状態推定ステップで推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１および図２は、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法の実施の形態を示す図である。
本実施の形態は、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法を、図１に示すように、利用者の状態に基づいてテレビ２００を操作する場合について適用したものである。
【００２８】
まず、本発明を適用するテレビ操作装置１００の構成を図１を参照しながら説明する。図１は、テレビ操作装置１００の構成を示すブロック図である。
テレビ操作装置１００は、図１に示すように、利用者を挟んで相対して配置されたカメラ１０２と、カメラ１０２で撮影した利用者の画像を入力する画像入力装置１０４と、画像入力装置１０４で入力した画像から画像の特徴を抽出する画像特徴抽出装置１０６と、マイク１０８と、マイク１０８で取り込んだ利用者の音声を入力する音声入力装置１１０と、音声入力装置１１０で入力した音声から音声の特徴を抽出する音声特徴抽出装置１１２と、利用者の状態を推定する状態推定装置１１４と、テレビ２００を操作するための機器操作情報を記憶した機器制御データベース（以下、データベースのことを単にＤＢと略記する。）１１６と、テレビ２００を操作する機器制御装置１１８と、機器制御装置１１８の操作内容を示す操作信号を赤外線によりテレビ２００に向けて発信する赤外線発信装置１２０とで構成されている。テレビ操作装置１００は、例えば、テレビ２００のリモコンとして構成することができる。
【００２９】
画像入力装置１０４は、Ａ／Ｄ変換回路を有し、カメラ１０２で撮影した利用者の画像をＡ／Ｄ変換回路によりＡ／Ｄ変換し、Ａ／Ｄ変換して得られた画像データを画像特徴抽出装置１０６に出力するようになっている。
画像特徴抽出装置１０６は、画像入力装置１０４で入力した画像データに基づいて、画像中の人物を認識し、人物との距離、人物の特定部位（例えば、顔）または人物の動作等を特徴付ける部分を検出するようになっている。
【００３０】
音声入力装置１１０は、Ａ／Ｄ変換回路を有し、マイク１０８で取り込んだ利用者の音声をＡ／Ｄ変換回路によりＡ／Ｄ変換し、Ａ／Ｄ変換して得られた音声データを音声特徴抽出装置１１２に出力するようになっている。
音声特徴抽出装置１１２は、音声入力装置１１０で入力した音声データに基づいて、音声の大小、音声の歪み度合いまたは発声の抑揚等を特徴付ける部分を検出するようになっている。
【００３１】
状態推定装置１１４は、画像特徴抽出装置１０６で抽出した特徴および音声特徴抽出装置１１２で抽出した特徴に基づいて利用者の状態を推定するようになっている。例えば、利用者の状態が、テレビ２００の放映内容について利用者の印象が肯定的なものから否定的なものに変化した状態（以下、第１状態という。）であるかを推定する。また、利用者の状態が、利用者の行動がテレビ２００の視聴から会話に変化した状態（以下、第２状態という。）であるかを推定する。また、利用者の状態が、利用者の行動が起きている状態から寝ている状態に変化した状態（以下、第３状態という。）であるかを推定する。また、利用者が特定者である（以下、第４状態という。）かを推定する。なお、利用者の状態を推定する方法は、従来の技術を用いて行うことができる。例えば、利用者の感情を認識する方法としては、特開平５−１２０２３号公報に開示された感情認識装置が、利用者が第３状態であるかを推定する方法としては、第１の従来例をそれぞれ利用することができる。
【００３２】
機器制御ＤＢ１１６には、図２に示すように、利用者の状態について異なる複数の状態を規定したときの各状態ごとに機器操作情報が記憶されている。図２は、機器制御ＤＢ１１６のデータ構造を示す図である。
機器制御ＤＢ１１６には、図２に示すように、利用者の各状態ごとに１つのレコードが登録されている。各レコードは、利用者の状態を登録したフィールド３００と、機器の状態を登録したフィールド３０２と、機器の状態変更を登録したフィールド３０４とを含んで構成されている。ここで、フィールド３０４の登録情報が機器操作情報を構成している。
【００３３】
図２の例では、第１段目のレコードには、利用者の状態として「感情＝肯定的→感情＝否定的」が、機器の状態として「チャンネル＝ｃ」が、機器の状態変更として「チャンネル＝ｄ」がそれぞれ登録されている。これは、利用者の状態が第１状態であると推定し、かつテレビ２００のチャンネルがｃであるときは、テレビ２００のチャンネルをｄに変更することを意味している。
【００３４】
また、第２段目のレコードには、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「音量＞ｖ１」が、機器の状態変更として「音量＝ｖ１」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の音量がｖ１よりも大きいときは、テレビ２００の音量をｖ１に変更することを意味している。
【００３５】
また、第３段目のレコードには、利用者の状態として「行動＝起きている→行動＝眠っている」が、機器の状態として「音量＞ｖ２」が、機器の状態変更として「音量＝ｖ２」がそれぞれ登録されている。これは、利用者の状態が第３状態であると推定し、かつテレビ２００の音量がｖ２よりも大きいときは、テレビ２００の音量をｖ２に変更することを意味している。
【００３６】
機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するようになっている。具体的に、テレビ２００の操作は、読み出した機器操作情報により特定される操作内容を示す操作信号を赤外線発信装置１２０に出力することより行う。
【００３７】
次に、本実施の形態の動作を説明する。
利用者の状態が第１状態である場合には、カメラ１０２が利用者を挟んで相対して配置されているので、カメラ１０２により、利用者の画像が撮影され、画像入力装置１０４により、撮影された利用者の画像がＡ／Ｄ変換され、画像特徴抽出装置１０６により、Ａ／Ｄ変換して得られた画像データに基づいて画像の特徴が抽出される。また、マイク１０８により、利用者の音声が取り込まれ、音声入力装置１１０により、取り込まれた利用者の音声がＡ／Ｄ変換され、音声特徴抽出装置１１２により、Ａ／Ｄ変換して得られた音声データに基づいて音声の特徴が抽出される。
【００３８】
このように画像および音声の特徴が抽出されると、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第１状態であるので、利用者の状態が第１状態であると推定される可能性が高い。第１状態であると推定されると、機器制御装置１１８により、第１状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第１状態には、チャンネルを変更すべきことを示す機器制御情報が対応付けられているので、チャンネルを変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００３９】
テレビ２００では、チャンネルを変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてチャンネルが変更される。すなわち、利用者の状態が第１状態であると、テレビ２００のチャンネルが変更される可能性が高い。
次に、利用者の状態が第２状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第２状態であるので、利用者の状態が第２状態であると推定される可能性が高い。第２状態であると推定されると、機器制御装置１１８により、第２状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第２状態には、テレビ２００の音量をｖ１に変更すべきことを示す機器制御情報が対応付けられているので、テレビ２００の音量をｖ１に変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４０】
テレビ２００では、テレビ２００の音量をｖ１に変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてテレビ２００の音量がｖ１に変更される。すなわち、利用者の状態が第２状態であると、テレビ２００の音量がｖ１に変更される。ただし、テレビ２００の元々の音量がｖ１よりも大きい場合に限る。
【００４１】
次に、利用者の状態が第３状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第３状態であるので、利用者の状態が第３状態であると推定される可能性が高い。第３状態であると推定されると、機器制御装置１１８により、第３状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第３状態には、テレビ２００の音量をｖ２に変更すべきことを示す機器制御情報が対応付けられているので、テレビ２００の音量をｖ２に変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４２】
テレビ２００では、テレビ２００の音量をｖ２に変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてテレビ２００の音量がｖ２に変更される。すなわち、利用者の状態が第３状態であると、テレビ２００の音量がｖ２に変更される。ただし、テレビ２００の元々の音量がｖ２よりも大きい場合に限る。
【００４３】
次に、利用者の状態が第４状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第４状態であるので、利用者の状態が第４状態であると推定される可能性が高い。第４状態であると推定されると、機器制御装置１１８により、第４状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。例えば、特定者の好みのチャンネルに変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４４】
テレビ２００では、チャンネルを変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてチャンネルが変更される。すなわち、利用者の状態が第４状態であると、テレビ２００のチャンネルが変更される可能性が高い。
このようにして、本実施の形態では、テレビ操作装置１００は、利用者の各状態ごとに機器操作情報を記憶する機器制御ＤＢ１１６と、利用者の状態を推定する状態推定装置１１４と、状態推定装置１１４の推定結果および機器制御ＤＢ１１６の機器操作情報に基づいてテレビ２００を操作する機器制御装置１１８とを備え、機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するようになっている。
【００４５】
これにより、利用者の状態を推定してその推定結果に基づいてテレビ２００が操作されるので、利用者にとってテレビ２００の操作が受動的となり、従来に比して、テレビ２００の操作が比較的容易となる。また、利用者の各状態ごとに機器操作情報が対応付けられているので、多様な操作を実現することができ、従来に比して、テレビ２００を比較的詳細に操作することができる。
【００４６】
さらに、本実施の形態では、機器制御ＤＢ１１６において第１状態には、テレビ２００のチャンネルを変更すべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第１状態であるかを推定するようになっている。
これにより、テレビ２００の放映内容について利用者の印象が肯定的なものから否定的なものに変化したと推定された場合は、テレビ２００のチャンネルが変更されるので、テレビ２００を視聴している利用者にとって比較的希望に添った操作内容となる。
【００４７】
さらに、本実施の形態では、機器制御ＤＢ１１６において第２状態には、テレビ２００の音量を小さくすべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第２状態であるかを推定するようになっている。
これにより、利用者の行動がテレビ２００の視聴から会話に変化したと推定された場合は、テレビ２００の音量が小さくなるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００４８】
さらに、本実施の形態では、機器制御ＤＢ１１６おいて第３状態には、テレビ２００の音量を小さくすべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第３状態であるかを推定するようになっている。
これにより、利用者の行動が起きている状態から寝ている状態に変化したと推定された場合は、テレビ２００の音量が小さくなるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００４９】
さらに、本実施の形態では、機器制御ＤＢ１１６おいて第４状態には、特定者の好みのチャンネルに変更すべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第４状態であるかを推定するようになっている。
これにより、利用者が特定者であると推定された場合は、テレビ２００のチャンネルが特定者の好みのチャンネルに変更されるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００５０】
上記実施の形態において、画像入力装置１０４は、発明３または４の画像入力手段に対応し、画像特徴抽出装置１０６は、発明４の画像特徴抽出手段に対応し、音声入力装置１１０は、発明５または６の音声入力手段に対応し、音声特徴抽出装置１１２は、発明６の音声特徴抽出手段に対応している。また、状態推定装置１１４は、発明１ないし１０、１２または１３の状態推定手段に対応し、状態推定装置１１４による推定は、発明１４または１５の状態推定ステップに対応し、機器制御ＤＢ１１６は、発明１、２、７ないし１０、１２ないし１５の機器操作情報記憶手段に対応している。
【００５１】
また、上記実施の形態において、機器制御装置１１８は、発明１、２、１２または１３の機器操作手段に対応し、機器制御装置１１８による操作は、発明１４または１５の機器操作ステップに対応し、テレビ２００は、発明１、２、７ないし１０、１２ないし１５の機器に対応している。
なお、上記実施の形態においては、利用者の状態を推定してその推定結果に基づいてテレビ２００を操作するように構成したが、これに限らず、テレビ２００の操作結果に対する利用者の満足度をテレビ２００の操作内容に反映させるように構成してもよい。この場合、次のように構成することができる。
【００５２】
テレビ操作装置１００は、図示しないが、さらに、テレビ２００の操作結果に対する利用者の満足度を推定する満足度推定装置と、満足度推定装置の推定結果に基づいて機器制御ＤＢ１１６の記憶内容を更新する記憶内容更新装置とを有している。
機器制御ＤＢ１１６には、図３に示すように、利用者の一の状態に対して複数の機器操作情報が優先順位を伴って対応付けられている。図３は、機器制御ＤＢ１１６のデータ構造を示す図である。
【００５３】
機器制御ＤＢ１１６には、利用者の各状態ごとに複数のレコードが登録されている。図３は、利用者の一の状態に対して複数の機器操作情報が登録されている状態を例示している。各レコードは、適用するルールの番号を登録したフィールド３１０と、利用者の状態を登録したフィールド３１２と、機器の状態を登録したフィールド３１４と、機器の状態変更を登録したフィールド３１６と、ルールの適用度を登録したフィールド３１８とを含んで構成されている。
【００５４】
図３の例では、第１段目のレコードには、ルール番号として「１」が、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「電源＝ｏｎ」が、機器の状態変更として「電源＝ｏｆｆ」が、適用度として「５０」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の電源がｏｎであるときは、テレビ２００の電源をｏｆｆにすることを意味している。
【００５５】
また、第２段目のレコードには、ルール番号として「２」が、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「音量＞ｖ１」が、機器の状態変更として「音量＝ｖ１」が、適用度として「５０」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の音量がｖ１よりも大きいときは、テレビ２００の音量をｖ１に変更することを意味している。
【００５６】
ここで、利用者の状態および機器の状態が一致した場合に対応の操作が行われる点については上記実施の形態と同じであるが、この場合は、利用者が状態が同一の場合について複数のルールが存在する場合は、適用度が最も高いルールが適用される点が異なる。
満足度推定装置は、例えば、画像特徴抽出装置１０６で抽出した特徴および音声特徴抽出装置１１２で抽出した特徴に基づいて、テレビ２００の操作結果に対する利用者の満足度を推定するようになっている。例えば、利用者の状態が第１状態、第２状態または第３状態であると判定したときは、満足度が低いものと推定する。
【００５７】
記憶内容更新装置は、満足度推定装置の推定結果に基づいて機器操作情報の優先順位を変更するようになっている。具体的には、あるルールに基づいてテレビ２００を操作した結果、利用者の満足度が高いと推定された場合には、そのルールの適用度を増加させ、また、あるルールに基づいてテレビ２００を操作した結果、利用者の満足度が低いと推定された場合には、そのルールの適用度を減少させる。
【００５８】
したがって、テレビ２００の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていくので、利用者の希望に添った操作内容になることが期待できる。
この場合において、満足度推定装置は、発明１１の満足度推定手段に対応し、記憶内容更新装置は、発明１１の記憶内容更新手段に対応し、機器制御ＤＢ１１６は、発明１１の機器操作情報記憶手段に対応している。
【００５９】
また、上記実施の形態においては、機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するように構成したが、これに限らず、例えば、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかに存在しない場合には、状態推定装置１１４で推定した状態と関連の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するように構成することもよい。
【００６０】
また、上記実施の形態においては、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法を、図１に示すように、利用者の状態に基づいてテレビ２００を操作する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
例えば、パソコンに応用することができる。パソコンに応用する場合、利用者がパソコンの画面に近づいたら文字が小さすぎて読みにくいと判定して画面を拡大するようにパソコンを操作する。また、文字に注視して顔をしかめたり首を傾げたら辞書を検索するようにパソコンを操作する。
【００６１】
その他、テレビ２００以外の表示装置、例えば、液晶プロジェクターを利用して画像を投影する所謂ホームシアターのような表示システムにも、本発明は適用可能である。
【００６２】
【発明の効果】
以上説明したように、本発明に係る請求項１ないし１１記載の機器操作システムによれば、利用者の状態を推定してその推定結果に基づいて機器が操作されるので、利用者にとって機器の操作が受動的となり、従来に比して、機器の操作が比較的容易となるという効果が得られる。また、利用者の各状態ごとに機器操作情報が対応付けられているので、多様な操作を実現することができ、従来に比して、機器を比較的詳細に操作することができるという効果も得られる。
【００６３】
さらに、本発明に係る請求項３または４記載の機器操作システムによれば、利用者の画像に基づいて利用者の状態が推定されるので、利用者の状態を比較的正確に推定することができるという効果も得られる。
さらに、本発明に係る請求項４記載の機器操作システムによれば、利用者の画像の特徴部分に着目して利用者の状態が推定されるので、利用者の状態を効果的に推定することができるという効果も得られる。
【００６４】
さらに、本発明に係る請求項５または６記載の機器操作システムによれば、利用者の音声に基づいて利用者の状態が推定されるので、利用者の状態を比較的正確に推定することができるという効果も得られる。
さらに、本発明に係る請求項６記載の機器操作システムによれば、利用者の音声の特徴部分に着目して利用者の状態が推定されるので、利用者の状態を効果的に推定することができるという効果も得られる。
【００６５】
さらに、本発明に係る請求項７記載の機器操作システムによれば、動画情報を表示可能な表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化したと推定された場合は、表示装置の表示内容が変更されるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
【００６６】
さらに、本発明に係る請求項８記載の機器操作システムによれば、利用者の行動が表示装置の視聴から会話に変化したと推定された場合は、表示装置の音量が小さくなるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
さらに、本発明に係る請求項９記載の機器操作システムによれば、利用者の行動が起きている状態から寝ている状態に変化したと推定された場合は、表示装置の音量が小さくなるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
【００６７】
さらに、本発明に係る請求項１０記載の機器操作システムによれば、利用者が特定者であると推定された場合は、表示装置の表示内容が特定者の好みのものに変更されるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
さらに、本発明に係る請求項１１記載の機器操作システムによれば、機器の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていくので、利用者の希望に添った操作内容になることが期待できるという効果も得られる。
【００６８】
一方、本発明に係る請求項１２または１３記載の機器操作プログラムによれば、請求項１記載の機器操作システムと同等の効果が得られる。
さらに、本発明に係る請求項１３記載の機器操作プログラムによれば、請求項２記載の機器操作システムと同等の効果も得られる。
一方、本発明に係る請求項１４または１５記載の機器操作方法によれば、請求項１記載の機器操作システムと同等の効果が得られる。
【００６９】
さらに、本発明に係る請求項１５記載の機器操作方法によれば、請求項２記載の機器操作システムと同等の効果も得られる。
【図面の簡単な説明】
【図１】テレビ操作装置１００の構成を示すブロック図である。
【図２】機器制御ＤＢ１１６のデータ構造を示す図である。
【図３】機器制御ＤＢ１１６のデータ構造を示す図である。
【符号の説明】
１００…テレビ操作装置、１０２…カメラ、１０４…画像入力装置、１０６…画像特徴抽出装置、１０８…マイク、１１０…音声入力装置、１１２…音声特徴抽出装置、１１４…状態推定装置、１１６…機器制御ＤＢ、１１８…機器制御装置、１２０…赤外線発信装置、２００…テレビ（動画情報を表示可能な表示装置）[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a system, a program, and a method for operating a device based on a state of a user, and in particular, to a device operation system, a device operation program, and a device that are easy to use and suitable for operating a device in detail. Regarding the operation method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a technique for controlling the operation of a device based on a state of a user, for example, a driver state monitoring apparatus disclosed in Japanese Patent Application Laid-Open No. 7-93700 (hereinafter, referred to as a first conventional example) and a special technique. There is a motion detection device disclosed in Japanese Unexamined Patent Publication No. Hei 11-86005 (hereinafter referred to as a second conventional example).
[0003]
In the first conventional example, first, a driver's face image captured by the imaging unit is stored in a captured image memory. The edge of the face image is detected by an edge detection circuit, and the detected face image (hereinafter, referred to as an edge image) is stored in an edge image memory. The template matching unit determines the positions of the eyelids and the pupil from the edge image. To detect. Next, the control / arithmetic unit should issue a warning to the driver from the blinking and eye movements detected from the positions of the eyelids and the pupil and the driving state of the vehicle received from the signal input unit. When it is determined, a warning is issued from the speaker.
[0004]
Thereby, by capturing the face image of the driver of the car with the camera and automatically recognizing the blinking operation, etc., the state of the driver is monitored, and a traffic accident due to the driver falling asleep is prevented by issuing an alarm. .
In the second conventional example, a CCD (Charge Coupled Device) camera captures an image of the driver's face. The A / D converter converts the face image obtained when the first illumination for illuminating the driver from the front and the second illumination for illuminating the driver from an oblique direction individually by the A / D converter under the control of the illumination light emission control unit. / D conversion. The pupil extraction unit inputs a face image from the image memory, performs a difference operation between the two images, and detects a high density area by a binarization process. The pupil region is detected by detecting the area and the circle for each region. The nodding detection unit detects a displacement of the center of gravity of the pupil, and detects a nodding by a reciprocating displacement within a predetermined time. The navigation display control unit detects that the information start operation switch has been operated through the overall control unit, reads out the information navigation information database confirmed by the nodding, displays the information on the navigation display unit, and ends the display.
[0005]
This makes it possible to reliably detect the swing.
[0006]
[Problems to be solved by the invention]
However, the first conventional example is configured to detect the driver's dozing state and issue a warning based on the detection result, so that the driver is monitored only. The action is not reflected in the operation of the device.
Further, in the second conventional example, since the nodding operation of the driver is detected and the information start operation switch is operated based on the detection result, the specific state of the driver is displayed on the navigation display unit. It is only reflected on the specific operation such as the display by the user, and the device cannot be operated in detail by the operation of the driver. For example, it is not possible to turn off the power of the device or change the display accuracy of the device by the operation of the driver. Further, if a plurality of operations are stipulated and it is intended to realize the detailed operation of the device by associating the operations with the plurality of operations, the user must perform the plurality of operations in order to operate the device in detail. You have to remember, this is not easy to use. Therefore, from the viewpoint of improving usability, it is desirable to minimize the user's operation to remember the operation for the operation. For this purpose, the user must perform a predetermined operation to operate the device. Rather than a simple mechanism, a passive mechanism that verifies the operation of the user and operates the device based on the verification result is preferable.
[0007]
Therefore, the present invention has been made in view of such unresolved problems of the conventional technology, is easy to use, and is a device operation system and a device operation program suitable for operating devices in detail. , As well as a device operation method.
[0008]
[Means for Solving the Problems]
[Invention 1]
In order to achieve the above object, a device operation system according to Invention 1 includes:
A system for operating a device based on a user state,
Device operation information storage means for storing device operation information for operating the device for each state when a plurality of different states are defined for the user state, and state estimating means for estimating the user state And device operating means for operating the device based on the estimation result of the state estimating device and the device operation information in the device operation information storage device.
[0009]
With such a configuration, the state of the user is estimated by the state estimation unit, and the device is operated by the device operation unit based on the estimation result of the state estimation unit and the device operation information of the device operation information storage unit. . Also, since the device operation information storage means is associated with device operation information for each state of the user, various operations are performed depending on the state of the user.
[0010]
Here, the state estimating means may have any configuration as long as the state estimating means estimates the state of the user. For example, the state estimating means detects a physical state such as an image, a sound, and a body temperature of the user or a surrounding environment. The state of the user may be estimated based on the detection content of the detecting means. Hereinafter, the same applies to the device operation program of the twelfth aspect.
[0011]
The device operation information storage means stores the device operation information by any means and at any time, and may store the device operation information in advance, or may store the device operation information in advance. Alternatively, the device operation information may be stored by an external input or the like during the operation of the present system. Hereinafter, the same applies to the device operation program of the invention 12 and the device operation method of the invention 14.
[0012]
Further, the present system may be realized as a single device, or may be realized as a network system in which a plurality of terminals are communicably connected. In the latter case, the constituent elements may belong to any of the plurality of terminals as long as they are communicably connected to each other.
[Invention 2]
Furthermore, the device operation system according to a second aspect of the present invention is the device operation system according to the first aspect, wherein the device operation unit stores the device operation information corresponding to the same or related state as the state estimated by the state estimation unit. It is characterized in that the device is read out of the means and the device is operated based on the read device operation information.
[0013]
With such a configuration, device operation information corresponding to the same or related state as the estimated state is read from the device operation information storage unit by the device operation unit, and the read device operation information is stored in the read device operation information. The device is operated based on the information.
[Invention 3]
Further, the device operation system according to Invention 3 is the device operation system according to any one of Inventions 1 and 2,
Further, an image input means for inputting an image of the user,
The state estimating means is configured to estimate the state of the user based on an image input by the image input means.
[0014]
With such a configuration, the image of the user is input by the image input unit, and the state of the user is estimated by the state estimation unit based on the input image.
[Invention 4]
Furthermore, the device operation system of the fourth aspect is the device operation system of the third aspect,
Further, the image processing apparatus further includes image feature extraction means for extracting features of the image from the image input by the image input means,
The state estimating means estimates the state of the user based on the features extracted by the image feature extracting means.
[0015]
With such a configuration, the features of the image are extracted from the input image by the image feature extracting unit, and the state of the user is estimated by the state estimating unit based on the extracted features.
[Invention 5]
Furthermore, the equipment operation system according to Invention 5 is the equipment operation system according to any one of Inventions 1 to 4,
Furthermore, it comprises a voice input means for inputting voice of the user,
The state estimating means is configured to estimate the state of the user based on the voice input by the voice input means.
[0016]
With such a configuration, the voice of the user is input by the voice input unit, and the state of the user is estimated by the state estimation unit based on the input voice.
[Invention 6]
Further, the device operation system according to a sixth aspect is the device operation system according to the fifth aspect, wherein:
Further, the apparatus further includes a voice feature extraction unit that extracts a feature of the voice from the voice input by the voice input unit,
The state estimating means estimates the state of the user based on the features extracted by the audio feature extracting means.
[0017]
With such a configuration, the features of the voice are extracted from the input voice by the voice feature extraction unit, and the state of the user is estimated by the state estimation unit based on the extracted characteristics.
[Invention 7]
Furthermore, the device operation system according to Invention 7 is the device operation system according to any one of Inventions 1 to 6,
The device is a display device capable of displaying video information,
The device operation information storage unit switches the moving image information displayed by the display device to a specific state in which the user's impression has changed from a positive to a negative display content of the display device. Device operation information indicating what should be done,
The state estimating means is configured to estimate whether the state of the user is the specific state.
[0018]
With such a configuration, the state estimation unit estimates that the state of the user is the specific state in which the impression of the user has changed from positive to negative with respect to the display content of the display device. Then, the display device is operated by the device operation means based on the device operation information indicating that the moving image information displayed on the display device should be switched. That is, when the user's impression changes from positive to negative regarding the display content of the display device, the display content of the display device is changed.
[Invention 8]
Furthermore, the equipment operation system according to Invention 8 is the equipment operation system according to any of Inventions 1 to 6,
The device is a display device capable of displaying video information,
The device operation information storage unit is associated with device operation information indicating that the volume of the display device should be reduced for a specific state in which the behavior of the user has changed from watching the display device to conversation. And
The state estimating means is configured to estimate whether the state of the user is the specific state.
[0019]
With such a configuration, when the state of the user is estimated by the state estimating means to be a specific state in which the behavior of the user has changed from viewing to listening to the display device to conversation, the device operation means causes the display device to display the display device. The display device is operated based on the device operation information indicating that the volume of the device should be reduced. That is, when the behavior of the user changes from watching the display device to conversation, the volume of the display device decreases.
[Invention 9]
Further, the equipment operation system according to the ninth aspect is the equipment operation system according to any one of the first to sixth aspects,
The device is a display device capable of displaying video information,
In the device operation information storage unit, device operation information indicating that the volume of the display device should be reduced corresponds to a specific state in which the user's behavior has changed from a sleeping state to a sleeping state. It is attached,
The state estimating means is configured to estimate whether the state of the user is the specific state.
[0020]
With such a configuration, when the state estimation unit estimates that the user's state is a specific state that has changed from a state in which the user's action is taking place to a sleeping state, the device operation unit The display device is operated based on the device operation information indicating that the volume of the display device should be reduced. That is, when the state of the user's action changes from a sleeping state to a sleeping state, the volume of the display device decreases.
[Invention 10]
Furthermore, the device operation system according to Invention 10 is the device operation system according to any one of Inventions 1 to 6,
The device is a display device capable of displaying video information,
In the device operation information storage unit, device operation information indicating that the moving image information displayed by the display device should be switched to a preference of the specific person for a specific state in which the user is a specific person corresponds. It is attached,
The state estimating means is configured to estimate whether the state of the user is the specific state.
[0021]
With such a configuration, when the state estimating unit estimates that the user is a specific person, the device operating unit indicates that the display content of the display device should be switched to the specific content of the specific person. The display device is operated based on the operation information. That is, if the user is a specific person, the display content of the display device is switched to the specific content of the specific person.
The “display device capable of displaying moving image information” in the inventions 7, 8, 9, and 10 is a device that decodes and displays moving image information, and the display method is a cathode ray tube display method or a liquid crystal display. It is a general term including a display device using such a method and a projection type display device using such a display method, and corresponds to, for example, a television receiver.
[0022]
The “moving picture information” in the inventions 7, 8, 9, and 10 includes, for example, a broadcast stream (satellite / terrestrial wave, analog / digital wave), a video stream distributed via a network, a video tape, an optical disc, and the like. And information stored on a magnetic disk or the like.
[Invention 11]
Furthermore, the equipment operation system of invention 11 is the equipment operation system of any of inventions 1 to 9,
A satisfaction estimating unit for estimating the user's satisfaction with the operation result of the device; and a storage content updating unit for updating a storage content of the device operation information storage unit based on the estimation result of the satisfaction estimating unit. With
In the device operation information storage means, a plurality of the device operation information is associated with one state of the user with a priority order,
The storage content updating unit changes a priority of the device operation information based on an estimation result of the satisfaction degree estimation unit.
[0023]
With such a configuration, the user's satisfaction with the operation result of the device is estimated by the satisfaction estimation unit, and the priority of the device operation information is changed based on the estimation result by the storage content updating unit. . Therefore, by repeatedly performing the operation of the device, the learning is sequentially performed so that the operation content is adapted to the user's satisfaction.
[Invention 12]
On the other hand, in order to achieve the above object, a device operation program according to a twelfth aspect includes:
A program for operating a device based on a user state,
For a computer that can use device operation information storage means that stores device operation information for operating the device for each state when a plurality of different states are defined for the state of the user,
A state estimating unit for estimating the state of the user, and a process realized as a device operation unit for operating the device based on the estimation result of the state estimating unit and device operation information of the device operation information storage unit. The program is characterized by the following.
[0024]
With such a configuration, when the program is read by the computer and the computer executes the processing in accordance with the read program, an operation equivalent to that of the device operation system of the first aspect is obtained.
[Invention 13]
Further, the device operation program according to the thirteenth aspect is the device operation program according to the twelfth aspect,
The device operation means reads device operation information corresponding to the same or related state as the state estimated by the state estimating means from the device operation information storage means, and operates the device based on the read device operation information. Is characterized in that
[0025]
With such a configuration, when the program is read by the computer and the computer executes the processing in accordance with the read program, an operation equivalent to that of the device operation system of the second aspect is obtained.
[Invention 14]
On the other hand, in order to achieve the above object, a device operation method according to Invention 14 includes:
A method of operating a device based on a state of a user,
A device operation information storage step of storing device operation information for operating the device in device operation information storage means for each state when a plurality of different states are defined for the user state; and a state of the user. And a device operation step of operating the device based on the estimation result of the state estimation step and device operation information of the device operation information storage means.
[0026]
Here, the state estimating step may be any method as long as the state of the user is estimated. The state of the user may be estimated based on the content.
[Invention 15]
Further, the device operation method according to a fifteenth aspect is the device operation method according to the fourteenth aspect,
The device operation step reads out device operation information corresponding to the same or related state as the state estimated in the state estimation step from the device operation information storage unit, and operates the device based on the read device operation information. It is characterized by doing.
[0027]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. 1 and 2 are diagrams showing an embodiment of a device operation system, a device operation program, and a device operation method according to the present invention.
In the present embodiment, a device operation system, a device operation program, and a device operation method according to the present invention are applied to a case where a television 200 is operated based on a state of a user, as shown in FIG. .
[0028]
First, the configuration of a television operating device 100 to which the present invention is applied will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of the television operating device 100.
As shown in FIG. 1, the television operating device 100 includes a camera 102 disposed opposite to the user, an image input device 104 for inputting an image of the user captured by the camera 102, and an image input device 104. An image feature extraction device 106 for extracting features of an image from an image input by the user, a microphone 108, a voice input device 110 for inputting a user's voice captured by the microphone 108, and a voice from a voice input by the voice input device 110. Device 112 for extracting a feature of the user, a state estimating device 114 for estimating the state of the user, and a device control database (hereinafter simply referred to as DB) storing device operation information for operating the television 200. 116, a device control device 118 for operating the television 200, and an operation signal indicating the operation content of the device control device 118. Is composed of an infrared transmitter 120 that transmits toward the television 200 by external. The television operation device 100 can be configured as, for example, a remote controller of the television 200.
[0029]
The image input device 104 has an A / D conversion circuit, performs A / D conversion of an image of a user captured by the camera 102 by the A / D conversion circuit, and converts image data obtained by the A / D conversion into an image. The data is output to the feature extraction device 106.
The image feature extraction device 106 recognizes a person in an image based on the image data input by the image input device 104, and characterizes a distance to the person, a specific part (for example, a face) of the person, or a motion of the person. Is detected.
[0030]
The voice input device 110 has an A / D conversion circuit, A / D converts the user's voice captured by the microphone 108 with the A / D conversion circuit, and converts the voice data obtained by the A / D conversion into voice. The data is output to the feature extraction device 112.
The voice feature extraction device 112 detects a portion characterizing the magnitude of the voice, the degree of distortion of the voice, the inflection of the voice, and the like, based on the voice data input by the voice input device 110.
[0031]
The state estimation device 114 estimates a user's state based on the features extracted by the image feature extraction device 106 and the features extracted by the audio feature extraction device 112. For example, it is estimated whether the state of the user is a state in which the impression of the user has changed from a positive one to a negative one (hereinafter, referred to as a first state) with respect to the broadcast contents of the television 200. In addition, it is estimated whether the user's state is a state in which the user's behavior has changed from watching the television 200 to talking (hereinafter, referred to as a second state). In addition, it is estimated whether the state of the user has changed from a state in which the user's action is occurring to a state of sleeping (hereinafter, referred to as a third state). Further, it is estimated whether the user is a specific person (hereinafter, referred to as a fourth state). In addition, the method of estimating a user's state can be performed using a conventional technique. For example, as a method for recognizing a user's emotion, an emotion recognition device disclosed in Japanese Patent Laid-Open No. 5-12023 discloses a first conventional example as a method for estimating whether a user is in a third state. Can be used respectively.
[0032]
As shown in FIG. 2, the device control DB 116 stores device operation information for each of a plurality of different states of the user when the states are defined. FIG. 2 is a diagram showing a data structure of the device control DB 116.
As shown in FIG. 2, one record is registered in the device control DB 116 for each state of the user. Each record is configured to include a field 300 in which a user status is registered, a field 302 in which a device status is registered, and a field 304 in which a device status change is registered. Here, the registration information in the field 304 constitutes device operation information.
[0033]
In the example of FIG. 2, the first record includes “emotion = positive → emotion = negative” as the user status, “channel = c” as the device status, and “channel = c” as the device status change. Channel = d "is registered. This means that when the state of the user is estimated to be the first state and the channel of the television 200 is c, the channel of the television 200 is changed to d.
[0034]
Also, the record in the second row includes “action ≠ conversation → action = conversation” as the user state, “volume> v1” as the device state, and “volume = v1” as the device state change. It is registered. This means that when the user's state is estimated to be the second state and the volume of the television 200 is higher than v1, the volume of the television 200 is changed to v1.
[0035]
Further, the record in the third row includes “action = awake → action = sleeping” as the user status, “volume> v2” as the device status, and “volume = v2” as the device status change. v2 "are registered. This means that when the state of the user is estimated to be in the third state and the volume of the television 200 is higher than v2, the volume of the television 200 is changed to v2.
[0036]
The device control device 118 reads device operation information corresponding to the same state as the state estimated by the state estimation device 114 from the device control DB 116, and operates the television 200 based on the read device operation information. I have. Specifically, the operation of the television 200 is performed by outputting an operation signal indicating the operation content specified by the read device operation information to the infrared transmitting device 120.
[0037]
Next, the operation of the present embodiment will be described.
When the state of the user is the first state, the camera 102 is arranged opposite to the user, so that an image of the user is captured by the camera 102, and the image is captured by the image input device 104. The converted user image is A / D converted, and the image feature extraction device 106 extracts the features of the image based on the image data obtained by the A / D conversion. The voice of the user is captured by the microphone 108, the voice of the user is A / D converted by the voice input device 110, and the voice of the user is A / D converted by the voice feature extraction device 112. Voice features are extracted based on the voice data.
[0038]
When the features of the image and the sound are extracted in this way, the state estimation device 114 estimates the state of the user based on the extracted features of the image and the sound. At this time, since the state of the user is the first state, there is a high possibility that the state of the user is estimated to be the first state. If it is estimated that the state is the first state, the device control device 118 reads out device operation information corresponding to the same state as the first state from the device control DB 116, and specifies the device operation information based on the read device operation information. An operation signal indicating the content of the operation to be performed is output to the infrared transmitting device 120. In the example of FIG. 2, since the device control information indicating that the channel should be changed is associated with the first state in the device control DB 116, an operation signal indicating that the channel should be changed is output. Then, the input operation signal is transmitted to the television 200 by infrared light by the infrared transmission device 120.
[0039]
When receiving an operation signal indicating that the channel should be changed, the television 200 changes the channel based on the received operation signal. That is, when the state of the user is the first state, there is a high possibility that the channel of the television 200 is changed.
Next, when the state of the user is the second state, the operations of the camera 102, the image input device 104, the image feature extraction device 106, the microphone 108, the voice input device 110, and the voice feature extraction device 112 are as described above. It is performed in a similar manner. Next, the state estimation device 114 estimates the state of the user based on the extracted features of the image and the sound. At this time, since the state of the user is the second state, there is a high possibility that the state of the user is estimated to be the second state. If it is estimated that the state is the second state, the device control device 118 reads out device operation information corresponding to the same state as the second state from the device control DB 116 and specifies the device operation information based on the read device operation information. An operation signal indicating the content of the operation to be performed is output to the infrared transmitting device 120. In the example of FIG. 2, since the device control information indicating that the volume of the television 200 should be changed to v1 is associated with the second state in the device control DB 116, the volume of the television 200 should be changed to v1. Is output. Then, the input operation signal is transmitted to the television 200 by infrared light by the infrared transmission device 120.
[0040]
When the television 200 receives an operation signal indicating that the volume of the television 200 should be changed to v1, the volume of the television 200 is changed to v1 based on the received operation signal. That is, when the state of the user is the second state, the volume of the television 200 is changed to v1. However, it is limited to the case where the original volume of the television 200 is higher than v1.
[0041]
Next, when the state of the user is the third state, the operations of the camera 102, the image input device 104, the image feature extraction device 106, the microphone 108, the voice input device 110, and the voice feature extraction device 112 are as described above. It is performed in a similar manner. Next, the state estimation device 114 estimates the state of the user based on the extracted features of the image and the sound. At this time, since the state of the user is the third state, there is a high possibility that the state of the user is estimated to be the third state. If the third state is estimated, the device control apparatus 118 reads out device operation information corresponding to the same state as the third state from the device control DB 116 and specifies the device operation information based on the read device operation information. An operation signal indicating the content of the operation to be performed is output to the infrared transmitting device 120. In the example of FIG. 2, the device control information indicating that the volume of the television 200 should be changed to v2 is associated with the third state in the device control DB 116, so the volume of the television 200 should be changed to v2. Is output. Then, the input operation signal is transmitted to the television 200 by infrared light by the infrared transmission device 120.
[0042]
When the television 200 receives an operation signal indicating that the volume of the television 200 should be changed to v2, the volume of the television 200 is changed to v2 based on the received operation signal. That is, when the state of the user is the third state, the volume of the television 200 is changed to v2. However, only when the original volume of the television 200 is higher than v2.
[0043]
Next, when the state of the user is the fourth state, the operations of the camera 102, the image input device 104, the image feature extraction device 106, the microphone 108, the voice input device 110, and the voice feature extraction device 112 are as described above. It is performed in a similar manner. Next, the state estimation device 114 estimates the state of the user based on the extracted features of the image and the sound. At this time, since the state of the user is the fourth state, there is a high possibility that the state of the user is estimated to be the fourth state. If it is estimated that the state is the fourth state, the device control device 118 reads out device operation information corresponding to the same state as the fourth state from the device control DB 116 and specifies the device operation information based on the read device operation information. An operation signal indicating the content of the operation to be performed is output to the infrared transmitting device 120. For example, an operation signal indicating that the channel should be changed to a channel preferred by the specific person is output. Then, the input operation signal is transmitted to the television 200 by infrared light by the infrared transmission device 120.
[0044]
When receiving an operation signal indicating that the channel should be changed, the television 200 changes the channel based on the received operation signal. That is, when the state of the user is the fourth state, there is a high possibility that the channel of the television 200 is changed.
As described above, in the present embodiment, the television operating device 100 includes the device control DB 116 that stores the device operation information for each state of the user, the state estimating device 114 that estimates the state of the user, A device control device 118 that operates the television 200 based on the estimation result of the device 114 and the device operation information of the device control DB 116, and the device control device 118 corresponds to the same state as the state estimated by the state estimation device 114. The device operation information is read from the device control DB 116, and the television 200 is operated based on the read device operation information.
[0045]
Thereby, since the state of the user is estimated and the television 200 is operated based on the estimation result, the operation of the television 200 is passive for the user, and the operation of the television 200 is relatively It will be easier. In addition, since the device operation information is associated with each state of the user, various operations can be realized, and the television 200 can be operated in more detail than before.
[0046]
Further, in the present embodiment, in the device control DB 116, device operation information indicating that the channel of the television 200 should be changed is associated with the first state, and the state estimation device 114 It is configured to estimate whether the state is the first state.
As a result, when it is estimated that the user's impression of the broadcast contents of the television 200 has changed from a positive one to a negative one, the channel of the television 200 is changed, and the user is watching the television 200. The operation content is relatively desired for the user.
[0047]
Further, in the present embodiment, in the device control DB 116, device operation information indicating that the volume of the television 200 should be reduced is associated with the second state, and the state estimation device 114 The second state is estimated.
As a result, when it is estimated that the user's behavior has changed from watching the television 200 to conversation, the volume of the television 200 is reduced. It becomes.
[0048]
Furthermore, in the present embodiment, device operation information indicating that the volume of the television 200 should be reduced is associated with the third state in the device control DB 116, and the state estimation device 114 determines the state of the user. Is in the third state.
As a result, when it is estimated that the state of the user's action has changed from the active state to the sleeping state, the volume of the television 200 is reduced. Operation contents.
[0049]
Furthermore, in the present embodiment, the fourth state in the device control DB 116 is associated with device operation information indicating that the channel should be changed to the channel preferred by the specific person. Is estimated to be the fourth state.
As a result, when the user is estimated to be a specific person, the channel of the television 200 is changed to a channel preferred by the specific person. Content.
[0050]
In the above embodiment, the image input device 104 corresponds to the image input device of the third or fourth invention, the image feature extraction device 106 corresponds to the image feature extraction device of the fourth invention, and the voice input device 110 corresponds to the fifth invention. Alternatively, the voice feature extracting device 112 corresponds to the voice feature extracting device of the sixth aspect. The state estimating device 114 corresponds to the state estimating means of the inventions 1 to 10, 12 or 13, the estimation by the state estimating device 114 corresponds to the state estimating step of the invention 14 or 15, and the device control DB 116 corresponds to the invention. 1, 2, 7 to 10, and 12 to 15 correspond to device operation information storage means.
[0051]
In the above embodiment, the device control device 118 corresponds to the device operation means of Invention 1, 2, 12, or 13, and the operation by the device control device 118 corresponds to the device operation step of Invention 14 or 15. The television 200 corresponds to the devices of Inventions 1, 2, 7 to 10, and 12 to 15.
In the above-described embodiment, the state of the user is estimated and the television 200 is operated based on the estimation result. However, the present invention is not limited to this. May be reflected in the operation content of the television 200. In this case, it can be configured as follows.
[0052]
Although not shown, the television operation device 100 further updates the storage contents of the device control DB 116 based on the satisfaction estimation device that estimates the user's satisfaction with the operation result of the television 200 and the estimation result of the satisfaction estimation device. And a storage content updating device.
In the device control DB 116, as shown in FIG. 3, a plurality of device operation information items are associated with one state of the user with a priority order. FIG. 3 is a diagram showing a data structure of the device control DB 116.
[0053]
A plurality of records are registered in the device control DB 116 for each state of the user. FIG. 3 illustrates a state in which a plurality of pieces of device operation information are registered for one state of the user. Each record includes a field 310 in which a rule number to be applied is registered, a field 312 in which a user status is registered, a field 314 in which a device status is registered, a field 316 in which a device status change is registered, and a rule And a field 318 in which the degree of application is registered.
[0054]
In the example of FIG. 3, the first row record includes “1” as the rule number, “action ≠ conversation → action = conversation” as the user state, and “power = on” as the device state. “Power supply = off” is registered as the device state change, and “50” is registered as the applicability. This means that when the user's state is estimated to be in the second state and the power of the television 200 is on, the power of the television 200 is turned off.
[0055]
In the second record, the rule number is “2”, the user state is “action ≠ conversation → action = conversation”, the device state is “volume> v1”, and the device state is changed. "Volume = v1" and "50" are registered as applicability. This means that when the user's state is estimated to be the second state and the volume of the television 200 is higher than v1, the volume of the television 200 is changed to v1.
[0056]
Here, the point that the corresponding operation is performed when the state of the user and the state of the device match is the same as the above-described embodiment, but in this case, when the user has the same state, a plurality of operations are performed. The difference is that if a rule exists, the rule with the highest degree of application is applied.
The satisfaction estimation device estimates the user's satisfaction with the operation result of the television 200, for example, based on the features extracted by the image feature extraction device 106 and the features extracted by the audio feature extraction device 112. . For example, when it is determined that the user is in the first state, the second state, or the third state, it is estimated that the degree of satisfaction is low.
[0057]
The storage content updating device changes the priority of the device operation information based on the estimation result of the satisfaction estimating device. More specifically, when it is estimated that the degree of user satisfaction is high as a result of operating the television 200 based on a certain rule, the degree of application of the rule is increased, and the television 200 is operated based on a certain rule. If the user's satisfaction is estimated to be low as a result of the operation, the applicability of the rule is reduced.
[0058]
Therefore, by repeatedly performing the operation of the television 200, the learning is sequentially performed so that the operation content matches the user's satisfaction. Therefore, it is expected that the operation content meets the user's request.
In this case, the satisfaction degree estimation device corresponds to the satisfaction degree estimation means of the invention 11, the storage content update device corresponds to the storage content update means of the invention 11, and the device control DB 116 stores the device operation information storage of the invention 11. It corresponds to the means.
[0059]
Further, in the above embodiment, the device control device 118 reads out device operation information corresponding to the same state as the state estimated by the state estimating device 114 from the device control DB 116, and based on the read out device operation information. The configuration is such that the television 200 is operated. However, the present invention is not limited to this. For example, if device operation information corresponding to the same state as the state estimated by the state estimation device 114 does not exist in the device control DB 116, the state The device operation information corresponding to the state related to the state estimated by the estimation device 114 may be read from the device control DB 116, and the television 200 may be operated based on the read device operation information.
[0060]
In the above-described embodiment, the device operation system, the device operation program, and the device operation method according to the present invention are applied to a case where the television 200 is operated based on the state of the user, as shown in FIG. However, the present invention is not limited to this, and can be applied to other cases without departing from the gist of the present invention.
For example, it can be applied to a personal computer. In the case of application to a personal computer, when the user approaches the screen of the personal computer, the character is determined to be too small to be easily read, and the personal computer is operated so as to enlarge the screen. Also, if you gaze at the characters and frown or tilt your head, you will operate your computer to search the dictionary.
[0061]
In addition, the present invention can be applied to a display device other than the television 200, for example, a display system such as a so-called home theater that projects an image using a liquid crystal projector.
[0062]
【The invention's effect】
As described above, according to the device operation system according to claims 1 to 11 of the present invention, the state of the user is estimated, and the device is operated based on the estimation result. The operation is passive, and an effect is obtained that the operation of the device is relatively easy as compared with the related art. In addition, since the device operation information is associated with each state of the user, various operations can be realized, and the device can be operated in relatively detail as compared with the related art. can get.
[0063]
Further, according to the device operation system according to the third or fourth aspect of the present invention, since the state of the user is estimated based on the image of the user, the state of the user can be estimated relatively accurately. The effect that can be obtained is also obtained.
Further, according to the device operation system according to the fourth aspect of the present invention, since the state of the user is estimated by focusing on the characteristic portion of the image of the user, the state of the user is effectively estimated. The effect that can be obtained is also obtained.
[0064]
Further, according to the device operation system according to the fifth or sixth aspect of the present invention, since the state of the user is estimated based on the voice of the user, the state of the user can be estimated relatively accurately. The effect that can be obtained is also obtained.
Further, according to the device operation system according to the sixth aspect of the present invention, since the state of the user is estimated by focusing on the characteristic portion of the voice of the user, the state of the user is effectively estimated. The effect that can be obtained is also obtained.
[0065]
Furthermore, according to the device operation system according to claim 7 of the present invention, it is estimated that the user's impression has changed from positive to negative with respect to the display content of the display device capable of displaying moving image information. In this case, the display content of the display device is changed, so that an effect is obtained that the operation content is relatively desired for the user viewing the display device.
[0066]
Further, according to the device operation system according to the eighth aspect of the present invention, when it is estimated that the user's behavior has changed from watching the display device to conversation, the volume of the display device is reduced. There is also obtained an effect that the operation content is relatively desired for the user who is watching.
Further, according to the device operation system according to the ninth aspect of the present invention, when it is estimated that the state of the user's action has changed from the active state to the sleeping state, the volume of the display device is reduced. In addition, there is an effect that the operation content is relatively desired for a user who is viewing the display device.
[0067]
Further, according to the device operation system according to claim 10 of the present invention, when the user is presumed to be a specific person, the display content of the display device is changed to the specific content of the specific person, There is also obtained an effect that the operation content is relatively desired for a user who is viewing the display device.
Further, according to the device operation system according to the eleventh aspect of the present invention, by repeatedly performing the operation of the device, the learning is sequentially performed so that the operation content is adapted to the user's satisfaction. There is also an effect that the operation content can be expected to meet the user's wishes.
[0068]
On the other hand, according to the device operation program according to the twelfth or thirteenth aspect of the present invention, effects equivalent to those of the device operation system according to the first aspect can be obtained.
Further, according to the device operation program of the present invention, the same effects as those of the device operation system of the second aspect can be obtained.
On the other hand, according to the device operating method according to claim 14 or 15 of the present invention, the same effect as the device operating system according to claim 1 can be obtained.
[0069]
Further, according to the device operation method according to claim 15 of the present invention, the same effect as that of the device operation system according to claim 2 can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a television operating device 100.
FIG. 2 is a diagram showing a data structure of a device control DB 116.
FIG. 3 is a diagram showing a data structure of a device control DB 116.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... TV operation device, 102 ... Camera, 104 ... Image input device, 106 ... Image feature extraction device, 108 ... Microphone, 110 ... Voice input device, 112 ... Voice feature extraction device, 114 ... State estimation device, 116 ... Device control DB, 118: device control device, 120: infrared transmitting device, 200: television (display device capable of displaying moving image information)

Claims

A system for operating a device based on a user state,
Device operation information storage means for storing device operation information for operating the device for each state when a plurality of different states are defined for the user state, and state estimating means for estimating the user state And a device operation unit for operating the device based on the estimation result of the state estimation unit and device operation information of the device operation information storage unit.

In claim 1,
The device operation means reads device operation information corresponding to the same or related state as the state estimated by the state estimating means from the device operation information storage means, and operates the device based on the read device operation information. A device operation system characterized in that:

In any one of claims 1 and 2,
Further, an image input means for inputting an image of the user,
The apparatus operation system, wherein the state estimating unit estimates the state of the user based on an image input by the image input unit.

In claim 3,
Further, the image processing apparatus further includes image feature extraction means for extracting features of the image from the image input by the image input means,
The apparatus operation system, wherein the state estimating means estimates the state of the user based on the features extracted by the image feature extracting means.

In any one of claims 1 to 4,
Furthermore, it comprises a voice input means for inputting voice of the user,
The apparatus operation system according to claim 1, wherein the state estimating unit estimates the state of the user based on a voice input by the voice input unit.

In claim 5,
Further, the apparatus further includes a voice feature extraction unit that extracts a feature of the voice from the voice input by the voice input unit,
The device operation system, wherein the state estimating unit estimates the state of the user based on the feature extracted by the voice feature extracting unit.

In any one of claims 1 to 6,
The device is a display device capable of displaying video information,
The device operation information storage unit switches the moving image information displayed by the display device to a specific state in which the user's impression has changed from a positive to a negative display content of the display device. Device operation information indicating what should be done,
The apparatus operation system, wherein the state estimating means estimates whether the state of the user is the specific state.

In any one of claims 1 to 6,
The device is a display device capable of displaying video information,
The device operation information storage unit is associated with device operation information indicating that the volume of the display device should be reduced for a specific state in which the behavior of the user has changed from watching the display device to conversation. And
The apparatus operation system, wherein the state estimating means estimates whether the state of the user is the specific state.

In any one of claims 1 to 6,
The device is a display device capable of displaying video information,
In the device operation information storage unit, device operation information indicating that the volume of the display device should be reduced corresponds to a specific state in which the user's behavior has changed from a sleeping state to a sleeping state. It is attached,
The apparatus operation system, wherein the state estimating means estimates whether the state of the user is the specific state.

In any one of claims 1 to 6,
The device is a display device capable of displaying video information,
In the device operation information storage unit, device operation information indicating that the moving image information displayed by the display device should be switched to a preference of the specific person for a specific state in which the user is a specific person corresponds. It is attached,
The apparatus operation system, wherein the state estimating means estimates whether the state of the user is the specific state.

In any one of claims 1 to 9,
A satisfaction estimating unit for estimating the user's satisfaction with the operation result of the device; and a storage content updating unit for updating a storage content of the device operation information storage unit based on the estimation result of the satisfaction estimating unit. With
In the device operation information storage means, a plurality of the device operation information is associated with one state of the user with a priority order,
The device operation system, wherein the storage content updating unit changes a priority of the device operation information based on an estimation result of the satisfaction degree estimation unit.

A program for operating a device based on a user state,
For a computer that can use device operation information storage means that stores device operation information for operating the device for each state when a plurality of different states are defined for the state of the user,
A state estimating unit for estimating the state of the user, and a process realized as a device operation unit for operating the device based on the estimation result of the state estimation unit and device operation information in the device operation information storage unit are executed. Device operation program, characterized in that the program is a program for operating the device.

In claim 12,
The device operation means reads device operation information corresponding to the same or related state as the state estimated by the state estimating means from the device operation information storage means, and operates the device based on the read device operation information. A device operation program characterized by the following.

A method of operating a device based on a state of a user,
A device operation information storage step of storing device operation information for operating the device in device operation information storage means for each state when a plurality of different states are defined for the user state; and a state of the user. And a device operation step of operating the device based on an estimation result of the state estimation step and device operation information of the device operation information storage unit.

In claim 14,
The device operation step reads out device operation information corresponding to the same or related state as the state estimated in the state estimation step from the device operation information storage unit, and operates the device based on the read device operation information. A device operation method characterized by: