JP2009301166A

JP2009301166A - 電子機器制御装置

Info

Publication number: JP2009301166A
Application number: JP2008152589A
Authority: JP
Inventors: Mitsuhiro Aso; 光洋阿曽; Tsutomu Yoshida; 力吉田; Yasuhiro Tsuchida; 安紘土田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2009-12-24

Abstract

【課題】電子機器操作時にのみユーザの視線方向を認識することができる電子機器制御装置を提供すること。
【解決手段】ユーザが入力装置１０１を操作すると、イベント生成配信部１１０が、表示装置特定部１０６へユーザの視線方向に配置された表示装置の特定を指示し、操作状態判定部１１１で判定されたユーザの操作状態に応じて、表示装置特定部１０６が、省電力制御部１０７へカメラ装置１０３の省電力モードオフ設定を指示し、視線方向認識部１０５がユーザの視線方向を認識した結果に基づき、ユーザの視線方向に配置された表示装置を一つ特定し、イベント生成配信部１１０が画面生成部１０８に操作イベントを通知すると画面生成部１０８は通知された操作イベントに従い、表示装置１０２に適切な表示画面を生成する。
【選択図】図１

Description

本発明は、表示装置を備えた電子機器を制御し、ユーザの視線方向に存在するか否かに基づいて、表示装置への表示内容を制御する電子機器制御装置に関し、特に、消費電力の低減に関するものである。

近年、表示装置を備えた電子機器において、これら電子機器が提供する機能を利用するためのユーザインターフェイスとして、グラフィカルユーザインターフェイス（ＧＵＩ）を用いた電子機器が普及してきた。この電子機器は、例えば、パーソナルコンピュータや携帯電話、デジタルテレビ、デジタル映像記録装置などであり、表示装置を内蔵している場合、または、外付けで接続している場合がある。ＧＵＩを用いることで、ユーザは、直感的かつ簡単に、各機能を利用することができる。なお、表示装置は、ＣＲＴや液晶パネル型モニタ、プラズマパネル型モニタなどである。

ＧＵＩは、電子機器を構成するハードウェア（ＣＰＵやメモリ、各種入出力装置）上で実行可能なソフトウェアとして論理的に記述されている。ＧＵＩは、キーボードやマウス、リモコンなどの入力装置からの入力情報を受け取り、その入力情報の種別に応じて、グラフィクスの表示内容を変更したり、電子機器の機能を呼び出したりする。このようなＧＵＩを利用することで、電子機器の機能を簡単に操作することが可能となってきた。

また、ますます多機能化する電子機器をより簡単に操作するために、ＧＵＩを表示している表示装置上にタッチパネル型の入力装置を備えた電子機器が開発されている。さらに、電子機器の遠隔操作を行うタッチパネル型のリモコン装置を備えた電子機器も開発されている。

さらに、複数の電子機器を操作するための複数のＧＵＩをあらかじめリモコン装置に組み込んでおき、１つのリモコン装置で、複数の電子機器を操作できるものがあった。ユーザが、リモコン装置のＧＵＩを用いて操作対象の電子機器を選択することで、選択した電子機器を操作するためのＧＵＩを新たに表示し、操作することが可能となる。

しかし、前述した複数の電子機器を操作可能なリモコン装置では、ユーザが、操作対象の電子機器を選択する操作を行う必要があった。

ユーザの選択操作を軽減する従来技術としては、カメラ装置によるカメラ画像情報を利用し、ユーザの視線方向を検知して、視線方向に表示装置を有している電子機器を操作対象と自動的に特定するものがあった（例えば、特許文献１参照）。ユーザの視線方向の電子機器に対応したＧＵＩを自動的表示し、キーボードやマウスなどの入力装置の入力情報を、特定された電子機器へ配信するように切り替えを行う。
特開２００６−４０９３号公報

しかしながら、前記従来技術では、ユーザの視線方向を検知するために、連続的にカメラ装置からカメラ画像情報を取得する必要があり、電池で動作するリモコン装置が、カメラ装置に消費する電力が大きくなるという課題を有していた。

本発明は、前記従来の課題を解決するもので、複数の電子機器を操作可能なリモコン装置において、ユーザの視線方向を検知するのに使用するカメラ装置の電力消費を削減する電子機器制御装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の電子機器制御装置は、カメラ装置から撮影画像データを受け取り、表示装置へ表示する表示画面を生成する電子機器制御装置において、前記表示画面は、周辺に位置する電子機器を操作するインタフェース画面であって、前記撮影画像データを解析し、ユーザの視線方向を認識する視線方向認識部と、前記カメラ装置の省電力制御を行う省電力制御部と、入力操作が、あらかじめ定められた時間間隔以内で連続しているか否かを判定する操作状態判定部と、前記表示装置と前記電子機器の表示装置の配置情報を保持し、前記操作状態判定部が連続していないと判定した場合、前記省電力制御部への省電力モードのオフ設定指示と前記視線方向認識部への視線方向の認識指示を通知し、前記視線方向認識部での視線方向認識完了後、前記省電力制御部へ省電力モードのオン設定指示を通知し、前記配置情報と前記視線方向認識部が認識した視線方向とを用いて、ユーザの視線方向に配置された表示装置を特定する表示装置特定部と、ユーザの操作により生成される入力情報を受け取り、前記表示装置特定部が特定した表示装置を示す表示装置情報を取得し、前記取得した表示装置情報と前記入力情報を用いて操作イベントを生成し、前記生成した操作イベントを前記画面生成部へ配信するイベント生成配信部と、前記イベント生成配信部が生成した操作イベントを受け取り、前記操作イベントに基づいて、前記視線方向に応じた表示画面を生成する画面生成部を有している。

本構成によって、複数の電子機器を操作可能なリモコン装置において、電子機器操作時にのみユーザの視線方向を認識することができ、ユーザの視線方向の検知に使用する、カメラ装置の動作電力の低消費電力化が可能となる。

本発明の電子機器制御装置によれば、複数の電子機器を操作可能なリモコン装置において、ユーザの視線方向の検知に使用する、カメラ装置の動作電力の低消費電力化が可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態）
図１は、本発明の実施の形態における電子機器制御装置１００を備えたリモコン装置の構成の一例を示すブロック図である。リモコン装置は、複数の電子機器を操作可能であって、それぞれの電子機器を制御するＧＵＩを表示する表示装置を有している。また、ここでのリモコン装置は、テレビまたはＡＶプレイヤー、エアコンなどの家電機器のリモコン装置だけでなく、リモコン機能を備えた情報機器であればよい。例えば、携帯型電子機器、携帯電話、パーソナルコンピュータなどである。以下、リモコン装置により制御する対象の電子機器を、対象電子機器と示す。１つのリモコン装置は、１つまたは複数の対象電子機器を制御することが可能である。

図１おいて、リモコン装置は、入力装置１０１と、表示装置１０２と、カメラ装置１０３と、電子機器表示装置１００を備えている。

入力装置１０１は、キーボード、ボタン、タッチパネルセンサ、加速度センサ、角速度センサ、マイクなどである。ユーザからの入力操作を受け取り、その結果得られる様々なセンサ情報を入力情報として出力する。受け取るユーザからの入力操作は、例えば、キーボードまたはボタンの場合、押下による入力信号である。また、タッチパネルへのタッチ操作による信号、マイクからの音声入力信号、加速度センサまたは角速度センサによる入力装置の動きを示す入力信号を、入力操作として受け取る。

表示装置１０２は、液晶ディスプレイ、ＣＲＴ、プラズマディスプレイなどのディスプレイ装置であり、電子機器を制御するＧＵＩを表示する。ユーザは、リモコン装置の入力操作を行う際に、表示装置１０２に表示された表示画面（ＧＵＩ）を見ながら操作を行うことになる。

カメラ装置１０３は、デジタルカメラなどの画像撮影装置である。ＣＣＤ（ＣｈａｎｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを備えている。ユーザの顔画像を撮影し、撮影されたユーザの顔画像データを静止画データや動画データとして記録する。また、カメラ装置１０３は、その撮影動作を定める撮影モードとして、撮影動作を連続的に行う連続撮影モードと、撮影動作を一時的に停止することにより低消費電力状態を維持する省電力モードを有する。

出力装置１１２は、リモコン装置から対象電子機器への制御信号の出力を行う。出力装置１１２は、操作イベントを受け取り、出力先の対応電子機器に合わせてリモート操作信号を生成し、生成した操作信号を出力する。

電子機器表示装置１００は、カメラ画像取得部１０４と、視線方向認識部１０５と、表示装置特定部１０６と、省電力制御部１０７と、画面作成部１０８と、表示制御部１０９と、イベント生成配信部１１０とを備えている。

カメラ画像取得部１０４は、カメラ装置１０３が撮影した静止画データや動画データを、カメラ装置１０３から取得する。以下、取得するデータをカメラ画像データと表記する。

視線方向認識部１０５は、カメラ画像取得部１０４が取得したカメラ画像データを、カメラ画像取得部１０４から受け取り、受け取ったカメラ画像データを顔認識技術や視線認識技術を用いて解析し、撮影されたユーザの視線方向を認識する。

操作状態判定部１１１は、表示装置特定部１０６からの操作状態の問い合わせ間隔に基づいて、連続操作モードか非連続操作モードかを判定する。あらかじめ定められた時間間隔Ｔ以内で連続している場合は、入力装置１０１へのユーザの入力操作が連続的に発生しているとする連続操作モードとして判定する。また、前回の操作状態の問い合わせから時間間隔Ｔよりも長い時間が経過している場合は、非連続操作モードとして判定する。

表示装置特定部１０６は、リモコン装置の表示装置１０２と対象電子機器の表示装置の配置位置を管理し、ユーザの視線方向に配置されている表示装置の特定を行う。まず、表示装置特定部１０６は、イベント生成配信部１１０から表示装置特定要求を受け取ると、操作状態判定部１１１へ操作状態を問い合わせる。操作状態判定部１１１への問い合わせ結果に応じて、処理を切り替える。

まず、操作状態が非連続操作モードである場合、表示装置特定部１０６は、省電力制御部１０７へ省電力モードのオフ設定指示を発行し、続いて、視線方向認識部１０５へユーザの視線方向の認識指示を発行する。表示装置特定部１０６は、視線方向認識部１０５から認識結果であるユーザの視線方向を受け取ると、省電力制御部１０７へ、省電力モードのオン設定指示を発行する。また、受け取ったユーザの視線方向と、保持している表示装置管理情報とを用いて、ユーザの視線方向に配置されている表示装置を一つ特定し、その表示装置を特定表示装置として決定し、決定した結果（表示装置情報）を出力する。

また、操作状態が連続操作モードである場合、表示装置特定部１０６は、直近に特定した表示装置をユーザの視線方向に配置された表示装置と特定し、その表示装置を特定表示装置として決定し、決定した結果（表示装置情報）を出力する。

省電力制御部１０７は、カメラ装置１０３の撮影動作を管理・制御し、カメラ装置１０３の省電力制御を行う。省電力制御部１０７は、表示装置特定部１０６から、省電力モードのオン設定指示を受け取ると、カメラ装置１０３へ省電力モードへの移行指示を通知する。また、省電力制御部１０７は、表示装置特定部１０６から、省電力モードのオフ設定指示を受け取ると、カメラ装置１０３へ連続撮影モードへの移行指示を通知する。

画面生成部１０８は、あらかじめ定められた操作イベントが通知されると、通知された操作イベントの内容を用いて、表示装置１０２へ表示する表示画面（ＧＵＩ）を生成する。例えば、特定表示装置が、リモコン装置の表示装置１０２である場合と、対象電子機器の表示装置である場合で、制御対象の対象電子機器が同一であっても、異なるＧＵＩを生成することになる。なお、イベント情報は、イベント生成配信部１１０が生成し通知する。イベント情報の詳細については、後で説明する。

表示制御部１０９は、画面生成部１０８からの要求に応じて、画面生成部１０８が生成した表示画面（ＧＵＩ）を表示イメージに変換し、表示装置１０２へ出力することで、表示装置１０２への表示を制御する。

イベント生成配信部１１０は、入力装置１０１が生成する入力情報を受け取ると、表示位置特定部１０６へ表示装置の特定を要求し、その結果として特定表示装置情報を取得する。イベント生成配信部１１０は、取得した表示装置情報と、入力装置１０１から受け取った入力情報を用いて、操作イベントを生成し、生成した操作イベントを画面生成部１０８へ通知する。

以上の構成によって、複数の電子機器を操作可能なリモコン装置において、ユーザからの入力操作があった時にのみユーザの視線方向を認識することが可能となる。これにより、ユーザの視線方向認識のためにカメラ装置から常にカメラ画像データを取得する必要がなくなり、カメラ装置の動作電力を低減することが可能となる。特に、電池で動作するリモコン装置がカメラ装置を備えている場合、本発明の電子機器制御装置１００を用いる効果が高い。電池で動作するリモコン装置であっても、ユーザの視線方向の検知を長時間実施することが可能となり、リモコン装置に表示するＧＵＩを自動的に選択することができる。また、ユーザの視線方向の表示装置を有する電子機器を操作するＧＵＩを自動的に選択することで、ユーザの操作負荷を低減することが可能となる。

次に、図３を用いて、入力装置１０１で使用する入力情報について説明する。

図３（ａ）は、入力情報テーブル３００の一例を示している。入力装置１０１は、入力情報テーブル３００を保持しており、入力情報テーブル３００を用いて、ユーザからの入力操作に基づいて、対応する入力信号を生成する。入力情報テーブル３００は、各入力情報に必要とする情報を定義しており、１つの入力情報は、入力情報ＩＤと、入力装置シンボルと、補助情報を備えている例を示している。

入力情報ＩＤは、ユーザが操作した入力手段を一意に識別することが可能な識別子である。入力装置シンボルは、入力情報ＩＤに対応する入力手段をより分かりやすいシンボル情報として示したものである。また、入力手段の種別（キーボード、タッチパネルセンサなど）に応じて補助情報を定義することが可能である。

例えば、ユーザがリモコン装置のキーボード上の文字「Ａ」を押下した場合、入力装置１０１は、入力情報ＩＤ「１００００１」、入力装置シンボル「ＫＥＹ＿Ａ」、補助情報「ＶＡＬ」に「Ｐｒｅｓｓ」となる入力情報を生成する。ここでは、入力手段の種別がキーボードであるので、補助情報「ＶＡＬ」に、キーが「Ｐｒｅｓｓ」されたか「Ｒｅｌｅａｓｅ」されたかを示す情報が格納されるものとする。

別の例としては、ユーザがリモコン装置のタッチパネルを操作した場合、入力装置１０１は、入力情報ＩＤ「２０００１」、入力装置シンボル「ＴＯＵＣＨ」となる入力情報を生成する。補助情報としては、ユーザがタッチ操作を行ったタッチパネル上の点を示す２次元座標情報（Ｘ座標，Ｙ座標）を含む。なお、タッチパネル操作において「Ｐｒｅｓｓ」とは、ユーザの指がタッチパネルに接触したことを意味し、「Ｒｅｌｅａｓｅ」とは、ユーザの指がタッチパネルから離れたことを意味する。

図３（ｂ）は、入力装置１０１が生成した入力情報３０１の一例であり、タッチパネル式の入力手段を用いて、タッチパネル上の点（９０、５０）をユーザがタッチ操作を実行した場合に生成した入力情報の具体例である。入力装置１０１は、図３（ａ）に示した入力情報テーブル３００を用いて、入力情報３０１を生成して出力する。

また、入力情報テーブル３００は、入力装置１０１が、入力手段として加速度センサを有する場合は、入力情報ＩＤが「３００００１」で、補助情報として「加速度」を数値として格納する入力情報を定義している。また、角度センサを有する場合は、入力情報ＩＤ「４００００１」で、補助情報として「角度」を数値として格納する入力情報を定義している。

図４を用いて、表示装置特定部１０６が使用する表示装置管理情報について説明する。

表示装置管理情報４００は、リモコン装置の表示装置１０２と対象電子機器の表示装置の配置位置を管理する情報であり、図４に、１つの表示装置において、表示装置情報と、表示装置位置とを組にして保持している例を示している。表示装置特定部１０６は、表示装置管理情報４００を保持しており、ユーザの視線方向に配置された表示装置を特定するために使用する。

表示装置情報４００の表示装置情報は、リモコン装置の表示装置１０２と対象電子機器の表示装置のそれぞれを一意に識別することが可能な識別子である。

また、表示装置情報４００の表示装置位置は、表示装置情報で示されるそれぞれの表示装置の配置位置を示している。表示装置情報４００の表示装置位置は、表示装置位置とカメラ装置の位置関係から、あらかじめ設定することが可能である。

例えば、図５を用いて、具体的に説明する。図５は、リモコン装置の表示装置１０２と対象電子機器の表示装置２００とカメラ装置１０３の位置関係を示している。図５では、ユーザは手元でリモコン装置を操作するとし、カメラ装置１０４を正面に見て、下方向にＤＩＳＰ０のリモコン装置の表示装置１０２が配置されている。また、ここでは、対象電子機器の表示装置２００として、ＤＩＳＰ１とＤＩＳＰ２とＤＩＳＰ３の３個が存在している。カメラ装置１０３を正面に見て、カメラ装置１０３と同方向にＤＩＳＰ２の表示装置が、カメラ装置１０３の左方向にＤＩＳＰ１の表示装置が、右方向にＤＩＳＰ３の表示装置が配置されていることを示している。また、図５中のＤＯＷＮ、ＬＥＦＴ、ＣＥＮＴＥＲ、ＲＩＧＨＴのシンボルは、図４の表示装置情報４００の表示装置位置に該当する。ＤＩＳＰ０、ＤＩＳＰ１、ＤＩＳＰ２、ＤＩＳＰ３の表示装置の配置位置からあらかじめ決定される。

次に、図６を用いて、イベント生成配信部１１０が生成する操作イベントの詳細を、説明する。

図６（ａ）は、操作イベントテーブル６００の一例を示している。イベント生成配信部１１０は、操作イベントテーブル６００を保持しており、これを用いて、表示装置特定部１０６から取得した表示装置情報と、入力装置１０１から受け取った入力情報に基づいて、操作イベントを生成する。

操作イベントテーブル６００は、各操作イベントに必要とする情報を定義した雛形であり、１つの操作イベントにおいて、操作イベント名と、イベントＩＤと、表示装置情報と、入力情報とを備えている例を示している。

操作イベント名で示されるそれぞれの操作イベントは、個別のイベントＩＤが定義され、表示装置情報には、表示装置特定部１０６で特定されたユーザの視線方向に配置された表示装置情報が格納され、入力情報には、入力装置１０１から受け取った入力情報の各種情報が格納される。

図６（ｂ）に、イベント生成配信部１１０が生成した操作イベント（６０１ａ〜６０１ｅ）の一例を示している。なお、イベント生成配信部１１０は、入力装置１０１から一つの入力情報を受け取ることで、一つの操作イベント（６０１ａ〜６０１ｅの中の一つ）を生成することになる。

操作イベント６０１ａの「ＰＲＥＳＳ」イベントは、ユーザの視線方向が表示装置情報「ＤＩＳＰ１」で示される表示装置方向にある場合に、ユーザが入力手段としてタッチパネルを操作した場合の一例である。タッチパネルは、入力装置シンボル「ＴＯＵＣＨ］で示される入力手段であり、入力情報の補助情報としては、タッチパネル上でユーザがタッチ操作した座標（Ｘ、Ｙ）＝（５０、９０）が示されている。

同様に、操作イベント６０１ｂの「ＲＥＬＥＡＳＥ」イベントは、ユーザの視線方向が表示装置「ＤＩＳＰ１」方向である状態で、タッチパネル上から操作する指を離したことを意味する。

また、操作イベント６０１ｃは、操作イベント６０２ａと同様に、「ＰＲＥＳＳ」イベントであるが、ユーザの視線方向が表示装置情報「ＤＩＳＰ２」で示される表示装置方向にある点が操作イベント６０２ａと異なる。

また、操作イベント６０１ｄと操作イベント６０２ｅは、それぞれユーザが入力手段として加速度センサと角度センサを用いて入力操作を行った場合の一例である。補助情報としては、操作時の加速度値「＋１０」と回転角度「＋３０」が与えられる。

なお、補助情報の「ＶＡＬ」には、入力手段に応じた値を格納することが可能である。例えば、加速度値「＋１０」である場合は、ユーザが入力手段を右方向に加速度「１０」で加速的に移動させたことを意味する値と定義し、逆に「−１０」であれば左方向に加速度「１０」で移動させたと定義することができる。また、回転角度「＋１０」である場合は、ユーザがカメラ装置１０３に正対して、入力手段を左方向に３０度傾けたことを定義し、逆に「−４０」であれば、右方向に４０度傾けたことを定義することができる。

図２は、本実施の形態に係る電子機器制御装置１００を備えたリモコン装置の動作の一例を示すフローチャートである。

図２のフローチャートを用いて、本発明の電子機器制御装置１００の動作について説明する。電子機器制御装置１００は、入力装置１０１から入力情報を受け取り、処理を開始する。なお、ここでは、図３で示した入力情報３０１が、入力装置１０１からイベント生成配信部１１０へ通知された場合を一例として説明する。

イベント生成配信部１１０は、入力装置１０１から入力情報３０１受け取ると、表示装置特定部１０６へ、表示装置情報取得要求を通知し、ユーザの視線方向に配置された表示装置を示す表示装置情報の取得を要求する（ステップＳ２０１）。

表示装置特定部１０６は、表示装置情報取得要求が通知されると、操作状態判定部１１１へ操作状態を問い合わせ、操作状態判定部１１１から操作状態を取得する（ステップＳ２０２）。操作状態判定部１１１は、表示装置特定部１０６からの操作状態の問い合わせ間隔に基づいて、連続操作モードか非連続操作モードかを判定し、判定結果を操作状態として、表示装置特定部１０６へ返す。なお、操作状態判定部１１１は、操作状態の問い合わせ間隔が、あらかじめ定められた時間間隔Ｔ以内で連続していた場合は、入力装置１０１へのユーザの入力操作が連続的に発生しているとし、操作状態が「連続操作モード」と判定する。また、前回の操作状態の問い合わせから今回の操作状態の問い合わせが、時間間隔Ｔよりも長い時間が経過している場合は、操作状態が「非連続操作モード」と判定する。

表示装置特定部１０６は、取得した操作状態が「非連続操作モード」である場合（ステップＳ２０３がＮｏ）、ステップＳ２０５へ遷移する。一方、取得した操作状態が「連続操作モード」である場合（ステップＳ２０３がＹｅｓ）、ステップＳ２０４に遷移する。

ステップＳ２０４で、表示装置特定部１０６は、直近に特定した表示装置をユーザの視線方向に配置された表示装置と特定し、その表示装置を特定表示装置として決定する。さらに、表示装置特定部１０６は、決定した結果（表示装置情報）を、イベント生成配信部１１０へ通知する。

次に、ステップＳ２０５以降の処理について説明する。

ステップＳ２０５で、表示装置特定部１０６は、省電力制御部１０７へ、省電力モードオフ設定指示を通知し、省電力制御部１０７は、カメラ装置１０３へ、連続撮影モードへの移行を指示する。カメラ装置１０３は、省電力制御部１０７からの連続撮影モードへの移行指示を受け取り、省電力状態から、連続的にカメラ撮影が可能な連続撮影モード移行する。

ステップＳ２０６で、表示装置特定部１０６は、視線方向認識部１０５へ、視線方向認識指示を発行し、視線方向認識部１０５は、カメラ画像取得部１０４から、カメラ画像データを取得する。カメラ装置１０３は、ステップＳ２０５で連続撮影モードへ移行済みであり、カメラ画像取得部１０４は、カメラ装置１０３から取得したデータを視線方向認識部１０５に通知する。視線方向認識部１０５は、取得したカメラ画像データを解析し、撮影されたユーザの視線方向を認識する。

例えば、図５に示した配置である時、視線方向認識部１０５は、ユーザの視線方向がカメラ装置１０３方向である場合は、認識結果を「ＣＥＮＴＥＲ」とする。また、ユーザの視線方向がカメラ装置１０３方向を正面として左方向である場合は、認識結果を「ＬＥＦＴ」、ユーザの視線方向がカメラ装置１０３方向を正面として右方向に視線方向が認識された場合には、認識結果を「ＲＩＧＨＴ」とする。

ステップＳ２０７で、表示装置特定部１０６は、表示装置視線方向認識部１０５から視線方向の認識結果を受け取り、保持している表示装置管理情報を用いて、視線方向に配置された表示装置を一つ特定する。また、表示装置特定部１０６は、特定した表示装置を示す表示装置情報をイベント生成配信部１１０へ通知する。

例えば、表示装置特定部１０６が、図４に示した表示装置管理情報を保持しているとする。この時、ステップＳ２０６で、視線方向認識部１０５が、ユーザの視線方向が右方向を示す「ＬＥＦＴ」と認識した場合、表示装置特定部１０６は、ユーザの視線方向に配置された表示装置を「ＤＩＳＰ１」であると特定する。その結果、表示装置特定部１０６は、表示装置情報「ＤＩＳＰ１」をイベント生成配信部１１０へ通知する。

ステップＳ２０８で、表示装置特定部１０６は、省電力制御部１０７へ、省電力モードオン設定指示を発行し、カメラ装置１０３を省電力モードへ移行させる。

次に、イベント生成配信部１１０は、表示装置特定部１０６から特定表示装置情報を取得する（ステップＳ２０９）。イベント生成配信部１１０は、取得した特定表示装置情報と、処理開始時に受け取った入力情報３０１とを用いて、操作イベントを生成し、画面生成部１０８へ配信する（ステップＳ２１０）。また、イベント生成配信部１１０は、操作イベントを出力装置１１２に通知し、出力装置１１２は、リモート操作対象の対象電子機器へ、リモート操作信号の出力を行う。

例えば、イベント生成配信部１１０は、特定表示装置情報「ＤＩＳＰ１」と、入力情報３０１を受け取った場合、操作イベント６０１ａを生成する。操作イベント６０１ａは、入力手段タッチパネルへのタッチ操作として「ＰＲＥＳＳ」イベントが発生した際に、ユーザの視線方向に存在する表示装置が「ＤＩＳＰ１」である場合の一例である。

画面生成部１０８は、イベント生成配信部１１０から操作イベントを受け取り、通知された操作イベントの内容を用いて、表示装置１０２へ表示する表示画面（ＧＵＩ）を生成する。画面生成部１０８は、表示制御部へ、生成した表示画面を表示するように指示し、表示制御部１０９は、通知された表示指示に従って表示装置１０２に表示を行う（ステップＳ２１１）。

例えば、ユーザの視線方向が対象電子機器の表示装置ＤＩＳＰ１を向いていることから、リモコン装置の表示装置１０２には、ユーザが内容を理解する必要がある情報は表示されず、タッチパッドモード表示の表示画面が表示される。つまり、リモコン装置は、ＤＩＳＰ１への入力手段であるタッチパッドとして動作する。

かかる構成によれば、ユーザの入力装置１０１への入力が連続操作でない時のみ、省電力制御部１０７が、省電力撮影モードであるカメラ装置１０３の撮影モードを連続撮影モードへ変更することになる。ユーザの入力が連続操作である場合は、直近に特定した表示装置をユーザの視線方向に配置された表示装置と特定することができる。

これにより、ユーザの視線方向認識のためにカメラ装置１０３から常にカメラ画像データを取得する必要がなくなり、カメラ装置の動作電力を低減することが可能となる。特に、電池で動作するリモコン装置においても、ユーザの視線方向の検知を長時間実施することが可能となり、リモコン装置に表示するＧＵＩを適切に表示切り替することが可能となり、ユーザの操作負荷を低減することが可能である。

本実施の形態における電子機器制御装置１００の、より具体的な一例について、図７と図８を用いて説明する。

図７は、本実施の形態における電子機器制御装置１００を適用したタッチパネル搭載リモコン装置７０１の動作結果の一例を示した図である。

図７において、タッチパネル搭載リモコン装置７０１は、液晶型のモニタを備えたテレビ（以下、液晶テレビ）７００を操作対象の電子機器として、リモート操作する機能を有している。タッチパネル搭載リモコン装置７０１は、表示装置１０２として液晶型のモニタ（ＤＩＳＰ−Ａ）を、その液晶型モニタ上に重なるように入力装置１０１としてタッチパネルを備えている。さらに、タッチパネル搭載リモコン装置７０１は、ユーザの視線方向を認識するためのカメラ装置１０３を備えている。また、液晶ＴＶ７００は、表示装置として、ＴＶ画面（ＤＩＳＰ−Ｂ）を有している。

タッチパネル搭載リモコン７０１と液晶ＴＶ７００は、有線または、無線により接続されているものとする。

続いて、図７のそれぞれの表示装置に表示されている表示画面について説明する。

図７において、ＴＶ画面表示（７００ａ）には、ユーザのタッチパネル搭載リモコン７０１へのタッチパネル入力操作で、拡大または縮小、あるいは、周辺検索等ができる地図表示ソフトウェアの実行画面が表示されている。

また、タッチパネルモード表示（７０１ａ）は、ユーザの視線方向が、タッチパネル搭載リモコン７０１の液晶型モニタ（ＤＩＳＰ−Ａ）方向にある場合の表示画面の一例を示している。

また、タッチパッドモード表示（７０１ｂ）は、ユーザの視線方向がＴＶ画面（ＤＩＳＰ−Ｂ）にある場合の表示画面の一例を示している。

本実施の形態における電子機器制御装置１００によれば、図７のタッチパネルモード表示（７０１ａ）とタッチパッドモード表示（７０１ｂ）をユーザの視線方向により適切に切り替えることが可能である。これにより、ユーザのタッチパネル搭載リモコンを通じた地図ソフトウェアの使い勝手を向上させることができる。

図８（ａ）は、タッチパネル搭載リモコン装置７０１の表示装置特定部１０６が保持している表示装置管理情報８０１である。タッチパネル搭載リモコン装置７０１の液晶型モニタ（ＤＩＳＰ−Ａ）は、カメラ装置１０３と同じ方向に位置するので、表示装置位置は「ＣＥＮＴＥＲ」となる。また、ＴＶ画面（ＤＩＳＰ−Ｂ）は、液晶型モニタと同じ方向でないとして、表示装置位置は「ＯＵＴＳＩＤＥ」として、あらかじめ設定されている。

図２のフローチャート、および、図８を用いて、図７の各表示画面を生成するまでの手順の詳細を説明する。なお、図２のフローチャートおいて、既に説明済みの処理は、説明を省略する。

はじめに、図７のタッチパネルモード表示（７０１ａ）が表示される手順について説明する。

まず、ユーザがタッチパネル搭載リモコン（７０１）へのタッチパネル入力操作として、タッチパネル搭載リモコン（７０１）方向に視線を置き、図３の入力情報（３０１）に相当するタッチ操作を実行する。なお、ここでは、ユーザの入力操作は、所定の時間間隔Ｔよりも長い時間が経過しているものとする。ステップＳ２０１〜ステップＳ２０３の処理が実行され、ステップ２０３で「非連続操作モード」と判定され、ステップＳ２０５に遷移する。

ステップＳ２０６で、視線方向認識部１０５は、ユーザの視線がタッチパネル搭載リモコン７０１方向であることを示す「ＣＥＮＴＥＲ」を認識結果として、表示装置特定部１０６へ通知する。

ステップＳ２０７で、表示装置特定部１０６は、図８（ａ）の表示装置情報８０１を用いて、ユーザの視線が表示装置「ＤＩＳＰ―Ａ」にあると認識し、イベント生成配信部１１０へ認識結果「ＤＩＳＰ−Ａ」を通知する。表示装置「ＤＩＳＰ−Ａ」は、タッチパネルが重ねられた液晶モニタである。

なお、「非連続操作モード」である場合について説明したが、「連続操作モード」である場合は、ステップＳ２０４で、表示装置特定部１０６は、直近にユーザの視線方向として特定した表示装置情報を、イベント生成配信部１１０へ通知する。つまり、連続的にユーザがタッチパネル搭載リモコンを操作する場合、表示装置特定部１０６は、最初の操作時に決定した特定表示装置を、イベント生成配信部１１０へ通知する。

ステップＳ２０９で、イベント生成配信部１１０は、特定表示装置情報「ＤＩＳＰ−Ａ」を受け取る。

ステップＳ２１０で、イベント生成配信部１１０は、受け取った特定表示装置情報「ＤＩＳＰ−Ａ」と、入力情報（３０１）とを用いて操作イベントを生成し、画面生成部１０８へ配信する。また、イベント生成配信部１１０は、操作イベントを出力装置１１２に通知し、出力装置１１２は、液晶ＴＶ７００へ、リモート操作信号の出力を行う。ここで、イベント生成配信部１１０が生成する操作イベントは、図８（ｂ）の「ＰＲＥＳＳ」操作イベント（８０２ａ）となる。

操作イベント（８０２ａ）を通知された画面生成部１０８は、表示装置（ＤＩＳＰ−Ａ）に表示すべき表示画面を生成し、表示制御部１０９に表示装置への表示を指示する。ここでは、ユーザの視線方向が表示装置（ＤＩＳＰ―Ａ）方向、すなわち、タッチパネル搭載リモコン（７０１）方向であるので、タッチパネルモード表示画面（７０１ａ）として示した画面を生成する。

表示制御部１０９は、生成された表示画面７０１ａを、表示装置ＤＩＳＰ―Ａに表示し、処理を終了する。

次に、図７のタッチパッドモード表示（７０１ｂ）が表示される手順について説明する。

まず、ユーザがタッチパネル搭載リモコン（７０１）へのタッチパネル入力操作として、ＴＶ画面（ＤＩＳＰ−Ｂ）方向に視線を置き、図３の入力情報（３０１）に相当するタッチ操作を実行する。なお、なお、ここでは、ユーザの入力操作は、所定の時間間隔Ｔよりも長い時間が経過しているものとする。ステップＳ２０１〜ステップＳ２０３の処理が実行され、ステップ２０３で「非連続操作モード」と判定され、ステップＳ２０５に遷移する。

ステップＳ２０６で、視線方向認識部１０５は、ユーザの視線がタッチパネル搭載リモコン７０１方向ではないことを示す「ＯＵＴＳＩＤＥ」を認識結果として、表示装置特定部１０６へ通知する。

ステップＳ２０７で、表示装置特定部１０６は、図８（ａ）の表示装置情報８０１を用いて、ユーザの視線が表示装置「ＤＩＳＰ―Ｂ」にあると認識し、イベント生成配信部１１０へ認識結果「ＤＩＳＰ−Ｂ」を通知する。表示装置「ＤＩＳＰ−Ｂ」は、ＴＶ画面である。

なお、本実施の形態においては、表示装置がＤＩＳＰ−ＡとＤＩＳＰ−Ｂの二つであるため、いずれか一方が特定できることが保障される場合（例えば、ＤＩＳＰ−Ａかそうでないかを特定できる場合）は、特定できない場合は、他方の表示装置（ＤＩＳＰ−Ｂ）方向にユーザの視線があると特定できる。

ステップＳ２０９で、イベント生成配信部１１０は、受け取った特定表示装置情報「ＤＩＳＰ−Ｂ」と、入力情報（３０１）とを用いて操作イベントを生成し、画面生成部１０８へ配信する。た、イベント生成配信部１１０は、操作イベントを出力装置１１２に通知し、出力装置１１２は、液晶ＴＶ７００へ、リモート操作信号の出力を行う。ここで、イベント生成配信部１１０が生成する操作イベントは、図８（ｂ）の「ＰＲＥＳＳ」操作イベント（８０２ｂ）となる。

操作イベント（８０２ｂ）を通知された画面生成部１０８は、通知された操作イベント（８０２ｂ）から、ユーザの視線方向の表示装置を判定する。ここでは、ユーザの視線が表示装置（ＤＩＳＰ―Ｂ）方向、すなわち、ＴＶ画面（ＤＩＳＰ−Ｂ）方向であると判定できる。従って、画面生成部１０８は、表示装置（ＤＩＳＰ−Ａ）の表示画面として、タッチパッドモード表示画面（７０１ｂ）として示した画面を生成する。

表示制御部１０９は、生成された表示画面７０１ｂを、表示装置ＤＩＳＰ―Ａに表示し、処理を終了する。

かかる構成によれば、本実施の形態の電子制御装置１００を備えたタッチパネル搭載リモコン７０１は、ユーザの視線方向に応じて、より適した表示画面に自動的に切り替えて表示することができる。具体的には、ユーザの視線方向がタッチパネル側の表示装置（ＤＩＳＰ−Ａ）とＴＶ表示装置（７００）とで、タッチパネルモード表示画面（７０１ａ）とタッチパッドモード（７０１ｂ）とを自動的に切り替える。これにより、ユーザが操作するＧＵＩを切り替えるわずらわしさを軽減することができる。

図７で、地図ソフトウェアを使用する例を示した通り、ユーザがタッチパネル側の表示装置（ＤＩＳＰ−Ａ）を見ている場合、ユーザは、タッチパネル搭載リモコン画面上に表示されたＧＵＩをタッチパネルで直接操作することが可能となる。この時、大画面のＴＶ画面表示（ＤＩＳＰ−Ｂ）では、地図が表示されている。この地図を確認しつつ、ユーザの手元のタッチパネル搭載リモコン画面上に表示されたＧＵＩをタッチパネルで直接操作することが可能となる。

逆に、タッチパネル方向から視線を外し、手探りでタッチパネルを操作する場合、ＴＶ画面表示（ＤＩＳＰ−Ｂ）のカーソルを、タッチパネル搭載リモコン７０１上のタッチパネルで操作するタッチパッドモード表示となる。ユーザは、大画面のＴＶ画面表示（ＤＩＳＰ−Ｂ）で表示された地図を見ながら、タッチパネルを操作する。

なお、本実施の形態において、ステップＳ２０１の処理が開始されたのち、ステップＳ２１１の処理が終了するまでの間、表示装置１０２の表示が反映されないことから、次に説明する処理をステップＳ２０１で実行することもできる。

イベント生成配信部１１０が、表示装置特定部１０６に対して、表示装置情報取得要求を通知する前に、「擬似画面表示イベント」を生成し、画面生成部１０８へ通知することにより、「擬似画面表示イベント」を通知された画面生成部１０８が、擬似的な表示画面を生成し、表示制御部１０９を介して表示装置１０２に表示させることができる。

この処理により、ユーザの視線方向が特定されるまでに、ユーザの視線方向の表示装置上に表示画面を表示することができるため、ユーザに対して、視線方向の特定までの待ち時間を短く感じさせることができる。

特に、図７で示したタッチパネル搭載型リモコンにおいては、「擬似画面表示イベント」を受信した画面生成部１０８は、タッチパネルモード表示（７０１ａ）を常に表示しておけばよい。これは、ユーザの視線がＴＶ画面（ＤＩＳＰ−Ｂ）方向にある場合は、タッチパネル側の表示装置（ＤＩＳＰ−Ａ）に、期待しない表示がされていたとしてもユーザは視認できないからである。

ただし、このような「擬似画面表示イベント」を処理する場合は、擬似的に画面表示しているタッチパネルモード表示（７０１ａ）のＧＵＩが誤って操作されないように、実際の操作イベントとは、明確に区別する必要がある。

なお、本実施の形態において、電子機器制御装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現されるが、その機能の一部または全部を集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤＰＲＯＧＲＡＭＭＡＢＬＥＧＡＴＥＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明にかかる電子機器制御装置によれば、機器操作時にのみユーザの視線方向を認識する機能を有し、電池で動作するリモコン装置などとして有用である。また、リモコン機能を備えた携帯型電子機器、携帯電話、パーソナルコンピュータなどの情報機器などの用途にも応用できる。

本発明の実施の形態における電子機器制御装置を備えたリモコン装置の構成の一例を示すブロック図本発明の実施の形態における電子機器制御装置の処理手順を示すフローチャート本発明の実施の形態における入力情報テーブルと入力情報の一例を示す図本発明の実施の形態における表示位置管理情報の一例を示す図本発明の実施の形態におけるリモコン装置と対象電子機器の表示装置とカメラ装置の位置関係の一例を示す図本発明の実施の形態における操作イベントテーブルと操作イベントの一例を示す図本発明の実施の形態における電子機器制御装置を備えたタッチパネル搭載リモコン装置７０１の具体例を示す図本発明の実施の形態における表示位置管理情報の一例を示す図

符号の説明

１００電子機器制御装置
１０１入力装置
１０２表示装置
１０３カメラ装置
１０４カメラ画像取得部
１０５視線方向認識部
１０６表示装置特定部
１０７省電力制御部
１０８画面生成部
１０９表示制御部
１１０イベント生成配信部
１１１操作状態判定部
１１２出力装置
７００液晶ＴＶ
７０１タッチパネル搭載リモコン
７０１ａタッチパネルモード表示
７０１ｂタッチパッドモード表示

Claims

カメラ装置から撮影画像データを受け取り、表示装置へ表示する表示画面を生成する電子機器制御装置において、前記表示画面は、周辺に位置する電子機器を操作するインタフェース画面であって、
前記撮影画像データを解析し、ユーザの視線方向を認識する視線方向認識部と、
前記カメラ装置の省電力制御を行う省電力制御部と、
入力操作が、あらかじめ定められた時間間隔以内で連続しているか否かを判定する操作状態判定部と、
前記表示装置と前記電子機器の表示装置の配置情報を保持し、前記操作状態判定部が連続していないと判定した場合、前記省電力制御部への省電力モードのオフ設定指示と前記視線方向認識部への視線方向の認識指示を通知し、前記視線方向認識部での視線方向認識完了後、前記省電力制御部へ省電力モードのオン設定指示を通知し、前記配置情報と前記視線方向認識部が認識した視線方向とを用いて、ユーザの視線方向に配置された表示装置を特定する表示装置特定部と、
ユーザの操作により生成される入力情報を受け取り、前記表示装置特定部が特定した表示装置を示す表示装置情報を取得し、前記取得した表示装置情報と前記入力情報を用いて操作イベントを生成し、前記生成した操作イベントを前記画面生成部へ配信するイベント生成配信部と、
前記イベント生成配信部が生成した操作イベントを受け取り、前記操作イベントに基づいて、前記視線方向に応じた表示画面を生成する画面生成部を備える電子機器制御装置。
前記表示装置特定部は、前記操作状態判定部が連続していると判定した場合、直近に特定した表示装置を、再度ユーザの視線方向に配置された表示装置と特定し、省電力モードのオン設定を維持することを特徴とする請求項１に記載の電子機器制御装置。
前記イベント生成配信部は、前記入力情報を受け取り、擬似画面表示イベントを生成し、生成した前記擬似画面表示イベントを前記画面生成部へ配信した後、前記表示装置特定部が特定した表示装置を示す表示装置情報を取得し、前記取得した表示装置情報と前記入力情報を用いて操作イベントを生成し、前記生成した操作イベントを前記画面生成部へ配信することを特徴とする、請求項１に記載の電子機器制御装置。