JP2001350549A - 表示画面の省電力制御方法、記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】従来の技術では、使用者が表示画面を見ている
にもかかわらずタイマによって表示画面の電源がオフさ
れてしまう。これを懸念し、タイマによる表示画面の電
源オフを行わないよう設定することで、消費電力を大き
くしてしまうことがある。また、マルチディスプレイに
より複数の表示装置を使用していた場合、同じタイミン
グでしか表示画面の電源オフを行うことができない。 【解決手段】予めおのおのの表示画面を基準に省電力制
御範囲を設定しておき、カメラ等により使用者の映像デ
ータを取得し、顔の向きや視線方向を検出する。この検
出値から得られる表示画面上の視線位置と省電力制御範
囲を判定し、使用者の必要とする視野範囲以外に視線が
外れたときに、対象となる表示装置の電源を省電力制御
し、さらには、システムの電源を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明に属する技術分野】本発明は、少なくとも１つの
表示画面を利用した情報処理装置に関し、視線検出を用
いた表示画面の省電力制御方法に関するものである。

【０００２】

【従来の技術】情報処理装置において、持ち運び可能な
バッテリ駆動の情報装置が増えてきており、長時間使用
をおこなうため、情報処理装置の省電力制御が重要にな
ってきている。また近年、バッテリ駆動をおこなわない
情報処理装置においても、省エネルギー化の要求が強く
なっている。従来このような情報処理装置の省電力制御
方法は、各デバイスごとに監視タイマを持っており、こ
れらのタイマもしくはスイッチにより各デバイスの電源
制御やシステムの電源制御を行っている。詳しくはこれ
らの監視タイマは、プログラムによってそのタイマの値
を指定できるように構成され、そのデバイスが動作して
いない時にはタイマの値をカウントダウンするようにし
ている。このカウント値が"０"になったところで、デバ
イスの電源やシステムの電源を落とすようして省電力制
御をおこなっている。パーソナルコンピュータ等では、
このような情報処理装置の省電力制御方法の一例が、Ad
vanced Configuration and Power Interface Specifica
tion（ＡＣＰＩ）として、よく知られている。

【０００３】

【発明が解決しようとする課題】上記従来技術では、情
報処理装置を使用中に、表示画面の電源をキーボードや
マウス等の入力デバイスの動作を監視するタイマで制御
しているため、キーボードやマウスを使わずに使用者が
表示画面を見ている場合には、タイマの省電力制御によ
り表示画面の電源がオフされてしまう問題点がある。

【０００４】また使用者が表示画面を見ていないときで
も、上記タイマによる省電力制御が始まるまでは表示画
面の電源がオンされたままになっている、という問題点
があった。

【０００５】さらに、複数の表示画面をもつマルチディ
スプレイの情報処理装置にあっては、１つの表示画面だ
けを見ている場合でも、他の表示画面は常に表示された
ままになっているという問題点があった。

【０００６】本発明の目的は、使用者の視線方向により
表示画面の省電力制御をおこない、省電力効果が大き
く、かつ使用者に不快感を与えない表示画面の省電力制
御方法を提供することにある。

【０００７】本発明の他の目的は、複数の表示画面をも
つマルチディスプレイであっても、省電力効果が大き
く、かつ使用者に不快感を与えない表示画面の省電力制
御方法を提供することにある。

【０００８】さらに本発明の他の目的は、表示画面の省
電力状態からの復帰時に、ユーザ認証データにより使用
者の判定をおこない、無効な省電力解除が発生しないよ
うにする表示画面の省電力制御方法を提供することにあ
る。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明は、映像取得手段により使用者の顔を映像デー
タとしてとりこみ、視線方向検出手段により前記映像取
得手段で取得した使用者の顔の映像データから視線方向
を検出し、視線位置判定手段により、前記視線方向と予
め視線領域設定手段により設定された視線領域から表示
画面面上の偏差を検出し、省電力制御部により前記偏差
に応じて表示画面の省電力制御をおこなうようにしたも
のである。

【００１０】一例として、視線方向が視線領域の表示画
面内にあるときには、前記省電力制御はキーボードやマ
ウス等の入力デバイスのアイドルタイマを無効にして、
表示画面の省電力制御をおこなわないようにした。

【００１１】また上記目的を達成するために、視線領域
設定手段により設定する視視線領域は、省電力制御状態
ごとあるいは、表示画面ごとに、表示画面の上下左右方
向の範囲を設定できるようにした。

【００１２】さらに上記目的を達成するために、省電力
状態から復帰するときに、使用者の左右の目じり間の距
離と左右目じりと顎の距離等を認証データとしてユーザ
認証をおこない、使用者と判定した場合に省電力状態を
解除するようにした。

【００１３】

【発明の実施の形態】以下、本発明の実施例を図を用い
て詳細に説明する。

【００１４】図１は本発明の省電力制御方法の概要をし
めすフロー図であり、本発明は、情報処理装置に接続さ
れたCCDカメラ等により使用者の顔を映像データとして
取りこむ映像取得ステップ11と、そのデータから使用者
の視線位置を特定する視線位置検出ステップ12と、使用
者が表示画面を基本として指定した特定領域と視線位置
を比較判定する視線位置判定ステップ13と、その比較結
果の内容に応じた電力制御を行う省電力制御ステップ14
から構成される。

【００１５】図１に示す映像取得したデータから視線位
置判定を精度よくおこなうために、以下のような初期設
定をおこなう。

【００１６】CCDカメラの設置位置や、使用者により情
報処理装置を使用する場所が異なるため、図２の取得映
像データがしめすように、予め使用状態の使用者の顔の
部分の存在位置を登録する。このとき取得される映像の
範囲A1内に上下左右、遠近を確認し、使用者の表示画面
に対する方向を算出するための角度のデータおよび使用
者と表示画面との距離の比率データとして保持する。ま
た、使用者が表示画面の実際の大きさを数字で入力し、
図３に示す表示装置31内の表示画面32の左上点P1と右下
点P2に目で移動確認することによって、このときの使用
者と表示画面との実距離を算出する。

【００１７】この初期設定動作は、複数台の表示装置を
使用する場合には、その台数分行い、複数人で使用する
場合には、使用する人ごとにおこなう。

【００１８】また、表示画面31の中心点P3を正面から見
たときの映像を今後の使用者の動作に対する初期データ
として保持する。これらの設定データは、使用する人数
によってを追加保存する必要がある。

【００１９】次に、図４により映像取得ステップ11によ
って取得したデータから使用者の視線位置検出ステップ
12と視線位置判定ステップ13の制御方法を説明する。

【００２０】図４は、映像取得手段で取得された使用者
の映像データA1を示している。詳細には後述するが、映
像データA1から使用者の右目の目じりP4と左目の目じり
P5を結ぶ直線L1と直線L1の中心点P6から使用者の顎P7を
結ぶ直線L2の長さの比を用いて、使用者の顔の上下左右
方向を算出する。また、直線L1と直線L2の角度R1により
顔の方向の補正に用いることが可能である。更に、直線
L1の中心点P6とこれに相当する初期値の映像データから
直線L1'の中心点P6'とで算出した距離D1により使用者の
表示画面に対する方向を補正する。

【００２１】さらに瞳の示す方向は瞼の動きで目の形が
変化することを考慮し、図４、図５の直線L1と目51の左
右の端を基準にして、瞳52の中心点P8の位置を用いて視
線の方向を算出する。また、この視線の方向は、両目の
平均値を算出した値とする。さらに、瞳52の中心点P8
と、これに相当する初期値の映像データから瞳53の中心
点P8'との算出した距離により視線方向を補正する。

【００２２】映像データから顔や瞳を検出する方法とし
て、色で識別することができる。初期データとして保持
する映像データで、瞳と顔の部分を指定し、RGB(赤青
黄)の色を3次元ベクトルとして保持する。そして、映像
データの各ビットの色をRGBのベクトルとして、保持し
た瞳や顔のRGBベクトルとの方向を比較することにより
瞳と顔の範囲を検出する。これによって、図４のP4、P
5、P7の各位置も検出できる。

【００２３】次に、視線位置つまり使用者がディスプレ
イ面の見ている位置(図１８のP04)を判断する要素とし
て、瞳の方向(図１８のベクトルV01)、顔の向き(図１８
のベクトルV02)、使用者の使用位置(図１８のP03)とい
う3つの要素が必要となる。

【００２４】初期データとして図１３のディスプレイの
中心P03を使用者が見ていた時の距離をL1、また、その
ときの瞳の位置P8からディスプレイの端点P1を見たとき
の瞳の位置P8'までの移動距離をD02とすると、視線を角
度R01として表現するために、以下の式で表される(ただ
し、D02は実際の瞳の移動量を映像データから割り出し
たもの)。

【００２５】tan(R01)=D02/L02 また、L02は以下のように表される。

【００２６】L02=D02・L01/(Ld-D02) 更に、図5のように映像データから瞳が動いた方向をRe
とすると、瞳の方向を表すベクトルV01が以下のように
表される（ここで、x軸はディスプレイから瞳の方向、y
軸は映像データの横方向、z軸は映像データの縦方向と
する）。

【００２７】V01=(xv1,yv1,zv1)=(cos(R01),sin(R01)・c
os(Re), sin(R01)・sin(Re)) これらより映像データの瞳の移動量に対する瞳の方向を
算出することができる。

【００２８】次に、使用者のディスプレイからの距離と
使用者の顔の方向を算出するために、簡易的に使用者が
初期データの位置より近くで、顔を下に傾けた状態を想
定して説明することにする。図１４のように目じりP4か
ら目じりP5までのラインL1が顔を近づけたことによりL
1'のように映像データでは長くなる。これは図１４に示
すように初期データ時の距離L01を基準にしているため
で、実際のL1の長さは変わらない。これによって使用者
の距離L01'が以下のように表される。

【００２９】L01'=L1・L01/L1' また、顔の縦のラインL2は、近づいて長くなる一方で、
顔を下に傾けたことによりL2'ように短くなる。そのた
め、初期データの時の距離にL2'を下記のように換算す
る必要がある。

【００３０】L03=L2'・L01'/L01 これより顔を下に傾けた角度(図１６のR02)が下記のよ
うに表される。

【００３１】cos(R02)=L03/L2 従って、顔の向きを示すベクトルV02は、同様にして顔
の横向きの角度をR03として考えれば、以下のように表
される。

【００３２】V02=(xv2,yv2,zv2)=(sin(R02),sin(R03),c
os(R02)・cos(R03)) これらにより、顔の向きと距離が表される。

【００３３】次に、使用者がディスプレイに対して使用
している位置P03を求める。図１７で、初期データでの
使用者の位置P6に対して、使用者がP03に移動していた
とすると、P6を通るyz平面状のP6'(P6'とP03と原点は一
直線上にある)に使用者がいても映像データ上の距離は
変わらないので、このときの映像データでの距離から実
際の距離D01を割り出し、そのy軸成分とz軸成分をそれ
ぞれD01y、D01zとする。これにより使用者の位置P03が
以下のように表される。

【００３４】P03=(x1,y1,z1)=(L1,D01y,D01z)・L01'/L04 以上の瞳の方向V01、顔の方向V02、使用者の位置P03に
より、使用者が見ているディスプレイと同じ平面(x=0の
yz平面)上の点P04は以下のように表される。

【００３５】P04=(0,y2,z2)=(0,y1-x1・yv3/xv3,z1-x1・z
v3/xv3) （ただしV03=V01+V02） 上記のように検出した顔や視線の向きの情報は、指紋や
声、サインなどと同様に、本人しか持っていない特徴で
あり、バイオメトリックス（生体認識）情報として利用
できる。

【００３６】図６に使用者の視線位置の検出フローを示
す。通常の処理ではステップS601によってカメラから映
像データを取得し、ステップS602にて使用者の顔が映像
データにあることを確認し、ステップS603で再取得用の
カウンタ値ｍをクリアし、ステップS604で使用者の瞳の
中心が検出できることを確認し、ステップS605で再取得
用のカウンタ値ｎをクリアして視線位置の算出に入る。
しかし、ステップS602で使用者の顔が映像データで確認
できなければ、ステップS611にて再取得用のカウンタ値
ｍが規定回数を超えていないか確認し、超えていなけれ
ばステップS601に戻る。そして、規定回数を超えていれ
ば、ステップS612で使用者が表示画面を見ていないもの
と判定する。また、ステップS604で使用者が瞼を閉じる
等して瞳の中心が検出できなければ、ステップS621にて
再取得用のカウンタ値ｎが規定回数を超えていないか確
認し、超えていなければステップS601に戻る。そして、
規定回数を超えていれば、ステップS612で使用者が表示
画面を見ていないものと判定する。このように映像取得
11によって取得したデータの内容によっては、上記のよ
うに再取得を行う。

【００３７】つぎに、上記の方法により取得した使用者
の視線位置により、省電力制御を行う方法を説明する。

【００３８】まず本実施形態の情報処理装置の電力制御
動作を、図７のブロック図の構成を用いて説明する。

【００３９】情報処理装置は起動すると、全てのデバイ
ス(コントローラやバスも含む)などの電源をオンし、初
期化が行われる。タイマ706によるカウントダウンで規
定の時間が経過すると、割込みコントローラ705による
割込みが発生し、各デバイスの電源をオフするように電
源が制御される。表示装置710、711もＶＧＡコントロー
ラ708を通してタイマ706によって同じように制御される
が、輝度の値は、使用者の設定値がＣＭＯＳ―ＲＡＭ70
7等に格納されていて、使用者が設定した値が入ってい
てタイマ706では制御されない。また、システムもタイ
マ706によって制御されるが、ＣＰＵ(中央演算装置)702
やＨＤ(ハードディスク)コントローラ717などのデバイ
スが動作中のときは、タイマ706のカウントダウン値が
元に戻される。本実施形態で使用するカメラは、特に図
示しないが、ＩＳＡやＳＣＳＩ、ＣａｒｄＢｕｓなどの
拡張バス713に接続されるＤｅｖｉｃｅ714やＵＳＢコン
トローラ715に接続されるＤｅｖｉｃｅ716とすることが
でき、この場合、カメラ使用中はシステムが常に動作中
となる。また、マウス720やＫＢ(キーボード)721の制御
信号がＫＢコントローラ719に入るとタイマ706のカウン
トダウン値が元に戻る。

【００４０】次に図８を使用して表示装置81、82のマル
チディスプレイ表示で使用していたとして、表示装置81
に対して省電力制御するための方法を説明する。使用者
が表示装置81の省電力制御を行いたくない領域A3の範囲
を、表示画面83の範囲を基準に上D32と下D34と左D31と
右D33の値として、図９のように設定する。これにより
使用者の視線位置が領域A3の中にある間は、表示装置81
の省電力制御が行われることはない。また、使用者が表
示装置81の電源あるいは液晶のバックライト電源を落と
してもいい領域A4を、上記の領域A3を基準に上D42と下D
44と左D41と右D43の値として、図１０のように設定す
る。これにより使用者の視線位置が領域A3から外れて領
域A4に収まっている間は、ＶＧＡコントローラ708を制
御して表示装置81の輝度を落とす。そして、領域A4から
も使用者の視線位置が外れた場合には、ＶＧＡコントロ
ーラ708を制御して表示装置81の電源あるいは液晶のバ
ックライト電源を落とす。

【００４１】これらの設定を表示装置82に対しても同様
におこない、表示装置81の領域A3、領域A4と同じように
行ったとして、図１１の領域A5、領域A6が設定される。
これにより、使用者の視線位置が表示装置82の一点P9に
あったとすると、表示装置81は視線が領域A3の範囲内、
表示装置82は視線が領域A5の範囲内にあるため、どちら
の表示装置も省電力制御は行われない。そして、使用者
の視線が表示装置81の一点P10へ移動したとき、表示装
置81は視線が領域A3の範囲内のままなので省電力制御は
行われないが、表示装置82は視線が領域A6の範囲内には
あるが領域A5からは外れてしまったため、表示装置82の
表示輝度を落とす。そして、使用者の視線が表示装置81
の一点P11へ移動したとき、表示装置81は視線が領域A3
の範囲内のままなので省電力制御は行われないままであ
るが、表示装置82は視線が領域A5の範囲内に戻るため、
表示装置82の表示輝度をＣＭＯＳ―ＲＡＭ707等に格納
されている使用者の設定値に戻す。そして、使用者の視
線が表示装置81の左側の外一点P12へ移動したとき、表
示装置81は視線が領域A4の範囲内にはあるが領域A3から
は外れてしまったために、表示装置81の表示輝度を落と
し、表示装置82は視線が領域A6からも外れるため表示装
置82の電源あるいは液晶のバックライト電源を落とす。
そして、使用者の視線が表示装置81の一点P13へ移動し
たとき、表示装置81は視線が領域A3の範囲内に戻るた
め、表示装置81の表示輝度をＣＭＯＳ―ＲＡＭ707等に
格納されている使用者の設定値に戻し、表示装置82は視
線が領域A5からは外れてしまったままであるが領域A6の
範囲内に戻るため、表示装置82の電源あるいは液晶のバ
ックライト電源をオンする。

【００４２】つぎに図１２に示す状態遷移図上で動作を
説明する。表示装置81や表示装置82の省電力(図１２の
ステータスST1からST2に移行時)あるいは省電力からの
復帰(図１２のステータスST2からST1あるいはST3からST
2に移行時)が行われるのは、カメラからの映像取得11に
より取得された映像データに使用者の視線位置が検出さ
れたときだけである。図６のように映像データの再取得
を行って尚、使用者以外の視線であったり、使用者の視
線が検出できなかったときは、ステップS612やステップ
S622のように使用者が表示画面を全く見ていない状態と
判断する。これは、図１２のシステムOn状態でステータ
スST12に移行したことになる。このとき、ステータスST
3として表示装置のみ電源を落とすか、ステータスST4と
して特定のデバイスの電源を落とすか、あるいはステー
タスST5としてシステムスタンバイ状態にするか、ステ
ータスST6としてハイバネーション(Save To Disk)状態
にするか、ステータスST7としてシステムの電源をオフ
するかは、使用者が選択できるものとする。この選択
は、使用者が事前に登録しておき、現象が発生(ステー
タスST12)したときに再度確認を取るか登録済みの選択
肢をそのまま実行するかも設定できるものとする。ま
た、ステータスST5、ステータスST6、ステータスST7か
ら使用者以外がシステムOn状態にしたとき、ステータス
ST11で使用者の視線位置を検出することができないた
め、ステータスST12に処理が移り、ここで、再び元のス
テータスに移すという制御を行う。

【００４３】

【発明の効果】本発明を用いると、使用者が表示画面を
見ているにもかかわらずタイマによって表示画面の電源
がオフされてしまうということがなくなり、使用者に不
快感を与えない。

【００４４】また、タイマによる表示画面の電源オフを
行わないよう設定した場合や頻繁に表示画面が省電力状
態に移行するのを防止するためにタイマを長時間設定に
した場合、使用者が見ていない間に表示装置やシステム
の省電力制御を行うため、省電力効果が顕著に現れる。

【００４５】また、表示装置の省電力制御時から元に戻
す際、使用者かどうかを判定することによって無駄に表
示装置の電力をかけない。

【００４６】また、システムの電源制御時から元に戻す
際に使用者かどうかを判定することによってセキュリテ
ィとして使用することも可能である。

【図面の簡単な説明】

【図１】映像データから省電力制御に至るまでの概略
図。

【図２】使用者が情報処理装置を使用しながら動く可能
性がある範囲の登録を説明する図。

【図３】使用者が利用する表示装置に関係するデータ登
録を説明する図。

【図４】使用者の顔の向きや位置を説明する図。

【図５】使用者の瞳の方向や位置を説明する図。

【図６】映像データの再取得フローチャート図。

【図７】情報処理装置のブロック図。

【図８】視線範囲による省電力制御方法を分類するため
の平面図。

【図９】表示装置の省電力制御しない範囲の指定方法を
説明する図。

【図１０】表示装置の省電力制御範囲の指定方法を説明
する図。

【図１１】使用者の視線移動による省電力制御を説明す
る図。

【図１２】省電力制御による状態遷移を説明する図。

【図１３】本発明の視線方向の検出方法を説明する図。

【図１４】本発明の顔方向の検出方法を説明する図。

【図１５】本発明の顔方向の検出方法を説明する図。

【図１６】本発明の顔方向の検出方法を説明する図。

【図１７】本発明の使用者位置の検出方法を説明する
図。

【図１８】本発明の視線方向の検出方法を説明する図。

【符号の説明】

701 システムバス、 713 拡張バス、 720 マウス

Claims (7)

【特許請求の範囲】
1. 【請求項１】省電力制御をおこなう視線領域を設定する
   ステップと、使用者の表示画面への視線を検出するステ
   ップと、前記視線方向の検出値と前記視線領域から表示
   画面面方向の偏差量を検出するステップと、前記偏差に
   応じて表示画面を省電力制御するステップと、から構成
   されることを特徴とする表示画面の省電力制御方法。
2. 【請求項２】前記視線領域は省電力制御状態ごとに表示
   画面の上下左右方向の省電力制御範囲を設定することを
   特徴とする請求項１記載の表示画面の省電力制御方法。
3. 【請求項３】前記視線領域の設定は、表示画面毎におこ
   ない、表示画面毎に前記偏差量を検出し、偏差に応じて
   表示画面毎に省電力制御することを特徴とする請求項１
   または請求項２記載の表示画面の省電力制御方法。
4. 【請求項４】前記視線領域を設定するときに使用者の認
   証データを登録し、省電力状態からの復帰時に前記認証
   データの基づき使用者を判定して復帰をおこなうことを
   特徴とする請求項１記載の表示画面の省電力制御方法。
5. 【請求項５】使用者の左右の目じり間の距離と左右目じ
   りと顎の距離に基づく認証データによりユーザ認証する
   ことを特徴とする請求項４記載の表示画面の省電力制御
   方法。
6. 【請求項６】前記視線方向が視線領域の表示画面内のと
   きには入力デバイスのアイドルタイマによる省電力制御
   をおこなわないことを特徴とする請求項１記載の表示画
   面の省電力制御方法。
7. 【請求項７】請求項１から請求項６のいずれかを実現さ
   せるためのプログラムを記録したコンピュータ読み取り
   可能な記録媒体。