JP2012073876A - 電子機器、状態制御プログラム、および状態制御方法 - Google Patents

Abstract

【課題】 電子機器の省電力と良好な操作性とを両立させる。
【解決手段】 カメラでの撮影により得られた画像信号に基づいて、表示画面を向いたユーザの疲労度を検出し、当該電子機器が通常の動作状態にあるときに、表示画面を向いたユーザの両眼が第１の閾値時間以上の時間に渡って閉じられた場合に、画像信号に基づいて検出された疲労度が閾値未満の疲労度であるか閾値以上の疲労度であるかに応じて、その電子機器を、それぞれ、通常の動作状態よりも省電力な第２の状態、または第２の状態よりもさらに省電力な第３の状態に移行させる。
【選択図】 図３

Description

本件は、省電力状態を有する電子機器、およびその電子機器の状態を制御する状態制御方法、並びに省電力状態を有するコンピュータに状態移行の処理を実行させる状態制御プログラムに関する。

現在、パーソナルコンピュータ（以下、「パソコン」と称する）のほぼ全ての操作はキーボードやマウスによるものである。パソコンを長時間使用したときには疲労が溜まり、時にはパソコンやモニタをシャットダウンする操作ですら面倒である。そして、目にも疲労が溜まるため、パソコン使用者がモニタ画面を前にして、目を閉じてしばらく目を休めるという行動もよく見受けられる（場合によってはそのまま眠ってしまうこともあるかもしれない。）が、そのままパソコンは起動している状態のため、その分電気代が無駄に掛かってしまう。

従来、瞬きの際の開眼速度に基づいて疲労度を示す数値を算出する装置が提案されている。また、従来、眼の開き具合である開眼率を算出し開眼率に応じて運転者の覚醒の低下を判定する装置が提案されている。さらには、従来、操作者の瞬きをマウスのクリックやダブルクリックとして扱うことが提案されている。

特開２００９−１２５１５４号公報 特開２００８−２１０２８５号公報 特開平１１−３４５０７３号公報

ところで、パソコンの電気代の無駄を省くことを考えると、できる限りシャットダウンしておくことが好ましいことになる。しかしながら、一旦シャットダウンすると、パソコンを再び立ち上げるのに時間がかかり操作性が犠牲になってしまうおそれがある。

以上の点は、パソコンに限らず、電子機器一般に当て嵌まる事情である。

本件の課題は、省電力と良好な操作性とを両立させることにある。

本件開示の電子機器は、第１の状態と、第１の状態よりも省電力な第２の状態と、第２の状態よりも省電力な第３の状態とを有する電子機器であって、表示画面と、カメラと、検出部と、状態制御部とを有する。

表示画面は、画像を表示する表示画面である。

カメラは、表示画面前面を向いたカメラであって、撮影により画像信号を生成する。

検出部は、カメラによる撮影で得た画像信号に基づいて、表示画面を向いたユーザの疲労度を検出する。

状態制御部は、この電子機器が第１の状態にあるときに、表示画面を向いたユーザの眼が第１の閾値時間以上の時間に渡って閉じられた場合に、この電子機器を、第２の状態または第３の状態に移行させる。ここで、第２の状態に移行させるか第３の状態に移行させるかは、検出部で検出された疲労度が閾値未満の疲労度であるか閾値以上の疲労度であるかにより異なる。すなわち、この状態制御部は、検出部で検出された疲労度が閾値未満の疲労度であるときは第２の状態に移行させ、検出部で検出された疲労度が閾値以上の疲労度であるときは第３の状態に移行させる。

また、本件は、上記の技術思想を、コンピュータで実行される状態制御プログラムに通用してもよく、電子機器により実行される状態制御方法に適用してもよい。

本件によれば、省電力と良好な操作性とを両立させることができる。

本件の電子機器の一実施形態としてのパソコンの外観図である。 図１に外観を示すパソコンの内部構成図である。 図１，図２に示すパソコン内で状態制御プログラムが実行されたときに実現する機能を表わした機能ブロック図である。 図１〜図３に示すパソコン内で実行される状態制御プログラムのフローチャートである。

以下、実施の形態について説明する。

図１は、本件の電子機器の一実施形態としてのパソコンの外観図である。

このパソコン１０は、本体装置２０、モニタ３０、キーボード４０およびマウス５０を有する。本体装置２０は、主に、プログラムの実行による演算処理を担っており、内部には、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、その他、主メモリ、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等が内蔵されている。また、この本体装置２０は、その前面に電源ボタン２０１、光ディスク装填口２０２、およびＵＳＢコネクタ差込口２０３を有する。また、モニタ３０は、表示画面３０１とカメラ３０２を有する。

図２は、図１に外観を示すパソコンの内部構成図である。

ここには、本体装置２０内に搭載されている要素として、ＣＰＵ２１、主メモリ２２、ＨＤＤ２３、ＯＤＤ（Ｏｐｔｉｃａｌ Ｄｉｓｋ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、および電源制御／モード切替部２６が示されている。ここにはさらに、表示画面３０１とカメラ３０２を有するモニタ３０、キーボード４０、および、ＵＳＢ２５を介して接続されたマウス５０が示されている。これの要素のうち、ＣＰＵ２１，主メモリ２２，ＨＤＤ２３，ＯＤＤ２４，ＵＳＢ２５，モニタ３０，およびキーボード４０は、バス１１を介して互いに接続されている。

ＣＰＵ２１は、プログラムの実行を担う中央演算装置である。

主メモリ２２は、ＣＰＵ２１で実行されるプログラムが展開されるメモリである。またこの主メモリ２２は、ＣＰＵ２１でプログラムが実行される際の作業領域としても使用される。

ＨＤＤ２３は、大容量記憶装置であり、各種プログラムや各種データが格納される。

ＯＤＤ２４は、光ディスクの装填を受けその光ディスクをアクセスする要素である。

ＵＳＢ２５は、汎用インタフェースの一種である。

電源制御／モード切替部２６は、このパソコン１０の電源の制御とモードの切替えを担っている。

この電源制御／モード切替部２６は、電源制御に関しては、電源ボタン２０１（図１を合わせて参照）が押されたことを受けてパソコン１０の全体に電力を供給し、ＣＰＵ２１からの指示に応じて、モニタ３０の表示画面３０１への電力供給をオフにしたり、あるいはパソコン１０の全体への電力供給をオフにする。また、このパソコン１０は、通常の動作モードのほかスリープモードを有し、電源制御／モード切替部２６は、モードの切替えに関しては、ＣＰＵ２１からの指示に応じてそれらのモード間でのモードの切替えを行なう。

ここでスリープモードは、通常の動作モードよりも省電力であるが、パソコン１０の電源がオフされた状態よりは電力の消費が大きいモードである。またこのスリープモードは、通常の動作モードからこのスリープモードへの移行時に、ファイル編集中やプロセスの実行中など実行中の処理があった場合、スリープモードから通常の動作モードに復帰した後、その実行中であった処理の継続が可能なように設定されている。パソコン１０がスリープモードにあるときに、マウス５０の操作やキーボード４０でのキー操作等、何らかの操作があると、スリープモードから通常の動作モードに移行する。

一方、パソコン１０の電源がオフになると、通常の動作モードからこの電源オフへの移行時に実行中の処理があった場合、その処理の継続に必要な内部状態が破壊されることがある。この場合、電源が再びオンとなって通常の動作モードに復帰した後に、その実行中であった処理の継続が不能になる。

また、モニタ３０のカメラ３０２は、表示画面３０１の前面を向いており、表示画面３０１を見ているユーザを撮影して画像信号を生成する。

キーボード４０は、ユーザによるキー操作に応じた指示やデータをこのパソコン１０に取り込む入力操作子である。

さらにマウス５０は、モニタ３０の表示画面３０１上のカーソルを任意の位置に移動させたり、そこに表示されているアイコンのクリック等を担うポインティングデバイスである。

バス１１は、そのバスに接続された要素間の信号の伝達を担っている。

このパソコン１０では、図４を参照して後述する状態制御プログラムが実行される。

図３は、図１，図２に示すパソコン内で状態制御プログラムが実行されたときに実現する機能を表わした機能ブロック図である。

前述した通り、このパソコン１０は表示画面３０１とカメラ３０２を有する。カメラ３０２は、表示画面３０１の前面を向いており、表示画面３０１を見ているユーザ１００の、主に眼を観察する。

また、このパソコン１０内には、状態制御プログラムの実行により、検出部６１と状態制御部６２が構築される。

検出部６１は、カメラ３０２による撮影で得た画像信号に基づいて、表示画面３０１を向いたユーザの疲労度を検出する。

ここで、この検出部６１は、例えば、表示画面３０１を向いたユーザ２００の眼の、このパソコン１０の今回の電源オンの時点からの開眼度の変化に基づいてユーザの疲労度を検出する。

あるいは、この検出部６１は、表示画面３０１を向いたユーザ２００の両眼が、第１の閾値時間（例えば２０秒間）よりも短かい第２の閾値時間（例えば３秒間）以上であって第１の閾値時間未満の時間に渡って閉じられていた瞬き状態の頻度に基づいてユーザの疲労度を検出するものであってもよい。

後述する図４のフローチャートでは、これら双方の疲労度検出アルゴリズムが併用されている。

また状態制御部６２は、先ず、このパソコン１０が通常の動作モードにあるときに、表示画面３０１を向いたユーザ１００の両眼が第１の閾値時間（例えば２０秒間）以上の時間に渡って閉じられたか否かを観察する。そしてこの状態制御部６２は、それ以上の時間に渡って両眼が閉じられた場合に、このパソコン１０をスリープモードに移行させ、あるいはパソコン１０の電源をオフにする処理を行なう。ここで、このパソコン１０をスリープモードに移行させるか、あるいはパソコン１０の電源をオフにするかは、検出部６１で検出された疲労度が閾値未満の疲労度であるか閾値以上の疲労度であるかに応じて分かれる。すなわち、その疲労度が閾値未満の疲労度のときはこのパソコン１０をスリープモードに移行させる。また、その疲労度が閾値以上の疲労度のときは、パソコン１０の電源をオフにする。ただし、この状態制御部６２は、検出部６１で検出された疲労度が閾値以上の疲労度であっても、このパソコン１０の電源をオフにすると内部状態が破壊される場面にあるときは、このパソコン１０をスリープモードに移行させる。

また、この状態制御部６２は、ユーザ２００が片目のみ閾値時間（例えば３秒）以上閉じたときは、ユーザによる、パソコン１０の電源をオフにすることの指示とみなし、内部状態が破壊される状況にない限りパソコン１０の電源をオフにする。

図４は、図１〜図３に示すパソコン内で実行される状態制御プログラムのフローチャートである。

この図４に示す状態制御プログラムは、パソコン１０の起動により実行が開始される。

ここでは、カメラ３０２での撮影により得られた画像信号に基づいてユーザ１００の顔が認識され（ステップＳ０１）、その認識された顔の中の目の位置の捜索によりユーザ１００の目が認識される（ステップＳ０２）。ユーザ１００の目が認識されると、ユーザ１００の目の上下の瞼の間の距離が、数秒（例えば５秒）ごとに複数回（例えば６回）測定されて、その平均値が記録される（ステップＳ０３）。ここでは、上下の瞼の間の距離を開眼度と称する。また、この平均値は、初期の平均値であり、開眼度初期平均値と称する。

また、瞼を開閉する開閉頻度ｆｒｅｑを初期値０とする（ステップＳ０４）。

この開閉頻度ｆｒｅｑは、後述するステップＳ１１でのカウントアップにより計測される、所定時間（例えば１０分間）以内に１回につき３秒以上眼を閉じていた回数を表わしている。

次に再度開眼度がチェックされる（ステップＳ０５）。この開眼度のチェックは、このステップＳ０５が実行されるたびに行なわれ、ここでは現時点での開眼度平均値が求められる。

次に片目のみ３秒間閉じられたか否かが判定される（ステップＳ０６）、前述の通り、片目のみ３秒以上閉じることは、ユーザによる、パソコン１０の電源オフの指示とみなされる。

また、ステップＳ０７では、両目とも３秒間閉じられたか否かが判定される。

片目のみ３秒間閉じられておらず（ステップＳ０６）、両目とも３秒間閉じられていない（ステップＳ０７）ときはステップＳ０５に戻り、開眼度のチェックが行なわれる。

ここでは先ず、片目のみ３秒間閉じられたものとする。この場合、ステップＳ０６に続き、編集中のファイルが存在するか否か（ステップＳ３１）、および実行中のプロセスが存在するか否か（ステップＳ３２）が調べられる。編集中のファイルがあるときはそのファイルが破壊されるため、また実行中のプロセスがあったときはそのプロセスの実行が不用意に中断されるため、いずれの場合も回復不能となるおそれがある。そこで、編集中のファイルがある場合、あるいは実行中のプロセスがある場合は、パソコンの電源オフは行なわずにステップＳ０６に戻る。この時、編集中のファイルのファイル名や実行中のプロセスのプロセス名を表示画面上に表示し、現在編集中あるいは実行中であって電源オフはできないことをユーザに知らせるようにしてもよい。

編集中のファイルや実行中のプロセスも存在しないときであっても、本実施形態ではパソコンの電源をいきなりオフにはせずに、表示画面３０１上にパソコンの電源をオフにしてよいことの確認を求める確認メッセージを表示する（ステップＳ３３）。この確認メッセージはキャンセルボタンの表示を伴っており、１０秒以内にそのキャンセルボタンがマウスクリックされると電源オフの指示がキャンセルされる（ステップＳ３４）。ここで確認メッセージを表示するのは、パソコン１０の電源を一旦オフにするとパソコン１０を再度立ち上げるのに時間がかかるため、ユーザの電源オフの指示を再確認するものである。電源オフの指示のキャンセルにあたっては、マウス操作を行なうことに代え、片目のみ閉じたまま１０秒間経過前にその片目を開けることによってキャンセルとみなし、片目を閉じたまま１０秒間経過することでパソコンの電源をオフにしてもよい。

キャンセルがなかったときは、パソコンの電源がオフとなる（ステップＳ３５）。

ユーザの両目が３秒間閉じられていた場合（ステップＳ０７）、開閉頻度ｆｒｅｑがカウントアップされる（ステップＳ１１）。このフローチャートには明示されていないが、この開閉頻度ｆｒｅｑは、ステップＳ１１でカウントアップされた時点から１０分間経過すると、カウントダウンされる。

次いで、ステップＳ１２において表示画面の電源がオフにされる。これは、両目が３秒間閉じられたことをもって、電力消費を少しでも抑えるための措置である。

次に、開眼度の比率が計算される（ステップＳ１３）。この開眼度の比率は、ステップＳ０３で記録された開眼度初期平均値に対する、ステップＳ０５での開眼度チェックの繰り返しにより得られた現在の開眼度平均値の比率である。

さらに、ステップＳ１４では、両眼が２０秒閉じられているか否かが判定される。２０秒経過前に目が開けられると、表示画面の電源が再びオンとなり（ステップＳ１５）、ステップＳ０５に戻る。

一方、両眼が２０秒間閉じられたままのときは、ステップＳ１６に進む。このステップＳ１６では、「ステップＳ１３で求めた開眼度比率がしきい値Ｔｈ１未満であり、かつ、ステップＳ１１でカウントアップされた開閉頻度ｆｒｅｑがしきい値Ｔｈ２以上である」か否かが判定される。

開眼度比率＜Ｔｈ１、かつ、開閉頻度ｆｒｅｑ≧Ｔｈ２のときは、パソコン電源オフの処理を行なうべくステップＳ１８に進む。

一方、開眼度比率≧Ｔｈ１、または、開閉頻度ｆｒｅｑ＜Ｔｈ２のときは、このパソコンがスリープモードに移行する（ステップＳ１７）。

ステップＳ１８では、編集中ファイルの存在が判定され、ステップＳ１９では実行中プロセスの存在が判定される。これら編集中ファイル、および編集中プロセスについてはステップＳ３１，Ｓ３２の説明において説明済であり、重複説明は省略する。

編集中ファイルが存在するとき（ステップＳ１８）、あるいは実行中プロセスが存在するとき（ステップＳ１９）は、パソコンの電源をオフにすると内部状態の破壊があり得る。このため、これらの場合、パソコン電源オフにはせずにスリープモードに移行する（ステップＳ１７）。

一方、編集中ファイルが存在せず（ステップＳ１８）、かつ実行中プロセスも存在しなかったときは（ステップＳ１９）、確認メッセージを表示の上（ステップＳ２０）、キャンセルがなかったときは（ステップＳ２１）、パソコンの電源がオフとなる。確認メッセージの表示（ステップＳ２０）およびキャンセル（ステップＳ２１）についても、それぞれステップＳ３３，Ｓ３４と同様であり、重複説明は省略する。

尚、本実施形態では、スリープモードおよび電源オフを、それぞれ第２の状態および第３の状態の各一形態とした場合について説明したが、第２の状態、第３の状態は、それぞれスリープモード、電源オフに限られるものではない。第２の状態および第３の状態は、通常動作状態と比べて省電力であって、かつ省電力の程度が互いに異なること、および第２の状態から通常の動作状態に戻ったときに第２の状態への移行前に実行中であった処理の継続が可能であることを満たせばよい。

また、ここでは、第１の閾値時間（例えば２０秒）以上目を閉じていること、および第２の閾値時間（例えば３秒）以上の目を閉じた頻度の双方からユーザの疲労度を検出しているが、ユーザの疲労度をこれらのうちの一方のみに基づいて検出してもよい。あるいは目の動きの他の指標（例えば目の開閉の速度など）を採用してユーザの疲労度を検出してもよい。

また、ここでは、両目を閉じた場合と片目のみを閉じた場合とを区別し、両目を閉じた場合を疲労度に結びつけ、片目のみを閉じた場合をユーザの積極的な指示とみなしている。しかしながら、ユーザの積極的な指示は例えばマウスやキーボードなどで行なうこととし、片目のみであっても目を閉じたことを疲労度に結びつけてもよい。あるいは、片目のみを疲労度の検出対象としてもよい。

また、ここではパソコンを例に挙げて説明したが、本件の思想はパソコンに限らず、省電力モードを有する電子機器に広く採用することができる。

１０ パソコン
１１ バス
２０ 本体装置
２１ ＣＰＵ
２２ 主メモリ
２３ ＨＤＤ
２４ ＯＤＤ
２５ ＵＳＢ
２６ 電源制御／モード切替部
３０ モニタ
４０ キーボード
５０ マウス
６１ 検出部
６２ 状態制御部
１００ ユーザ
２０１ 電源ボタン
２０２ 光ディスク装填口
２０３ ＵＳＢコネクタ差込口
３０１ 表示画面
３０２ カメラ

Claims (6)

1. 第１の状態と、該第１の状態よりも省電力な第２の状態と、該第２の状態よりも省電力な第３の状態とを有する電子機器であって、
   画像を表示する表示画面と、
   前記表示画面前面を向いたカメラと、
   前記カメラによる撮影で得た画像信号に基づいて、前記表示画面を向いたユーザの疲労度を検出する検出部と、
   当該電子機器が前記第１の状態にあるときに、前記表示画面を向いたユーザの眼が第１の閾値時間以上の時間に渡って閉じられた場合に、前記検出部で検出された疲労度が閾値未満の疲労度であるか該閾値以上の疲労度であるかに応じて、当該電子機器を、それぞれ、前記第２の状態または前記第３の状態に移行させる状態制御部とを有することを特徴とする電子機器。
2. 前記検出部は、前記表示画面を向いたユーザの眼の、当該電子機器の今回の使用開始時からの開眼度の変化に基づいてユーザの疲労度を検出するものであることを特徴とする請求項１記載の電子機器。
3. 前記検出部は、前記表示画面を向いたユーザの眼が、前記第１の閾値時間よりも短かい第２の閾値時間以上であって該第１の閾値時間未満の時間に渡って閉じられていた瞬き状態の頻度に基づいてユーザの疲労度を検出するものであることを特徴とする請求項１又は２記載の電子機器。
4. 前記第２の状態は、前記第１の状態から該第２の状態への移行時に実行中の処理があった場合に該第２の状態から第１の状態への復帰後に該実行中の処理の継続が可能なように電力を抑えた状態であり、
   前記第３の状態は、前記第１の状態から該第３の状態への移行時に実行中の処理があった場合に該処理の継続に必要な内部状態が破壊され、該第３の状態から該第１の状態への復帰後に該実行中の処理の継続が不能になることがあることを許容して電力を抑えた状態であって、
   前記状態制御部は、当該電子機器が前記第１の状態にあり、前記表示画面を向いたユーザの眼が第１の閾値時間以上の時間に渡って閉じられた場合において、前記検出部で検出された疲労度が前記閾値以上の疲労度であっても、当該電子機器が前記第３の状態に移行すると前記内部状態が破壊される場面にあるときは、当該電子機器を前記第２の状態に移行させるものであることを特徴とする請求項１から３のうちいずれか１項記載の電子機器。
5. プログラムを実行する本体部と、画像を表示する表示画面を有し該表示画面上に該本体部からの指示に応じた画像を表示する表示部と、該表示画面前面を向いたカメラとを備え、第１の状態と、該第１の状態よりも省電力な第２の状態と、該第２の状態よりも省電力な第３の状態とを有するコンピュータに、
   前記表示画面を向いたユーザを前記カメラにより撮影し、
   前記撮影により得られた画像信号に基づいて、前記表示画面を向いたユーザの疲労度を検出し、
   当該コンピュータが前記第１の状態にあるときに、前記表示画面を向いたユーザの眼が第１の閾値時間以上の時間に渡って閉じられた場合に、前記画像信号に基づいて検出された疲労度が閾値未満の疲労度であるか該閾値以上の疲労度であるかに応じて、当該コンピュータを、それぞれ、前記第２の状態または前記第３の状態に移行させる処理を実行させることを特徴とする状態制御プログラム。
6. 画像を表示する表示画面と該表示画面前面を向いたカメラとを備え、第１の状態と、該第１の状態よりも省電力な第２の状態と、該第２の状態よりも省電力な第３の状態とを有する電子機器により実行される状態制御方法であって、
   前記表示画面を向いたユーザを前記カメラにより撮影し、
   前記撮影により得られた画像信号に基づいて、前記表示画面を向いたユーザの疲労度を検出し、
   当該電子機器が前記第１の状態にあるときに、前記表示画面を向いたユーザの眼が第１の閾値時間以上の時間に渡って閉じられた場合に、前記画像信号に基づいて検出された疲労度が閾値未満の疲労度であるか該閾値以上の疲労度であるかに応じて、当該電子機器を、それぞれ、前記第２の状態または前記第３の状態に移行させることを特徴とする状態制御方法。

Images