JP2023082591A - 電子機器及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 表示部を有する電子機器における使用者による表示部への注視の度合いに応じた電力モードに移行する。【解決手段】 表示部を有する電子機器は、使用者の表示部への注視の度合いを検出する検出部と、該検出部の検出の結果に応じて、通常の駆動状態を示す通常モード、当該通常モードよりも消費電力が少ない省電力モードのいずれに移行するかを判定する判定部と、電子機器を、判定部の判定の結果に応じたモードに移行させる制御部とを有する。【選択図】 図１

Description

本発明は、電子機器、特にユーザが注視する表示部を有する電子機器における消費電力の削減技術に関するものである。

スマートフォンやカメラなどの電子機器の電池を長持ちさせるためには、使用者の操作意思をくみ取り、操作意思がないときに省電制御を行うことが理想的である。

操作意思をくみ取る方法として、使用者の電子機器に対する顔の向きや視線を検出し、その有無から操作意思を判断する方法がある。

これまで、使用者の視線や顔向きを検出する技術の研究がなされており、特許文献１では、ＴｏＦ（Time of Flight）センサーを用いて顔向きを検出する技術が開示されている。

また、省電制御だけではなく新しい使用者インターフェースへの活用の観点から、使用者の視線を検出するデバイスや顔向きを検出するデバイスを搭載した電子機器が種々登場している。しかし検出デバイスを常に駆動させていると、デバイスの消費電力が大きくなってしまうという課題がある。

上述した課題に対して、特許文献２では電子機器の手ぶれや周辺光を検出し視線検出デバイス及び顔検出デバイスの電源を制御する技術が開示されている。

特開２０１９－１７９３８６号公報 特開２０１４－１４２８５１号公報

しかしながら、上述の特許文献１に開示された従来技術では、顔向きを検出することはできるが、使用者がどこを見ているかまでは検出できない。そのため、顔向きは電子機器に向いているが視線は別のところを向いている状態など、操作意思を正確に検出することができない場合がある。

また、上述の特許文献２に開示された従来技術では、電子機器の動き及び周囲の明るさによっては検出デバイスの電源を常にオンしてしまう。そのため、周囲の状況によってはデバイスの消費電力が大きくなってしまう課題を解決できない場合がある。

本発明は上記問題に鑑み成されたものであり、表示部を有する電子機器における使用者による表示部への注視の度合いに応じた電力モードに移行する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の電子機器は以下の構成を備える。すなわち、
表示部を有する電子機器であって、
使用者の前記表示部への注視の度合いを検出する検出手段と、
該検出手段の検出の結果に応じて、通常の駆動状態を示す通常モード、当該通常モードよりも消費電力が少ない省電力モードのいずれに移行するかを判定する判定手段と、
前記電子機器を、前記判定手段の判定の結果に応じたモードに移行させる制御手段とを有する。

本発明によれば、表示部を有する電子機器における使用者による表示部への注視の度合いに応じた電力モードに移行することができる。

実施形態が適用する電子機器の外観図。 実施形態の電子機器のハードウェア構成例を示す概略ブロック図。 第１の実施形態における処理手順を示すフローチャート。 第２の実施形態における処理手順を示すフローチャート。 第３の実施形態における処理手順を示すフローチャート。 第４の実施形態における処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

まず、実施形態の前提となる、デジタルカメラに代表される電子機器の構成と動作について説明する。なお、使用者が見る表示部を有する電子機器であれば適用できるので、デジタルカメラに限定されるものではない。

図１（ａ）、（ｂ）に電子機器１００の外観図を示す。図１（ａ）は電子機器１００の前面斜視図であり、図１（ｂ）は電子機器１００の背面斜視図である。図１（ａ），（ｂ）において、表示部２８は画像や各種情報（メニュー画面を含む）を表示する、カメラ背面に設けられた表示部である。この表示部２８の表示面にはタッチパネル７０ａが設けられ、使用者は、表示されたメニュー等の項目を指でタッチする操作で、電子機器１００に対する指示を入力できる。

ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は、外部機器と接続を接続するためのコネクタ（不図示）を収容し、保護するカバーである。実際に外部機器と接続する場合は、この端子カバーを開け、収容したコネクタに、外部機器と接続のためのケーブルを接続することになる。このコネクタには、ＵＳＢケーブルの接続端子（不図示）と、ＨＤＭＩ（登録商標）出力端子である出力Ｉ／Ｆ２０（後述）が含まれる。

メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は電子機器１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー７４は操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。

動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＥロックボタン７７は操作部７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン７８は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８、ＥＶＦ２９、または外部機器２１０に表示させることができる。

メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８、ＥＶＦ２９、または外部機器２１０に表示される。使用者は、表示部２８、ＥＶＦ２９、または外部機器２１０に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて直感的に各種設定を行うことができる。通信端子１０は電子機器１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、使用者は、接眼部１６を介して内部のＥＶＦ２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、使用者が電子機器１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

図２は、本実施形態による電子機器１００の構成例を示すブロック図である。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０が電子機器１００と通信を行う為の通信端子である。レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力される画像のアナログ信号をデジタルの画像データに変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、または、後述するメモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３から出力される画像データは、画像処理部２４及びメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３により変換されたデジタルの画像データや、表示部２８、ＥＶＦ２９、または外部機器２１０に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８、ＥＶＦ２９に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８、ＥＶＦ２９により表示される。

表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。出力Ｉ／Ｆ２０は、メモリ３２に格納されている画像表示用のデータをデジタル信号のまま外部機器２１０に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは外部機器２１０に表示される。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されたメモリ３２に蓄積されたデータを、表示部２８、ＥＶＦ２９、または外部機器２１０に逐次転送して表示することで、ライブビュー表示（以下、ＬＶ表示）を行える。以下、ライブビューとして表示される、撮像部２２による撮像で得た画像をライブビュー画像もしくはＬＶ画像と称する。

ファインダー外表示部４３は、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値を表示する。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、電子機器１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８、ＥＶＦ２９等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、使用者は、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、電子機器１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１の受信に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２の受信に応じて、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

操作部７０は、使用者からの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも、シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１等が含まれる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の脱着可能な記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商法）Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対する電子機器１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、電子機器１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７は、ファインダーの接眼部１６に対する、使用者の眼球（目）の接近（接眼）及び離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示駆動状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が反射して赤外線近接センサーの受光部（図示せず）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかも使用者が表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカル使用者インターフェース）を提供できる。

省電制御部１６０は、使用者による表示部２８への注視の度合いを検出し、電子機器１００の駆動状態、電源状態を変更する制御を行う。実施形態では、使用者による表示部２８への注視度合いの検出を、使用者の顔の向き、使用者の視線方向を検出することで行う。また、併せて顔向き及び視線を検出するデバイスの駆動状態または電源状態を変更する制御を行う。

顔向き検出部１６１は使用者の顔の向きを検出する。顔向き判定部１６３は、顔向き検出部１６１の検出結果から表示部２８に対する使用者の顔向きの角度を算出し、顔の向きが表示部２８に向いているか否かを判定する。視線検出部１６２は使用者の視線の向きを検出する。視線判定部１６４は、視線検出部１６２の検出結果から表示部２８へ視線が向いているか否かを判定する。システム制御部５０は、省電制御部１６０の顔向き判定部１６３及び視線判定部１６４の判定結果に応じてデジタルカメラ１００の状態を通常モード／省電力モードに切り替える制御を行う。表示部２８が可動する構成を取っている場合においても表示部２８に対する視線及び顔向きの検出を可能にするため、顔向き検出部１６１及び視線検出部１６２は表示部２８の近傍に配置してもよい。

なお、顔向き検出部１６１，視線検出部１６２の具体例としては、例えば次の通りである。顔向き検出部１６１は、表示部２８の近傍に設置される撮像素子（不図示）を有する。この撮像素子は、使用者の顔の向きが予め設定された数個の向きの中のいずれに該当するかを判定できればよく、メインとなる撮像部２２が有する撮像素子よりも十分に解像度が低く、且つ、モノクロの撮像素子で十分である。この結果、顔向き検出部１６１（及びその撮像素子）の消費電力量は、メインとなる撮像部２２より遥かに少ない。顔向き検出部１６１は、この低解像度の撮像素子からの映像に基づき、使用者の顔の輪郭、顔を構成する目、眉、鼻、口等のパーツの配置から、顔の向きに関する情報を生成し、出力する。顔向き判定部１６３は、この情報に基づき、使用者の顔が、予め設定された数種類の向きの中のいずれに該当するかを判定し、システム制御部５０に出力する。

なお、顔向き検出部１６１、及び、顔向き判定部１６３は、撮像素子を利用する。実施形態における、顔向き検出部１６１及び顔向き判定部１６３による顔向きや視線の検出及び判定の頻度は２段階から選択可能であって、高駆動状態（周期が短い状態）は０．５秒間隔、低駆動状態（周期が長い状態）は例えば１秒間隔であるとする。当然、消費電力量は、電源オフ＜低駆動状態＜高駆動状態の関係にある。

一方、視線検出部１６２は、表示部２８の近傍に設置される撮像素子（不図示）を有する。この撮像素子は、上記顔向き検出部１６１が有する撮像素子とは独立している。視線検出部１６２が有する撮像素子も、視線方向を、予め設定された数個の向きのいずれに該当するかを判定できればよく、メインとなる撮像部２２が有する撮像素子よりも十分に解像度が低く、且つ、モノクロの撮像素子で良い。故に、その電力消費量は、メインとなる撮像部２２より遥かに少ない。視線検出部１６２は、この低解像度の撮像素子からの映像に基づき、使用者のパーツの配置から、使用者の視線方向を示す情報を出力する。視線判定部１６４は、この情報に基づき、使用者の視線の方向を、予め設定された数種類の視線方向の中のいずれに該当するかを判定し、システム制御部５０に出力する。また、視線検出部１６２及び視線判定部１６４は、撮像素子を用いた単位時間当たりの視線方向の検出及び判定頻度として、高駆動状態（視線方向の検出間隔が例えば０．５秒）、低駆動状態（視線方向の検出間隔が例えば１秒）、電源オフ（非検出）の３種類のいずれかで動作する。当然、消費電力量は、電源オフ＜低駆動状態＜高駆動状態の関係にある。

図３は、デジタルカメラ１００の電源がオンになっている間の、待機中から撮影までの制御の一連の流れを示している。以下、同図を参照して、システム制御部５０の処理を説明する。

デジタルカメラ１００が起動すると、Ｓ３０１には、システム制御部５０は表示部２８またはＥＶＦ２９にＬＶ表示を行う。Ｓ３０２にて、システム制御部５０は、第１シャッタースイッチ６２からシャッタースイッチ信号ＳＷ１を受信したか否かを判定する。つまり、システム制御部５０は、使用者がシャッターボタン６１を半押する操作を行ったか否かを判定する。システム制御部５０は、シャッタースイッチ信号ＳＷ１を受信していないと判定した場合は、処理をＳ３０１に戻す。一方、システム制御部５０は、シャッタースイッチ信号ＳＷ１を受信した（使用者がシャッターボタン６１の半押し操作を行った）と判定した場合は、処理をＳ３０３に進める。

Ｓ３０３にて、システム制御部５０は、ＡＦ処理等の撮影前の準備動作を行う。そして、システム制御部５０は、処理をＳ３０４に進める。

Ｓ３０４にて、システム制御部５０は、シャッタースイッチ信号ＳＷ２を受信したか否かを判定する。つまり、システム制御部５０は、使用者がシャッターボタン６１を全押しする操作を行ったか否かを判定する。システム制御部５０は、シャッタースイッチ信号ＳＷ２を受信していないと判定した場合は、処理をＳ３０１に戻す。一方、システム制御部５０は、シャッタースイッチ信号ＳＷ１を受信した（使用者がシャッターボタン６１の全押し操作を行った）と判定した場合は、処理をＳ３０５に進める。

Ｓ３０５にて、システム制御部５０は、撮影動作を行い、撮像部２２からの信号読み出を行い、撮像された画像を画像ファイルとして記録媒体２００に書き込む処理を行う。そして、Ｓ３０５６にて、システム制御部５０は、一定時間の間、表示部２８またはＥＶＦ２９に、今回撮像して得た画像の表示を行い、その後、処理をＳ３０１に戻す。このように、デジタルカメラ１００がオンしている間は、ＬＶ表示と撮影が繰り返される。

以上が、実施形態におけるデジタルカメラの構成と、撮影処理である。

［第１の実施形態］
以下、図４のフローチャートを参照し、第１の実施形態による、顔向き検出部１６１と視線検出部１６２の検出結果を用いて各検出部の駆動状態及び電源を制御する方法について説明する。また、図４のフローチャートは図３のフローチャートにおけるステップＳ３０１のＬＶ表示中における制御であるものと理解されたい。

説明に先立ち、本実施形態におけるデジタルカメラにおける省電力モードについて説明する。実施形態におけるデジタルカメラには、消費電力を抑制する３つのモードを有する。消費電力を削減しない通常モードを含めた、各省電力モードの消費電力量の関係は次の通りである。

省電力モード３＜省電力モード２＜省電力モード１＜通常モード
各省電力モードの詳細は次の通りである。
・省電力モード１：撮像部２２による撮像間隔（フレームレート）を、通常モード時よりも低くする。つまり、ＬＶ表示のフレームレートが、通常モードと比べて低くする。例えば通常モードでの撮像部２２によるフレームレートが３０ｆｐｓであるところ、例えば１０ｆｐｓのフレームレートまで落す。当然、撮像部２２だけでなく、Ａ／Ｄ変換器２２、画像処理部２４、表示部２８等の単位時間当たりの駆動率も下がることになり、通常モード時よりも電力消費量は低くい。
・省電力モード２：上記の省電力モード１に加え、更に表示部２８及びＥＶＦ２９の駆動を停止する。これらの表示部２８が、例えば液晶表示器である場合には、バックライトへの電力供給もオフにする。
・省電力モード３：電子機器１００の全体の電源をオフして、スリープ状態にする。ただし、スリープ状態から通常モードに復帰できるようにするため、使用者による復帰指示入力を受け付けるために、操作部７０の一部、システム制御部５０の一部は可動状態とする。

上記を踏まえ、図４のフローチャートを参照してシステム制御部５０の処理を説明する。なお、この処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。図４のフローチャートは、電子機器１００が起動されると開始される。

電子機器１００が起動すると、Ｓ４０１にて、システム制御部５０は、顔向き検出部１６１の駆動状態を、検出間隔が短い高駆動状態に遷移させる制御を行い、処理を終了する。

Ｓ４０２にて、システム制御部５０は、顔向き判定部１６３が使用者の顔向きを検出できたかどうかを判定する。顔向きを検出できたと判定した場合、システム制御部５０は、処理をＳ４０８へ進める。一夫、顔向きが検出できなかったと判定した場合、システム制御部５０は処理をＳ４０３へ進める。

Ｓ４０３にて、システム制御部５０は、視線検出部１６２の電源をオフする制御を行い、電子機器１００を省電力モード２に遷移させる。省電力モード２は、先に説明したように、省電力モード１を包含し、更に、表示部２８及びＥＶＦ２９の駆動をオフにする処理である。この後、システム制御部５０は、処理をＳ４０４に進める。

Ｓ４０４にて、システム制御部５０は、顔向きを検出できていない状態が、予め設定した第１の所定時間継続しているかどうかを判定する。顔向きを検出できていない状態が第１の所定時間継続していると判定した場合、システム制御部５０は処理をＳ４０５へ進める。顔向きを検出できていない状態が第１の所定時間に満たないと判定した場合、システム制御部５０は処理をＳ４０２へ戻す。

Ｓ４０５にて、システム制御部５０は、電子機器１００の電源をオフして消費電力を低減する省電力モード３に遷移させる制御を行う。そして、Ｓ４０６にて、システム制御部５０が、第３の所定時間待機する制御を行い、処理をＳ４０７へ進める。Ｓ４０７にて、システム制御部５０が操作部７０への操作を受け付けたかどうかを判定し、操作を受け付けた場合は、通常モードにもとして、Ｓ４０２へ戻す。一方、操作部７０からの操作が無いと判定した場合、システム制御部５０は処理をＳ４０５へ戻す。

Ｓ４０８にて、システム制御部５０は、顔向き判定部１６３が。使用者の顔向き表示部２８に向いているかどうかを判定する。使用者の顔向きが表示部２に向いていると判定した場合、システム制御部５０は処理をＳ４１３に進め、向いていないと判定した場合は処理をＳ４０９に進める。

Ｓ４０９にて、システム制御部５０は、使用者と表示部２８（の中心）とを結ぶ線に対し、使用者の顔向きの角度差が一定値以上かどうかを判定する。一定値より小さいと判定した場合、システム制御部５０は処理をＳ４１０へ進め、一定値以上であると判定した場合は処理をＳ４１１へ進める。

Ｓ４１０にて、システム制御部５０は、顔向き検出部１６１を高駆動状態に、また、視線検出部１６２の駆動状態を、検出間隔が長い低駆動状態に遷移させる制御を行う。さらに、システム制御部５０は、撮像部２２の信号の読み出し周期を遅くする、低フレームレートの省電力モード１に遷移させる制御を行い、その後で処理をＳ４０２へ戻す。

Ｓ４１１にて、システム制御部５０は、顔向き検出部１６１を高駆動状態に、また、視線検出部Ｓ１６２の電源をオフに遷移させる制御を行う。さらに、システム制御部５０は、電子機器１００を省電力モード２に遷移させる制御を行い、その後で処理をＳ４１２へ進める。

Ｓ４１２にて、システム制御部５０は、表示部２８に対する使用者の顔向きの角度が一定値より大きい状態が第２の所定時間継続しているかを判定する。表示部２８に対する使用者の顔向きの角度が一定値より大きい状態が第２の所定時間継続していると判定した場合、システム制御部５０は処理をＳ４０５へ進め、そうでない場合は処理をＳ４０２へ戻す。

Ｓ４１３にて、システム制御部５０は、視線検出部１６２を低駆動状態に遷移させる制御を行い、その後、処理をＳ４１４に進める。

Ｓ４１４にて、システム制御部５０は、視線判定部１６４が使用者の視線を検出できたかどうかを判定する。使用者の視線を検出できたと判定した場合、システム制御部５０は処理をＳ４１６に進め、検出できなかったと判定した場合は処理をＳ４１５へ進める。

Ｓ４１５にて、システム制御部５０は、顔向き検出部１６１を高駆動状態に、また、視線検出部１６２を低駆動状態に遷移させる。更に、システム制御部５０は、電子機器１００を起動時の状態である通常モードに遷移させる制御を行う。その後、システム制御部５０は処理をＳ４０８へ戻す。

Ｓ４１６にて、視線判定部１６４が使用者の視線が表示部２８に向いているかどうかを判定する。システム制御部５０は、使用者の視線が表示部２８に向いていると判定した場合は処理をＳ４１８、向いていないと判定した場合は処理をＳ４１７に進める。

ステップＳ４１７にて、システム制御部５０は、顔向き検出部１６１を低駆動状態に、また、視線検出部１６２を高駆動状態に遷移させる制御を行う。さらに、システム制御部５０は、電子機器１００を省電力モード１に遷移させる制御を行う。その後、システム制御部５０は処理をＳ４１４へ戻す。

Ｓ４１８にて、システム制御部５０は、顔向き検出部１６１の電源をオフに、また、視線検出部１６２を高駆動状態に遷移させる。さらにシステム制御部５０は、電子機器１００を通常モードに遷移させる制御を行う。その後、システム制御部５０は処理をＳ４１４へ戻す。

以上のように、第１の実施形態によれば、顔向き検出部１６１及び視線検出部１６２の検出結果に応じて各検出部の電源もしくは駆動状態を遷移させることで、常に駆動させている場合と比較して消費電力を低減することができる。

なお、上記実施形態では、顔向き検出部１６１、視線検出部１６２それぞれが撮像素子を有するものとして説明したが、顔向き、視線検出のための撮像素子を共有するようにしても良い。この場合、撮像素子の撮影周期は、上述した高駆動状態に固定し、顔向き検出処理、視線検出に係る処理を撮像するたびに行うのではなく、その処理を行う時間間隔を、「高駆動状態」、「低駆動状態」に応じた周期で行うことで、演算処理に係る消費電力を適正化しても良い。

また、接眼検知部５７により使用者による接眼を検知した場合、つまり、使用者がＥＶＦを覗いていると推定される場合は、顔向き検出部１６１及び視線検出部１６２それぞれの撮像素子と使用者の顔との距離が近すぎで、顔向き、視線方向の検出できない。このように接眼検知部５７により使用者の接眼を検知した場合は、システム制御部５０は顔向き検出部１６１及び視線検出部１６２の駆動を停止し、電子機器を通常モードで駆動するようにしても良い（ただし、表示部２８は非駆動状態にしても良い）。

［第２の実施形態］
以下、図５のフローチャートを参照し、第２の実施形態を説明する。本第２の実施形態では、顔向き検出部１６１の検出結果に応じて電子機器１００の状態を制御する方法について説明する。ここで、図５のフローチャートは図３のフローチャートにおけるステップＳ３０１のＬＶ表示中における制御であると理解されたい。同図における各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。また同フローチャートは、電子機器１００が起動されると開始される。なお、図４のフローチャートと同一のステップについては同一の記号で示し、その説明を省略する。本フローチャートでは、図４の制御とは異なり、電子機器１００が視線検出部１６２を有さず、顔向き検出部１６１のみを有する構成における制御である。視線検出部１６２を有さない点を除き、装置構成は図２と同じであるので、装置構成については図２を参照されたい。

電子機器１００が起動すると、システム制御部５０は、図４のフローチャートのＳ４０２と同様の処理を実行し、処理をＳ４０８あるいはＳ５０１へ進める。

Ｓ４０８にて、システム制御部５０は、顔向き判定部１６３が判定した使用者の顔向きが表示部２８に向いているか否かを判定する。システム制御部５０は、使用者の顔向き表示部２８に向いていると判定した場合は処理をＳ５０３に、向いていないと判定した場合は処理をＳ４０９に進める。

Ｓ４０９にて、システム制御部５０は、使用者と表示部２８（の中心）とを結ぶ線に対し、使用者の顔向きの角度差が一定値以上かどうかを判定する。一定値より小さいと判定した場合、システム制御部５０は処理をＳ５０１へ進め、一定値以上であると判定した場合は処理をＳ５０２へ進める。

Ｓ５０１にて、システム制御部５０が電子機器１００を省電力モード１に遷移する制御を行い、その後、処理をＳ４０２へ戻す。

また、Ｓ５０２にて、システム制御部５０は、電子機器１００を省電力モード２に遷移する制御を行い、その後、処理をＳ４０２へ戻る。

Ｓ５０３にて、システム制御部５０は、電子機器１００を通常モードに遷移する制御を行い、処理をＳ４０２へ戻す。

以上のように、第２の実施形態によれば、顔向き検出部１６１の検出結果に応じて電子機器１００の状態を遷移させることで、常に通常モードで使用している場合と比較して消費電力を低減することができる。なお、第１の実施形態と異なり、検出部の駆動状態を変更していないため、得られる省電効果は第１の実施形態と比較して小さくなるが、部品数が少なくなるためコストを抑えることができる。

［第３の実施形態］
以下、図６のフローチャートを参照して、第３の実施形態を説明する。本第３の実施形態は、顔検出部１６１の検出結果に応じて電子機器１００の状態を制御する。また、図６のフローチャートが示す処理は、図３のフローチャートにおけるステップＳ３０１のＬＶ表示中における制御処理であるものと理解されたい。

また、図６のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。図６のフローチャートは、電子機器１００が起動されると開始される。なお、図４のフローチャートと同一のステップについては同一の記号で示し、その説明を省略する。本フローチャートでは、図４の制御とは異なり、電子機器１００が顔向き検出部１６１を有さず視線検出部１６２のみを有する構成における制御である。顔向き検出部１６１を有さない点を除き、装置構成は図２と同じであるので、装置構成については図２を参照されたい。

電子機器１００が起動すると、Ｓ４１４にで、システム制御部５０は、図４のフローチャートのステップＳ４１４と同様、視線判定部１６４が使用者の視線を検出できたかどうかを判定する。使用者の視線を検出できたと判定した場合、システム制御部５０は処理をＳ４１６に進め、検出できなかったと判定した場合は処理をＳ６０１へ進める。

Ｓ４１６にて、システム制御部５０は、図４のフローチャートのステップＳ４１６と同様、判定した視線は表示部２８に向いているかどうかを判定する。システム制御部５０は、使用者の視線が表示部２８に向いていると判定した場合は処理をＳ６０２に、向いていないと判定した場合は処理をＳ６０１に進める。

Ｓ６０１にて、システム制御部５０は、電子機器１００を通常モードに遷移する制御を行い、その後、処理をＳ４１４へ戻す。

Ｓ６０２にて、システム制御部５０は、電子機器１００を省電力モード１に遷移する制御を行い、その後、処理をＳ４１４へ戻す。

以上のように、第３の実施形態によれば、視線検出部１６２の検出結果に応じて電子機器１００の状態を遷移させることで、常に通常モードで使用している場合と比較して消費電力を低減することができる。また、第２の実施形態と同様に、検出部の駆動状態を変更していないため、得られる省電効果は第１の実施形態と比較して小さくなるが、部品数が少なくなるためコストを抑えることができる。

［第４の実施形態］
第４の実施形態を説明する。本第４の実施形態では、電子機器１００の状態に応じて顔向き検出部１６１及び視線検出部１６２の電源を制御する方法について説明する。なお、装置構成は、図２と同じとし、その説明は省略する。

本第４の実施形態では、システム制御部５０は、電子機器１００がＬＶ表示中に設定の変更ができる状態のとき、撮影した動画像を表示あるいは再生する状態のとき、メニューモードの状態のとき、のいずれかの場合は、顔向き検出部１６１及び視線検出部１６２の電源をオフする制御を行う。そして、これらの状態以外では、顔向き検出部１６１及び視線検出部１６２を駆動状態とし、それらの検出結果に応じて、第１の実施形態と同様の処理を行う。

以上のように、第４の実施形態によれば、電子機器１００の状態に応じて顔向き検出部１６１及び視線検出部１６２の電源をオフに制御することで、常に検出部を駆動している場合と比べて消費電力を低減することができる。

［第５の実施形態］
第５の実施形態を説明する。本第５の実施形態では、視線検出部１６２の検出結果に応じて電子機器１００が省電力モードに遷移することを防ぐ方法について説明する。ここで、電子機器１００は、操作部材での操作が一定期間ない場合に起動時よりも消費電力が小さい状態に遷移する制御を有しているとする。

システム制御部５０は、電子機器１００の操作が無い状態が一定期間経過したときに、視線判定部１６４が電子機器１００に視線が向いていると判定したときは、起動時の状態を継続し、視線が向いていないと判定したときは、使用者が予め選択した省電力モード（省電力モード１乃至３のいずれか）に遷移させる。

以上のように、第５の実施形態によれば、視線検出部１６２の検出状態に応じて電子機器１００の状態を制御することで、電子機器１００が使用者の意図に反した状態に遷移することを防ぐことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。顔向きを検出できていない場合でも、視線が電子機器１００に向いていることを検出できていれば、電子機器１００を通常モードに遷移してもよい。図４では顔向き検出部１６１の出力に応じて視線検出部１６２の出力結果を参照する構成であるが、視線検出部１６２の出力に応じて顔向き検出部１６１の出力結果を参照する構成にしてもよい。図５及び図６では、電子機器１００の状態遷移のみに言及したが、顔向き検出部１６１または視線検出部１６２の駆動状態及び電源を遷移させてもよい。省電力モード１乃至３における制御内容は、それぞれ異なる制御に変更してもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２８…ＬＣＤ、２９…ＥＶＦ、５０…システム制御部、１００…電子機器、１００ａ…電子機器、１６０…省電制御部、１６１…顔向き検出部、１６２…視線検出部、１６４…顔向き判定部、１６４…視線判定部

Claims (9)

1. 表示部を有する電子機器であって、
   使用者の前記表示部への注視の度合いを検出する検出手段と、
   該検出手段の検出の結果に応じて、通常の駆動状態を示す通常モード、当該通常モードよりも消費電力が少ない省電力モードのいずれに移行するかを判定する判定手段と、
   前記電子機器を、前記判定手段の判定の結果に応じたモードに移行させる制御手段と
   を有することを特徴とする電子機器。
2. 前記表示部へ表示するための画像を撮像する撮像手段を更に有し、
   前記省電力モードは、
   前記撮像手段による撮像の周期を前記通常モードよりも長くする第１の省電力モード、
   当該第１の省電力モードに加えて前記表示部への電力をオフにする第２の省電力モード、
   電子機器をスリープ状態にする第３の省電力モードを含む
   ことを特徴とする請求項１に記載の電子機器。
3. 前記検出手段は、
   使用者の顔の向きを検出する顔向き検出手段と、
   使用者の視線方向を検出する視線検出手段とを含み、
   前記判定手段は、移行するモードとして、
   前記顔向き検出手段により顔の向きが検出できなかった場合は前記第２の省電力モードを決定し、
   前記顔向き検出手段により検出した顔の向きが前記表示部へ向いていず、顔の向きが前記表示部への方向に対して閾値を超えている場合には第２の省電力モード、顔の向きが前記表示部への方向に対して閾値以下の場合は第１の省電力モードを判定し、
   前記顔向き検出手段により検出した顔の向きが前記表示部へ向いており、前記視線検出手段で視線の方向が検出できなかった場合には通常モード、前記視線検出手段で検出した視線の方向が前記表示部に向いていない場合は第１の省電力モード、前記視線検出手段で検出した視線の方向が前記表示部に向いている場合は通常モードを判定する
   ことを特徴とする請求項２に記載の電子機器。
4. 前記判定手段は、前記制御手段により、前記第２の省電力モードでの動作が予め設定された時間継続した場合、移行するモードとして前記第３の省電力モードを判定する
   ことを特徴とする請求項３に記載の電子機器。
5. 前記制御手段は、
   前記第１の省電力モードに移行する際には前記顔向き検出手段による顔向き検出の周期を予め設定された２段階のうち高い周期に設定し、前記視線検出手段の視線検出の周期を予め設定された２段階のうち低い周期に設定し、
   前記第２の省電力モードに移行する際には、前記顔向き検出手段による顔向き検出の周期を予め設定された２段階のうち高い周期に設定し、前記視線検出手段を停止し、
   前記視線検出手段により視線が検出できない状態で前記通常モードに移行した際には、前記顔向き検出手段による顔向き検出の周期を高い周期に設定し、前記視線検出手段を低い周期に設定し、
   前記視線検出手段により検出した視線が前記表示部に向いている状態で前記通常モードに移行した際には、前記顔向き検出手段を停止し、前記視線検出手段を高い周期に設定する
   ことを特徴とする請求項３又は４に記載の電子機器。
6. 前記検出手段は、前記使用者の顔の向きを検出する顔向き検出手段を含み、
   前記判定手段は、移行するモードとして、
   該顔向き検出手段により前記使用者の顔の向きを検出できなかった場合には予め設定された第１の省電力モードを判定し、
   該顔向き検出手段により検出した前記使用者の顔の向きが前記表示部に向かう方向に対して予め設定された角度より大きくない場合は前記第１の省電力モードを、前記予め設定された角度より大きい場合は、予め設定された第２の省電力モードを判定し、
   前記顔向き検出手段により検出した前記使用者の顔の向きが前記表示部に向いている場合には前記通常モードを判定する
   ことを特徴とする請求項２に記載の電子機器。
7. 前記検出手段は、前記使用者の視線方向を検出する視線検出手段を含み、
   前記判定手段は、移行するモードとして、
   該視線検出手段により前記使用者の視線が検出できなかった場合には前記通常モードを判定し、
   該視線検出手段により検出した前記使用者の視線が前記表示部を向いていない場合は、予め設定された第１の省電力モードを判定し、
   前記顔向き検出手段により検出した前記使用者の視線が前記表示部に向いている場合には前記通常モードを判定する
   ことを特徴とする請求項２に記載の電子機器。
8. 表示部を有する電子機器の制御方法であって、
   使用者の前記表示部への注視の度合いを検出する検出工程と、
   該検出工程の検出の結果に応じて、通常の駆動状態を示す通常モード、当該通常モードよりも消費電力が少ない省電力モードのいずれに移行するかを判定する判定工程と、
   前記電子機器を、前記判定工程の判定の結果に応じたモードに移行させる制御工程と
   を有することを特徴とする電子機器の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の方法の各工程を実行させるためのプログラム。

Images