JP2020187092A - 電子機器、制御方法、及びプログラム - Google Patents

電子機器、制御方法、及びプログラム Download PDF

Info

Publication number
JP2020187092A
JP2020187092A JP2019093715A JP2019093715A JP2020187092A JP 2020187092 A JP2020187092 A JP 2020187092A JP 2019093715 A JP2019093715 A JP 2019093715A JP 2019093715 A JP2019093715 A JP 2019093715A JP 2020187092 A JP2020187092 A JP 2020187092A
Authority
JP
Japan
Prior art keywords
state
person
unit
electronic device
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019093715A
Other languages
English (en)
Other versions
JP6808780B2 (ja
Inventor
和宏 小杉
Kazuhiro Kosugi
和宏 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2019093715A priority Critical patent/JP6808780B2/ja
Priority to US16/777,849 priority patent/US11314306B2/en
Publication of JP2020187092A publication Critical patent/JP2020187092A/ja
Application granted granted Critical
Publication of JP6808780B2 publication Critical patent/JP6808780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/324Power saving characterised by the action undertaken by lowering clock frequency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3296Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】電子機器からの人物の離脱を精度よく検出すること。【解決手段】電子機器は、所定の検出範囲内に存在する物体を検出する距離センサの出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出する検出部、を備える。【選択図】図2

Description

本発明は、電子機器、制御方法、及びプログラムに関する。
人物が近づくと使用可能な状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する電子機器がある(例えば、特許文献1)。
特開2016−148895号公報
しかしながら、電子機器を使用している人物は、常に電子機器の正面にきちんと留まっているとは限らず、体勢が自由に動きがちである。そのため、電子機器からの人物の離脱を検出する際に、電子機器を使用しているにも関わらず、体勢が変化すること等によって人物が離脱したと誤検出してしまう可能性がある。
本発明は、上記した事情に鑑みてなされたもので、人物の離脱を精度よく検出する電子機器、制御方法、及びプログラムを提供することを目的の一つとする。
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る電子機器は、所定の検出範囲内に存在する物体を検出する距離センサの出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出する検出部、を備える。
上記電子機器において、前記検出部は、前記距離センサの出力に基づいて前記所定の検出範囲内に存在していた物体が存在しない状態へ変化したことを検出した場合に、前記撮像画像に基づいて前記所定の撮像範囲内に人物が存在するか否かを検出し、当該検出結果に基づいて人物が存在している状態から存在しない状態への変化を検出してもよい。
上記電子機器において、前記検出部は、前記距離センサの出力に基づいて前記所定の検出範囲内に存在していた物体が存在しない状態へ変化したことを検出したことに応じて、前記所定の撮像範囲内を撮像部に撮像させてもよい。
上記電子機器において、前記所定の検出範囲より前記所定の撮像範囲の方が広い範囲であってもよい。
上記電子機器は、システムに基づくシステム処理を実行するシステム処理部と、前記検出部による検出結果に基づいて、前記システムの動作状態を前記システム処理の少なくとも一部が制限された第1動作状態へ遷移させる指示を前記システム処理部へ行う動作制御部と、を備えてもよい。
上記電子機器において、前記動作制御部は、前記検出部により人物が存在している状態から存在しない状態への変化が検出された場合、前記システム処理に基づく表示画像が表示される表示部の表示内容を変更させる指示を前記システム処理部へ行ってから、前記システムの動作状態を前記第1動作状態へ遷移させる指示を前記システム処理部へ行い、前記検出部は、前記表示部の表示内容を変更させる指示を行う際、及び前記第1動作状態へ遷移させる指示を行う際のそれぞれにおいて、撮像部に撮像させるとともに、撮像させた前記撮像画像に基づいて人物が存在している状態から存在しない状態への変化を検出してもよい。
上記電子機器において、前記動作制御部は、前記第1動作状態において、前記距離センサの出力に基づいて人物が存在していない状態から存在する状態への変化が前記検出部により検出された場合、前記第1動作状態よりも前記システムの動作を活性化させた第2動作状態へ遷移させる指示を前記システム処理部へ行ってもよい。
また、本発明の第2態様に係る電子機器の制御方法は、検出部が、所定の検出範囲内に存在する物体を検出する距離センサの出力を取得するステップと、所定の撮像範囲内が撮像された撮像画像を取得するステップと、前記距離センサの出力と前記撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出するステップと、を有する。
また、本発明の第3態様に係るプログラムは、コンピュータに、所定の検出範囲内に存在する物体を検出する距離センサの出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出するステップ、を実行させる。
本発明の上記態様によれば、電子機器からの人物の離脱を精度よく検出することができる。
第1の実施形態に係る電子機器のHPD処理の概要を説明する図。 第1の実施形態に係る人物の接近と離脱の検出方法の概要を示す図。 第1の実施形態に係る電子機器の外観の構成例を示す斜視図。 近接センサの検出視野角及び撮像部の撮像画角を示す模式図。 第1の実施形態に係る電子機器の構成例を示す概略ブロック図。 第1の実施形態に係る起動制御の一例を示すフローチャート。 第1の実施形態に係る待機状態遷移処理の一例を示すフローチャート。 第1の実施形態に係る離脱検出処理の一例を示すフローチャート。 第2の実施形態に係る離脱検出処理の一例を示すフローチャート。
以下、図面を参照して、本発明の実施形態について説明する。
<第1の実施形態>
[概要]
まず、第1の実施形態に係る電子機器1の概要について説明する。本実施形態に係る電子機器1は、例えば、ノートブック型のPC(Personal Computer;パーソナルコンピュータ)である。なお、電子機器1は、デスクトップ型PC、タブレット端末装置、スマートフォンなど、いずれの形態の電子機器であってもよい。
電子機器1は、システムの動作状態として少なくとも通常動作状態(パワーオン状態)と待機状態との間を遷移可能である。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。待機状態とは、システム処理の少なくとも一部が制限されている状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。例えば、待機状態は、通常動作状態よりも電力の消費量が低い動作状態である。
以下では、システムの動作状態が待機状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態では、一般的に通常動作状態よりも動作の活性度が低いため、電子機器1のシステムを起動させることは、電子機器1におけるシステムの動作を活性化させることになる。
図1は、本実施形態に係る電子機器1のHPD処理の概要を説明する図である。電子機器1は、後述する近接センサを備えており、電子機器1の近傍に存在する人物を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理とも呼ぶことがある。電子機器1は、電子機器1の近傍に存在する人物を検出し、検出結果に基づいて電子機器1のシステムの動作状態を制御する。例えば、電子機器1は、図1(A)に示すように、電子機器1の前に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち電子機器1へ人物が接近したこと(Approach)を検出した場合、自動でシステムを起動して通常動作状態へ遷移させる。また、電子機器1は、図1(B)に示すように、電子機器1の前に人物が存在している状態(Presence)では、システムを待機状態へ遷移させないように制限し、通常動作状態を継続させる。そして、電子機器1は、図1(C)に示すように、電子機器1の前に人物が存在している状態(Presence)から存在しない状態(Absence))への変化、即ち電子機器1から人物が離脱したこと(Leave)を検出した場合には、システムを待機状態へ遷移させる。
ここで、電子機器1を使用している人物(ユーザ)は、常に電子機器1の正面にきちんと留まっているとは限らず、体勢が自由に動きがちである。しかしながら、一般的に近接センサは、検出視野角FoV(Field of View)が狭いため、ユーザの体勢が変化すること等によってユーザが離脱したと誤検出してしまう可能性がある。誤検出した場合には、ユーザが使用中であるにも関わらず、待機状態へ遷移してしまうことになるため不便である。検出視野角FoVの広い近接センサを用いるには、コストが高くなるという問題もある。
そこで、本実施形態に係る電子機器1は、一般的な近接センサを使用することでコストを抑えつつ、人物の離脱を検出する際には近接センサの検出結果に加えて、ユーザ認証用の撮像画像を利用すること(即ち、カメラでアシストすること)で検出精度を高める。ユーザ認証用の撮像画像とは、電子機器1を使用するユーザが正規のユーザであるか否かを顔画像を用いて認証するために、電子機器1に設けられている撮像部(カメラ)で撮像された画像である。一般的に、撮像部が撮像する視野(FoV:Field of View)と近接センサが検出する視野とを比較すると、撮像部視野の方が広い。そのため、電子機器1は、ユーザが体勢を動かすことにより、近接センサが検出できる視野(検出視野角)から外れたとしても撮像部が撮像する視野(撮像画角)に入っていれば、そのユーザの存在を検出することができる。
図2は、本実施形態に係る人物の接近と離脱の検出方法の概要を示す図である。この図では、中心線L1を境に左側を電子機器1の前に人物が存在しない状態(Absence)、右側を電子機器1の前に人物が存在している状態(Presence)とし、各状態間の遷移の検出を模式的に表している。人物が存在しない状態(Absence)では、電子機器1は、近接センサのみを用いて、人物が存在する状態(Presence)への変化を検出することで、人物の接近(Approach)を検出する。一方、人物が存在している状態(Presence)では、近接センサに加えて撮像部(カメラ)を用いて、人物が存在しない状態(Absence)への変化を検出することで、人物の離脱(Leave)を検出する。
人物の接近(Approach)を検出する場合には、使用する人物以外の人物が近傍を単に横切った場合等には検出しないようにする必要があるため、あまり検出範囲を広くしすぎない方がよい。そのため、近接センサのみを用いて検出する方が適している。また、人物の接近(Approach)を検出するのは、電子機器1が待機状態になっているときであるため、撮像部を起動することにより消費電力が増加することは望ましくない。電子機器1は、人物の接近(Approach)を検出した場合、その後、システムを起動して通常動作状態に遷移させる途中で撮像部を用いてユーザ認証を行うため、人物の接近(Approach)を検出する段階で撮像部を用いる必要性もない。一方、人物の離脱(Leave)を検出する場合、近接センサの検出範囲から人物の存在が検出できなくなったときには、撮像部を用いてより広い範囲で人物の存在の有無を検出する。これにより、本当に人物が離脱したか否かを精度よく検出することができる。
次に、本実施形態に係る電子機器1の構成について詳しく説明する。
[電子機器の外観構成]
図3は、本実施形態に係る電子機器1の外観の構成例を示す斜視図である。
電子機器1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。回転軸の方向は、ヒンジ機構15が設置されている側面10c、20cに対して平行である。
第1筐体10は、Aカバー、ディスプレイ筐体とも呼ばれる。第2筐体20は、Cカバー、システム筐体とも呼ばれる。以下の説明では、第1筐体10と第2筐体20の側面のうち、ヒンジ機構15が備わる面を、それぞれ側面10c、20cと呼ぶ。第1筐体10と第2筐体20の側面のうち、側面10c、20cとは反対側の面を、それぞれ側面10a、20aと呼ぶ。図示において、側面20aから側面20cに向かう方向を「後」と呼び、側面20cから側面20aに向かう方向を「前」と呼ぶ。後方に対して右方、左方を、それぞれ「右」、「左」と呼ぶ。第1筐体10、第2筐体20の左側面をそれぞれ側面10b、20bと呼び、右側面をそれぞれ側面10d、20dと呼ぶ。また、第1筐体10と第2筐体20とが重なり合って完全に閉じた状態(開き角θ=0°の状態)を「閉状態」と呼ぶ。閉状態において第1筐体10と第2筐体20との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と呼ぶ。また、閉状態に対して第1筐体10と第2筐体20とが開いた状態のことを「開状態」と呼ぶ。
図3に示す電子機器1の外観は開状態の例を示している。開状態は、第1筐体10の側面10aと側2筐体20の側面20aとが離れた状態である。開状態では、第1筐体10と第2筐体20とのそれぞれの内面が表れ、電子機器1は通常の動作を実行可能とすることが期待される。開状態は、第1筐体10の内面と第2筐体20の内面とがなす開き角θが所定の角度以上になった状態であり、典型的には100〜130°程度となる。なお、開状態となる開き角θの範囲は、ヒンジ機構15よって回動可能な角度の範囲等に応じて任意に定めることができる。
第1筐体10の内面には、表示部110が設けられている。表示部110は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを含んで構成されている。また、第1筐体10の内面のうち表示部110の周縁の領域に、撮像部120と近接センサ130とが設けられている。撮像部120は、表示部110の周縁の領域のうち側面20a側に配置されている。近接センサ130は、表示部110の周縁の領域のうち側面20c側に配置されている。なお、撮像部120及び近接センサ130が配置される位置は一例であって、第1筐体10の内面に対面する方向(前方)を向くことが可能であれば他の場所であってもよい。
撮像部120は、開状態において、第1筐体10の内面に対面する方向(前方)の所定の撮像範囲内の物体の像を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定める撮像画角で定まる範囲である。
近接センサ130は、第1筐体10の内面に対面する方向(前方)の検出範囲内に存在する物体(例えば、人物)を検出する。例えば、近接センサ130は、赤外線を発光する発光部と、発光した赤外線が物体の表面に反射して戻ってくる反射光を受光する受光部とを含んで構成される赤外線距離センサである。具体的には、近接センサ130は、所定のサンプリング周期(例えば、1Hz)で、受光部が受光した光を検出し、受光した結像位置に基づいて距離を算出する三角測距方式や、発光から受光までの時間差等を距離に換算するToF(Time of Flight)方式等を用いて、物体(例えば、人物)との距離に応じた検出信号を出力する。
なお、近接センサ130は、発光ダイオードが発光する赤外線を用いたセンサであってもよいし、発光ダイオードが発光する赤外線よりも波長帯域が狭い光線を発光する赤外線レーザを用いたセンサであってもよい。また、近接センサ130は、赤外線距離センサに限定されるものでなく、物体との距離を検出するセンサであれば、超音波センサまたはUWB(Ultra Wide Band)レーダを用いたセンサ等の他の方式を用いたセンサであってもよい。
図4は、近接センサ130の検出視野角及び撮像部120の撮像画角を示す模式図である。開状態において、第1筐体10の内面に配置されている近接センサ130は、第1筐体10の内面に対面する方向(前方)に存在する物体(例えば、人物)を検出する。検出視野角FoV1は、近接センサ130が検出可能な角度(例えば、25°〜30°)を表している。また、第1筐体10の内面に配置されている撮像部120は、第1筐体10の内面に対面する方向(前方)の空間を撮像する。撮像画角Fov2は、撮像部120が撮像する撮像画角を表している。撮像画角Fov2は、検出視野角FoV1を含む検出視野角FoV1よりも広い角度である。なお、撮像画角Fov2は、少なくとも検出視野角FoV1の一部を含む角度であってもよい。
また、近接センサ130の検出限界距離KLaは、近接センサ130が物体(例えば、人物)を検出可能な限界距離を示す。よって、検出視野角FoVと検出限界距離KLa(例えば、120cm)とによる範囲が、近接センサ130が物体(例えば、人物)を検出可能な範囲(以下、「センサ検出範囲」という)である。一方、撮像部120が撮像する撮像する撮像範囲は、撮像画角Fov2による範囲であり、距離方向については特に制限はない。即ち、撮像部120による撮像範囲は、近接センサ130によるセンサ検出範囲より角度及び距離ともに広い範囲である。
図3に戻り、第2筐体20の側面20bには、電源ボタン140が設けられている。電源ボタン140は、システムの起動(待機状態から通常動作状態へ遷移)や通常動作状態から待機状態への遷移をユーザが指示するための操作子である。また、第2筐体20の内面には、キーボード151及びタッチパッド153が入力デバイスとして設けられている。なお、入力デバイスとして、キーボード151及びタッチパッド153に代えて、または加えて、タッチセンサが含まれてもよいし、マウスや外付けのキーボードが接続されてもよい。タッチセンサが設けられた構成の場合、表示部110の表示面に対応する領域が操作を受け付けるタッチパネルとして構成されてもよい。また、入力デバイスには、音声が入力されるマイクが含まれてもよい。
なお、第1筐体10と第2筐体20とが閉じた閉状態では、第1筐体10の内面に設けられている表示部110、撮像部120、及び近接センサ130は、第2筐体20の内面に覆われて、機能を発揮できない状態である。第1筐体10と第2筐体20とが完全に閉じた状態では、開き角θは0°となる。
[電子機器の構成]
図5は、本実施形態に係る電子機器1の構成例を示す概略ブロック図である。電子機器1は、表示部110、撮像部120、近接センサ130、電源ボタン140、入力デバイス150、EC(Embedded Controller)200、システム処理部300、通信部350、記憶部360、及び電源部400を含んで構成される。表示部110は、システム処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
撮像部120は、第1筐体10の内面に対面する方向(前方)の所定の画角内の物体の像を撮像し、撮像した画像をシステム処理部300へ出力する。例えば、電子機器1に接近した人物の顔面が撮像部120の画角内に含まれるとき、撮像部120は、人物の顔画像を撮像し、撮像した顔画像をシステム処理部300へ出力する。撮像部120は、赤外線カメラであってもよいし、通常のカメラであってもよい。赤外線カメラは、撮像素子として赤外線センサを備えるカメラである。通常のカメラは、撮像素子として可視光線を受光する可視光センサを備えるカメラ(例えば、RGBカメラ)である。
近接センサ130は、第1筐体10の内面に対面する方向(前方)に存在する物体(例えば、人物)を検出し、検出結果を示す検出信号をEC200へ出力する。例えば、近接センサ130は、第1筐体10の内面に対面する方向(前方)に存在する物体(例えば、人物)との距離に応じた検出信号を出力する。
電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。入力デバイス150は、ユーザの入力を受け付ける入力部であり、例えばキーボード151及びタッチパッド153を含んで構成されている。入力デバイス150は、キーボード151及びタッチパッド153に対する操作を受け付けることに応じて、操作内容を示す操作信号をEC200へ出力する。
電源部400は、電子機器1の各部の動作状態に応じて各部へ電力を供給するための電源系統を介して電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくは電池パックから供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される各部の動作状態に応じて制御信号に基づいて各電源系統を介して各部に電力を供給する。
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)およびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶した制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、システム処理部300とは独立に動作し、システム処理部300の動作を制御し、その動作状態を管理する。また、EC200は、近接センサ130と、入力デバイス150と電源部400に接続されている。
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、電子機器1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。また、EC200は、電源ボタン140や入力デバイス150から操作信号を取得し、取得した操作信号のうちシステム処理部300の処理に関連する操作信号についてはシステム処理部300へ出力する。また、EC200は、近接センサ130から検出結果を示す検出信号を取得し、検出結果に基づいてHPD処理を実行する。例えば、EC200は、HPD処理に関する機能構成として、人物検出部210、及び動作制御部220とを備えている。
人物検出部210は、所定のサンプリング周期(例えば、1kHz)で近接センサ130出力(検出信号)に基づいて、センサ検出範囲内に存在する物体(例えば、人物)及び当該物体との距離を検出する。ここで、近接センサ130から取得する検出信号は、物体が人物であろうが人物以外の物体であろうがいずれも取得される。なお、センサ検出範囲内に存在していた物体が検出されなくなった場合、またはセンサ検出範囲内に存在していなかった物体が検出されるようになった場合、その物体は移動する物体であって状況的に概ね人物と推測できる。以下の説明では、人物検出部210が物体(例えば、人物)を検出することを、単に、人物を検出するとも記載する。即ち、人物検出部210が人物を検出するとは、人物検出部210が人物を検出することも、人物以外の物体を検出することも含む。
例えば、人物検出部210は、近接センサ130から取得する検出信号に基づいて、センサ検出範囲内に人物が存在する状態であること、または人物が存在しない状態であることを検出する。また、人物検出部210は、近接センサ130から取得する検出信号に基づいて、センサ検出範囲内において人物が存在しない状態から人物が存在する状態への変化を検出した場合、電子機器1の前方に人物が接近したものと判定し、電子機器1への人物の接近を検出する。
また、人物検出部210は、近接センサ130から取得する検出信号と、撮像部120により撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出した場合、電子機器1の前方に存在していた人物が離れたものと判定し、電子機器1からの人物の離脱を検出する。具体的には、人物検出部210は、近接センサ130から取得する検出信号に基づいてセンサ検出範囲内に存在していた人物が存在しない状態へ変化したことを検出したことに応じて、撮像範囲内を撮像部120に撮像させる。具体的には、人物検出部210は、撮像部120に撮像させるための制御信号をシステム処理部300へ送信することにより、システム処理部300の制御により撮像部120に撮像させる。
そして、人物検出部210は、撮像部120に撮像させた撮像画像に基づいて撮像範囲内に人物が存在するか否かを検出し、当該検出結果に基づいて人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱)を検出する。具体的には、人物検出部210は、撮像部120に撮像させた撮像画像に基づいて撮像範囲内に人物が存在しない状態であると判定した場合には、電子機器1から人物が離脱したと検出する。一方、人物検出部210は、撮像画像に基づいて撮像範囲内に人物が存在している状態であると判定した場合には、電子機器1から人物が離脱していない(即ち、電子機器1の前方に人物が存在している状態である)と判定する。
なお、撮像画像からの人物の検出は、例えば撮像画像から顔画像を検出することで実現できる。顔画像の検出には、公知の任意の顔検出技術を適用できる。なお、検出される顔画像の大きさ(撮像画像の全体に対する顔画像の大きさ)が所定の閾値より大きい場合のみ撮像範囲内に人物が存在すると検出してもよい。これにより、電子機器1は、前方に存在するものの電子機器1を使用していない人物を、電子機器1を使用する人物(ユーザ)として誤検出してしまうことを抑制することができる。
動作制御部220は、HPD処理に応じてシステムの動作状態を制御する。例えば、動作制御部220は、待機状態において、人物検出部210により電子機器1の前方に人物が存在してない状態から存在する状態への変化(即ち、電子機器1への人物の接近)が検出された場合、待機状態のシステムを起動させる。具体的には、動作制御部220は、人物検出部210により電子機器1への人物の接近が検出された場合、システムを起動させる指示をシステム処理部300へ行う。より具体的には、動作制御部220は、システムを起動させる場合、電源部400に対して、電子機器1の各部の動作に必要な電力を供給するための制御信号を出力する。その後、動作制御部220は、システム処理部300にシステムの起動を指示するための起動信号を出力する。システム処理部300は、起動信号を取得すると、システムを起動して待機状態から通常動作状態へ遷移させる。
また、動作制御部220は、人物検出部210により電子機器1の前方に人物が存在している状態が継続して検出されている場合、システム処理部300によりシステムを待機状態に遷移させないように制限し、通常動作状態を継続させる。なお、動作制御部220は、人物検出部210により人物が存在している状態が継続して検出されている場合であっても、所定の条件(例えば、無操作の時間が予め設定された時間継続した場合)によって、通常動作状態から待機状態へ遷移させてもよい。
また、動作制御部220は、通常動作において、人物検出部210により電子機器1の前方に人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱)を検出した場合、システムを通常動作状態から待機状態へ遷移させる指示をシステム処理部300へ行う。より具体的には、動作制御部220は、システム処理部300にシステムを通常動作状態から待機状態へ遷移させる指示をするための待機信号を出力する。システム処理部300は、待機信号を取得すると、システムを通常動作状態から待機状態へ遷移させる。その後、動作制御部220は、電源部400に対して、待機状態では不要な電力の供給を停止させるための制御信号を出力する。
なお、動作制御部220は、電子機器1からの人物の離脱を検出した場合、システム処理に基づく表示画像が表示される表示部110の表示を変更させる指示をシステム処理部へ行ってから、システムの動作状態を待機状態へ遷移させる指示をシステム処理部300へ行ってもよい。表示の変更とは、例えば表示部110に表示されている表示画像(システム処理に応じた表示画像)が視認できなくなるように画面OFFの状態にすることであり、黒画像(或いは、徐々に黒くなる画像)を表示させること、または、表示部110の表示輝度(例えば、液晶ディスプレイ(LCD)の場合にはバックライト輝度)を低下させること等である。なお、動作制御部220は、徐々に黒くなる画像を表示させる場合には、透過度を100%から0%へ徐々に変化させた黒画像をシステム処理に応じた表示画像に重畳して表示させてもよい。システム処理部300は、上記の指示に応じて、表示部110に黒画像(或いは、徐々に黒くなる画像)を一定時間表示させてから、システムの動作状態を待機状態へ遷移させてもよい。
なお、動作制御部220は、HPD処理の他に、電源ボタン140に対する操作や、OSで用意されている動作制御メニュー(ログアウト(サインアウト)、スリープ、シャットダウン、再起動等)を選択するための入力デバイス150に対する操作に基づいて、システムの動作状態を制御する。例えば、動作制御部220は、電源ボタン140から操作信号を取得し、取得した操作信号に基づいてシステムの動作状態を通常動作状態または待機状態に遷移させる指示をシステム処理部300へ行う。例えば、動作制御部220は、待機状態において、電源ボタン140が押下されたことを示す操作信号を取得した場合、システムを起動させるための制御信号(起動信号)をシステム処理部300へ出力する。また、動作制御部220は、通常動作状態において、電源ボタン140が押下されたことを示す操作信号を取得した場合、システムの動作状態を通常動作状態から待機状態へ遷移させる制御信号をシステム処理部300へ出力する。より具体的には、動作制御部220は、例えば通常動作状態において、電源ボタン140が所定の時間より短い時間押下されたことを示す操作信号を取得した場合にはシステムの動作状態をスリープ状態へ遷移させる制御信号を出力し、電源ボタン140が所定の時間より長い時間押下(長押し操作)されたことを示す操作信号を取得した場合にはシステムの動作状態をシャットダウンした状態へ遷移させる制御信号を出力してもよい。
システム処理部300は、CPU(Central Processing Unit)302、GPU(Graphic Processing Unit)304、メモリコントローラ306、I/O(Input−Output)コントローラ308、システムメモリ310、及び認証処理部321を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。CPU302とGPU304をプロセッサと総称することがある。
CPU302は、OSによる処理や、OS上で動作するアプリケーションプログラムによる処理を実行する。また、CPU302は、EC200が近接センサ130の検出結果に基づいて行うHPD処理によりシステムの動作状態を遷移させる。例えば、CPU302は、動作状態が待機状態であって、EC200から起動信号が入力された場合、待機状態から通常動作状態に遷移させる起動処理を実行する。例えば、動作状態がスリープ状態、ハイバネーション状態またはパワーオフ状態であるとき、電源部400から電力の供給を受け、かつEC200から起動信号が入力されると、CPU302は、起動処理を開始する。CPU302は、起動処理において、システムメモリ310、記憶部360などの最小限のデバイスの検出と初期化を行う(プリブート)。CPU302は、記憶部360からシステムファームウェアをシステムメモリ310にロードし、通信部350、表示部110などその他のデバイスの検出と初期化を行う(ポスト処理)。初期化には、初期パラメータの設定などの処理が含まれる。なお、スリープ状態から通常動作状態への遷移(レジューム)においては、ポスト処理の一部が省略されることがある。CPU302は、起動処理が完了した後、OSに基づくシステム処理の実行を開始する(起動)。例えば、CPU302は、動作状態がスタンバイ状態であって、EC200から起動信号が入力されると、実行を停止していたアプリケーションプログラムの実行を再開する。
CPU302は、起動処理において、OSの利用を許可するか否かを判定するログイン処理を実行する。CPU302は、OSによる起動処理を開始すると、OSの利用を許可する前にログイン処理を実行し、ログイン処理でログインを許可するまで、通常動作状態への遷移を一旦停止する。ログイン処理では、電子機器1を使用する人物が予め登録された正規のユーザであるか否かを判定するユーザ認証処理が行われる。認証には、パスワード認証、顔認証、指紋認証などがある。本実施形態では、顔認証処理を用いる例を説明する。CPU302は、撮像部120で撮像された人物の顔画像に基づく顔認証処理を実行する。CPU302は、認証結果が成功であった場合、ログインを許可し、一旦停止していたシステム処理の実行を再開する。一方、認証結果が失敗であった場合、ログインを許可せず、システム処理の実行を停止したままにする。
GPU304は、表示部110に接続されている。GPU304は、CPU302の制御に基づいて画像処理を実行して表示データを生成する。GPU304は、生成した表示データを表示部110に出力する。なお、CPU302とGPU304は、一体化して1個のコアとして形成されてもよいし、個々のコアとして形成されたCPU302とGPU304の相互間で負荷が分担されてもよい。プロセッサの数は、1個に限られず、複数個であってもよい。
メモリコントローラ306は、CPU302とGPU304によるシステムメモリ310、記憶部360などからのデータの読出し、書込みを制御する。
I/Oコントローラ308は、通信部350、表示部110およびEC200からのデータの入出力を制御する。
システムメモリ310は、プロセッサの実行プログラムの読み込み領域ならびに処理データを書き込む作業領域として用いられる。
通信部350は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部350は、イーサネット(登録商標)等の有線LANインターフェースやWi−Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
記憶部360は、HDD(Hard Disk Drive)、セキュアNVRAM(Non−Volatile RAM)、ROM(Read Only Memory)などの記憶媒体を含んで構成される。HDDは、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。セキュアNVRAMには、各ユーザの認証に用いる認証データを記憶する。認証データには、各ユーザの識別情報と、認証情報とを対応付けて記憶する。セキュアNVRAMには、I/Oコントローラ308から経由したOSの動作環境からはアクセスできないように保護(ロック)される。但し、CPU302のパワーオン、リセット時にロックを解除し、プリブートの終了時にシステムファームウェアを実行してロックを開始する。
[HPD処理による動作状態制御処理の動作]
次に、HPD処理によりシステムの動作状態を制御する動作状態制御処理の動作について説明する。まず、EC200が、電子機器1への人物の接近を検出したことによりシステムを起動する起動処理の動作について説明する。
図6は、本実施形態に係る起動制御の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、待機状態であるものとする。
(ステップS101)EC200は、近接センサ130から取得する検出信号に基づいて、電子機器1への人物の接近を検出したか否かを判定する。EC200は、人物が存在しない状態から人物が存在する状態への変化を検出した場合、電子機器1への人物の接近を検出したと判定する。また、EC200は、人物が存在しない状態を検出し続けている場合、電子機器1への人物の接近を検出していないと判定する。そして、EC200は、電子機器1への人物の接近を検出していないと判定した場合(NO)、再びステップS101の処理を行う。一方、EC200は、電子機器1への人物の接近を検出したと判定した場合(YES)、ステップS103の処理に進む。
(ステップS103)EC200は、システム処理部300によるシステムを起動させる。具体的には、EC200は、システム処理部300によるシステムを起動させる場合、電源部400に対して、電子機器1の各部の動作に必要な電力を供給するための制御信号を出力する。また、EC200は、システム処理部300にシステムの起動を指示するための起動信号を出力する。システム処理部300は、起動信号を取得すると、起動処理を開始する。そして、ステップS105の処理に進む。
(ステップS105)システム処理部300は、ログイン処理(認証処理)を実行する。例えば、システム処理部300は、撮像部120から取得する撮像画像に基づいて顔認証によるログイン処理を実行し、ステップS107の処理に進む。
(ステップS107)システム処理部300は、認証結果が成功であるか否かを判定する。システム処理部300は、認証結果が成功であると判定した場合には(YES)、ステップS109の処理に進む。一方、システム処理部300は、認証結果が失敗であると判定した場合には(NO)、ステップS113の処理に進む。
(ステップS109)システム処理部300は、認証結果が成功の場合にはログイン成功である旨を通知し(例えば、表示部110に表示)、起動処理を継続する。そして、ステップS111の処理に進む。
(ステップS111)システム処理部300は、ログイン処理を完了し、システムの動作状態を通常動作状態に遷移させる。
(ステップS113)システム処理部300は、認証結果が失敗の場合にはログイン失敗である旨を通知し(例えば、表示部110に表示)、ステップS105の認証処理に戻る。なお、システム処理部300は、連続して所定の回数の認証処理に失敗した場合には、認証処理を中止し、ログイン不可の状態に遷移させてもよい。
次に、EC200が、電子機器1からの人物の離脱を検出したことによりシステムを通常動作状態から待機状態へ遷移させる待機状態遷移処理の動作について説明する。
図7は、本実施形態に係る待機状態遷移処理の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、通常動作状態であるものとする。
(ステップS151)EC200は、近接センサ130から取得する検出信号と撮像部120が撮像した撮像画像とに基づいて、電子機器1からの人物の離脱を検出したか否かを判定する。なお、人物の離脱を検出する離脱検出処理の動作については、図8を参照して後述する。EC200は、人物が存在している状態から人物が存在しない状態への変化を検出した場合、電子機器1からの人物の離脱を検出したと判定する。一方、EC200は、人物が存在している状態を検出し続けている場合、電子機器1からの人物の離脱を検出していないと判定する。そして、EC200は、電子機器1からの人物の離脱を検出していない場合(NO)、再びステップS151の処理を行う。一方、EC200は、電子機器1からの人物の離脱を検出した場合(YES)、ステップS153の処理に進む。
(ステップS153)EC200は、システム処理部300によるシステムの動作状態を通常動作状態から待機状態へ遷移させる。具体的には、EC200は、システム処理部300にシステムを待機状態へ遷移させる指示をするための待機信号を出力する。システム処理部300は、待機信号を取得すると、システムの動作状態を通常動作状態から待機状態へ遷移させる。また、EC200は、電源部400に対して、待機状態では不要な電力の供給を停止させるための制御信号を出力する。
[離脱検出処理の動作]
次に、図8を参照して、人物の離脱を検出する離脱検出処理の動作について説明する。図8は、本実施形態に係る離脱検出処理の一例を示すフローチャートである。
(ステップS201)EC200は、近接センサ130の出力(検出信号)に基づいて、センサ検出範囲内に存在していた人物が存在しない状態へ変化したか否か(即ち、センサ検出範囲内からの人物の離脱)を検出する。そして、ステップS203の処理に進む。
(ステップS203)EC200は、近接センサ130の出力(検出信号)に基づいて、センサ検出範囲内に存在していた人物が存在しない状態へ変化したか否か(即ち、センサ検出範囲内からの人物の離脱)を判定する。EC200は、センサ検出範囲内に存在していた人物が存在したままの状態であると判定した場合(NO)、ステップS201の処理に戻る。一方、EC200は、センサ検出範囲内に存在していた人物が存在しない状態へ変化したと判定した場合(YES)、ステップS205の処理に進む。
(ステップS205)EC200は、撮像部120に撮像させる(撮像指示)。具体的には、人物検出部210は、撮像部120に撮像させるための制御信号をシステム処理部300へ送信することにより、システム処理部300の制御により撮像部120に撮像させる。そして、ステップS207の処理に進む。
(ステップS207)EC200は、撮像部120に撮像させた撮像画像に基づいて撮像範囲内に人物が存在するか否かを検出する。具体的には、EC200は、撮像画像から顔画像を検出することにより、撮像範囲内に人物が存在するか否かを検出する。そして、ステップS209の処理に進む。
(ステップS209)EC200は、撮像範囲内に人物が存在するか否かを判定する。EC200は、撮像画像から顔画像を検出した場合、撮像範囲内に人物が存在すると判定する(YES)。この場合、人物が離脱していないため、ステップS201の処理に戻る。一方、EC200は、撮像画像から顔画像を検出しない場合、撮像範囲内に人物が存在しないと判定し(NO)、ステップS211の処理に進む。
(ステップS211)EC200は、撮像範囲内に人物が存在しないと判定したため、電子機器1から人物が離脱したことを検出する。この検出に応じて、システム処理部320は、システムの動作状態を待機状態へ遷移させる(図7のS153参照)。
[第1の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1は、センサ検出範囲(所定の検出範囲の一例)内に存在する物体(例えば、人物)を検出する近接センサ130(距離センサの一例)の出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱)を検出する人物検出部210を備えている。
これにより、電子機器1は、近接センサ130による検出結果のみではなく撮像画像を用いて人物の有無を検出するため、電子機器1からの人物の離脱を精度よく検出することができる。例えば、電子機器1は、ユーザが電子機器1を使用中であるのに体勢が変化しただけでユーザが離脱したと誤検出してしまわないようにすることができる。よって、電子機器1は、人物の存在の有無を適切に検出することができる。
例えば、人物検出部210は、近接センサ130の出力に基づいてセンサ検出範囲内に存在していた物体(例えば、人物)が存在しない状態へ変化したことを検出した場合に、撮像画像に基づいて所定の撮像範囲内に人物が存在するか否かを検出し、当該検出結果に基づいて人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱)を検出する。
これにより、電子機器1は、近接センサ130により人物の離脱が検出された場合に、さらに撮像画像に基づいて人物の存在の有無を確認するため、電子機器1からの人物の離脱を精度よく検出することができる。
また、人物検出部210は、近接センサ130の出力に基づいてセンサ検出範囲内に存在していた物体(例えば、人物)が存在しない状態へ変化したことを検出したことに応じて、所定の撮像範囲内を撮像部120に撮像させる。
これにより、電子機器1は、近接センサ130により人物の離脱が検出されたタイミングで、所定の撮像範囲内を撮像させるため、撮像部を常に動作させておく必要がなく、消費電力を抑制できる。
ここで、近接センサ130のセンサ検出範囲より撮像部120が撮像する所定の撮像範囲の方が広い範囲である。
これにより、電子機器1は、近接センサ130のセンサ検出範囲より広い範囲で撮像画像を用いて人物の有無を確認することができるため、電子機器1からの人物の離脱を精度よく検出することができる。
また、電子機器1は、システムに基づくシステム処理を実行するシステム処理部300と、動作制御部220とを備えている。動作制御部220は、人物検出部210による検出結果に基づいて、システムの動作状態をシステム処理の少なくとも一部が制限された待機状態(第1動作状態の一例)へ遷移させる指示をシステム処理部300へ行う。
これにより、電子機器1は、電子機器1からの人物の離脱を精度よく検出してシステムを待機状態へ遷移させることができる。
また、動作制御部220は、待機状態において、近接センサ130の出力に基づいて人物が存在していない状態から存在する状態への変化(即ち、電子機器1への人物の接近)が人物検出部210により検出された場合、待機状態よりもシステムの動作状態を活性化させた通常動作状態(第2動作状態の一例)へ遷移させる指示をシステム処理部300へ行う。
これにより、電子機器1は、待機状態において人物の接近を検出する際には、近接センサ130の検出結果のみを用いるため、待機状態中に撮像部120を動作させる必要がなく、消費電力を抑制できる。また、近接センサ130の狭い検出範囲で人物の接近を検出するため、単に近くを通っただけの人物等を誤検出し難いため、電子機器1への人物の接近を精度よく検出することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
本実施形態では、離脱検出処理の他の例について説明する。なお、本実施形態に係る電子機器1の基本的な構成は、図3及び図5に示す構成と同様であり、その説明を省略する。ここでは、本実施形態の特徴的な処理について説明する。第1の実施形態で説明したように、電子機器1は、人物の離脱を検出した場合、システムの動作状態を待機状態へ遷移させる前に、表示部110を画面OFFの状態(黒画像(或いは、徐々に黒くなる画像)の表示)に制御してから一定時間待った後に、システムの動作状態を待機状態へ遷移させてもよい。この場合、黒画像(或いは、徐々に黒くなる画像)を一定時間表示させている間に、人物の存在の有無が変化する可能性がある。そこで、電子機器1は、黒画像(或いは、徐々に黒くなる画像)の表示の開始時点と終了時点とのそれぞれで撮像部120に撮像させることにより、撮像範囲内に人物存在しているか否かを検出した上で、待機状態への遷移を制御してもよい。
図9は、本実施形態に係る離脱検出処理の一例を示すフローチャートである。
(ステップS301)EC200は、近接センサ130の出力(検出信号)に基づいて、センサ検出範囲内に存在していた人物が存在しない状態へ変化したか否か(即ち、センサ検出範囲内からの人物の離脱)を検出する。そして、ステップS303の処理に進む。
(ステップS303)EC200は、近接センサ130の出力(検出信号)に基づいて、センサ検出範囲内に存在していた人物が存在しない状態へ変化したか否か(即ち、センサ検出範囲内からの人物の離脱)を判定する。EC200は、センサ検出範囲内に存在していた人物が存在したままの状態であると判定した場合(NO)、ステップS301の処理に戻る。一方、EC200は、センサ検出範囲内に存在していた人物が存在しない状態へ変化したと判定した場合(YES)、ステップS305の処理に進む。
(ステップS305)EC200は、撮像部120に撮像させる(撮像指示)。具体的には、人物検出部210は、撮像部120に撮像させるための制御信号をシステム処理部300へ送信することにより、システム処理部300の制御により撮像部120に撮像させる。そして、ステップS307の処理に進む。
(ステップS307)EC200は、撮像部120に撮像させた撮像画像に基づいて撮像範囲内に人物が存在するか否かを検出する。具体的には、EC200は、撮像画像から顔画像を検出することにより、撮像範囲内に人物が存在するか否かを検出する。そして、ステップS309の処理に進む。
(ステップS309)EC200は、撮像範囲内に人物が存在するか否かを判定する。EC200は、撮像画像から顔画像を検出した場合、撮像範囲内に人物が存在すると判定する(YES)。この場合、人物が離脱していないため、ステップ301の処理に戻る。一方、EC200は、撮像画像から顔画像を検出しない場合、撮像範囲内に人物が存在しないと判定し(NO)、ステップS311の処理に進む。
(ステップS311)EC200は、表示部110を画面OFFの状態(黒画像(或いは、徐々に黒くなる画像)の表示)にする指示をシステム処理部300へ行う。システム処理部300は、上記指示に応じて、表示部110を画面OFFの状態(黒画像(或いは、徐々に黒くなる画像)の表示)に制御する。そして、ステップS313の処理に進む。
(ステップS313)EC200は、表示部110を画面OFFの状態にする指示を行ってから一定時間が経過したか否かを判定する。ここで、経過時間の計測は、EC200が行ってもよいし、システム処理部300が行ってもよい。EC200は、一定時間が経過していないと判定した場合(NO)、このステップS313の判定処理を継続する。一方、EC200は、一定時間が経過したと判定した場合(YES)、ステップS315の処理に進む。
(ステップS315)EC200は、撮像部120に撮像させる(撮像指示)。具体的には、人物検出部210は、撮像部120に撮像させるための制御信号をシステム処理部300へ送信することにより、システム処理部300の制御により撮像部120に撮像させる。そして、ステップS317の処理に進む。
(ステップS317)EC200は、撮像部120に撮像させた撮像画像に基づいて撮像範囲内に人物が存在するか否かを検出する。具体的には、EC200は、撮像画像から顔画像を検出することにより、撮像範囲内に人物が存在するか否かを検出する。そして、ステップS319の処理に進む。
(ステップS319)EC200は、撮像範囲内に人物が存在するか否かを判定する。EC200は、撮像画像から顔画像を検出した場合、撮像範囲内に人物が存在すると判定する(YES)。この場合、人物が離脱していない(或いは一旦離脱した後戻ってきている)ため、EC200は、画面OFFを解除する指示をシステム処理部300へ行つてからステップ301の処理に戻る。一方、EC200は、撮像画像から顔画像を検出しない場合、撮像範囲内に人物が存在しないと判定し(NO)、ステップS321の処理に進む。
(ステップS321)EC200は、撮像範囲内に人物が存在しないと判定したため、電子機器1から人物が離脱したことを検出する。この検出に応じて、システム処理部320は、システムの動作状態を待機状態へ遷移させる(図7のS153参照)。
EC200は、表示部110が画面OFFに制御されている間も、近接センサ130の出力(検出信号)に基づいて、センサ検出範囲内の人物の存在の有無を検出してもよい。この場合、EC200は、人物が存在する状態が検出された場合には、画面OFFを解除する指示をシステム処理部300へ行つてからステップ301の処理に戻ってもよい。
[第2の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1において、動作制御部220は、人物検出部210により人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱)が検出された場合、システム処理に基づく表示画像が表示される表示部の表示内容を変更(例えば、画面OFF)させる指示をシステム処理部300へ行ってから、システムの動作状態を待機状態へ遷移させる指示をシステム処理部300へ行う。また、人物検出部210は、表示部110の表示内容を変更(例えば、画面OFF)させる指示を行う際、及び前記待機状態へ遷移させる指示を行う際のそれぞれにおいて、撮像部120に撮像させるとともに、撮像させた撮像画像に基づいて人物が存在している状態から存在しない状態への変化(即ち、電子機器1からの人物の離脱を検出する。
これにより、電子機器1は、待機状態へ遷移させる前に、画面OFF(例えば、黒表示(または、徐々に黒表示)にすることで、待機状態に遷移することがユーザに事前にわかるようにすることができるとともに、待機状態へ遷移させる前に複数回にわたって撮像画像を用いて人物の有無を検出するため、誤検出によって待機状態へ遷移してしまうことを抑制することができる。なお、待機状態へ遷移させる前に撮像画像を用いて人物の有無を検出する回数は、2回に限定されるものではなく、3回以上であってもよい。
以上、この発明の第1及び第2の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の各実施形態において説明した各構成は、任意に組み合わせることができる。
また、人物検出部210は、近接センサ130の出力に基づく人物の存在の検出結果と撮像画像に基づく人物の存在の検出結果とを学習データセットとして機械学習した学習データ(学習済みモデル)を用いて、電子機器1からの人物の離脱を検出してもよい。例えば、人物検出部210は、学習用のニューラルネットワークに対して、近接センサ130の出力に基づいて検出した人物の離脱の検出結果を入力層に入力する入力変数とし、撮像画像に基づく人物の存在の有無の検出結果を出力層から出力される出力変数として設定し、機械学習を行ってもよい。なお、上記の機械学習の処理は、ニューラルネットワーク以外の教師あり学習、教師なし学習、又は、強化学習を用いた処理としてもよい。
また、上記実施形態では、電子機器1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。また、近接センサ130も同様に、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。また、撮像部120と近接センサ130とが一体に構成された外部アクセサリとして構成されてもよい。
また、上記実施形態では、電子機器1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして無線または有線で電子機器1と接続されるものであってもよい。
また、上記実施形態では、システム処理部300と独立に動作するEC200は、センサハブ、チップセット、などのいずれの処理部であってもよく、EC200以外の処理部がEC200に代えて上述の処理を実行してもよい。このEC200等の処理部と近接センサ130の電力消費量の合計は、通例、システム処理部300の電力消費量よりも格段に少ない。
また、上述した待機状態には、ハイバネーション状態やパワーオフ状態等が含まれてもよい。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウンした状態)相当する。また、待機状態には、少なくとも表示部の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態を含んでもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)が表示部に表示され、ロックを解除(例えば、ユーザ認証)するまで、使用できない状態である。
なお、上述した電子機器1は、内部にコンピュータシステムを有している。そして、上述した電子機器1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した電子機器1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に電子機器1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した実施形態における電子機器1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上記実施形態の電子機器1は、PC、タブレット端末装置、スマートフォンなどに限られるものではなく、家庭用電気製品や業務用電気製品にも適用できる。家庭用電気製品としては、テレビや、表示部が備えられた冷蔵庫、電子レンジ等に適用できる。例えば、人物の接近または離脱に応じて、テレビの画面のON/OFFを制御すること、或いは、冷蔵庫や電子レンジ等の表示部の画面のON/OFFを制御することができる。また、業務用電気製品としては、自動販売機や、マルチメディア端末等に適用できる。例えば、人物の接近または離脱に応じて、自動販売機の照明のON/OFFなど、或いは、マルチメディア端末の表示部の画面のON/OFFなどのように動作状態を制御することができる。
1 電子機器、10 第1筐体、20 第2筐体、15 ヒンジ機構、110 表示部120 撮像部、130 近接センサ、140 電源ボタン、150 入力デバイス、151 キーボード、153 タッチパッド、200 EC、210 人物検出部、220 動作制御部、300 システム処理部、302 CPU、304 GPU、306 メモリコントローラ、308 I/Oコントローラ、310 システムメモリ、350 通信部、360 記憶部、400 電源部

Claims (9)

  1. 所定の検出範囲内に存在する物体を検出する距離センサの出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出する検出部、
    を備える電子機器。
  2. 前記検出部は、
    前記距離センサの出力に基づいて前記所定の検出範囲内に存在していた物体が存在しない状態へ変化したことを検出した場合に、前記撮像画像に基づいて前記所定の撮像範囲内に人物が存在するか否かを検出し、当該検出結果に基づいて人物が存在している状態から存在しない状態への変化を検出する、
    請求項1に記載の電子機器。
  3. 前記検出部は、
    前記距離センサの出力に基づいて前記所定の検出範囲内に存在していた物体が存在しない状態へ変化したことを検出したことに応じて、前記所定の撮像範囲内を撮像部に撮像させる、
    請求項1または請求項2に記載の電子機器。
  4. 前記所定の検出範囲より前記所定の撮像範囲の方が広い範囲である、
    請求項1から請求項3のいずれか一項に記載の電子機器。
  5. システムに基づくシステム処理を実行するシステム処理部と、
    前記検出部による検出結果に基づいて、前記システムの動作状態を前記システム処理の少なくとも一部が制限された第1動作状態へ遷移させる指示を前記システム処理部へ行う動作制御部と、
    を備える請求項1から請求項4のいずれか一項に記載の電子機器。
  6. 前記動作制御部は、
    前記検出部により人物が存在している状態から存在しない状態への変化が検出された場合、前記システム処理に基づく表示画像が表示される表示部の表示内容を変更させる指示を前記システム処理部へ行ってから、前記システムの動作状態を前記第1動作状態へ遷移させる指示を前記システム処理部へ行い、
    前記検出部は、
    前記表示部の表示内容を変更させる指示を行う際、及び前記第1動作状態へ遷移させる指示を行う際のそれぞれにおいて、撮像部に撮像させるとともに、撮像させた前記撮像画像に基づいて人物が存在している状態から存在しない状態への変化を検出する、
    請求項5に記載の電子機器。
  7. 前記動作制御部は、
    前記第1動作状態において、前記距離センサの出力に基づいて人物が存在していない状態から存在する状態への変化が前記検出部により検出された場合、前記第1動作状態よりも前記システムの動作を活性化させた第2動作状態へ遷移させる指示を前記システム処理部へ行う、
    請求項5または請求項6に記載の電子機器。
  8. 電子機器の制御方法であって、
    検出部が、
    所定の検出範囲内に存在する物体を検出する距離センサの出力を取得するステップと、
    所定の撮像範囲内が撮像された撮像画像を取得するステップと、
    前記距離センサの出力と前記撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出するステップと、
    を有する制御方法。
  9. コンピュータに、
    所定の検出範囲内に存在する物体を検出する距離センサの出力と、所定の撮像範囲内が撮像された撮像画像とに基づいて、人物が存在している状態から存在しない状態への変化を検出するステップ、
    を実行させるためのプログラム。
JP2019093715A 2019-05-17 2019-05-17 電子機器、制御方法、及びプログラム Active JP6808780B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019093715A JP6808780B2 (ja) 2019-05-17 2019-05-17 電子機器、制御方法、及びプログラム
US16/777,849 US11314306B2 (en) 2019-05-17 2020-01-30 Electronic apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019093715A JP6808780B2 (ja) 2019-05-17 2019-05-17 電子機器、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020187092A true JP2020187092A (ja) 2020-11-19
JP6808780B2 JP6808780B2 (ja) 2021-01-06

Family

ID=73221739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019093715A Active JP6808780B2 (ja) 2019-05-17 2019-05-17 電子機器、制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US11314306B2 (ja)
JP (1) JP6808780B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451785B1 (ja) 2023-01-23 2024-03-18 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11385702B2 (en) * 2018-12-25 2022-07-12 Lenovo (Singapore) Pte. Ltd. Electronic apparatus and controlling method
JP6758365B2 (ja) * 2018-12-25 2020-09-23 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
US11343412B2 (en) * 2019-10-22 2022-05-24 Intel Corporation User detection and user attention detection using multi-zone depth sensing
CN113140194B (zh) * 2020-01-17 2023-08-29 北京小米移动软件有限公司 亮度调节方法、装置及存储介质
CN212058816U (zh) * 2020-04-03 2020-12-01 代傲阿扣基金两合公司 敲击检测装置和具有敲击检测装置的家用电器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07324792A (ja) * 1995-05-16 1995-12-12 Matsushita Electric Ind Co Ltd 人体認識装置
JP2012048676A (ja) * 2010-08-30 2012-03-08 Secom Co Ltd 通報装置
JP2014082595A (ja) * 2012-10-15 2014-05-08 Fuji Xerox Co Ltd 電力供給制御装置、画像処理装置、電力供給制御プログラム
JP2016148895A (ja) * 2015-02-10 2016-08-18 富士ゼロックス株式会社 顔認証機能付機器
US20180157376A1 (en) * 2016-12-02 2018-06-07 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348405B2 (en) * 2013-12-24 2016-05-24 Intel Corporation Systems and techniques for control of storage device power states

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07324792A (ja) * 1995-05-16 1995-12-12 Matsushita Electric Ind Co Ltd 人体認識装置
JP2012048676A (ja) * 2010-08-30 2012-03-08 Secom Co Ltd 通報装置
JP2014082595A (ja) * 2012-10-15 2014-05-08 Fuji Xerox Co Ltd 電力供給制御装置、画像処理装置、電力供給制御プログラム
JP2016148895A (ja) * 2015-02-10 2016-08-18 富士ゼロックス株式会社 顔認証機能付機器
US20180157376A1 (en) * 2016-12-02 2018-06-07 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451785B1 (ja) 2023-01-23 2024-03-18 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
US20200363857A1 (en) 2020-11-19
JP6808780B2 (ja) 2021-01-06
US11314306B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
JP6808780B2 (ja) 電子機器、制御方法、及びプログラム
US20200356154A1 (en) Electronic apparatus, control method, and program
JP6720283B2 (ja) 電子機器、制御方法、及びプログラム
JP7114651B2 (ja) 電子機器、及び制御方法
JP6751432B2 (ja) 電子機器、制御方法、及びプログラム
JP7036975B1 (ja) 電子機器、及び制御方法
US20220366721A1 (en) Electronic apparatus and control method
CN115344110A (zh) 电子设备以及控制方法
JP6758365B2 (ja) 電子機器、制御方法、及びプログラム
JP2020177584A (ja) 電子機器、制御方法、及びプログラム
US11435833B2 (en) Electronic apparatus and control method
JP6710267B1 (ja) 情報処理装置、制御方法、及びプログラム
US20230205858A1 (en) Electronic apparatus and control method
JP7275239B1 (ja) 電子機器、及び制御方法
US20240184347A1 (en) Information processing apparatus and control method
JP7032371B2 (ja) 電子機器、及び制御方法
US11385702B2 (en) Electronic apparatus and controlling method
US20230289195A1 (en) Information processing apparatus and control method
JP7218421B1 (ja) 電子機器、及び制御方法
JP2021135870A (ja) 電子機器、及び制御方法
CN117917703A (zh) 信息处理装置以及控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201209

R150 Certificate of patent or registration of utility model

Ref document number: 6808780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250