JP2021057721A - 情報処理装置、及び制御方法 - Google Patents

情報処理装置、及び制御方法 Download PDF

Info

Publication number
JP2021057721A
JP2021057721A JP2019178351A JP2019178351A JP2021057721A JP 2021057721 A JP2021057721 A JP 2021057721A JP 2019178351 A JP2019178351 A JP 2019178351A JP 2019178351 A JP2019178351 A JP 2019178351A JP 2021057721 A JP2021057721 A JP 2021057721A
Authority
JP
Japan
Prior art keywords
image
image processing
processing unit
detected
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019178351A
Other languages
English (en)
Other versions
JP6918886B2 (ja
Inventor
和宏 小杉
Kazuhiro Kosugi
和宏 小杉
英輝 柏山
Hideki Kashiwayama
英輝 柏山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2019178351A priority Critical patent/JP6918886B2/ja
Priority to US16/777,331 priority patent/US11327548B2/en
Publication of JP2021057721A publication Critical patent/JP2021057721A/ja
Application granted granted Critical
Publication of JP6918886B2 publication Critical patent/JP6918886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

【課題】待機電力を低減しつつ、利用者の接近を適切に検出する。【解決手段】情報処理装置は、複数の画素情報を検出する画像センサを有し、画像センサが検出した複数の画素情報により構成される画像を生成する撮像部と、画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、画像処理部が所定の範囲内に利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部とを備え、撮像部は、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして複数の画素情報を検出する。【選択図】図3

Description

本発明は、情報処理装置、及び制御方法に関する。
近年、PC(Personal Computer;パーソナルコンピュータ)などの情報処理装置には、利用者が近づくと使用可能な状態に遷移し、利用者が離れると一部の機能を除いて停止した待機状態に遷移するものが知られている(例えば、特許文献1)。上述の情報処理装置では、赤外線センサなどの近接センサを用いて利用者の接近を検出している。
特開2003−255922号公報
ところで、情報処理装置には、カメラなどの撮像部を備えるものがあり、近接センサの代わりに、撮像部が撮像した撮像画像を用いて利用者の接近を検出することが考えられる。しかしながら、撮像部は、近接センサよりも消費電力が大きいため、情報処理装置では、待機状態における消費電力である待機電力が大きくなるという課題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、待機電力を低減しつつ、利用者の接近を適切に検出することができる情報処理装置、及び制御方法を提供することにある。
上記問題を解決するために、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部と、前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、前記画像処理部が前記所定の範囲内に前記利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部とを備え、前記撮像部は、前記待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する情報処理装置である。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、前記待機状態において、前記解像度及び前記フレームレートが第1条件の前記複数の画像に基づいて、前記所定の検出範囲内に物体を検出し、前記所定の範囲内に前記物体が検出された場合に、前記解像度及び前記フレームレートの少なくとも一方が前記第1条件よりも高い第2条件の前記複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、第1段階で、前記画像センサの全体の範囲で間引いた第1の解像度、且つ、第1のフレームレートで検出した第1の画像に基づいて、前記物体を検出し、前記第1段階において、前記物体を検出した場合に、第2段階として、前記第1の解像度よりも高い第2の解像度、且つ、前記第1のフレームレートよりも高い第2のフレームレートで検出した第2の画像に基づいて、前記第1段階で検出した前記物体に、人物の顔が含まれるか否かを検出し、前記第2段階において、前記人物の顔を検出した場合に、第3段階として、前記第2の解像度よりも高い第3の解像度、且つ、前記第2のフレームレートよりも高い第3のフレームレートで検出した第3の画像に基づいて、前記撮像部から前記第2段階で検出した前記人物の顔までの距離を検出することで、前記所定の検出範囲内に前記利用者が存在するか否かを検出するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記撮像部は、前記画像処理部を備え、前記画像処理部は、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、USB(Universal Serial Bus)インターフェースのHID(Human Interface Device class)のデバイスクラスによって、前記解除要求を出力するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、前記所定の範囲内に検出対象が検出された場合に、前記検出対象を含む部分範囲に狭めて解像度を高めるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、前記待機状態が解除された通常稼働状態において、定期的に前記所定の検出範囲内に前記利用者が存在するか否かを検出し、前記動作制御部は、前記通常稼働状態において、前記画像処理部が前記所定の検出範囲内に前記利用者が存在することを検出できなかった場合に、前記通常稼働状態から前記待機状態に移行させるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記撮像部は、前記通常稼働状態においても、段階的に前記解像度及び前記フレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記画像処理部は、前記通常稼働状態において、段階的に前記解像度及び前記フレームレートのうちの少なくとも一方を高くした画像に基づいて、前記利用者の顔の位置、顔の向き、及び視線のいずれか又は組み合わせにより、前記所定の検出範囲内に前記利用者が存在するか否かを検出するようにしてもよい。
また、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部と、前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、前記画像処理部が前記所定の範囲内に前記利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部とを備え、前記撮像部は、前記画像処理部を備え、前記画像処理部は、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力する情報処理装置である。
また、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部を備える情報処理装置の制御方法であって、前記撮像部が、システムの一部機能を停止した待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する検出ステップと、画像処理部が、前記検出ステップによって検出された前記複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理ステップと、動作制御部が、前記画像処理ステップによって、前記所定の範囲内に前記利用者が検出された場合に、前記待機状態を解除する動作制御ステップとを含む制御方法である。
また、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部を備える情報処理装置の制御方法であって、画像処理部が、前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理ステップと、動作制御部が、前記画像処理ステップによって、前記所定の範囲内に前記利用者が検出された場合に、システムの一部機能を停止した待機状態を解除する動作制御ステップとを含み、前記撮像部は、前記画像処理部を備えており、前記画像処理ステップにおいて、前記画像処理部が、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力する制御方法である。
本発明の上記態様によれば、待機電力を低減しつつ、利用者の接近を適切に検出することができる。
本実施形態によるノートPCの一例を示す外観図である。 本実施形態によるノートPCの主要なハードウェア構成の一例を示す図である。 本実施形態によるノートPCの機能構成の一例を示すブロック図である。 待機状態における撮像部の検出段階の一例を示す図である。 通常稼働状態における撮像部の検出段階の一例を示す図である。 本実施形態によるノートPCの待機状態における動作の一例を示すフローチャートである。 本実施形態によるノートPCの通常稼働状態における動作の一例を示すフローチャートである。 本実施形態によるノートPCの待機状態と通常稼働状態との遷移動作の一例を示す図である。 本実施形態によるノートPCの状態遷移の一例を示す図である。
以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。
図1は、本実施形態によるノートPC1の一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、ノートPC1について説明する。
図1に示すように、ノートPC1は、表示部14の上部に撮像部27を備えており、システムの一部機能を停止した待機状態において、撮像部27により利用者の接近を検出して、待機状態を解除する。また、ノートPC1は、通常稼働状態において、例えば、利用者が離席等によりノートPC1を使用していない状態を検出した場合に、表示部14の表示を停止するなどの待機状態に移行させる。
図2は、本実施形態によるノートPC1の主要なハードウェア構成の一例を示す図である。
図2に示すように、ノートPC1は、CPU11と、メインメモリ12と、ビデオサブシステム13と、表示部14と、チップセット21と、BIOSメモリ22と、HDD23と、オーディオシステム24と、WLANカード25と、USBコネクタ26と、撮像部27と、エンベデッドコントローラ31と、入力部32と、電源回路33とを備える。
なお、本実施形態において、CPU11と、チップセット21とは、メイン制御部10に対応する。
CPU(Central Processing Unit)11は、プログラム制御により種々の演算処理を実行し、ノートPC1全体を制御している。
メインメモリ12は、CPU11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム等が含まれる。
ビデオサブシステム13は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、CPU11からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部14に描画データ(表示データ)として出力する。
表示部14は、例えば、液晶ディスプレイであり、ビデオサブシステム13から出力された描画データ(表示データ)に基づく表示画面を表示する。
チップセット21は、USB(Universal Serial Bus)、シリアルATA(AT Attachment)、SPI(Serial Peripheral Interface)バス、PCI(Peripheral Component Interconnect)バス、PCI−Expressバス、及びLPC(Low Pin Count)バスなどのコントローラを備えており複数のデバイスが接続される。図2では、デバイスの例示として、BIOSメモリ22と、HDD23と、オーディオシステム24と、WLANカード25と、USBコネクタ26と、撮像部27とが、チップセット21に接続されている。
BIOS(Basic Input Output System)メモリ22は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)やフラッシュROMなどの電気的に書き換え可能な不揮発性メモリで構成される。BIOSメモリ22は、BIOS、及びエンベデッドコントローラ31などを制御するためのシステムファームウェアなどを記憶する。
HDD(Hard Disk Drive)23(不揮発性記憶装置の一例)は、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
オーディオシステム24は、音データの記録、再生、出力を行う。
WLAN(Wireless Local Area Network)カード25は、ワイヤレス(無線)LANにより、ネットワークに接続して、データ通信を行う。WLANカード25は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。
USBコネクタ26は、USBを利用した周辺機器類を接続するためのコネクタである。
撮像部27は、例えば、図1に示すように、表示部14の上部に配置されているWebカメラであり、画像を撮像する。撮像部27は、USBインターフェースによりチップセット21と接続されている。なお、撮像部27の構成の詳細については、図3を参照して後述する。
エンベデッドコントローラ31は、ノートPC1のシステム状態に関わらず、各種デバイス(周辺装置やセンサ等)を監視し制御するワンチップマイコン(One-Chip Microcomputer)である。また、エンベデッドコントローラ31は、電源回路33を制御する電源管理機能を有している。なお、エンベデッドコントローラ31は、不図示のCPU、ROM、RAMなどで構成されるとともに、複数チャネルのA/D入力端子、D/A出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ31には、それらの入出力端子を介して、例えば、入力部32、及び電源回路33などが接続されており、エンベデッドコントローラ31は、これらの動作を制御する。
エンベデッドコントローラ31は、ACPI(Advanced Configuration and Power Interface)仕様に規定されたシステム状態(例えば、S0状態〜S5状態)に応じて、電源回路33を制御する。ここで、S0状態は、最もアクティブな状態であり、通常の稼動状態(通常動作状態)である。また、S5状態は、ソフトウェアにより電源をオフしたシャットダウン状態(電源断状態)である。
なお、本実施形態のCPU11は、迅速にS0状態に復帰可能な低消費電力状態であるS0ix状態に対応しており、エンベデッドコントローラ31は、このS0ix状態を利用した待機モード(例えば、モダンスタンバイモード)に対応した電源回路33の制御を実行する。ここで、S0ix状態は、ACPI仕様に規定されているS0状態の拡張状態であって、S0状態よりも消費電力を低減したS0ix状態である。
本実施形態において、待機状態は、ノートPC1のシステムの一部機能を停止した状態であり、例えば、S0ix状態、S1状態〜S4状態などが対応する。
入力部32は、例えば、キーボードなどの、ポインティング・デバイス、タッチパッドなどの入力デバイスである。
電源回路33は、例えば、DC/DCコンバータ、充放電ユニット、電池ユニット、AC/DCアダプタなどを含んでおり、AC/DCアダプタ、又は電池ユニットから供給される直流電圧を、ノートPC1を動作させるために必要な複数の電圧に変換する。また、電源回路33は、エンベデッドコントローラ31からの制御に基づいて、ノートPC1の各部に電力を供給する。
次に、図3を参照して、本実施形態によるノートPC1の機能構成について説明する。
図3は、本実施形態によるノートPC1の機能構成の一例を示すブロック図である。
図3に示すように、ノートPC1は、メイン制御部10と、撮像部27とを備える。なお、図3において、本実施形態の発明に関する主要な機能構成のみを記載している。
撮像部27は、イメージセンサ271と、画像処理部272とを備える。撮像部27は、イメージセンサ271が検出した複数の画素情報により構成される画像を生成する。
イメージセンサ271(画像センサの一例)は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、複数の画素情報(例えば、画素値)を検出する。イメージセンサ271と画像処理部272との間は、例えば、MIPI(Mobile Industry Processor Interface)により接続されている。撮像部27は、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして複数の画素情報を検出する。
画像処理部272は、例えば、ISP(Image Signal Processor)であり、イメージセンサ271が検出した複数の画素情報により、画像データを生成する。また、画像処理部272は、メイン制御部10(チップセット21)とUSBインターフェースにより接続されている。画像処理部272は、USBの複数の機能を有する複合デバイスとして機能し、通常稼働状態で画像を使用する処理を行う場合に、生成した画像を、イメージクラスのUSBのデバイスクラスにより、メイン制御部10(チップセット21)に出力する。また、画像処理部272は、撮像部27を人感センサの代わりに、利用者の検出に使用する場合に、HID(Human Interface Device class)クラスのUSBのデバイスクラスにより、検出結果をメイン制御部10(チップセット21)に出力する。
また、画像処理部272は、イメージセンサ271が検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する。画像処理部272は、例えば、待機状態において、複数の画素情報のうちから画素情報を間引いて解像度を低下させて簡略化した画像から段階的に解像度を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。すなわち、画像処理部272は、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。
画像処理部272は、待機状態において、複数の画素情報のうちから画素情報を間引いて解像度を低くさせて簡略化した画像に基づいて、所定の検出範囲内に物体を検出し、所定の範囲内に物体が検出された場合に、解像度を高めた画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する。画像処理部272は、例えば、待機状態において、解像度及びフレームレートが第1条件の複数の画像に基づいて、所定の検出範囲内に物体を検出し、所定の範囲内に物体が検出された場合に、解像度及びフレームレートの少なくとも一方が第1条件よりも高い第2条件の複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出する。
画像処理部272は、待機状態において、例えば、3つの段階に、空間的、及び時間的に、簡略化した画像を使用して、利用者がノートPC1の周辺に近づいたことを検出する。
画像処理部272は、第1段階で、イメージセンサ271の全体の範囲で間引いた低解像度(第1の解像度)、且つ、超低速(第1のフレームレート)で検出した第1の画像に基づいて、例えば、既存の画像処理技術を利用して、物体を検出する。画像処理部272は、第1段階において、物体を検出した場合に、次の第2段階に進める。
画像処理部272は、第1段階において、物体を検出した場合に、第2段階として、低解像度(第1の解像度)よりも解像度を高めた中解像度(第2の解像度)、且つ、超低速(第1のフレームレート)よりも速い(高い)低速(第2のフレームレート)で検出した第2の画像に基づいて、例えば、既存の画像処理技術を利用して、第1段階で検出した物体に人物の顔が含まれるか否かを検出する。画像処理部272は、第2段階において、人物に顔を検出した場合(人物の顔が含まれることを検出した場合)に、次の第3段階に進める。
画像処理部272は、第2段階において、人物の顔を検出した場合に、第3段階として、中解像度(第2の解像度)よりも解像度を高めた高解像度(第3の解像度)、且つ、低速(第2のフレームレート)よりも速い(高い)中速(第3のフレームレート)で検出した第3の画像に基づいて、例えば、既存の画像処理技術を利用して、撮像部27から第2段階で検出した人物の顔までの距離を検出することで、所定の検出範囲内に利用者が存在するか否かを検出する。
画像処理部272は、第3段階において、所定の検出範囲内に利用者が存在することを検出した場合に、所定の検出範囲内に利用者が存在することを示す利用者の検出通知をHIDクラスによりメイン制御部10に出力する。すなわち、画像処理部272は、待機状態において利用者の存在を検出した場合に、通常稼働状態で画像を出力するデバイスクラス(イメージクラス)とは異なるデバイスクラスのインターフェースによって、待機状態の解除を要求する解除要求を出力する。ここで、HIDクラスには、例えば、HIDキーボードクラス、HIDマウスクラス、等が含まれる。
なお、画像処理部272は、解像度を低くさせて簡略化した画像から解像度を高める場合に、所定の領域をズームアップして、解像度を高めてもよい。画像処理部272は、所定の範囲内に検出対象(例えば、物体や人物の顔、等)が検出された場合に、検出対象を含む部分範囲に狭めて解像度を高めるようにしてもよい。
ここで、図4を参照して、上述した待機状態における第1段階〜第3段階の具体例について説明する。
図4は、待機状態における撮像部27の検出段階の一例を示す図である。
図4では、待機状態における第1段階〜第3段階の各検出段階における「解像度」、「フレームレート」、「ズーム」、「消費電力」、及び「検出内容」を示している。ここで、「解像度」は、イメージセンサ271が検出する画素の物理解像度であり、「フレームレート」は、イメージセンサ271の検出レート(検出間隔)を示している。また、「ズーム」は、高解像度にするための範囲又は領域を示し、「消費電力」は、各段階の検出における撮像部27の消費電力を示している。なお、「消費電力」は、「解像度」が低い程、又は「フレームレート」が低い程、画像の処理量が低減されるため、消費電力が低くなる。
図4に示す例では、待機状態における第1段階では、「解像度」が低解像度、「フレームレート」が超低速、「ズーム」が広範囲であり、「消費電力」が、最も小さいPW1であることを示している。また、待機状態における第2段階では、「解像度」が中解像度、「フレームレート」が低速、「ズーム」が中範囲であり、「消費電力」が、PW2であることを示している。また、待機状態における第3段階では、「解像度」が高解像度、「フレームレート」が中速、「ズーム」が顔周辺であり、「消費電力」が、最も大きいPW3であることを示している。ここで、消費電力は、PW1<PW2<PW3である。
図3の説明に戻り、画像処理部272は、通常稼働状態において、定期的に所定の検出範囲内に利用者が存在するか否かを検出する。画像処理部272は、通常稼働状態においても、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。画像処理部272は、例えば、通常稼働状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出することで、利用者がノートPC1を使用している状態であるか否かを検出する。
画像処理部272は、通常稼働状態において、例えば、3つの段階に、空間的、及び時間的に、簡略化した画像を使用して、利用者がノートPC1を使用している状態であることを検出する。
画像処理部272は、第1段階で、イメージセンサ271の全体の範囲で間引いた中低解像度(第4の解像度)、且つ、低速(第4のフレームレート)で検出した第4の画像に基づいて、例えば、既存の画像処理技術を利用して、人物の顔位置を検出する。画像処理部272は、第1段階において、人物の顔位置を検出した場合に、次の第2段階に進める。
画像処理部272は、第1段階において、人物の顔位置を検出した場合に、第2段階として、中低解像度(第4の解像度)よりも解像度を高めた中解像度(第5の解像度)、且つ、低速(第4のフレームレート)よりも速い(高い)中低速(第5のフレームレート)で検出した第5の画像に基づいて、例えば、既存の画像処理技術を利用して、顔の向きを検出する。画像処理部272は、第2段階において、顔の向きを検出した場合に、次の第3段階に進める。
画像処理部272は、第3段階において、顔の向きを検出した場合に、第3段階として、中解像度(第5の解像度)よりも解像度を高めた高解像度(第6の解像度)、且つ、中低速(第5のフレームレート)よりも速い(高い)中速(第6のフレームレート)で検出した第6の画像に基づいて、例えば、既存の画像処理技術を利用して、顔の視線、及び顔の向きを検出することで、利用者がノートPC1を使用している状態であるか否かを検出する。
このように、画像処理部272は、通常稼働状態において、段階的に解像度及びフレームレートを高くした画像に基づいて、利用者の顔の位置、顔の向き、及び視線のいずれか又は組み合わせにより、所定の検出範囲内に利用者が存在するか否かを検出する。
なお、通常稼働状態における中解像度(第5の解像度)及び高解像度(第6の解像度)は、上述した待機状態における中解像度(第2の解像度)及び高解像度(第3の解像度)と同一の解像度であってもよいし、異なる解像度であってもよい。また、通常稼働状態における低速(第4のフレームレート)及び中速(第6のフレームレート)は、上述した待機状態における低速(第1のフレームレート)及び中速(第2のフレームレートと同一のフレームレートであってもよいし、異なるフレームレートであってもよい。
画像処理部272は、第3段階において、利用者がノートPC1を使用している状態であるか否かの利用者の検出結果をHIDクラスによりメイン制御部10に出力する。
ここで、図5を参照して、上述した通常稼働状態における第1段階〜第3段階の具体例について説明する。
図5は、通常稼働状態における撮像部27の検出段階の一例を示す図である。
図5では、通常稼働状態における第1段階〜第3段階の各検出段階における「解像度」、「フレームレート」、「消費電力」、及び「検出内容」を示している。ここで、各項目は、上述した図4と同様である。
図5に示す例では、通常稼働状態における第1段階では、「解像度」が中低解像度、「フレームレート」が低速であり、「消費電力」が、PW4であることを示している。また、通常稼働状態における第2段階では、「解像度」が中解像度、「フレームレート」が中低速であり、「消費電力」が、PW5であることを示している。また、通常稼働状態における第3段階では、「解像度」が高解像度、「フレームレート」が中速であり、「消費電力」が、PW6であることを示している。ここで、消費電力は、PW4<PW5<PW6である。
また、再び、図3の説明に戻り、メイン制御部10は、システム(例えば、Windows(登録商標)などのOS(Operating System;オペレーションシステム)を利用して実現されるシステム)に基づくシステム処理を実行する。また、メイン制御部10は、動作制御部101を備える。
動作制御部101は、画像処理部272が所定の範囲内に利用者を検出した場合に、待機状態を解除する。動作制御部101は、待機状態において、例えば、HIDクラスによる利用者の検出通知(待機状態の解除を要求する解除要求)を撮像部27から受信した場合に、エンベデッドコントローラ31を制御して、上述したS0ix状態、及びS1状態〜S3状態などの待機状態を解除して、通常稼働状態(S0状態)に遷移させる。
また、動作制御部101は、通常稼働状態において、画像処理部272が所定の検出範囲内に利用者が存在することを検出できなかった場合に、通常稼働状態から待機状態に移行させる。動作制御部101は、通常稼働状態において、例えば、HIDクラスによる利用者の検出結果(利用者が使用している状態であるか否かの検出結果)を撮像部27から受信する。動作制御部101は、利用者が使用している状態である場合に、通常稼働状態を維持し、利用者が使用している状態でない場合(所定の検出範囲内に利用者が存在することを検出できなかった場合)に、エンベデッドコントローラ31を制御して、上述したS0ix状態、及びS1状態〜S4状態などの待機状態に遷移させる。
次に、図面を参照して、本実施形態によるノートPC1の動作について説明する。
図6は、本実施形態によるノートPC1の待機状態における動作の一例を示すフローチャートである。ここでは、ノートPC1の撮像部27の動作について説明する。
図6に示すように、待機状態において、撮像部27の画像処理部272は、まず、待機状態の第1段階の設定にする(ステップS101)。画像処理部272は、例えば、図4の第1段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS102)。画像処理部272は、イメージセンサ271の画素情報を取得して、第1段階の解像度の簡略化した画像を生成し、例えば、第1段階のフレームレート(検出間隔)で生成した複数の画像により、所定の検出範囲に物体があるか否かを検出する。
次に、画像処理部272は、物体を検出したか否かを判定する(ステップS103)。画像処理部272は、物体を検出した場合(ステップS103:YES)に、処理をステップS104に進める。また、画像処理部272は、物体を検出できなかった場合(ステップS103:NO)に、処理をステップS102に戻し、第1段階の設定のフレームレート(検出間隔)で物体の検出を繰り返す。
ステップS104において、画像処理部272は、待機状態の第2段階の設定にする。画像処理部272は、例えば、図4の第2段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS105)。画像処理部272は、イメージセンサ271の画素情報を取得して、第2段階の解像度の簡略化した画像を生成し、例えば、第2段階のフレームレート(検出間隔)で生成した複数の画像により、第1段階で検出した物体に人物の顔が含まれるか否かを検出する。
次に、画像処理部272は、人物の顔を検出したか否かを判定する(ステップS106)。画像処理部272は、人物の顔を検出した場合(ステップS106:YES)に、処理をステップS107に進める。また、画像処理部272は、物体を検出できなかった場合(ステップS106:NO)に、処理をステップS101に戻す。
ステップS107において、画像処理部272は、待機状態の第3段階の設定にする。画像処理部272は、例えば、図4の第3段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS108)。画像処理部272は、イメージセンサ271の画素情報を取得して、第3段階の解像度の画像を生成し、例えば、第3段階のフレームレート(検出間隔)で生成した複数の画像により、第2段階で検出した人物の顔までの距離を検出することで、所定の検出範囲内に利用者が存在するか否かを検出する。
次に、画像処理部272は、利用者が存在するか否かを判定する(ステップS109)。画像処理部272は、利用者が存在することを検出した場合(ステップS109:YES)に、処理をステップS110に進める。また、画像処理部272は、利用者が存在することを検出できなかった場合(ステップS109:NO)に、処理をステップS101に戻す。
ステップS110において、画像処理部272は、利用者の検出をメイン制御部10に通知する。すなわち、画像処理部272は、USBインターフェースのHIDのデバイスクラスによって、利用者の検出したことを示す通知として、待機状態の解除を要求する解除要求をメイン制御部10に通知する。ステップS110の処理後に、画像処理部272は、処理を終了する。
なお、上述した図6に示す例では、ステップS106において、画像処理部272は、物体を検出できなかった場合(ステップS106:NO)に、処理をステップS101に戻する例を説明したが、処理をステップS104に戻して、1段階処理を戻すようにしてもよい。
次に、図7を参照して、本実施形態によるノートPC1の通常稼働状態における動作について説明する。
図7は、本実施形態によるノートPC1の通常稼働状態における動作の一例を示すフローチャートである。ここでは、ノートPC1の撮像部27の動作について説明する。
図7に示すように、通常稼働状態において、撮像部27の画像処理部272は、まず、通常稼働状態の第1段階の設定にする(ステップS201)。画像処理部272は、例えば、図5の第1段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS202)。画像処理部272は、イメージセンサ271の画素情報を取得して、第1段階の解像度の簡略化した画像を生成し、例えば、第1段階のフレームレート(検出間隔)で生成した複数の画像により、利用者の顔の位置を検出する。
次に、画像処理部272は、利用者の顔の位置を検出したか否かを判定する(ステップS203)。画像処理部272は、利用者の顔の位置を検出した場合(ステップS203:YES)に、処理をステップS205に進める。また、画像処理部272は、利用者の顔の位置を検出できなかった場合(ステップS203:NO)に、処理をステップS204に進める。
ステップS204において、画像処理部272は、利用者の不検出をメイン制御部10に通知する。すなわち、画像処理部272は、USBインターフェースのHIDのデバイスクラスによって、利用者の検出結果として、利用者の不検出を示す情報をメイン制御部10に通知する。ステップS204の処理後に、画像処理部272は、処理をステップS201に戻す。
また、ステップS205において、画像処理部272は、通常稼働状態の第2段階の設定にする。画像処理部272は、例えば、図5の第2段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS206)。画像処理部272は、イメージセンサ271の画素情報を取得して、第2段階の解像度の簡略化した画像を生成し、例えば、第2段階のフレームレート(検出間隔)で生成した複数の画像により、利用者の顔の向きを検出する。
次に、画像処理部272は、利用者の顔の向きを検出したか否かを判定する(ステップS207)。画像処理部272は、利用者の顔の向きを検出した場合(ステップS207:YES)に、処理をステップS208に進める。また、画像処理部272は、利用者の顔の向きを検出できなかった場合(ステップS207:NO)に、処理をステップS204に進める。
また、ステップS208において、画像処理部272は、通常稼働状態の第3段階の設定にする。画像処理部272は、例えば、図5の第3段階の設定にして、イメージセンサ271の画素情報の検出を開始する。
次に、画像処理部272は、画像を取得して検出画像処理を行う(ステップS209)。画像処理部272は、イメージセンサ271の画素情報を取得して、第3段階の解像度の画像を生成し、例えば、第3段階のフレームレート(検出間隔)で生成した複数の画像により、例えば、利用者の視線を検出する。
次に、画像処理部272は、利用者の視線の検出により利用者が使用中であるか否かを判定する(ステップS210)。画像処理部272は、利用者が使用中である場合(ステップS210:YES)に、処理をステップS211に進める。また、画像処理部272は、利用者が使用中でない場合(ステップS210:NO)に、処理をステップS204に進める。
ステップS211において、画像処理部272は、利用者の検出をメイン制御部10に通知する。すなわち、画像処理部272は、USBインターフェースのHIDのデバイスクラスによって、利用者の検出結果として、利用者の検出を示す情報をメイン制御部10に通知する。ステップS211の処理後に、画像処理部272は、処理をステップS201に戻す。
画像処理部272は、所定の時間間隔で、ステップS201からステップS211の処理を繰り返す。
次に、図8を参照して、本実施形態によるノートPC1の待機状態と通常稼働状態との遷移動作について説明する。
図8は、本実施形態によるノートPC1の待機状態と通常稼働状態との遷移動作の一例を示す図である。
図8に示すように、ノートPC1のメイン制御部10は、まず、待機状態の検出依頼を撮像部27に送信する(ステップS301)。
次に、メイン制御部10は、待機状態に遷移する(ステップS302)。メイン制御部10の動作制御部101は、例えば、モダンスタンバイモード(S0x状態)やスリープモード(S3状態)などの待機状態に遷移させる。
次に、撮像部27は、待機状態における利用者の検出処理を実行する(ステップS303)。撮像部27の画像処理部272は、待機状態の検出依頼に応じて、例えば、図6に示す利用者の検出処理を実行する。
次に、撮像部27が、利用者を検出した場合に、撮像部27の画像処理部272は、利用者の検出通知(HIDクラスの起動要求)を、メイン制御部10に送信する(ステップS304)。なお、利用者を検出できない場合には、画像処理部272は、上述したステップS303の利用者の検出処理を繰り返し実行する。
次に、メイン制御部10は、利用者の検出通知(HIDクラスの起動要求)に応じて、起動して通常稼働状態に遷移する(ステップS305)。すなわち、メイン制御部10動作制御部101は、ノートPC1の待機状態を解除して起動させ、通常稼働状態に遷移させる。
次に、メイン制御部10は、通常稼働状態の検出依頼を撮像部27に送信する(ステップS306)。
次に、撮像部27は、通常稼働状態における利用者の検出処理を実行する(ステップS307)。撮像部27の画像処理部272は、通常稼働状態の検出依頼に応じて、例えば、図7に示す利用者の検出処理を実行する。
次に、撮像部27の画像処理部272は、所定の時間間隔で、利用者の検出結果(HIDクラスの要求)を、メイン制御部10に送信する(ステップS308)。
なお、画像処理部272は、上述した図7に示すように、ステップS307及びステップS308の処理を所定の時間間隔で繰り返し実行する。
次に、メイン制御部10は、受信した利用者の検出結果に基づいて、利用者を検出したか否かを判定する(ステップS309)。メイン制御部10の動作制御部101は、利用者の検出した場合(ステップS309:YES)に、通常稼働状態の処理を継続する。また、動作制御部101は、利用者の検出できなかった場合(ステップS309:NO)に、処理をステップS302に戻し、通常稼働状態から待機状態に遷移させる。
次に、図9を参照して、本実施形態によるノートPC1の状態遷移について説明する。
図9は、本実施形態によるノートPC1の状態遷移の一例を示す図である。
図9に示すように、ノートPC1が、待機状態(ST1)である場合に、メイン制御部10からの検出依頼に応じて、撮像部27が、第1段階(状態ST2)、第2段階(状態ST3)、第3段階(状態ST4)の順に遷移し、段階的に解像度及びフレームレートを高めて利用者の検出を行う。
第3段階(状態ST4)において、撮像部27が、顔の距離を検出することで、利用者を検出した場合に、ノートPC1は、動作制御部101によって、通常稼働状態(ST5)に遷移する。すなわち、スリープモードなどの待機状態において、撮像部27が所定の検出範囲内に利用者を検出した場合に、ノートPC1は、動作制御部101によって、待機状態から通常稼働状態に遷移する。
また、ノートPC1が、通常稼働状態(ST5)である場合に、メイン制御部10からの検出依頼に応じて、撮像部27が、第1段階(状態ST6)、第2段階(状態ST7)、第3段階(状態ST8)の順に遷移し、段階的に解像度及びフレームレートを高めて利用者の検出を行う。なお、撮像部27が実行する第1段階(状態ST6)、第2段階(状態ST7)、第3段階(状態ST8)の順に遷移する利用者の検出処理は、タイマなどによって所定の時間間隔で定期的に実行される。
第3段階(状態ST4)において、撮像部27が、利用者を検出した場合に、通常稼働状態を維持し、利用者を検出できなかった場合に、ノートPC1は、動作制御部101によって、待機状態(ST1)に遷移する。
このように、通常稼働状態では、利用者がノートPC1を使用していることを検出した場合に、ノートPC1は、通常稼働状態を維持し、利用者の離席や利用者の顔の向き等により、利用者がノートPC1を使用していないことを検出した場合に、動作制御部101によって、通常稼働状態からスリープモード(例えば、表示部14を非表示にする等)などの待機状態に遷移する。
以上説明したように、本実施形態によるノートPC1(情報処理装置)は、撮像部27と、画像処理部272と、動作制御部101とを備える。撮像部27は、複数の画素情報を検出するイメージセンサ271(画像センサ)を有し、イメージセンサ271が検出した複数の画素情報により構成される画像を生成する。画像処理部272は、イメージセンサ271が検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する。動作制御部101は、画像処理部272が所定の範囲内に利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する。撮像部27は、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして複数の画素情報を検出する。すなわち、画像処理部272は、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。
これにより、本実施形態によるノートPC1は、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして検出した複数の画素情報に基づく画像を用いるため、画像の処理量が低減され、例えば、図4に示すように、撮像部27の消費電力を低減することができる。よって、本実施形態によるノートPC1は、待機電力を低減しつつ、利用者の接近を適切に検出することができる。
また、本実施形態によるノートPC1では、人感センサを必要としないため、構成を簡略化することができる。
また、本実施形態では、画像処理部272は、待機状態において、解像度及びフレームレートが第1条件の複数の画像に基づいて、所定の検出範囲内に物体を検出し、所定の範囲内に物体が検出された場合に、解像度及びフレームレートの少なくとも一方が第1条件よりも高い第2条件の複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出する。
これにより、本実施形態によるノートPC1は、待機電力を低減しつつ、利用者の接近を適切に検出することができ、利用者の接近の誤検出を低減することができる。
また、本実施形態では、画像処理部272は、待機状態において、第1段階で、イメージセンサ271の全体の範囲で間引いた第1の解像度、且つ、第1のフレームレートで検出した第1の画像に基づいて、物体を検出する(例えば、図4の第1段階を参照)。画像処理部272は、第1段階において、物体を検出した場合に、第2段階として、第1の解像度よりも解像度を高い第2の解像度、且つ、第1のフレームレートよりも高い第2のフレームレートで検出した第2の画像に基づいて、第1段階で検出した物体に、人物の顔が含まれるか否かを検出する(例えば、図4の第2段階を参照)。画像処理部272は、第2段階において、人物の顔を検出した場合に、第3段階として、第2の解像度よりも解像度を高い第3の解像度、且つ、第2のフレームレートよりも高い第3のフレームレートで検出した第3の画像に基づいて、撮像部27から第2段階で検出した人物の顔までの距離を検出することで、所定の検出範囲内に利用者が存在するか否かを検出する(例えば、図4の第3段階を参照)。
このように、本実施形態によるノートPC1では、段階的により高度な検出を行うことで、利用者の接近を適切に検出することができ、利用者の接近の誤検出を低減することができる。
また、本実施形態では、撮像部27は、画像処理部272を備える。画像処理部272は、待機状態において利用者の存在を検出した場合に、複数の機能を有する複合デバイス(マルチファンクション)として、複数の画素情報により構成される画像を出力するデバイスクラス(例えば、イメージクラス)とは異なるデバイスクラスのインターフェースによって、待機状態の解除を要求する解除要求を出力する。例えば、画像処理部272は、USBインターフェースのHIDのデバイスクラスによって、待機状態の解除を要求する解除要求を出力する。
これにより、本実施形態によるノートPC1は、待機状態において、利用者の接近を検出する際に検出した画像を、撮像部27の外部に出力せずに、検出結果である解除要求のみを撮像部27の外部に出力するため、待機状態において撮像された画像が悪用されることがない。よって、本実施形態によるノートPC1は、セキュリティを確保しつつ、利用者の接近を適切に検出することができる。
また、撮像部27をUSBの複合デバイス(マルチファンクション)として機能させることで、利用者を検出する際に、ノートPC1が通常の画像を使用する処理の場合とは別のデバイスクラスで通信するため、通常の画像を使用する処理に影響されずに、利用者を検出に関する通信を行うことができる。
また、本実施形態では、画像処理部272は、所定の範囲内に検出対象が検出された場合に、検出対象(例えば、物体や人物、顔など)を含む部分範囲に狭めて解像度を高める。
これにより、本実施形態によるノートPC1は、画像の解像度を高めつつ、撮像部27の消費電力の増加を抑制することができるため、待機電力を増加を抑制しつつ、利用者の検出をさらに高精度に行うことができる。
また、本実施形態では、画像処理部272は、待機状態が解除された通常稼働状態において、定期的に所定の検出範囲内に利用者が存在するか否かを検出する。動作制御部101は、通常稼働状態において、画像処理部272が所定の検出範囲内に利用者が存在することを検出できなかった場合に、通常稼働状態から待機状態(例えば、スリープモードなど)に移行させる。
これにより、本実施形態によるノートPC1は、利用者がノートPC1を使用していない場合に、適切に待機状態に移行させることができる。
また、本実施形態では、撮像部27は、通常稼働状態においても、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして複数の画素情報を検出する。画像処理部272は、通常稼働状態において、解像度を低下させて簡略化した画像から段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。例えば、画像処理部272は、通常稼働状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くした画像に基づいて、利用者の顔の位置、顔の向き、及び視線のいずれか又は組み合わせにより、所定の検出範囲内に利用者が存在するか否かを検出する。
これにより、本実施形態によるノートPC1は、通常稼働状態において、消費電力を低減しつつ、利用者がノートPC1を使用していないことを適切に検出することができる。また、本実施形態によるノートPC1は、段階的に解像度及びフレームレートのうちの少なくとも一方を高くすることで、利用者を高精度に検出できるため、利用者の誤検出により、誤って通常稼働状態から待機状態してしまうことを低減することができる。
また、本実施形態によるノートPC1(情報処理装置)は、撮像部27と、画像処理部272と、動作制御部101とを備える。撮像部27は、複数の画素情報を検出するイメージセンサ271(画像センサ)を有し、イメージセンサ271が検出した複数の画素情報により構成される画像を生成する。画像処理部272は、イメージセンサ271が検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する。動作制御部101は、画像処理部272が所定の範囲内に利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する。また、撮像部27は、画像処理部272を備える。画像処理部272は、待機状態において利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、待機状態の解除を要求する解除要求を出力する。
これにより、本実施形態によるノートPC1は、待機状態において、利用者の接近を検出する際に検出した画像を、撮像部27の外部に出力せずに、検出結果である解除要求のみを撮像部27の外部に出力するため、待機状態において撮像された画像が悪用されることがない。よって、本実施形態によるノートPC1は、セキュリティを確保しつつ、利用者の接近を適切に検出することができる。
また、本実施形態による制御方法は、上述した撮像部27を備えるノートPC1(情報処理装置)の制御方法であって、検出ステップと、画像処理ステップと、動作制御ステップとを含む。検出ステップにおいて、撮像部27が、システムの一部機能を停止した待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして複数の画素情報を検出する。画像処理ステップにおいて、画像処理部272が、検出ステップによって検出された複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する。動作制御ステップにおいて、動作制御部101が、画像処理ステップによって、所定の範囲内に利用者が検出された場合に、システムの一部機能を停止した待機状態を解除する。さらに、画像処理ステップにおいて、画像処理部272が、待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして、所定の検出範囲内に利用者が存在するか否かを検出する。
これにより、本実施形態による制御方法は、上述したノートPC1と同様の効果を奏し、待機電力を低減しつつ、利用者の接近を適切に検出することができる。
また、本実施形態による制御方法は、上述した撮像部27を備えるノートPC1(情報処理装置)の制御方法であって、上述した画像処理ステップと、動作制御ステップとを含む。画像処理ステップにおいて、画像処理部272が、待機状態において利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、待機状態の解除を要求する解除要求を出力する。
これにより、本実施形態による制御方法は、上述したノートPC1と同様の効果を奏し、セキュリティを確保しつつ、利用者の接近を適切に検出することができる。
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態では、待機状態において、画像処理部272が、3段階に解像度及びフレームレートを変更して、利用者を検出する例を説明したが、これに限定されるものではなく、例えば、2段階や4段階以上に解像度及びフレームレートを変更するようにしてもよい。また、画像処理部272は、待機状態において、利用者の顔に向きや視線の他に、性別や利用者の顔認証(個人認証)などのさらに高度な検出を行うようにしてもよい。
また、上記の実施形態において、画像処理部272は、解像度とフレームレートとの両方を変更して、撮像部27の消費電力を低減する例を説明したが、解像度とフレームレートとのいずれか一方を変更して、撮像部27の消費電力を低減するようにしてもよい。
また、上記の実施形態では、通常稼働状態において、画像処理部272が、3段階に解像度及びフレームレートを変更して、利用者を検出する例を説明したが、これに限定されるものではなく、例えば、2段階や4段階以上に解像度及びフレームレートを変更するようにしてもよいし、段階的に変更せずに1つの解像度及びフレームレートで検出するようにしてもよい。また、画像処理部272は、通常稼働状態において、利用者の顔に向きや視線の他に、性別や利用者の顔認証(個人認証)などのさらに高度な検出を行うようにしてもよい。
また、上記の実施形態では、通常稼働状態において、画像処理部272が、利用者が検出されなかったこと(利用者が使用していないこと)が、1回検出された場合に、動作制御部101が、スリープモードなどの待機状態に移行させる例を説明したが、これに限定されるものではない。動作制御部101は、画像処理部272によって、所定の回数、又は所定の期間連続して利用者が検出されなかった(利用者が使用していないこと)が検出された場合に、待機状態に移行させるようにしてもよい。
また、上記の実施形態において、撮像部27が、画像処理部272を備える例を説明したが、これに限定されるものではなく、画像処理部272の機能の一部又は全部を、メイン制御部10が備えるようにしてもよい。
また、上記の実施形態において、情報処理装置がノートPC1である例を説明したが、これに限定されるものではなく、例えば、タブレット端末装置、デスクトップPCなどの他の情報処理装置であってもよい。
なお、上述したノートPC1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したノートPC1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したノートPC1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にノートPC1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1 ノートPC
10 メイン制御部
11 CPU
12 メインメモリ
13 ビデオサブシステム
14 表示部
21 チップセット
22 BIOSメモリ
23 HDD
24 オーディオシステム
25 WLANカード
26 USBコネクタ
27 撮像部
31 エンベデッドコントローラ(EC)
32 入力部
33 電源回路
101 動作制御部
271 イメージセンサ
272 画像処理部
上記問題を解決するために、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部と、前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、前記画像処理部が前記所定の範囲内に前記利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部とを備え、前記撮像部は、前記待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出し、前記画像処理部は、前記待機状態において、前記解像度及び前記フレームレートが第1条件の前記複数の画像に基づいて、前記所定の検出範囲内に物体を検出し、前記所定の範囲内に前記物体が検出された場合に、前記解像度及び前記フレームレートの少なくとも一方が前記第1条件よりも高い第2条件の前記複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出し、第1段階で、前記画像センサの全体の範囲で間引いた第1の解像度、且つ、第1のフレームレートで検出した第1の画像に基づいて、前記物体を検出し、前記第1段階において、前記物体を検出した場合に、第2段階として、前記第1の解像度よりも高い第2の解像度、且つ、前記第1のフレームレートよりも高い第2のフレームレートで検出した第2の画像に基づいて、前記第1段階で検出した前記物体に、人物の顔が含まれるか否かを検出し、前記第2段階において、前記人物の顔を検出した場合に、第3段階として、前記第2の解像度よりも高い第3の解像度、且つ、前記第2のフレームレートよりも高い第3のフレームレートで検出した第3の画像に基づいて、前記撮像部から前記第2段階で検出した前記人物の顔までの距離を検出することで、前記所定の検出範囲内に前記利用者が存在するか否かを検出する情報処理装置である。
また、本発明の一態様は、複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部を備える情報処理装置の制御方法であって、前記撮像部が、システムの一部機能を停止した待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する検出ステップと、画像処理部が、前記検出ステップによって検出された前記複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理ステップと、動作制御部が、前記画像処理ステップによって、前記所定の範囲内に前記利用者が検出された場合に、前記待機状態を解除する動作制御ステップとを含み、前記画像処理ステップにおいて、前記画像処理部が、前記待機状態において、前記解像度及び前記フレームレートが第1条件の前記複数の画像に基づいて、前記所定の検出範囲内に物体を検出し、前記所定の範囲内に前記物体が検出された場合に、前記解像度及び前記フレームレートの少なくとも一方が前記第1条件よりも高い第2条件の前記複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出し、第1段階で、前記画像センサの全体の範囲で間引いた第1の解像度、且つ、第1のフレームレートで検出した第1の画像に基づいて、前記物体を検出し、前記第1段階において、前記物体を検出した場合に、第2段階として、前記第1の解像度よりも高い第2の解像度、且つ、前記第1のフレームレートよりも高い第2のフレームレートで検出した第2の画像に基づいて、前記第1段階で検出した前記物体に、人物の顔が含まれるか否かを検出し、前記第2段階において、前記人物の顔を検出した場合に、第3段階として、前記第2の解像度よりも高い第3の解像度、且つ、前記第2のフレームレートよりも高い第3のフレームレートで検出した第3の画像に基づいて、前記撮像部から前記第2段階で検出した前記人物の顔までの距離を検出することで、前記所定の検出範囲内に前記利用者が存在するか否かを検出する制御方法である。
画像処理部272は、第段階において、顔の向きを検出した場合に、第3段階として、中解像度(第5の解像度)よりも解像度を高めた高解像度(第6の解像度)、且つ、中低速(第5のフレームレート)よりも速い(高い)中速(第6のフレームレート)で検出した第6の画像に基づいて、例えば、既存の画像処理技術を利用して、顔の視線、及び顔の向きを検出することで、利用者がノートPC1を使用している状態であるか否かを検出する。
このように、画像処理部272は、通常稼働状態において、段階的に解像度及びフレームレートを高くした画像に基づいて、利用者の顔の位置、顔の向き、及び視線のいずれか又は組み合わせにより、所定の検出範囲内に利用者が存在するか否かを検出する。
次に、画像処理部272は、人物の顔を検出したか否かを判定する(ステップS106)。画像処理部272は、人物の顔を検出した場合(ステップS106:YES)に、処理をステップS107に進める。また、画像処理部272は、人物の顔を検出できなかった場合(ステップS106:NO)に、処理をステップS101に戻す。

Claims (12)

  1. 複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部と、
    前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、
    前記画像処理部が前記所定の範囲内に前記利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部と
    を備え、
    前記撮像部は、前記待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する
    情報処理装置。
  2. 前記画像処理部は、前記待機状態において、前記解像度及び前記フレームレートが第1条件の前記複数の画像に基づいて、前記所定の検出範囲内に物体を検出し、前記所定の範囲内に前記物体が検出された場合に、前記解像度及び前記フレームレートの少なくとも一方が前記第1条件よりも高い第2条件の前記複数の画像に基づいて、所定の検出範囲内に前記利用者が存在するか否かを検出する
    請求項1に記載の情報処理装置。
  3. 前記画像処理部は、
    第1段階で、前記画像センサの全体の範囲で間引いた第1の解像度、且つ、第1のフレームレートで検出した第1の画像に基づいて、前記物体を検出し、
    前記第1段階において、前記物体を検出した場合に、第2段階として、前記第1の解像度よりも高い第2の解像度、且つ、前記第1のフレームレートよりも高い第2のフレームレートで検出した第2の画像に基づいて、前記第1段階で検出した前記物体に、人物の顔が含まれるか否かを検出し、
    前記第2段階において、前記人物の顔を検出した場合に、第3段階として、前記第2の解像度よりも高い第3の解像度、且つ、前記第2のフレームレートよりも高い第3のフレームレートで検出した第3の画像に基づいて、前記撮像部から前記第2段階で検出した前記人物の顔までの距離を検出することで、前記所定の検出範囲内に前記利用者が存在するか否かを検出する
    請求項2に記載の情報処理装置。
  4. 前記撮像部は、前記画像処理部を備え、
    前記画像処理部は、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力する
    請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5. 前記画像処理部は、USB(Universal Serial Bus)インターフェースのHID(Human Interface Device class)のデバイスクラスによって、前記解除要求を出力する
    請求項4に記載の情報処理装置。
  6. 前記画像処理部は、前記所定の範囲内に検出対象が検出された場合に、前記検出対象を含む部分範囲に狭めて解像度を高める
    請求項1から請求項5のいずれか一項に記載の情報処理装置。
  7. 前記画像処理部は、前記待機状態が解除された通常稼働状態において、定期的に前記所定の検出範囲内に前記利用者が存在するか否かを検出し、
    前記動作制御部は、前記通常稼働状態において、前記画像処理部が前記所定の検出範囲内に前記利用者が存在することを検出できなかった場合に、前記通常稼働状態から前記待機状態に移行させる
    請求項1から請求項5のいずれか一項に記載の情報処理装置。
  8. 前記撮像部は、前記通常稼働状態においても、段階的に前記解像度及び前記フレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する
    請求項7に記載の情報処理装置。
  9. 前記画像処理部は、前記通常稼働状態において、段階的に前記解像度及び前記フレームレートのうちの少なくとも一方を高くした画像に基づいて、前記利用者の顔の位置、顔の向き、及び視線のいずれか又は組み合わせにより、前記所定の検出範囲内に前記利用者が存在するか否かを検出する
    請求項7又は請求項8に記載の情報処理装置。
  10. 複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部と、
    前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理部と、
    前記画像処理部が前記所定の範囲内に前記利用者を検出した場合に、システムの一部機能を停止した待機状態を解除する動作制御部と
    を備え、
    前記撮像部は、前記画像処理部を備え、
    前記画像処理部は、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力する
    情報処理装置。
  11. 複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部を備える情報処理装置の制御方法であって、
    前記撮像部が、システムの一部機能を停止した待機状態において、段階的に解像度及びフレームレートのうちの少なくとも一方を高くして前記複数の画素情報を検出する検出ステップと、
    画像処理部が、前記検出ステップによって検出された前記複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理ステップと、
    動作制御部が、前記画像処理ステップによって、前記所定の範囲内に前記利用者が検出された場合に、前記待機状態を解除する動作制御ステップと
    を含む制御方法。
  12. 複数の画素情報を検出する画像センサを有し、前記画像センサが検出した前記複数の画素情報により構成される画像を生成する撮像部を備える情報処理装置の制御方法であって、
    画像処理部が、前記画像センサが検出した複数の画素情報により構成される画像に基づいて、所定の検出範囲内に利用者が存在するか否かを検出する画像処理ステップと、
    動作制御部が、前記画像処理ステップによって、前記所定の範囲内に前記利用者が検出された場合に、システムの一部機能を停止した待機状態を解除する動作制御ステップと
    を含み、
    前記撮像部は、前記画像処理部を備えており、
    前記画像処理ステップにおいて、前記画像処理部が、前記待機状態において前記利用者の存在を検出した場合に、複数の機能を有する複合デバイスとして、前記複数の画素情報により構成される画像を出力するデバイスクラスとは異なるデバイスクラスのインターフェースによって、前記待機状態の解除を要求する解除要求を出力する
    制御方法。
JP2019178351A 2019-09-30 2019-09-30 情報処理装置、及び制御方法 Active JP6918886B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019178351A JP6918886B2 (ja) 2019-09-30 2019-09-30 情報処理装置、及び制御方法
US16/777,331 US11327548B2 (en) 2019-09-30 2020-01-30 Information processing apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019178351A JP6918886B2 (ja) 2019-09-30 2019-09-30 情報処理装置、及び制御方法

Publications (2)

Publication Number Publication Date
JP2021057721A true JP2021057721A (ja) 2021-04-08
JP6918886B2 JP6918886B2 (ja) 2021-08-11

Family

ID=75161941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019178351A Active JP6918886B2 (ja) 2019-09-30 2019-09-30 情報処理装置、及び制御方法

Country Status (2)

Country Link
US (1) US11327548B2 (ja)
JP (1) JP6918886B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036975B1 (ja) * 2021-05-31 2022-03-15 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
EP4066669A1 (en) 2021-03-30 2022-10-05 ASICS Corporation Upper, shoe, and method of producing upper
WO2023120060A1 (ja) * 2021-12-23 2023-06-29 ソニーセミコンダクタソリューションズ株式会社 電子機器、制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115649A (ja) * 2011-11-29 2013-06-10 Toshiba Corp 制御装置、電力量制御方法
JP2016062148A (ja) * 2014-09-16 2016-04-25 株式会社東芝 情報処理装置および画像入力装置
JP2016178348A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255922A (ja) 2002-02-27 2003-09-10 Toshiba Corp 表示装置、端末処理装置、及び、端末処理方法
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
EP3477425B1 (en) * 2017-10-27 2020-09-16 Fujitsu Client Computing Limited Computer system, client device and display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115649A (ja) * 2011-11-29 2013-06-10 Toshiba Corp 制御装置、電力量制御方法
JP2016062148A (ja) * 2014-09-16 2016-04-25 株式会社東芝 情報処理装置および画像入力装置
JP2016178348A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4066669A1 (en) 2021-03-30 2022-10-05 ASICS Corporation Upper, shoe, and method of producing upper
JP7036975B1 (ja) * 2021-05-31 2022-03-15 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
US11669142B2 (en) 2021-05-31 2023-06-06 Lenovo (Singapore) Pte. Ltd. Electronic apparatus and control method that accurately detect human faces
WO2023120060A1 (ja) * 2021-12-23 2023-06-29 ソニーセミコンダクタソリューションズ株式会社 電子機器、制御方法及びプログラム

Also Published As

Publication number Publication date
US11327548B2 (en) 2022-05-10
US20210096632A1 (en) 2021-04-01
JP6918886B2 (ja) 2021-08-11

Similar Documents

Publication Publication Date Title
JP6918886B2 (ja) 情報処理装置、及び制御方法
JP6215630B2 (ja) データトランザクションによって電力供給を制御するSoC、及びその動作方法
KR20200101207A (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US11216053B2 (en) Systems, apparatus, and methods for transitioning between multiple operating states
EP3889735A1 (en) Information processing apparatus and control method
US20160117269A1 (en) System and method for providing universal serial bus link power management policies in a processor environment
EP2818971B1 (en) Electronic device, method for controlling electronic device, and program
JP2019046391A (ja) 情報処理装置、制御方法、及びプログラム
US20140292776A1 (en) Electronic apparatus and control method
US11163354B2 (en) Information processing apparatus, and control method
US11392240B2 (en) Information processing apparatus, information processing system, and control method
US20210096624A1 (en) Electronic apparatus and operation information output method
US11409542B2 (en) Information sharing between operating systems of the same device
JP6982649B2 (ja) 情報処理装置、及び制御方法
US8041846B2 (en) Apparatus with reduced latency for master and slave storage devices
JP7105827B2 (ja) 情報処理装置、及び表示制御方法
US11481021B2 (en) Information processing apparatus and control method
JP7348360B1 (ja) 情報処理装置、タッチデバイス、及び制御方法
US11928266B2 (en) Information processing apparatus and controlling method
JP5529098B2 (ja) コンピューティング装置、同期方法、及びコンピュータが実行可能なプログラム
US10997046B2 (en) Integrity check staging
JP2022116793A (ja) 情報処理装置、及び制御方法
JP2022136411A (ja) 情報処理装置、及び制御方法
JP2006065760A (ja) 情報処理システム、電子機器及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6918886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350