CN115482568A - 电子设备以及控制方法 - Google Patents

电子设备以及控制方法 Download PDF

Info

Publication number
CN115482568A
CN115482568A CN202210518960.1A CN202210518960A CN115482568A CN 115482568 A CN115482568 A CN 115482568A CN 202210518960 A CN202210518960 A CN 202210518960A CN 115482568 A CN115482568 A CN 115482568A
Authority
CN
China
Prior art keywords
face
detection
unit
operation state
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210518960.1A
Other languages
English (en)
Inventor
小杉和宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN115482568A publication Critical patent/CN115482568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security

Abstract

本发明的课题为根据需要确保检测性能且抑制功耗的同时高精度检测使用电子设备的人。电子设备具备执行系统处理的处理部、暂时存储由拍摄装置拍摄到的图像的图像数据的存储器、处理存储于存储器的图像数据的处理器、及控制系统的动作状态的动作控制部。处理器具备对存储于存储器的图像的图像数据进行处理,从图像中检测拍摄有面部的面部区域和面部朝向的面部检测部。动作控制部根据面部检测部的检测结果将系统的动作状态控制为第一动作状态或第二动作状态。面部检测部在第一动作状态下从图像的图像区域中的第一检测范围检测面部区域和面部朝向,在第二动作状态下从图像的图像区域中的比第一检测范围窄的第二检测范围检测面部区域不检测面部朝向。

Description

电子设备以及控制方法
技术领域
本发明涉及电子设备以及控制方法。
背景技术
有一种电子设备,若人接近则转移至可使用的状态,若人离开则转移至除一部分功能外停止的待机状态。例如,在专利文献1中,使用红外线传感器,检测人是否接近或者人是否远离。
近年来,随着计算机视觉等的发展,从图像检测面部时的检测精度越来越高。因此,开始利用面部检测,来代替利用红外线传感器的人的检测。在使用红外线传感器的情况下,无论是人还是人以外的物体,红外线都会反射并返回,但通过利用面部检测,能够防止将单纯的物体错误地检测为人。
专利文献1:日本特开2016-148895号公报
然而,在如咖啡馆等那样有用户以外的人往来那样的公共场所,使用电子设备的机会增多,在这样的场所,存在电子设备检测到用户以外的人而转移至可使用的状态的担忧。另外,当在公共场所用户在工作中使用电子设备时,需要注意来自用户以外的人的窥视(Sholder surfing)。因此,电子设备也检测来自用户以外的人的窥视。该窥视的检测由于除了检测用户的面部以外,还需要检测用户的周边的其他人的面部以及面部的朝向,因此功耗也提高检测性能提高的量。
发明内容
本发明是鉴于上述的情况而完成的,目的之一在于提供一种电子设备以及控制方法,根据需要确保检测性能,并且抑制功耗的同时高精度地检测使用的人。
本发明是为了解决上述的课题而完成的,本发明的第一方式所涉及的电子设备具备:处理部,执行基于系统的系统处理;存储器,暂时存储由拍摄装置拍摄到的图像的图像数据;处理器,处理存储于上述存储器的图像数据;以及动作控制部,控制上述系统的动作状态,上述处理器具备面部检测部,该面部检测部对由上述拍摄装置拍摄规定的拍摄范围并存储于上述存储器的图像的图像数据进行处理,从上述图像中检测拍摄有面部的面部区域和上述面部的朝向,上述动作控制部根据上述面部检测部的检测结果,将上述系统的动作状态控制为第一动作状态或第二动作状态,其中,在上述第二动作状态下,与上述第一动作状态相比,上述系统处理的至少一部分受到限制,在上述第一动作状态下,上述面部检测部从上述图像的图像区域中的第一检测范围检测上述面部区域和上述面部的朝向,在上述第二动作状态下,上述面部检测部从上述图像的图像区域中的比上述第一检测范围窄的第二检测范围检测上述面部区域,而不检测上述面部的朝向。
在上述电子设备中,也可以当在上述第一动作状态下从由上述面部检测部检测出上述面部区域的状态不再检测出上述面部区域的情况下,上述动作控制部转移至上述第二动作状态,当在上述第二动作状态下从由上述面部检测部未检测出上述面部区域的状态检测出上述面部区域的情况下,上述动作控制部转移至上述第一动作状态。
在上述电子设备中,也可以当在上述第一动作状态下检测出的上述面部的朝向是侧脸的情况下,上述面部检测部停止上述面部的朝向的检测。
在上述电子设备中,也可以当在上述第一动作状态下检测出的上述面部的朝向是侧脸的情况下,上述面部检测部将进行上述面部的检测时的检测范围切换为上述第二检测范围。
上述电子设备也可以还具备显示亮度变更部,在上述第一动作状态下由上述面部检测部检测出的上述面部的朝向是侧脸的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
上述电子设备也可以还具备连接检测部,该连接检测部检测与外部显示器的连接,在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述面部检测部停止上述面部的朝向的检测。
在上述电子设备中,也可以在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述面部检测部将进行面部的检测时的检测范围切换为上述第二检测范围。
在上述电子设备中,也可以还具备显示亮度变更部,在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
在上述电子设备中,上述面部检测部也可以在上述第一动作状态下,基于用户的指示来停止上述面部的朝向的检测。
在上述电子设备中,上述面部检测部也可以在上述第一动作状态下,基于用户的指示,将进行上述面部的检测时的检测范围切换为上述第二检测范围。
另外,本发明的第二方式所涉及的控制方法是电子设备的控制方法,上述电子设备具备:存储器,暂时存储由拍摄装置拍摄到的图像的图像数据;以及处理器,处理存储于上述存储器的图像数据,上述控制方法包含:处理部执行基于系统的系统处理的步骤;动作控制部控制上述系统的动作状态的步骤;以及在上述处理器中,面部检测部对由上述拍摄装置拍摄规定的拍摄范围并存储于上述存储器的图像的图像数据进行处理,从上述图像中检测拍摄有面部的面部区域和上述面部的朝向的步骤,在上述动作控制部控制的步骤中,根据上述面部检测部的检测结果,将上述系统的动作状态控制为第一动作状态或第二动作状态,其中,在上述第二动作状态下,与上述第一动作状态相比,上述系统处理的至少一部分受到限制,在上述面部检测部进行的步骤中,在上述第一动作状态下从上述图像的图像区域中的第一检测范围检测面部区域和上述面部的朝向,在上述第二动作状态下从上述图像的图像区域中的比上述第一检测范围窄的第二检测范围检测上述面部区域,而不检测上述面部的朝向。
根据本发明的上述方式,能够根据需要确保检测性能,并且抑制功耗的同时高精度地检测使用电子设备的人。
附图说明
图1是对第一实施方式所涉及的电子设备的HPD处理的概要进行说明的图。
图2是表示第一实施方式所涉及的通常动作状态下的面部的检测范围的一个例子的图。
图3是表示第一实施方式所涉及的待机状态下的面部的检测范围的一个例子的图。
图4是表示第一实施方式所涉及的HPD处理的检测模式的切换的一个例子的转移图。
图5是表示第一实施方式所涉及的电子设备的外观的构成例的立体图。
图6是表示第一实施方式所涉及的电子设备的构成例的框图。
图7是表示第一实施方式所涉及的人检测部的构成的一个例子的框图。
图8是表示第一实施方式所涉及的HPD处理的一个例子的流程图。
图9是表示第二实施方式所涉及的通常动作状态下的检测模式切换处理的一个例子的流程图。
图10是表示第三实施方式所涉及的EC的构成的一个例子的框图。
图11是表示第三实施方式所涉及的通常动作状态下的检测模式切换处理的一个例子的流程图。
图12是表示第四实施方式所涉及的EC的构成的一个例子的框图。
图13是表示第四实施方式所涉及的通常动作状态下的显示亮度控制处理的一个例子的流程图。
图14是表示第五实施方式所涉及的EC的构成的一个例子的框图。
图15是表示第五实施方式所涉及的通常动作状态下的显示亮度控制处理的一个例子的流程图。
附图标记说明
1…电子设备,10…第一框体,20…第二框体,15…铰接机构,110…显示部,120…拍摄部,130…加速度传感器,140…电源按钮,160…影像输出端子,150…输入设备,151…键盘,153…触摸板,200、200A、200B、200C…EC,210…人检测部,211…面部检测部,212…面部区域检测部,213…面部方向检测部,214…检测范围设定部,215…人判定部,220…动作控制部,230…连接检测部,240、240C…显示亮度变更部,300…系统处理部,302…CPU,304…GPU,306…存储器控制器,308…I/O控制器,310…系统存储器,350…通信部,360…存储部,400…电源部。
具体实施方式
以下,参照附图,对本发明的实施方式进行说明。
<第一实施方式>
[概要]
首先,对第一实施方式所涉及的电子设备1的概要进行说明。本实施方式所涉及的电子设备1例如是笔记本型的PC(Personal Computer;个人计算机)。此外,电子设备1也可以是台式PC、平板终端装置、智能手机等任意形式的电子设备。
电子设备1能够在作为系统的动作状态的至少“通常动作状态”(第一动作状态)和“待机状态”(第二动作状态)之间转移。所谓的通常动作状态是指能够没有特别限制地执行处理的动作状态,例如,相当于在ACPI(Advanced Configuration and Power Interface:高级配置和电源接口)中规定的S0状态。所谓的待机状态是指系统处理的至少一部分受到限制的状态。例如,待机状态是备用状态、睡眠状态等,可以是相当于Windows(注册商标)中的挂机待机、在ACPI中规定的S3状态(睡眠状态)等的状态。例如,待机状态是期待功耗比通常动作状态低的动作状态。另外,在系统的动作状态中,包含功耗比待机状态更低的状态的“停止状态”。所谓的停止状态例如是休眠状态、断电状态等。休眠状态例如相当于在ACPI中规定的S4状态。断电状态例如相当于在ACPI中规定的S5状态(关机的状态)。
以下,存在将系统的动作状态从待机状态或者停止状态转移至通常动作状态称为起动的情况。由于待机状态和停止状态的动作的活性度比通常动作状态的动作的活性度低,所以使电子设备1的系统起动会使电子设备1中的系统的动作激活。
图1是对本实施方式所涉及的电子设备1的HPD处理的概要进行说明的图。电子设备1检测存在于电子设备1的附近的人(即,用户)。将检测该人的存在的处理称为HPD(HumanPresence Detection:人体存在检测)处理。电子设备1通过HPD处理检测有无人的存在,并基于检测结果来控制电子设备1的系统的动作状态。例如,如图1的(A)所示,电子设备1当检测出从在电子设备1前面(正面)不存在人的状态(Absence)变化为存在人的状态(Presence),即检测出人接近电子设备1(Approach)的情况下,判定为用户接近,并自动地起动系统转移至通常动作状态。另外,如图1的(B)所示,电子设备1当在电子设备1的前面存在人的状态(Presence)下,判定为存在用户,并持续通常动作状态。而且,如图1的(C)所示,电子设备1在检测出从在电子设备1的前面(正面)存在人的状态(Presence)变化为不存在人的状态(Absence),即检测出人离开电子设备1(Leave)的情况下,判定为用户离开,并使系统转移至待机状态。
例如,电子设备1通过从拍摄前方(正面侧)所得的拍摄图像中检测拍摄有面部的面部区域,来判定在电子设备1的前面(正面)是否存在用户。在从拍摄图像中检测出面部区域的情况下,电子设备1判定为存在用户。另一方面,在未从拍摄图像中检测出面部区域的情况下,电子设备1判定为不存在用户。即,电子设备1在从拍摄图像中未检测出面部区域的状态检测出面部区域的情况下,检测到用户接近了电子设备1(Approach),并使系统转移至通常动作状态。另外,电子设备1在从拍摄图像中检测出面部区域的状态不再检测出面部区域的情况下,检测到用户离开电子设备1(Leave),并使系统转移至待机状态。
然而,在如咖啡馆等那样有用户以外的人的往来的公共场所使用电子设备的机会增多。在这样的场所,存在用户以外的人也在电子设备1的附近通过的情况。因此,存在电子设备1检测用户以外的人的面部而起动的情况。因此,在本实施方式中,在待机状态下缩小检测面部时的检测范围。由此,难以检测用户以外的人的面部。
图2是表示本实施方式所涉及的通常动作状态下的面部的检测范围的一个例子的图。另外,图3是表示本实施方式所涉及的待机状态下的面部的检测范围的一个例子的图。如图示那样,在通常动作状态下检测面部时的检测范围DR1被设定为拍摄图像的图像区域的所有范围。换句话说,在通常动作状态下,拍摄图像中显现的面部全部成为检测的对象。另一方面,在待机状态下检测面部时的检测范围DR2被限定为拍摄图像的图像区域的一部分范围。例如,检测范围DR2被设定为从拍摄图像的图像区域的中心起水平方向和垂直方向上均以一半左右的宽度和长度的框围起的范围。换句话说,在待机状态下,在拍摄图像的检测范围DR2的外侧即使显现面部也不会成为检测的对象。
以下,将通常动作状态下的面部的检测范围DR1称为“全范围”。另外,将待机状态下的面部的检测范围DR2称为“半范围”。电子设备1在通常动作状态下在全范围进行面部检测,在待机状态下在半范围进行面部检测。此外,将待机状态下的面部的检测范围DR2设定为比通常动作状态下的面部的检测范围DR1窄的范围即可,各个范围的大小能够在拍摄图像的图像区域内设定为任意的大小。
另外,例如当在公共场所用户因工作使用电子设备1时,需要注意来自用户以外的人的窥视。因此,电子设备1也可以检测有可能正在窥视(Sholder surfing)的人。该窥视的检测在通常动作状态下,除了用户的面部的检测以外,还需要检测用户的周边的其他人的面部以及面部的朝向。因此,电子设备1在通常动作状态和待机状态下不仅变更面部的检测范围也变更检测功能。在这里,将通常动作状态下的HPD处理的检测模式称为“第一检测模式”,将待机状态下的HPD处理的检测模式称为“第二检测模式”。
图4是表示本实施方式所涉及的HPD处理的检测模式的切换的一个例子的转移图。在待机状态下,电子设备1以在半范围从拍摄图像中检测拍摄有面部的面部区域的第二检测模式来进行HPD处理。由于待机状态是用户未使用电子设备1的状态,所以期待抑制功耗。在这一点,第二检测模式更适合,因为第二检测模式的检测范围窄并且不进行面部的朝向的检测,所以与第一检测模式相比为低功耗。另外,由于第二检测模式缩小了检测范围,所以能够抑制电子设备1检测用户以外的人的面部而起动。当以第二检测模式从拍摄图像中未检测出面部区域的状态检测出面部区域的情况下,电子设备1检测到用户接近电子设备1(Approach),使系统转移至通常动作状态。
在通常动作状态下,电子设备1以在全范围从拍摄图像中检测面部区域和面部的朝向的第一检测模式来进行HPD处理。第一检测模式由于在全范围进行面部区域的检测和面部的朝向的检测所以检测性能较高,也能够检测有可能正在窥视(Sholder surfing)的用户以外的人。当以第一检测模式从拍摄图像中检测出面部区域的状态不再检测出面部区域的情况下,电子设备1检测到用户离开电子设备1(Leave),使系统转移至待机状态。
另外,在待机状态和通常动作状态中的任意一个状态下,电子设备1通过电源断开(Power off)的指示、转移至休眠(Hibernation)状态的指示、或者关闭电子设备1(笔记本型的PC)等,转移至停止状态。在停止状态下,停止基于HPD处理的检测。另外,电子设备1根据从停止状态接通电源(Power on)的指示或者打开电子设备1(笔记本型的PC)等,转移至通常动作状态。
接下来,对本实施方式所涉及的电子设备1的构成进行详细说明。
[电子设备的外观构成]
图5是表示本实施方式所涉及的电子设备1的外观的构成例的立体图。
电子设备1具备第一框体10、第二框体20以及铰接机构15。第一框体10和第二框体20使用铰接机构15结合。第一框体10能够相对于第二框体20绕由铰接机构15形成的旋转轴相对地转动。将由第一框体10和第二框体20的转动形成的张角图示为“θ”。
第一框体10也被称为A盖、显示器框体。第二框体20也被称为C盖、系统框体。在以下的说明中,将第一框体10和第二框体20的侧面中的具备铰接机构15的面分别称为侧面10c、20c。将第一框体10和第二框体20的侧面中的与侧面10c、20c相反侧的面分别称为侧面10a、20a。在图示中,将从侧面20a朝向侧面20c的方向称为“后”,将从侧面20c朝向侧面20a的方向称为“前”。相对于后方将右方、左方分别称为“右”、“左”。将第一框体10、第二框体20的左侧面分别称为侧面10b、20b,将右侧面分别称为侧面10d、20d。另外,将第一框体10与第二框体20重合而完全闭合的状态(张角θ=0°的状态)称为“闭合状态”。在闭合状态下,将第一框体10与第二框体20的相互相对的一侧的面称为各自的“内表面”,将与内表面相反侧的面称为“外表面”。另外,将相对于闭合状态打开第一框体10和第二框体20的状态称为“打开状态”。
图5所示的电子设备1的外观表示打开状态的例子。打开状态是第一框体10的侧面10a与第二框体20的侧面20a分离的状态。在打开状态下,露出第一框体10和第二框体20的各自的内表面。打开状态是用户使用电子设备1时的状态之一,典型地,大多在张角θ=100~130°左右的状态下使用。此外,成为打开状态的张角θ的范围能够根据可通过铰接机构15转动的角度的范围等任意地规定。
在第一框体10的内表面设置有显示部110。显示部110包含液晶显示器(LCD:Liquid Crystal Display)、有机EL(Electro Luminescence)显示器等而构成。另外,在第一框体10的内表面中的显示部110的周边的区域设置有拍摄部120。例如,拍摄部120配置在显示部110的周边的区域中的侧面10a侧。此外,配置拍摄部120的位置是一个例子,只要能够朝向与第一框体10的内表面相对的方向(前方),也可以是其他部位。
在打开状态下,拍摄部120与第一框体10的内表面相对的方向(前方)的规定的拍摄范围。所谓的规定的拍摄范围是由拍摄部120所具有的拍摄元件和设置在拍摄元件的拍摄面的前方的光学透镜规定的视角的范围。例如,拍摄部120能够拍摄包含存在于电子设备1的前面(正面)的人的图像。
另外,在第二框体20的侧面20b设置有电源按钮140。电源按钮140是用于用户指示电源接通(从停止状态向通常动作状态转移)、电源断开(从通常动作状态向停止状态的转移)的操作件。另外,在第二框体20的内表面,作为输入设备设置有键盘151和触摸板153。此外,作为输入设备,也可以代替键盘151和触摸板153、或者除了键盘151和触摸板153以外,包含触摸传感器,也可以连接鼠标、外接键盘。在设置有触摸传感器的构成的情况下,与显示部110的显示面对应的区域也可以构成为受理操作的触摸面板。另外,输入设备也可以包含输入声音的麦克风。
此外,在第一框体10与第二框体20闭合的闭合状态下,设置于第一框体10的内表面的显示部110和拍摄部120、以及设置于第二框体20的内表面的键盘151和触摸板153相互被另一个框体面覆盖,成为无法发挥功能的状态。
[电子设备的构成]
图6是表示本实施方式所涉及的电子设备1的构成例的框图。电子设备1构成为包含显示部110、拍摄部120、加速度传感器130、电源按钮140、输入设备150、影像输出端子160、EC(Embedded Controller:嵌入式控制器)200、人检测部210、系统处理部300、通信部350、存储部360以及电源部400。显示部110显示基于由系统处理部300执行的系统处理以及在系统处理上动作的应用程序的处理等生成的显示数据(图像)。
拍摄部120拍摄与第一框体10的内表面相对的方向(前方)的规定的视角内的物体的图像,并将拍摄的图像输出至系统处理部300以及人检测部210。拍摄部120可以是红外线相机,也可以是通常的相机。红外线相机是具备红外线传感器作为拍摄元件的相机。通常的相机是具备接受可见光线的可见光传感器作为拍摄元件的相机(例如,RGB相机)。此外,在为通常的相机的情况下,用于面部检测时的拍摄图像也可以是减少了颜色数量的图像(例如,单色图像)。
加速度传感器130检测电子设备1的动作,并将表示检测结果的检测信号输出至EC200。例如,加速度传感器130在电子设备1被移动时、电子设备1被手持而不稳定地移动时等,根据其动作输出检测信号。此外,也可以代替加速度传感器130或者除了加速度传感器130以外,具备陀螺仪传感器、倾斜传感器、地磁传感器等。
电源按钮140根据用户的操作将操作信号输出至EC200。输入设备150是受理用户的输入的输入部,例如构成为包含键盘151和触摸板153。输入设备150根据受理针对键盘151和触摸板153的操作,将表示操作内容的操作信号输出至EC200。
影像输出端子160是用于与外部显示器(显示装置)连接的连接端子。例如,影像输出端子160是HDMI(注册商标)端子、USB Type-C端子、显示端口等。
电源部400根据电子设备1的各部的动作状态经由用于向各部供给电力的电源系统供给电力。电源部400具备DC(Direct Current:直流)/DC转换器。DC/DC转换器将从AC(Alternate Current:交流)/DC适配器或电池组供给的直流电力的电压转换为在各部要求的电压。由DC/DC转换器转换电压后的电力经由各电源系统被供给至各部。例如,电源部400基于与从EC200输入的各部的动作状态相应的控制信号经由各电源系统向各部供给电力。
EC200是构成为包含CPU(Central Processing Unit:中央处理器)、RAM(RandomAccess Memory:随机存储器)、ROM(Read Only Memory:只读存储器)以及I/O(Input/Output:输入/输出)逻辑电路等的微型计算机。EC200的CPU读出预先存储于自己的ROM的控制程序(固件),并执行读出的控制程序,发挥其功能。EC200与系统处理部300独立地动作,控制系统处理部300的动作,并管理其动作状态。另外,EC200与加速度传感器130、电源按钮140、输入设备150、人检测部210以及电源部400等连接。
例如,EC200通过与电源部400进行通信,从电源部400获取蓄电池的状态(剩余容量等)的信息,并且将用于控制与电子设备1的各部的动作状态相应的电力的供给的控制信号等输出至电源部400。另外,EC200从电源按钮140、输入设备150获取操作信号,并将获取到的操作信号中的与系统处理部300的处理相关的操作信号输出至系统处理部300。另外,EC200基于来自加速度传感器130的检测信号检测电子设备1的动作。例如,EC200基于来自加速度传感器130的检测信号检测电子设备1是静止的状态或者是移动的状态等。另外,EC200具备基于人检测部210的检测结果控制系统的动作的动作控制部220。
人检测部210是处理由拍摄部120拍摄的拍摄图像的图像数据的处理器。例如,人检测部210经由系统处理部300获取由拍摄部120拍摄到的拍摄图像。此外,人检测部210也可以从拍摄部120直接获取由拍摄部120拍摄到的拍摄图像。人检测部210通过从拍摄图像检测面部区域来检测用户的存在,并基于检测结果来执行HPD处理。
人检测部210通过从由拍摄部120拍摄到的拍摄图像检测面部区域,来检测在电子设备1的前方是否存在用户。例如,在用户接近了电子设备1的情况下,人检测部210的检测状态从在电子设备1的前方不存在用户的状态变化为在电子设备1的前方存在用户的状态。另外,在用户在电子设备1的前面使用电子设备1的情况下,人检测部210持续检测在电子设备1的前方存在用户。另外,在用户离开电子设备1的情况下,人检测部210的检测状态从在电子设备1的前方存在用户的状态变化为在电子设备1的前方不存在用户的状态。这样,人检测部210通过检测在电子设备1的前方是否存在用户,能够检测用户接近电子设备1(Approach)、在电子设备1的前面存在用户的状态(Presence)、用户离开电子设备1(Leave)、在电子设备1的前面不存在用户的状态(Absence)等。对于该人检测部210的构成详细地后述。
动作控制部220根据HPD处理控制系统的动作状态。例如,动作控制部220在待机状态下,在由人检测部210检测到从在电子设备1的前方不存在用户的状态向在电子设备1的前方存在用户的状态的变化(即,用户接近电子设备1)的情况下,从待机状态转移至通常动作状态。具体而言,动作控制部220在由人检测部210检测到用户接近电子设备1的情况下,对系统处理部300进行起动系统的指示。更具体而言,动作控制部220在使系统起动的情况下,对电源部400输出用于供给电子设备1的各部的动作所需的电力的控制信号。之后,动作控制部220对系统处理部300输出用于指示系统的起动的起动信号。系统处理部300若获取起动信号,则起动系统从待机状态转移至通常动作状态。
另外,动作控制部220在由人检测部210持续检测到在电子设备1的前方存在用户的状态的情况下,通过系统处理部300限制为不使系统转移至待机状态,并持续通常动作状态。此外,动作控制部220即使在由人检测部210持续检测出存在用户的状态的情况下,也可以根据规定的条件从通常动作状态转移至待机状态。所谓的规定的条件例如是无操作的时间持续预先设定的时间、进行向待机状态转移的操作等。
另外,动作控制部220在通常动作中,在由人检测部210检测到从在电子设备1的前方存在用户的状态向在电子设备1的前方不存在用户状态的变化(即,用户离开电子设备1)的情况下,对系统处理部300进行使系统从通常动作状态转移至待机状态的指示。更具体而言,动作控制部220对系统处理部300输出用于进行使系统从通常动作状态转移至待机状态的指示的待机信号。系统处理部300若获取待机信号,则使系统从通常动作状态转移至待机状态。之后,动作控制部220对电源部400输出用于在待机状态下使不必要的电力的供给停止的控制信号。
系统处理部300构成为包含CPU(Central Processing Unit)302、GPU(GraphicProcessing Unit:图形处理单元)304、存储器控制器306、I/O(Input-Output)控制器308以及系统存储器310,通过基于OS(Operating System)的系统处理,能够在OS上执行各种应用程序的处理。存在将CPU302和GPU304统称为处理器的情况。
CPU302执行基于OS的处理、基于在OS上动作的应用程序的处理。另外,CPU302通过由EC200执行的HPD处理使系统的动作状态转移。例如,在动作状态是停止状态或者待机状态,且从EC200输入了起动信号的情况下,CPU302执行从停止状态或者待机状态转移至通常动作状态的起动处理。在起动处理完成后,CPU302开始基于OS的系统处理的执行。例如,在动作状态是备用状态,且从EC200输入起动信号,则CPU302重新开始停止了执行的应用程序等的执行。
在起动处理中,CPU302执行判定是否允许OS的利用的登录处理。若开始基于OS的起动处理,则CPU302在允许OS的利用之前执行登录处理,并暂时停止向通常动作状态的转移,直到在登录处理中允许登录。在登录处理中,进行使用电子设备1的人是否是预先注册的正规用户的用户认证处理。认证具有密码认证、面部认证、指纹认证等。在认证结果为成功的情况下,CPU302允许登录,并重新开始暂时停止的系统处理的执行。另一方面,在认证结果失败的情况下,不允许登录,并保持停止系统处理的执行。
GPU304连接于显示部110。GPU304基于CPU302的控制来执行图像处理生成显示数据。GPU304将所生成的显示数据输出至显示部110。此外,CPU302和GPU304可以一体化而形成为一个核心,也可以在形成为各个核心的CPU302和GPU304的相互间分担负荷。处理器的数量并不限于一个,也可以为多个。
存储器控制器306控制由CPU302和GPU304进行的从系统存储器310、存储部360等的数据的读出、写入。
I/O控制器308控制从通信部350、显示部110以及EC200的数据的输入输出。
系统存储器310被用作处理器的执行程序的读入区域以及写入处理数据的作业区域。另外,系统存储器310暂时存储由拍摄部120拍摄到的拍摄图像的图像数据。
通信部350经由基于无线或者有线的通信网络与其他设备可通信地连接,并进行各种数据的发送以及接收。例如,通信部350构成为包含以太网(注册商标)等有线LAN接口、Wi-Fi(注册商标)等无线LAN接口等。
存储部360构成为包含HDD(Hard Disk Drive:硬盘驱动器)、SDD(Solid StateDrive:固态驱动器)、ROM(Read Only Memory)等存储介质。存储部360存储OS、设备驱动器、应用程序等各种程序、以及通过程序的动作获取的各种数据。
[人检测部的构成]
接下来,对人检测部210的构成进行详细说明。人检测部210通过从以规定的时间间隔由拍摄部120拍摄到的拍摄图像中的每个图像检测面部区域来检测存在于电子设备1的前方的用户。
图7是表示本实施方式所涉及的人检测部210的构成的一个例子的框图。图示的人检测部210具备面部检测部211和人判定部215。面部检测部211具备面部区域检测部212、面部方向检测部213以及检测范围设定部214,从以规定的时间间隔拍摄的拍摄图像中的每个图像检测面部以及面部的朝向。
面部区域检测部212从以规定的时间间隔拍摄的拍摄图像中的每个图像检测拍摄有面部的面部区域。例如,面部检测部211对由拍摄部120以规定的时间间隔拍摄并存储于系统存储器310的多个图像的图像数据进行处理,从该多个图像中检测拍摄有面部的面部区域。作为面部的检测方法,能够应用基于面部的特征信息检测面部的面部检测算法、使用基于面部的特征信息进行机器学习的学习数据(学习完毕模型)、面部检测库等的任意的检测方法。另外,规定的时间间隔例如能够为15秒间隔或者10秒间隔等,但能够设定为任意的时间间隔。此外,在为最短的时间间隔的情况下,以连续的所有的帧为单位进行检测。面部检测部211从拍摄图像中的每个图像检测面部区域,并输出检测出的面部区域或者面部区域的中心坐标等。面部区域检测部212在第一检测模式以及第二检测模式下都发挥功能。
面部方向检测部213检测由面部区域检测部212检测出的面部的朝向。例如,面部方向检测部213基于检测出的面部的特征点(眼、鼻、口、下巴等)的数量、位置来检测面部的朝向(正面面部、侧脸等)。面部方向检测部213仅在第一检测模式下发挥功能,在第二检测模式下不发挥功能。
检测范围设定部214设定从拍摄图像检测面部时的检测范围。例如,检测范围设定部214在第一检测模式下将面部的检测范围设定为全范围,在第二检测模式下将面部的检测范围设定为半范围。
面部检测部211通过上述的面部区域检测部212、面部方向检测部213以及检测范围设定部214的功能,使用第一检测模式或者第二检测模式来进行面部检测处理。例如,面部检测部211在通常动作状态下,使用第一检测模式,在全范围从拍摄图像检测面部以及面部的朝向。另外,面部检测部211在待机状态下,使用第二检测模式,在半范围从拍摄图像仅检测面部。
人判定部215基于通过面部检测部211是否从拍摄图像检测出面部区域,来判定在电子设备1的前方是否存在用户。例如,在通过面部检测部211从拍摄图像检测出面部区域的情况下,人判定部215判定为在电子设备1的前方存在用户。另一方面,在通过面部检测部211未从拍摄图像检测出面部区域的情况下,人判定部215判定为在电子设备1的前方不存在用户。此外,在通过面部检测部211从拍摄图像检测出面部区域的情况下,人判定部215也可以判定在从以规定的时间间隔拍摄到的拍摄图像中的每个图像检测出的面部是否具有动作,在有动作的情况下,判定为存在用户。在判定为在检测出的面部中没有动作的情况下,人判定部215也可以将该面部检测为海报、照片等中的面部,并判定为不存在用户。
根据这样的构成,人检测部210检测存在于电子设备1的前方的用户。另外,人检测部210通过检测在电子设备1的前方是否存在用户,来检测从在电子设备1的前方不存在用户的状态向在电子设备1的前方存在用户的状态的变化(即,用户接近电子设备1)。另外,人检测部210通过检测在电子设备1的前方是否存在用户,来检测从在电子设备1的前方存在用户的状态向不存在用户的状态的变化(即,用户离开电子设备1)。
此外,人检测部210在通常动作状态下,也可以检测多个人。所谓的多个人是指用户和用户以外的人。如上所述,人检测部210在通常动作状态下,也可以检测有可能正在窥视的用户以外的人。
[HPD处理的动作]
接下来,参照图8,对HPD处理的动作进行说明。
图8是表示本实施方式所涉及的HPD处理的一个例子的流程图。在这里,对通过HPD处理转移至待机状态和通常动作状态的处理的动作进行说明。
(步骤S101)EC200判定系统的动作状态是否是待机状态。EC200在判定为是待机状态的情况下(是),进入步骤S103的处理。另一方面,EC200在判定为不是待机状态的情况下(否),进入步骤S109的处理。
(步骤S103)人检测部210以第二检测模式从拍摄图像检测面部区域。然后,进入步骤S105的处理。
(步骤S105)EC200判定在步骤S103中是否检测出面部区域。EC200在判定为未检测出面部区域的情况下(否),返回到步骤S101的处理。另一方面,EC200在判定为检测出面部区域的情况下(是),进入步骤S107的处理。
(步骤S107)EC200由于在步骤S105中检测出用户的接近(Approach),所以使系统的动作状态从待机状态转移至通常动作状态。然后,返回到步骤S101的处理。
(步骤S109)EC200判定系统的动作状态是否是通常动作状态。EC200在判定为是通常动作状态的情况下(是),进入步骤S111的处理。另一方面,EC200在判定为不是通常动作状态的情况下(否),返回到步骤S101的处理。
(步骤S111)人检测部210以第一检测模式从拍摄图像检测面部区域。然后,进入步骤S113的处理。
(步骤S113)EC200判定在步骤S111中是否检测出面部区域。EC200在判定为检测出面部区域的情况下(是),返回到步骤S101的处理。另一方面,EC200在判定为未检测出面部区域的情况下(否),进入步骤S115的处理。
(步骤S115)EC200由于在步骤S113中检测出用户的离开(Leave),所以使系统的动作状态从通常动作状态转移至待机状态。然后,返回到步骤S101的处理。
[第一实施方式的总结]
如以上说明的那样,本实施方式所涉及的电子设备1具备:处理部,执行基于OS(系统的一个例子)的系统处理;系统存储器310(存储器的一个例子),暂时存储由拍摄部120(拍摄装置的一个例子)拍摄到的图像(拍摄图像)的图像数据;人检测部210(处理器的一个例子),对存储于系统存储器310的图像数据进行处理;以及动作控制部220,控制OS的动作状态。人检测部210具备面部检测部211,该面部检测部211对由拍摄部120拍摄规定的拍摄范围并存储于系统存储器310的拍摄图像的图像数据进行处理,从拍摄图像中检测拍摄有面部的面部区域以及面部的朝向。另外,动作控制部220根据面部检测部211的检测结果,将OS的动作状态控制为通常动作状态(第一动作状态的一个例子)或者待机状态(第二动作状态的一个例子),其中,上述待机状态与通常动作状态相比系统处理的至少一部分受到限制。而且,面部检测部211在通常动作状态下从拍摄图像的图像区域中的全范围(第一检测范围的一个例子)检测面部区域以及面部的朝向,在待机状态下从拍摄图像的图像区域中的比全范围窄的半范围(第二检测范围的一个例子)检测面部区域,而不检测面部的朝向。
由此,电子设备1由于在待机状态下在较窄的检测范围仅进行面部区域的检测,所以在待机时抑制功耗,同时能够抑制将存在于用户的周边的用户以外的人的面部错误地检测为用户。另一方面,电子设备1在通常动作时,能够在较宽的检测范围检测用户以及用户以外的周边的人的面部以及观看的方向。因此,根据本实施方式,能够根据需要确保检测性能,并且在抑制功耗的同时高精度地检测用户(使用电子设备1的人)。
另外,动作控制部220当在通常动作状态下从由面部检测部211检测出面部区域的状态不再检测出面部区域的情况下,转移至待机状态,当在待机状态下从由面部检测部211未检测出面部区域的状态检测出面部区域的情况下,转移至通常动作状态。
由此,电子设备1能够根据是否存在用户适当地使系统的动作状态转移。例如,电子设备1由于在用户接近的情况下自动地起动而成为可使用的动作状态,所以便利性良好。另外,电子设备1由于在用户离开的情况下自动地转移至待机状态,所以能够抑制功耗,并且也可确保安全。
另外,一种控制方法,是电子设备1的控制方法,该电子设备1具备:系统存储器310(存储器的一个例子),暂时存储由拍摄部120(拍摄装置的一个例子)拍摄到的图像(拍摄图像)的图像数据;以及人检测部210(处理器的一个例子),对存储于系统存储器310的图像数据进行处理,上述控制方法包含:系统处理部300(处理部的一个例子)执行基于OS(系统的一个例子)的系统处理的步骤;动作控制部220控制OS的动作状态的步骤;在人检测部210中,面部检测部211对由拍摄部120拍摄规定的拍摄范围并存储于系统存储器310的拍摄图像的图像数据进行处理,从拍摄图像中检测拍摄有面部的面部区域以及面部的朝向的步骤。另外,在动作控制部220控制的步骤中,根据面部检测部211的检测结果,将OS的动作状态控制为通常动作状态(第一动作状态的一个例子)或者待机状态(第二动作状态的一个例子),其中,上述待机状态与通常动作状态相比,系统处理的至少一部分受到限制。而且,在面部检测部211进行的步骤中,在通常动作状态下从拍摄图像的图像区域中的全范围(第一检测范围的一个例子)检测面部区域以及面部的朝向,在待机状态下从拍摄图像的图像区域中的比全范围窄的半范围(第二检测范围的一个例子)检测面部区域,而不检测面部的朝向。
由此,电子设备1由于在待机状态下在较窄的检测范围仅进行面部区域的检测,所以在待机时抑制功耗,同时能够抑制将存在于用户的周边的用户以外的人的面部错误地检测为用户。另一方面,电子设备1在通常动作时,能够在较宽的检测范围检测用户以及用户以外的周边的人的面部以及观看的方向。因此,根据本实施方式,能够根据需要确保检测性能,并且在抑制功耗的同时高精度地检测用户(使用电子设备1的人)。
<第二实施方式>
接下来,对本发明的第二实施方式进行说明。
在第一实施方式中,对在通常动作状态时使用第一检测模式在全范围进行面部区域以及面部的朝向的检测的方式进行了说明。在本实施方式中,当在通常动作状态时检测出侧脸的情况下也切换到第二检测模式的方式进行说明。
由于本实施方式所涉及的电子设备1的基本构成与图5~7所示的第一实施方式所涉及的构成相同,所以省略其说明,对本实施方式的特征性处理进行说明。面部检测部211当在通常动作状态下以第一检测模式检测出的面部的朝向是侧脸的情况下,切换到第二检测模式。例如,存在将外部显示器作为第二显示器连接到电子设备1,用户使用该第二显示器作为主显示器的情况。在该情况下,在放置于用户的旁边的电子设备1的拍摄图像中显现用户的侧脸。例如,由于在从用户的旁边拍摄的拍摄图像中,无法检测窥视,所以无需设为第一检测模式。因此,电子设备1通过切换到第二检测模式,在半范围仅进行面部区域的检测,检测人的离开。由此,避免不必要地消耗电力。例如,当在通常动作状态下检测出的面部的朝向为侧脸的情况下,面部检测部211停止面部的朝向的检测,并切换到在半范围仅进行面部区域的检测的第二检测模式。
图9是表示本实施方式所涉及的通常动作状态下的检测模式切换处理的一个例子的流程图。
(步骤S201)人检测部210以第一检测模式从拍摄图像中检测面部区域。然后,进入步骤S203的处理。
(步骤S203)人检测部210判定在步骤S201中检测出的面部的朝向是否是侧脸。在判定为是侧脸的情况下(是),人检测部210进入步骤S205的处理。另一方面,在判定为不是侧脸而是正面面部的情况下(否),人检测部210不切换检测模式而结束处理。
(步骤S205)人检测部210切换到第二检测模式进行面部区域的检测。
此外,在通常动作状态下以第一检测模式进行面部检测的期间,反复执行该检测模式切换处理。另外,在切换到第二检测模式后,以规定的周期暂时地进行第一检测模式的面部检测,在检测出正面面部的情况下,返回到第一检测模式。
此外,也可以当在通常动作状态下检测出的面部的朝向是侧脸的情况下,人检测部210停止面部的朝向的检测,但不变更检测范围而在全范围进行面部区域的检测。
[第二实施方式的总结]
如以上说明的那样,本实施方式所涉及的电子设备1当在通常动作状态(第一动作状态的一个例子)下检测出的面部的朝向是侧脸的情况下,停止面部的朝向的检测。
由此,电子设备1即使在通常动作状态下也能够根据使用状况来降低功耗。
另外,当在通常动作状态下检测出的面部的朝向是侧脸的情况下,电子设备1将进行面部区域的检测时的检测范围切换到半范围(第二检测范围的一个例子)。
由此,电子设备1即使在通常动作状态下也能够根据使用状况来降低功耗。
<第三实施方式>
接下来,对本发明的第三实施方式进行说明。
在第二实施方式中,对当在通常动作状态时检测出侧脸的情况下切换到第二检测模式的方式进行了说明,但在连接有外部显示器的情况下,也可以切换到第二检测模式。
图10是表示本实施方式所涉及的EC200A的构成的一个例子的框图。本实施方式所涉及的EC200A在还具备检测外部显示器的连接的连接检测部230这一点与图6所示的EC200不同。连接检测部230检测在影像输出端子160是否连接有外部显示器。当在通常动作状态下,通过连接检测部230检测出与外部显示器的连接的情况下,面部检测部211停止面部的朝向的检测,并切换到在半范围仅进行面部区域的检测的第二检测模式。
图11是表示本实施方式所涉及的通常动作状态下的检测模式切换处理的一个例子的流程图。
(步骤S301)EC200A判定是否检测出与外部显示器的连接。EC200A在判定为检测出与外部显示器的连接的情况下(是),进入步骤S303的处理。另一方面,EC200A在判定为未检测出与外部显示器的连接的情况下(否),进入步骤S305的处理。
(步骤S303)人检测部210以第二检测模式从拍摄图像中检测面部区域。
(步骤S305)人检测部210以第一检测模式从拍摄图像中检测面部区域。
此外,也可以在检测出与外部显示器的连接的情况下,人检测部210停止面部的朝向的检测,但不变更检测范围而在全范围进行面部区域的检测。
[第三实施方式的总结]
如以上说明的那样,本实施方式所涉及的电子设备1还具备连接检测部230,该连接检测部230检测与外部显示器的连接。而且,电子设备1当在通常动作状态(第一动作状态的一个例子)下,通过连接检测部230检测出与外部显示器的连接的情况下,停止面部的朝向的检测。
由此,电子设备1在通常动作状态下也能够根据使用状况来降低功耗。
并且,当在通常动作状态下,通过连接检测部230检测出与外部显示器的连接的情况下,电子设备1将进行面部区域的检测时的检测范围切换到半范围(第二检测范围的一个例子)。
由此,电子设备1在通常动作状态下也能够根据使用状况来降低功耗。
此外,电子设备1也可以在通常动作状态下,基于用户的指示,停止面部的朝向的检测。所谓的该用户的指示例如是用户进行关闭检测窥视(Sholder surfing)的功能的操作。并且,电子设备1也可以在通常动作状态下,基于用户的指示,将进行面部区域的检测时的检测范围切换到半范围(第二检测范围的一个例子)。即,电子设备1也可以在通常动作状态下,基于用户的指示,从第一检测模式切换到第二检测模式。
由此,电子设备1在通常动作状态下也能够根据使用状况来降低功耗。
另外,当在通常动作状态下从第一检测模式切换到第二检测模式的情况下,电子设备1也可以基于用户的指示,从第二检测模式返回到第一检测模式。所谓的该用户的指示例如是用户进行打开检测窥视(Sholder surfing)的功能的操作。
由此,电子设备1在通常动作状态下能够根据需要提高面部区域的检测功能。
<第四实施方式>
接下来,对本发明的第四实施方式进行说明。
在本实施方式中,对当在通常动作状态下检测出侧脸的情况下,降低显示部110的亮度的方式进行说明。在检测出侧脸的情况下,如在第二实施方式中说明的那样,考虑用户使用第二显示器作为主显示器的情况。由于用户没有观看电子设备1的显示部110,所以能够通过降低亮度来抑制功耗。
图12是表示本实施方式所涉及的EC200B的构成的一个例子的框图。本实施方式所涉及的EC200B在还具备显示亮度变更部240这一点与图6所示的EC200不同。当在通常动作状态下由面部检测部211检测出的面部的朝向是侧脸的情况下,显示亮度变更部240使显示部110的亮度从设定值降低。所谓的设定值是显示部110的亮度调节条的设定值,是由用户设定的亮度值或者初始设定的亮度值。在使显示部110的亮度从设定值降低的情况下,显示亮度变更部240可以从设定值降低预先设定的降低量,也可以变更为预先较低地设定的亮度值。
图13是表示本实施方式所涉及的通常动作状态下的显示亮度控制处理的一个例子的流程图。
(步骤S401)人检测部210以第一检测模式从拍摄图像中检测面部区域。然后,进入步骤S403的处理。
(步骤S403)EC200B判定在步骤S401中检测出的面部的朝向是否是侧脸。EC200B在判定为不是侧脸而是正面面部的情况下(否),进入步骤S405的处理。另一方面,EC200B在判定为是侧脸的情况下(是),进入步骤S407的处理。
(步骤S405)EC200B将显示部110的亮度设定为设定值。
(步骤S407)EC200B将显示部110的亮度设定为从设定值降低后的值。
[第四实施方式的总结]
如以上说明的那样,本实施方式所涉及的电子设备1当在通常动作状态(第一动作状态的一个例子)下检测出的面部的朝向是侧脸的情况下,使显示部110的亮度从设定值降低。
由此,电子设备1在通常动作状态下也能够根据使用状况来降低功耗。
<第五实施方式>
接下来,对本发明的第五实施方式进行说明。
在本实施方式中,对当在通常动作状态下连接有外部显示器的情况下,降低显示部110的亮度的方式进行说明。如在第二实施方式中说明的那样,考虑用户使用外部显示器(第二显示器)作为主显示器的情况。由于用户没有观看电子设备1的显示部110,所以能够通过降低亮度来抑制功耗。
图14是表示本实施方式所涉及的EC200C的构成的一个例子的框图。本实施方式所涉及的EC200C在还具备连接检测部230以及显示亮度变更部240C这一点与图6所示的EC200不同。连接检测部230对应于图10所示的连接检测部230,检测在影像输出端子160是否连接有外部显示器。显示亮度变更部240C相对于图12所示的显示亮度变更部240,使显示部110的亮度从设定值降低时的触发不同。当在通常动作状态下,通过连接检测部230检测出与外部显示器的连接的情况下,显示亮度变更部240C使显示部110的亮度从设定值降低。如在第四实施方式中说明的那样,所谓的设定值是显示部110的亮度调节条的设定值,是由用户设定的亮度值或者初始设定的亮度值。在使显示部110的亮度从设定值降低的情况下,显示亮度变更部240C可以从设定值降低预先设定的降低量,也可以变更为预先较低地设定的亮度值。
图15是表示本实施方式所涉及的通常动作状态下的显示亮度控制处理的一个例子的流程图。
(步骤S501)EC200C判定是否检测出与外部显示器的连接。EC200C在判定为检测出与外部显示器的连接的情况下(是),进入步骤S503的处理。另一方面,EC200C在判定为未检测出与外部显示器的连接的情况下(否),进入步骤S505的处理。
(步骤S503)EC200C将显示部110的亮度设定为设定值。
(步骤S505)EC200C将显示部110的亮度设定为从设定值降低后的值。
[第五实施方式的总结]
如以上说明的那样,本实施方式所涉及的电子设备1具备连接检测部230,该连接检测部230检测与外部显示器的连接。而且,当在通常动作状态(第一动作状态的一个例子)下,由连接检测部230检测出与外部显示器的连接的情况下,电子设备1使显示部110的亮度从设定值降低。
由此,电子设备1在通常动作状态下也能够根据使用状况使功耗降低。
以上,参照附图对本发明的各实施方式进行了详细描述,但具体的构成并不限于上述的实施方式,也包含不脱离本发明的主旨的范围内的设计等。例如,在上述的各实施方式中说明的各构成能够任意地组合。
另外,在上述实施方式中,对电子设备1内置有拍摄部120的构成例进行了说明,但并不限于此。例如,拍摄部120也可以不内置于电子设备1,也可以作为电子设备1的外部附件构成为可安装于电子设备1(例如,侧面10a、10b、10c等中的任意一个),并通过无线或者有线与电子设备1通信连接。
另外,在上述实施方式中,电子设备1通过从拍摄图像中检测拍摄有面部的面部区域来检测用户的存在,但并不限于面部,也可以通过检测拍摄有身体的至少一部分的区域来检测用户的存在。另外,电子设备1也可以并用检测距物体的距离的距离传感器(例如,接近传感器等)。例如,距离传感器设置于第一框体10的内表面侧,检测存在于与第一框体10的内表面相对的方向(前方)的检测范围内的物体(例如,人)。作为一个例子,距离传感器也可以是红外线距离传感器,该红外线距离传感器构成为包含发出红外线的发光部以及接受发出的红外线在物体的表面反射而返回来的反射光的受光部。此外,距离传感器可以是使用发光二极管发出的红外线的传感器,也可以是使用发出波长频带比发光二极管发出的红外线窄的光线的红外线激光的传感器。另外,距离传感器并不限定于红外线距离传感器,只要是检测与物体的距离的传感器,也可以是超声波传感器或者使用UWB(Ultra Wide Band:超宽带)雷达的传感器等使用了其他方式的传感器。另外,距离传感器也可以不内置于电子设备1,也可以作为电子设备1的外部附件构成为可安装于电子设备1(例如,侧面10a、10b、10c等中的任意一个),通过无线或者有线与电子设备1通信连接。另外,拍摄部120和距离传感器也可以构成为一体。
另外,在上述实施方式中,示出了人检测部210与EC200、EC200A、EC200B以及EC200C分开设置的例子,但人检测部210的一部分或者全部也可以为EC200、EC200A、EC200B以及EC200C所具备的构成。另外,人检测部210也可以配备于系统处理部300。另外,在上述第一实施方式中,示出了EC200具备动作控制部220的例子,但动作控制部220的一部分或者全部也可以配备于EC200以外的处理部(例如,系统处理部300)。另外,在上述第三实施方式中,示出了EC200A具备动作控制部220以及连接检测部230的例子,但动作控制部220以及连接检测部230的一部分或者全部也可以配备于EC200A以外的处理部(例如,系统处理部300)。另外,在上述第四实施方式中,示出了EC200B具备动作控制部220以及显示亮度变更部240的例子,但动作控制部220以及显示亮度变更部240的一部分或者全部也可以配备于EC200B以外的处理部(例如,系统处理部300)。另外,在上述第五实施方式中,示出了EC200C具备动作控制部220、连接检测部230以及显示亮度变更部240C的例子,但动作控制部220、连接检测部230以及显示亮度变更部240C的一部分或者全部也可以配备于EC200C以外的处理部(例如,系统处理部300)。
另外,在上述实施方式中,与系统处理部300独立地动作的EC200(EC200A、EC200B、EC200C)也可以是传感器集线器、芯片组等任意的处理部,EC200(EC200A、EC200B、EC200C)以外的处理部也可以代替EC200(EC200A、EC200B、EC200C)来执行上述的处理。
另外,上述的待机状态也可以至少包含显示部的显示关闭(画面关闭)的状态、或者成为画面锁定的状态。所谓的画面锁定是以无法视觉确认处理中的内容的方式将预先设定的图像(例如,画面锁定用的图像)显示于显示部,且在解除锁定(例如,用户认证)之前无法使用的状态。
此外,上述的电子设备1在内部具有计算机系统。而且,也可以将用于实现上述的电子设备1所具备的各构成的功能的程序记录于计算机可读记录介质,通过将记录于该记录介质的程序读入到计算机系统并执行来进行上述的电子设备1所具备的各构成中的处理。在这里,所谓的“将记录于记录介质的程序读入到计算机系统并执行”包含在计算机系统中安装程序。这里所谓的“计算机系统”包含OS、外围设备等硬件。另外,“计算机系统”也可以包含经由包含因特网、WAN、LAN、专用线路等通信线路的网络连接的多个计算机装置。另外,所谓的“计算机可读记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。像这样,存储有程序的记录介质也可以是CD-ROM等非瞬态记录介质。
另外,记录介质也包含为了分发该程序而能够从分发服务器访问的内部或者设置于外部的记录介质。此外,也可以是将程序分割成多个,并分别在不同的时机下载后在电子设备1所具备的各构成中合体的构成、分发分割而成的各个程序的分发服务器不同。并且,所谓的“计算机可读记录介质”包含如经由网络发送程序的情况下的成为服务器、客户端的计算机系统内部的易失性存储器(RAM)那样,将程序保持一定时间的介质。另外,上述程序也可以是用于实现上述功能的一部分的程序。并且,也可以是能够通过与已经记录在计算机系统的程序的组合来实现上述功能的程序,所谓的差分文件(差分程序)。
另外,也可以将上述实施方式中的电子设备1所具备的各功能的一部分或者全部作为LSI(Large Scale Integration:大规模集成)等集成电路来实现。各功能可以分别独立地处理器化,也可以将一部分或者全部集成并处理器化。另外,集成电路化的方法并不限于LSI,也可以通过专用电路或者通用处理器来实现。另外,在随着半导体技术的进步出现了代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
另外,上述实施方式的电子设备1并不限于PC、平板终端装置、智能手机等,也能够应用于家用电器、商用电器。作为家用电器,能够应用于电视机、具备显示部的冰箱、微波炉等。例如,能够根据人的接近或者离开,来控制电视机的画面的开/关、或者冰箱、微波炉等的显示部的画面的开/关。另外,作为商用电器,能够应用于自动售货机、多媒体终端等。例如,能够根据人的接近或者离开,来控制如自动售货机的照明的开/关等、或者多媒体终端的显示部的画面的开/关等动作状态。

Claims (14)

1.一种电子设备,具备:
处理部,执行基于系统的系统处理;
存储器,暂时存储由拍摄装置拍摄到的图像的图像数据;
处理器,处理存储于上述存储器的图像数据;以及
动作控制部,控制上述系统的动作状态,
上述处理器具备面部检测部,该面部检测部对由上述拍摄装置拍摄规定的拍摄范围并存储于上述存储器的图像的图像数据进行处理,从上述图像中检测拍摄有面部的面部区域和上述面部的朝向,
上述动作控制部根据上述面部检测部的检测结果,将上述系统的动作状态控制为第一动作状态或第二动作状态,其中,在上述第二动作状态下,与上述第一动作状态相比,上述系统处理的至少一部分受到限制,
在上述第一动作状态下,上述面部检测部从上述图像的图像区域中的第一检测范围检测上述面部区域和上述面部的朝向,在上述第二动作状态下,上述面部检测部从上述图像的图像区域中的比上述第一检测范围窄的第二检测范围检测上述面部区域,而不检测上述面部的朝向。
2.根据权利要求1所述的电子设备,其中,
当在上述第一动作状态下从由上述面部检测部检测出上述面部区域的状态不再检测出上述面部区域的情况下,上述动作控制部转移至上述第二动作状态,当在上述第二动作状态下从由上述面部检测部未检测出上述面部区域的状态检测出上述面部区域的情况下,上述动作控制部转移至上述第一动作状态。
3.根据权利要求1或2所述的电子设备,其中,
当在上述第一动作状态下检测出的上述面部的朝向是侧脸的情况下,上述面部检测部停止上述面部的朝向的检测。
4.根据权利要求3所述的电子设备,其中,
当在上述第一动作状态下检测出的上述面部的朝向是侧脸的情况下,上述面部检测部将进行上述面部的检测时的检测范围切换为上述第二检测范围。
5.根据权利要求1或2所述的电子设备,其中,
还具备显示亮度变更部,当在上述第一动作状态下由上述面部检测部检测出的上述面部的朝向是侧脸的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
6.根据权利要求3所述的电子设备,其中,
还具备显示亮度变更部,当在上述第一动作状态下由上述面部检测部检测出的上述面部的朝向是侧脸的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
7.根据权利要求4所述的电子设备,其中,
还具备显示亮度变更部,当在上述第一动作状态下由上述面部检测部检测出的上述面部的朝向是侧脸的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
8.根据权利要求1或2所述的电子设备,其中,
还具备连接检测部,该连接检测部检测与外部显示器的连接,
在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述面部检测部停止上述面部的朝向的检测。
9.根据权利要求8所述的电子设备,其中,
在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述面部检测部将进行上述面部区域的检测时的检测范围切换为上述第二检测范围。
10.根据权利要求8所述的电子设备,其中,
还具备显示亮度变更部,在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
11.根据权利要求9所述的电子设备,其中,
还具备显示亮度变更部,在上述第一动作状态下,在由上述连接检测部检测出与上述外部显示器的连接的情况下,上述显示亮度变更部使显示部的亮度从设定值降低。
12.根据权利要求1或2所述的电子设备,其中,
在上述第一动作状态下,上述面部检测部基于用户的指示来停止上述面部的朝向的检测。
13.根据权利要求12所述的电子设备,其中,
在上述第一动作状态下,上述面部检测部基于用户的指示,将进行上述面部的检测时的检测范围切换为上述第二检测范围。
14.一种控制方法,是电子设备的控制方法,该电子设备具备:存储器,暂时存储由拍摄装置拍摄到的图像的图像数据;以及处理器,处理存储于上述存储器的图像数据,
上述控制方法包含:
处理部执行基于系统的系统处理的步骤;
动作控制部控制上述系统的动作状态的步骤;以及
在上述处理器中,面部检测部对由上述拍摄装置拍摄规定的拍摄范围并存储于上述存储器的图像的图像数据进行处理,从上述图像中检测拍摄有面部的面部区域和上述面部的朝向的步骤,
在上述动作控制部控制的步骤中,根据上述面部检测部的检测结果,将上述系统的动作状态控制为第一动作状态或第二动作状态,其中,在上述第二动作状态下,与上述第一动作状态相比,上述系统处理的至少一部分受到限制,
在上述面部检测部进行的步骤中,在上述第一动作状态下,从上述图像的图像区域中的第一检测范围检测上述面部区域和上述面部的朝向,在上述第二动作状态下,从上述图像的图像区域中的比上述第一检测范围窄的第二检测范围检测上述面部区域,而不检测上述面部的朝向。
CN202210518960.1A 2021-05-31 2022-05-13 电子设备以及控制方法 Pending CN115482568A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021090829A JP7036975B1 (ja) 2021-05-31 2021-05-31 電子機器、及び制御方法
JP2021-090829 2021-05-31

Publications (1)

Publication Number Publication Date
CN115482568A true CN115482568A (zh) 2022-12-16

Family

ID=81213552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210518960.1A Pending CN115482568A (zh) 2021-05-31 2022-05-13 电子设备以及控制方法

Country Status (3)

Country Link
US (1) US11669142B2 (zh)
JP (1) JP7036975B1 (zh)
CN (1) CN115482568A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467695B1 (ja) 2023-01-04 2024-04-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7451785B1 (ja) 2023-01-23 2024-03-18 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034515A (ja) * 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP6439478B2 (ja) 2015-02-10 2018-12-19 富士ゼロックス株式会社 顔認証機能付機器
KR20180068127A (ko) * 2016-12-13 2018-06-21 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6918886B2 (ja) * 2019-09-30 2021-08-11 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
US11669142B2 (en) 2023-06-06
JP7036975B1 (ja) 2022-03-15
JP2022183484A (ja) 2022-12-13
US20220382359A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
JP6808780B2 (ja) 電子機器、制御方法、及びプログラム
CN115482568A (zh) 电子设备以及控制方法
JP6720283B2 (ja) 電子機器、制御方法、及びプログラム
JP7114651B2 (ja) 電子機器、及び制御方法
JP6751432B2 (ja) 電子機器、制御方法、及びプログラム
US20220366721A1 (en) Electronic apparatus and control method
CN115344110A (zh) 电子设备以及控制方法
JP2020140430A (ja) 情報処理装置、制御方法、及びプログラム
JP7275239B1 (ja) 電子機器、及び制御方法
CN113900154A (zh) 电子设备、以及控制方法
JP7223833B1 (ja) 電子機器、及び制御方法
JP7218421B1 (ja) 電子機器、及び制御方法
JP7474888B1 (ja) 電子機器、及び制御方法
JP7413481B1 (ja) 情報処理装置、及び制御方法
JP7454635B1 (ja) 情報処理装置、及び制御方法
JP7451785B1 (ja) 情報処理装置、及び制御方法
JP7421603B1 (ja) 情報処理装置、及び制御方法
US11385702B2 (en) Electronic apparatus and controlling method
US20230289195A1 (en) Information processing apparatus and control method
JP2021135870A (ja) 電子機器、及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination