CN110515468A - 控制方法、控制装置、电子装置和存储介质 - Google Patents

控制方法、控制装置、电子装置和存储介质 Download PDF

Info

Publication number
CN110515468A
CN110515468A CN201910817693.6A CN201910817693A CN110515468A CN 110515468 A CN110515468 A CN 110515468A CN 201910817693 A CN201910817693 A CN 201910817693A CN 110515468 A CN110515468 A CN 110515468A
Authority
CN
China
Prior art keywords
camera
exterior object
image
electronic device
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910817693.6A
Other languages
English (en)
Inventor
林贻鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910817693.6A priority Critical patent/CN110515468A/zh
Publication of CN110515468A publication Critical patent/CN110515468A/zh
Priority to PCT/CN2020/103341 priority patent/WO2021036591A1/zh
Priority to EP20859159.4A priority patent/EP3979046A4/en
Priority to US17/565,373 priority patent/US20220121292A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本申请公开了一种控制方法、控制装置、电子装置和存储介质。本申请实施方式的电子装置的控制方法中,所述电子装置包括摄像头,所述控制方法包括:检测在所述摄像头的预设范围内是否有外部物体;在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;根据所述外部物体的图像对所述外部物体进行动作姿势识别。本申请实施方式的控制方法、控制装置、电子装置和存储介质中,在所述摄像头的预设范围内有所述外部物体的情况下开启所述摄像头,以对所述外部物体进行动作姿势的识别,这样可以避免摄像头一直处于开启的状态,从而减少了摄像头及处理器的运行时间,降低了电子装置的功耗及发热量。

Description

控制方法、控制装置、电子装置和存储介质
技术领域
本申请涉及显示技术领域,特别涉及一种控制方法、控制装置、电子装置和存储介质。
背景技术
在相关的技术中,手机、可穿戴设备等电子装置可以通过摄像头获取手势动作,并根据手势动作控制电子装置执行相关的操作。例如,电子装置可以根据手势动作锁定屏幕。然而,电子装置在识别手势动作的过程中功耗较高,并且导致电子装置出现发热严重等不良。
发明内容
本申请提供了一种控制方法、控制装置、电子装置和存储介质。
本申请实施方式的电子装置的控制方法中,所述电子装置包括摄像头,所述控制方法包括:
检测在所述摄像头的预设范围内是否有外部物体;
在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;
根据所述外部物体的图像对所述外部物体进行动作姿势识别。
本申请实施方式的控制装置用于电子装置,所述电子装置包括摄像头,所述控制装置包括:
检测模块,用于检测在所述摄像头的预设范围内是否有外部物体;
控制模块,用于在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;及用于根据所述外部物体的图像对所述外部物体进行动作姿势识别。
本申请实施方式的电子装置包括摄像头和处理器,所述处理器用于检测在所述摄像头的预设范围内是否有外部物体;及用于在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;以及用于根据所述外部物体的图像对所述外部物体进行动作姿势识别。
一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以上所述的控制方法。
本申请实施方式的控制方法、控制装置、电子装置和存储介质中,在所述摄像头的预设范围内有所述外部物体的情况下开启所述摄像头,以对所述外部物体进行动作姿势的识别,这样可以避免摄像头一直处于开启的状态,从而减少了摄像头及处理器的运行时间,降低了电子装置的功耗及发热量。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的电子装置的立体示意图;
图2是本申请实施方式的电子装置的剖面示意图;
图3是本申请实施方式的电子装置的剖面示意图;
图4是本申请实施方式的电子装置的剖面示意图;
图5是本申请实施方式的电子装置的光线发射部件的剖面示意图;
图6是本申请另一个实施方式的电子装置的光线发射部件的剖面示意图;
图7是本申请实施方式的电子装置的立体示意图;
图8是本申请实施方式的电子装置的原理结构示意图;
图9是本申请另一实施方式的电子装置的平面示意图;
图10是本申请实施方式的电子装置部分结构的平面示意图;
图11是本申请实施方式的电子装置的调节过程的示意图;
图12是本申请实施方式的电子装置的调节过程的另一示意图;
图13是本申请另一实施方式的电子装置部分结构的平面示意图;
图14是本申请实施方式的光量调节部件的平面示意图;
图15是本申请实施方式的环境亮度和光量调节部件的透光率的关系示意图;
图16是本申请实施方式的电子装置的模块示意图;
图17是本申请另一实施方式的电子装置的模块示意图;
图18是本申请实施方式的电子装置的内部模块示意图;
图19是本申请实施方式的电子装置的场景示意图;
图20是本申请实施方式的控制方法的流程示意图;
图21是本申请实施方式的控制装置的模块示意图;
图22是本申请实施方式的控制方法的流程示意图;
图23是本申请实施方式的控制方法的流程示意图;
图24是本申请实施方式的控制方法的流程示意图。
主要元件符号说明:
电子装置100、传感器组件10、光线发射部件11、封装壳111、第一发光源112、第二发光源113、基板114、扩散片115、深度摄像头12、环境摄像头13、光线传感器14、电致变色器件120、增透膜130、壳体20、内表面201、外表面202、通光孔203、透光部204、收容腔室22、壳体顶壁24、壳体底壁26、缺口262、壳体侧壁28、支撑部件30、第一支架32、第一弯折部322、第二支架34、第二弯折部342、弹性带36、显示器40、屈光部件50、屈光腔52、透光液体54、第一膜层56、第二膜层58、侧壁59、调节机构60、腔体62、滑槽622、滑动件64、驱动部件66、旋钮662、丝杠664、齿轮666、齿条668、调节腔68、导光部件70、第一侧71、第二侧72、光量调节部件80、第一导电层81、第二导电层82、电致变色层83、电解质层84、离子存储层85、处理器90、准直部件92、驱动芯片94;
控制装置200、检测模块210、控制模块220。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本申请提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
本申请实施方式提供了一种电子装置100,电子装置100例如为手机、平板电脑、可穿戴设备等移动终端。可穿戴设备例如为头戴式显示设备(Head Mount Display,HMD),头戴式显示设备通过计算系统与光学系统的配合,在用户在佩戴头戴式显示设备后,可向用户的眼睛发送光学信号,从而实现虚拟现实(Virtual Reality,VR)、增强现实(AugmentedReality,AR)和混合现实(Mixed Reality,MR)等不同效果。
为了方便理解,本申请实施方式的电子装置100以头戴式显示设备作为例子进行详细地描述。
请参阅图1,本申请实施方式的电子装置100包括传感器组件10、壳体20和电致变色器件120。传感器组件10设置在壳体20。电致变色器件120设置在壳体20并与传感器组件10对应设置。电致变色器件120覆盖传感器组件10。
本申请实施方式的电子装置100中,电致变色器件120可以根据电子装置100的状态改变自身的透光率,从而遮蔽或露出传感器组件10,提高了电子装置100的外观效果。
具体地,电子装置100的状态例如为工作状态和非工作状态。在电子装置100处于工作状态时,电子装置100可以为用户展现画面,播放视频、音频等信息,可以执行用户的操作。例如,电子装置100可以根据用户操作切换显示画面。在一个例子中,在电子装置100处于工作状态时,如果传感器组件10开启,那么可以控制电致变色器件120的透光率增加以使传感器组件10露出,从而获取电子装置100的外部信息或者向电子装置100的外部发射信息。如果传感器组件10关闭,那么可以控制电致变色器件120的透光率降低以遮蔽传感器组件10,从而提高电子装置100的外观效果。
传感器组件10包括光线发射部件11、深度摄像头12、环境摄像头13、光线传感器14以及接近传感器15中的至少一种。例如,传感器组件10包括深度摄像头12、接近传感器15或光线传感器14。又如,传感器组件10包括深度摄像头12和接近传感器15。
本实施方式中,传感器组件10包括光线发射部件11、深度摄像头12、环境摄像头13和接近传感器15。因此,光线发射部件11、深度摄像头12、环境摄像头13和接近传感器均设置在壳体20。电致变色器件120覆盖光线发射部件11、深度摄像头12和环境摄像头13并用于改变自身透光率以遮蔽或暴露光线发射部件11、深度摄像头12和环境摄像头13中的至少一个。
具体地,光线发射部件11用于发射光线。光线发射部件11可以发射可见光,也可以发射例如为红外光等不可见光。
环境摄像头13包括但不限于彩色摄像头、红外摄像头以及黑白摄像头。电子装置100可以利用环境摄像头13拍摄物体图像。或者说,环境摄像头13用于获取空间环境信息。电子装置100根据环境摄像头13拍摄的图像可以识别物体的类型。例如,可以根据环境摄像头13拍摄的图像识别出物体为人手或者桌子等物体。另外,电子装置100可以根据环境摄像头13获取空间环境信息形成空间环境地图。
深度摄像头12包括但不限于TOF(Time of Flight,飞行时间)摄像头或结构摄像头。深度摄像头12可以获取物体的深度图像。深度图像经过处理后可以用于获取物体的三维模型、动作识别等。
接近传感器包括红外发射器和红外接收器,红外发射器和红外接收器配合可以检测外界物体与电子装置100之间的距离。
光线传感器14可以用于检测环境亮度,电子装置100可以根据环境亮度显示合适亮度的图像以提高用户体验。
传感器组件10可以直接地设置壳体20上,也可以间接地设置在壳体20上。在一个例子中,传感器组件10通过支架设置在壳体20上,或者说,传感器组件10固定在支架上,支架固定在壳体20上。传感器组件10的数量可以一个,也可以为多个。在传感器组件10的数量为多个时,多个传感器组件10可以分别设置在壳体20的不同位置,只要保证传感器组件10不会干涉用户正常使用即可了,如图1所示。
可以理解,电致变色器件120可以根据施加的不同电压而具有不同的透光率。另外,电致变色器件120可以过滤预定颜色的光线,例如,电致变色器件120可以过滤蓝色光等有色光线。
电致变色器件120呈片状。电致变色器件120可以设置在壳体20上,也可以设置在传感器组件10上,也可以设置在壳体20和传感器组件10之间。例如,电致变色器件120也通过光学胶粘贴在壳体20或传感器组件10上;又如电致变色器件120通过透明框架设置在壳体20和传感器组件10之间,并且电致变色器件120与传感器组件10和壳体20之间均具有间隙。
电致变色器件120覆盖传感器组件10指的是,传感器组件10在电致变色器件120上的正投影位于电致变色器件120内。或者说,光线发射部件11、深度摄像头12、环境摄像头13和接近传感器中的至少一个的正投影位于电致变色器件120内。
可以理解,电致变色器件120的数量可以为多个,每个电致变色器件120对应一个光线发射部件11、深度摄像头12、环境摄像头13和接近传感器中的一个。
请参阅图2,在一些实施方式中,壳体20包括内表面201和外表面202,壳体20形成有贯穿内表面201和外表面202的通光孔203,传感器组件10与通光孔203对应设置,电致变色器件120贴设在壳体20的外表面202。或者说,光线发射部件11、深度摄像头12、环境摄像头13和接近传感器中的至少一个与通光孔203对应设置。
如此,传感器组件10可以通过通光孔203向外界发射信号和/或接收外界的信号。电致变色器件120可以遮盖通光孔203并覆盖传感器组件10。可以理解,传感器组件10向外界发射信号时,信号经过通光孔203和电致变色器件120。
通光孔203可以为圆形孔、椭圆形孔或方形孔等形状的通孔,在此不限制通光孔203的形状。通光孔203的数量可以为一个,也可以为多个。例如,光线发射部件11、深度摄像头12、环境摄像头13和接近传感器靠近设置或者形成一个整体时,通光孔203的数量为一个。光线发射部件11、深度摄像头12、环境摄像头13和接近传感器分离设置时,通光孔203的数量为多个。光线发射部件11、深度摄像头12、环境摄像头13和接近传感器可以对应一个通光孔203设置。
需要指出的是,壳体20形成有收容腔室22,壳体20的内表面201为围成收容腔室的表面。壳体20的外表面202为与壳体20的内表面201相背的表面。传感器组件10收容于收容腔室22内。
进一步地,传感器组件10至少部分位于通光孔203中。也即是说,传感器组件10可以部分地位于通光孔203中,也可以全部位于通光孔203中。如此,传感器组件10与壳体20之间的结构比较紧凑,可以减小电子装置100的体积。
请参阅图3,在一些实施方式中,壳体20包括与传感器组件10对应设置的透光部204,位于透光部204的内表面201贴设有电致变色器件120。或者说,壳体20至少部分是透光的,以使传感器组件10可以向外部发射信号以及接收外部的信号。例如,光线发射部件11可以通过透光部204发射光线。深度摄像头12可以通过透光部204获取目标物体的深度信息。
透光部204可以采用透光材料制成,例如,透光部204的材料为亚克力等透光材料。透光部204的横截面可以为方形、圆形或者不规则等形状。需要指出的是,透光部204可以透过可见光,也可以透光非可见光。壳体20除透光部204外的其他部位可以是透光的,也可以是非透光的。
请参阅图4,在一些实施方式中,壳体20为透光壳体,电致变色器件120贴设并包覆在外表面202。或者说,电致变色器件202布满壳体20的外表面202。如此,电致变色器件120不仅可以覆盖传感器组件10,还可以提高电子装置100的外观效果。
例如,可以根据不同的需求控制电致变色器件120呈现不同的颜色以改变电子装置100的整体外观。可以理解,电致变色器件120的电压改变后,可以呈现出不同的颜色,例如,电致变色器件120可以呈绿色、红色、蓝色或者渐变色等以使电子装置100的整体呈现出绿色、红色、蓝色或者渐变色等颜色。
需要指出的是,在图4中,为了便于理解,电致变色器件120只展示贴合在壳体20的部分外表面202。
进一步地,电子装置100包括铺设在电致变色器件120上的增透膜130,电致变色器件120夹设在外表面202和增透膜130之间。如此,增透膜130不仅可以保护电致变色器件120,还可以提高电子装置100的整体外观。其中,增透膜130的材质可以为氟化钙等,其作用是减少反射进而提高光的透过率。
请参阅图5,本实施方式中,光线发射部件11包括封装壳111、第一发光源112、第二发光源113、基板114和扩散片115(diffuser)。第一发光源112和第二发光源113均设置在基板114上并位于封装壳111内。基板114与封装壳111固定连接。例如,基板114通过粘接或者焊接等方式与封装壳111固定连接。
具体地,封装壳111可以采用塑料、金属等材料制成。例如封装壳111的材料可以为不锈钢。封装壳111的横截面可以呈方形、圆形或者椭圆形等形状。封装壳111远离基板114的一端形成有一开口1110。
第一发光源112用于向电子装置100外发射第一光线。第二发光源113用于向电子装置100外发射第二光线,并用于为环境摄像头13补光。深度摄像头12用于接收经目标物体反射的第一光线以获取目标物体的深度信息。进一步地,第一光线和第二光线均用于透过扩散片115出射。
本实施方式中,第一光线和第二光线均为红外光,第一光线的波长与第二光线的波长不同。例如,第一光线的波长为940nm。第二光线的波长为850nm。另外,当然,在其他实施方式中,第一光线和/或第二光线可以为可见光。可以理解,在第一光线为红外光时,深度摄像头12为红外摄像头。
如图6所示,在一些实施方式中,第二发光源113的数量为多个,多个第二发光源113围绕第一发光源112间隔设置。例如,第二发光源113的数量为4个,4个第二发光源围绕第一发光源等角度间隔分布。第一发光源112和/或第二发光源113包括垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser,VCSEL)芯片,VCSEL芯片包括多个阵列排布的VCSEL光源。
基板114可以柔性电路板,也可以为刚性电路板。或者为柔性电路板和刚性电路板的组合。
扩散片115设置在开口1110处。扩散片115用于分散第一光线和第二光线以使第一光线和第二光线可以均匀地投射到目标物体上。
本申请实施方式的电子装置100中,第一发光源112和第二发光源113均设置在同一封装壳111中,这样可以使得光线发射部件11的结构更加紧凑,以减小电子装置100的体积。
请参阅图7-8,本申请实施方式的电子装置100包括显示器40、导光部件70和光量调节部件80。光线发射部件11、深度摄像头12和环境摄像头13均与显示器40错开设置。光线发射部件11、深度摄像头12和环境摄像头13均与导光部件70错开设置。
导光部件70与显示器40分离设置。导光部件70包括相对的第一侧71和第二侧72。导光部件70用于导入显示器40产生的光线并从第一侧71出射。光量调节部件80设置在第二侧72,光量调节部件80用于调节入射至第二侧72的环境光量。
在相关的增强现实设备中,用户可以通过增强现实设备在现实场景中看到增强现实设备显示的内容。可以理解,环境光线和增强显示设备形成的光线同时进入人眼,如果环境的光线亮度较高,使得增强现实设备的显示亮度与环境亮度的对比度过低,人眼较难看清增强现实设备的显示内容。如果环境的光线亮度较低,使得增强现实设备的显示亮度与环境亮度的对比度过高,虚拟现实设备的显示内容容易刺激人员,造成人眼疲劳。
为了解决增强现实设备的显示亮度与环境亮度的对比度过高或者高低的问题,相关技术一般通过调节增强现实设备的显示亮度。然而,在环境亮度高时,为了提高人眼观察到的画面清晰度,如果提高增强现实设备的显示亮度,那么则使得增强现实设备的功耗较大,产生的大量的热量而影响用户体验。
而本申请实施方式的电子装置100中,光量调节部件80可以调节从第二侧72入射并从第一侧71出射的环境光量,从而可以减少环境光量对显示器40产生并从第一侧71出射的光线的影响,有利于用户观看显示器40显示的内容,提高用户体验。
可以理解,用户在佩戴电子装置100时,人眼位于第一侧71外,因此,显示器40产生的光线从第一侧71出射后可以进入人眼内,从而使得用户可以观察到显示器40显示的图像。
环境光线依次经过光量调节部件80、第二侧72和第一侧71后进入人眼中,从而使得用户可以看到环境事物。因此,本申请的光量调节部件80可以调节进入人眼的环境光,从而减少环境光对人眼观察到的图像的影响。
请参阅图7-图9,本申请实施方式的电子装置100还包括支撑部件30、屈光部件50、调节机构60、处理器90、光线传感器14和准直部件92。
壳体20为电子装置100的外部零部件,起到了保护和固定电子装置100的内部零部件的作用。通过壳体20可以将内部零部件包围起来,可以避免外界因素对这些内部零部件造成直接的损坏。
具体地,在本实施方式中,壳体20可用于固定显示器40、屈光部件50、调节机构60、导光部件70和光量调节部件80中的至少一个。在图7的示例中,壳体20形成有收容腔室22,显示器40和屈光部件50收容在收容腔室22中。调节机构60部分地从壳体20露出。
壳体20还包括壳体顶壁24、壳体底壁26和壳体侧壁28。壳体底壁26的中部朝向壳体顶壁24形成缺口262。或者说,壳体20大致呈“B”字型。在用户佩戴电子装置100时,电子装置100可通过缺口262架设在用户的鼻梁上,这样既可以保证电子装置100的稳定性,又可以保证用户佩戴的舒适性。调节机构60可部分地从壳体侧壁28露出,以便用户对屈光部件50进行调节。
另外,壳体20可以通过计算机数控(Computerized Numerical Control,CNC)机床加工铝合金形成,也可以采用聚碳酸酯(Polycarbonate,PC)或者PC和丙烯腈-丁二烯-苯乙烯塑料(Acrylonitrile Butadiene Styrene plastic,ABS)注塑成型。在此不对壳体20的具体制造方式和具体材料进行限定。
支撑部件30用于支撑电子装置100。在用户佩戴电子装置100时,电子装置100可通过支撑部件30固定在用户的头部。在图7的示例中,支撑部件30包括第一支架32、第二支架34和弹性带36。
第一支架32和第二支架34关于缺口262对称设置。具体地,第一支架32和第二支架34可转动地设置在壳体20的边缘,在用户不需要使用电子装置100时,可将第一支架32和第二支架34贴近壳体20叠放,以便于收纳。在用户需要使用电子装置100时,可将第一支架32和第二支架34展开,以实现第一支架32和第二支架34支撑的功能。
第一支架32远离壳体20的一端形成有第一弯折部322,第一弯折部322朝向壳体底壁26弯折。这样,用户在佩戴电子装置100时,第一弯折部322可架设在用户的耳朵上,从而使电子装置100不易滑落。
类似地,第二支架34远离壳体20的一端形成有第二弯折部342。第二弯折部342的解释和说明可参照第一弯折部322,为避免冗余,在此不再赘述。
弹性带36可拆卸地连接第一支架32和第二支架34。如此,在用户佩戴电子装置100进行剧烈活动时,可以通过弹性带36进一步固定电子装置100,防止电子装置100在剧烈活动中松动甚至掉落。可以理解,在其他的示例中,弹性带36也可以省略。
在本实施方式中,显示器40包括OLED显示屏。OLED显示屏无需背光灯,有利于电子装置100的轻薄化。而且,OLED屏幕可视角度大,耗电较低,有利于节省耗电量。
当然,显示器40也可以采用LED显示器或Micro LED显示器。这些显示器仅作为示例而本申请的实施例并不限于此。
请一并参阅图10,屈光部件50设置在显示器40一侧。本实施方式中,屈光部件位于导光部件70的第一侧71。
屈光部件50包括屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59。
透光液体54设置在屈光腔52内。调节机构60用于调节透光液体54的量以调节屈光部件50的形态。具体地,第二膜层58相对于第一膜层56设置,侧壁59连接第一膜层56和第二膜层58,第一膜层56、第二膜层58和侧壁59围成屈光腔52,调节机构60用于调节透光液体54的量以改变第一膜层56和/或第二膜层58的形状。
如此,实现屈光部件50屈光功能的实现。具体地,“改变第一膜层56和/或第二膜层58的形状”包括三种情况:第一种情况:改变第一膜层56的形状且不改变第二膜层58的形状;第二种情况:不改变第一膜层56的形状且改变第二膜层58的形状;第三种情况:改变第一膜层56的形状且改变第二膜层58的形状。请注意,为方便解释,在本实施方式中,以第一种情况为例进行说明。
第一膜层56可具有弹性。可以理解,在屈光腔52中的透光液体54的量变化的情况下,屈光腔52内的压强也随之变化,从而使得屈光部件50的形态发生变化。
在一个例子中,调节机构60将屈光腔52中透光液体54的量减少,屈光腔52内的压强减小,屈光腔52外的压强与屈光腔52内的压强的压差增大,屈光腔52更加凹陷。
在另一个例子中,调节机构60将屈光腔52中透光液体54的量增多,屈光腔52内的压强增大,屈光腔52外的压强与屈光腔52内的压强的压差减小,屈光腔52更加凸出。
这样,就实现了通过调节透光液体54的量来调节屈光部件50的形态。
调节机构60连接屈光部件50。调节机构60用于调节屈光部件50的形态以调节屈光部件50的屈光度。具体地,调节机构60包括腔体62、滑动件64、驱动部件66、调节腔68和开关61。
滑动件64滑动地设置在腔体62中,驱动部件66与滑动件64连接,腔体62和滑动件64共同限定出调节腔68,调节腔68通过侧壁59连通屈光腔52,驱动部件66用于驱动滑动件64相对于腔体62滑动以调整调节腔68的容积以调节屈光腔52内的透光液体54的量。
如此,实现通过滑动件64来调整调节腔68的容积,以调节屈光腔52内的透光液体54的量。在一个例子中,请参阅图11,滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54进入调节腔68,第一膜层56愈发向内凹陷。
在另一个例子中,请参阅图12,滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54进入屈光腔52,第一膜层56愈发向外凸出。
侧壁59形成有流动通道5,流动通道5连通调节腔68和屈光腔52。调节机构60包括设置在流动通道5的开关61,开关61用于控制流动通道5的开闭状态。
在本实施方式中,开关61的数量为两个,两个开关61均为单向开关,其中一个开关61用于控制透光液体54从调节腔68流至屈光腔52,另一个开关61用于控制透光液体54从屈光腔52流至调节腔68。
如此,通过开关61实现透光液体54在调节腔68和屈光腔52之间的流动,以保持侧壁59两侧的压强平衡。如前,调节腔68容积的改变,会引起调节腔68中压强的变化,从而引起现透光液体54在调节腔68和屈光腔52之间的流动。而开关61通过控制流动通道5的开闭状态,来控制透光液体54在调节腔68和屈光腔52之间的流动能否实现,从而控制屈光部件50的形态的调节。
在一个例子中,请参阅图11,控制透光液体54从屈光腔52流至调节腔68的开关61打开,滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54通过开关61进入调节腔68,第一膜层56愈发向内凹陷。
在另一个例子中,控制透光液体54从屈光腔52流至调节腔68的开关61关闭,即使滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54也无法进入调节腔68,第一膜层56的形态不发生改变。
在又一个例子中,请参阅图12,控制透光液体54从调节腔68流至屈光腔52的开关61打开,滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54通过开关61进入屈光腔52,第一膜层56愈发向外凸出。
在又一个例子中,控制透光液体54从调节腔68流至屈光腔52的开关61关闭,即使滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54也无法进入屈光腔52,第一膜层56的形态不发生改变。
驱动部件66可基于多种结构和原理实现其驱动滑动件64滑动的功能。
在图8-图12的示例中,驱动部件66包括旋钮662和丝杠664,丝杠664连接旋钮662和滑动件64,旋钮662用于驱动丝杠664转动以带动滑动件64相对于腔体62滑动。
如此,实现通过旋钮662和丝杠664来驱动滑动件64。由于丝杠664和旋钮662的配合可将旋钮662的回转运动转化为丝杠664直线运动,在用户旋转旋钮662时,丝杠664即可带动滑动件64相对于腔体62滑动,从而引起调节腔68容积的变化,进而调节屈光腔52内的透光液体54的量。旋钮662可自壳体20露出,以方便用户旋转。
具体地,旋钮662上形成有螺纹部,丝杠664上形成有与旋钮662配合的螺纹部,旋钮662和丝杠664螺纹连接。
在旋钮662旋转的同时,开关61可对应地打开。如此,使得透光液体54可以流动,保证侧壁59两侧的压强平衡。
在一个例子中,旋钮662顺时针旋转,滑动件64往背离侧壁59的方向滑动,则将控制透光液体54从屈光腔52流至调节腔68的开关61打开。在另一个例子中,旋钮662逆时针旋转,滑动件64往朝向侧壁59的方向滑动,则将控制透光液体54从调节腔68流至屈光腔52的开关61打开。
请注意,本实施方式中,没有关联旋钮662的旋转角度与屈光部件50的屈光度数,用户将旋钮662旋转到视觉体验最佳的位置即可。当然,在其他的实施方式中,也可以关联旋钮662的旋转角度与屈光部件50的屈光度数。在此,不对旋钮662的旋转角度与屈光部件50的屈光度数是否关联进行限定。
请参阅图13,驱动部件66包括齿轮666和与齿轮666啮合的齿条668,齿条668连接齿轮666和滑动件64,齿轮666用于驱动齿条668移动以带动滑动件64相对于腔体62滑动。
如此,实现通过齿轮666和齿条668来驱动滑动件64。由于齿轮666和齿条668的配合可将齿轮666的回转运动转化为齿条668直线运动,在用户旋转齿轮666时,齿条668即可带动滑动件64相对于腔体62滑动,从而引起调节腔68容积的变化,进而调节屈光腔52内的透光液体54的量。齿轮666可自壳体20露出,以方便用户旋转。
类似地,在齿轮666旋转的同时,开关61可对应地打开。如此,使得透光液体54可以流动,保证侧壁59两侧的压强平衡。
在一个例子中,齿轮666顺时针转动使得齿条668啮合在齿轮666上,齿条668的长度缩短,拉动滑动件64往背离侧壁59的方向移动,则将控制透光液体54从屈光腔52流至调节腔68的开关61打开。
在另一个例子中,齿轮666逆时针转动使得啮合在齿轮666上的齿条668从齿轮666脱离,齿条668的长度增长,推动滑动件64往朝向侧壁59的方向移动,则将控制透光液体54从调节腔68流至屈光腔52的开关61打开。
类似地,本实施方式中,没有关联齿轮666的旋转角度与屈光部件50的屈光度数,用户将齿轮666旋转到视觉体验最佳的位置即可。当然,在其他的实施方式中,也可以关联齿轮666的旋转角度与屈光部件50的屈光度数。在此,不对齿轮666的旋转角度与屈光部件50的屈光度数是否关联进行限定
需要注意的是,屈光部件50的结构不仅包括以上的屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59,只要保证屈光部件50可以实现屈光度的改变的效果即可。例如,在其他方式中,屈光部件50包括多个镜片和驱动件,驱动件用于驱动每个镜片从收容位置移动到屈光位置。这样,即可通过多个镜片的组合,来改变屈光部件50的屈光度。当然,驱动件也可驱动移动到屈光位置上的每个镜片在屈光光轴上移动,从而改变屈光部件50的屈光度。
因此,以上的屈光部件的形态包括屈光部件的形状和状态,以上屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59的结构方式通过改变第一膜层56和/或第二膜层58的形状以实现屈光度的改变;以上多个镜片和驱动件的结构方式,通过改变镜片的状态以实现屈光度的改变。
请参阅图8及图9,导光部件70位于屈光部件50和光量调节部件80之间。导光部件70可以为板状的导光元件,导光部件70可以采用树脂等透光材料制成。如图8所示,显示器40产生的光线进入导光部件70内之后,不同传播方向的光线在导光部件70内产生全反射传播,最终从导光部件70的第一侧71出射至导光部件70外,以使人眼可以观察到显示器40显示的内容。
光量调节部件80可以通过光学胶固定在导光部件70。光量调节部件80包括电致变色元件,电致变色元件的透光率在电致变色元件被施加电压后改变。如此,通过改变电致变色元件的透光率可以调节经过电致变色元件的光量,从而可以调节经过第二侧72和第一侧71的环境光量。
可以理解,电致变色元件在外加电场的作用下发生稳定、可逆的颜色变化的现象,在外观上表现为颜色和透明度的可逆变化。如此使得电变色元件能够实现透光率的改变。
具体地,请参阅图14,电致变色元件可以包括层叠设置的第一导电层81、第二导电层82、电致变色层83、电解质层84和离子存储层85,,电致变色层83设置在第一导电层81和第二导电层82之间。第一导电层81和第二导电层82用于配合向电致变色层83施加电压。电解质层84和离子存储层85依次层叠设置在电致变色层83和第二导电层82之间。如此,第一导电层81和第二导电层82可以为电致变色提供电压,以使电致变色的透光率可以改变,从而改变电致变色的透光率,电解质层和离子存储层85可以保证电致变色层83可以正常的改变透光率。
需要指出的是,以上所说的电致变色器件120的结构与电致变色元件的结构类似,因此,本申请的电致变色器件120的结构请参考电致变色元件的结构,本申请不在赘述。
本申请实施方式中,处理器90与光量调节部件80连接。处理器90用于控制光量调节部件80的透光率以使光量调节部件80调节入射至第二侧72的环境光量。如此,处理器90可以准确地调节光量调节部件80的透光率。
如以上所述,在光量调节部件80为电致变色元件时,处理器90可以控制施加至电致变色元件的电压,从而控制电致变色元件的透光率。或者说,光量调节部件80的透光率通过调节电致变色元件的施加电压控制。处理器90可以包括电路板和设置在电路板上的处理芯片等元气件组件。
光线传感器14与处理器90连接。光线传感器14用于检测环境亮度,处理器90用于根据环境亮度调节光量调节部件80的透光率,其中,环境亮度与光量调节部件80的透光率为反相关关系。
如此可以自动调节光量调节部件80的透光率以使用户可以清楚地观察到显示器40显示的内容,并且用户不易疲劳。
如图15所示,在环境亮度增大时,光量调节部件80的透光率降低;在环境亮度降低时,光量调节部件80的透光率增大。这样使得显示器40的显示画面的对比度在人眼观看的舒适区,提高用户体验。
准直部件92设置在显示器40和导光部件70之间,准直部件92用于将显示器40产生的光线准直后出射至导光部件70。如此,准直部件92可以将显示器40产生的光线变成平行光后进入导光部件70中,从而可以减少光线的损失。
准直部件92可以包括多个透镜,多个透镜叠加一起可以准直光线。显示器40产生的光线经过准直部件92后进入导光部件70中,光线在导光部件70中全反射或者衍射后从导光部件70的第一侧71出射。
在一些实施方式中,处理器90用于当前环境亮度小于预设亮度时,开启第一发光源112、深度摄像头12和环境摄像头13以使深度摄像头12获取目标物体的深度信息,并开启第二发光源113以为环境摄像头13补光和环境摄像头13获取空间环境信息。
本申请实施方式的电子装置100中,第二发光源113在当前环境亮度小于预设亮度时可以开启用以为环境摄像头13补光,如此使得环境摄像头13可以品质较佳的图像,从而使得电子装置100在暗光下依然获得环境信息。
可以理解,第二发光源113发射的第二光线可以发射至目标物体上,从而在环境光线较弱时补充环境中的光线强度。
请参阅图16,在一些实施方式中,电子装置100包括一个驱动芯片94,一个驱动芯片94连接处理器90、第一发光源112和第二发光源113,处理器90用于在当前环境亮度小于预设亮度时控制驱动芯片94输出第一驱动信号和第二驱动信号,第一驱动信号用于驱动第一发光源112,第二驱动信号用于驱动第二发光源113。如此,一个驱动芯片94可以通过驱动两个发光源,这样可以降低电子装置100的硬件数量,从而降低电子装置100的成本。
请参阅图17,在一些实施方式中,电子装置100包括两个驱动芯片94,两个驱动芯片94均与处理器90连接,其中一个驱动芯片94与第一发光源112连接,另一个驱动芯片94与第二发光源113连接,处理器90用于在当前环境亮度小于预设亮度时控制其中一个驱动芯片94输出第一驱动信号,另一个驱动芯片94输出第二驱动信号,第一驱动信号用于驱动第一发光源112,第二驱动信号用于驱动第二发光源113。如此,两个驱动芯片94分别控制对应的发光源,这样使得每个发光源的工作状态更加容易控制。
在一些实施方式中,处理器90用于通过光线传感器14获取当前环境亮度。或者说,光线传感器14检测到当前环境亮度可以传送至处理器90。如此,当前环境亮度获取方便有效。
在一些实施方式中,处理器90用于获取环境摄像头13采集的空间环境图像,及用于计算空间环境图像的灰度;以及用于根据灰度得到当前环境亮度。在此实施方式中,光线传感器14可以省略,这样可以降低电子装置100的成本。
图18为一个实施例中的电子装置100的内部模块示意图。电子装置100包括通过系统总线109连接的处理器90、存储器102(例如为非易失性存储介质)、内存储器103、显示装置104和输入装置105。
处理器90可用于提供计算和控制能力,支撑整个电子装置100的运行。电子装置100的内存储器103为存储器102中的计算机可读指令运行提供环境。电子装置100的显示装置104可以是设置在电子装置100上的显示器40,输入装置105可以是设置在电子装置100上的声电元件和振动传感器,也可以是电子装置100上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该电子装置可以是智能手环、智能手表、智能头盔、电子眼镜等。
在相关技术中,可以通过摄像头获取物体图像,经过图像识别技术,分割图像,提取手部特征和计算手势节点等步骤,判断手势的动作类型,完成手势的交互。然而,这种方案的缺点是必须一直打开摄像头获取图像,且中央处理器或者数字信号处理器必须一直运行相关的手势算法,处理图像信息。导致的问题可有:1、整体功耗较高,发热严重,且缩短了电池的有效使用时间;2、中央处理器或者数字信号处理器占用率高,导致其他的算法和进程无法快速的运行,系统出现卡顿等问题。
对此,请参阅19及图20,本申请实施方式还提供了一种电子装置100的控制方法,电子装置100包括摄像头110,控制方法包括:
010,检测在摄像头110的预设范围内是否有外部物体400;
020,在摄像头110的预设范围内有外部物体400的情况下,开启摄像头110以获取外部物体400的图像;
030,根据外部物体400的图像对所述外部物体400进行动作姿势识别。
请参阅图21,本申请实施方式的控制装置200用于电子装置100,控制装置200包括检测模块210和控制模块220,步骤010可以由检测模块210执行,步骤020-030可以由控制模块220执行。或者说,检测模块210用于检测在摄像头110的预设范围内是否有外部物体400;控制模块220用于在摄像头110的预设范围内有外部物体400的情况下,开启摄像头110以获取外部物体400的图像;及用于根据外部物体400的图像对所述外部物体400进行动作姿势识别。
在某些实施方式中,步骤010-030可以由处理器90执行,或者说,处理器90用于检测在摄像头110的预设范围内是否有外部物体400;及用于在摄像头110的预设范围内有外部物体400的情况下,开启摄像头110以获取外部物体400的图像;以及用于根据外部物体400的图像对所述外部物体400进行动作姿势识别。
本申请实施方式的控制方法、控制装置200、电子装置100和存储介质中,在摄像头110的预设范围内有外部物体400的情况下开启摄像头110,以对所述外部物体400进行动作姿势的识别,这样可以避免摄像头110一直处于开启的状态,从而减少了摄像头110及处理器90的运行时间,降低了电子装置100的功耗及发热量。
具体地,在步骤010中,摄像头110的预设范围指的是,在摄像头110的视场范围内,可以以摄像头110的镜头中心表面为中心,以预定距离为半径形成的扇形或者锥形的范围;或者可以以摄像头110的图像传感器的中心为中心,以预定距离为半径形成的扇形或者锥形的范围。
该预设距离可以根据实际需要具体设定。例如,预设距离为10cm、20cm、30cm、40cm或者60cm等尺寸。
外部物体400可以为人体的手部、眼睛、头部等活体物体;也可以为笔、书本等非活体物体。
在步骤020中,开启摄像头110指的是,驱动摄像头110工作,以使摄像头110可以感测外部环境的光强并根据摄像头110的镜头的成像效果形成外部物体400图像。摄像头110例如为以上的环境摄像头110或者深度摄像头110。摄像头110为环境摄像头110时,摄像头110获取的是二维图像。摄像头110为深度摄像头110时,摄像头110获取的是三维图像。因此,本申请所说的外部物体400的图像可以为二维图像,也可以为三维图像。
在步骤030中,外部物体400的图像包括物体的类别、形状、大小等信息,进行动作姿势识别例如为对外部物体400的图像进行分割、提取特征、识别物体类别、判断是否满足动作姿势等系列过程。在此过程中,处理器90配合相关的硬件运行相应的程序,以执行步骤030,从而实现动作姿势识别的目的。
需要指出的是,本实施方式所说的动作姿势包括手势和眼部动作中的至少一种。可以理解,手势为用户的手部动作。手部动作可以为用户控制手指活动以形成预定的动作。例如,用户竖起大拇指或者五指张开等动作。
眼部动作可以用于的眼球运动的动作,例如,眼球向左右方向转动;眼部动作也可以用户眨眼的动作,例如,用户闭眼的时长或者眨眼的频率等动作。
当然,在其他实施方式中,动作姿势不限于以上讨论的手势和眼部动作。
在某些实施方式中,电子装置100包括设置在摄像头110一侧的接近传感器15,步骤010包括:
响应于用户发出的触发指令开启接近传感器15,以触发接近传感器15检测在摄像头110的预设范围内是否有外部物体400。
在某些实施方式中,处理器90用于响应于用户发出的触发指令开启接近传感器15,以通过接近传感器15检测在摄像头110的预设范围内是否有外部物体400。
具体地,接近传感器15可以设置摄像头110的上侧,也可以设置在摄像头110的下侧,在此不限制接近传感器15相对于摄像头110的方位。另外,接近传感器15可以与摄像头110接触设置,也可以与摄像头110间隔设置。
本申请中,触发指令可以根据用户操作形成,例如,用户按下电子装置100的按键或者触摸屏等输入装置以使电子装置100开始运行动作姿势的程序,并形成触发指令。
需要指出的是,此处所指的“上”、“下”等方位,指的是电子装置100正常使用的状态的下的方位。
在一个例子中,接近传感器15可以发射红外线,并接收外部物体400反射后的红外线以检测得到外部物体400与电子装置100之间的距离。当然,接近传感器15可以通过超声波、电磁场、毫米波的方式检测外部物体400与电子装置100之间的距离。
如此,利用接近传感器15可以准确地检测到摄像头110的预设范围内是否有外部物体400,另外,接近传感器15的功耗较低,这样可以进一步降低电子装置100在执行动作姿势的过程的功耗。
请参阅图22,在某些实施方式中,步骤030包括:
031,根据所述外部物体400的图像,确认外部物体400为预定物体时,控制摄像头110以第一帧率运行获取外部物体400的图像以获取外部物体400的动作姿势;
032,根据所述外部物体400的图像,确认外部物体400不是预定物体时,控制摄像头110以第二帧率以运行获取外部物体400的图像以判断外部物体400是否为预定物体,第二帧率小于第一帧率。
在某些实施方式中,步骤031-032可以由处理器90执行,或者说,处理器90用于根据所述外部物体400的图像,确认外部物体400为预定物体时,控制摄像头110以第一帧率运行获取外部物体400的图像以获取外部物体400的动作姿势;以及用于根据所述外部物体400的图像,确认外部物体400不是预定物体时,控制摄像头110以第二帧率运行获取外部物体400的图像以判断外部物体400是否为预定物体,第二帧率小于第一帧率。
具体地,可以理解,并非所有的外部物体400均可以执行动作姿势。因此,确定外部物体400的类型,在控制摄像头110的运行的帧率,这样可以避免摄像头110一直以较高的帧率运行而消耗较多的能量。
在步骤031中,预定物体为可以执行动作姿势的物体。例如,预定物体为人的手部、头部和/或眼睛。可以理解,在预定物体可以人体的头部时,头部可以执行点头及摇头等动作。在外部物体400为预定物体时,可以预判外部物体400将会做出动作姿势,因此,控制摄像头110以较高的帧率获取外部物体400的图像,这样可以准确地获取到外部物体400的姿势。
在步骤032中,在外部物体400不是预定物体的情况下,此时,可以预判外部物体400不会做出动作姿势,因此,控制摄像头110以较低的帧率获取外部物体400的图像,这样可以降低电子装置100的功耗。
另外,需要指出的是,判断外部物体400是否为预定物体是根据电子装置100根据图像识别的结果。在一个例子中,外部物体400是人体头部时,假若摄像头110仅拍摄到人体头部的部分图像,那么根据该图像无法分析得到外部物体400是人体头部。若摄像头110仅拍摄到人体头部的完整图像,那么根据该图像则可以分析得到外部物体400是人体头部
因此,步骤031以较低的帧率运行,这样可以持续地获取外部物体400的图像,以在外部运动的过程中进一步识别外部物体400是否为预定物体,从而提高外部物体400识别以及动作姿势识别的准确性。
在一个例子中,第一帧率为30帧/秒或者60帧/秒;第二帧率为5帧/秒或者10帧/秒。
请参阅图23,在某些实施方式中,步骤031包括:
0321,控制摄像头110获取外部物体400的连续帧图像;
0322,根据连续帧图像确认外部物体400的动作姿势。
在某些实施方式中,步骤0321-0323可以由处理器90执行,或者说,处理器90用于控制摄像头110获取外部物体400的连续帧图像;及用于根据连续帧图像确认外部物体400的动作姿势是否为预定姿势;以及用于在动作姿势为预定姿势的情况下,产生相应的控制指令。
可以理解,动作姿势一般是一个动态的过程,因此,动作姿势的识别是一个连续的过程,根据外部物体400的连续帧图像,可以准确地获取外部物体400的动作姿势,以较准确地产生相应的控制指令。
预定姿态包括点击、滑动、缩放中的至少一种。在一个例子中,外部物体400为手部,此时,可以控制摄像头110获取连续10帧图像,以根据这10帧图像判断手部是否做出“点击”的动作姿势,若是,则产生与“点击”相应的控制指令。
请参阅图24,在某些实施方式中,控制方法还包括步骤:
040,在动作姿势为预定姿势的情况下产生相应的控制指令,并根据控制指令控制电子装置100运行。
在某些实施方式中,步骤040可以由处理器90执行,或者说,处理器90用于在动作姿势为预定姿势的情况下产生相应的控制指令,并根据控制指令控制电子装置100运行。
如此,电子装置100可以根据外部物体400的动作姿势运行相应的功能。例如,可以根据该控制指令控制电子装置100解锁屏幕、截图、关闭画面以及快进视频等功能。
在一个例子中,用户的做出“点击”的手势动作后,电子装置100可以根据“点击”的动作播放视频。
在某些实施方式中,在步骤030后,控制方法还包括步骤:
检测外部物体400是否移出预设范围;
在外部物体400移出预设范围的情况下,关闭摄像头110。
在某些实施方式中,处理器90还用于检测外部物体400是否移出预设范围;及用于在外部物体400移出预设范围的情况下,关闭摄像头110。
如此,在外部物体400移出摄像头110的预设范围的情况下,此时,可以认为不会再有动作姿势产生,关闭摄像头110可以降低电子装置100的功耗,延长电子装置100的用电时间。
一种包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器90执行时,使得处理器90执行任一实施方式中的控制方法。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的示意图,并不构成对本申请方案所应用于其上的电子装置的限定,具体的电子装置可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种电子装置的控制方法,其特征在于,所述电子装置包括摄像头,所述控制方法包括:
检测在所述摄像头的预设范围内是否有外部物体;
在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;
根据所述外部物体的图像对所述外部物体进行动作姿势识别。
2.根据权利要求1所述的控制方法,其特征在于,所述电子装置包括设置在所述摄像头一侧的接近传感器,所述检测在所述摄像头的预设范围内是否有外部物体,包括:
响应于用户发出的触发指令开启所述接近传感器,以触发所述接近传感器检测在所述摄像头的预设范围内是否有外部物体。
3.根据权利要求1所述的控制方法,其特征在于,所述根据所述外部物体的图像进行动作姿势识别,包括:
根据所述外部物体的图像,确认所述外部物体为预定物体时,控制所述摄像头以第一帧率运行获取所述外部物体的图像以获取所述外部物体的动作姿势;
根据所述外部物体的图像,确认所述外部物体不是预定物体时,控制所述摄像头以第二帧率运行获取所述外部物体的图像以判断所述外部物体是否为预定物体,所述第二帧率小于所述第一帧率。
4.根据权利要求3所述的控制方法,其特征在于,所述控制所述摄像头以第一帧率运行获取所述外部物体的图像以获取所述外部物体的动作姿势,包括:
控制所述摄像头获取所述外部物体的连续帧图像;
根据所述连续帧图像确认所述外部物体的动作姿势。
5.根据权利要求1所述的控制方法,其特征在于,在根据所述外部物体的图像进行动作姿势识别后,所述控制方法包括:
检测所述外部物体是否移出所述预设范围;
在所述外部物体移出所述预设范围的情况下,关闭所述摄像头。
6.一种控制装置,用于电子装置,其特征在于,所述电子装置包括摄像头,所述控制装置包括:
检测模块,用于检测在所述摄像头的预设范围内是否有外部物体;
控制模块,用于在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;及用于根据所述外部物体的图像对所述外部物体进行动作姿势识别。
7.一种电子装置,其特征在于,包括摄像头和处理器,所述处理器用于检测在所述摄像头的预设范围内是否有外部物体;及用于在所述摄像头的预设范围内有所述外部物体的情况下,开启所述摄像头以获取所述外部物体的图像;以及用于根据所述外部物体的图像对所述外部物体进行动作姿势识别。
8.根据权利要求7所述的电子装置,其特征在于,所述处理器用于根据所述外部物体的图像确认所述外部物体为所述预定物体时,控制所述摄像头以第一帧率运行获取所述外部物体的图像以获取所述外部物体的动作姿势;以及用于根据所述外部物体的图像确认所述外部物体不是所述预定物体时,控制所述摄像头以第二帧率以运行获取所述外部物体的图像以判断所述外部物体是否为预定物体,所述第二帧率小于所述第一帧率。
9.根据权利要求8所述的电子装置,其特征在于,所述处理器用于控制所述摄像头获取所述外部物体的连续帧图像;及用于根据所述连续帧图像确认所述外部物体的动作姿势。
10.一种包含计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-5中的任一项所述的控制方法。
CN201910817693.6A 2019-08-30 2019-08-30 控制方法、控制装置、电子装置和存储介质 Pending CN110515468A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910817693.6A CN110515468A (zh) 2019-08-30 2019-08-30 控制方法、控制装置、电子装置和存储介质
PCT/CN2020/103341 WO2021036591A1 (zh) 2019-08-30 2020-07-21 控制方法、控制装置、电子装置和存储介质
EP20859159.4A EP3979046A4 (en) 2019-08-30 2020-07-21 CONTROL METHOD, CONTROL DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
US17/565,373 US20220121292A1 (en) 2019-08-30 2021-12-29 Control method, control device, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817693.6A CN110515468A (zh) 2019-08-30 2019-08-30 控制方法、控制装置、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN110515468A true CN110515468A (zh) 2019-11-29

Family

ID=68628616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817693.6A Pending CN110515468A (zh) 2019-08-30 2019-08-30 控制方法、控制装置、电子装置和存储介质

Country Status (4)

Country Link
US (1) US20220121292A1 (zh)
EP (1) EP3979046A4 (zh)
CN (1) CN110515468A (zh)
WO (1) WO2021036591A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036591A1 (zh) * 2019-08-30 2021-03-04 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US11514649B2 (en) * 2020-05-29 2022-11-29 Microsoft Technology Licensing, Llc Camera for augmented reality display
US11726339B2 (en) * 2021-11-30 2023-08-15 Samsung Electronics Co., Ltd. System for digital recording protection and electrochromic device frame
WO2023249820A1 (en) * 2022-06-22 2023-12-28 Snap Inc. Hand-tracking pipeline dimming

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095720A (ja) * 2013-11-11 2015-05-18 東芝テリー株式会社 同期式カメラ
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
CN105759935A (zh) * 2016-01-29 2016-07-13 华为技术有限公司 一种终端控制方法及终端
CN108229391A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 手势识别装置及其服务器、手势识别系统、手势识别方法
CN108989638A (zh) * 2018-08-01 2018-12-11 Oppo(重庆)智能科技有限公司 成像装置及其控制方法、电子装置和计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
EP2428870A1 (en) * 2010-09-13 2012-03-14 Samsung Electronics Co., Ltd. Device and method for controlling gesture for mobile device
US20210249116A1 (en) * 2012-06-14 2021-08-12 Medibotics Llc Smart Glasses and Wearable Systems for Measuring Food Consumption
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10771714B2 (en) * 2014-02-25 2020-09-08 Ams Sensors Singapore Pte. Ltd. Image sensor modules including primary high-resolution imagers and secondary imagers
US9766461B2 (en) * 2015-01-20 2017-09-19 Microsoft Technology Licensing, Llc Head-mounted display device with stress-resistant components
EP3751839A1 (en) * 2015-05-01 2020-12-16 GoPro, Inc. Camera mode control
JP6398870B2 (ja) * 2015-05-25 2018-10-03 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
US10560679B2 (en) * 2016-08-30 2020-02-11 Microsoft Technology Licensing, Llc Deformation detection and automatic calibration for a depth imaging system
US10129377B2 (en) * 2017-01-04 2018-11-13 Essential Products, Inc. Integrated structure including image capture and depth sensing components
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US10789777B1 (en) * 2017-06-29 2020-09-29 Facebook Technologies, Llc Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display
US10466360B1 (en) * 2017-08-31 2019-11-05 Facebook Technologies, Llc Depth measurement using scanning diffractive optical elements
CN107607957B (zh) * 2017-09-27 2020-05-22 维沃移动通信有限公司 一种深度信息获取系统及方法、摄像模组和电子设备
CN110121031B (zh) * 2019-06-11 2021-03-12 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095720A (ja) * 2013-11-11 2015-05-18 東芝テリー株式会社 同期式カメラ
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
CN105759935A (zh) * 2016-01-29 2016-07-13 华为技术有限公司 一种终端控制方法及终端
CN108229391A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 手势识别装置及其服务器、手势识别系统、手势识别方法
CN108989638A (zh) * 2018-08-01 2018-12-11 Oppo(重庆)智能科技有限公司 成像装置及其控制方法、电子装置和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036591A1 (zh) * 2019-08-30 2021-03-04 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质

Also Published As

Publication number Publication date
EP3979046A1 (en) 2022-04-06
EP3979046A4 (en) 2022-07-27
US20220121292A1 (en) 2022-04-21
WO2021036591A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110515468A (zh) 控制方法、控制装置、电子装置和存储介质
EP3329671B1 (en) Unique reflective lenses to auto-calibrate eye tracking system
CN108205374B (zh) 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
CN110398839A (zh) 头戴式显示设备和控制方法
JP5879353B2 (ja) 頭の位置及び向きのトラッキング
CN110290330A (zh) 控制方法、电子装置和存储介质
CN106919262A (zh) 增强现实设备
US20210255481A1 (en) Hyperextending hinge for wearable electronic device
WO2021047331A1 (zh) 控制方法、电子装置和存储介质
CN110286538A (zh) 显示方法、显示装置、头戴式显示装置和存储介质
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US20220174764A1 (en) Interactive method, head-mounted device, interactive system and storage medium
US20220299794A1 (en) Hyperextending hinge having fpc service loops for eyewear
US11442275B2 (en) Eyewear including a push-pull lens set
KR20220137117A (ko) 안경류를 위한 코스메틱 트림을 갖는 과신장 힌지
CN110401950A (zh) 注册方法、头戴式显示设备、头戴设备系统和存储介质
CN110515461A (zh) 交互方法、头戴设备、交互系统和存储介质
US11619809B2 (en) Eyewear eye-tracking using optical waveguide
US20170285765A1 (en) Input apparatus, input method, and computer program
KR20230162090A (ko) 아이웨어 프로젝터 밝기 조절
CN206906983U (zh) 增强现实设备
US11860371B1 (en) Eyewear with eye-tracking reflective element
US11619835B2 (en) Eyewear display having offset bonding
US20240085166A1 (en) Eyewear with strain gauge wear detection
US20240012246A1 (en) Methods, Apparatuses And Computer Program Products For Providing An Eye Tracking System Based On Flexible Around The Lens Or Frame Illumination Sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129