CN112019674B - 电子装置的控制方法及电子装置 - Google Patents

电子装置的控制方法及电子装置 Download PDF

Info

Publication number
CN112019674B
CN112019674B CN201910471662.XA CN201910471662A CN112019674B CN 112019674 B CN112019674 B CN 112019674B CN 201910471662 A CN201910471662 A CN 201910471662A CN 112019674 B CN112019674 B CN 112019674B
Authority
CN
China
Prior art keywords
image
electronic device
laser
laser projector
use state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910471662.XA
Other languages
English (en)
Other versions
CN112019674A (zh
Inventor
张学勇
吕向楠
赵斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111107307.8A priority Critical patent/CN113810530B/zh
Priority to CN201910471662.XA priority patent/CN112019674B/zh
Priority to PCT/CN2020/085973 priority patent/WO2020238491A1/zh
Priority to EP20814207.5A priority patent/EP3975528B1/en
Publication of CN112019674A publication Critical patent/CN112019674A/zh
Application granted granted Critical
Publication of CN112019674B publication Critical patent/CN112019674B/zh
Priority to US17/537,352 priority patent/US12058279B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/22Illumination; Arrangements for improving the visibility of characters on dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0272Details of the structure or mounting of specific components for a projector or beamer module assembly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/16Details of telephonic subscriber devices including more than one display unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/54Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

本申请公开了电子装置及电子装置的控制方法,电子装置包括机壳、第一显示屏、第二显示屏及激光投射器,机壳包括相背的第一面和第二面,第一显示屏和第二显示屏分别设置在第一面和第二面,激光投射器设置在第一面;控制方法包括:确定电子装置的使用状态;在电子装置处于第一使用状态时,激光投射器以第一模式投射激光;及,在电子装置处于第二使用状态时,激光投射器以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量。激光投射器在第二使用状态时能够投射的最大距离大于在第一使用状态时能够投射的最大距离,从而使激光投射器能够同时在第一使用状态和第二使用状态下使用,增加了使用者能够使用电子装置的场景。

Description

电子装置的控制方法及电子装置
技术领域
本申请涉及消费性电子产品技术领域,特别涉及一种电子装置的控制方法及电子装置。
背景技术
现有的具有激光投射器的手机中,激光投射器一般设置在手机的前壳上,并且激光投射器只用于拍摄距离较近的前置使用状态中,例如,激光投射器只用于前置深度图像获取的使用状态中,从而导致手机的使用者能够使用激光投射器的场景较少。
发明内容
本申请实施方式提供了一种电子装置的控制方法及电子装置。
本申请的电子装置的控制方法,所述电子装置包括机壳、第一显示屏、第二显示屏及激光投射器,所述机壳包括相背的第一面和第二面,所述第一显示屏和所述第二显示屏分别设置在所述第一面和所述第二面,所述激光投射器设置在所述第一面;所述控制方法包括:确定所述电子装置的使用状态;在所述电子装置处于第一使用状态时,所述激光投射器以第一模式投射激光;及,在所述电子装置处于第二使用状态时,所述激光投射器以第二模式投射激光,所述第二模式投射的所述激光的能量大于所述第一模式投射的所述激光的能量。
本申请的电子装置包括机壳、第一显示屏、第二显示屏、激光投射器及处理器,所述机壳包括相背的第一面和第二面,所述第一显示屏和所述第二显示屏分别设置在所述第一面和所述第二面,所述激光投射器设置在所述第一面;所述处理器用于确定所述电子装置的使用状态;所述激光投射器用于在所述电子装置处于第一使用状态时以第一模式投射激光、以及用于在所述电子装置处于第二使用状态时以第二模式投射激光,所述第二模式投射的所述激光的能量大于所述第一模式投射的所述激光的能量。
本申请的电子装置及电子装置的控制方法中,第一显示屏和第二显示屏分别设置在机壳的相背两侧,激光投射器和第一显示屏设置在机壳的同一侧,并且激光投射器在第二使用状态时能够投射的最大距离大于在第一使用状态时能够投射的最大距离,从而使激光投射器能够同时在第一使用状态和第二使用状态下使用,增加了使用者能够使用电子装置的场景;同时,电子装置上不需要设置两个激光投射器以分别在第一使用状态和第二使用状态下使用,节省了电子装置的成本。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1和图2是本申请某些实施方式的电子装置的结构示意图。
图3是本申请某些实施方式的电子装置的控制方法的流程示意图。
图4是本申请某些实施方式的电子装置的激光投射器的激光光源的结构示意图。
图5是本申请某些实施方式的电子装置的立体结构示意图。
图6和图7是本申请某些实施方式的电子装置的控制方法的流程示意图。
图8是本申请某些实施方式的电子装置的立体结构示意图。
图9是图8所示的电子装置沿IX-IX线的剖视图。
图10至图12是本申请某些实施方式的电子装置沿与图8所示的IX-IX线相同剖面线下的剖视图。
图13和图14是本申请某些实施方式的电子装置的结构示意图。
图15和图16是本申请某些实施方式的电子装置沿与图8所示的IX-IX线相同剖面线下的剖视图。
图17是本申请某些实施方式的电子装置的系统架构示意图。
图18是本申请某些实施方式的电子装置的控制方法的流程示意图。
图19是本申请某些实施方式的电子装置的控制方法的原理示意图。
图20至图23是本申请某些实施方式的电子装置的控制方法的流程示意图。
图24是本申请某些实施方式的电子装置的控制方法的原理示意图。
图25是本申请某些实施方式的电子装置的控制方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1至图3,本申请的电子装置100的控制方法,其中,电子装置100包括机壳11、第一显示屏12、第二显示屏13及激光投射器14,机壳11包括相背的第一面111和第二面112,第一显示屏12和第二显示屏13分别设置在第一面111和第二面112,激光投射器14设置在第一面111,控制方法包括:
031,确定电子装置100的使用状态;
032,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;及
033,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量。
本申请的电子装置100能够用于实现上述控制方法,具体地,电子装置100还包括处理器20,步骤031可以由处理器20实现,步骤032和步骤033均可以由激光投射器14实现。也即是说,处理器20可用于确定电子装置100的使用状态,激光投射器14可用于在电子装置100处于第一使用状态时以第一模式投射激光、以及用于在电子装置100处于第二使用状态时以第二模式投射激光。
其中,电子装置100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子装置100是手机为例进行说明,但电子装置100的形式并不限于手机。
电子装置100还包括设置在第一面111上的图像采集器15,激光投射器14配合图像采集器15使用以用于获取待测物的深度信息,以用于三维建模、生成三维图像、测距等。激光投射器14和图像采集器15可以安装在支架上后,再将支架、激光投射器14和图像采集器15一同安装在机壳11内。
本申请实施方式中,电子装置100的使用状态包括第一使用状态和第二使用状态。相对于电子装置100的使用者,第一使用状态和第二使用状态中的激光投射器14的朝向相反。其中,第一使用状态可以为前置使用状态,在电子装置100处于前置使用状态时,第一显示屏12和激光投射器14朝向电子装置100的使用者,此时,使用者能够观看到第一显示屏12显示的内容、并且能够使用激光投射器14朝使用者一侧投射激光,使用者能够使用激光投射器14(和图像采集器15)进行人脸识别、虹膜识别等。第二使用状态可以为后置使用状态,在电子装置100处于后置使用状态时,第一显示屏12和激光投射器14背离电子装置100的使用者,第二显示屏13朝向电子装置100的使用者,此时,使用者能够观看第二显示屏13显示的内容、并且能够使用激光投射器14朝远离使用者的一侧投射激光,例如,使用者能够使用激光投射器14(和图像采集器15)获取电子装置100的与使用者相背一侧的待测物的深度图像。
本申请实施方式中,激光投射器14投射激光的模式包括第一模式和第二模式,其中,第一模式对应激光投射器14处于前置使用状态,第二模式对应激光投射器14处于后置使用状态,第二模式投射的激光的能量大于第一模式投射的激光的能量。具体地,激光投射器14在第一模式下投射激光的功率可以小于在第二模式下投射激光的功率,以使第二模式投射的激光的能量大于第一模式投射的激光的能量,此时,激光投射器14在第二模式下投射的激光能够到达的最大距离(投射距离)大于在第一模式下投射的激光能够到达的最大距离(投射距离)。同时,后置使用状态下激光投射器14配合图像采集器15能够检测到的后置距离范围要大于前置使用状态下激光投射器14配合图像采集器15能够检测到的前置距离范围,例如:激光投射器14配合图像采集器15能够检测到的前置距离范围为25cm以内,而激光投射器14配合图像采集器15能够检测到的后置距离范围为大于25cm(25cm内的距离范围精度很差);或者,前置距离范围与后置距离范围有稍许交集,例如激光投射器14配合图像采集器15能够检测到的前置距离范围为25cm以内,而激光投射器14配合图像采集器15能够检测到的后置距离范围为大于20cm。
本申请的电子装置100及电子装置100的控制方法中,第一显示屏12和第二显示屏13分别设置在机壳11的相背两侧,激光投射器14和第一显示屏12设置在机壳11的同一侧,并且激光投射器14在第二使用状态时能够投射的最大距离大于在第一使用状态时能够投射的最大距离,从而使激光投射器14能够同时在第一使用状态和第二使用状态下使用,增加了使用者能够使用电子装置100的场景;同时,电子装置100上不需要设置两个激光投射器14以分别在第一使用状态和第二使用状态下使用,节省了电子装置100的成本。
请参阅图4,在某些实施方式中,激光投射器14包括激光光源140,激光光源140包括多个点光源141,多个点光源141能够被独立控制,具体地,每个点光源141均能够独立地开启和关闭。激光投射器14在第一模式下开启的点光源141的数量少于在第二模式下开启的点光源141的数量,此时,每个点光源141投射激光的功率可以相同,从而使得第二模式投射的激光的能量大于第一模式投射的激光的能量,激光投射器14在第二模式下投射的激光能够到达的最大距离也就大于在第一模式下投射的激光能够到达的最大距离。
请参阅图4,在某些实施方式中,多个点光源141形成多个发光阵列142,多个发光阵列142独立控制。具体地,每个发光阵列142内的多个点光源141能够同时开启和关闭,此时,每个发光阵列142内的多个点光源141的功率可以相同。在其他实施方式中,每个发光阵列142内的多个点光源141也可以独立控制。
本实施方式中,多个发光阵列142呈环形排布。环形排布的发光阵列142内的点光源141发出的激光可以覆盖更广的视场,如此,可以获得更多待测物的深度信息。其中,环形可以为方环形或圆环形。
请参阅图4,在某些实施方式中,随着投射距离的增大,发光阵列142的开启方式为:距离激光光源140的中心越远的发光阵列142越先开启。例如,请结合图4,发光阵列142的总数为6个,6个发光阵列142包括5个环形子阵列143和1个方形子阵列144,沿靠近激光光源140的中心的方向,5个环形子阵列143依次排布,依次排布的5个环形子阵列143的编号为A、B、C、D、E。本实施方式中,激光投射器14在第一模式下开启编号为A和B的环形子阵列143内的点光源141;激光投射器14在第二模式下可以开启编号为A、B和C的环形子阵列143内的点光源141、或者开启编号为A、B、C和D的环形子阵列143内的点光源141、或者开启编号为A、B、C、D和E的环形子阵列143内的点光源141、或者开启编号为A、B、C、D和E的环形子阵列143内的点光源141以及方形子阵列144内的点光源141。
本实施方式中,激光投射器14在第一模式下开启的点光源141的数量少于在第二模式下开启的点光源141的数量,从而使电子装置100在处于第一使用状态时投射的激光的能量小于处于第二使用状态时投射的激光的能量。
可以理解,激光投射器14的衍射光学元件146(图9所示)的衍射能力是有限的,即激光光源140发射的部分激光不会被衍射而是直接出射,直接出射的激光不经过衍射光学元件146的衍射衰减作用。而直接出射的激光的能量较大,极有可能对使用者的眼睛产生危害。因此,激光投射器14在电子装置100处于第一使用状态时以第一模式投射激光,也就是说,激光投射器14在投射距离较小时先开启远离激光光源140的中心的环形子阵列143,可以避免激光光源140投射的激光不经衍射光学元件146的衍射衰减作用而直接投射到使用者的眼睛,从而提高了激光投射器14的安全性;激光投射器14在电子装置100处于第二使用状态时以第二模式投射激光,也就是说,激光投射器14在投射距离较大时同时开启远离激光光源140的中心的环形子阵列143和靠近激光光源140的中心的环形子阵列143,从而增大了激光投射器14投射的激光能够到达的最大距离。
请参阅图5及图6,在某些实施方式中,电子装置100还包括重力传感器16,所述确定电子装置100的使用状态可以通过重力传感器16实现,具体地,控制方法包括:
0611,获取重力传感器16的z轴的数值;
0612,在z轴的数值大于第一预设值时,确定电子装置100处于所述第一使用状态;
0613,在z轴的数值小于第二预设值时,确定电子装置100处于所述第二使用状态;
062,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;及
063,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量。
上述的控制方法也可以由电子装置100实现,其中,步骤0611、步骤0612和步骤0613可以为前文所述的步骤031的子步骤,步骤062与前文所述的步骤032基本相同,步骤063与前文所述的步骤033基本相同。具体地,处理器20电性连接重力传感器16,处理器20还可以用于通过重力传感器16确定电子装置100的使用状态,处理器20还可以用于实现步骤0611、步骤0612和步骤0613。也就是说,处理器20还可以用于获取重力传感器16的z轴的数值、在z轴的数值大于第一预设值时,确定电子装置100处于所述第一使用状态、及在z轴的数值小于第二预设值时,确定电子装置100处于所述第二使用状态。
本实施方式中,重力传感器16包括三轴加速度传感器16。请参照图5,图5为三轴加速度传感器16确定电子装置100的使用状态的原理示意图。如图5所示,x轴、y轴、z轴均是相对于机壳11的位置而言的,通常y轴的方向为机壳11向上的方向,x轴的方向为机壳11向右的方向,z轴的方向为垂直于第一面111向外的方向。z轴的数值(加速度值)与第一显示屏12的朝向对应。
以用户使用电子装置100(手机)的视角来观察,当将电子装置100平放在桌面上并使第一显示屏12朝上时,x轴的数值默认为0,y轴的数值默认0,z轴的数值默认9.81m/s2;当将电子装置100朝下放在桌面上并使第一显示屏12朝下时,x轴的数值默认为0,y轴的数值默认0,z轴的数值为-9.81m/s2;当将电子装置100向左倾斜时,x轴的数值为正值;当将电子装置100向右倾斜时,x轴的数值为负值;当将电子装置100向上倾斜时,y轴的数值为负值;当将电子装置100向下倾斜时,y轴的数值为正值。
本实施方式中,若处理器20获取到的重力传感器16的z轴的数值大于第一预设值,例如,处理器20获取到的重力传感器16的z轴的数值6m/s2,大于第一预设值3m/s2时,则确定第一显示屏12朝向电子装置100的使用者,此时,处理器20确定电子装置100处于第一使用状态;若处理器20获取到的重力传感器16的z轴的数值小于第二预设值,例如,处理器20获取到的重力传感器16的z轴的数值-6m/s2,小于第二预设值-3m/s2时,则确定第二显示屏13朝向电子装置100的使用者,此时,处理器20确定电子装置100处于第二使用状态。
本申请实施方式的电子装置100及控制方法通过重力传感器16确定电子装置100的使用状态,从而不需要使用者手动选择电子装置100的使用状态就能够使用激光投射器14以对应的模式投射激光,提升了电子装置100的使用体验。
请参阅图7,在某些实施方式中,第一显示屏12和第二显示屏13均为触控显示屏。所述确定电子装置100的使用状态可以通过第一显示屏12检测到的第一触控信号和/或第二显示屏13检测到的第二触控信号实现,具体地,控制方法包括:
0711,在第一显示屏12检测到第一触控信号时,确定电子装置100处于第一使用状态;
0712,在第二显示屏13检测到第二触控信号时,确定电子装置100处于第二使用状态;
072,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;及
073,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量。
上述的控制方法也可以由电子装置100实现,其中,步骤0711和步骤0712可以为前文所述的步骤031的子步骤,步骤072与前文所述的步骤032基本相同,步骤073与前文所述的步骤033基本相同。具体地,处理器20还可以用于通过第一显示屏12检测到的第一触控信号和/或第二显示屏13检测到的第二触控信号确定电子装置100的使用状态,处理器20还可以用于实现步骤0711和步骤0712。也就是说,处理器20还可以用于在第一显示屏12检测到第一触控信号时,确定电子装置100处于第一使用状态、以及在第二显示屏13检测到第二触控信号时,确定电子装置100处于第二使用状态。
第一触控信号和第二触控信号均可以为电容信号。处理器20电性连接第一显示屏12和第二显示屏13,处理器20还可以获取第一显示屏12检测到的第一触控信号和第二显示屏13检测到的第二触控信号。当电子装置100的使用者触控操作第一显示屏12时,第一显示屏12的电容信号发生变化并被第一显示屏12检测到(也即是第一显示屏12检测到第一触控信号),此时,第一显示屏12朝向电子装置100的使用者并被使用者使用,处理器20确定电子装置100处于第一使用状态。当电子装置100的使用者触控操作第二显示屏13时,第二显示屏13的电容信号发生变化并被第二显示屏13检测到(也即是第二显示屏13检测到第二触控信号),此时,第二显示屏13朝向电子装置100的使用者并被使用者使用,处理器20确定电子装置100处于第二使用状态。
本申请实施方式的电子装置100及控制方法通过第一显示屏12或第二显示屏13确定电子装置100的使用状态,从而不需要在电子装置100上设置额外的硬件,节省了电子装置100的生产成本。
请参阅图8,在某些实施方式中,电子装置100还包括与处理器20电性连接的状态选择按键17,所述确定电子装置100的使用状态(步骤010)可以通过状态选择按键17实现,具体地,处理器20还可以用于通过状态选择按键17确定电子装置100的使用状态。状态选择按键17可以为实体按键并包括第一状态按键171和第二状态按键172。当处理器20检测到第一状态按键171被触发时,处理器20确定电子装置100处于第一使用状态;当处理器20检测到第二状态按键172被触发时,处理器20确定电子装置100处于第二使用状态。在其他实施方式中,状态选择按键17还可以为虚拟按键,状态选择按键17可以被第一显示屏12和第二显示屏13显示,例如,状态选择按键17可以为第一显示屏12或第二显示屏13显示的状态切换按键,该状态切换按键用于在第一使用状态和第二使用状态之间切换。
本申请实施方式的电子装置100及控制方法通过状态选择按键17确定电子装置100的使用状态,从而使用者能够根据需要准确地选择所需要的使用状态。
请参阅图1,在某些实施方式中,电子装置100还包括可见光摄像头40,可见光摄像头40包括主摄像头41和副摄像头42,主摄像头41和副摄像头42均安装在机壳11的第一面111上内。主摄像头41可以为广角摄像头,广角摄像头对运动敏感度低,相对较低的快门速度都能保证图像拍摄的清晰度,且广角摄像头视角范围大,可以涵盖大范围景物,并且能强调前景和突出远近对比。副摄像头42可以为长焦摄像头,长焦摄像头的长焦镜头,可以识别更远的物体。或者主摄像头41为彩色摄像头,副摄像头42为黑白摄像头。此处的摄像头可以为多个,三个或四个或者更多。本实施方式中,激光投射器14、副摄像头42、主摄像头41和图像采集器15依次间隔设置并位于同一直线上。
请参阅图1及图2,第一显示屏12安装在机壳11的第一面111上,第一显示屏12可以覆盖第一面111的面积的85%及以上,例如达到85%、86%、87%、88%、89%、90%、91%、92%、93%、95%甚至是100%。第二显示屏13安装在机壳11的第二面112上,第二显示屏13可以覆盖第二面112的面积的85%及以上,例如达到85%、86%、87%、88%、89%、90%、91%、92%、93%、95%甚至是100%。第一显示屏12和第二显示屏13均可以用于显示影像,影像可以是文字、图像、视频、图标等信息。
第一显示屏12包括显示区122,显示区122可用于显示影像。适配不同类型的电子装置100及不同使用者的需求,显示区122的形状可以呈圆形、椭圆形、跑道形、圆角矩形、矩形等形状。
请结合图9,显示区122形成有相背的正面123及背面124,显示区122可以用于显示影像,第一显示屏12发出的光线沿背面124指向正面123的方向向外发射,当电子装置100处于第一使用状态(使用者位于第一面111一侧)时,在光线穿过正面123后可由使用者接收,即,使用者可从正面123观察第一显示屏12显示的影像。可以理解,正面123为显示面,背面124为与显示面相背的面。正面123及背面124均可以是平面或曲面。
在某些例子中,第一显示屏12还可包括非显示区,非显示区可以形成在显示区122的周缘。非显示区可以不用于显示,非显示区可用于与机壳11结合或用于走线,例如可以将非显示区与机壳11通过粘胶结合,而不会影响显示区122的显示功能。第一显示屏12还可以是集成有触控功能的触控显示屏,使用者获取第一显示屏12显示的影像信息后,可以在第一显示屏12上进行触控以实现预定的交互操作。
请参阅图8,在某些实施方式中,显示区122包括多个像素,多个像素按照预定的方式排列,相邻的像素之间存在微观间隙。显示区122包括第一子显示区1221及第二子显示区1222。第一子显示区1221的像素密度小于第二子显示区1222的像素密度。
第一子显示区1221的像素密度小于第二子显示区1222的像素密度,也就是第一子显示区1221的微观间隙要大于第二子显示区1222的微观间隙,第一子显示区1221对光线的阻隔作用较小,穿过第一子显示区1221的光线的透过率较高。在其他实施方式中,第一子显示区1221的像素密度也可以大于第二子显示区1222的像素密度,或者第一子显示区1221的像素密度也可以等于第二子显示区1222的像素密度。
在某些实施方式中,第一子显示区1221与第二子显示区1222的形状可以依据具体的需求进行设置,在此不作限制,例如第一子显示区1221可以设置成跑道形、水滴状等,第二子显示区1222与第一子显示区1221可以互补并共同形成矩形或圆角矩形等形状的显示区122。第一子显示区1221可以位于显示区122的靠近边缘的位置,第二子显示区1222可以位于显示区122的中间位置。第一子显示区1221可以用于显示电子装置100的状态图标,例如,第一子显示区1221可用于显示电子装置100的电池电量、网络连接状态、系统时间等。
请参阅图9,第一显示屏12和第二显示屏13均为全面屏。激光投射器14设置在第一显示屏12的背面124所在的一侧,或者说,激光投射器14设置在显示区122下方(例如可以设置在第一子显示区1221下方),激光投射器14用于发射穿过显示区122的激光。具体地,激光投射器14可以包括激光光源140、准直元件145及衍射光学元件146,激光光源140发出的光(例如红外激光)先经过准直元件145准直,再经衍射光学元件146衍射后从激光投射器14中发出,然后再穿过显示区122以投射到外界。光线穿过微观间隙时会发生衍射,即显示区122的微观间隙与衍射光学元件146上的衍射结构对激光光源140发出的光均具有衍射作用。
穿过显示区122并进入外界的激光中,可能同时包含由衍射光学元件146衍射形成的图案(图案中包括多个由衍射光学元件146衍射的斑点),以及由第一显示屏12的微观间隙衍射形成的图案(图案中包括多个由衍射光学元件146衍射又被第一显示屏12衍射的斑点),以使穿过显示区122后的散斑图案具有较高的不相关性,利于后续对获得的散斑图案进行处理。在一个例子中,显示区122的透过率可以达到60%或以上,以使激光投射器14发出的激光穿过显示区122时损耗较小。
图像采集器15可以是红外摄像头,激光发射到待测物,由待测物调制后,可以由图像采集器15获取,图像采集器15接收被调制的激光后得到散斑图像,散斑图像被处理后得到待测物的深度数据。图像采集器15也可以设置在第一显示屏12的背面124所在的一侧,即设置在第一显示屏12下(例如可以设置在第一子显示区1221下方)。此时,图像采集器15的入光面可以对准显示区122,被待测物调制后的激光穿过显示区122后再由图像采集器15接收,具体地,被待测物调的激光可以由第一显示屏12的微观间隙衍射后,再由图像采集器15接收。
请参阅图10,在某些实施方式中,电子装置100还包括泛光灯50,泛光灯50可以用于向外发射补充光线,补充光线可以用于在环境光线较弱时补充环境中的光线强度。在一个例子中,补充光线可以是红外光。补充光线发射到待测物上被待测物反射后,可以由图像采集器15获取以得到待测物的二维图像,二维图像信息可用于身份识别。泛光灯50也可以设置在第一显示屏12的背面124所在的一侧,即设置在第一显示屏12下(例如可以设置在第一子显示区1221下方),具体地,泛光灯50可以与激光投射器14及图像采集器15设置在同一个支架上。此时,泛光灯50发出的补充光线穿过显示区122的微观间隙后进入外界环境,被反射后的补充光线可以再次穿过微观间隙以被图像采集器15接收。
综上,由于激光投射器14和图像采集器15设置在第一显示屏12的背面124所在的一侧,第一显示屏12上不需要开设与激光投射器14和图像采集器15对准的开口,电子装置100的屏占比较高。另外,本申请实施方式将激光投射器14和图像采集器15设置在第一显示屏12下方,相较于可以采集深度信息的飞行时间而言,激光投射器14和图像采集器15获取的深度图像的分辨率较高,在人脸识别中使用分辨率较高的深度图像可以提高人脸识别的准确率,在三维场景建模中使用分辨率较高的深度图像可以提高建模的三维场景与实际场景之前的匹配度。
若激光投射器14设置在第一显示屏12下方时,激光投射器14投射的激光穿过第一子显示区1221时会受到第一显示屏12中的微观间隙的影响,即投射到场景中的散斑图像中的斑点同时包括激光仅被激光投射器14的衍射光学元件146一次衍射形成的斑点、以及激光经过衍射光学元件146一次衍射再由第一显示屏12二次衍射形成的斑点。图像采集器15设置在第一显示屏12下方,且图像采集器15接收的是被待测物反射后穿过第一显示屏12时被第一显示屏12衍射的激光,则图像采集器15采集的散斑图像中的斑点同时包括激光仅被衍射光学元件146一次衍射并被待测物反射形成的斑点、激光经过衍射光学元件146一次衍射再由第一显示屏12二次衍射并被待测物反射形成的斑点、以及激光经过衍射光学元件146一次衍射再由第一显示屏12二次衍射并被待测物反射后又一次由第一显示屏12三次衍射形成的斑点。在计算深度图像时,包括以下两种计算方式:
(1)直接根据散斑图像中的所有斑点做深度计算。此时,参考图像中的参考斑点同时包括激光仅被衍射光学元件146一次衍射并被标定物体反射形成的参考斑点、激光经过衍射光学元件146一次衍射再由第一显示屏12二次衍射并被标定物体反射形成的参考斑点、以及激光经过衍射光学元件146一次衍射再由第一显示屏12二次衍射并被标定物体反射后又一次由第一显示屏12三次衍射形成的参考斑点。
(2)仅留下激光仅被衍射光学元件146一次衍射并被待测物反射形成的斑点并滤掉其余斑点,以根据剩余的斑点做深度计算。此时,参考图像中的参考斑点仅包括激光仅被衍射光学元件146一次衍射并被标定物体反射形成的参考斑点。其中,经过不同衍射次数衍射后形成的斑点的亮度不同,因此,各类斑点可以通过亮度来区分,从而可以滤掉无需用到的斑点。
请参阅图11,在某些实施方式中,第一显示屏12为一端开设有开口121的开口屏,激光投射器14伸入开口121内安装,图像采集器15设置在第二显示屏12的下方。此时,激光投射器14设置在第一显示屏12下方,且激光投射器14投射的激光穿过第一显示屏12时未受到第一显示屏12的微观间隙的影响(即第一显示屏12形成有图5所示的开口121),设置在第一显示屏12下方的图像采集器15采集的散斑图像中的斑点同时包括激光仅被衍射光学元件146一次衍射并被待测物反射形成的斑点、以及激光经过衍射光学元件146一次衍射并被待测物反射后由第一显示屏12二次衍射形成的斑点。在计算深度图像时,包括以下两种计算方式:
(1)直接根据散斑图像中的所有斑点做深度计算。此时,参考图像中的参考斑点同时包括激光仅被衍射光学元件146一次衍射并被标定物体反射形成的参考斑点、以及激光经过衍射光学元件146一次衍射并被标定物体反射后由第一显示屏12二次衍射形成的参考斑点。
(2)仅留下激光仅被射光学元件213一次衍射并被待测物反射形成的斑点并滤掉其余斑点,以根据剩余的斑点做深度计算。此时,参考图像中的参考斑点仅包括激光仅被射光学元件213一次衍射并被标定物体反射形成的参考斑点。其中,经过不同衍射次数衍射后形成的斑点的亮度不同,因此,各类斑点可以通过亮度来区分,从而可以滤掉无需用到的斑点。
请参阅图12,在某些实施方式中,第一显示屏12形成有开口121,开口121不具有显示功能。开口121贯穿正面123及背面124。激光投射器14设置在第一显示屏12的背面124所在的一侧的同时,激光投射器14与开口121对准,激光投射器14用于发射穿过开口121的激光。在一个实施例中,开口121可以开设在第一子显示区1221上。
此时,激光投射器14的出光面可以对准开口121,激光投射器14发射的激光穿过开口121后进入外界。本实施方式中,进入外界的激光不需要穿过显示区122的微观间隙,不会由微观间隙再次衍射,从而在图像采集器15获取散斑图像后,可以降低后续基于散斑图像计算深度图像的处理难度。
具体地,在如图13所示的例子中,开口121包括形成在第一显示屏12的边缘上的缺口,或者说,开口121与第一显示屏12的边缘相交。缺口具体可以形成在第一显示屏12的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。缺口的形状可以是三角形、半圆形、矩形、跑道形等任意形状,在此不作限制。
在如图14所示的例子中,开口121包括与第一显示屏12的边缘间隔的通孔,或者说,开口121开设在第一显示屏12的边缘围成的范围内。通孔具体可以靠近第一显示屏12的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。通孔的形状可以是三角形、圆形、矩形、跑道形等任意形状,在此不作限制。
请参阅图15,在某些实施方式中,电子装置100还包括盖板10,盖板10设置在第一显示屏12的正面123所在的一侧。当第一显示屏12开设有开口121,并且激光投射器14和图像采集器15均与开口121对准时,盖板10的与激光投射器14和图像采集器15对应的区域上设置有红外透过层61。此时,开口121的数量可以为一个或两个。
盖板10可以由玻璃或者蓝宝石等透光性能较好的材料制成。红外透过层61可以是红外透过油墨或红外透过膜,红外透过层61对红外光(例如波长为940纳米的光)具有较高的透过率,例如透过率可以达到85%或以上,而对红外光以外的光线的透过率较低或者使得红外光以外的光线完全不能透过。因此,使用者难以通过盖板10看到与开口121对准的激光投射器14或者图像采集器15,电子装置100的外观较美观。
请参阅图16,在某些实施方式中,电子装置100还包括盖板10,盖板10设置在第一显示屏12的正面123所在的一侧,盖板10的与激光投射器14对应的区域形成有红外增透膜62。
红外增透膜62可以增加红外光的透过率,当激光投射器14投射红外激光时,红外增透膜62可以增加红外激光穿过盖板10的透过率,以减少红外激光穿过盖板10时的损耗,进而降低电子装置100的功耗。具体地,红外增透膜62可以镀在盖板10的上表面、或下表面、或同时镀在上表面及下表面。
当然,盖板10上与图像采集器15对应的区域也可以形成有红外增透膜62,以减少外界的红外光到达图像采集器15前穿过盖板10的损耗。盖板10上与泛光灯50对应的区域也可以形成有红外增透膜62,以减少泛光灯50发出的补充光线在穿过盖板10时的损耗。盖板10的与可见光摄像头40(包括主摄像头41和副摄像头42)对应的位置可以设置有可见光增透膜63,以减少外界的可见光到达可见光摄像头40前穿过盖板10的损耗。
请参阅图17,在某些实施方式中,激光投射器14包括激光光源140和第一驱动器147,第一驱动器147可用于驱动激光光源140向待测物投射激光。激光投射器14和图像采集器15均与处理器20连接。处理器20可以为激光投射器14提供使能信号,具体地,处理器20可以为第一驱动器147提供使能信号。图像采集器15通过I2C总线与处理器20连接。激光投射器14可以向外发射激光,例如红外激光,激光到达场景中的物体上后被反射,被反射的激光可由图像采集器15接收,处理器20可以依据激光投射器14发射的激光及图像采集器15接收的激光计算物体的深度信息。在一个例子中,激光投射器14和图像采集器15可通过飞行时间(Time of flight,TOF)测距法获取深度信息,在另一个例子中,激光投射器14和图像采集器15可通过结构光测距原理获取深度信息。本申请说明书以激光投射器14和图像采集器15通过结构光测距原理获取深度信息为例进行说明,此时,激光投射器14为红外激光发射器,图像采集器15为红外摄像头。
图像采集器15与激光投射器14配合使用时,在一个例子中,图像采集器15可以通过选通信号(strobe信号)控制激光投射器14的投射时序,其中,strobe信号是根据图像采集器15获取采集图像的时序来生成的,strobe信号可视为高低电平交替的电信号,激光投射器14根据strobe指示的激光投射时序来投射激光。具体地,处理器20可以通过I2C总线发送图像采集指令以启用激光投射器14和图像采集器15,并使激光投射器14和图像采集器15工作。图像采集器15接收到图像采集指令后,通过strobe信号控制开关器件30,若strobe信号为高电平,则开关器件30向第一驱动器147发送第一脉冲信号(pwn1),第一驱动器147根据第一脉冲信号驱动激光光源140向场景中投射激光,若strobe信号为低电平,则开关器件30停止发送第一脉冲信号至第一驱动器147,激光光源140不投射激光;或者,也可以是在strobe信号为低电平时,开关器件30向第一驱动器147发送第一脉冲信号,第一驱动器147根据第一脉冲信号驱动激光光源140向场景中投射激光,在strobe信号为高电平时,开关器件30停止发送第一脉冲信号至第一驱动器147,激光光源140不投射激光。在另一个例子中,图像采集器15与激光投射器14配合时可以无需用到strobe信号,此时,处理器20发送图像采集指令至图像采集器15并同时发送激光投射指令至第一驱动器147,图像采集器15接收到图像采集指令后开始获取采集图像,第一驱动器147接收到激光投射指令时驱动激光光源140投射激光。激光投射器14投射激光时,激光形成带有斑点的激光图案投射在场景中的待测物上。图像采集器15采集被待测物反射的激光图案得到散斑图像,并通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI)将散斑图像发送给处理器20。图像采集器15每发送一帧散斑图像给处理器20,处理器20就接收到一个数据流。处理器20可以根据散斑图像和预存在处理器20中的参考图像做深度图像的计算。
在某些实施方式中,可见光摄像头40也通过I2C总线与处理器20连接,也就是说,主摄像头41和副摄像头42均可以通过I2C总线与处理器20连接。可见光摄像头40可用于采集可见光图像;也就是说,主摄像头41和副摄像头42均可以分别用于采集可见光图像,或者主摄像头41和副摄像头42相配合并一起用于采集可见光图像;换句话说,主摄像头41和副摄像头42中的任意一个或两个可以用于采集可见光图像。可见光摄像头40(主摄像头41和/或副摄像头42)每发送一帧可见光图像给处理器20,处理器20就接收到一个数据流。可见光摄像头40可以单独使用,即使用者仅仅想要获取可见光图像时,处理器20通过I2C总线向可见光摄像头40(主摄像头41和副摄像头42中的任意一个或两个)发送图像采集指令以启用可见光摄像头40使其工作。可见光摄像头40接收到图像采集指令后采集场景的可见光图像,并通过移动产业处理器接口向处理器20发送可见光图像。可见光摄像头40(主摄像头41和副摄像头42中的任意一个,或者主摄像头41和副摄像头42一起)也可以与激光投射器14以及图像采集器15配合使用,即使用者想要通过可见光图像与深度图像获取三维图像时,若图像采集器15与可见光摄像头40工作频率相同,则图像采集器15与可见光摄像头40通过sync信号实现硬件同步。具体地,处理器20通过I2C总线向图像采集器15发送图像采集指令。图像采集器15接收到图像采集指令后,可以通过strobe信号控制开关器件30向第一驱动器147发送第一脉冲信号(pwn1),以使第一驱动器147根据第一脉冲信号驱动激光光源140发射激光;同时,图像采集器15与可见光摄像头40之间通过sync信号同步,该sync信号控制可见光摄像头40采集可见光图像。
电子装置100还可包括设置在第一面111上的泛光灯50。泛光灯50可以向场景中发射均匀的面光,泛光灯50包括泛光光源51及第二驱动器52,第二驱动器52可用于驱动泛光光源51发射均匀的面光。泛光灯50发出的光可以是红外光或其他不可见光,例如紫外光等。本申请以泛光灯50发射红外光为例进行说明,但泛光灯50发射的光的形式并不限于此。泛光灯50与处理器20连接,处理器20可以为驱动泛光灯50提供使能信号,具体地,处理器20可以为第二驱动器52提供使能信号。泛光灯50可以与图像采集器15配合工作以采集红外图像。图像采集器15与泛光灯50配合使用时,在一个例子中,图像采集器15可以通过选通信号(strobe信号,该strobe信号与图像采集器15控制激光投射器14的strobe信号为两个独立的strobe信号)控制泛光灯50发射红外光的发射时序,strobe信号是根据图像采集器15获取采集图像的时序来生成的,strobe信号可视为高低电平交替的电信号,泛光灯50根据strobe信号指示的红外光发射时序来发射红外光。具体地,处理器20可以通过I2C总线向图像采集器15发送图像采集指令,图像采集器15接收到图像采集指令后,通过strobe信号控制开关器件30,若strobe信号为高电平,则开关器件30向第二驱动器52发送第二脉冲信号(pwn2),第二驱动器52根据第二脉冲信号控制泛光光源51发射红外光,若strobe信号为低电平,则开关器件30停止发送第二脉冲信号至第二驱动器52,泛光光源51不发射红外光;或者,也可以是在strobe信号为低电平时,开关器件30向第二驱动器52发送第二脉冲信号,第二驱动器52根据第二脉冲信号控制泛光光源51发射红外光,在strobe信号为高电平时,开关器件30停止发送第二脉冲信号至第二驱动器52,泛光光源51不发射红外光。泛光灯50发射红外光时,图像采集器15接收被场景中的物体反射的红外光以形成红外图像,并通过移动产业处理器接口将红外图像发送给处理器20。图像采集器15每发送一帧红外图像给处理器20,处理器20就接收到一个数据流。该红外图像通常用于虹膜识别、人脸识别等。
请参阅图1及图18,在某些实施方式中,电子装置100还包括图像采集器15,图像采集器15设置在第一面111上,在激光投射器14投射激光时(激光投射器14以第一模式投射激光时,或者激光投射器14以第二模式投射激光时),激光投射器14以第一工作频率向场景投射激光,控制方法还包括:
0184,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
0185,在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像;和
0186,根据第一图像、第二图像及参考图像计算深度图像。
也就是说,控制方法包括:
0181,确定电子装置100的使用状态;
0182,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0183,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0184,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
0185,在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像;和
0186,根据第一图像、第二图像及参考图像计算深度图像。
上述的控制方法也可以由电子装置100实现,其中,步骤0181与前文所述的步骤031基本相同,步骤0182与前文所述的步骤032基本相同,步骤0183与前文所述的步骤033基本相同。图像采集器15可用于实现步骤0184,处理器20还可以用于实现步骤0185和步骤0186。也就是说,图像采集器15用于以第二工作频率获取采集图像,处理器20还用于在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像、及根据第一图像、第二图像及参考图像计算深度图像。
具体地,图像采集器15与激光投射器14工作频率不同(即第二工作频率大于第一工作频率)时,若需要获取深度图像,比如在解锁、支付、解密、三维建模等使用场景下。在一个例子中,处理器20通过I2C总线向图像采集器15和第一驱动器147同时发送获取深度图像的图像采集指令。第一驱动器147接收到图像采集指令后,驱动激光光源140以第一工作频率向场景发射红外激光;图像采集器15接收到图像采集指令后,以第二工作频率采集被场景中的物体反射回的红外激光以获取采集图像。例如图19所示,实线表示激光投射器14发射激光的时序,虚线表示图像采集器15获取采集图像的时序及采集图像的帧数,点划线表示根据第一图像和第二图像得到的第三图像的帧数,图19中由上至下,依次为实线、虚线及点划线,其中,第二工作频率为第一工作频率的两倍。请参阅图19中实线与虚线部分,图像采集器15在激光投射器14未投射激光时先接收环境中的红外光(下称环境红外光)以获取第N帧采集图像(此时为第一图像,也可称作背景图像),并通过移动产业处理器接口将第N帧采集图像发送给处理器20;随后,图像采集器15可以在激光投射器14投射激光时接收环境红外光以及由激光投射器14发射的红外激光以获取第N+1帧采集图像(此时为第二图像,也可称作干扰散斑图像),并通过移动产业处理器接口将第N+1帧采集图像发送给处理器20;随后,图像采集器15再在激光投射器14未投射激光时接收环境红外光以获取第N+2帧采集图像(此时为第一图像),并通过移动产业处理器接口将第N+2帧采集图像发送给处理器20,依此类推,图像采集器15交替地获取第一图像和第二图像。
在另一个例子中,处理器20通过I2C总线向图像采集器15发送获取深度图像的采集指令。图像采集器15接收到图像采集指令后,通过strobe信号控制开关器向第一驱动器147发送第一脉冲信号,第一驱动器147根据第一脉冲信号驱动激光光源140以第一工作频率投射激光(即激光投射器14以第一工作频率投射激光),同时图像采集器15以第二工作频率采集被场景中的物体反射回的红外激光以获取采集图像。如图19所示,实线表示激光投射器14发射激光的时序,虚线表示图像采集器15获取采集图像的时序及采集图像的帧数,点划线表示根据第一图像和第二图像得到的第三图像的帧数,图19中由上至下,依次为实线、虚线及点划线,其中,第二工作频率为第一工作频率的两倍。请参阅图19中实线与虚线部分,图像采集器15在激光投射器14未投射激光时先接收环境红外光以获取第N帧采集图像(此时为第一图像,也可称作背景图像),并通过移动产业处理器接口将第N帧采集图像发送给处理器20;随后,图像采集器15可以在激光投射器14投射激光时接收环境红外光以及由激光投射器14发射的红外激光以获取第N+1帧采集图像(此时为第二图像,也可称作干扰散斑图像),并通过移动产业处理器接口将第N+1帧采集图像发送给处理器20;随后,图像采集器15再在激光投射器14未投射激光时接收环境红外光以获取第N+2帧采集图像(此时为第一图像),并通过移动产业处理器接口将第N+2帧采集图像发送给处理器20,依此类推,图像采集器15交替地获取第一图像和第二图像。
需要说明的是,图像采集器15可以在发送采集图像给处理器20的过程中同时执行采集图像的获取。并且,图像采集器15也可以先获取第二图像,再获取第一图像,并根据这个顺序交替执行采集图像的获取。另外,上述的第二工作频率与第一工作频率之间的倍数关系仅为示例,在其他实施例中,第二工作频率与第一工作频率之间的倍数关系还可以是三倍、四倍、五倍、六倍等等。
处理器20每接收到一帧采集图像后,都会对接收到的采集图像进行区分,判断采集图像是第一图像还是第二图像。处理器20接收到至少一帧第一图像和至少一帧第二图像后,即可根据第一图像、第二图像以及参考图像计算深度图像。具体地,由于第一图像是在激光投射器14未投射激光时采集的,形成第一图像的光线仅包括环境红外光,而第二图像是在激光投射器14投射激光时采集的,形成第二图像的光线同时包括环境红外光和激光投射器14发射的红外激光,因此,处理器20可以根据第一图像来去除第二图像中的由环境红外光形成的采集图像的部分,从而得到仅由红外激光形成的采集图像(即由红外激光形成的散斑图像)。
可以理解,环境光包括与激光投射器14发射的红外激光波长相同的红外光(例如,包含940nm的环境红外光),图像采集器15获取采集图像时,这部分红外光也会被图像采集器15接收。在场景的亮度较高时,图像采集器15接收的光线中环境红外光的占比会增大,导致采集图像中的激光散斑点不明显,从而影响深度图像的计算。
本申请的控制方法控制激光投射器14与图像采集器15以不同的工作频率工作,图像采集器15可以采集到仅由环境红外光形成的第一图像以及同时由环境红外光和激光投射器14发射的红外激光形成的第二图像,并基于第一图像去除掉第二图像中由环境红外光形成的图像部分,由此能够区分出激光散斑点,并能采用仅由激光投射器14发射的红外激光形成的采集图像来计算深度图像,激光散斑匹配不受影响,可以避免深度信息出现部分或全部缺失,从而提升深度图像的精确度。
请参阅图1和图20,在某些实施方式中,控制方法包括:
0201,确定电子装置100的使用状态;
0202,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0203,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0204,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
02051,为每一帧采集图像添加图像类型;和
02052,根据图像类型区分第一图像与第二图像;和
0206,根据第一图像、第二图像及参考图像计算深度图像。
请参阅图1和图21,在某些实施方式中,控制方法包括:
0211,确定电子装置100的使用状态;
0212,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0213,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0214,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
021511,根据每一帧采集图像的采集时间确定在采集时间下激光投射器14的工作状态;
021512,根据工作状态为每一帧采集图像添加图像类型;
02152,根据图像类型区分第一图像与第二图像;和
0216,根据第一图像、第二图像及参考图像计算深度图像。
上述的控制方法也可以由电子装置100实现,其中,步骤0201与前文所述的步骤031基本相同,步骤0202与前文所述的步骤032基本相同,步骤0203与前文所述的步骤033基本相同,步骤0204与前文所述的步骤0184基本相同,步骤02051和步骤02052可以为前文所述的步骤0185的子步骤,步骤0206与前文所述的步骤0186基本相同;步骤0211与前文所述的步骤031基本相同,步骤0212与前文所述的步骤032基本相同,步骤0213与前文所述的步骤033基本相同,步骤0214与前文所述的步骤0184基本相同,步骤021511和步骤021512可以为前文所述的步骤02051的子步骤,步骤02152与前文所述的步骤02052基本相同,步骤0216与前文所述的步骤0186基本相同。步骤02051、步骤02052、步骤021511、步骤021512和步骤02152均可以由处理器20实现。也即是说,处理器20还可用于为每一帧采集图像添加图像类型、以及根据图像类型区分第一图像与第二图像。处理器20用于为每一帧采集图像添加图像类型时,具体用于根据每一帧采集图像的采集时间确定在采集时间下激光投射器14的工作状态、以及根据工作状态为每一帧采集图像添加图像类型。
具体地,处理器20每从图像采集器15接收到一帧采集图像,都会为采集图像添加图像类型(stream_type),以便于后续处理中可以根据图像类型区分出第一图像和第二图像。具体地,在图像采集器15获取采集图像的期间,处理器20会通过I2C总线实时监测激光投射器14的工作状态。处理器20每从图像采集器15接收到一帧采集图像,会先获取采集图像的采集时间,再根据采集图像的采集时间来判断在采集图像的采集时间下激光投射器14的工作状态是投射激光还是未投射激光,并基于判断结果为采集图像添加图像类型。其中,采集图像的采集时间可以是图像采集器15获取每一帧采集图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。如此,可以实现每一帧采集图像与激光投射器14在该帧采集图像获取期间的工作状态(投射激光或未投射激光)的对应,准确区分出采集图像的类型。在一个例子中,图像类型stream_type的结构如表1所示:
表1
Figure BDA0002080991130000101
表1中stream为0时,表示此时的数据流为由红外光和/或红外激光形成的图像。light为00时,表示此时的数据流是在没有任何设备投射红外光和/或红外激光(仅有环境红外光)的情形下获取的,那么处理器20可以对采集图像添加000的图像类型,以标识这一采集图像为第一图像。light为01时,表示此时的数据流是在激光投射器14投射红外激光(既有环境红外光,又有红外激光)的情形下获取的。处理器20可以对采集图像添加001的图像类型,以标识这一采集图像为第二图像。处理器20后续即可根据stream_type来区分采集图像的图像类型。
请参阅图1及图22,在某些实施方式中,控制方法包括:
0221,确定电子装置100的使用状态;
0222,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0223,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0224,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
0225,在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像;
02261,根据第一图像和第二图像计算第三图像,第一图像的采集时间与第二图像的采集时间的差值小于预定差值;和
02262,根据第三图像和参考图像计算深度图像。
上述的控制方法也可以由电子装置100实现,其中,步骤0221与前文所述的步骤031基本相同,步骤0222与前文所述的步骤032基本相同,步骤0223与前文所述的步骤033基本相同,步骤0224与前文所述的步骤0184基本相同,步骤0225与前文所述的步骤0185基本相同,步骤02261和步骤02262可以为前文所述的步骤0186的子步骤;步骤02261及步骤02262均可以由处理器20实现。也即是说,处理器20还可以用于根据第一图像和第二图像计算第三图像、以及根据第三图像和参考图像计算深度图像,其中,第一图像的采集时间与第二图像的采集时间的差值小于预定差值。
在计算深度图像的过程中,处理器20可以先区分出第一图像与第二图像,再根据采集时间选出任意帧第二图像和与该任意帧第二图像对应的特定帧的第一图像,其中该特定帧的第一图像的采集时间与该任意帧的第二图像的采集时间的差值小于预定差值。随后,处理器20再根据该特定帧的第一图像和该任意帧的第二图像来计算第三图像,第三图像即为仅由激光投射器14发射的红外激光形成的采集图像,也可以称作实际散斑图像。具体地,第一图像中的多个像素点与第二图像中的多个像素点是一一对应的,假设第一图像为P1,第二图像为P2,第三图像为P3,处理器20可以将第二图像中的像素点P2i,j的像素值减去第一图像中的像素点P1i,j的像素值以得到第三图像中像素点P3i,j的像素值,即P3i,j=P2i,j-P1i,j,i∈N+,j∈N+。随后,处理器20可以根据第三图像与参考图像计算出深度图像,其中,第二图像的帧数、第三图像的帧数及深度图像的帧数均相等。可以理解,由于第一图像的采集时间和第二图像的采集时间的差值较小,那么第一图像中环境红外光的强度与第二图像中环境红外光的强度更为接近,基于第一图像和第二图像计算出的第三图像的精度更高,有利于进一步减小环境红外光对深度图像获取的影响。
在某些实施方式中,处理器20也可以为第三图像和深度图像添加图像类型,以便于对处理采集图像后得到的各个数据流进行区分。如表2所示:
表2
Figure BDA0002080991130000111
表2中的stream为0时,表示此时的数据流为由红外光和/或红外激光形成的图像,stream为1时,表示此时的数据流为深度图像。light为11时,表示减背景处理,减背景处理即去除采集图像中由环境红外光形成的部分,那么处理器20可以对减背景处理后的数据流添加011的图像类型,以标识这一数据流为第三图像。Light为XX时,X表示不限定取值,处理器20可对进行深度计算后得到的数据流添加1XX的图像类型,以标识这一数据流为深度图像。
在某些实施方式中,参与深度图像计算的第一图像和第二图像中,第一图像的采集时间可以位于第二图像的采集时间之前,也可以位于第二图像的采集时间之后,在此不作限制。
在某些实施方式中,第一图像的采集时间与第二图像的采集时间的差值小于预定差值时,第一图像和第二图像可以是相邻帧的图像,也可以是非相邻帧的图像。例如,在第二工作频率是第一工作频率的两倍时,差值小于预定差值的第一图像和第二图像是相邻帧的图像;在第二工作频率与第一工作频率之间的倍数大于两倍,例如第二工作频率是第一工作频率的三倍时,差值小于预定差值的第一图像和第二图像可以是相邻帧的图像,也可以是非相邻帧的图像(此时第一图像与第二图像之间还间隔有一帧第一图像)。
在某些实施方式中,参与深度图像计算的第一图像的帧数还可以为多帧。比如,在第二工作频率是第一工作频率的三倍时,可以选取两帧相邻的第一图像以及与这两帧第一图像相邻的一帧第二图像来计算第三图像。此时,处理器20可以先对两帧第一图像做融合处理,例如,将两帧第一图像对应像素点的像素值相加再取均值得到融合处理后的第一图像,再利用融合处理后的第一图像和该相邻的一帧第二图像计算第三图像。
在某些实施方式中,处理器20可以计算出多帧第三图像,如图19中的第(N+1)-N帧第三图像、第(N+3)-(N+2)帧第三图像、第(N+5)-(N+4)帧第三图像等等,并对应多帧第三图像计算出多帧深度图像。当然,在其他实施方式中,处理器20也可以仅计算出一帧第三图像,并对应一帧第三图像计算出一帧深度图像。第三图像的帧数可以根据应用场景的安全级别来确定。具体地,当应用场景的安全级别较高时,例如对于支付等安全级别较高的应用场景,第三图像的帧数应该较多,此时需要多帧深度图像与使用者的深度模板的匹配均成功才执行支付动作,以提升支付的安全性;而对于应用场景的安全级别较低,例如对于基于深度信息进行人像美颜的应用场景,第三图像的帧数可以较少,例如,为一帧,此时利用一帧深度图像即足够进行人像美颜,如此,可以减少处理器20的计算量及功耗,并可以提升图像处理的速度。
请参阅图1及图23,在某些实施方式中,控制方法还包括:
0237,以第三工作频率采集可见光图像,第三工作频率大于或小于第二工作频率;
0238,为每一帧可见光图像和每一帧采集图像添加采集时间;和
0239,根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。
也就是说,控制方法包括:
0231,确定电子装置100的使用状态;
0232,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0233,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0234,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
0235,在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像;
0236,根据第一图像、第二图像及参考图像计算深度图像;
0237,以第三工作频率采集可见光图像,第三工作频率大于或小于第二工作频率;
0238,为每一帧可见光图像和每一帧采集图像添加采集时间;和
0239,根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。
上述的控制方法也可以由电子装置100实现,其中,步骤0231与前文所述的步骤031基本相同,步骤0232与前文所述的步骤032基本相同,步骤0233与前文所述的步骤033基本相同,步骤0234与前文所述的步骤0184基本相同,步骤0235与前文所述的步骤0185基本相同,步骤0236与前文所述的步骤0186基本相同;步骤0237可以由可见光摄像头40(主摄像头41和副摄像头42中的任意一个,或者主摄像头41和副摄像头42一起)实现。步骤0238和步骤0239可以由处理器20实现。也即是说,可见光摄像头40可用于以第三工作频率采集可见光图像,第三工作频率大于或小于第二工作频率。处理器20可用于为每一帧可见光图像和每一帧采集图像添加采集时间、以及根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。
在一些应用场景,例如,对场景中的物体进行三维建模的应用场景下,需要借助图像采集器15获取场景中物体的深度信息,并且借助可见光摄像头40获取场景中物体的色彩信息,才能实现三维建模。此时,处理器20需要开启图像采集器15获取深度图像并同时开启可见光摄像头40获取可见光图像。
若图像采集器15与可见光摄像头40具有相同的工作频率,即图像采集器15与可见光摄像头40均以第二工作频率工作,那么处理器20可以通过I2C总线发送图像采集指令至图像采集器15,图像采集器15接收到图像采集指令后,图像采集器15与可见光摄像头40之间通过sync信号同步,该sync信号控制可见光摄像头40开启采集可见光图像,以实现图像采集器15与可见光摄像头40的硬件同步。此时,采集图像的帧数与可见光图像的帧数一致,每一帧采集图像与每一帧可见光图像一一对应。
但在图像采集器15与可见光摄像头40的工作频率不同,即图像采集器15以第二工作频率工作,可见光摄像头40以不等于第二工作频率的第三工作频率工作时,图像采集器15与可见光摄像头40无法实现硬件同步。此时,处理器20需要通过软件同步的方式来实现图像采集器15与可见光摄像头40的同步。具体地,处理器20通过与图像采集器15连接的I2C总线发送图像采集指令至图像采集器15,同时通过与可见光摄像头40连接的I2C总线发送图像采集指令至可见光摄像头40。处理器20每接收到一帧采集图像时,会为每一帧采集图像添加图像类型,还会为每一帧采集图像添加采集时间。并且,处理器20每接收到一帧可见光图像时,会为每一帧可见光图像添加采集时间。其中,采集图像的采集时间可以是图像采集器15采集每一帧采集图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等;可见光图像的采集时间可以是可见光摄像头40采集每一帧可见光图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。那么,在后续基于深度图像和可见光图像做进一步处理(如三维建模、借助深度信息做人像美颜等处理)时,处理器20可以先根据可见光图像的采集时间、采集图像的采集时间及采集图像的类型先确定帧同步的可见光图像和第二图像。其中,帧同步指的是确定出的第二图像的采集时间与可见光图像的采集时间的差值小于预设的时间差值,可见光图像的采集时间可以位于第二图像的采集时间之前也可以位于第二图像的采集时间之后。随后,处理器20再根据确定的第二图像选出第一图像以进一步根据第二图像、第一图像及参考图像计算深度图像。最后,处理器20基于深度图像和确定出的可见光图像进行后续处理。
在某些实施方式中,处理器20也可以为每一帧深度图像添加采集时间,再根据可见光图像的采集时间和深度图像的采集时间确定帧同步的可见光图像以及深度图像,最后对帧同步的可见光图像以及深度图像做后续处理。其中,每一帧深度图像的采集时间为与该帧深度图像对应的第二图像的采集时间。
请参阅图24,在某些实施方式中,采集图像还包括红外图像,红外图像为图像采集器15采集泛光灯50发射的红外光所得到的图像。处理器20为每一帧采集图像添加图像类型时,还会为红外图像添加图像类型。在一个例子中,红外图像的图像类型如表3所示:
表3
Figure BDA0002080991130000131
表3中的stream为0时,表示此时的数据流为由红外光和/或红外激光形成的图像。light为10时,表示此时的数据流是在泛光灯50投射红外光且激光投射器14未投射激光的情形下获取的。那么,处理器20为采集图像添加010的图像类型时,即标识这一帧采集图像为红外图像。
在某些应用场景中,比如同时基于深度图像与深度模板的匹配以及红外图像与红外模板的匹配实现身份验证的应用场景,图像采集器15需要与泛光灯50及激光投射器14配合使用,图像采集器15可以分时获取第一图像、第二图像及红外图像。如图24所示,实线表示激光投射器14发射激光的时序,双点划线表示泛光灯50发射红外光的时序,虚线表示图像采集器15获取采集图像的时序及采集图像的帧数,点划线表示根据第一图像和第二图像得到的第三图像的帧数,图24中由上至下,依次为实线、双点划线、虚线及点划线,其中,第二工作频率为第一工作频率的三倍,第二工作频率为第四工作频率的三倍。处理器20可以通过I2C总线实时监测泛光灯50的工作状态。处理器20每从图像采集器15接收到一帧采集图像,会先获取采集图像的采集时间,再根据采集图像的采集时间来判断在采集图像的采集时间下泛光灯50的工作状态是发射红外光还是未发射红外光,并基于判断结果为采集图像添加图像类型。处理器20后续可以基于红外图像的采集时间和第二图像的采集时间确定出采集时间的差值小于设定差值的红外图像和第二图像,进一步地,处理器20可以确定出红外图像和深度图像,并利用该红外图像和该深度图像进行身份验证。
请参阅图1及图25,在某些实施方式中,控制方法还包括:
0251,获取场景的亮度及类型;
0252,判断亮度是否大于亮度阈值且类型为户外场景;
若是,则进入确定电子装置100的使用状态的步骤(步骤0253)。
也就是说,控制方法包括:
0251,获取场景的亮度及类型;
0252,判断亮度是否大于亮度阈值且类型为户外场景;
0253,若是,确定电子装置100的使用状态;
0254,在电子装置100处于第一使用状态时,激光投射器14以第一模式投射激光;
0255,在电子装置100处于第二使用状态时,激光投射器14以第二模式投射激光,第二模式投射的激光的能量大于第一模式投射的激光的能量;
0256,图像采集器15以第二工作频率获取采集图像,第二工作频率大于第一工作频率;
0257,在采集图像中区分出在激光投射器14未投射激光时采集的第一图像及在激光投射器14投射激光时采集的第二图像;和
0258,根据第一图像、第二图像及参考图像计算深度图像。
上述的控制方法也可以由电子装置100实现,其中,步骤0253与前文所述的步骤031基本相同,步骤0254与前文所述的步骤032基本相同,步骤0255与前文所述的步骤033基本相同,步骤0256与前文所述的步骤0184基本相同,步骤0257与前文所述的步骤0185基本相同,步骤0258与前文所述的步骤0186基本相同;步骤0251和步骤0252均可以由处理器20实现。也即是说,处理器20可用于获取场景的亮度及类型、以及判断亮度是否大于亮度阈值且类型为户外场景。激光投射器14可用于在亮度大于亮度阈值且类型为户外场景时以第一工作频率向场景投射激光。
具体地,场景的亮度可以通过分析图像采集器15获取的采集图像或可见光摄像头40(主摄像头41和副摄像头42中的任意一个,或者主摄像头41和副摄像头42一起)获取的可见光图像得到;或者,场景的亮度也可以由光线感应器来直接检测,处理器20从光线感应器读取检测得到的信号以获取场景的亮度。场景的类型可以通过分析图像采集器15获取的采集图像或可见光摄像头40获取的可见光图像得到,例如分析采集图像或可见光摄像头40获取的可见光图像中的物体来判断场景的类型为户外场景还是户内场景;场景的类型也可以直接根据地理位置来确定,具体地,处理器20可以获取全球卫星定位系统对场景的定位结果,再根据定位结果进一步判断场景的类型,例如,定位结果为某某办公楼,则说明场景为户内场景;定位场景为某某公园,则说明场景为户外场景;定位场景为某某街道,则说明场景为户外场景等等。
可以理解,在场景的亮度较高(例如亮度大于亮度阈值)时,采集图像中环境红外光的占比会较多,对斑点的识别会较大影响,此时需要去除环境红外光的干扰。但是在场景的亮度较低时,采集图像中环境红外光的占比会较少,对斑点的识别产生的影响较小,可以忽略不计,此时图像采集器15和激光投射器14可以采用相同工作频率工作,处理器20直接根据图像采集器15获取的采集图像(即第二图像)与参考图像计算深度图像。另外,场景的亮度较高时可能是户内的灯光光线较强引起的,由于灯光光线不包括红外光,不会对斑点的识别产生较大影响,此时图像采集器15和激光投射器14采用相同工作频率工作,处理器20直接根据图像采集器15获取的采集图像(即第二图像)与参考图像计算深度图像。如此,可以减小图像采集器15的工作频率,减少图像采集器15的功耗。
当然,在某些实施方式中,控制方法也可以仅仅基于场景的亮度来判断是否执行步骤0253。具体地,处理器20仅仅获取场景的亮度,判断场景的亮度是否大于亮度阈值,激光投射器14在亮度大于亮度阈值时以第一工作频率向场景投射激光。
在某些实施方式中,处理器20还可以为每一个数据流添加状态信息(status)。在一个例子中,如表4所示:
表4
Figure BDA0002080991130000141
状态信息status为0时,表示该数据流未经过减背景处理,状态信息status为1时,表示该数据流经过减背景处理。表4中的0000即表示第一图像;0010即表示第二图像;0100即表示泛光灯50开启时图像采集器15获取的红外图像;0111即表示第三图像;1XX1即表示经过减背景处理的深度图像;1XX0即表示未经过减背景处理的深度图像。如此,为每个数据流添加状态信息以便于处理器20分辨各个数据流是否经过减背景处理。
在某些实施方式中,处理器20包括第一存储区、第二存储区以及逻辑减电路,逻辑减电路与第一存储区及第二存储区均连接。其中,第一存储区用于存储第一图像,第二存储区用于存储第二图像,逻辑减电路用于处理第一图像和第二图像得到第三图像。具体地,逻辑减电路从第一存储区读取第一图像,从第二存储区读取第二图像,在获取到第一图像和第二图像后,对第一图像和第二图像执行减法处理得到第三图像。逻辑减电路还与处理器20中的深度计算模块(例如,可以是专门用于计算深度的集成电路ASIC等)连接,逻辑减电路将第三图像发送到深度计算模块中,由深度计算模块根据第三图像和参考图像计算深度图像。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“一个例子”“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种电子装置的控制方法,其特征在于,所述电子装置包括机壳、第一显示屏、第二显示屏及激光投射器,所述机壳包括相背的第一面和第二面,所述第一显示屏和所述第二显示屏分别设置在所述第一面和所述第二面,所述激光投射器设置在所述第一面;所述控制方法包括:
确定所述电子装置的使用状态;
在所述电子装置处于第一使用状态时,所述激光投射器以第一模式投射激光;及
在所述电子装置处于第二使用状态时,所述激光投射器以第二模式投射激光,所述第二模式投射的所述激光的能量大于所述第一模式投射的所述激光的能量,其中,在所述第一使用状态时,所述激光投射器朝向所述电子装置的使用者,在所述第二使用状态时,所述激光投射器背离所述使用者。
2.根据权利要求1所述的控制方法,其特征在于,所述电子装置还包括重力传感器,所述确定所述电子装置的使用状态,包括:
通过所述重力传感器确定所述电子装置的使用状态。
3.根据权利要求2所述的控制方法,其特征在于,所述通过所述重力传感器确定所述电子装置的使用状态,包括:
获取所述重力传感器的z轴的数值;
在所述z轴的数值大于第一预设值时,确定所述电子装置处于所述第一使用状态;及
在所述z轴的数值小于第二预设值时,确定所述电子装置处于所述第二使用状态。
4.根据权利要求1所述的控制方法,其特征在于,所述确定所述电子装置的使用状态,包括:
通过所述第一显示屏检测到的第一触控信号和/或所述第二显示屏检测到的第二触控信号确定所述电子装置的使用状态。
5.根据权利要求4所述的控制方法,其特征在于,所述通过所述第一显示屏检测到的第一触控信号和/或所述第二显示屏检测到的第二触控信号确定所述电子装置的使用状态,包括:
在所述第一显示屏检测到所述第一触控信号时,确定所述电子装置处于所述第一使用状态;及
在所述第二显示屏检测到所述第二触控信号时,确定所述电子装置处于所述第二使用状态。
6.根据权利要求1所述的控制方法,其特征在于,所述电子装置还包括状态选择按键,所述确定所述电子装置的使用状态,包括:
通过所述状态选择按键确定所述电子装置的使用状态。
7.根据权利要求1至6任意一项所述的控制方法,其特征在于,所述激光投射器在所述第一模式下投射所述激光的功率小于在所述第二模式下投射所述激光的功率;和/或
所述激光投射器包括多个点光源,多个所述点光源独立控制;所述激光投射器在所述第一模式下开启的所述点光源的数量少于在所述第二模式下开启的所述点光源的数量。
8.根据权利要求1至6任意一项所述的控制方法,其特征在于,所述电子装置还包括图像采集器,所述图像采集器设置在所述第一面上;
所述激光投射器在投射激光时,所述激光投射器以第一工作频率向场景投射所述激光;
所述控制方法还包括:
所述图像采集器以第二工作频率获取采集图像,所述第二工作频率大于所述第一工作频率;
在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像;和
根据所述第一图像、所述第二图像及参考图像计算深度图像。
9.一种电子装置,其特征在于,所述电子装置包括机壳、第一显示屏、第二显示屏、激光投射器及处理器,所述机壳包括相背的第一面和第二面,所述第一显示屏和所述第二显示屏分别设置在所述第一面和所述第二面,所述激光投射器设置在所述第一面;所述处理器用于确定所述电子装置的使用状态;所述激光投射器用于在所述电子装置处于第一使用状态时以第一模式投射激光、以及用于在所述电子装置处于第二使用状态时以第二模式投射激光,所述第二模式投射的所述激光的能量大于所述第一模式投射的所述激光的能量,其中,在所述第一使用状态时,所述激光投射器朝向所述电子装置的使用者,在所述第二使用状态时,所述激光投射器背离所述使用者。
10.根据权利要求9所述的电子装置,其特征在于,所述电子装置还包括重力传感器,所述处理器用于通过所述重力传感器确定所述电子装置的使用状态。
11.根据权利要求10所述的电子装置,其特征在于,所述处理器还用于:
获取所述重力传感器的z轴的数值;
在所述z轴的数值大于第一预设值时,确定所述电子装置处于所述第一使用状态;及
在所述z轴的数值小于第二预设值时,确定所述电子装置处于所述第二使用状态。
12.根据权利要求9所述的电子装置,其特征在于,所述处理器用于通过所述第一显示屏检测到的第一触控信号和/或所述第二显示屏检测到的第二触控信号确定所述电子装置的使用状态。
13.根据权利要求12所述的电子装置,其特征在于,所述处理器用于:
在所述第一显示屏检测到所述第一触控信号时,确定所述电子装置处于所述第一使用状态;及
在所述第二显示屏检测到所述第二触控信号时,确定所述电子装置处于所述第二使用状态。
14.根据权利要求9所述的电子装置,其特征在于,所述电子装置还包括状态选择按键,所述处理器用于通过所述状态选择按键确定所述电子装置的使用状态。
15.根据权利要求9至14任意一项所述的电子装置,其特征在于,所述激光投射器在所述第一模式下投射所述激光的功率小于在所述第二模式下投射所述激光的功率;和/或
所述激光投射器包括多个点光源,多个所述点光源独立控制;所述激光投射器在所述第一模式下开启的所述点光源的数量少于在所述第二模式下开启的所述点光源的数量。
16.根据权利要求9至14任意一项所述的电子装置,其特征在于,所述电子装置还包括图像采集器,所述图像采集器设置在所述第一面;所述激光投射器在投射激光时,所述激光投射器用于以第一工作频率向场景投射所述激光;所述图像采集器用于以第二工作频率获取采集图像,所述第二工作频率大于所述第一工作频率;所述处理器还用于:
在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像;和
根据所述第一图像、所述第二图像及参考图像计算深度图像。
17.根据权利要求9至14任意一项所述的电子装置,其特征在于,所述第一显示屏为一端开设有开口的开口屏,所述第二显示屏为全面屏,所述激光投射器安装在所述开口内;或
所述第一显示屏和所述第二显示屏均为全面屏,所述激光投射器设置在所述第一显示屏的下方。
CN201910471662.XA 2019-05-31 2019-05-31 电子装置的控制方法及电子装置 Active CN112019674B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202111107307.8A CN113810530B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置
CN201910471662.XA CN112019674B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置
PCT/CN2020/085973 WO2020238491A1 (zh) 2019-05-31 2020-04-21 电子装置的控制方法及电子装置
EP20814207.5A EP3975528B1 (en) 2019-05-31 2020-04-21 Control method of electronic device and electronic device
US17/537,352 US12058279B2 (en) 2019-05-31 2021-11-29 Control method of electronic device and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910471662.XA CN112019674B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111107307.8A Division CN113810530B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置

Publications (2)

Publication Number Publication Date
CN112019674A CN112019674A (zh) 2020-12-01
CN112019674B true CN112019674B (zh) 2021-10-15

Family

ID=73506267

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111107307.8A Active CN113810530B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置
CN201910471662.XA Active CN112019674B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111107307.8A Active CN113810530B (zh) 2019-05-31 2019-05-31 电子装置的控制方法及电子装置

Country Status (4)

Country Link
US (1) US12058279B2 (zh)
EP (1) EP3975528B1 (zh)
CN (2) CN113810530B (zh)
WO (1) WO2020238491A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD858514S1 (en) 2017-08-28 2019-09-03 Apple Inc. Electronic device
CN110213413B (zh) * 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN115242978B (zh) * 2022-07-21 2023-05-26 杭州萤石软件有限公司 图像采集设备及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896274A (zh) * 2017-10-27 2018-04-10 广东欧珀移动通信有限公司 红外发射器控制方法、终端及计算机可读存储介质
CN108833693A (zh) * 2018-06-06 2018-11-16 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置、存储介质和计算机设备
CN109192153A (zh) * 2018-08-31 2019-01-11 维沃移动通信有限公司 一种终端及终端控制方法
CN208445604U (zh) * 2018-07-13 2019-01-29 北京小米移动软件有限公司 电子设备
CN109587295A (zh) * 2018-11-16 2019-04-05 Oppo广东移动通信有限公司 终端、终端的控制方法及终端的控制装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245799A (ja) 2005-03-01 2006-09-14 Nec Saitama Ltd 電子機器、該電子機器における警報出力制御方法及び警報出力制御プログラム
EP1867150A2 (en) 2005-03-30 2007-12-19 Koninklijke Philips Electronics N.V. Portable electronic device having a rotary camera unit
US8284194B2 (en) * 2006-09-21 2012-10-09 Thomson Licensing Method and system for three-dimensional model acquisition
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
EP2178276B1 (en) 2008-10-20 2014-07-30 LG Electronics Inc. Adaptation of recorded or shown image according to the orientation of a mobile terminal
US8922625B2 (en) 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8284549B2 (en) * 2010-05-24 2012-10-09 Sunrex Technology Corp. Inverted U frame with pivotal micro-projector and camera for releasably securing to laptop or keyboard
US20140128132A1 (en) * 2012-10-12 2014-05-08 James L. Cox, III Case with interchangeable back plates
US8879782B2 (en) * 2013-01-17 2014-11-04 Disney Enterprises, Inc. Projector light bulb
US10017114B2 (en) * 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
CN204031223U (zh) 2014-04-21 2014-12-17 张晗月 一种活动听筒闪光灯摄像头全屏智能手机
US20150347833A1 (en) 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9686384B2 (en) 2014-12-09 2017-06-20 Sukjun Song Electronic device with rotating input unit and method for operating the same
CN107429998B (zh) 2015-03-30 2018-10-02 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
KR20170032761A (ko) 2015-09-15 2017-03-23 엘지전자 주식회사 이동 단말기
KR20170060353A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치, 거리 측정 센서 및 그 제어 방법
CN105763803A (zh) 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106790778B (zh) 2016-11-16 2019-06-25 Oppo广东移动通信有限公司 一种移动终端的摄像头安装结构及移动终端
CN106534651A (zh) 2016-12-22 2017-03-22 穆焕章 一种具有拍摄功能的终端设备
CN106686321B (zh) 2017-02-27 2018-09-04 维沃移动通信有限公司 一种摄像补光装置、方法及移动终端
CN207283612U (zh) 2017-09-22 2018-04-27 深圳鼎智通讯股份有限公司 具有翻转摄像头的手机
CN107743156B (zh) * 2017-09-29 2021-05-21 努比亚技术有限公司 移动终端、移动终端的控制方法及计算机可读存储介质
CN107862853B (zh) 2017-10-27 2020-12-22 Oppo广东移动通信有限公司 红外发射器控制方法、终端及计算机可读存储介质
CN108055370A (zh) 2017-12-26 2018-05-18 广东欧珀移动通信有限公司 电子装置
CN107968910B (zh) 2017-12-26 2020-03-06 Oppo广东移动通信有限公司 电子装置
CN108594451B (zh) * 2018-03-12 2020-01-24 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108683795A (zh) 2018-03-30 2018-10-19 中兴通讯股份有限公司 移动终端及其控制方法和计算机可读存储介质
WO2019201010A1 (zh) * 2018-04-16 2019-10-24 Oppo广东移动通信有限公司 激光投射器、相机模组和电子装置
CN109066288A (zh) * 2018-05-30 2018-12-21 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
CN208522805U (zh) 2018-07-02 2019-02-19 Oppo广东移动通信有限公司 折叠式移动终端
JP7396277B2 (ja) * 2018-07-24 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN109167855A (zh) 2018-09-18 2019-01-08 杭州禾声科技有限公司 一种具有柔性折叠屏的智能移动装置
CN109324633B (zh) * 2018-09-27 2021-07-02 Oppo广东移动通信有限公司 控制方法与装置、飞行时间设备、终端及计算机可读存储介质
CN109451106B (zh) 2018-11-16 2020-06-12 Oppo广东移动通信有限公司 电子装置
CN109327576B (zh) * 2018-11-16 2021-02-02 Oppo广东移动通信有限公司 电子装置及其控制方法和控制装置
CN109495617A (zh) 2018-12-03 2019-03-19 武汉华星光电半导体显示技术有限公司 一种移动终端
CN109391713A (zh) 2018-12-20 2019-02-26 惠州Tcl移动通信有限公司 一种移动终端
CN109710150B (zh) * 2018-12-25 2021-02-12 维沃移动通信有限公司 按键控制方法及终端
CN110213413B (zh) 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112019660B (zh) * 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN209676289U (zh) 2019-06-04 2019-11-22 Oppo广东移动通信有限公司 电子设备
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896274A (zh) * 2017-10-27 2018-04-10 广东欧珀移动通信有限公司 红外发射器控制方法、终端及计算机可读存储介质
CN108833693A (zh) * 2018-06-06 2018-11-16 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置、存储介质和计算机设备
CN208445604U (zh) * 2018-07-13 2019-01-29 北京小米移动软件有限公司 电子设备
CN109192153A (zh) * 2018-08-31 2019-01-11 维沃移动通信有限公司 一种终端及终端控制方法
CN109587295A (zh) * 2018-11-16 2019-04-05 Oppo广东移动通信有限公司 终端、终端的控制方法及终端的控制装置

Also Published As

Publication number Publication date
US20220086266A1 (en) 2022-03-17
CN112019674A (zh) 2020-12-01
EP3975528A4 (en) 2022-06-29
WO2020238491A1 (zh) 2020-12-03
EP3975528A1 (en) 2022-03-30
EP3975528B1 (en) 2023-11-15
EP3975528C0 (en) 2023-11-15
US12058279B2 (en) 2024-08-06
CN113810530A (zh) 2021-12-17
CN113810530B (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
CN110213413B (zh) 电子装置的控制方法及电子装置
US12154238B2 (en) Wearable augmented reality devices with object detection and tracking
US12058279B2 (en) Control method of electronic device and electronic device
EP2834723B1 (en) Touch sensitive user interface
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
KR20230016209A (ko) 포지션 추적을 사용한 인터랙티브 증강 현실 경험들
WO2020098344A1 (zh) 电子装置
CN105988663A (zh) 显示装置、电子装置、手部穿戴式装置及控制系统
KR20230022239A (ko) 증강 현실 환경 향상
US11947045B2 (en) Controlling method for electronic device, and electronic device
KR101002071B1 (ko) 멀티 적외선 카메라 방식의 투영 영상 터치 장치
CN118556254A (zh) 图像渲染方法、装置及电子设备
US20160091966A1 (en) Stereoscopic tracking status indicating method and display apparatus
KR20240115136A (ko) 정보를 제공하기 웨어러블 장치 및 그 방법
WO2024210033A1 (ja) 空中浮遊映像表示装置
WO2024257499A1 (ja) 空中浮遊映像表示装置、携帯端末、および表示方法
Lancelle Visual Computing
Schnaider et al. Applying Mixed Reality Technology to Cultural Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant