CN109040363A - 显示屏、电子装置及三维特征识别方法 - Google Patents

显示屏、电子装置及三维特征识别方法 Download PDF

Info

Publication number
CN109040363A
CN109040363A CN201810914142.7A CN201810914142A CN109040363A CN 109040363 A CN109040363 A CN 109040363A CN 201810914142 A CN201810914142 A CN 201810914142A CN 109040363 A CN109040363 A CN 109040363A
Authority
CN
China
Prior art keywords
display screen
several
display
area
predeterminable area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810914142.7A
Other languages
English (en)
Other versions
CN109040363B (zh
Inventor
吴安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810914142.7A priority Critical patent/CN109040363B/zh
Publication of CN109040363A publication Critical patent/CN109040363A/zh
Priority to US16/533,188 priority patent/US11081516B2/en
Priority to EP19190662.7A priority patent/EP3608837A1/en
Priority to PCT/CN2019/100089 priority patent/WO2020030151A1/en
Application granted granted Critical
Publication of CN109040363B publication Critical patent/CN109040363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种显示屏，所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干感光单元组合成一图像传感器；所述若干红外发射单元用于向显示屏前方发射红外光线，以使得照射到位于显示屏前方的目标物体时形成光斑，所述若干感光单元用于接收反射回来的光斑而转换成相应的光感电信号，所述光感电信号用于生成供识别出目标物体的三维特征的图像。本申请还提供了电子装置和三维特征识别方法。本申请可实现三维特征识别且可提高电子装置的屏占比。

Description

显示屏、电子装置及三维特征识别方法
技术领域
本申请涉及电子技术领域，具体涉及一种显示屏、电子装置及三维特征识别方法。
背景技术
现有技术中，用于进行三维人脸等三维特征识别的红外发射器、红外摄像头等识别组件通常需要设置在电子装置的显示区域之外的区域，从而需要预留非显示区域来放置该些识别模组，从而使得电子装置的屏占比提高受到了限制。而随着用户对于电子装置的高屏占比需求越来越高，如何在满足人们对人脸识别的需求的同时提升屏占比，成为了需要解决的问题。
发明内容
本申请提供了一种实现高屏占比的显示屏、电子装置及三维特征识别方法。
一方面，本申请提供了显示屏，所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干感光单元组合成一图像传感器；所述若干红外发射单元用于向显示屏前方发射红外光线，以使得照射到位于显示屏前方的目标物体时形成光斑，所述若干感光单元用于接收反射回来的光斑而转换成相应的光感电信号，所述光感电信号用于生成供识别出目标物体的三维特征的图像。
另一方面，本申请提供一种电子装置，所述电子装置包括显示屏以及处理器。所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干红外发射单元用于向显示屏前方发射红外光线，以使得照射到位于显示屏前方的目标物体时形成光斑，所述若干感光单元用于接收反射回来的光斑而将光斑转换为光感电信号。所述处理器与所述若干感光单元均电连接，用于根据所述若干感光单元产生的光感电信号进行成像处理而得到目标图像，并根据所述目标图像识别出目标物体的三维特征。
再一方面，本申请还提供一种三维特征识别方法，应用于一电子装置中，所述电子装置包括显示屏，所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干感光单元组合成一图像传感器。所述方法包括步骤：通过若干红外发射单元发射红外光线，以照射到位于显示屏前方的目标物体时形成光斑；通过若干感光单元接收被目标物体反射回来的光斑并转换成相应的光感电信号；根据所述若干感光单元产生的光感电信号进行成像处理而得到目标图像，并根据所述目标图像识别出目标物体的三维特征。
本申请的显示屏、电子装置及三维特征识别方法，通过将红外发射单元、感光单元等用于识别三维特征的识别组件嵌入于显示屏的显示区域内，从而无需额外预留太多的非显示区域来放置该些识别组件，有效地提升了屏占比且能够满足人脸识别等三维特征识别的需求。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的显示屏的平面结构示意图。
图2是本申请另一实施例提供的显示屏的平面结构示意图。
图3是本申请再一实施例提供的显示屏的平面结构示意图。
图4是本申请一实施例提供的电子装置的结构框图。
图5是本申请一实施例中的预设图像的生成示意图。
图6是本申请一实施例中的目标物体的成像示意图。
图7是本申请一实施例提供的三维特征识别方法的流程图。
图8是图7中步骤707在一实施例中的子流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例的技术方案进行清楚、完整地描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
请参阅图1，为本申请一实施例中的显示屏1的平面结构示意图。所述显示屏1包括显示区域A0，所述显示屏1还包括呈阵列分布于显示屏1的整个显示区域A0的若干显示单元11、嵌入式分布于所述显示屏1的显示区域A0内的第一预设区域A1的若干红外发射单元12、嵌入式分布于所述显示屏1的显示区域A0内的第二预设区域A2的若干感光单元13；所述若干感光单元13组合成一图像传感器。
所述若干红外发射单元12用于向显示屏1前方发射红外光线，以使得照射到位于显示屏1前方的目标物体时形成光斑，所述若干感光单元13用于接收通过所述目标物体反射回来的光斑并转换成相应的光感电信号，所述光感电信号用于生成供识别出目标物体的三维特征的图像。
从而，本申请中，通过将红外发射单元12、感光单元13等用于识别三维特征的识别组件嵌入于显示屏1的显示区域A0内，从而无需额外预留太多的非显示区域来放置该些识别组件，有效地提升了屏占比且能够满足人脸识别等三维特征识别的需求。
在一些实施例中，所述第一预设区域A1和第二预设区域A2重合，且至少且所述第一预设区域A1和第二预设区域A2的面积大于或等于所述显示区域A0的一半。
即，在一些实施例中，所述若干红外发射单元12和所述若干红外发射单元12为嵌入式分布于所述显示屏1的显示区域A0内的相同区域内，且至少分布在显示区域A0内的一半以上的区域。
在一种实施例中，如图1所示，所述第一预设区域A1和第二预设区域A2与所述显示区域A0重合，即，所述若干红外发射单元12和所述若干红外发射单元12为嵌入式分布于所述显示屏1的整个显示区域A0。
请参阅图2，为另一实施例中的显示屏的平面结构示意图。显然，所述第一预设区域A1和第二预设区域A2的面积也可小于所述显示区域A0的面积且大于或等于显示区域A0面积的一半，其中，所述重合的第一预设区域A1和第二预设区域A2可为显示区域A0的任意合适的位置，只需要面积大于或等于所述显示区域A0的一半即可。
例如，如图2所示，所述重合的第一预设区域A1和第二预设区域A2可设置在显示区域A0的中部区域。
显然，所述重合的第一预设区域A1和第二预设区域A2也可设置于显示区域A0的端部区域且延伸至大于或等于显示区域A0一半以上的区域。
其中，如图1和图2所示，在重合的第一预设区域A和第二预设区域内，每一显示单元11处均设置有对应的一红外发射单元12及一感光单元13。
即，在重合的第一预设区域A和第二预设区域内，所述红外发射单元12和感光单元13与显示单元11的数量相同。
显然，在其他实施例中，在重合的第一预设区域A和第二预设区域内，所述红外发射单元12和感光单元13的数量相等，且可大于或小于所述显示单元11的数量。例如，可以在每两个显示单元11处才设置对应的一红外发射单元12及一感光单元13，或者也可以在每一个显示单元11处设置两个红外发射单元12及两个感光单元13。
在另一些实施例中，在重合的第一预设区域A和第二预设区域内，所述红外发射单元12和感光单元13的数量也可不同，即，所述红外发射单元12的数量可大于或小于感光单元13的数量。
请参阅图3，为再一实施例中的显示屏的平面结构示意图。如图3所示，所述第一预设区域A1为所述显示区域A0的一半区域，所述第二预设区域A2为所述显示区域A0的另一半区域。
在一些实施例中，所述第一预设区域A1和第二预设区域A2为以显示区域A0的沿着与其中一个边平行的中心线L1对称的两个区域。例如，以图3所示的视角来看，所述第一预设区域A1为所述显示区域A0的上半区域，所述第二预设区域A2为所述显示区域A0的下半区域，沿中心线L1对称。显然，所述第一预设区域A1也可为显示区域A0的左半区域，所述第二预设区域A1也可为显示区域A0的右半区域，等等。
在一些实施例中，所述第一预设区域A1和第二预设区域A2还可以为以显示区域A0的对角线对称的两个区域。例如，显示区域A0从左上顶点到右下顶点对角线分成了两个区域，第一预设区域A1为显示区域A0的左下部分区域，所述第二预设区域A2为显示区域A0的右上部分区域。
所述嵌入式分布于第一预设区域A1的若干红外发射单元12发射的红外光线，经过目标物体反射后，而被嵌入式分布于第二预设区域A2的若干感光单元13接收。
在一些实施例中，在所述第一预设区域A1内，每一显示单元11处设置有一对应的红外发射单元12，在所述第二预设区域A2内，每一显示单元11处设置有一对应的感光单元13。即，在第一预设区域A1内，红外发射单元12的数量与显示单元11的数量相同，在所述第二预设区域A2内，感光单元13的数量与显示单元11的数量相同。显然，在其他实施例中，在第一预设区域A1内，红外发射单元12的数量与显示单元11的数量可不同，在所述第二预设区域A2内，感光单元13的数量与显示单元11的数量也可不同。
其中，每一显示单元11对应了显示屏1的一个像素点，所述显示单元11的数量由显示屏1的分辨率决定。
其中，本申请中，所述显示屏1可为OLED(Organic Light Emitting Diode,有机发光二极管)显示屏，每一显示单元11可为一个或多个有机发光二极管组成。
在另一些实施例中，所述显示屏1可为LCD(Liquid crystal display，液晶显示)显示屏，每一显示单元11可包括三个液晶单元格以及设置于每一个单元格上方的红色，绿色，或蓝色过滤片，而形成了一个包括RGB三个子像素的显示单元。
其中，所述感光单元13可为红外感光单元，且可为红外CCD(电荷耦合器件，ChargeCoupled Device)光电二极管等感光器件或红外CMOS光电二极管等感光器件。其中，每一感光单元13相当于图像传感器的一个感光像素点，从而，设置于显示屏1的显示区域内的所有感光单元13产生的光感电信号则可用于构成一个完整的图像。所述红外发射单元12可为红外发光二极管等，且每一红外发射单元12可包括一个或多个红外发光二极管。
其中，如图1-3所示，所述显示屏1还包括围绕显示区域A0的非显示区域F0。通过将红外发射单元12、感光单元13等用于识别三维特征的识别组件嵌入于显示屏1的显示区域A0内，可以将非显示区域F0做的很小。在一些实施例中，甚至可以将非显示区域F0消除，显示屏1的整屏都是显示区域A0，而实现全面屏的效果。
请参阅图4，为一实施例中的电子装置的结构框图。如图4所示，电子装置100包括前述的显示屏1以及处理器2。
如前所述，所述显示屏1包括呈阵列分布于显示屏1的整个显示区域A0的若干显示单元11、嵌入式分布于所述显示屏1的显示区域A0内的第一预设区域A1的若干红外发射单元12、嵌入式分布于所述显示屏1的显示区域A0内的第二预设区域A2的若干感光单元13；所述若干感光单元13组合成一图像传感器。所述若干红外发射单元12用于向显示屏1前方发射红外光线，以使得照射到位于显示屏1前方的目标物体时形成光斑，所述若干感光单元13用于接收通过所述目标物体反射回来的光斑并转换成相应的光感电信号。
所述处理器2与所述若干感光单元13均电连接，用于根据所述若干感光单元13产生的光感电信号进行成像处理而得到目标图像，并根据所述目标图像识别出目标物体的三维特征。
在一些实施例中，所述处理器2根据所述目标图像识别出目标物体的三维特征，包括：所述处理器2将所述目标图像与一预设图像进行比较，确定出目标图像中的光斑相对于预设图像中的光斑的偏移量，并根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征。
具体的，若干感光单元13接收通过所述目标物体反射回来的光斑并转换成的相应的光感电信号中反映了光斑的位置等光斑信息，所述处理器2根据所述若干感光单元13产生的光感电信号进行成像处理而得到的目标图像的数据中包括了光斑位置等数据。所述预设图像对应的数据中也包括了预设的光斑位置等数据。
所述处理器2具体为通过从目标图像的数据中获取光斑位置数据，以及从预设图像的数据中获取预设光斑位置数据，并将获取的光斑位置数据与预设光斑位置数据进行比较，确定出确定出目标图像中的光斑相对于预设图像中的光斑的偏移量。
请一并参阅图5，为预设图像的生成示意图。如图5所示，可先在显示屏1的前方放置与显示屏1平行的二维平面参考物体B1后，通过所述若干红外发射单元12发射红外光线并照射到所述二维平面参考物体B1，然后通过若干感光单元13接收后转换成对应的光感电信号，再通过处理器2根据对应的光感电信号进行成像处理而得出所述预设图像。
即，所述预设图像为在显示屏1前方放置与显示屏1平行的二维平面参考物体B1后，通过所述若干红外发射单元12发射的红外光线照射到所述二维平面参考物体B1形成的光斑被感光单元13接收后转换成对应的光感电信号，并通过处理器2根据对应的光感电信号进行成像处理而得出的。
其中，所述二维平面参考物体B1可为一平面人脸图像，通过对所述二维平面参考物体B1进行成像处理，可以得出没有深度信息下成像出的二维图像中的光斑的位置。
请一并参阅图6，为目标图像的成像示意图。如图6所示，当具有三维特征的目标物体B2位于显示屏1的前方时，例如，当用户人脸位于显示屏1的前方时，由于用户人脸的凹凸不平，所述若干红外发射单元12发射的红外光线照射到用户人脸形成光斑时，光斑反射到显示屏1上的位置相对于二维平面参考物体B1而言将发生偏移，而偏移量取决于用户人脸的深度信息的不同。
其中，当不同的用户人脸或不同的目标物体B2位于显示屏1的前方时，由于面部轮廓的区别，在用户人脸形成的光斑，将反射到不同的感光单元13而被不同的感光单元13接收，而每个感光单元13可对应于用于形成目标图像的一个像素点，从而，当不同的感光单元13接收到对应的光斑时，光斑在目标图像中的像素点坐标位置将不同。
因此，所述处理器2将所述目标图像与所述预设图像进行比较，确定出目标图像中的光斑相对于预设图像中的光斑的偏移量，并根据所述确定出的光斑的偏移量即可得出所述目标物体的包括深度信息在内的三维特征。
其中，在一些实施例中，红外发射单元12发射的角度相对于垂直于显示屏1平面的法线在预设范围内，例如在40度范围内。
在一些实施例中，所述处理器2根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征，可进一步包括：所述处理器2根据所述确定出的光斑的偏移量得出所述目标物体的深度信息，然后根据根据对应的光感电信号进行成像处理得到的目标图像中的平面数据得到平面信息，并进一步结合所述深度信息和平面信息得出三维特征。
在一些实施例中，如图4所示，所述电子装置100还包括存储器3，所述存储器3还存储有预设的偏移量与深度信息的对应关系。
所述处理器2根据所述确定出的光斑的偏移量得出所述目标物体的深度信息，可进一步包括：所述处理器2根据所述确定出的光斑的偏移量以及偏移量与深度信息的对应关系得出所述确定出的光斑的偏移量对应的深度信息。
在一些实施例中，所述目标物体为人脸，所述处理器2还用于在接收到请求进行人脸识别验证的输入操作时，控制所述若干红外发射单元12向显示屏1前方发射红外光线。即，在一些实施例中，所述若干红外发射单元12为处于待机状态，在处理器2接收到请求进行人脸识别验证的输入操作时的控制下，才向显示屏1前方发射红外光线。
如图4所示，所述电子装置100还包括运动传感器4，所述运动传感器4用于侦测电子装置100是否发生运动，所述处理器2与运动传感器4电连接，所述处理器2在运动传感器4侦测电子装置100发生运动且显示屏1为锁定状态时，确定接收到所述请求进行人脸识别验证的输入操作，即确定此时有需要进行人脸识别验证来解锁显示屏1的需求。其中，所述运动传感器4可为加速度计、陀螺仪等传感器。
在另一些实施例中，所述请求进行人脸识别验证的输入操作还可为登录某一应用软件的操作、支付操作等等。
在一些实施例中，所述存储器3中还存储有预设三维特征信息，例如预设人脸三维特征信息。处理器2还用于在识别出目标物体的三维特征后，将识别出的目标物体的三维特征与预设三维特征信息进行比较，确定两者匹配时，执行下一步操作，例如解锁显示屏1、登录应用软件、通过支付验证等等。
请返回参阅图4，如图4所示，所述电子装置100还包括电源5和开关组件6，所述开关组件6连接于所述若干红外发射单元12和电源5之间，所述处理器2在接收到请求进行人脸识别验证的输入操作时，控制所述开关组件6导通电源2和所述若干红外发射单元12之间的电连接，而控制对所述若干红外发射单元12施加工作电压使得所述若干红外发射单元12上电工作而向显示屏1前方发射红外光线。
所述开关组件6可为数控开关，例如为MOS管、BJT晶体管等。
其中，本申请中，显示屏1的前方指的是显示屏1显示内容的一侧。
其中，显示屏1的更具体的介绍可参考图1-图3的相关描述，在此不再赘述。
其中，所述存储器3还存储有计算机程序指令，所述计算机程序指令用于供处理器2调用后执行前述的功能。
其中，在本申请中，所述处理器2为集成了图像处理器功能的中央处理器(CPU)。所述存储器40可为固态存储器、存储卡等存储设备。
本发明实施例所涉及到的电子装置100可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子装置。
请参阅图7，为本申请实施例中的三维特征识别方法的流程图。所述三维特征识别方法，可应用于前述的电子装置100中。如图7所示，所述方法可包括如下步骤：
701、通过若干红外发射单元12发射红外光线，以照射到位于显示屏1前方的目标物体时形成光斑。在一些实施例中，所述目标物体为人脸，所述701可具体包括：在接收到请求进行人脸识别验证的输入操作时，控制所述若干红外发射单元12向显示屏1前方发射红外光线，以照射到位于显示屏1前方的目标物体时形成光斑。
在一些实施例中，所述接收到请求进行人脸识别验证的输入操作包括：在运动传感器4侦测电子装置100发生运动且显示屏1为锁定状态时，确定接收到所述请求进行人脸识别验证的输入操作。
在另一些实施例中，所述接收到请求进行人脸识别验证的输入操作包括：在接收到登录某一应用软件的操作、支付操作等时，确定接收到所述请求进行人脸识别验证的输入操作。
703、通过若干感光单元13接收被目标物体反射回来的光斑并转换成相应的光感电信号。
705、根据所述若干感光单元13产生的光感电信号进行成像处理而得到目标图像。
707、并根据所述目标图像识别出目标物体的三维特征。
在一些实施例中，所述三维特征识别方法还包括步骤：在识别出目标物体的三维特征后，将识别出的目标物体的三维特征与预设三维特征信息进行比较，确定两者匹配时，执行下一步操作，例如解锁显示屏1、登录应用软件、通过支付验证等等。
请参阅图8，为图7中的三维特征识别方法中的步骤707的子流程图。如图8所示，所述步骤707可具体包括如下步骤：
801、将所述目标图像与一预设图像进行比较，确定出目标图像中的光斑相对于预设图像中的光斑的偏移量。
803、根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征。
在一些实施例中，所述三维特征识别方法还可包括：在显示屏1前方放置与显示屏1平行的二维平面参考物体；通过所述若干红外发射单元12发射的红外光线照射到所述二维平面物体形成光斑；通过若干感光单元13接收被二维平面参考物体反射回来的光斑并转换成对应的光感电信号；对所述对应的光感电信号进行成像处理而得出所述预设图像。
即，所述预设图像为在显示屏1前方放置与显示屏1平行的二维平面参考物体后，通过所述若干红外发射单元12发射的红外光线照射到所述二维平面参考物体形成的光斑被感光单元13接收后转换成对应的光感电信号，并通过处理器2根据对应的光感电信号进行成像处理而得出的。
在一些实施例中，所述根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征，可包括：根据所述确定出的光斑的偏移量得出所述目标物体的深度信息，然后根据根据对应的光感电信号进行成像处理得到的目标图像中的平面数据得到平面信息；以及进一步结合所述深度信息和平面信息得出包括深度信息在内的三维特征。
在一些实施例中，所述根据所述确定出的光斑的偏移量得出所述目标物体的深度信息，可进一步包括：根据所述确定出的光斑的偏移量以及偏移量与深度信息的对应关系得出所述确定出的光斑的偏移量对应的深度信息。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种三维特征识别方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种解锁控制方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
另外，在本发明中执行各个实施例中的方法步骤的处理器可集成有多个功能单元来分别执行各个步骤，或者，也可以是各个功能单元单独物理存在，例如电子装置100包括多个控制器等功能单元来分别执行对应的方法步骤。其中，电子装置100包括的各个功能单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的功能单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (20)

1.一种显示屏，其特征在于，所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干感光单元组合成一图像传感器；所述若干红外发射单元用于向显示屏前方发射红外光线，以使得照射到位于显示屏前方的目标物体时形成光斑，所述若干感光单元用于接收反射回来的光斑而转换成相应的光感电信号，所述光感电信号用于生成供识别出目标物体的三维特征的图像。
2.如权利要求1所述的显示屏，其特征在于，所述第一预设区域和第二预设区域重合，且至少且所述第一预设区域和第二预设区域的面积大于或等于所述显示区域的一半。
3.如权利要求2所述的显示屏，其特征在于，在重合的第一预设区域和第二预设区域内，每一显示单元处均设置有对应的一红外发射单元及一感光单元。
4.如权利要求1所述的显示屏，其特征在于，所述第一预设区域为所述显示区域的一半区域，所述第二预设区域为所述显示区域的另一半区域。
5.如权利要求4所述的显示屏，其特征在于，在所述第一预设区域内，每一显示单元处设置有一对应的红外发射单元，在所述第二预设区域内，每一显示单元处设置有一对应的感光单元。
6.一种电子装置，其特征在于，所述电子装置包括显示屏以及处理器；
所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干红外发射单元用于向显示屏前方发射红外光线，以使得照射到位于显示屏前方的目标物体时形成光斑，所述若干感光单元用于接收反射回来的光斑而将光斑转换为光感电信号；
所述处理器与所述若干感光单元均电连接，用于根据所述若干感光单元产生的光感电信号进行成像处理而得到目标图像，并根据所述目标图像识别出目标物体的三维特征。
7.如权利要求6所述的电子装置，其特征在于，所述处理器根据所述目标图像识别出目标物体的三维特征，包括：所述处理器将所述目标图像与一预设图像进行比较，确定出目标图像中的光斑相对于预设图像中的光斑的偏移量，并根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征。
8.如权利要求7所述的电子装置，其特征在于，所述预设图像为在显示屏前方放置与显示屏平行的二维平面参考物体后，通过所述若干红外发射单元发射的红外光线照射到所述二维平面参考物体形成的光斑被感光单元接收后转换成对应的光感电信号，并通过处理器根据对应的光感电信号进行成像处理而得出的。
9.如权利要求7所述的电子装置，其特征在于，所述处理器根据所述确定出的光斑的偏移量得出所述目标物体的深度信息，然后根据根据对应的光感电信号进行成像处理得到的目标图像中的平面数据得到平面信息，并进一步结合所述深度信息和平面信息得出三维特征。
10.如权利要求6～9任意一项所述的电子装置，其特征在于，所述第一预设区域和第二预设区域重合，且至少且所述第一预设区域和第二预设区域的面积大于或等于所述显示区域的一半。
11.如权利要求10所述的电子装置，其特征在于，在重合的第一预设区域和第二预设区域内，每一显示单元处均设置有对应的一红外发射单元及一感光单元。
12.如权利要求6～9任意一项所述的电子装置，其特征在于，所述第一预设区域为所述显示区域的一半区域，所述第二预设区域为所述显示区域的另一半区域。
13.如权利要求12所述的电子装置，其特征在于，在所述第一预设区域内，每一显示单元处设置有一对应的红外发射单元，在所述第二预设区域内，每一显示单元处设置有一对应的感光单元。
14.如权利要求6～9任意一项所述的电子装置，其特征在于，所述目标物体为人脸，处理器还用于在接收到请求进行人脸识别验证的输入操作，控制所述若干红外发射单元向显示屏前方发射红外光线。
15.如权利要求14所述的电子装置，其特征在于，所述电子装置还包括电源和开关组件，所述开关组件连接于所述若干红外发射单元和电源之间，所述处理器在接收到请求进行人脸识别验证的输入操作时，控制所述开关组件导通电源和所述若干红外发射单元之间的电连接，而控制对所述若干红外发射单元施加工作电压使得所述若干红外发射单元上电工作而向显示屏前方发射红外光线。
16.如权利要求14所述的电子装置，其特征在于，所述电子装置还包括运动传感器，所述处理器在运动传感器侦测电子装置发生运动且显示屏为锁定状态时，确定接收到所述请求进行人脸识别验证的输入操作。
17.一种三维特征识别方法，应用于一电子装置中，所述电子装置包括显示屏，其特征在于，所述显示屏包括呈阵列分布于显示屏的整个显示区域的若干显示单元、嵌入式分布于所述显示屏的显示区域内的第一预设区域的若干红外发射单元、嵌入式分布于所述显示屏的显示区域内的第二预设区域的若干感光单元；所述若干感光单元组合成一图像传感器；所述方法包括步骤：
通过若干红外发射单元发射红外光线，以照射到位于显示屏前方的目标物体时形成光斑；
通过若干感光单元接收被目标物体反射回来的光斑并转换成相应的光感电信号；
根据所述若干感光单元产生的光感电信号进行成像处理而得到目标图像，并根据所述目标图像识别出目标物体的三维特征。
18.如权利要求17所述的方法，其特征在于，所述根据所述目标图像识别出目标物体的三维特征，包括：
将所述目标图像与一预设图像进行比较，确定出目标图像中的光斑相对于预设图像中的光斑的偏移量；以及
根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征。
19.如权利要求18所述的方法，其特征在于，所述方法还包括：
在显示屏前方放置与显示屏平行的二维平面参考物体；
通过所述若干红外发射单元发射的红外光线照射到所述二维平面物体形成的光斑；
通过若干感光单元接收被二维平面参考物体反射回来的光斑并转换成对应的光感电信号
对所述对应的光感电信号进行成像处理而得出所述预设图像。
20.如权利要求18所述的方法，其特征在于，所述根据所述确定出的光斑的偏移量得出所述目标物体的包括深度信息在内的三维特征，包括：
据所述确定出的光斑的偏移量得出所述目标物体的深度信息；
根据根据对应的光感电信号进行成像处理得到的目标图像中的平面数据得到平面信息；以及
结合所述深度信息和平面信息得出三维特征。
CN201810914142.7A 2018-08-10 2018-08-10 显示屏、电子装置及三维特征识别方法 Active CN109040363B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810914142.7A CN109040363B (zh) 2018-08-10 2018-08-10 显示屏、电子装置及三维特征识别方法
US16/533,188 US11081516B2 (en) 2018-08-10 2019-08-06 Display screen, electronic device and method for three-dimensional feature recognition
EP19190662.7A EP3608837A1 (en) 2018-08-10 2019-08-08 Display screen, electronic device and method for three-dimensional feature recognition
PCT/CN2019/100089 WO2020030151A1 (en) 2018-08-10 2019-08-09 Display screen, electronic device and method for three-dimensional feature recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810914142.7A CN109040363B (zh) 2018-08-10 2018-08-10 显示屏、电子装置及三维特征识别方法

Publications (2)

Publication Number Publication Date
CN109040363A true CN109040363A (zh) 2018-12-18
CN109040363B CN109040363B (zh) 2024-03-19

Family

ID=64632849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810914142.7A Active CN109040363B (zh) 2018-08-10 2018-08-10 显示屏、电子装置及三维特征识别方法

Country Status (1)

Country Link
CN (1) CN109040363B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058742A (zh) * 2019-04-23 2019-07-26 京东方科技集团股份有限公司 显示装置、触摸检测方法及装置
WO2020030151A1 (en) * 2018-08-10 2020-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen, electronic device and method for three-dimensional feature recognition
WO2020146981A1 (zh) * 2019-01-14 2020-07-23 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
WO2020186613A1 (zh) * 2019-03-20 2020-09-24 武汉华星光电技术有限公司 识别模组及显示装置
CN113777621A (zh) * 2020-06-09 2021-12-10 北京小米移动软件有限公司 电子设备、相对位置关系检测方法、装置及存储介质
WO2022261980A1 (zh) * 2021-06-18 2022-12-22 苏州晶湛半导体有限公司 显示面板

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
CN107135341A (zh) * 2017-05-03 2017-09-05 广东欧珀移动通信有限公司 影像传感器、相机模组及电子装置
CN107145837A (zh) * 2017-04-13 2017-09-08 上海与德科技有限公司 阵列基板、显示模组及电子设备
CN107608454A (zh) * 2017-08-31 2018-01-19 广东欧珀移动通信有限公司 显示屏及电子设备
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel
CN208489880U (zh) * 2018-08-10 2019-02-12 Oppo广东移动通信有限公司 显示屏及电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel
CN107145837A (zh) * 2017-04-13 2017-09-08 上海与德科技有限公司 阵列基板、显示模组及电子设备
CN107135341A (zh) * 2017-05-03 2017-09-05 广东欧珀移动通信有限公司 影像传感器、相机模组及电子装置
CN107608454A (zh) * 2017-08-31 2018-01-19 广东欧珀移动通信有限公司 显示屏及电子设备
CN208489880U (zh) * 2018-08-10 2019-02-12 Oppo广东移动通信有限公司 显示屏及电子装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030151A1 (en) * 2018-08-10 2020-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen, electronic device and method for three-dimensional feature recognition
US11081516B2 (en) 2018-08-10 2021-08-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen, electronic device and method for three-dimensional feature recognition
WO2020146981A1 (zh) * 2019-01-14 2020-07-23 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
US11397475B2 (en) 2019-01-14 2022-07-26 Boe Technology Group Co., Ltd. Display device, electronic device and method for driving display device
WO2020186613A1 (zh) * 2019-03-20 2020-09-24 武汉华星光电技术有限公司 识别模组及显示装置
CN110058742A (zh) * 2019-04-23 2019-07-26 京东方科技集团股份有限公司 显示装置、触摸检测方法及装置
CN110058742B (zh) * 2019-04-23 2021-01-26 京东方科技集团股份有限公司 显示装置、触摸检测方法及装置
CN113777621A (zh) * 2020-06-09 2021-12-10 北京小米移动软件有限公司 电子设备、相对位置关系检测方法、装置及存储介质
WO2022261980A1 (zh) * 2021-06-18 2022-12-22 苏州晶湛半导体有限公司 显示面板

Also Published As

Publication number Publication date
CN109040363B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN109040363A (zh) 显示屏、电子装置及三维特征识别方法
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US10667659B2 (en) Robot cleaner, method of operating the same, and augmented reality system
JP7195422B2 (ja) 顔認識方法および電子デバイス
CN106256124B (zh) 结构化立体
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
CN108174180B (zh) 一种显示装置、显示系统及三维显示方法
US11644570B2 (en) Depth information acquisition system and method, camera module, and electronic device
CN107429998B (zh) 距离图像获取装置以及距离图像获取方法
CN112771438B (zh) 利用二维输入选择对三维深度图像进行深度雕塑
CN107430192A (zh) 增加飞行时间测量的帧速率的方法和装置
CN109164410A (zh) Rfid定位及追踪方法、系统及计算机可读存储介质
CN108681726A (zh) 3d芯片模组、身份识别装置及电子设备
CN105973140A (zh) 一种测量物体空间参数的方法及移动终端
CN108495113A (zh) 用于双目视觉系统的控制方法和装置
CN208489880U (zh) 显示屏及电子装置
CN106934828A (zh) 深度图像处理方法及深度图像处理系统
US11081516B2 (en) Display screen, electronic device and method for three-dimensional feature recognition
CN108764222A (zh) 显示屏、电子装置及虹膜识别方法
JP2017027379A (ja) 被写体判定方法、プログラム及び被写体判定装置
CN109242782A (zh) 噪点处理方法及装置
CN111510700A (zh) 图像采集装置
US11943424B2 (en) Imaging system configured to use time-of-flight imaging and stereo imaging
CN208654807U (zh) 显示屏及电子装置
CN213987860U (zh) 学习机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40001223

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant