CN115087975A - 用于识别对象的电子装置和方法 - Google Patents

用于识别对象的电子装置和方法 Download PDF

Info

Publication number
CN115087975A
CN115087975A CN202180012818.3A CN202180012818A CN115087975A CN 115087975 A CN115087975 A CN 115087975A CN 202180012818 A CN202180012818 A CN 202180012818A CN 115087975 A CN115087975 A CN 115087975A
Authority
CN
China
Prior art keywords
electronic device
image
processor
information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012818.3A
Other languages
English (en)
Inventor
李熙俊
图沙.巴拉萨赫.桑丹
梁亨旭
俞周完
张原硕
D.李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115087975A publication Critical patent/CN115087975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种电子装置。该电子装置包括包含多个像素的图像传感器的相机、存储器和控制相机的处理器。多个像素中包括的每个像素包括多个光电二极管和覆盖多个光电二极管的微透镜。处理器使用图像传感器的多个光电二极管来获得外部对象的相位图像和图像数据，并使用相位图像和图像数据来认证外部对象。此外，通过说明书认识到的各种实施例是可能的。

Description

用于识别对象的电子装置和方法
技术领域
本公开涉及一种用于捕获图像和识别对象的电子装置以及一种用于标识对象的方法。
背景技术
诸如智能手机或平板个人计算机(PC)的电子装置可以执行各种功能。例如，电子装置可以执行诸如呼叫、网络搜索、视频回放和音乐回放的功能。此外，电子装置可以通过用户认证来提供安全功能。此外，电子装置可以通过面部识别来执行用户认证并解锁屏幕，或者可以根据执行用户认证的结果来登录到银行应用。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何一个是否可以作为现有技术应用于本公开，没有做出确定，也没有做出断言。
发明内容
技术问题
根据现有技术的电子装置可以基于面部识别来解锁或执行安全功能。为了防御使用假脸欺骗人脸识别系统的欺骗攻击，电子装置可以使用使用RGB图像的活性(liveness)检测技术。
1)使用深度学习技术学习RGB图像的特性的活性模型，或者2)检测印刷对象或二维(2D)数字照片的边缘的边缘检测器模型被用作活性检测技术。当使用RGB图像时，活性模型在黑暗环境(诸如暗室)中降低了假辨别性能。当欺骗对象的边界(或边界边缘)被包括在图像中时，边缘检测器模型是有效的，但是当边界足够接近而不被包括在图像中时，其性能会下降。为了增强活性检测性能，可以添加飞行时间(time of flight，ToF)传感器，但是由于添加传感器和添加用于安装红外(infra-red，IR)发光二极管(light emitting diode，LED)和IR接收器的显示孔而导致成本增加。
技术方案
本公开的各方面至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一个方面是提供一种使用2PD图像传感器来识别对象的电子装置。
附加的方面将在下面的描述中部分地阐述，并且部分地将从描述中变得显而易见，或者可以通过对所呈现的实施例的实践来了解。
根据本公开的一个方面，提供了一种电子装置。该电子装置包括被配置为包括包含多个像素的图像传感器的相机、存储器和被配置为控制相机的处理器。多个像素中包括的每个像素可以包括多个光电二极管和覆盖多个光电二极管的微透镜。处理器可以被配置为使用图像传感器的多个光电二极管来获得外部对象的相位图像和图像数据，并使用相位图像和图像数据来认证外部对象。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
有益效果
根据本公开中公开的各种实施例的电子装置可以使用单个传感器(单个相机模块)的2光电二极管(2PD)图像传感器来实现面部识别系统。
根据本公开中公开的各种实施例的电子装置可以使用关于距对象的距离的深度信息来高精度地标识外部对象的活性，该深度信息是使用2PD图像传感器计算的。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，附图中：
图1是示出根据本公开实施例的电子装置的图；
图2是示出根据本公开实施例的相机模块中包括的图像传感器的配置的图；
图3是示出根据本公开实施例的电子装置的配置的框图；
图4是示出根据本公开实施例的用于识别对象的方法的流程图；
图5是示出根据本公开实施例的用于识别对象的方法的图；
图6是示出根据本公开实施例的合并模式(binning mode)的图；
图7是示出根据本公开实施例的通过检测面部区域来计算深度的图；
图8是示出根据本公开的实施例应用活性模型的图；
图9是示出根据本公开实施例的网络环境中的电子装置的框图；和
图10是示出根据本公开实施例的相机模块的框图。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同所定义的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于文献意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说，显而易见的是，本公开的各种实施例的以下描述仅仅是为了说明的目的而提供的，而不是为了限制由所附权利要求及其等同所限定的本公开。
应当理解，单数形式“一”、“一个”和“该”包括复数指示物，除非上下文中另有明确规定。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。
图1是示出根据本公开实施例的电子装置的图。
参照图1，电子装置100可以基于使用相机模块(例如，相机装置、或相机)110获得的图像数据来识别对象(例如，面部)150。电子装置100可以认证所识别的对象(例如，面部)150，并且可以提供安全功能(例如，执行需要用户认证的应用)。例如，电子装置100可以通过对象(例如，面部)150的认证来解锁屏幕或者可以登录到银行应用。在下文中，将给出对对象150是人脸的情况的描述，但不限于此。
相机模块110可以包括例如包括一个或多个透镜和图像传感器的透镜组件。图像传感器的每个像素可以包括多个光电二极管(PD)。
在屏幕101上，电子装置100可以通过由共享微透镜的多个PD生成的光程差来生成相位图像。多个PD可以连续或周期地布置在相邻位置。多个PD可以彼此电分离，并且可以在光学上具有相同的特性。
电子装置100可以基于生成的相位图像来识别对象(例如，面部)150。电子装置100可以确定相位图像的合并模式(或合并等级(binning level))，并且可以确定RGB数据或相位图像的深度。电子装置100可以使用RGB数据(或RGB图像)或相位图像来确定对象(例如，面部)150的活性，以执行用户认证。
在屏幕105上，当用户认证完成时，电子装置100可以执行与用户认证相关联的指定应用或服务(例如，在显示器120上显示不同于用户认证屏幕的另一屏幕(活动))。例如，当用户认证完成时，电子装置100可以解锁显示器120的锁定状态，或者可以登录到银行应用。
示意性地示出了相机模块110是图1中的电子装置100的前置相机，但不限于此。例如，相机模块110可以位于电子装置100的后表面或侧表面中的至少一个。
图2是示出根据本公开实施例的相机模块中包括的图像传感器的配置的图。
参照图2，相机模块(例如，图1的相机模块110)中包括的图像传感器200可以包括多个像素。说明性地示出了图像传感器200基于由图2中的2PD图像传感器生成的信号输出拜耳模式(Bayer-patterned)图像，但是不限于此。
在下文中，将给出对图像传感器200生成左/右相位图像(或2PD原始数据)和拜耳模式RGB数据的情况的描述，但不限于此。
根据实施例，多个像素中的一个210可以包括微透镜205、滤色器206、第一PD(或第一子像素)(PD1)211和第二PD(或第二子像素)(PD2)212。
微透镜205可以覆盖第一PD 211和第二PD 212。微透镜205可以调整入射光的路径，使得从外部入射的光可以到达第一PD 211和第二PD 212。
滤色器206可以位于微透镜205和PD(第一PD 211和第二PD 212)之间，以通过特定波长范围(例如，与绿光相对应的波长范围)的光。滤色器206可以仅允许穿过微透镜205的光中的特定波长范围的光到达第一PD 211和第二PD 212，并且可以限制除特定波长范围之外的光。
第一PD 211和第二PD 212中的每一个可以将穿过微透镜205和滤色器206的光转换成电信号。由于从外部引入的光(例如，从对象反射的光)可以被微透镜205反射，所以其路径可以被改变。穿过微透镜205的光可以直接引入到PD中，或者可以从PD之间的像素壁W反射以引入到PD中。
例如，当从面部对象(例如，图1的对象150)的相同点(或相邻点)反射的光入射到第一PD 211和第二PD 212时，通过微透镜205的折射或像素壁W的反射会生成光程差。因此，在第一PD 211的第一数据和第二PD 212的第二数据之间会出现相位差。电子装置(例如，图1的电子装置100)可以通过相位差生成2PD视差图，并且可以在识别对象150的过程中使用该2PD视差图。
图3是示出根据本公开实施例的电子装置的配置的框图。图3根据功能分开，但不限于此。例如，图像传感器200和图像处理单元310可以集成为一体，或者图像处理单元310和对象识别单元320可以集成为一体。此外，图像处理单元310和对象识别单元320的操作可以是通过电子装置100中的处理器的计算的操作。
参照图3，电子装置100可以包括图像传感器200、图像处理单元310和对象识别单元320。
图像传感器200可以包括多个像素。图像传感器200可以基于2PD图像传感器生成的信号来生成左/右相位图像和拜耳模式RGB数据。
图像处理单元310可以处理由图像传感器200采集的RGB数据。图像处理单元310可以将对象识别所需的信息递送给对象识别单元320。
对象识别单元320可以识别和认证面部对象(例如，图1的对象150)。对象识别单元320可使用所有左/右相位图像和RGB数据来识别和认证对象150。根据实施例，对象识别单元320可以包括合并确定单元330、深度计算单元340和活性计算单元350。
合并确定单元330可确定左/右相位图像的合并模式(或合并等级或合并模型)。合并确定单元330可基于对象150的深度信息或对象150周围的照度信息来确定左/右相位图像的合并模式。
深度计算单元340可基于左/右相位图像或RGB数据来计算对象150的深度信息。深度信息可以用于确定对象150的合并等级或者确定活性。
活性计算单元350可以基于左/右相位图像或RGB数据来确定对象150的活性(对象150是否是活着的)。活性计算单元350可以使用各种算法的活性模型。活性计算单元350可使用深度信息、2PD视差图和边缘信息来确定活性。
图4是示出根据本公开实施例的用于识别对象的方法的流程图。
参照图4，在操作410，图像传感器(例如，图3的图像传感器200)可以采集面部对象(例如，图1的对象150)的左/右相位图像和RGB数据。例如，电子装置(例如，图3的电子装置100)可以在屏幕锁定状态下使用相机模块(例如，图1的相机模块110)来捕获对象150。相机模块110中的图像传感器200可以输出左/右相位图像和RGB数据。
在操作420，电子装置100的处理器可以使用左/右相位图像和RGB数据来确定对象150的活性。例如，处理器可以使用左/右相位图像生成2PD视差图。处理器可以使用RGB数据来检测边缘，或者可以计算RGB数据的活性。处理器可以全面地反映关于距对象150的距离的信息、关于对象150周围的照度的信息等，以确定对象150的活性。处理器可以根据计算的活性等级，来确定对象150是用户的真实面部还是使用照片或图像的虚假面部。
图5是示出根据本公开实施例的用于识别对象的方法的图。图5是说明性的，但不限于此。
参照图5，图像传感器(例如，图3的图像传感器200)可以采集面部对象(例如，图1的对象150)的左/右(L/R)相位图像510和RGB数据520。电子装置(例如，图3的电子装置100)的处理器可以使用所有L/R相位图像510和RGB数据520来确定对象150的活性。
根据一个实施例，处理器可以使用L/R相位图像510来生成2PD视差图511。处理器可以通过基于2PD视差图511应用第一活性模型531来计算活性得分。第一活性模型531可以是关于2PD视差图511上具有大相位差的区域来计算活性的模型。
根据一个实施例，处理器可以通过在RGB数据520中应用第二活性模型532来计算活性得分。第二活性模型532可以是检测RGB数据520的边缘(对象150的边界)以计算活性的模型。
根据一个实施例，处理器可以通过对RGB数据520本身应用第三活性模型533来计算活性得分。第三活性模型533可以是根据从RGB数据520检测到的对象150的特征点的位置、特征点之间的相互布置关系、或者特征点随时间的变化程度来计算活性的模型。关于第一活性模型531、第二活性模型532、或第三活性模型533的附加信息可以在图8中提供。
处理器可以全面考虑信息，诸如关于距面部对象150的距离的信息或者关于对象150周围的照度的信息，以调整每个模型的权重。处理器可以将计算的活性得分与预定参考值进行比较，以确定对象150是用户的真实面部还是使用照片或图像的虚假面部。
图6是示出根据本公开实施例的合并模式的图。图6是说明性的，但不限于此。
参照图6，合并确定单元(例如，图3的合并确定单元330)可以确定左/右相位图像610的合并模式(或合并等级或合并模型)611、612或613。根据合并模式，可以通过选择左/右相位图像610的一些像素数据来减小数据尺寸。例如，对于2*8合并，可以保持从16个像素区域中选择的一个像素的数据，并且可以排除其他像素的数据。合并等级越高，进行合并的像素区域的尺寸越大，数据尺寸越小。
当合并等级降低时，左/右相位图像610的存储器占用率和数据处理时间可以增加，并且使用左/右相位图像610的对象识别的精度可以提高。另一方面，当合并等级增加时，存储器占用率和数据处理时间会减少，并且使用左/右相位图像610的对象识别的精度会降低。
例如，在第一合并模式611中可能无法执行单独的(separate)合并。在这样的情况下，可以保持左/右相位图像610而不选择单独的像素数据(例如，可以保持与左/右相位图像610相同的3648*2736*(L，R)的分辨率，并且可以保持与左/右相位图像610相同的19MB的数据容量)。因此，存储器占用率可能增加，并且数据处理速度可能降低(数据处理时间可能增加)。另一方面，可以提高使用左/右相位图像的对象识别的精度。
再如，可以在第二合并模式612中执行中等等级的合并(例如，可以保持1824*342*(L，R)的分辨率，并且2*8合并可以保持1.2MB的数据容量)。在这样的情况下，存储器占用率可以比第一合并模式611减少得更多，并且数据处理速度可以比第一合并模式611增加得更多。另一方面，使用左/右相位图像610的对象识别的精度可能比第一合并模式611更低。
再如，可以在第三合并模式613中执行最高等级的合并(例如，可以保持912*171*(L，R)的分辨率，并且4*16合并可以保持0.3MB的数据容量)。在这样的情况下，存储器占用率可以比第一合并模式611或第二合并模式612减少得更多，并且数据处理速度可以比第一合并模式611或第二合并模式612增加得更多。另一方面，使用左/右相位图像610的对象识别的精度可能比第一合并模式611或第二合并模式612更低。
根据各种实施例，合并确定单元330可以基于从图像处理单元(例如，图3的图像处理单元310)接收的参数信息来确定合并等级(或合并模式)。例如，参数信息可以是例如相机曝光信息、感光度信息或增益信息，并且合并确定单元330可以基于参数信息来确定图像捕获时的照度值。根据实施例，合并确定单元330可基于经由单独的照度传感器接收的信息来确定图像捕获时的照度值。
例如，当在低照度环境中采集左/右相位图像610时，合并确定单元330可降低左/右相位图像610的合并等级，以提高使用左/右相位图像610的对象识别的精度。结果，可以解决在黑暗环境中基于RGB数据来确定活性的性能下降的问题。
再如，当左/右相位图像610是在普通照度环境或高照度环境中采集的时，合并确定单元330可以增强左/右相位图像610的合并等级，以降低使用左/右相位图像610的对象识别的精度。结果，存储器占用率和数据处理速度可能降低。
根据各种实施例，合并确定单元330可基于从深度计算单元(例如，图3的深度计算单元340)接收的距离信息(或深度信息)来确定合并模式611、612或613。例如，当距面部对象(例如，图1的对象150)的距离大于或等于(或大于)预定第一参考值时，合并确定单元330可根据第一合并模式611降低合并等级，或者无法进行合并。结果，可以提高使用左/右相位图像610的对象识别的精度。当距离远离对象150时，因为在左/右相位图像610中计算的2PD视差特性退化，所以合并确定单元330可降低合并等级以提高对象识别的精度。
再如，当与对象150的距离小于(或小于或等于)预定第一参考值并且大于或等于(大于)预定第二参考值时，合并确定单元330可以根据第二合并模式612进行中等等级的合并。结果，使用左/右相位图像610的对象识别的精度可以反映为合适的等级。
再如，当与对象150的距离小于或等于(或小于)预定第二参考值时，合并确定单元330可以根据第三合并模式613进行最高等级的合并。结果，使用左/右相位图像的对象识别的精度可能降低。当距离接近对象150时，因为在左/右相位图像610中计算的2PD视差特性被改善，所以尽管合并等级被增强，但是可以容易地执行对象识别。
根据各种实施例，合并确定单元330可以向深度计算单元340提供要使用的合并的左/右相位图像610。此外，合并确定单元330可以向活性计算单元(例如，图3的活性计算单元350)提供要用于确定活性的合并的左/右相位图像。
图7是示出根据本公开实施例的通过检测面部区域来计算深度的图。图7是说明性的，但不限于此。
参照图7，深度计算单元(例如，图3的深度计算单元340)可基于左/右相位图像或RGB数据来计算面部对象(例如，图1的对象150)的深度信息。计算的深度信息可以用于确定对象150的合并等级或者确定活性。
根据各种实施例，深度计算单元340可基于从RGB数据检测到的对象150的面部区域(或面部尺寸)710来计算深度信息。此外，深度计算单元340可通过另外使用从左/右相位图像检测的2PD视差图720来计算对象150的深度。例如，在使用具有小显示器的智能手机屏幕的攻击情况下，镜头和面部之间的实际距离可能无法远离计算的值。在这样的情况下，当使用2PD视差图720计算深度信息时，可以提高深度信息的精度。根据实施例，深度计算单元340可计算关于2PD视差图720上的面部区域710a的深度信息。
根据各种实施例，深度计算单元340可基于下面的等式1计算深度信息。
D＝W*d1+(1-W)*d2 ...等式1
这里，D表示深度信息，d1表示在2PD视差图上检测到的深度，d2表示从RGB图像(基于面部尺寸)检测到的深度，并且W表示预定义权重。
根据各种实施例，深度计算单元340可以向活性计算单元(例如，图3的活性计算单元350)提供要用于计算活性得分的计算的深度信息。
根据各种实施例，深度计算单元340可向合并确定单元(例如，合并确定单元330)提供计算的深度信息。合并确定单元330可根据深度信息来确定合并模式。
图8是示出根据本公开的实施例应用活性模型的图。图8是说明性的，但不限于此。
参照图8，活性识别单元(例如，图3的活性计算单元350)可以基于左/右相位图像或RGB数据来确定面部对象(例如，图1的对象150)是否是活的对象。活性计算单元350可以使用各种算法的活性模型。
根据各种实施例，活性计算单元350可以通过使用左/右相位图像基于2PD视差图应用2PD活性模型810来计算第一活性得分S1。2PD视差图可以在活性计算单元350中生成，或者可以经由单独的组件而不是活性计算单元350来生成。
根据各种实施例，活性计算单元350可以通过检测RGB数据中的边缘(对象150的边界)通过应用边缘活性模型(或边缘检测模型)820来计算第二活性得分S2。边缘检测可以在活性计算单元350中执行，或者可以经由单独的组件而不是活性计算单元350来执行。
根据各种实施例，活性计算单元350可以通过对RGB数据本身应用RGB活性模型830来计算第三活性得分S3。
根据各种实施例，活性计算单元350可以以总体方式考虑信息，诸如关于距对象150的距离的信息或关于对象150周围的照度的信息，以分别确定活性模型810、820和830的权重W1、W2和W3，并计算活性得分。例如，活性计算单元350可以使用下面的等式2来计算最终活性得分。
S＝W1*S1+W2*S2+W3*S3...等式2
这里，S表示最终活性得分，S1表示2PD活性模型得分，S2表示边缘活性模型得分，S3表示RGB活性模型得分，并且W1、W2或W3表示权重。
根据各种实施例，活性计算单元350可以基于从深度计算单元(例如，图3的深度计算单元340)提供的深度信息来调整2PD活性模型810的权重W1或边缘活性模型820的权重W2。
例如，当深度信息大于或等于(或大于)参考值时，活性计算单元350可以通过反映距对象150的距离越远，第一PD和第二PD之间的相位差越小来降低2PD活性模型810的权重W1。
再如，当深度信息小于(或小于或等于)参考值时，活性计算单元350可以通过反映距对象150的距离越近，边缘区域越不被包括在RGB数据中来降低边缘活性模型820的权重W2。另一方面，活性计算单元350可以通过反映距对象150的距离越近，第一PD和第二PD之间的相位差越大，来增强2PD活性模型810的权重W1。
活性计算单元350可以将计算的活性得分与预定参考值进行比较，以使用照片或图像来确定对象150是用户的真实面部还是虚假面部。
图9示出了根据本公开的实施例的网络环境中的电子装置的框图。根据本公开中公开的各种实施例的电子装置可以是各种类型的装置。电子装置可以包括例如便携式通信装置(例如，智能手机、计算机装置(例如，PDA：个人数字助理)、平板PC、膝上型PC、台式PC、工作站或服务器)、便携式多媒体装置(例如，电子书阅读器或MP3播放器)、便携式医疗装置(例如，心率、血糖、血压或体温测量装置)、相机、或可穿戴装置中的至少一个。可穿戴装置可以包括附件类型装置(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头部可穿戴装置头戴式装置(HMD))、织物或衣服集成装置(例如，电子衣服)、身体附着装置(例如，皮肤垫或纹身)、或生物可植入电路中的至少一个。在一些实施例中，电子装置可以包括例如电视、DVD(数字视频盘)播放器、音频装置、音频附件装置(例如，扬声器、耳机或头戴式耳机)、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、游戏控制台、电子词典、电子钥匙、摄像机或电子相框中的至少一个。
在另一个实施例中，电子装置可以包括导航装置、GNSS(全球导航卫星系统)、EDR(事件数据记录器(例如，用于车辆/船舶/飞机的黑匣子)、汽车信息娱乐装置(例如，车辆平视显示器)、工业或家用机器人、无人机、ATM(自动柜员机)、POS(销售点)仪器、测量仪器(例如，水、电或气体测量装置)或物联网装置(例如，灯泡、洒水装置、火警、温度调节器或根据本公开实施例的电子装置不限于上述装置。此外，例如，如在配备有个体的生物信息(例如，心率或血糖)的测量的智能电话中，电子装置可以具有多个装置的功能的组合。在本公开中，术语“用户”可以指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
参照图9，网络环境900中的电子装置901可经由第一网络998(例如，短距离无线通信网络)与电子装置902进行通信，或者经由第二网络999(例如，长距离无线通信网络)与电子装置904或服务器908进行通信。根据实施例，电子装置901可经由服务器908与电子装置904进行通信。根据实施例，电子装置901可包括处理器920、存储器930、输入装置950、声音输出装置955、显示装置960、音频模块970、传感器模块976、接口977、触觉模块979、相机模块980、电力管理模块988、电池989、通信模块990、用户标识模块(SIM)996或天线模块997。在一些实施例中，可从电子装置901中省略所述部件中的至少一个(例如，显示装置960或相机模块980)，或者可将一个或更多个其它部件添加到电子装置901中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块976(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置960(例如，显示器)中。
处理器920可运行例如软件(例如，程序940)来控制电子装置901的与处理器920连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器920可将从另一部件(例如，传感器模块976或通信模块990)接收到的命令或数据加载到易失性存储器932中，对存储在易失性存储器932中的命令或数据进行处理，并将结果数据存储在非易失性存储器934中。根据实施例，处理器920可包括主处理器921(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器921在操作上独立的或者相结合的辅助处理器923(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器923可被适配为比主处理器921耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器923实现为与主处理器921分离，或者实现为主处理器921的部分。
在主处理器921处于未激活(例如，睡眠)状态时，辅助处理器923可控制与电子装置901(而非主处理器921)的部件之中的至少一个部件(例如，显示装置960、传感器模块976或通信模块990)相关的功能或状态中的至少一些，或者在主处理器921处于激活状态(例如，运行应用)时，辅助处理器923可与主处理器921一起来控制与电子装置901的部件之中的至少一个部件(例如，显示装置960、传感器模块976或通信模块990)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器923(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器923相关的另一部件(例如，相机模块980或通信模块990)的部分。
存储器930可存储由电子装置901的至少一个部件(例如，处理器920或传感器模块976)使用的各种数据。所述各种数据可包括例如软件(例如，程序940)以及针对与其相关的命令的输入数据或输出数据。存储器930可包括易失性存储器932或非易失性存储器934。
可将程序940作为软件存储在存储器930中，并且程序940可包括例如操作系统(OS)942、中间件944或应用946。
输入装置950可从电子装置901的外部(例如，用户)接收将由电子装置901的其它部件(例如，处理器920)使用的命令或数据。输入装置950可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置955可将声音信号输出到电子装置901的外部。声音输出装置955可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置960可向电子装置901的外部(例如，用户)视觉地提供信息。显示装置960可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置960可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块970可将声音转换为电信号，反之亦可。根据实施例，音频模块970可经由输入装置950获得声音，或者经由声音输出装置955或与电子装置901直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置902)的耳机输出声音。
传感器模块976可检测电子装置901的操作状态(例如，功率或温度)或电子装置901外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相应的电信号或数据值。根据实施例，传感器模块976可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口977可支持将用来使电子装置901与外部电子装置(例如，电子装置902)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口977可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端978可包括连接器，其中，电子装置901可经由所述连接器与外部电子装置(例如，电子装置902)物理连接。根据实施例，连接端978可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块979可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块979可包括例如电机、压电元件或电刺激器。
相机模块980可捕获静止图像或运动图像。根据实施例，相机模块980可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块988可管理对电子装置901的供电。根据实施例，可将电力管理模块988实现为例如电力管理集成电路(PMIC)的至少部分。
电池989可对电子装置901的至少一个部件供电。根据实施例，电池989可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块990可支持在电子装置901与外部电子装置(例如，电子装置902、电子装置904或服务器908)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块990可包括能够与处理器920(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块990可包括无线通信模块992(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块994(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络998(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络999(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块992可使用存储在用户标识模块996中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络998或第二网络999)中的电子装置901。
天线模块997可将信号或电力发送到电子装置901的外部(例如，外部电子装置)或者从电子装置901的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块997可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块997可包括多个天线。在这样的情况下，可由例如通信模块990(例如，无线通信模块992)从所述多个天线中选择适合于在通信网络(诸如第一网络998或第二网络999)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块990和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块997的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络999连接的服务器908在电子装置901和外部电子装置904之间发送或接收命令或数据。电子装置902和电子装置904中的每一个可以是与电子装置901相同类型的装置，或者是与电子装置901不同类型的装置。根据实施例，将在电子装置901运行的全部操作或一些操作可在外部电子装置902、外部电子装置904或服务器908中的一个或更多个运行。例如，如果电子装置901应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置901可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置901除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置901。电子装置901可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户端-服务器计算技术。
图10是示出根据本公开实施例的相机模块的框图。
参照图10，包括相机模块(例如，图1的相机模块110)980的框图1000可以包括透镜组件1010、闪光灯1020、图像传感器1030、图像稳定器1040、存储器1050(例如，缓冲存储器)或图像信号处理器1060。透镜组件1010可以采集从要捕获图像的对象发射或反射的光。透镜组件1010可以包括一个或多个透镜。根据实施例，相机模块980可以包括多个透镜组件1010。在这样的情况下，相机模块980可以形成例如双相机、360度相机或球形相机。多个透镜组件1010中的一些可以具有相同的透镜属性(例如，视角、焦距、自动聚焦、f数或光学变焦)、或者至少一个透镜组件可以具有与其他透镜组件不同的一个或多个透镜属性。透镜组件1010可以包括例如广角透镜或远摄透镜。
闪光灯1020可以发射用于增强从对象反射的光的光。根据一个实施例，闪光灯1020可以包括一个或多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白色LED、红外(IR)LED、或紫外(UV)LED)或氙灯。图像传感器1030可以通过将从对象发射或反射并经由透镜组件1010透射的光转换成电信号来获得与对象相对应的图像。根据实施例，图像传感器1030可以包括从具有不同属性的图像传感器(诸如RGB传感器、黑白(BW)传感器、IR传感器、或UV传感器)、具有相同属性的多个图像传感器、或者具有不同属性的多个图像传感器中选择的一个。被包括在图像传感器1030中的每个图像传感器可以使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器1040可以在特定方向上移动图像传感器1030或被包括在透镜组件1010中的至少一个透镜，或者响应于相机模块980或包括相机模块980的电子装置901的移动来控制图像传感器1030的操作属性(例如，调整读出定时)。这允许补偿正被捕获的图像上的移动造成的至少部分负面影响(例如，图像模糊)。根据实施例，图像稳定器1040可以使用布置在相机模块980内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块980或电子装置901的这样的移动。根据实施例，图像稳定器1040可以被实现为例如光学图像稳定器。存储器1050可以至少临时存储经由图像传感器1030获得的图像的至少一部分，用于后续的图像处理任务。例如，如果图像捕获由于快门延迟而被延迟或者多个图像被快速捕获，则获得的原始图像(例如，拜耳模式图像、高分辨率图像)可以被存储在存储器1050中，并且其对应的副本图像(例如，低分辨率图像)可以经由显示装置960被预览。此后，如果满足指定的条件(例如，通过用户的输入或系统命令)，则存储在存储器1050中的原始图像的至少一部分可以被例如图像信号处理器1060获得和处理。根据一个实施例，存储器1050可以被配置为存储器930的至少一部分，或者被配置为独立于存储器930操作的独立存储器。
图像信号处理器1060可以对经由图像传感器1030获得的图像或存储在存储器1050中的图像执行一个或多个图像处理。一个或多个图像处理可以包括例如深度图生成、三维(3D)建模、全景生成、特征点提取、图像合成、或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化、或柔化)。附加地或替代地，图像信号处理器1060可以对被包括在相机模块980中的组件中的至少一个(例如，图像传感器1030)执行控制(例如，曝光时间控制或读出定时控制)。由图像信号处理器1060处理的图像可以被存储回存储器1050中用于进一步处理，或者可以被提供给相机模块980外部的外部组件(例如，存储器930、显示装置960、电子装置902、电子装置904、或服务器908)。根据实施例，图像信号处理器1060可以被配置为处理器920的至少一部分，或者被配置为独立于处理器920操作的单独处理器。如果图像信号处理器1060被配置为与处理器920分离的单独处理器，则由图像信号处理器1060处理的至少一个图像可以由处理器920经由显示装置960按原样显示或者在被进一步处理之后显示。
根据实施例，电子装置901可以包括具有不同属性或功能的多个相机模块980。在这样的情况下，多个相机模块980中的至少一个可以形成例如广角相机，并且多个相机模块980中的至少另一个可以形成远摄相机。类似地，多个相机模块980中的至少一个可以形成例如前置相机，并且多个相机模块980中的至少另一个可以形成后置相机。
根据本公开中公开的各种实施例的电子装置可以是各种类型的装置。电子装置可以包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、移动医疗装置、相机、可穿戴装置、或家用电器。根据本公开实施例的电子装置不应限于上述装置。
根据各种实施例，电子装置(例如，图1的电子装置100)可以包括壳体和相机模块，壳体包括开口，相机模块包括通过开口暴露于外部的至少一部分。相机模块可以包括透镜单元、和将通过透镜单元引入的光转换成电信号的图像传感器、磁性构件、设置在磁性构件的第一表面上以面对磁性构件的线圈单元、附接到磁性构件的第二表面的磁性物质单元、以及被设置为邻近磁性构件以面对磁性物质部分的至少一部分的位置传感器。
根据各种实施例，位置传感器可以被设置为邻近磁性构件的垂直于第一表面或第二表面的侧表面。
根据各个实施例，透镜单元可以通过由磁性构件和线圈单元生成的电磁力在平行于第一表面或第二表面的方向上往复运动。
根据一个实施例，磁性物质单元可以是平面形状。根据另一个实施例，磁性物质单元可以包括阶梯(steeped)结构。阶梯结构可以形成在磁性物质单元的与磁性构件和位置传感器之间的空间相对应的区域中。阶梯结构可以形成为允许磁性物质单元的至少一部分朝向位置传感器突出。
根据各种实施例，位置传感器可以感测通过磁性构件或磁性物质单元发散的磁通量。位置传感器可以包括平行于第一表面或第二表面设置的感测表面。
根据各种实施例，磁性物质单元可以包括附接到磁性构件的第一极的第一部分、以及附接到第二磁性构件的第二极的第二部分。第一部分可以包括第一阶梯结构，第二部分可以包括第二阶梯结构。第一阶梯结构和第二阶梯结构可以具有相等的高度。
根据各种实施例，位置传感器可以是霍尔传感器。
根据各种实施例，电子装置可以包括壳体和相机模块，壳体包括开口，相机模块包括通过开口暴露于外部的至少一部分。相机模块可以包括透镜单元、将通过透镜单元引入的光转换成电信号的图像传感器、第一磁性构件、第二磁性构件、设置在第一磁性构件的第一表面上以面对第一磁性构件的第一线圈单元、设置在第二磁性构件的第一表面上以面对第二磁性构件的第二线圈单元、附接到第一磁性构件的第二表面和第二磁性构件的第二表面的磁性物质单元、以及置于第一磁性构件和第二磁性构件之间以面对磁性物质单元的至少一部分的位置传感器。
根据各种实施例，磁性物质单元可以包括附接到第一磁性构件的第一极和第二磁性构件的第一极的第一部分、以及附接到第一磁性构件的第二极和第二磁性构件的第二极的第二部分。第一部分可以包括第一突出结构，第二部分可以包括第二突出结构。
根据各种实施例，磁性物质单元的至少一部分可以在第一突出结构或第二突出结构中。
根据各种实施例，相机模块可以包括透镜单元、将通过透镜单元引入的光转换成电信号的图像传感器、磁性构件、设置在磁性构件的第一表面上以面对磁性构件的线圈单元、附接到磁性构件的第二表面的磁性物质单元、以及被设置为邻近磁性构件以面对磁性物质部分的至少一部分的位置传感器。
根据各种实施例，位置传感器可以被设置为邻近磁性构件的垂直于第一表面或第二表面的侧表面。
根据各种实施例，磁性物质单元可以包括附接到磁性构件的第一极的第一部分、以及附接到磁性构件的第二极的第二部分。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器936或外部存储器938)中的可由机器(例如，电子装置901)读取的一个或更多个指令的软件(例如，程序940)。例如，在处理器的控制下，所述机器(例如，电子装置901)的处理器(例如，处理器920)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器生成的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性存储介质”是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如，“非暂时性存储介质”可以包括临时存储数据的缓存器。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品(例如，可下载应用)中的至少部分可以是临时生成的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这样的情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
根据各种实施例的电子装置(例如，图1的电子装置100或图9的电子装置901)可以包括被配置为包括包含多个像素的图像传感器(例如，图2的图像传感器200或图10的图像传感器1030)的相机模块(例如，图1的相机模块110或图9的相机模块980)、存储器(例如，图9的存储器930)、以及被配置为控制相机模块(例如，图1的相机模块110或图9的相机模块980)的处理器(例如，图3的对象识别单元320或图9的处理器920)。多个像素中包括的每个像素可以包括多个光电二极管和覆盖多个光电二极管的微透镜。处理器可以使用图像传感器(例如，图2的图像传感器200或图10的图像传感器1030)的多个光电二极管来获得外部对象的相位图像和图像数据，并且可以使用相位图像和图像数据来认证外部对象。
根据各种实施例，处理器(例如，图3的对象识别单元320或图9的处理器920)可以基于关于距外部对象的距离的深度信息或与图像数据的图像捕获相关联的参数信息来确定相位图像的合并模式。处理器(例如，图3的对象识别单元320或图9的处理器920)可以根据合并模式改变用于选择相位图像的数据的像素区域的尺寸。参数信息可以包括相机模块(例如，图1的相机模块110或图9的相机模块980)的曝光信息、感光度信息或增益信息中的至少一个。
根据各种实施例，电子装置(例如，图1的电子装置100或图9的电子装置901)可以还包括照度传感器。处理器(例如，图3的对象识别单元320或图9的处理器920)可以基于图像数据的图像捕获时的照度信息来确定相位图像的合并模式，照度信息由照度传感器采集。
根据各种实施例，处理器(例如，图3的对象识别单元320或图9的处理器920)可以基于相位图像和图像数据来计算关于外部对象的深度信息，以及可以基于计算的深度信息来确定外部对象的活性。
根据各种实施例，处理器(例如，图3的对象识别单元320或图9的处理器920)可基于使用相位图像计算的视差图和外部对象的布置信息来计算深度信息，布置信息是使用图像数据计算的。
根据各种实施例，处理器(例如，图3的对象识别单元320或图9的处理器920)可以基于根据相位图像计算的第一活性得分和根据图像数据计算的第二活性得分以及第三活性得分来确定外部对象的活性。
根据各种实施例，第一活性得分可以是使用视差图来计算的，所述视差图是使用相位图像来计算的。第二活性得分可以是使用外部对象的边缘信息计算的，所述边缘信息是从图像数据中检测的。第三活性得分可以是使用关于外部对象的特征点的信息计算的，所述特征点是从图像数据中检测的。
根据各种实施例，处理器(例如，图3的对象识别单元320或图9的处理器920)可以基于深度信息来确定第一活性得分的第一权重和第二活性得分的第二权重。
根据各种实施例，当深度信息大于或等于预定参考值时，处理器(例如，图3的对象识别单元320或图9的处理器920)可以将第一权重设置为低于第二权重，和当深度信息小于预定参考值时，可以将第一权重设置为高于第二权重。
根据各种实施例，当基于确定活性、外部对象是活的对象时，处理器(例如，图3的对象识别单元320或图9的处理器920)可以将关于用户的认证信息与基于相位图像或图像数据提取的用户信息进行比较，以认证外部对象，认证信息被存储在存储器(例如，图9的存储器930)中。
根据各种实施例，多个像素可以包括第一像素和第二像素。第一像素可以包括第一像素壁、位于第一像素壁的第一方向上的第一光电二极管、以及位于第一像素壁的第二方向上的第二光电二极管。第二像素可以包括第二像素壁、位于第二像素壁的第一方向上的第三光电二极管和位于第二像素壁的第二方向上的第四光电二极管。第一光电二极管和第三光电二极管可以获得相位图像中的第一相位图像，第二光电二极管和第四光电二极管可以获得相位图像中的第二相位图像。
根据各种实施例的用于电子装置(例如，图1的电子装置100或图9的电子装置901)中识别对象的方法可以包括使用电子装置(例如，图1的电子装置100或图9的电子装置901)的包括多个光电二极管的图像传感器(例如，图2的图像传感器200或图10的图像传感器1030)来获得外部对象的相位图像和图像数据，以及使用相位图像和图像数据来认证外部对象。
根据各种实施例，认证可以包括基于关于外部对象的深度信息或者与图像数据的图像捕获相关联的参数信息来确定相位图像的等级选择数据的合并模式。
根据各种实施例，认证可以包括基于相位图像和图像数据来计算关于外部对象的深度信息，以及基于计算的深度信息来确定外部对象的活性。
根据各种实施例，认证可包括使用相位图像来计算视差图，使用图像数据来计算外部对象的布置信息，以及基于视差图和布置信息来计算深度信息。
根据各种实施例，认证可以包括基于根据相位图像计算的第一活性得分和根据图像数据计算的第二活性得分以及第三活性得分来确定外部对象的活性。
虽然已经参照本公开的各种实施例显示和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同限定的本公开的范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括：
相机，包括包含多个像素的图像传感器；
存储器；和
处理器，被配置为控制相机，
其中，所述多个像素中包括的每个像素包括多个光电二极管和覆盖所述多个光电二极管的微透镜，并且
其中，处理器还被配置为：
使用图像传感器的所述多个光电二极管来获得外部对象的相位图像和图像数据，以及
使用相位图像和图像数据来认证外部对象。
2.根据权利要求1所述的电子装置，其中，处理器还被配置为基于关于距外部对象的距离的深度信息或者与图像数据的图像捕获相关联的参数信息来确定相位图像的合并模式。
3.根据权利要求2所述的电子装置，其中，处理器还被配置为根据合并模式改变用于选择相位图像的数据的像素区域的尺寸。
4.根据权利要求2所述的电子装置，其中，参数信息包括相机的曝光信息、感光度信息或增益信息中的至少一个。
5.根据权利要求1所述的电子装置，还包括：
照度传感器，
其中，处理器还被配置为基于图像数据的图像捕获时的照度信息来确定相位图像的合并模式，所述照度信息是由照度传感器采集的。
6.根据权利要求1所述的电子装置，其中，处理器还被配置为：
基于相位图像和图像数据来计算关于外部对象的深度信息，以及
基于计算的深度信息来确定外部对象的活性。
7.根据权利要求6所述的电子装置，其中，处理器还被配置为基于使用相位图像计算的视差图和外部对象的布置信息来计算深度信息，所述布置信息是使用图像数据计算的。
8.根据权利要求6所述的电子装置，其中，处理器还被配置为基于根据相位图像计算的第一活性得分、以及根据图像数据计算的第二活性得分和第三活性得分来确定外部对象的活性。
9.根据权利要求8所述的电子装置，其中，第一活性得分是使用视差图计算的，所述视差图是使用相位图像计算的。
10.根据权利要求8所述的电子装置，其中，第二活性得分是使用外部对象的边缘信息计算的，所述边缘信息是从图像数据中检测的。
11.根据权利要求8所述的电子装置，其中，第三活性得分是使用关于外部对象的特征点的信息计算的，所述特征点是从图像数据中检测的。
12.根据权利要求8所述的电子装置，其中，处理器还被配置为基于深度信息来确定第一活性得分的第一权重和第二活性得分的第二权重。
13.根据权利要求12所述的电子装置，其中，处理器还被配置为：
当深度信息大于或等于预定参考值时，将第一权重设置为低于第二权重，和
当深度信息小于预定参考值时，将第一权重设置为高于第二权重。
14.根据权利要求8所述的电子装置，其中，处理器还被配置为当基于确定活性、外部对象是活的对象时，将关于用户的认证信息与基于相位图像或图像数据提取的用户信息进行比较以认证外部对象，所述认证信息被存储在存储器中。
15.一种用于在电子装置中识别对象的方法，所述方法包括：
使用电子装置的包括多个光电二极管的图像传感器来获得外部对象的相位图像和图像数据；和
使用相位图像和图像数据来认证外部对象。
CN202180012818.3A 2020-02-07 2021-02-03 用于识别对象的电子装置和方法 Pending CN115087975A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200015176A KR20210101049A (ko) 2020-02-07 2020-02-07 전자 장치 및 객체 인식 방법
KR10-2020-0015176 2020-02-07
PCT/KR2021/001427 WO2021158017A1 (en) 2020-02-07 2021-02-03 Electronic device and method for recognizing object

Publications (1)

Publication Number Publication Date
CN115087975A true CN115087975A (zh) 2022-09-20

Family

ID=77178707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012818.3A Pending CN115087975A (zh) 2020-02-07 2021-02-03 用于识别对象的电子装置和方法

Country Status (5)

Country Link
US (1) US20210248218A1 (zh)
EP (1) EP4062305A4 (zh)
KR (1) KR20210101049A (zh)
CN (1) CN115087975A (zh)
WO (1) WO2021158017A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3088160B1 (fr) * 2018-11-06 2021-04-02 Teledyne E2V Semiconductors Sas Capteur d'image pour la reconnaissance optique de code(s)
CN114863510B (zh) * 2022-03-25 2023-08-01 荣耀终端有限公司 一种人脸识别方法和装置
CN117011963B (zh) * 2023-10-07 2023-12-08 四川金投科技股份有限公司 一种基于电子钥匙的智能锁及智能门控系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
US11301703B2 (en) * 2017-03-21 2022-04-12 Sri International Robust biometric access control based on dynamic structural changes in tissue
JP2018173731A (ja) 2017-03-31 2018-11-08 ミツミ電機株式会社 顔認証装置および顔認証方法
KR102466997B1 (ko) * 2018-01-22 2022-11-14 삼성전자주식회사 라이브니스 검사 방법 및 장치

Also Published As

Publication number Publication date
EP4062305A4 (en) 2023-03-15
US20210248218A1 (en) 2021-08-12
WO2021158017A1 (en) 2021-08-12
KR20210101049A (ko) 2021-08-18
EP4062305A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
US20210248218A1 (en) Electronic device and method for recognizing object
CN112543901A (zh) 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
US20210136187A1 (en) Electronic device comprising camera device and method
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US11048923B2 (en) Electronic device and gesture recognition method thereof
KR102552923B1 (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
US20210117708A1 (en) Method for obtaining face data and electronic device therefor
US20210368093A1 (en) Electronic device and method for processing image of same
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
US11206363B2 (en) Electronic device and method for correcting image in camera switching
US11368636B2 (en) Method for acquiring image corresponding to infrared rays by using camera module comprising lens capable of absorbing light in visible light band and electronic device implementing same
US20220359597A1 (en) Electronic device, and method for performing autofocus
US20210019869A1 (en) Method for synthesizing image on reflective object on basis of attribute of reflective object included in different image, and electronic device
US11893698B2 (en) Electronic device, AR device and method for controlling data transfer interval thereof
KR20190105729A (ko) 전자장치의 이미지 처리 장치 및 방법
US20240086512A1 (en) Electronic device including image sensor and dynamic vison sensor, and operation method thereof
CN111788568B (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备
US10805518B2 (en) Electronic device for obtaining security image using security processing module
CN111788568A (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination