CN113642373A - 获得参考图像的方法和执行光学对象识别的方法 - Google Patents

获得参考图像的方法和执行光学对象识别的方法 Download PDF

Info

Publication number
CN113642373A
CN113642373A CN202110393573.5A CN202110393573A CN113642373A CN 113642373 A CN113642373 A CN 113642373A CN 202110393573 A CN202110393573 A CN 202110393573A CN 113642373 A CN113642373 A CN 113642373A
Authority
CN
China
Prior art keywords
image
reference image
light sources
object recognition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110393573.5A
Other languages
English (en)
Inventor
宋纹圭
宋成旭
金泰义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113642373A publication Critical patent/CN113642373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1394—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using acquisition arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Input (AREA)

Abstract

提供了获得参考图像的方法和执行光学对象识别的方法。所述获得参考图像的方法包括：驱动多个光源中的光源的子集；使用对象识别传感器接收从第一目标对象反射的光；基于反射的光获得第一参考图像；基于反射的光获得与第一目标对象相关的第一目标图像；在驱动所述光源的子集时使用至少一个环境传感器获得至少一个第一环境信息，第一环境信息与周围环境相关；将第一参考图像和第一环境信息存储在一起；和基于第一目标图像和第一参考图像获得针对第一目标对象的第一有效图像。

Description

获得参考图像的方法和执行光学对象识别的方法
本申请要求于2020年4月27日在韩国知识产权局(KIPO)提交的第10-2020-0050646号韩国专利申请的优先权和权益，所述韩国专利申请的内容通过引用全部包含于此。
技术领域
各种示例实施例总体上涉及半导体集成电路、包括半导体集成电路的系统、存储计算机指令的非暂时性计算机可读介质、使用半导体集成电路获得用于光学对象识别的参考图像的方法和/或使用获得参考图像的方法执行光学对象识别的方法。
背景技术
生物特征信息由于其对每个人的不变性和唯一性而被广泛用于个人认证。一种类型的生物特征信息是指纹。指纹识别可被方便地执行，并且用作确定人的身份的优异方式。光学指纹识别基于由手指的纹脊和纹谷反射的光的差异来获得指纹图像。近来，除了光学指纹识别之外，用于基于由各种对象反射的光获得对象图像的光学对象识别已被研究。
发明内容
发明构思的至少一个示例实施例提供了一种能够支持高效光学对象识别的获得用于光学对象识别的参考图像的方法。
发明构思的至少一个示例实施例提供了一种使用获得参考图像的方法来执行光学对象识别的方法。
根据至少一个示例实施例，一种获得用于光学对象识别的参考图像的方法可包括：驱动包括在至少一个显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；使用对象识别传感器接收通过对象识别窗口从第一目标对象反射的光，所述光由所述光源的子集发射，第一目标对象是光学对象识别的目标；当所述光源的子集被驱动时，基于反射的光获得第一参考图像；当所述光源的子集被驱动时，基于反射的光获得与第一目标对象相关的第一目标图像；当所述光源的子集被驱动时，使用至少一个环境传感器获得至少一个第一环境信息，第一环境信息与周围环境相关；将第一参考图像和第一环境信息存储在一起；和基于第一目标图像和第一参考图像，获得用于与第一目标对象相关的光学对象识别的第一有效图像。
根据至少一个示例实施例，一种执行光学对象识别的方法可包括：驱动包括在显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；当所述光源的子集被驱动时，使用对象识别传感器获得多个参考图像，所述多个参考图像中的每个是不包括第一目标对象的图像；当所述光源的子集被驱动时，使用至少一个环境传感器获得与所述多个参考图像对应的多个环境信息；当所述光源的子集被驱动时，使用对象识别传感器获得包括第一目标对象的第一目标图像；当所述光源的子集被驱动时，使用环境传感器获得与第一目标图像对应的当前环境信息；基于当前环境信息和所述多个环境信息，在所述多个参考图像之中选择第一参考图像；和基于第一目标图像和第一参考图像，获得针对第一目标对象的第一有效图像。
根据至少一个示例实施例，一种获得用于光学对象识别的参考图像的方法可包括：驱动包括在显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；使用对象识别传感器接收通过对象识别窗口反射的光，所述光由所述光源的子集发射；当所述光源的子集被驱动时，基于反射的光顺序地获得多个图像；获得所述多个图像中的至少一个作为第一参考图像，第一参考图像是不包括第一目标对象的图像，获得所述多个图像中的至少一个作为第一参考图像的步骤包括：当所述光源的子集被驱动时，基于反射光获得与第一目标对象相关的第一目标图像，通过对所述多个图像执行空间信号处理来获得多个第一值，通过对所述多个图像执行频率信号处理来获得多个第二值，和基于对应的第一值、对应的第二值、空间域阈值和频域阈值，在所述多个图像之中选择至少一个图像作为第一参考图像；当所述光源的子集被驱动时，使用至少一个环境传感器获得至少一个第一环境信息，第一环境信息与其中所述光源的子集被驱动的周围环境相关；将第一参考图像和针对第一参考图像的第一环境信息存储在一起；和基于第一目标图像和第一参考图像获得用于与第一目标对象相关的光学对象识别的第一有效图像。
在根据一些示例实施例的获得用于光学对象识别的参考图像的方法和执行光学对象识别的方法中，可有效地获得用于执行光学对象识别的无目标对象图像或没有目标对象的图像(例如，参考图像)。另外，无目标对象图像和包括目标对象的图像可在同一环境下被获得，或者可从在同一环境下顺序获得的多个图像被选择，使得无目标对象图像与包括目标对象的目标图像之间的噪声、干扰等的特性彼此相等或匹配。因此，鲁棒的对象图像恢复可被执行，或者与目标对象相关的纯信息可基于无目标对象图像而被鲁棒地恢复，并且有效的光学对象识别可被支持。
附图说明
从下面的结合附图的详细描述，将更清楚地理解说明性的、非限制性的示例实施例。
图1是示出根据一些示例实施例的获得用于光学对象识别的参考图像的方法的流程图。
图2是根据一些示例实施例的电子装置的平面视图。
图3是根据至少一个示例实施例的沿图2的线A-A'截取的电子装置的示例的剖视图。
图4是示出根据至少一个示例实施例的图2的电子装置的示例的框图。
图5A、图5B、图5C和图5D是用于描述根据一些示例实施例的获得用于光学对象识别的参考图像的方法的示图。
图6和图7是示出根据至少一个示例实施例的获得图1的参考图像的方法的示例的流程图。
图8A、图8B、图8C、图8D、图8E、图8F和图8G是用于描述根据至少一个示例实施例的检查图7中的显示面板或电子装置是否已经具有未使用状态的操作的示图。
图9是示出根据至少一个示例实施例的获得图1的参考图像的方法的另一示例的流程图。
图10是示出根据至少一个示例实施例的检查第一参考图像是否是图9中的污染图像的示例的流程图。
图11A、图11B、图11C、图11D和图12是用于描述根据至少一个示例实施例的检查第一参考图像是否是图10的污染图像的操作的示图。
图13是示出根据至少一个示例实施例的检查第一参考图像是否是图9中的污染图像的另一示例的流程图。
图14是用于描述根据至少一个示例实施例的检查第一参考图像是否是图13的污染图像的操作的示图。
图15是示出根据一些示例实施例的获得用于光学对象识别的参考图像的方法的流程图。
图16是示出根据一些示例实施例的执行光学对象识别的方法的流程图。
图17是示出根据至少一个示例实施例的选择图16中的第一参考图像的示例的流程图。
图18是示出根据至少一个示例实施例的获得图16中的第一有效图像的示例的流程图。
图19A和图19B是用于描述根据一些示例实施例的执行光学对象识别的方法的示图。
图20是示出根据一些示例实施例的电子装置的框图。
具体实施方式
将参照示出实施例的附图更全面地描述各种示例实施例。然而，发明构思的示例实施例可以以许多不同的形式实现，并且不应被解释为限于在此阐述的示例实施例。贯穿本申请，相同的参考标号表示相同的元件。
图1是示出根据一些示例实施例的获得用于光学对象识别的参考图像的方法的流程图。
参照图1，根据一些示例实施例的获得用于光学对象识别的参考图像的方法由电子装置执行，该电子装置包括显示面板、对象识别传感器和/或至少一个环境传感器，但不限于此，并且可包括更多或更少数量的构成组件。显示面板包括多个光源(例如，像素等)，对象识别传感器使用从多个光源提供(和/或从多个光源发射等)的光来执行光学对象识别，至少一个环境传感器获得与周围环境相关的环境信息。将参照图2至图4描述电子装置的详细配置。
在根据一些示例实施例的获得用于光学对象识别的参考图像的方法中，驱动包括在显示面板中的多个光源之中的一些光源(例如，第一组光源，光源的子集等)(操作S100)。一些光源设置为(和/或布置为)对应于对象识别窗口，该对象识别窗口是显示面板的局部区域(例如，子集、子区域等)。根据至少一个示例实施例，一些光源中的全部可将光发射为具有相同的灰度值，或者一些光源可发射具有不同灰度值和/或不同颜色值等的光。
当驱动一些光源时，基于由对象识别传感器通过对象识别窗口接收的反射的光(例如，从第一对象反射的光)，获得或拍摄与第一对象(例如，手指等)相关的用于光学对象识别的第一参考图像(操作S200)。在图1的示例中，仅一个图像可被获得或获取作为参考图像，然而，示例实施例不限于此。另外，例如，一些光源中的全部可基本上同时或并发地被打开，但是示例实施例不限于此。从一些光源生成的光可被发射到对象识别窗口，并且可被位于和/或放置在对象识别窗口上的任何对象(或任意对象)反射，反射的光可被提供给对象识别传感器，因此对象识别传感器可基于反射的光获得与对象识别窗口和/或任何对象对应的图像。
在一些示例实施例中，第一参考图像可以是不包括第一对象的图像。通常，包括显示面板和触摸传感器面板的面板具有包括多层的布线和电极等的图案的复杂的内部结构。当对象被放置在对象识别窗口上同时对象识别窗口中的光源照亮时，通过对象识别窗口接收的反射光可包括放置在对象识别窗口上的对象的信息(例如，图像等)和面板的内部结构的信息(例如，图像等)，诸如，对象的底视图和/或面板的内部结构等。因此，为了仅获得放置在对象识别窗口上的对象(例如，目标对象)的信息，作为干扰分量的关于面板的内部结构的信息首先应被获得，补偿因子随后应被应用于获得的目标对象的后续图像信号(例如，第二参考图像等)，补偿因子从获得的目标对象的图像信号去除干扰分量等，但是示例实施例不限于此。因此，第一参考图像可表示干扰分量，并且可被称为校准图像或校准数据等。
在一些示例实施例中，放置在对象识别窗口上的第一对象可以是包括用户的指纹的用户的手指。在该示例中，对象识别窗口和对象识别传感器可分别是指纹识别窗口和指纹识别传感器。然而，示例实施例不限于此，并且第一对象可以是包括用于用户认证和安全的生物特征信息(诸如，人和/或用户的脸部和/或虹膜等)的对象，或者可以是包括将被识别的不与人的生物特征信息对应的对象的各种对象(诸如，唯一可识别的对象等)之一。
当驱动一些光源时，使用至少一个环境传感器获得至少一个第一环境信息(操作S300)。第一环境信息与在其中一些光源被驱动的周围环境相关。第一环境信息可表示关于在获得第一参考图像的时间点的周围环境的环境信息。
在一些示例实施例中，第一环境信息可包括温度信息、湿度信息、压力信息、运动信息、时间信息、空间信息、照度信息、加速度信息、振动信息、外力信息和/或冲击信息等中的至少一个或其任何组合。然而，示例实施例不限于此，并且第一环境信息还可包括其它各种环境信息和/或显示设置信息中的至少一个。
将第一参考图像和针对第一参考图像的第一环境信息存储在一起(操作S400)。因此，如将参照图16所述，当获得有效图像时，可基于或考虑第一环境信息来选择第一参考图像。
在根据一些示例实施例的获得用于光学对象识别的参考图像的方法中，用于执行光学对象识别的无对象图像(object-free image)或没有对象的图像(例如，第一参考图像、校准图像等)可被有效地获得，该光学对象识别通过从包括对象的图像(例如，第二参考图像等)减去无对象图像(例如，第一参考图像、校准图像等)来仅获得与对象相关的纯信息。另外，无对象图像和包括对象的图像可在同一环境(例如，同一物理位置和/或相同的物理/环境条件(例如，照明条件等)等)下获得，使得无对象图像与包括对象的图像之间的噪声、干扰等的特性彼此相等或匹配。如上所述，通过在获得无对象图像的同时获得并存储环境信息，鲁棒的对象图像恢复可被执行，或者与对象相关的纯信息可基于无对象图像被鲁棒地恢复，并且高效的光学对象识别可被支持。
尽管图1示出例如操作S200在操作S300之前被执行，但是示例实施例不限于此，并且操作S200和操作S300可基本上同时被执行，或者操作S300可在操作S200之前被执行。
图2是根据一些示例实施例的电子装置的平面视图。
参照图2，电子装置100包括与用户接口连接的至少一个面板110。电子装置100的用户可通过面板110查看从电子装置100输出的信息、图形等。电子装置100的用户还可通过面板110将至少一个信号输入到电子装置100。例如，面板110可包括用于将视觉信息输出到用户的显示面板和/或用于感测用户的触摸输入的触摸传感器面板等或其任何组合。虽然仅单个面板110在图2中被示出，但是示例实施例不限于此，并且可存在包括在电子装置100等中的两个或更多个显示面板。
对象识别窗口ORW可设置(例如，布置、位于、包括等)在面板110上。如将参照图3所述，用于对象检测的对象识别传感器可设置(例如，布置、位于、包括等)为在空间上对应于对象识别窗口ORW的位置。尽管对象识别窗口ORW在图2和后续附图中被示出为矩形，但是一个或多个对象识别窗口ORW的形状、位置和/或数量可在其它示例实施例中被改变。
在一些示例实施例中，电子装置100可以是或包括任何移动系统，诸如，移动电话、智能电话、平板计算机、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、摄像机、视频播放器、导航装置、可穿戴装置、物联网(IoT)装置、万物互联(IoE)装置、电子书阅读器、虚拟现实(VR)装置、增强现实(AR)装置、机器人装置或无人机等。
一个或多个示例实施例可提供用于检测对象的至少一个接口。例如，在指纹检测的情况下，当用户接触和/或接近面板110时，指纹检测的功能可被执行。根据一些示例实施例，用于对象检测的接口和对象识别传感器可与面板110共享电子装置100上的区域，因此接口和对象识别传感器可不需要电子装置100上的附加区域，但是示例实施例不限于此。因此，可减小电子装置100的大小，或者备用区域可被用于一个或多个其它目的。
图3是根据至少一个示例实施例的沿图2的线A-A'截取的电子装置的示例的剖视图。
参照图3，对象识别窗口ORW可在对象识别模式下显示在面板110的局部区域(或部分、子区域等)上。面板110可包括至少一个显示面板111和至少一个触摸传感器面板115等，但不限于此。
显示面板111可包括多个光源112。例如，如将参照图4所述，多个光源112可被包括在显示面板111中包括的多个像素中。在多个光源112之中，可在对象识别模式下基本上同时驱动仅设置(和/或位于、包括、布置等)为对应于对象识别窗口ORW的一些光源113(例如，光源的子集、第一子集等)。在图3中，被驱动并发射光的一些光源113用阴影线表示。
对象识别传感器130可设置在面板110下方，使得对象识别传感器130可在垂直方向上与对象识别窗口ORW重叠。换句话说，面板110可包括在其上显示图像的第一表面和与第一表面相背对的第二表面，并且对象识别传感器130可设置在面板110的第二表面下方，但是示例实施例不限于此，并且对象识别传感器130和/或ORW可以以替换的方向和/或方位等被布置。
对象识别传感器130可包括至少一个透镜132和/或至少一个图像传感器134等。透镜132可设置(和/或位于、包括、布置等)在面板110下方(例如，设置在面板110与图像传感器134之间)，并且可将通过对象识别窗口ORW接收的反射光会聚和/或聚焦到图像传感器134上。图像传感器134可设置(和/或位于、包括、布置等)在透镜132下方，并且可基于由透镜132会聚的反射光生成针对局部区域上的对象的图像信号。在一些示例实施例中，可在对象识别传感器130中省略透镜132。
例如，在用户将手指10放在如图3中所示的对象识别窗口ORW上的指纹检测的情况下，从对象识别窗口ORW内的一些光源113生成的光可从手指10和/或手指10的指纹被反射，并且指纹(例如，与指纹相关和/或对应)的反射的光可被提供给对象识别传感器130。对象识别传感器130可基于通过对象识别窗口ORW接收的指纹的反射的光等来拍摄针对指纹的图像信号或与指纹的形状相关的信息(例如，指纹图像)。
再例如，在获得用于对象识别的参考图像(例如，第一参考图像、校准图像等)的情况下，对象可能没有被放置在对象识别窗口ORW上，或者平坦而不弯曲的任何白色或黑色对象可设置(和/或位于、包括、布置等)在对象识别窗口ORW上以便于获得参考图像，并且基于从对象识别窗口ORW内的一些光源113生成的光的反射光可被提供给对象识别传感器130等。对象识别传感器130可基于通过对象识别窗口ORW接收的反射光来拍摄针对参考图像(例如，表示面板110的内部结构的图像)的图像信号，但不限于此。
尽管未在图3中示出，但是对象识别传感器130还可包括至少一个滤波器，该滤波器用于例如调整将被提供给图像传感器134的反射光的频率特性和/或偏振特性等，但是示例实施例不限于此。
图4是示出根据至少一个示例实施例的图2的电子装置的示例的框图。
参照图4，电子装置100包括至少一个面板110和/或至少一个对象识别传感器130等，但是示例实施例不限于此。面板110可包括显示面板111和/或触摸传感器面板115等，但不限于此。电子装置100还可包括处理电路系统，该处理电路系统包括显示驱动器120、触摸控制器125、至少一个处理器140、存储器150和/或至少一个环境传感器160中的一个或多个，但是示例实施例不限于此。根据一些示例实施例，处理电路系统能够执行显示驱动器120、触摸控制器125、至少一个处理器140、存储器150和/或至少一个环境传感器160等中的一个或多个的功能。处理电路系统可包括硬件(诸如，处理器、处理器核、逻辑电路、存储装置等)、硬件/软件组合(诸如，执行软件和/或执行任何指令集等的至少一个处理器核)或其组合。例如，处理电路系统更具体地可包括但不限于现场可编程门阵列(FPGA)、可编程逻辑单元、专用集成电路(ASIC)、片上系统(SoC)等。在其它示例实施例中，显示驱动器120、触摸控制器125、至少一个处理器140、存储器150和/或至少一个环境传感器160可被组合成单个电路，或者一个或多个单独的电路/组件/元件等。
触摸传感器面板115可感测对象(例如，用户的手指等)的接触和/或感测对象(例如，用户的手指等)的接近。触摸传感器面板115可响应于对象的接触或接近而生成感测信号。触摸传感器面板115可包括沿行和列形成的多个感测电容器，但不限于此。图4示出一个示例感测电容器CS。感测电容器的电容值可响应于对象的接触或接近而变化，因此触摸传感器面板115可基于感测电容器的电容值来感测接触和/或接近，但是示例实施例不限于此，并且触摸传感器面板115可使用其它技术来感测对象的接触和/或接近(诸如，感测在触摸传感器面板115上施加的压力的量、感测触摸传感器面板115附近的光水平等。
触摸控制器125可控制触摸传感器面板115的操作。触摸控制器125可基于从触摸传感器面板115输出的感测信号来处理与对象的接触和/或接近相关的至少一个操作等。例如，触摸控制器125可基于感测电容器的电容值的变化来识别对象的接触和/或接近，但是示例实施例不限于此。例如，当感测信号与特定应用的执行或操作相关时，触摸控制器125可将至少一个命令输出到至少一个处理器140等，使得特定应用将被执行或操作。
显示面板111将视觉信息(例如，文本、图形、图像、视频等)输出给用户。显示面板111可包括沿行和列布置以显示视觉信息(例如，图像、视频、文本等)的多个像素。图4示出一个示例像素PX，但是示例实施例不限于此。每个像素可被配置为发射形成图像的特定颜色的光(例如，期望颜色值的光和/或不发射光等)。当多个像素一起发射光时，显示面板111可显示期望的和/或预期的视觉信息(例如，图像、视频、文本等)。
在一些示例实施例中，显示面板111可以是电致发光显示面板，但不限于此。可使用通过电子和空穴的重组而生成光的至少一个发光二极管(LED)或至少一个有机发光二极管(OLED)以快的响应速度和低功耗驱动电致发光显示面板。与使用背光单元的液晶显示面板相比，电致发光显示面板的像素可通过它们自己发射光，并且通过对象识别窗口ORW(或对象识别窗口ORW')接收的反射光可通过像素之间的空间(或间隙)被提供给显示面板111下方的对象识别传感器130。因此，根据至少一个示例实施例，包括在像素中的发光二极管或有机发光二极管可对应于包括在显示面板中的光源。然而，示例实施例不限于此，并且显示面板111可以是具有其中通过对象识别窗口ORW或ORW'接收的反射光可被提供给对象识别传感器130的结构等的任何显示面板。
显示驱动器120可控制显示面板111的操作，并且可驱动显示面板111。例如，显示驱动器120可响应于例如处理器140的至少一个命令适当地驱动(例如，供应驱动电压等)显示面板111的每个像素，使得期望的或预期的图像在显示面板111上被显示，但不限于此。例如，显示驱动器120可部分地驱动显示面板111，使得与对象识别窗口ORW'对应的像素发射光，但不限于此。尽管未在图4中示出，但是显示驱动器120可包括数据驱动器、扫描驱动器、时序控制器、伽马电路等。
触摸传感器面板115上的每个坐标可与显示面板111上的对应坐标匹配。例如，显示面板111可在特定区域P上显示接口信息。用户可接触或接近触摸传感器面板115上的特定区域Q以通过显示的接口信息输入命令。在此，特定区域Q的坐标可与特定区域P的坐标匹配和/或对应。因此，可与在特定区域P上显示的接口信息相关地处理特定区域Q上的或与特定区域Q的接触或接近等。
在一些示例实施例中，触摸传感器面板115可与显示面板111分开实现。例如，如图4中所示，触摸传感器面板115可放置在显示面板111上或上方。然而，示例实施例不限于此。再例如，与图4中所示不同，显示面板111可放置在触摸传感器面板115上或上方。可选地，触摸传感器面板115和显示面板111可实现在一个单个面板等中。
对象识别传感器130可用于检测对象。对象识别传感器130可生成/输出与对象识别窗口ORW上和/或附近的对象相关的图像信号。例如，在指纹检测的情况下，对象识别传感器130可进行操作以获得与接触或接近对象识别窗口ORW的手指的指纹相关的图像信号，但是示例实施例不限于此。如参照图3所述，对象识别传感器130可包括透镜132和图像传感器134，但是示例实施例不限于此，例如，透镜132可被省略，可存在多于一个的透镜132和/或多于一个的图像传感器134等。
对象识别传感器130可提供光学对象识别和/或基于光学的对象检测的功能。例如，包括在对象识别传感器130中的图像传感器134可包括能够响应于光而生成电流的一个或多个光电二极管，但是示例实施例不限于此。
如参照图2所述，对象识别窗口ORW可设置在面板110上(例如，在触摸传感器面板115上)。另外，对象识别窗口ORW'可设置在显示面板111上以对应于对象识别窗口ORW。对象识别传感器130可在显示面板111下方(例如，设置在显示面板111下方、包括在显示面板111下方、位于显示面板111下方等)，以在空间上对应于对象识别窗口ORW的位置和对象识别窗口ORW'的位置，但是示例实施例不限于此。
在一些示例实施例中，对象识别窗口ORW的位置可与触摸传感器面板115上的坐标相关，并且对象识别窗口ORW'的位置可与显示面板111上的坐标相关等。另外，对象识别窗口ORW和ORW'中的每个的位置和大小可根据对象识别传感器130的布置而被修改或改变。
至少一个处理器140可控制电子装置100的整体操作。处理器140可处理/执行各种算术/逻辑运算以提供电子装置100的功能等。
处理器140可与显示驱动器120、触摸控制器125、对象识别传感器130、存储器150和/或环境传感器160等通信。处理器140可控制显示驱动器120、触摸控制器125、对象识别传感器130、存储器150和/或环境传感器160等的操作，但不限于此。处理器140可处理与显示驱动器120、触摸控制器125、对象识别传感器130、存储器150和/或环境传感器160等的操作相关的命令、请求和/或响应等。
例如，处理器140可处理从触摸控制器125接收的命令，以理解(例如，实现、实施、执行等)通过触摸传感器面板115输入的用户命令。例如，处理器140可将各种信息提供给显示驱动器120，以在显示面板111上显示期望的或预期的图像。例如，处理器140可控制显示面板111和/或对象识别传感器130的操作时序/顺序，使得对象识别传感器130生成与对象图像和/或参考图像等相关的信号。例如，处理器140可基于从对象识别传感器130输出的信号生成和/或分析与对象图像和/或参考图像相关的信息等。例如，处理器140可从环境传感器160等接收和/或分析关于周围环境的信息。例如，处理器140可将相关的数据存储在存储器150中和/或可从存储器150加载相关的数据等。
在一些示例实施例中，处理器140可包括一个或多个专用电路(例如，现场可编程门阵列(FPGA)和/或专用集成芯片(ASIC)等)以执行各种操作。例如，处理器140可包括能够执行各种操作的一个或多个处理器核。例如，处理器140可用专用(例如，定制设计的)处理器、加载有用于实施示例实施例的一种或多种方法的专用计算机可读指令从而将通用处理器变成专用处理器的通用处理器、和/或应用处理器等来实现。
至少一个环境传感器160可收集、感测和/或确定等关于在其中电子装置100被驱动的周围环境的环境信息。例如，环境传感器160可在参考图像(例如，校准图像)和/或目标对象图像的图像被获得时(例如，在参考图像、校准图像和/或目标对象图像被拍摄时的同一时间，和/或在参考图像被拍摄之前或之后等)收集环境信息，可收集环境信息以检查未使用(或非使用)状态，或者可周期性地或间歇性地收集环境信息。
在一些示例实施例中，环境传感器160可包括温度传感器、湿度传感器、压力传感器、运动传感器、时间传感器、空间传感器、照度传感器、加速度传感器、振动传感器、外力传感器、冲击传感器等中的至少一个或其任何组合。然而，示例实施例不限于此，并且环境传感器160还可包括收集环境信息的至少一个传感器(诸如，辐射传感器、灰尘传感器或电应力传感器等)。
尽管未在图4中示出，但是用于控制环境传感器160的传感器控制电路可被包括在处理电路系统(例如，处理器140等)中，或者可与处理电路系统和/或处理器140分开实现。例如，传感器控制电路可包括确定传感器的类型和设置的参数调整单元(例如，参数调整电路系统、参数调整功能、参数调整模块等)、控制传感器的操作的控制单元(例如，控制电路系统、控制模块、控制功能等)、以及基于从参数调整单元和/或控制单元等接收的值来打开/关闭(例如，触发、引发等)传感器的触发单元(例如，触发电路系统、触发模块、触发功能等)，但不限于此。
存储器150可存储与电子装置100的操作相关或有关的数据。例如，存储器150可存储参考图像和环境信息等，以用于执行根据至少一个示例实施例的获得参考图像的方法。
在一些示例实施例中，存储器150可包括各种易失性存储器(诸如，动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)等)中的至少一个和/或各种非易失性存储器(诸如，闪存、相变随机存取存储器(PRAM)、电阻式随机存取存储器(RRAM)、磁随机存取存储器(MRAM)、铁电随机存取存储器(FRAM)、纳米浮栅存储器(NFGM)或聚合物随机存取存储器(PoRAM)等)中的至少一个。
在一些示例实施例中，显示驱动器120、触摸控制器125、对象识别传感器130、处理器140、存储器150和环境传感器160可分别用单独的电路/模块/芯片实现。在其它示例实施例中，基于功能，显示驱动器120、触摸控制器125、对象识别传感器130、处理器140、存储器150和环境传感器160中的一些可被组合成一个电路/模块/芯片，或者可进一步被分成多个电路/模块/芯片。
电子装置100可执行根据参照图1描述的示例实施例的获得参考图像的方法。例如，显示面板111和显示驱动器120可执行图1中的操作S100，对象识别传感器130可执行图1中的操作S200，环境传感器160可执行图1中的操作S300，存储器150可执行图1中的操作S400。另外，电子装置100可执行将参照图15描述的获得参考图像的方法和/或将参照图16描述的执行光学对象识别的方法，但不限于此。
在一些示例实施例中，包括在电子装置100中的组件中的至少一些可被省略。例如，当触摸检测不需要时，触摸传感器面板115和触摸控制器125等可被省略。
图5A、图5B、图5C和图5D是用于描述根据一些示例实施例的获得用于光学对象识别的参考图像的方法的示图。
在下文中，一些示例实施例将基于指纹识别详细描述。然而，示例实施例不限于此，并且示例实施例可被使用或采用以识别包括非生物特征有关的对象(诸如，唯一可识别的无生命对象等)的各种对象之一。
图5A示出基于不具有指纹(例如，不具有用户的手指)的反射光或由用于获得参考图像的对象反射的光而获得的图像。图5A的图像可对应于图1中的由对象识别传感器获得的参考图像(例如，第一参考图像、校准图像等)，并且可仅包括显示面板的内部结构的信息，但不限于此。
图5B示出基于由对象(例如，用户的手指、指纹等)反射的光而获得的图像。图5B的图像也可由对象识别传感器获得，并且可包括指纹的信息和显示面板的内部结构的信息两者，但不限于此。
图5C和图5D示出基于图5A和图5B的图像获得的纯对象图像(例如，纯指纹图像、纯目标图像等)的示例。例如，仅包括纯干扰分量而没有指纹的图5A的图像可首先被获得，包括指纹和干扰分量(例如，非期望的图像分量、传感器的图像等)两者的图5B的图像可接下来被获得，纯指纹图像(例如，纯对象图像和/或纯目标图像等)随后可通过应用和/或执行补偿以去除干扰分量而被获得。例如，纯指纹图像可通过执行简单表面(或面)减法以获得图5B的图像与图5A的图像之间的差而被获得，但是示例实施例不限于此。
如图5C中所示，其中干扰分量被完全去除的纯指纹图像可被获得。然而，如图5D中所示，在干扰分量未被完全去除的情况下，至少一个残留分量RES可保留或可被留下。例如，当用户的手指放置在对象识别窗口等上时，干扰分量可根据温度和/或压力而变化。具体地，变形(例如，旋转、缩放、平移等)可出现在图5B的图像中的干扰分量上，因此因为在图5A的图像中的干扰分量与图5B的图像中的干扰分量之间存在空间失配等，所以残留分量RES可出现，但不限于此。
为了减小和/或最小化这样的残留分量RES，如参照图1所述，参考图像可与包括指纹的图像在同一环境下被获得，和/或如将参照图15所述，顺序或连续获得的多个图像中的至少一个可被获得为参考图像。
图6和图7是示出根据一些示例实施例的获得图1的参考图像的方法的示例的流程图。将省略与图1重复的元素的描述。
参照图6，在根据至少一个示例实施例的获得用于光学对象识别的参考图像的方法中，可通过触摸传感器面板感测用户的触摸输入(操作S500)。例如，图6中的操作S500可通过图4中的触摸传感器面板115和触摸控制器125执行，但是示例实施例不限于此。
当感测到触摸输入时(操作S500：是)，可执行操作S100、S200、S300和/或S400，以驱动一些光源并获得和存储第一参考图像和第一环境信息等，但是示例实施例不限于此。图6中的操作S100、S200、S300和/或S400可与参照图1所述的操作S100、S200、S300和/或S400基本相同，但不限于此，例如，一个或多个操作可同时被执行，可以以与所示不同的次序被执行，可被省略，附加操作可被执行等。
当未感测到触摸输入时(操作S500：否)，该处理可在不获得第一参考图像的情况下被终止，但是操作不限于此，例如，该处理可被重复等。
参照图7，在根据至少一个示例实施例的获得用于光学对象识别的参考图像的方法中，可检查显示面板或电子装置是否处于和/或具有未使用状态(例如，关闭状态、非活动状态、去激活状态等)(操作S600)。未使用状态可表示显示面板非活动、禁用和/或去激活(例如，未接通)的状态，并且可被称为空闲状态或断电状态等。
在一些示例实施例中，显示面板可通过电子装置被检查，以例如基于包括在显示面板中的多个光源是否被驱动来确定显示面板或电子装置是否处于和/或已经处于未使用状态，但是示例实施例不限于此。例如，当多个光源之中的大于期望参考数量(例如，期望阈值数量等)的数量的光源不发射光、不从显示驱动器接收电压和/或被关闭时(例如，当多个光源中的除了被设置为对应于对象识别窗口的一些光源之外的大部分不发射光并且被关闭等时)，可确定显示面板或电子装置处于未使用状态。然而，示例实施例不限于此，例如，在期望的时间段内发射光和/或被驱动等的光源的数量的平均值可被计算，并且平均数量可与期望的参考数量进行比较以确定显示面板和/或电子装置是否处于未使用状态等。在该示例中，操作S600可由图4中的显示面板111和处理器140执行，但是示例实施例不限于此。
在其它示例实施例中，可使用至少一个环境传感器来检查显示面板和/或电子装置是否具有未使用状态。例如，环境传感器可包括加速度传感器，并且显示面板和/或电子装置的状态(例如，显示面板或电子装置是否已经处于未使用状态)可基于由加速度传感器获得的加速度信息而被检查。在该示例中，操作S600可由图4中的环境传感器160和处理器140执行。作为另一示例，环境传感器可包括检测由用户施加到显示面板和/或电子装置的压力的量的压力传感器，和/或环境传感器可包括检测用户的脸部和/或眼睛是否面对显示面板的相机，以确定电子装置和/或显示面板是否处于未使用状态等。
当显示面板和/或电子装置处于和/或已经处于未使用状态时(操作S1600：是)，操作S100、S200、S300和/或S400可被执行，以驱动一些光源并获得和存储第一参考图像和第一环境信息，但是示例实施例不限于此，例如，操作中的一个或多个操作可被同时执行，可以以与所示不同的次序被执行，可被省略，附加操作可被执行等。通常，未使用状态可以是或对应于具有少量外部光的低照度环境(诸如，当电子装置在口袋、包中或在夜晚时)，在低照度环境下获得的参考图像可最好地表示关于作为干扰分量的面板的内部结构等的信息。图7中的操作S100、S200、S300和S400可与参照图1所述的操作S100、S200、S300和S400基本相同，但不限于此。
当显示面板或电子装置不具有未使用状态时(例如，不处于未使用状态和/或当前正在被使用等)(操作S600：否)，该处理可在不获得第一参考图像的情况下被终止，但是示例实施例不限于此。
图8A、图8B、图8C、图8D、图8E、图8F和图8G是用于描述根据一些示例实施例的检查显示面板和/或电子装置是否具有图7中的未使用状态的操作的示图。在图8A、图8B、图8C、图8D、图8E、图8F和图8G中，水平轴表示时间，垂直轴表示加速度传感器的输出值。
图8A示出从三轴加速度传感器获得的连续和/或接连的数据。例如，图8A中的线v1、线v2和线v3分别表示从三轴加速度传感器的三个轴获得的连续和/或接连的数据。图8B、图8C、图8D、图8E、图8F和图8G示出根据一些示例实施例的基于图8A中的数据确定电子装置的当前状态的结果。图8B示出电子装置处于静态(例如，电子装置固定和/或不移动等)。图8C示出电子装置的用户坐着的状态。图8D示出用户将电子装置握在他或她的手中的状态。图8E示出电子装置的用户正在行走的状态。图8F示出电子装置的用户上和/或下一段楼梯的状态。图8G示出电子装置的用户正在跑的状态。
如图8A、图8B、图8C、图8D、图8E、图8F和图8G中所示，用户未使用电子装置的状态可通过综合地和/或系统地分析根据电子装置的移动获得的来自加速度传感器的数据而被确定为未使用状态，因此参考图像的间歇性拍摄和/或周期性拍摄可被执行，而不会给未使用状态下的用户带来不便。换句话说，当电子装置不被用户使用时，参考图像可由电子装置获得等。在一些示例实施例中，如果需要，附加传感器(诸如，光学装置)可被使用以提高确定的准确度。
图9是示出根据至少一个示例实施例的获得图1的参考图像的方法的另一示例的流程图。将省略与图1重复的元素的描述。
参照图9，在根据至少一个示例实施例的获得用于光学对象识别的参考图像的方法中，图9中的操作S100、S200、S300和S400可与参照图1所述的操作S100、S200、S300和S400基本相同，但是示例实施例不限于此。
根据至少一个示例实施例，电子装置可检查在操作S300中获得的第一参考图像是否是污染图像(contaminated image)(操作S700)。例如，污染图像可以是包括除作为光学对象识别的目标对象的第一对象之外的对象(例如，当电子装置在包中时的包的唯一图案等)的图像，或者可以是包括除显示装置的光源之外的外部光源的信息的图像等。
当第一参考图像不是污染图像时(操作S700：否)，可执行操作S400以存储第一参考图像和第一环境信息。当第一参考图像是污染图像时(操作S700：是)，第一参考图像可在不将第一参考图像存储在存储器中的情况下被丢弃、删除或废弃(操作S750)，并且第一环境信息也可被丢弃。例如，如之后将描述的，包括除第一对象之外的对象的图像可通过分析频率分量而被去除，并且包括外部光源的信息的图像可通过分析直方图等而被去除，但是示例实施例不限于此。
在一些示例实施例中，获得用于光学对象识别的参考图像的方法可通过组合图6、图7和图9的示例中的至少两个来实现，但是示例实施例不限于此。
图10是示出根据至少一个示例实施例的检查第一参考图像是否是图9中的污染图像的示例的流程图。
参照图9和图10，当电子装置检查第一参考图像是否是污染图像时(操作S700)，可通过对第一参考图像执行空间信号处理(或空间域中的对象检测处理)来获得第一值(操作S710)，但是示例实施例不限于此。例如，空间信号处理可表示直接使用像素值(例如，像素颜色值)或灰度值等的方案或方法。例如，第一值可以是基于照度的统计值(例如，方差)。然而，示例实施例不限于此，并且各种技术中的至少一种可被使用。
电子装置可基于第一值以及期望的和/或预定的第一阈值(例如，空间域阈值、第一空间域阈值等)来确定第一参考图像是否是污染图像。例如，当第一值小于或等于第一阈值时(操作S720：否)，电子装置可确定第一参考图像是正常参考图像(操作S730)，然而，示例实施例不限于此。当第一值大于第一阈值时(操作S720：是)，电子装置可确定第一参考图像是污染图像(操作S740)等。例如，污染图像可以是包括外部光源的信息的图像，并且包括外部光源的信息的图像可通过分析直方图等而被去除。通常，与从显示装置的光源发射的光被目标对象反射之后通过对象识别窗口接收的图像中的像素值相比，被外部光源污染的图像可具有相对高的像素值，并且在获得的图像的直方图中可存在具有大于或等于期望的和/或预定的阈值的像素值的相对大量的像素，因此，当具有大于或等于阈值的像素值的多个像素被检测到时，电子装置可确定获得的图像被外部光源污染，但是示例实施例不限于此。
图11A、图11B、图11C、图11D和图12是用于描述根据至少一个示例实施例的检查第一参考图像是否是图10的污染图像的操作的示图。
参照图11A和图11B，图11A示出包括噪声和干扰两者的参考图像，图11B示出表示对图11A的图像应用差分滤波器和信号处理滤波器的结果的图像。可看出，因为外部光源在图像中被清楚地拍摄和观察到，所以图11A的图像和图11B的图像两者都是被外部光源污染的图像。
参照图11C和图11D，图11C示出包括噪声和干扰两者的参考图像，图11D示出表示对图11C的图像应用差分滤波器和信号处理滤波器的结果的图像。与图11A和图11B的图像不同，外部光源可被阻挡并且在图11C和图11D的图像中可不被观察到，因此可看出，仅噪声和干扰被很好地表示在图11C的参考图像中。
参照图12，图12示出根据一些示例实施例的对图11A和图11C的图像执行图10中的操作S710的结果。在图12中示出的曲线图中，水平轴FRAME表示图像的帧数，垂直轴SV表示第一值(例如，基于照度的方差)。图12中的第一帧图像F1和第二帧图像F2分别表示图11A的图像和图11C的图像。
如图12中所示，通过对第一帧图像F1执行空间信号处理获得的值SV11可大于第一阈值TH1，因此图11A的图像可被确定为污染图像。通过对第二帧图像F2执行空间信号处理获得的值SV12可小于第一阈值TH1，因此图11C的图像可被确定为正常参考图像。
图13是示出根据至少一个示例实施例的检查第一参考图像是否是图9中的污染图像的另一示例的流程图。
参照图9和图13，当检查第一参考图像是否是污染图像(操作S700)时，可由电子装置通过对第一参考图像执行频率信号处理(或频域中的对象检测处理)来获得第二值(操作S715)。例如，频率信号处理可表示将像素值(例如，像素颜色值)和/或灰度值变换为频率值(或频带)并使用变换后的频率值的方案或方法(诸如，小波变换或傅里叶变换等)。例如，第二值可以是傅里叶变换等的结果。然而，示例实施例不限于此，并且可使用各种技术中的至少一种。
电子装置可基于第二值以及期望的和/或预定的第二阈值(例如，频域阈值、第二频域阈值等)确定第一参考图像是否是污染图像。例如，当第二值小于或等于第二阈值时(操作S725：否)，可确定第一参考图像是正常参考图像(操作S730)，但是示例实施例不限于此。当第二值大于第二阈值时(操作S725：是)，电子装置可确定第一参考图像是污染图像(操作S740)等。例如，第二阈值可不同于第一阈值，但不限于此。例如，污染图像可以是包括除第一对象(例如，目标对象)之外的对象的图像，并且包括除第一对象之外的对象的图像可通过分析频率分量而被去除。通常，当频带中的信号强度大于或等于期望的和/或预定的阈值时，电子装置可确定获得的图像是包括对象的图像，并且这样的图像可包括用户的对象实际被测量的部分，并且除了对象信号之外的分量以对象的形式进行保持。
图14是用于描述根据至少一个示例实施例的检查第一参考图像是否是图13的污染图像的操作的示图。
参照图14，图14示出对图11A和图11C的图像执行图13中的操作S715的结果。在图14中示出的曲线图中，水平轴FRAME表示多个图像的帧数，垂直轴FTV表示第二值(例如，傅里叶变换的结果)。
如图14中所示，通过对第一帧图像F1执行频率信号处理获得的值FTV11可大于第二阈值TH2，因此图11A的图像可由电子装置确定为污染图像。通过对第二帧图像F2执行频率信号处理获得的值FTV12可小于第二阈值TH2，因此图11C的图像可由电子装置确定为正常参考图像。
尽管图10和图13的示例被描述为单独的示例，但是示例实施例不限于此，并且根据至少一个示例实施例的获得用于光学对象识别的参考图像的方法可通过组合图10的示例和图13的示例两者被实现。例如，第一值可通过对第一参考图像执行空间信号处理而被获得，第二值可通过对第一参考图像执行频率信号处理而被获得，并且电子装置可基于第一值、第一阈值、第二值和第二阈值等中的全部来确定第一参考图像是否是污染图像。例如，当第一值大于第一阈值时或者当第二值大于第二阈值时，第一参考图像可被确定为污染图像。当第一值小于或等于第一阈值时并且当第二值小于或等于第二阈值时，第一参考图像可被确定为正常参考图像。
在一些示例实施例中，当获得参考图像时，参考图像可通过以有限脉冲响应(FIR)或无限脉冲响应(IIR)的形式执行信号处理而不是仅使用一个图像而被更新。在FIR示例中，具有高质量(或高性能)的一个无对象图像可通过存储和使用特定数量的无对象图像而被获得。在IIR示例中，每当新的无对象图像被输入时，具有高质量的一个无对象图像可被更新和使用。在FIR示例的情况下，特定环境中的无对象图像可被收集，以获得针对特定环境改进和/或优化的图像。在IIR示例的情况下，更新可被缓慢地执行，但是可使用累积的信息被广泛地应用。
图15是示出根据一些示例实施例的获得用于光学对象识别的参考图像的方法的流程图。将省略与图1重复的描述。
参照图15，在根据示例实施例的获得用于光学对象识别的参考图像的方法中，操作S2100可与图1中的操作S100基本相同。
当驱动一些光源时，基于由对象识别传感器通过对象识别窗口接收的反射光顺序地、周期性地和/或连续地获得多个图像(操作S2200)。与其中仅获得一个图像的图1的示例不同，在图15的示例中，对象识别传感器可基于反射光顺序地、周期性地和/或连续地获得与对象识别窗口和/或任何对象对应的一些图像。
多个图像中的至少一个被获得为用于与第一对象相关的光学对象识别的第一参考图像(操作S2300)。当驱动一些光源时，使用至少一个环境传感器获得至少一个第一环境信息(操作S2400)。第一环境信息与驱动一些光源的周围环境(例如，电子装置和/或显示面板周围的环境等)相关。将第一参考图像和针对第一参考图像的第一环境信息存储在一起(操作S2500)。因此，可从多个图像选择期望的、最好的、最合适的和/或最佳的参考图像。操作S2400和操作S2500可分别与图1中的操作S300和操作S400基本相同。
在一些示例实施例中，第一参考图像可以是不包括第一对象的图像。另外，多个图像可包括包含第一对象的第一图像，第一参考图像可以是顺序地、周期性地和/或连续地获得的多个图像之中紧接在第一图像之前或紧接在第一图像之后获得的图像。通常，在与第一图像相同的环境下获得的最合适的参考图像可以是紧接在拍摄第一图像之前或之后拍摄的图像，但是示例实施例不限于此。
在一些示例实施例中，可将图6中的操作S500、图7中的操作S600和图9中的操作S700中的至少一个添加到图15的示例中，但是示例实施例不限于此。
在根据至少一个示例实施例的获得用于光学对象识别的参考图像的方法中，用于执行光学对象识别的无对象图像或没有对象的图像(例如，参考图像、校准图像等)可被高效地获得，该光学对象识别通过从包括对象的图像减去无对象图像来仅获得与对象相关的纯信息。另外，可从在同一环境下顺序获得的多个图像选择无对象图像和包括对象的图像。因此，鲁棒的对象图像恢复可被执行，或者与对象相关的纯信息可基于无对象图像被鲁棒地恢复，并且高效的光学对象识别可被支持。
图16是示出根据一些示例实施例的执行光学对象识别的方法的流程图。将省略与图1重复的元素的描述。
参照图16，在根据一些示例实施例的执行光学对象识别的方法中，操作S3100可与图1中的操作S100基本相同。
当驱动一些光源时，分别使用对象识别传感器和至少一个环境传感器获得多个参考图像和与多个参考图像对应的多个环境信息(操作S3200)。多个参考图像中的每个是不包括第一对象的图像。操作S3200可包括图1中的操作S200、操作S300和操作S400。根据一些示例实施例，多个参考图像中的全部可在不同的环境条件下被获得，或者多个参考图像中的一些可在同一环境条件下被获得，和/或在同一环境条件下获得的参考图像可通过执行FIR或IIR等形式的信号处理而被组合和更新为一个参考图像。
当驱动一些光源时，分别使用对象识别传感器和至少一个环境传感器获得包括第一对象的第一图像和与第一图像对应的当前环境信息(操作S3300)。基于当前环境信息和多个环境信息选择多个参考图像之中的第一参考图像(操作S3400)。基于第一图像和第一参考图像获得针对第一对象的第一有效图像(操作S3500)。多个参考图像中对于第一图像期望的、最好的、最合适等的一个参考图像可被选择作为第一参考图像，因此高效的光学对象识别可被执行。
图17是示出根据至少一个示例实施例的选择图16中的第一参考图像的示例的流程图。
参照图16和图17，当选择第一参考图像(操作S3400)时，电子装置可检查在先前获得的多个环境信息之中是否存在与当前环境信息匹配的环境信息(操作S3410)。
当存在与当前环境信息匹配的第一环境信息时(操作S3410：是)，电子装置可选择第一环境信息(操作S3420)。当在先前获得的多个环境信息之中不存在与当前环境信息完全匹配的环境信息时(操作S3410：否)，可通过电子装置选择在多个环境信息之中最接近当前环境信息的第二环境信息(操作S3430)。可选择与选择的环境信息对应的参考图像作为第一参考图像(操作S3440)。
尽管图16示出包括多个参考图像的示例，但是示例实施例不限于此。例如，示例实施例还可应用于仅包括一个参考图像的示例，并且图16中的操作S3400等可被省略。
图18是示出根据至少一个示例实施例的获得图16中的第一有效图像的示例的流程图。
参照图16和图18，当获得第一有效图像(操作S3500)时，电子装置可通过从第一图像减去第一参考图像来获得第一有效图像(操作S3510)。
图19A和图19B是用于描述根据一些示例实施例的执行光学对象识别的方法的示图。
参照图19A和图19B，示出应用了差分滤波器和信号处理滤波器的图像。图19A示出使用在与对象图像不同的环境(例如，温度差相对大的环境等)下获得的参考图像的结果。图19B示出根据一些示例实施例的使用在与对象图像相同的环境下获得的参考图像的结果。
虽然在图19A中干扰网格图案(interference grid pattern)严重，但是在图19B中干扰和噪声被去除，使得仅指纹清楚地保留。获得的图像的增强的准确度具有区分和/或改善指纹的纹脊和纹谷的效果。在图19A中，无论指纹的质量如何，以多条线的形式的干扰和/或噪声等被生成，并且线与指纹之间的交点可被错误地识别为指纹的特性，从而显著降低和/或减小指纹匹配的性能和/或减小指纹匹配的准确度，并且可能导致与其他人的指纹混淆等。相反，在图19B中，可获得适应于环境的改变的优异的指纹图像和/或改进的指纹图像。
如本领域技术人员将理解的，发明构思的各种示例实施例可实现为系统、方法、计算机程序产品和/或实现在一个或多个非暂时性计算机可读介质中的计算机程序产品，所述一个或多个非暂时性计算机可读介质具有实现在其上的计算机可读程序代码。计算机可读程序代码可被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器。计算机可读介质可以是非暂时性计算机可读存储介质。非暂时性计算机可读存储介质可以是可包含或存储程序以通过指令执行系统、设备或装置使用或与指令执行系统、设备或装置有关的任何有形介质，诸如，光盘、硬盘驱动器、固态驱动器、RAM、ROM等。
图20是示出根据一些示例实施例的电子装置的框图。
参照图20，电子装置1000可包括处理电路，该处理电路包括至少一个处理器1010、存储器装置1020、至少一个对象识别传感器1030等，并且电子装置100还可包括至少一个输入/输出(I/O)装置1040、电源1050和/或显示装置1060等，但是示例实施例不限于此。电子装置100还可包括用于与视频卡、声卡、存储卡、通用串行总线(USB)装置、其它电子装置等通信的多个端口。
处理器1010控制电子装置1000的操作。处理器1010可执行至少一个操作系统和至少一个应用，以提供互联网浏览器、游戏或视频等。存储器装置1020可存储用于电子装置1000的操作的数据。I/O装置1040可包括输入装置(诸如，键盘、小键盘、鼠标、触摸板、触摸屏、遥控器等)和输出装置(诸如，打印机、扬声器、显示器等)。电源1050可为电子装置1000的操作提供电力。
显示装置1060包括显示面板和/或触摸传感器面板等，但不限于此。图17中的显示面板、触摸传感器面板、对象识别传感器1030、处理器1010和存储器装置1020可分别对应于图4中的显示面板111、触摸传感器面板115、对象识别传感器130、处理器140和存储器150，并且可执行根据至少一个示例实施例的获得参考图像的方法以及根据至少一个示例实施例的执行光学对象识别的方法。
发明构思的各种示例实施例可应用到包括显示面板、对象识别传感器并执行光学对象识别的各种电子装置和系统。例如，发明构思的至少一个示例实施例可应用到系统，诸如，移动电话、智能电话、平板计算机、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、摄像机、视频播放器、导航装置、可穿戴装置、物联网(IoT)装置、万物互联(IoE)装置、电子书阅读器、虚拟现实(VR)装置、增强现实(AR)装置、机器人装置、无人机等。
前述是各种示例实施例的说明，并且不应被解释为对示例实施例的限制。尽管已经描述了一些示例实施例，但是本领域技术人员将容易地理解，在实质上不脱离示例实施例的新颖性教导和优点的情况下，许多修改在示例实施例中是可行的。因此，所有这样的修改意在被包括在如权利要求中限定的示例实施例的范围内。因此，应理解，前述是各种示例实施例的说明，并且不应被解释为限于公开的特定示例实施例，并且对公开的示例实施例的修改以及其它示例实施例意在被包括在所附权利要求的范围内。

Claims (20)

1.一种获得用于光学对象识别的参考图像的方法，所述方法包括：
驱动包括在至少一个显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；
使用对象识别传感器接收通过对象识别窗口从第一目标对象反射的光，所述光由所述光源的子集发射，第一目标对象是光学对象识别的目标；
当所述光源的子集被驱动时，基于反射的光获得第一参考图像；
当所述光源的子集被驱动时，基于反射的光获得与第一目标对象相关的第一目标图像；
当所述光源的子集被驱动时，使用至少一个环境传感器获得第一环境信息，第一环境信息与周围环境相关；
将第一参考图像和第一环境信息存储在一起；和
基于第一目标图像和第一参考图像，获得用于与第一目标对象相关的光学对象识别的第一有效图像。
2.根据权利要求1所述的方法，其中，第一参考图像是不包括第一目标对象的图像。
3.根据权利要求1所述的方法，其中，第一环境信息包括温度信息、湿度信息、压力信息、运动信息、时间信息、空间信息、照度信息、加速度信息、振动信息、外力信息、冲击信息中的至少一个或其任何组合。
4.根据权利要求1所述的方法，还包括：
通过触摸传感器面板感测用户的触摸输入；和
响应于触摸输入被感测到：
所述光源的子集被驱动，并且
第一参考图像和第一环境信息被获得并存储。
5.根据权利要求1所述的方法，还包括：
确定显示面板或包括显示面板的电子装置是否处于非活动状态；和
响应于显示面板或电子装置处于非活动状态，所述光源的子集被驱动，并且第一参考图像和第一环境信息被获得并存储。
6.根据权利要求5所述的方法，其中，确定显示面板或电子装置是否处于非活动状态的步骤包括：
确定包括在显示面板中的所述多个光源是否被驱动；和
基于确定包括在显示面板中的所述多个光源是否被驱动的结果，来确定显示面板或电子装置是否处于非活动状态。
7.根据权利要求5所述的方法，其中，
所述至少一个环境传感器包括加速度传感器；并且
确定显示面板或电子装置是否处于非活动状态的步骤基于由加速度传感器获得的加速度信息。
8.根据权利要求1所述的方法，还包括：
确定第一参考图像是否是污染图像；和
响应于第一参考图像是污染图像，丢弃第一参考图像而不存储第一参考图像。
9.根据权利要求8所述的方法，其中，确定第一参考图像是否是污染图像的步骤包括：
通过对第一参考图像执行空间信号处理来获得第一值；和
基于第一值和期望的第一阈值来确定第一参考图像是否是污染图像。
10.根据权利要求9所述的方法，其中，确定第一参考图像是否是污染图像的步骤包括：响应于第一值大于第一阈值，确定第一参考图像是污染图像。
11.根据权利要求8所述的方法，其中，确定第一参考图像是否是污染图像的步骤包括：
通过对第一参考图像执行频率信号处理来获得第二值；和
基于第二值和期望的第二阈值来确定第一参考图像是否是污染图像。
12.根据权利要求11所述的方法，其中，确定第一参考图像是否是污染图像的步骤包括：响应于第二值大于第二阈值，确定第一参考图像是污染图像。
13.根据权利要求8所述的方法，其中，污染图像是包括除第一目标对象之外的对象的图像，或者包括除包括在显示面板中的所述多个光源之外的外部光源的信息的图像。
14.根据权利要求1至权利要求13中的任一项所述的方法，还包括：
当所述光源的子集被驱动时，基于由对象识别传感器通过对象识别窗口接收的反射的光顺序地获得多个图像；和
选择所述多个图像中的至少一个图像作为第一参考图像。
15.根据权利要求1至权利要求13中的任一项所述的方法，其中，
显示面板包括在其上显示图像的第一表面和与第一表面相背对的第二表面；并且
对象识别传感器在显示面板的第二表面下方。
16.一种执行光学对象识别的方法，所述方法包括：
驱动包括在显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；
当所述光源的子集被驱动时，使用对象识别传感器获得多个参考图像，所述多个参考图像中的每个是不包括第一目标对象的图像；
当所述光源的子集被驱动时，使用至少一个环境传感器获得与所述多个参考图像对应的多个环境信息；
当所述光源的子集被驱动时，使用对象识别传感器获得包括第一目标对象的第一目标图像；
当所述光源的子集被驱动时，使用环境传感器获得与第一目标图像对应的当前环境信息；
基于当前环境信息和所述多个环境信息，在所述多个参考图像之中选择第一参考图像；和
基于第一目标图像和第一参考图像，获得针对第一目标对象的第一有效图像。
17.根据权利要求16所述的方法，其中，选择第一参考图像的步骤包括：
在所述多个环境信息之中选择与当前环境信息匹配的第一环境信息；和
选择与第一环境信息对应的第一参考图像。
18.根据权利要求16所述的方法，其中，选择第一参考图像的步骤包括：
确定所述多个环境信息中的环境信息是否与当前环境信息匹配；
响应于没有环境信息与当前环境信息匹配，在所述多个环境信息之中选择最接近当前环境信息的第二环境信息；和
选择与选择的第二环境信息对应的第二参考图像作为第一参考图像。
19.根据权利要求16至权利要求18中的任一项所述的方法，其中，获得第一有效图像的步骤包括：
通过从第一目标图像减去第一参考图像来获得第一有效图像。
20.一种获得用于光学对象识别的参考图像的方法，所述方法包括：
驱动包括在显示面板中的多个光源中的光源的子集，所述光源的子集与作为显示面板的局部区域的对象识别窗口对应；
使用对象识别传感器接收通过对象识别窗口反射的光，所述光由所述光源的子集发射；
当所述光源的子集被驱动时，基于反射的光顺序地获得多个图像；
获得所述多个图像中的至少一个作为第一参考图像，第一参考图像是不包括第一目标对象的图像，获得所述多个图像中的至少一个作为第一参考图像的步骤包括：通过对所述多个图像执行空间信号处理来获得多个第一值，通过对所述多个图像执行频率信号处理来获得多个第二值，和基于对应的第一值、对应的第二值、空间域阈值和频域阈值，在所述多个图像之中选择至少一个图像作为第一参考图像；
当所述光源的子集被驱动时，基于反射的光获得与第一目标对象相关的第一目标图像；
当所述光源的子集被驱动时，使用至少一个环境传感器获得至少一个第一环境信息，第一环境信息与周围环境相关，所述光源的子集在周围环境中被驱动；
将第一参考图像和针对第一参考图像的第一环境信息存储在一起；和
基于第一目标图像和第一参考图像获得用于与第一目标对象相关的光学对象识别的第一有效图像。
CN202110393573.5A 2020-04-27 2021-04-13 获得参考图像的方法和执行光学对象识别的方法 Pending CN113642373A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0050646 2020-04-27
KR1020200050646A KR20210132372A (ko) 2020-04-27 2020-04-27 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법

Publications (1)

Publication Number Publication Date
CN113642373A true CN113642373A (zh) 2021-11-12

Family

ID=78222494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393573.5A Pending CN113642373A (zh) 2020-04-27 2021-04-13 获得参考图像的方法和执行光学对象识别的方法

Country Status (3)

Country Link
US (1) US11551467B2 (zh)
KR (1) KR20210132372A (zh)
CN (1) CN113642373A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3734542A4 (en) * 2017-12-28 2021-10-06 Connectec Japan Corporation IMAGE ACQUISITION DEVICE, AND DISPLAY DEVICE EQUIPPED THEREOF
KR102206223B1 (ko) * 2018-10-08 2021-01-22 주식회사 만도 데이터 처리 방법, 데이터 처리 장치 및 차량 제어 시스템
CN117789261A (zh) * 2024-01-18 2024-03-29 斯佰特仪(北京)科技有限公司 一种人体手掌特征图像采集装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US19749A (en) 1858-03-30 Improvement in harvesters
US8605960B2 (en) 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US9274553B2 (en) 2009-10-30 2016-03-01 Synaptics Incorporated Fingerprint sensor and integratable electronic display
WO2015140600A1 (en) 2014-03-21 2015-09-24 Sony Corporation Electronic device with display-based fingerprint reader
CN104318205A (zh) 2014-09-29 2015-01-28 上海箩箕技术有限公司 信息检测显示装置及其检测方法和显示方法
US10410037B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
US10410033B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-LCD screen optical sensor module for on-screen fingerprint sensing
US11010588B2 (en) 2015-06-18 2021-05-18 Shenzhen GOODIX Technology Co., Ltd. Large-sensing-area under-display optical sensor
CN107004130B (zh) 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
EP3278272B1 (en) 2015-06-18 2020-12-09 Shenzhen Goodix Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing capability
US10437974B2 (en) 2015-06-18 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US10146981B2 (en) * 2015-09-10 2018-12-04 Qualcomm Incorporated Fingerprint enrollment and matching with orientation sensor input
US10635878B2 (en) 2015-10-23 2020-04-28 Shenzhen GOODIX Technology Co., Ltd. Optical fingerprint sensor with force sensing capability
EP3248141A4 (en) 2015-11-02 2018-01-03 Shenzhen Goodix Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing against fingerprint spoofing
US10325134B2 (en) * 2015-11-13 2019-06-18 Fingerprint Cards Ab Method and system for calibration of an optical fingerprint sensing device
US9934418B2 (en) 2015-12-03 2018-04-03 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector
CN110991351B (zh) 2016-01-31 2020-12-01 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
KR20180005588A (ko) 2016-07-06 2018-01-16 삼성전자주식회사 디스플레이 패널의 광원들을 이용한 지문 센서, 지문 센서 패키지 및 지문 센싱 시스템
US20180012069A1 (en) 2016-07-06 2018-01-11 Samsung Electronics Co., Ltd. Fingerprint sensor, fingerprint sensor package, and fingerprint sensing system using light sources of display panel
KR20180081356A (ko) * 2017-01-06 2018-07-16 삼성전자주식회사 지문 이미지의 왜곡을 처리하는 방법 및 장치
US10614283B2 (en) 2017-03-07 2020-04-07 Shenzhen GOODIX Technology Co., Ltd. Devices with peripheral task bar display zone and under-LCD screen optical sensor module for on-screen fingerprint sensing
US20180348949A1 (en) 2017-06-02 2018-12-06 Samsung Electronics Co., Ltd. Touch controller for driving touch screen including fingerprint sensing array, driving integrated circuit, and method of operating touch screen device including the same
US10614279B2 (en) 2017-06-02 2020-04-07 Samsung Electronics Co., Ltd. Apparatus and method for driving fingerprint sensing array provided in touchscreen, and driver integrated circuit for driving the touchscreen including the fingerprint sensing array
US20180349669A1 (en) 2017-06-02 2018-12-06 Samsung Electronics Co., Ltd. Operating method of optical fingerprint sensor, operating method of electronic device including the optical fingerprint sensor, and display device including the optical fingerprint sensor
KR20180132496A (ko) 2017-06-02 2018-12-12 삼성전자주식회사 광학식 지문 센서의 동작 방법, 이를 포함하는 전자 장치의 동작 방법 및 디스플레이 장치
CN107728979A (zh) * 2017-09-30 2018-02-23 联想(北京)有限公司 一种处理方法及电子设备
US11301664B2 (en) * 2018-09-12 2022-04-12 Fingerprint Cards Anacatum Ip Ab Reconstruction of fingerprint subimages
CN109389071A (zh) * 2018-09-29 2019-02-26 京东方科技集团股份有限公司 指纹检测方法与指纹图像补偿方法及装置、电子装置
CN110543851B (zh) * 2018-11-30 2022-10-21 神盾股份有限公司 具有指纹感测功能的电子装置以及指纹图像处理方法
US11074467B2 (en) * 2019-12-05 2021-07-27 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of transparent fake object overlays with optical sensing modules

Also Published As

Publication number Publication date
KR20210132372A (ko) 2021-11-04
US11551467B2 (en) 2023-01-10
US20210334501A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
CN113642373A (zh) 获得参考图像的方法和执行光学对象识别的方法
US20180349669A1 (en) Operating method of optical fingerprint sensor, operating method of electronic device including the optical fingerprint sensor, and display device including the optical fingerprint sensor
US11908227B2 (en) Method and device for reference imaging and optical object recognition
KR102561172B1 (ko) 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
US11514650B2 (en) Electronic apparatus and method for controlling thereof
US10963665B2 (en) Method of setting light sources in display panel for optical fingerprint recognition and method of performing optical fingerprint recognition using the same
JP4727614B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4790653B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
KR102561380B1 (ko) 생체인식 감지를 위한 픽셀 아키텍처 및 구동 스킴
KR102496531B1 (ko) 지문 인식을 위한 방법, 전자 장치 및 저장 매체
US9223415B1 (en) Managing resource usage for task performance
JP2008250949A5 (zh)
KR102656237B1 (ko) 디스플레이를 이용한 이동 지문 인식 방법 및 장치
JP2008250950A5 (zh)
JP2008250951A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP2008250951A5 (zh)
US11610424B2 (en) Systems and methods for registering a fingerprint based on an optical fingerprint recognition
US9760177B1 (en) Color maps for object tracking
US11347353B2 (en) Method of performing half-shutter function using optical object recognition and method of capturing image using the same
CN115437524A (zh) 用于具有屏蔽的跨电容性感测的传感器设备
WO2021162682A1 (en) Fingerprint sensors with reduced-illumination patterns
KR101822400B1 (ko) 광학방식의 터치스크린장치 및 이를 이용한 좌표 검출 방법
KR102335556B1 (ko) 라지 오브젝트를 식별하는 터치인식방법 및 장치
JP4964849B2 (ja) 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
US11709564B2 (en) Electronic device comprising sensor for touch recognition and sensor for hovering recognition, and method for operating same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination