CN110088769A - 指纹采集的方法、系统和电子设备 - Google Patents

指纹采集的方法、系统和电子设备 Download PDF

Info

Publication number
CN110088769A
CN110088769A CN201980000489.3A CN201980000489A CN110088769A CN 110088769 A CN110088769 A CN 110088769A CN 201980000489 A CN201980000489 A CN 201980000489A CN 110088769 A CN110088769 A CN 110088769A
Authority
CN
China
Prior art keywords
fingerprint
display screen
time
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000489.3A
Other languages
English (en)
Other versions
CN110088769B (zh
Inventor
李明采
王波
王兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Huiding Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiding Technology Co Ltd filed Critical Shenzhen Huiding Technology Co Ltd
Publication of CN110088769A publication Critical patent/CN110088769A/zh
Application granted granted Critical
Publication of CN110088769B publication Critical patent/CN110088769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Image Input (AREA)
  • Telephone Function (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种指纹采集的方法、系统和电子设备,能够提高指纹采集系统的性能。该指纹采集的方法应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集,所述方法包括:控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。

Description

指纹采集的方法、系统和电子设备
技术领域
本申请涉及光学指纹技术领域,并且更具体地,涉及一种指纹采集的方法、系统和电子设备。
背景技术
随着全面屏手机时代的到来,屏下指纹技术让屏占比做到了极致,目前屏下指纹技术中以光学指纹技术尤为突出。在有机发光二极管(organic light emitting diode,OLED)显示屏中,依靠OLED显示屏自发光的特点,将指纹识别模组放置于显示屏之下,当手指按压在显示屏上时,指纹识别模组接收OLED光源经过手指反射后的光信号进行成像,从而采集到手指的图像信号。
在OLED显示屏中,通过在一定频率下刷新显示数据来控制显示图像,如果在OLED显示屏刷新显示数据的同时,指纹识别模组刚好在接收光信号进行指纹图像的采集,会由于OLED显示屏刷新显示数据的变化引起指纹识别模组采集的光信号发生陡变,导致采集的图像为出现横条纹等质量较差的指纹图像,进而影响指纹采集系统的性能,给用户带来不良的体验。
发明内容
本申请实施例提供了一种指纹采集的方法、系统和电子设备,能够提高指纹采集系统的性能。
第一方面,提供了一种指纹采集的方法,应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集,所述方法包括:
控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
本申请的技术方案,通过控制显示屏的帧显示时间,使该帧显示时间不小于指纹识别模组采集指纹图像的时间,且所述指纹图像的采集时间在所述显示屏的一帧图像的显示时间范围内,因此,避免了在所述显示屏的帧间图像切换时进行指纹图像的采集,进而避免采集到出现横条纹等质量较差的指纹图像,提高了指纹图像的质量和指纹识别性能。
在一种可能的实现方式中,所述显示屏和所述指纹识别模组分别通过显示屏驱动模块和指纹采集控制模块进行驱动,所述方法还包括:所述显示屏驱动模块在控制所述显示屏以所述第一帧显示时间显示所述一帧图像后,向所述指纹采集控制模块发送第一指示信息;
所述指纹采集控制模块接收所述第一指示信息,并基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像。
在一种可能的实现方式中,所述方法还包括:所述显示屏驱动模块在控制所述显示屏以所述第一帧显示时间显示所述一帧图像前,比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间,并基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
在一种可能的实现方式中,所述基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像包括:
当所述比较结果为所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,调整所述显示屏的帧显示时间至所述第一帧显示时间。
在一种可能的实现方式中,所述基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像包括:
当所述比较结果为所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
在一种可能的实现方式中,所述方法还包括:所述显示屏驱动模块在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,接收所述指纹采集控制模块发送的所述指纹图像的采集时间。
在一种可能的实现方式中,所述方法还包括:所述显示屏驱动模块还在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
在一种可能的实现方式中,所述方法还包括:所述指纹采集控制模块在控制所述指纹识别模组采集所述指纹图像后,向所述显示屏驱动模块发送第二指示信息;
所述显示屏驱动模块根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
在一种可能的实现方式中,所述指纹采集控制模块包括指纹服务模块、指纹应用模块和指纹驱动模块,所述指纹采集控制模块接收所述第一指示信息,并基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像包括:
所述指纹服务模块接收所述第一指示信息,并发送通知消息给所述指纹应用模块,所述通知消息为指示开始进行指纹图像采集的消息;
所述指纹应用模块接收所述通知消息,并发送控制消息给所述指纹驱动模块,所述控制消息为控制所述指纹驱动模块进行指纹图像采集的消息;
所述指纹驱动模块接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
在一种可能的实现方式中,所述方法还包括:所述指纹应用模块接收所述指纹图像,并对所述指纹图像进行指纹识别得到指纹识别结果。
在一种可能的实现方式中,所述指纹识别系统还包括客户应用模块,所述方法还包括:
所述指纹应用模块将所述指纹识别结果发送给所述指纹服务模块;
所述指纹服务模块将所述指纹识别结果发送给所述客户应用模块。
在一种可能的实现方式中,所述显示屏驱动模块和所述指纹驱动模块运行在富执行环境REE中,位于内核层;
所述指纹服务模块运行在富执行环境REE中,位于硬件抽象HAL层;
所述指纹应用模块运行在可信执行环境TEE中,位于可信应用TA层。
第二方面,提供了一种指纹采集的系统,应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集,所述系统包括:显示屏驱动模块和指纹采集控制模块;
所述显示屏驱动模块用于控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
所述指纹采集控制模块用于控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
在一种可能的实现方式中,所述显示屏驱动模块还用于在控制所述显示屏以所述第一帧显示时间显示所述一帧图像后,向所述指纹采集控制模块发送第一指示信息;
所述第一指示信息用于指示所述指纹采集控制模块控制所述指纹识别模组采集所述指纹图像。
在一种可能的实现方式中,所述显示屏驱动模块还用于,在控制所述显示屏以所述第一帧显示时间显示所述一帧图像前,比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间,并基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
在一种可能的实现方式中,所述显示屏驱动模块具体用于,当所述比较结果为所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,调整所述显示屏的帧显示时间至所述第一帧显示时间。
在一种可能的实现方式中,所述显示屏驱动模块具体用于,当所述比较结果为所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
在一种可能的实现方式中,所述显示屏驱动模块还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,接收所述指纹采集控制模块发送的所述指纹图像的采集时间。
在一种可能的实现方式中,所述显示屏驱动模块还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
在一种可能的实现方式中,所述指纹采集控制模块还用于,在控制所述指纹识别模组采集所述指纹图像后,向所述显示屏驱动模块发送第二指示信息;
所述显示屏驱动模块还用于根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
在一种可能的实现方式中,所述指纹采集控制模块包括指纹服务模块、指纹应用模块和指纹驱动模块;
所述指纹服务模块用于接收所述第一指示信息,并发送通知消息给所述指纹应用模块,所述通知消息为指示开始采集所述指纹图像的消息;
所述指纹应用模块用于接收所述通知消息,并发送控制消息给所述指纹驱动模块,所述控制消息为控制所述指纹驱动模块采集所述指纹图像的消息;
所述指纹驱动模块用于接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
在一种可能的实现方式中,所述指纹应用模块还用于接收所述指纹图像,并对所述指纹图像进行指纹识别得到指纹识别结果。
在一种可能的实现方式中,所述系统还包括客户应用模块;
所述指纹应用模块将所述指纹识别结果发送给所述指纹服务模块;
所述指纹服务模块将所述指纹识别结果发送给所述客户应用模块。
在一种可能的实现方式中,所述显示屏驱动模块和所述指纹驱动模块运行在富执行环境REE中,位于内核层;
所述指纹服务模块运行在富执行环境REE中,位于硬件抽象HAL层;
所述指纹应用模块运行在可信执行环境TEE中,位于可信应用TA层。
第三方面,提供了一种电子设备,包括显示屏、指纹识别模组以及如第二方面或第二方面的任一可能的实现方式中的指纹识别系统;
其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集。
第四方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第一方面或第一方面的任一可能的实现方式中的方法。
第五方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第一方面或第一方面的任一可能的实现方式中的指令。
第六方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第一方面或第一方面的任一可能的实现方式中的指纹识别的方法。
具体地,该计算机程序产品可以运行于上述第三方面的电子设备上。
附图说明
图1是本申请实施例所适用的终端设备的结构示意图。
图2是本申请实施例中屏幕显示时序与指纹识别模组指纹图像采集时序的示意图。
图3是根据本申请实施例的指纹采集方法的示意性流程图。
图4是根据本申请实施例的另一指纹采集方法的示意性流程图。
图5是本申请实施例中另一屏幕显示时序与指纹识别模组指纹图像采集时序的示意图。
图6是本申请实施例中另一屏幕显示时序与指纹识别模组指纹图像采集时序的示意图。
图7是根据本申请实施例的另一指纹采集方法的示意性流程图。
图8是本申请实施例中另一屏幕显示时序与指纹识别模组指纹图像采集时序的示意图。
图9是根据本申请实施例的另一指纹采集方法的示意性流程图。
图10是根据本申请实施例的另一指纹采集方法的示意性流程图。
图11是根据本申请实施例的指纹采集系统的示意性框图。
图12是根据本申请实施例的另一指纹采集系统的示意性框图。
图13是根据本申请实施例的指纹采集系统中各模块的位置关系图。
图14是根据本申请实施例的电子设备的示意性结构图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
应理解,本申请实施例可以应用于光学指纹系统,包括但不限于光学指纹识别系统和基于光学指纹成像的产品,本申请实施例仅以光学指纹系统为例进行说明,但不应对本申请实施例构成任何限定,本申请实施例同样适用于其他采用光学成像技术的系统等。
作为一种常见的应用场景,本申请实施例提供的光学指纹系统可以应用在智能手机、平板电脑以及其他具有显示屏的移动终端或者其他终端设备;更具体地,在上述终端设备中,指纹识别模组可以设置在显示屏下方的局部区域或者全部区域,从而形成屏下(Under-display)光学指纹系统。或者,所述指纹识别装置也可以部分或者全部集成至所述终端设备的显示屏内部,从而形成屏内(In-display)光学指纹系统。
如图1所示为本申请实施例可以适用的终端设备的结构示意图,所述终端设备10包括显示屏120和指纹识别模组130,其中,所述指纹识别模组130设置在所述显示屏120下方的局部区域。所述指纹识别模组130包括光学指纹传感器,所述光学指纹传感器包括具有多个光学感应单元131的感应阵列133,所述感应阵列133所在区域或者其感应区域为所述指纹识别模组130的指纹检测区域103。如图1所示,所述指纹检测区域103位于所述显示屏120的显示区域之中。在一种替代实施例中,所述指纹识别模组130还可以设置在其他位置,比如所述显示屏120的侧面或者所述终端设备10的边缘非透光区域,并通过光路设计来将所述显示屏120的至少部分显示区域的光信号导引到所述指纹识别模组130,从而使得所述指纹检测区域103实际上位于所述显示屏120的显示区域。
应当理解,所述指纹检测区域103的面积可以与所述指纹识别模组130的感应阵列的面积不同,例如通过例如透镜成像的光路设计、反射式折叠光路设计或者其他光线汇聚或者反射等光路设计,可以使得所述指纹识别模组130的指纹检测区域103的面积大于所述指纹识别模组130感应阵列的面积。在其他替代实现方式中,如果采用例如光线准直方式进行光路引导,所述指纹识别模组130的指纹检测区域103也可以设计成与所述指纹识别模组130的感应阵列的面积基本一致。
因此,使用者在需要对所述终端设备进行解锁或者其他指纹验证的时候,只需要将手指按压在位于所述显示屏120的指纹检测区域103,便可以实现指纹输入。由于指纹检测可以在屏内实现,因此采用上述结构的终端设备10无需其正面专门预留空间来设置指纹按键(比如Home键),从而可以采用全面屏方案,即所述显示屏120的显示区域可以基本扩展到整个终端设备10的正面。
作为一种可选的实现方式,如图1所示,所述指纹识别模组130包括光检测部分134和光学组件132,所述光检测部分134包括所述感应阵列以及与所述感应阵列电性连接的读取电路及其他辅助电路,其可以在通过半导体工艺制作在一个芯片(Die),比如光学成像芯片或者光学指纹传感器,所述感应阵列具体为光探测器(Photo detector)阵列,其包括多个呈阵列式分布的光探测器,所述光探测器可以作为如上所述的光学感应单元;所述光学组件132可以设置在所述光检测部分134的感应阵列的上方,其可以具体包括滤光层(Filter)、导光层或光路引导结构以及其他光学元件,所述滤光层可以用于滤除穿透手指的环境光,而所述导光层或光路引导结构主要用于从手指表面反射回来的反射光导引至所述感应阵列进行光学检测。
在具体实现上,所述光学组件132可以与所述光检测部分134封装在同一个光学指纹部件。比如,所述光学组件132可以与所述光学检测部分134封装在同一个光学指纹芯片,也可以将所述光学组件132设置在所述光检测部分134所在的芯片外部,比如将所述光学组件132贴合在所述芯片上方,或者将所述光学组件132的部分元件集成在上述芯片之中。
其中,所述光学组件132的导光层或者光路引导结构有多种实现方案,比如,所述导光层可以具体为在半导体硅片制作而成的准直器(Collimator)层,其具有多个准直单元或者微孔阵列,所述准直单元可以具体为小孔,从手指反射回来的反射光中,垂直入射到所述准直单元的光线可以穿过并被其下方的光学感应单元接收,而入射角度过大的光线在所述准直单元内部经过多次反射被衰减掉,因此每一个光学感应单元基本只能接收到其正上方的指纹纹路反射回来的反射光,从而所述感应阵列便可以检测出手指的指纹图像。
在另一种实施例中,所述导光层或者光路引导结构也可以为光学透镜(Lens)层,其具有一个或多个透镜单元,比如一个或多个非球面透镜组成的透镜组,其用于将从手指反射回来的反射光汇聚到其下方的光检测部分134的感应阵列,以使得所述感应阵列可以基于所述反射光进行成像,从而得到所述手指的指纹图像。可选地,所述光学透镜层在所述透镜单元的光路中还可以形成有针孔,所述针孔可以配合所述光学透镜层扩大所述指纹识别模组的视场,以提高所述指纹识别模组130的指纹成像效果。
在其他实施例中,所述导光层或者光路引导结构也可以具体采用微透镜(Micro-Lens)层,所述微透镜层具有由多个微透镜形成的微透镜阵列,其可以通过半导体生长工艺或者其他工艺形成在所述光检测部分134的感应阵列上方,并且每一个微透镜可以分别对应于所述感应阵列的其中一个感应单元。并且,所述微透镜层和所述感应单元之间还可以形成其他光学膜层,比如介质层或者钝化层,更具体地,所述微透镜层和所述感应单元之间还可以包括具有微孔的挡光层,其中所述微孔形成在其对应的微透镜和感应单元之间,所述挡光层可以阻挡相邻微透镜和感应单元之间的光学干扰,并使得所述感应单元所对应的光线通过所述微透镜汇聚到所述微孔内部并经由所述微孔传输到所述感应单元以进行光学指纹成像。应当理解,上述光路引导结构的几种实现方案可以单独使用也可以结合使用,比如,可以在所述准直器层或者所述光学透镜层下方进一步设置微透镜层。当然,在所述准直器层或者所述光学透镜层与所述微透镜层结合使用时,其具体叠层结构或者光路可能需要按照实际需要进行调整。
作为一种可选的实施例,所述显示屏120可以采用具有自发光显示单元的显示屏,比如OLED显示屏或者微型发光二极管(Micro-LED)显示屏。以采用OLED显示屏为例,所述指纹识别模组130可以利用所述OLED显示屏120位于所述指纹检测区域103的显示单元(即OLED光源)来作为光学指纹检测的激励光源。当手指140按压在所述指纹检测区域103时,显示屏120向所述指纹检测区域103上方的目标手指140发出一束光111,该光111在手指140的表面发生反射形成反射光或者经过所述手指140内部散射而形成散射光,在相关专利申请中,为便于描述,上述反射光和散射光统称为反射光。由于指纹的嵴(ridge)与峪(valley)对于光的反射能力不同,因此,来自指纹嵴的反射光151和来自指纹峪的反射光152具有不同的光强,反射光经过光学组件132后,被指纹识别模组130中的感应阵列134所接收并转换为相应的电信号,即指纹检测信号;基于所述指纹检测信号便可以获得指纹图像数据,并且可以进一步进行指纹匹配验证,从而在所述终端设备10实现光学指纹识别功能。
在其他实施例中,所述指纹识别模组130也可以采用内置光源或者外置光源来提供用于进行指纹检测的光信号。在这种情况下,所述指纹识别模组130可以适用于非自发光显示屏,比如液晶显示屏或者其他的被动发光显示屏。以应用在具有背光模组和液晶面板的液晶显示屏为例,为支持液晶显示屏的屏下指纹检测,所述终端设备10的光学指纹系统还可以包括用于光学指纹检测的激励光源,所述激励光源可以具体为红外光源或者特定波长非可见光的光源,其可以设置在所述液晶显示屏的背光模组下方或者设置在所述终端设备10的保护盖板下方的边缘区域,而所述指纹识别模组130可以设置液晶面板或者保护盖板的边缘区域下方并通过光路引导以使得指纹检测光可以到达所述指纹识别模组130;或者,所述指纹识别模组130也可以设置在所述背光模组下方,且所述背光模组通过对扩散片、增亮片、反射片等膜层进行开孔或者其他光学设计以允许指纹检测光穿过液晶面板和背光模组并到达所述指纹识别模组130。当采用所述指纹识别模组130采用内置光源或者外置光源来提供用于进行指纹检测的光信号时,其检测原理与上面描述内容是一致的。
应当理解的是,在具体实现上,所述终端设备10还包括透明保护盖板,所述盖板可以为玻璃盖板或者蓝宝石盖板,其位于所述显示屏120的上方并覆盖所述终端设备10的正面。因为,本申请实施例中,所谓的手指按压在所述显示屏120实际上是指按压在所述显示屏120上方的盖板或者覆盖所述盖板的保护层表面。
另一方面,在某些实施例中,所述指纹识别模组130可以仅包括一个光学指纹传感器,此时指纹识别模组130的指纹检测区域103的面积较小且位置固定,因此用户在进行指纹输入时需要将手指按压到所述指纹检测区域103的特定位置,否则指纹识别模组130可能无法采集到指纹图像而造成用户体验不佳。在其他替代实施例中,所述指纹识别模组130可以具体包括多个光学指纹传感器;所述多个光学指纹传感器可以通过拼接方式并排设置在所述显示屏120的下方,且所述多个光学指纹传感器的感应区域共同构成所述指纹识别模组130的指纹检测区域103。也即是说,所述指纹识别模组130的指纹检测区域103可以包括多个子区域,每个子区域分别对应于其中一个光学指纹传感器的感应区域,从而将所述指纹识别模组130的指纹采集区域103可以扩展到所述显示屏的下半部分的主要区域,即扩展到手指惯常按压区域,从而实现盲按式指纹输入操作。可替代地,当所述光学指纹传感器数量足够时,所述指纹检测区域130还可以扩展到半个显示区域甚至整个显示区域,从而实现半屏或者全屏指纹检测。
还应理解,在本申请实施例中,指纹识别模组中的感应阵列也可以称为像素阵列,感应阵列中的光学感应单元或感应单元也可称为像素单元。
需要说明的是,本申请实施例中的指纹识别模组也可以称为光学指纹识别模组、指纹识别装置、指纹模组、指纹采集装置等,上述术语可相互替换。
在OLED屏下指纹识别模组中,指纹识别模组以OLED光源作为光学指纹检测的激励光源,OLED光源经过手指反射后的指纹光信号被指纹识别模组中的光检测部分接收并处理,其中光检测部分中的感应阵列接收指纹光信号并将指纹光信号转换为电信号的时间为指纹图像的采集时间,例如,所述感应阵列为光电二极管(photo diode,PD)阵列,给该光电二极管阵列施加驱动电压,该光电二极管阵列开始接收指纹光信号并将该指纹光信号转换为电信号,当停止施加驱动电压时,该该光电二极管阵列停止转换电信号,此时,驱动电压的持续时间为指纹图像的采集时间。
OLED显示屏的发光单元是有机聚合物发光二级管,单色屏的一个像素就是一个发光二极管,多个像素形成像素阵列。要点亮一个像素,只要在该像素所在列电极上加上正电压、行电极接地。在OLED显示屏的显示过程中,行驱动电路依次产生低电平扫描像素阵列各行,列驱动电路读取显示数据依次加载到像素阵列的列电极上。完成一次全屏扫描,就叫做一帧,每一帧显示屏显示一个图像,不同帧显示的不同的图像,从而实现显示屏动态视频的显示。其中,每一帧的显示时间不变,显示屏上每秒显示的帧数,即每秒出现的图像数称为屏幕刷新频率,单位是赫兹(Hz),每帧的显示时间与两帧之间的时间间隔之和等于屏幕刷新频率的倒数。在屏幕进行刷新时,两帧之间会有时间间隔,且下一帧的图像与前一帧图像不同,使得屏幕在刷新图像时,OLED光源会发生陡变。
当OLED显示屏刷新显示图像时,若此时指纹识别模组正在进行指纹图像的采集,则接收OLED光源经过手指反射后的指纹光信号,则会受到陡变的光源影响,例如,如图2所示,当OLED屏幕刷新频率为30Hz,指纹识别模组采集时序中的指纹图像的采集时间为20ms时,每一帧的图像显示时间与相邻两帧之间的时间间隔之和约为33.3ms,指纹识别模组若在OLED屏幕刷新时进行采集指纹光信号,则会受到光源变化的影响,在指纹图像上出现横条纹,从而使指纹识别性能下降。
基于此,本申请提供了一种指纹采集的方案,通过显示屏驱动模块控制显示屏的帧显示时间,使该帧显示时间大于指纹采集控制模块控制指纹识别模组采集指纹图像的时间,且在指纹识别模组采集指纹图像的时间内显示屏不进行刷新显示同一帧图像,因此,消除了显示屏刷新时的光源变化对指纹图像的影响,提高了指纹图像的质量,进而提升了指纹识别性能。
应理解,在本申请实施例中,该指纹采集过程可以称为是指纹识别过程,指纹采集处理也可以称为指纹识别处理。
图3是根据本申请实施例的指纹采集的方法200的示意性流程图,应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集。
如图3所示,所述方法200包括:
S210,控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
S220,控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
可选地,所述电子设备可以为图1中的终端设备10,所述显示屏可以为图1中的显示屏120,所述指纹识别模组可以为图1中的指纹识别模组130。
在一些实施例中,所述指纹识别的系统为处理单元或者所述处理单元可以包括所述指纹识别的系统,该处理单元可以是电子设备的处理器或控制器,所述显示屏驱动模块和所述指纹采集控制模块可以为运行在所述处理单元上的软件模块,控制电子设备上的显示屏以及指纹识别模组。
应理解,所述显示屏驱动模块还可以控制所述显示屏以第一帧显示时间显示多帧图像,所述指纹识别模组可以在所述多帧图像中的一帧图像的显示时间内采集一次指纹图像,所述指纹识别模组还可以采集多次指纹图像,每一次采集指纹图像的时间在所述多帧图像中的一帧图像的显示时间内,本申请实施例对此不做限定。
可选地,所述显示屏和所述指纹识别模组分别通过显示屏驱动模块和指纹采集控制模块进行驱动,图4示出了根据本申请实施例的另一指纹采集的方法300的示意性流程图。
如图4所示,所述方法300包括:
S310,所述显示屏驱动模块控制所述显示屏以所述第一帧显示时间显示所述一帧图像;
S320,所述显示屏驱动模块向所述指纹采集控制模块发送第一指示信息;
S330,所述指纹采集控制模块接收所述第一指示信息,并基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像。
例如,如图5所示,所述第一帧显示时间为T1,指纹图像的采集时间为S1,其中S1≤T1。如图5中的(a)所示,显示屏将在t1时刻开始以第一帧显示时间显示一帧图像,所述显示屏驱动模块在t1时刻发送第一指示信息给指纹采集控制模块,所述指纹采集控制模块在t1时刻开始进行指纹图像采集。如图5中的(b)所示,显示屏将在t1时刻开始以第一帧显示时间显示一帧图像,所述显示屏驱动模块在t1时刻之后的t2时刻发送第一指示信息给指纹采集控制模块,所述指纹采集控制模块在t2时刻开始进行指纹图像采集,其中,t2=t1+T1-S1。
应理解,所述指纹采集控制模块开始进行指纹图像采集的时刻还可以为其它满足所述指纹图像的采集时间在所述一帧图像的显示时间范围内的时刻。例如,在图5中,所述开始进行指纹图像采集的时刻可以为t1至t2之间的任意时刻。
在一种可能的实施方式中,如图6所示,当OLED屏幕刷新频率为60Hz,光学指纹装置采集时序中的指纹图像的采集时间为20ms时,每一帧的图像显示时间与相邻两帧之间的时间间隔之和约为16.7ms,每一帧的帧显示时间小于指纹图像的采集时间,则光学指纹装置必然会受到光源变化的影响,在指纹图像上出现横条纹。
可选地,图7是根据本申请实施例的另一指纹采集的方法400的示意性流程图。如图7所示,所述方法400包括:
S420,所述显示屏驱动模块比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间。
S431,当所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,所述显示屏驱动模块调整所述显示屏的帧显示时间至所述第一帧显示时间。
S432,当所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
可选地,所述显示屏的帧显示时间对应屏幕刷新频率,每帧的帧显示时间与两帧之间的时间间隔之和等于屏幕刷新频率的倒数。所述显示屏驱动模块可以通过调整所述显示屏的屏幕刷新频率以调整所述显示屏的帧显示时间至所述第一帧显示时间。
可选地,当所述显示屏的原始帧显示时间小于等于所述指纹图像的采集时间时,所述显示屏驱动模块降低所述显示屏的原始屏幕刷新频率得到第一中间屏幕刷新频率和第一中间帧显示时间,所述显示屏驱动模块比较所述第一中间帧显示时间与所述指纹图像的采集时间,当所述第一中间帧显示时间小于等于所述指纹图像的采集时间时,继续降低所述第一中间屏幕刷新频率,得到第二中间屏幕刷新频率和第二中间帧显示时间并与所述指纹图像采集时间比较,按照此方式继续进行,直至降低至第一屏幕刷新频率时,所述第一帧显示时间不小于所述指纹图像采集的时间。
可选地,所述显示屏驱动模块降低所述显示屏的屏幕刷新频率的方式可以是将所述显示屏的当前屏幕刷新频率降低一半。应理解,降低显示屏的屏幕刷新频率的方式还可以为当前屏幕刷新频率减去预设频率值,直至得到第一屏幕刷新频率下,第一帧显示时间大于所述指纹图像采集时间等其它方式。本申请实施例对此不做限定。
可选地,如图7所示,所述方法400还包括:
S440,所述显示屏驱动模块控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
S450,所述显示屏驱动模块向所述指纹采集控制模块发送第一指示信息。
S460,所述指纹采集控制模块基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像。
以上S440~S460与图4中S310~S330步骤相同,具体实施方案可以参照图4,此处不再赘述。
在一种可能的实施方式中,例如,如图8中的(a)所示,显示屏屏幕刷新频率为f2,第一帧显示时间为T2,指纹图像的采集时间为S2,其中S2>T2。所述显示屏驱动模块比较S2与T2的大小,由于S2>T2,则所述显示屏驱动模块将屏幕刷新频率f2降低为f2/2,此时,帧显示时间为T3,所述显示屏驱动模块比较T3与S2的大小,当S2≤T3时,所述显示屏驱动模块在t3时刻发送第一指示信息给指纹采集控制模块,所述指纹采集控制模块开始进行指纹图像采集。
可选地,如图7所示,所述方法400还包括:
S411,所述显示屏驱动模块接收所述指纹采集控制模块发送的所述指纹图像的采集时间。
S412,所述显示屏驱动模块获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
具体地,所述显示屏为具有触摸感应功能的触摸显示屏,手指在所述触摸显示屏上触摸,所述触摸显示屏上手指触摸区域的电容或者电压发生变化,从而产生触摸显示屏上的手指触摸信息。
具体地,所述指纹图像的采集时间为所述指纹识别模组的物理参数,可以以预设值的形式存储在所述指纹识别模组所在的电子设备的处理器或者内存中。
可选地,所述显示屏驱动模块可以在接收手指触摸信息之后,接收所述指纹采集控制模块发送的所述指纹图像的采集时间或者获取预设的所述指纹图像的采集时间。
可选地,如图7所示,所述指纹采集方法400还包括:
S470,所述指纹采集控制模块向所述显示屏驱动模块发送第二指示信息。
S480,所述显示屏驱动模块根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
可选地,所述显示屏驱动模块可以通过提高所述显示屏的屏幕刷新频率以将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
在一种可能的实施方式中,例如,如图8中的(b)所示,显示屏屏幕刷新频率为f2,原始帧显示时间为T2,指纹图像采集时间为S2,其中S2>T2,所述显示屏驱动模块将屏幕刷新频率f2降低为f2/2,此时,第一帧显示时间为T3,所述指纹采集控制模块在t3时刻开始进行指纹图像采集,经过S2后,所述指纹采集控制模块在t4时刻完成指纹图像采集,向所述显示屏驱动模块发送第二指示信息,所述显示屏驱动模块根据所述第二指示信息将所述显示屏的第一帧显示时间T3恢复至所述原始帧显示时间T2。
可选地,所述指纹采集控制模块完成所述指纹图像的采集后,对所述指纹图像进行指纹图像处理、特征提取、指纹匹配等操作。
在本申请实施例中,在指纹采集控制模块完成指纹图像采集之后,所述显示屏驱动模块恢复所述原始帧显示时间,对所述显示屏的显示不造成影响,兼顾屏幕的显示效果以及指纹图像采集质量。
目前,电子设备的处理器,如中央处理器(central processing unit,CPU)的操作系统(operating system,OS)可以包括两大运行环境,一种是富执行环境(rich executionenvironment,REE),运行在其内部的应用为客户应用(client application,CA);另一种是可信执行环境(trusted execution enviroment,TEE),运行在其内部的应用为可信应用(trusted application,TA)。TEE是指在主处理器的OS内的一个独立的安全运行环境,该环境与REE相互隔离,独立运行,例如,TrustZone环境,或者,高通的QSEE TEE,安全(Secure)数字信号处理(digital signal processing,DSP)等。与REE中的CA所不同的是,TEE为TA提供一系列的安全服务,包括应用执行的完整性、安全存储、与输入输出设备的安全交互、密钥管理、加密算法以及与REE中的CA进行安全通信等。由于指纹识别功能对安全性的需求较高,因此指纹采集系统的控制以及识别功能需要运行在安全可靠的TEE环境中。
可选地,在本申请一个实施例中,所述指纹采集控制模块包括指纹服务模块、指纹应用模块和指纹驱动模块。
可选地,所述指纹服务模块和所述指纹驱动模块可以运行在REE环境中,具体地,所述指纹服务模块运行在操作系统的用户空间(user space)中的硬件抽象层(hardwareabstract layer,HAL),所述硬件抽象层是位于操作系统内核层与硬件电路之间的接口层,其目的在于将硬件抽象化,为用户提供接口。所述指纹驱动模块和所述显示屏驱动模块运行在操作系统的内核(knernel space)空间中的内核层,为驱动指纹采集系统中的指纹采集控制模块进行指纹图像采集。
由于指纹采集系统对于安全性能的要求,需要通过运行在安全环境TEE中的指纹应用模块对所述指纹服务模块和所述指纹驱动模块进行通信,以保证指纹采集系统的安全性。所述指纹应用模块用于控制指纹图像采集,并对采集到的指纹图像进行图像处理以及指纹识别。对应的,所述指纹应用模块可以为TA。
可选地,如图9所示,图7中步骤S460指纹采集控制模块基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像可以包括:
S461,所述指纹服务模块接收所述第一指示信息,并发送通知消息给所述指纹应用模块,所述通知消息为指示开始进行指纹图像采集的消息。
具体地,REE环境中位于HAL层的所述指纹服务模块接收显示屏驱动模块发送的第一指示信息后,发送通知消息给位于TEE环境的指纹应用模块。所述通知消息由非安全环境REE发送至安全环境TEE中,需要满足TEE通信协议的具体要求。可选地,所述指纹服务模块可以通过TEE客户端应用程序接口(application programming interface,API)与所述指纹应用模块之间进行通信。
S462,所述指纹应用模块接收所述通知消息,并发送控制消息给所述指纹驱动模块,所述控制消息为控制所述指纹驱动模块进行指纹图像采集的消息。
具体地,位于TEE环境中的所述指纹应用模块接收到通知消息后,发送控制消息以控制位于系统内核层中的指纹驱动模块进行指纹图像采集。可选地,所述指纹驱动模块位于REE环境的系统内核层中。
S463,所述指纹驱动模块接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
具体地,所述指纹驱动模块接收控制消息后,驱动所述指纹识别模组,开启所述指纹识别模组中的感应阵列,接收经过手指反射的显示屏光信号,并将所述经过手指反射的显示屏光信号转为指纹图像信号。
可选地,在本申请实施例中,所述指纹驱动模块接收所述控制消息以控制所述指纹识别模组采集所述指纹图像之后,如图10所示,指纹采集方法500包括:
S510,所述指纹应用模块接收所述指纹图像,并对所述指纹图像进行指纹识别得到指纹识别结果。
在本申请一个实施例中,所述指纹识别模组采集到的指纹图像以及所述指纹应用模块处理过后的指纹识别结果均不能发送和存储到不可信的内存空间中,所有指纹图像信号和指纹识别结果都需要被放到可信内存中进行保护。其中,所述指纹识别结果包括指纹图像数据以及指纹特征数据等与手指相关的信息数据,所述可信内存为TEE环境中的内存。
S520,所述指纹应用模块将所述指纹识别结果发送给所述指纹服务模块。
S530,所述指纹服务模块将所述指纹识别结果发送给客户应用模块。
具体地,所述客户应用模块为运行在REE环境中的客户应用软件CA,可以与用户进行交互。所述指纹应用模块将所述指纹识别结果发送给所述客户应用模块,所述客户应用模块可以将所述指纹识别结果呈现给用户,例如,所述客户应用软件可以为支付宝等需要安全登录的软件,可以支持指纹识别登录的方式,当指纹识别结果为指纹识别认证成功时,用户可以直接通过指纹登录软件。
上文结合图3至图10,详细描述了本申请的方法实施例,下文结合图11至图13,详细描述本申请的装置实施例,应理解,装置实施例与方法实施例相互对应,类似的描述可以参照方法实施例。
图11是根据本申请实施例的指纹采集系统的示意性框图,所述指纹采集系统应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集。
如图11所示,该指纹采集系统600包括:显示屏驱动模块610和指纹采集控制模块620;
所述显示屏驱动模块610用于控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
所述指纹采集控制模块620用于控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
可选地,在本申请的一个实施例中,所述指纹采集系统600可以为处理单元或者所述处理单元包括所述指纹采集系统600,该处理单元可以为电子设备的处理器或控制器。所述显示屏驱动模块610和所述指纹采集控制模块620为运行在所述处理器或控制器上的软件模块,驱动所述指纹采集系统所在的电子设备上的显示屏以及指纹识别模组。
可选地,所述显示屏驱动模块610还用于在控制所述显示屏以所述第一帧显示时间显示所述一帧图像后,向所述指纹采集控制模块620发送第一指示信息;
所述第一指示信息用于指示所述指纹采集控制模块620控制所述指纹识别模组采集所述指纹图像。
可选地,在本申请的一个实施例中,所述显示屏驱动模块610还用于,在控制所述显示屏以所述第一帧显示时间显示所述一帧图像前,比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间,并基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
可选地,在本申请的一个实施例中,所述显示屏驱动模块610具体用于,当所述比较结果为所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,调整所述显示屏的帧显示时间至所述第一帧显示时间。
可选地,在本申请的一个实施例中,所述显示屏驱动模块610具体用于,当所述比较结果为所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
可选地,在本申请的一个实施例中,所述显示屏驱动模块610还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,接收所述指纹采集控制模块620发送的所述指纹图像的采集时间。
可选地,在本申请的一个实施例中,所述显示屏驱动模块610还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
可选地,在本申请的一个实施例中,所述指纹采集控制模块620还用于,在控制所述指纹识别模组采集所述指纹图像后,向所述显示屏驱动模块610发送第二指示信息;
所述显示屏驱动模块还用于根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
可选地,完成所述指纹图像的采集后,所述指纹采集控制模块620还用于对所述指纹图像进行指纹图像处理、特征提取、指纹匹配等操作。
可选地,所述显示屏的帧显示时间对应屏幕刷新频率,所述显示屏驱动模块610可以通过调整所述显示屏的屏幕刷新频率以调整所述显示屏的帧显示时间。
可选地,在本申请的一个实施例中,如图12所示,所述指纹采集控制模块620包括指纹服务模块621、指纹应用模块622和指纹驱动模块623。
可选地,所述指纹服务模块621具体用于接收所述第一指示信息,并发送通知消息给所述指纹应用模块622,所述通知消息为指示开始采集所述指纹图像的消息;
可选地,所述指纹应用模块622具体用于接收所述通知消息,并发送控制消息给所述指纹驱动模块623,所述控制消息为控制所述指纹驱动模块采集所述指纹图像的消息;
可选地,所述指纹驱动模块623具体用于接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
可选地,所述指纹应用模块622还用于接收所述指纹图像,并对所述指纹图像信号进行图像处理和指纹识别得到指纹识别结果。
可选地,如图12所示,所述指纹识别系统600还包括客户应用模块630。所述指纹应用模块622还用于将所述指纹识别结果发送给所述指纹服务模块621;
所述指纹服务模块621将所述指纹识别结果发送给所述客户应用模块630。
具体地,所述客户应用模块630为运行在REE环境中的客户端应用软件CA,可以与用户进行交互。
可选地,图13示出了根据本申请实施例的显示屏驱动模块610、指纹服务模块621、指纹应用模块622、指纹驱动模块623以及客户应用模块630的位置关系图。
可选地,所述显示屏驱动模块610可以运行在REE环境中,位于内核空间中的内核层。
可选地,所述指纹服务模块621可以运行在REE环境中,位于用户空间中的HAL层。
可选地,所述指纹应用模块622可以运行在TEE环境中,所述指纹应用模块622可以为可信应用TA。
可选地,所述指纹驱动模块623可以运行在REE环境中,位于内核空间中的内核层。
可选地,所述客户应用模块630可以运行在REE环境中,位于用户空间中的应用(application)层。
本申请实施例还提供了一种电子设备700,如图14所示,所述电子设备700可以包括显示屏120、指纹识别模组130以及指纹识别系统600,其中,所述指纹识别模组130设置于所述显示屏120下方,所述指纹识别模组130接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏120的光信号以进行指纹图像采集。
所述指纹识别系统600可以为前述实施例中的指纹识别系统600,可以用于控制所述显示屏120和指纹识别模组130。另外,所述指纹识别系统600可以能够用于执行图3至图10所示方法实施例中的内容。
在一些实施例中,该电子设备可以为支持Android系统的电子设备,例如智能手机、笔记本电脑、平板电脑、游戏设备等便携式或移动计算设备,以及电子数据库、汽车、银行自动柜员机(Automated Teller Machine,ATM)等其他电子设备,但本申请实施例对此并不限定。
应理解,本申请实施例的处理单元可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理单元中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理单元包括但不限于以下各种:通用处理器,中央处理器CPU、数字信号处理器(digital signal processor,DSP)、专用集成电路(applicationspecific integrated circuit,ASIC)、现成可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例的指纹识别还可以包括存储器,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamicRAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图3至图10所示实施例的方法。
本申请实施例还提出了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行图3至图10所示实施例的方法。
本申请实施例还提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行图3至图10所示实施例的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (25)

1.一种指纹采集的方法,其特征在于,应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集,所述方法包括:
控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
2.根据权利要求1所述的方法,其特征在于,其中,所述显示屏和所述指纹识别模组分别通过显示屏驱动模块和指纹采集控制模块进行驱动,所述方法还包括:
所述显示屏驱动模块在控制所述显示屏以所述第一帧显示时间显示所述一帧图像后,向所述指纹采集控制模块发送第一指示信息;
所述指纹采集控制模块接收所述第一指示信息,并基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述显示屏驱动模块在控制所述显示屏以所述第一帧显示时间显示所述一帧图像前,比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间,并基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
4.根据权利要求3所述的方法,其特征在于,所述基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像包括:
当所述比较结果为所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,调整所述显示屏的帧显示时间至所述第一帧显示时间。
5.根据权利要求3所述的方法,其特征在于,所述基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像包括:
当所述比较结果为所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
6.根据权利要求3至5中任一项所述的方法,其特征在于,所述方法还包括:
所述显示屏驱动模块在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,接收所述指纹采集控制模块发送的所述指纹图像的采集时间。
7.根据权利要求3至5中任一项所述的方法,其特征在于,所述方法还包括:
所述显示屏驱动模块还在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
8.根据权利要求3至7中任一项所述的方法,其特征在于,所述方法还包括:
所述指纹采集控制模块在控制所述指纹识别模组采集所述指纹图像后,向所述显示屏驱动模块发送第二指示信息;
所述显示屏驱动模块根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
9.根据权利要求2至8中任一项所述的方法,其特征在于,所述指纹采集控制模块包括指纹服务模块、指纹应用模块和指纹驱动模块,所述指纹采集控制模块接收所述第一指示信息,并基于所述第一指示信息控制所述指纹识别模组采集所述指纹图像包括:
所述指纹服务模块接收所述第一指示信息,并发送通知消息给所述指纹应用模块,所述通知消息为指示开始进行指纹图像采集的消息;
所述指纹应用模块接收所述通知消息,并发送控制消息给所述指纹驱动模块,所述控制消息为控制所述指纹驱动模块进行指纹图像采集的消息;
所述指纹驱动模块接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
所述指纹应用模块接收所述指纹图像,并对所述指纹图像进行指纹识别得到指纹识别结果。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述指纹应用模块将所述指纹识别结果发送给所述指纹服务模块;
所述指纹服务模块将所述指纹识别结果发送给客户应用模块。
12.根据权利要求9至11中任一项所述的方法,其特征在于,所述显示屏驱动模块和所述指纹驱动模块运行在富执行环境REE中,位于内核层;
所述指纹服务模块运行在富执行环境REE中,位于硬件抽象HAL层;
所述指纹应用模块运行在可信执行环境TEE中,位于可信应用TA层。
13.一种指纹采集的系统,其特征在于,应用于具有显示屏和指纹识别模组的电子设备,其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集,所述系统包括:显示屏驱动模块和指纹采集控制模块;
所述显示屏驱动模块用于控制所述显示屏在所述指纹识别模组进行指纹图像采集期间,以第一帧显示时间显示一帧图像,所述第一帧显示时间不小于指纹图像的采集时间;
所述指纹采集控制模块用于控制所述指纹识别模组采集所述指纹图像,其中,所述指纹图像的采集时间在所述一帧图像的显示时间范围内。
14.根据权利要求13所述的系统,其特征在于,所述显示屏驱动模块还用于在控制所述显示屏以所述第一帧显示时间显示所述一帧图像后,向所述指纹采集控制模块发送第一指示信息;
所述第一指示信息用于指示所述指纹采集控制模块控制所述指纹识别模组采集所述指纹图像。
15.根据权利要求13或14所述的系统,其特征在于,所述显示屏驱动模块还用于,在控制所述显示屏以所述第一帧显示时间显示所述一帧图像前,比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间,并基于比较结果控制所述显示屏以所述第一帧显示时间显示所述一帧图像。
16.根据权利要求15所述的系统,其特征在于,所述显示屏驱动模块具体用于,当所述比较结果为所述显示屏的原始帧显示时间小于所述指纹图像的采集时间时,调整所述显示屏的帧显示时间至所述第一帧显示时间。
17.根据权利要求15所述的系统,其特征在于,所述显示屏驱动模块具体用于,当所述比较结果为所述显示屏的原始帧显示时间不小于所述指纹图像的采集时间时,不调整所述显示屏的帧显示时间,所述第一帧显示时间为所述原始帧显示时间。
18.根据权利要求15至17中任一项所述的系统,其特征在于,所述显示屏驱动模块还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,接收所述指纹采集控制模块发送的所述指纹图像的采集时间。
19.根据权利要求15至17中任一项所述的系统,其特征在于,所述显示屏驱动模块还用于,在比较所述显示屏的原始帧显示时间与所述指纹图像的采集时间前,获取手指触摸信息,基于所述手指触摸信息获取预设的所述指纹图像的采集时间。
20.根据权利要求15至19中任一项所述的系统,其特征在于,所述指纹采集控制模块还用于,在控制所述指纹识别模组采集所述指纹图像后,向所述显示屏驱动模块发送第二指示信息;
所述显示屏驱动模块还用于根据所述第二指示信息将所述显示屏的帧显示时间恢复至所述原始帧显示时间。
21.根据权利要求14至20中任一项所述的系统,其特征在于,所述指纹采集控制模块包括指纹服务模块、指纹应用模块和指纹驱动模块;
所述指纹服务模块用于接收所述第一指示信息,并发送通知消息给所述指纹应用模块,所述通知消息为指示开始采集所述指纹图像的消息;
所述指纹应用模块用于接收所述通知消息,并发送控制消息给所述指纹驱动模块,所述控制消息为控制所述指纹驱动模块采集所述指纹图像的消息;
所述指纹驱动模块用于接收所述控制消息以控制所述指纹识别模组采集所述指纹图像。
22.根据权利要求21所述的系统,其特征在于,所述指纹应用模块还用于接收所述指纹图像,并对所述指纹图像进行指纹识别得到指纹识别结果。
23.根据权利要求22所述的系统,其特征在于,所述系统还包括客户应用模块;
所述指纹应用模块将所述指纹识别结果发送给所述指纹服务模块;
所述指纹服务模块将所述指纹识别结果发送给所述客户应用模块。
24.根据权利要求21至23中任一项所述的系统,其特征在于,所述显示屏驱动模块和所述指纹驱动模块运行在富执行环境REE中,位于内核层;
所述指纹服务模块运行在富执行环境REE中,位于硬件抽象HAL层;
所述指纹应用模块运行在可信执行环境TEE中,位于可信应用TA层。
25.一种电子设备,其特征在于,所述电子设备包括:显示屏、指纹识别模组以及,
如权利要求13至24中任一项所述的指纹采集的系统;
其中,所述指纹识别模组设置于所述显示屏下方,用于接收经由所述显示屏上方的人体手指反射或散射而返回的所述显示屏的光信号以进行指纹图像采集。
CN201980000489.3A 2019-03-20 2019-03-20 指纹采集的方法、系统和电子设备 Active CN110088769B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/078889 WO2020186481A1 (zh) 2019-03-20 2019-03-20 指纹采集的方法、系统和电子设备

Publications (2)

Publication Number Publication Date
CN110088769A true CN110088769A (zh) 2019-08-02
CN110088769B CN110088769B (zh) 2021-08-13

Family

ID=67424463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000489.3A Active CN110088769B (zh) 2019-03-20 2019-03-20 指纹采集的方法、系统和电子设备

Country Status (2)

Country Link
CN (1) CN110088769B (zh)
WO (1) WO2020186481A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705411A (zh) * 2019-09-23 2020-01-17 Oppo广东移动通信有限公司 指纹识别方法及装置、设备、存储介质
CN110785770A (zh) * 2019-09-26 2020-02-11 深圳市汇顶科技股份有限公司 指纹识别的方法、装置和电子设备
CN110807383A (zh) * 2019-10-24 2020-02-18 维沃移动通信有限公司 扫描方法及电子设备
CN112883903A (zh) * 2021-03-12 2021-06-01 厦门天马微电子有限公司 一种显示面板的驱动方法以及显示装置
CN113778274A (zh) * 2021-06-15 2021-12-10 荣耀终端有限公司 光斑显示方法及装置
CN114093329A (zh) * 2020-07-31 2022-02-25 京东方科技集团股份有限公司 显示面板的驱动方法、驱动装置及显示装置
CN114489410A (zh) * 2021-07-29 2022-05-13 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质
WO2023005382A1 (zh) * 2021-07-29 2023-02-02 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712065B (zh) * 2021-01-19 2023-10-27 维沃移动通信有限公司 电子设备、生物特征采集方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095159A (zh) * 2016-05-25 2016-11-09 京东方科技集团股份有限公司 触摸屏、显示装置及显示装置的驱动方法
CN106845422A (zh) * 2017-01-22 2017-06-13 广东欧珀移动通信有限公司 一种指纹识别模组、指纹识别方法及移动终端
CN107403152A (zh) * 2017-07-19 2017-11-28 大唐终端技术有限公司 高通平台TrustZone指纹识别实现方法及系统
US20180173343A1 (en) * 2015-06-18 2018-06-21 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing capability
CN109117616A (zh) * 2018-08-02 2019-01-01 Oppo广东移动通信有限公司 验证方法和装置、电子设备、计算机可读存储介质
CN109196522A (zh) * 2018-08-24 2019-01-11 深圳市汇顶科技股份有限公司 背光模组、屏下指纹识别方法、装置和电子设备
CN110163058A (zh) * 2018-10-30 2019-08-23 京东方科技集团股份有限公司 指纹识别显示模组及指纹识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160266695A1 (en) * 2015-03-10 2016-09-15 Crucialtec Co., Ltd. Display apparatus having image scanning function
CN107958193B (zh) * 2017-08-17 2020-07-28 深圳信炜科技有限公司 显示模组及电子设备
CN108256409A (zh) * 2017-10-27 2018-07-06 京东方科技集团股份有限公司 显示器件及其指纹识别方法
CN107908034B (zh) * 2017-12-05 2020-05-01 武汉天马微电子有限公司 一种阵列基板、触控显示面板和触控显示面板驱动方法
CN108806603B (zh) * 2018-06-29 2020-03-17 上海天马有机发光显示技术有限公司 一种有机发光显示面板及其驱动方法、有机发光显示装置
CN109376616B (zh) * 2018-09-29 2021-08-17 京东方科技集团股份有限公司 指纹识别器件、其指纹识别方法及显示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173343A1 (en) * 2015-06-18 2018-06-21 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing capability
CN106095159A (zh) * 2016-05-25 2016-11-09 京东方科技集团股份有限公司 触摸屏、显示装置及显示装置的驱动方法
CN106845422A (zh) * 2017-01-22 2017-06-13 广东欧珀移动通信有限公司 一种指纹识别模组、指纹识别方法及移动终端
CN107403152A (zh) * 2017-07-19 2017-11-28 大唐终端技术有限公司 高通平台TrustZone指纹识别实现方法及系统
CN109117616A (zh) * 2018-08-02 2019-01-01 Oppo广东移动通信有限公司 验证方法和装置、电子设备、计算机可读存储介质
CN109196522A (zh) * 2018-08-24 2019-01-11 深圳市汇顶科技股份有限公司 背光模组、屏下指纹识别方法、装置和电子设备
CN110163058A (zh) * 2018-10-30 2019-08-23 京东方科技集团股份有限公司 指纹识别显示模组及指纹识别方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705411A (zh) * 2019-09-23 2020-01-17 Oppo广东移动通信有限公司 指纹识别方法及装置、设备、存储介质
CN110705411B (zh) * 2019-09-23 2022-06-21 Oppo广东移动通信有限公司 指纹识别方法及装置、设备、存储介质
CN110785770A (zh) * 2019-09-26 2020-02-11 深圳市汇顶科技股份有限公司 指纹识别的方法、装置和电子设备
CN110807383A (zh) * 2019-10-24 2020-02-18 维沃移动通信有限公司 扫描方法及电子设备
CN110807383B (zh) * 2019-10-24 2023-10-17 维沃移动通信有限公司 扫描方法及电子设备
CN114093329A (zh) * 2020-07-31 2022-02-25 京东方科技集团股份有限公司 显示面板的驱动方法、驱动装置及显示装置
US11740500B2 (en) 2020-07-31 2023-08-29 Boe Technology Group Co., Ltd. Driving method and driving device of display panel, and display apparatus
CN112883903A (zh) * 2021-03-12 2021-06-01 厦门天马微电子有限公司 一种显示面板的驱动方法以及显示装置
CN112883903B (zh) * 2021-03-12 2022-09-20 厦门天马微电子有限公司 一种显示面板的驱动方法以及显示装置
CN113778274B (zh) * 2021-06-15 2023-03-31 荣耀终端有限公司 光斑显示方法及装置
CN113778274A (zh) * 2021-06-15 2021-12-10 荣耀终端有限公司 光斑显示方法及装置
CN114489410A (zh) * 2021-07-29 2022-05-13 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质
WO2023005382A1 (zh) * 2021-07-29 2023-02-02 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质
WO2023005376A1 (zh) * 2021-07-29 2023-02-02 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质
CN114489410B (zh) * 2021-07-29 2023-11-17 荣耀终端有限公司 光斑显示方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110088769B (zh) 2021-08-13
WO2020186481A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN110088769A (zh) 指纹采集的方法、系统和电子设备
US11048903B2 (en) Under-LCD screen optical sensor module for on-screen fingerprint sensing
KR102125480B1 (ko) 지문 인식 기능을 지원하는 전자 장치 및 이의 운용 방법
US10410037B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
US10410036B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing
US10331939B2 (en) Multi-layer optical designs of under-screen optical sensor module having spaced optical collimator array and optical sensor array for on-screen fingerprint sensing
US10614283B2 (en) Devices with peripheral task bar display zone and under-LCD screen optical sensor module for on-screen fingerprint sensing
CN108008778B (zh) 支持指纹验证的电子装置及其操作方法
WO2020077505A1 (zh) 屏下指纹识别装置和电子设备
CN109791437B (zh) 显示装置及其控制方法
EP3352221A2 (en) Array substrate and fabricating method thereof, display panel, display apparatus, electronic device, computer program and recording medium
EP3757666B1 (en) Display device, electronic apparatus, and image acquisition method
CN110870072A (zh) 包括用于阻挡多个光接收传感器之间的干扰的遮光构件的图像传感器,以及包含其的电子设备
US11210491B2 (en) Fingerprint sensor under a display module with tilted receiving optics
CN208969685U (zh) 屏下指纹识别装置和电子设备
CN110488519B (zh) 液晶显示装置、电子设备和电子设备的控制方法
CN109416739A (zh) 基于多传感器的屏下指纹采集方法、系统和电子设备
US11032411B2 (en) Control method for electronic device, electronic device, computer readable storage medium
CN110214328A (zh) 指纹识别的方法、装置和电子设备
CN110286716A (zh) 显示装置、电子设备及图像获取方法
CN109328349B (zh) 指纹识别的方法和装置
TW201839660A (zh) 一種虹膜識別的方法和裝置
CN209543394U (zh) 图像采集的装置和电子设备
TWI644232B (zh) 密碼輸入的裝置及方法
CN110276206B (zh) 已加密内容的查看方法及查看系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant