CN115147878A - 对象识别方法、装置和电子设备和指纹识别模组 - Google Patents

对象识别方法、装置和电子设备和指纹识别模组 Download PDF

Info

Publication number
CN115147878A
CN115147878A CN202110275126.XA CN202110275126A CN115147878A CN 115147878 A CN115147878 A CN 115147878A CN 202110275126 A CN202110275126 A CN 202110275126A CN 115147878 A CN115147878 A CN 115147878A
Authority
CN
China
Prior art keywords
response data
spectral response
identification
spectrum
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110275126.XA
Other languages
English (en)
Inventor
黄志雷
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Heguang Technology Co ltd
Original Assignee
Beijing Heguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Heguang Technology Co ltd filed Critical Beijing Heguang Technology Co ltd
Priority to CN202110275126.XA priority Critical patent/CN115147878A/zh
Priority to PCT/CN2022/078786 priority patent/WO2022193949A1/zh
Publication of CN115147878A publication Critical patent/CN115147878A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组。该用于基于光谱的分析设备的对象识别方法包括:获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。这样,可以不需要已知基于光谱的分析设备的滤光结构的透射谱,减小了计算误差和计算量,并提高了空间分辨率。

Description

对象识别方法、装置和电子设备和指纹识别模组
技术领域
本申请涉及光谱分析技术领域,更为具体地说,涉及一种用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组。
背景技术
在目前使用的小型化光谱仪/光谱成像技术中,一种常用的手段是采用滤光片和光探测器阵列(面阵或者线阵)探测物理信号,之后进行不同程度的数据处理的方式得到光谱。这里,滤光片可以是在频域或者波长域上窄带、宽带、周期等滤波方式。不同程度的数据处理中最简单的方式,就是直接将读取数据乘以固定系数,作为对应波长恢复的光谱强度。利用这种方法恢复的光谱,可以进行物体识别(比如分辨是人的手指,还是橡胶等应用)。也可以对物体的性质进行分辨(比如分辨两个布料的颜色是否一致,或者分辨植物叶子是否健康等应用)。
然而,目前基于光谱仪/光谱成像仪的对象识别技术都需要恢复光谱,再进行物体或者物体性质的识别和分辨,这具有以下几方面的缺点:
第一,需要知道滤光结构的透射谱。小型化光谱仪/光谱成像仪往往需要根据不同滤光结构的透射谱得到最终的光谱。而对于很多情况,精确测试透射谱会比较困难,有时甚至是不可能的。对于这种情况无法恢复光谱。而由于工艺不一致等原因,每个器件的透射谱可能不完全相同,测试每个器件的透射更为繁琐。
第二,引入更多误差。由于对于很多物体或者物体特性的判别,光谱本身蕴含着更丰富的信息。恢复光谱,再通过光谱来进行物体识别或者物体特性判别,会经过两次计算,引入更多误差。
第三,对于光谱成像应用,空间分辨率低。对于光谱成像应用,往往需要在恢复的一小块区域内,光谱变化不大作为假设的前提下进行。而许多实际应用并不具备这一条件,使得光谱恢复无法进行。
因此,期望提供一种改进的基于光谱分析的对象识别方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组,其能够直接基于基于光谱的分析设备的图像传感器对参考对象和待识别对象的光谱响应数据来进行对象识别,从而不需要已知基于光谱的分析设备的滤光结构的透射谱,减小了计算误差和计算量,并提高了空间分辨率。
根据本申请的一方面,提供了一种用于基于光谱的分析设备的对象识别方法,包括:获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:以所述基于光谱的分析设备探测所述参考对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述参考对象的所述参考光谱响应数据。
在上述用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据包括:以所述基于光谱的分析设备探测所述待识别对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述待识别对象的所述识别光谱响应数据。
在上述用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:将所述参考光谱响应数据中对应于所述图像传感器的每个像素单元的第一数值分别与所述识别光谱响应数据中对应于每个像素单元的第二数值组成对应于每个像素单元的二元数组;将多个二元数组中的所述第一数值和所述第二数值作为直角坐标系的横坐标和纵坐标映射到直角坐标系中以获得所述直角坐标系上的多个数据点;基于所述多个数据点在所述直角坐标系上拟合一条直线;以及,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果包括:确定所述多个数据点分别到所述直线的多个距离的平均值或者平方平均值;确定所述多个距离的平均值或者平方平均值是否大于预定阈值;以及,响应于所述多个距离的平均值或者平方平均值小于或者等于所述预定阈值,确定所述待识别对象与所述参考对象相同或者具有相同特性。
在上述用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:通过神经网络模型或者决策树模型来比较所述参考光谱响应数据与所述识别光谱响应数据;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据包括:基于预定算法确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;以及,基于所述第一有效信息和所述第二有效信息确定所述第一部分数据和所述第二部分数据。
在上述用于基于光谱的分析设备的对象识别方法中,确定所述参考光谱响应数据中的第一有效信息包括:响应于单次测量所获得的所述参考光谱响应数据中的有效信息不对应于所述识别光谱响应数据中的第二有效信息,通过多次测量获得多个参考光谱响应数据;以及,基于所述多个参考光谱响应数据确定所述第一有效信息。
在上述用于基于光谱的分析设备的对象识别方法中,所述图像传感器包括对应于光调制层的调制单元的第一传感单元和对应于所述光调制层的非调制单元的第二传感单元,所述方法进一步包括:获取所述图像传感器的第二传感单元对于所述参考对象的第一辅助信息;获取所述图像传感器的第二传感单元对于所述待识别对象的第二辅助信息;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;基于所述第一有效信息和所述第二有效信息确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,通过改变所述参考光谱响应数据和所述识别光谱响应数据的采集环境来获取合格的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述合格的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,对采集的所述参考光谱响应数据与所述识别光谱响应数据进行修正以获得修正的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述修正的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:分别对所述参考光谱响应数据和所述识别光谱响应数据进行归一化以获得第一归一化数据和第二归一化数据;以及,基于所述第一归一化数据和所述第二归一化数据的比较结果确定所述待识别对象的识别结果。
在上述用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:获取所述基于光谱的分析设备的图像传感器分别对多种标准参考对象或者具有多种特性的标准参考对象的多个参考光谱响应数据。
在上述用于基于光谱的分析设备的对象识别方法中,所述多个参考光谱响应数据存储于所述基于光谱的分析设备或者云端。
根据本申请的另一方面,提供了一种用于基于光谱的分析设备的对象识别装置,包括:参考数据获取单元,用于获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;识别数据获取单元,用于获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;比较识别单元,用于基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在所述处理器运行时使得所述处理器执行如上所述的用于基于光谱的分析设备的对象识别方法。
根据本申请的又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,当所述计算机程序指令被计算装置执行时,可操作来执行如上所述的用于基于光谱的分析设备的对象识别方法。
根据本申请的又一方面,提供了一种指纹识别模组,包括:光学系统;光谱芯片,用于生成对参考指纹的参考光谱响应数据和对待识别指纹的识别光谱响应数据;以及,识别模块,用于基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别指纹是否与所述参考指纹相匹配。
在上述指纹识别模组中,所述光谱芯片用于生成对参考指纹的边缘和/或四角的参考光谱响应数据和对待识别指纹的边缘和/或四角的识别光谱响应数据,以及对所述参考指纹的中心的参考图像数据和对所述待识别指纹的中心的识别图像数据;以及,所述识别模块用于基于所述参考光谱响应数据与所述识别光谱响应数据的第一比较结果,以及所述参考图像数据和与所述识别图像数据的第二比较结果来确定所述待识别指纹是否与所述参考指纹相匹配。
在上述指纹识别模组中,所述识别模块包括:数据划分子单元,用于将所述参考光谱响应数据划分为对应于指纹的不同部分的第一部分参考光谱响应数据和第二部分参考光谱响应数据,和将所述识别光谱响应数据划分为对应于所述指纹的所述不同部分的第一部分识别光谱响应数据和第二部分识别光谱响应数据;第一比较子单元,用于以第一方式比较所述第一部分参考光谱响应数据与所述第一部分识别光谱响应数据以获得第一比较结果;第二比较子单元,用于以第二方式比较所述第二部分参考光谱响应数据与所述第二部分识别光谱响应数据以获得第二比较结果;以及,指纹匹配子单元,用于基于所述第一比较结果和所述第二比较结果确定所述待识别指纹是否与所述参考指纹相匹配。
本申请提供的用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组,能够直接基于基于光谱的分析设备的图像传感器对参考对象和待识别对象的光谱响应数据来进行对象识别,而不需要从光谱响应数据来进行光谱恢复,从而不需要已知基于光谱的分析设备的滤光结构的透射谱。
并且,由于本申请提供的用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组不需要进行光谱恢复,减小了对象识别过程中的计算误差和计算量,相应地加快了对象识别速度,并简化了计算单元或者降低了计算单元的功耗。
另外,由于本申请提供的用于基于光谱的分析设备的对象识别方法、装置和电子设备以及指纹识别模组不需要进行光谱恢复,相比恢复光谱需要更少的信息,因此可以提高空间分辨率,或者可以使用更小面积的图像传感器来实现。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本申请各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。显而易见地,下面描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
图1图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的流程图;
图2图示了根据本申请实施例的小型化基于光谱的分析设备的示例性配置图;
图3图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的回归比较方式的示意图;
图4图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的滤光结构的示例的示意图;
图5图示了根据本申请实施例的用于基于光谱的分析设备的对象识别装置的框图;
图6图示了根据本申请实施例的电子设备的框图;
图7图示了根据本申请实施例的指纹识别模组的示意性框图;
图8图示了本申请实施例的指纹识别模组的成像示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
示例性方法
图1图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的流程图。
如图1所示,根据本申请实施例的用于基于光谱的分析设备的对象识别方法包括如下步骤:
步骤S110,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据。
这里,根据本申请实施例的基于光谱的分析设备的配置示例如图2所示。图2图示了根据本申请实施例的基于光谱的分析设备的示例性配置图。如图2所示,在根据本申请实施例的基于光谱的分析设备中,光学系统为可选的,其可能是透镜组件、匀光组件等光学系统。滤光结构为频域或者波长域上窄带、宽带、周期等滤波方式的滤光结构。各处滤光结构不同波长的通光谱不完全相同。滤光结构可以是超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS(微机电系统)、FP etalon(FP标准具)、cavity layer(空穴层)、waveguidelayer(波导层)、衍射元件等具有滤光特性的结构或者材料。例如,在本申请实施例中,所述滤光结构可以是中国专利CN201921223201.2中的光调制层,并且,在根据本申请实施例的技术方案中,各个位置的滤波特性不必已知。此外,在根据本申请实施例的技术方案中,也可以没有滤光结构,这样,图像传感器的阵列各点具有不同的光谱响应,比如量子点,纳米线等方案均可以实现这种结构。
继续参考图2,图像传感器(即光探测器阵列)可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等。另外,可选的数据处理单元可以是MCU、CPU、GPU、FPGA、NPU、ASIC等处理单元,其可以将图像传感器生成的数据导出到外部进行处理。值得注意的是,在个别场景应用时,可能需要光源对待测物体进行照明,从而更好地被所述基于光谱的分析设备接收,因此在某些实施例中,所述基于光谱的分析设备还包括光源,用以提供光,从而对待测物体进行照明。
这里,本领域技术人员可以理解,根据本申请实施例的基于光谱的分析设备是使用参考对象和待识别对象的光谱响应数据来进行对象识别,其不需要恢复光谱,而在现有技术中,用于恢复光谱的装置通常被称为光谱仪,因此,根据本申请实施例的基于光谱的分析设备并不完全等效于现有技术中的光谱仪。此外,在很多应用中,图像传感器也起到了光谱成像的作用,比如在如上所述的光谱成像仪中。但是,本领域技术人员同样可以理解,也不是所有的光谱仪都能够使用图像传感器来进行光谱恢复或者光谱成像(因为某些光谱仪的光谱恢复并不基于图像传感器),同时,也不是所有进行光谱恢复或者光谱成像都能被称为光谱仪。相应地,根据本申请实施例的基于光谱的分析设备并不完全等效于现有技术中的光谱成像仪。
同时,根据本申请实施例的基于光谱的分析设备可以作为现有的光谱仪或者光谱成像仪的一部分。也就是,在根据本申请实施例的基于光谱的分析设备获得光谱响应数据之后,现有的光谱仪或者光谱成像仪可以进一步使用该光谱响应数据来恢复光谱或者进行光谱成像。
在本申请实施例中,通过基于光谱的分析设备,可以获得图像传感器对参考对象的参考光谱响应数据。这里,所述参考对象可以是各种标准物体,或者是具有各种特性的标准物体。并且,图像传感器对所述参考对象的参考光谱响应数据是图像传感器直接输出的每个像素位置的电信号,一般是电流值。
并且,在本申请实施例中,所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据可以是在对象识别过程中采集的,也可以预先存储在用于对象识别的数据库中。例如,当采集数据时,首先以所述基于光谱的分析设备探测所述参考对象,然后记录所述基于光谱的分析设备的所述图像传感器对所述参考对象的所述参考光谱响应数据。
也就是,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:以所述基于光谱的分析设备探测所述参考对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述参考对象的所述参考光谱响应数据。
为了更好理解,本发明以CN201921223201.2中的光谱芯片为例进行说明,所述光谱芯片包括光调制层和图像传感层,所述光调制层包括至少一调制单元,所述调制单元对应设置于所述光探测层的至少一传感单元的感光路径上,从而所述传感单元可以接收被所述调制单元调制后的光信号,从而输出对应的电信号,即获取光谱响应。因此,这种光谱芯片就可以对应于根据本申请实施例的基于光谱的分析设备。
步骤S120,获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据。与参考对象的数据采集过程类似,在采集识别光谱响应数据时,首先以所述基于光谱的分析设备探测所述待识别对象,然后记录所述基于光谱的分析设备的所述图像传感器对所述待识别对象的所述识别光谱响应数据。
也就是,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据包括:以所述基于光谱的分析设备探测所述待识别对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述待识别对象的所述识别光谱响应数据。
步骤S130,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。也就是,在本申请实施例中,不需要基于所述参考光谱响应数据与所述识别光谱响应数据进行光谱恢复,例如,不需要恢复在不同波长下的反射率或者吸收率的光谱数据,而直接使用所述参考光谱响应数据与所述识别光谱响应数据进行比较,以确定所述待识别对象的识别结果。具体地,所述识别结果可以是待识别物体是否为标准物体或者待识别物体的特性是否和标准物体的特性异质。
因此,通过根据本申请实施例的用于基于光谱的分析设备的对象识别方法,能够直接基于基于光谱的分析设备的图像传感器对参考对象和待识别对象的光谱响应数据来进行对象识别,而不需要从光谱响应数据来进行光谱恢复,从而不需要已知基于光谱的分析设备的滤光结构的透射谱。
并且,由于根据本申请实施例的用于基于光谱的分析设备的对象识别方法在对象识别过程中不需要进行光谱恢复,减小了对象识别过程中的计算误差和计算量,相应地加快了对象识别速度,并简化了计算单元或者降低了计算单元的功耗。
另外,由于根据本申请实施例的用于基于光谱的分析设备的对象识别方法不需要进行光谱恢复,相比恢复光谱的方案,在对象识别过程中需要更少的信息,可理解为在本申请实施例中,由于不需要恢复光谱,因此可以在一定程度上减少有效像素单元数量也可以完成识别,因此可以提高所采集的对象数据的空间分辨率,或者可以使用更小面积的图像传感器来实现对象识别。
当然,本领域技术人员可以理解,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,直接使用图像传感器对参考对象和待识别对象的光谱响应数据来进行对象识别。这并不限定根据本申请实施例的基于光谱的分析设备进一步包括用于对光谱响应数据进行进一步处理的计算单元,来从光谱响应数据得到其它光谱相关信息来实现其它方面的应用。
下面,将详细说明根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,比较所述参考光谱响应数据与所述识别光谱响应数据的各个示例。
在第一示例中,例如可以使用回归方法来比较所述参考光谱响应数据与所述识别光谱响应数据。具体地,如果待识别对象与参考对象为同一对象,则它们的光谱响应数据应该完全相同或者基本相同,这样,可以将参考对象的响应和待识别对象的响应分别作为x和y轴坐标。如果待识别对象和参考对象为同一对象(或者具有相同特性),则响应点大致应该落在(0,0)到(1,1)两点所在直线上,如图3的(a)所示。但是,在实际的对象识别过程中,由于噪声、对象本身光谱响应有一些不同等原因,响应点会偏离该直线一些,但是仍然在直线附近,如图3的(b)所示。而如果不是相同对象或者是具有不同特性的对象,则响应点会较大偏离上述直线,如图3的(c)所示。这里,图3图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的回归比较方式的示意图。
具体地,在实际的回归计算过程中,可以设定某一阈值α。当所有点与直线的平均距离大于α时,则认为待识别对象与参考对象不同,而当所有点与直线的平均距离小于α时,则认为待识别对象与参考对象相同。当然,除了使用距离的平均值以外,还可以距离的平方平均值等其它参数。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:将所述参考光谱响应数据中对应于所述图像传感器的每个像素单元的第一数值分别与所述识别光谱响应数据中对应于每个像素单元的第二数值组成对应于每个像素单元的二元数组;将多个二元数组中的所述第一数值和所述第二数值作为直角坐标系的横坐标和纵坐标映射到直角坐标系中以获得所述直角坐标系上的多个数据点;基于所述多个数据点在所述直角坐标系上拟合一条直线;以及,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果。
并且,在上述用于基于光谱的分析设备的对象识别方法中,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果包括:确定所述多个数据点分别到所述直线的多个距离的平均值或者平方平均值;确定所述多个距离的平均值或者平方平均值是否大于预定阈值;以及,响应于所述多个距离的平均值或者平方平均值小于或者等于所述预定阈值,确定所述待识别对象与所述参考对象相同或者具有相同特性。
另外,在第一示例中,还可以使用KL散度的方式,以及人工神经网络、决策树等方式实现所述参考光谱响应数据与所述识别光谱响应数据的比较。
具体地,对于人工神经网络的方式,在使用时,会将参考对象得到的所述参考光谱响应数据和待识别对象得到的所述识别光谱响应数据分别作为神经网络的输入。根据两者的相似度,例如输出的距离(比如欧氏距离等)是否超过阈值,来判断参考对象和待识别对象是否相同。另外,神经网络在训练时,例如可以使用三元输入,两个为参考对象的输入,一个为其它对象的输入。并且,在使用三元输入进行训练时,训练神经网络的损失函数为使得“两个参考对象的输入经过神经网络后的输出的距离”与“一个参考对象和一个其它对象经过神经网络后的输出的距离”的差尽可能大。
对于基于决策树的算法,一种可能的实现方式为,根据已训练好的树状模型,每个输入会顺序地经过一些节点,每个节点会对输入的特定特征进行判别再传到下一个节点,最终输出到一个叶子节点中,该输出的标签则为其终止所在的叶子节点的标签。所以树状模型的根本是通过数据所包含的特征的顺序判别作为依据的。在训练单个树状模型时,每个树的节点根据以某一特征作为分裂特征,并以分裂前后的基尼系数的变化来判定最优的分裂特征。而随机森林则是根据原始数据集的多次有放回的采样重新选出K个新数据集来训练分类器的集成技术,即训练多个树,最终结果为多个数的结果的综合。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:通过神经网络模型或者决策树模型来比较所述参考光谱响应数据与所述识别光谱响应数据;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在第二示例中,并不是对所述参考光谱响应数据与所述识别光谱响应数据中的全部数据进行比较,而是对其部分数据进行比较。也就是,不是对图像传感器的全部像素点的输出电信号值进行比较,而是使用部分点的数值来进行比较。例如,针对如图2所示的小型化基于光谱的分析设备,可能存在光学结构匀光性不强的情况,这使得达到滤光片不同位置的光的光谱可能会有不同(包括强度不同)。相应地,在分析树叶特性时,叶脉部分的光谱成像信息会被判定为为无效信息,则该部分的光谱成像响应信息不能用于和叶子的光谱成像响应信息作比较。此外,也可能由于对象本身的原因,例如在测试指纹时,由于指纹的沟壑,使得沟壑处不能获得有效信息。
因此,在第二示例中,首先使用预定算法判断图像传感器获得的光谱响应数据中那些是有效信息,再将有效信息部分的所述参考光谱响应数据与所述识别光谱响应数据进行比较。
当然,本领域技术人员可以理解,在图像传感器分辨率很高的情况下,由于像素点的数目很大,也可以基于计算量的考虑,使用所述参考光谱响应数据与所述识别光谱响应数据中的部分数据,比如某几行和某几列的数据进行比较。
另外,判断是否是有效信息的预定算法可以是阈值判定,也可以是模式匹配、变换器、神经网络等方法,根据图像数据来判断是否为有效信息。并且,对于阈值判定的方式,可以设置一个合适的阈值t,当光谱响应数据中的某个像素的数值超过t时,认为是有效像素,作为需要判定的数据,否则舍弃该像素的数据。
另外,如果参考对象和待识别对象不能保证具有相同的有效像素位置或者不能保证像素位置完全对准时,可以在测量参考对象时进行多次测量。并且,通过多次测量的结果,综合得到像素点的有效值。例如,一种得到有效值的方法是取所有超过阈值的测量值的均值,来获得最后的测量结果。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
并且,在上述用于基于光谱的分析设备的对象识别方法中,确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据包括:基于预定算法确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;以及,基于所述第一有效信息和所述第二有效信息确定所述第一部分数据和所述第二部分数据。
另外,在上述用于基于光谱的分析设备的对象识别方法中,确定所述参考光谱响应数据中的第一有效信息包括:响应于单次测量所获得的所述参考光谱响应数据中的有效信息不对应于所述识别光谱响应数据中的第二有效信息,通过多次测量获得多个参考光谱响应数据;以及,基于所述多个参考光谱响应数据确定所述第一有效信息。
值得一提的是,所述第二示例中提到的方法可以用于第一示例中,详细地,在第一示例中可能会存在一些测量误差,导致个别传感单元获取的值偏差较大,这会导致在坐标轴上表示时距离过大,从而导致平均值可能过大;因此在第一示例中引入第二示例中合理的判断出误差值,并作为无效数据给剔除,从而提高精度。
针对上述的问题,在本申请实施例中,进一步提出基于第一示例的变形示例,即不通过平均距离来判断,在该变形示例中,首先设置一阈值β,当点与直线的距离大于β时,则认为该点为无效点,而当点与直线的距离小于β时,则认为该点为有效点;进一步将统计有效点的占比,即有效点数/(有效点数+无效点数),当占比大于等于75%时,则认为待识别对象与参考对象相同。当然对于个别场景精度要求高的情况下,占比应当大于等于85%,甚至90%。
在第三示例中,基于光谱的分析设备中的滤光结构可以不是完全覆盖于所述图像传感器,即所述基于光谱的分析设备中所述图像传感器的部分区域用以接收光谱信息,部分区域用以接收光强信息(图像信息)。具体地,如图4所示,所述基于光谱的分析设备包括光谱芯片,所述光谱芯片包括沿厚度方向顺次层叠设置的光调制层1100、图像传感层1200和可选的信号处理电路层1300。这里,图4图示了根据本申请实施例的用于基于光谱的分析设备的对象识别方法的滤光结构的示例的示意图。
具体地,光调制层1100沿表面分布有至少一个调制单元1101和至少一个非调制单元1102。图像传感层1200沿表面分布有多个传感单元1201,且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201,每个调制单元1101以及每个非调制单元1102分别与对应的传感单元1201构成光谱芯片1000的一个像素点。光调制层1100的调制单元1101被配置为对进入其所对应的传感单元1201的成像光线进行调制,其所对应的传感单元1201适于获取该成像光线的频谱信息。并且,光调制层1100的非调制单元1102被配置为不对进入其所对应的传感单元1201的成像光线进行调制,其所对应的传感单元1201适于获取该成像光线的光强信息。
信号处理电路层1300与传感单元1201电连接,信号处理电路层1300用于获取传感单元1201输出的电信号,例如如上所述的光谱响应数据。光调制层1100的厚度为60nm~1200nm,光调制层1100可以是直接在图像传感层1200上制备得到。具体可以是在图像传感层1200上直接生长一层或多层材料再通过刻蚀制备出调制单元,或者在图像传感层1200上直接刻蚀制备出调制单元,进而得到光调制层1100。
在这种情况下,可以认为图像传感器具有分区域结构,且因此,根据本申请实施例的用于基于光谱的分析设备的对象识别方法可以认为使用分区域技术实现。也就是,部分图像传感器对应的滤光结构为全通滤光结构,或者RGB滤光结构。这部分滤光结构对应的图像传感器的输出数据为光强数据(非光谱信息)。这部分信息可以用以生成被测物体的图像。此外,这些非光谱信息也可以辅助如上所述的第二示例中的光谱数据的筛选。
比如,在指纹解锁的过程中,非光谱信息可以用于探测手指指纹,进行指纹识别,即所述非光谱信息会生成指纹图像。而光谱信息可以使用第二示例中的方法识别待识别指纹是否为活体指纹,只有指纹图像和活体指纹条件都成立时,才实现指纹解锁。可选地,在指纹识别时,第二示例所述的筛选也可以使用图像信息进行辅助。因为非光谱信息可以判断哪里是沟壑,哪里是纹路,因此可以将沟壑区域对应的光谱信息剔除(因为光强太弱),仅将纹路对应的光谱信息进行对比判断。
另外,比如对于照射光强不均匀的情况,非光谱区可以探测该区域的环境光强的大小,进而对光谱像素区所探测的光强根据环境光强进行修正。比如区域的环境光强小于标准环境光强,则增加光谱像素区的输入后进行对比;而如果区域的环境光强大于标准环境光强,则减小光谱像素区的输入后进行对比。
再比如,在识别具有轮廓、形貌的物体时,可以首先通过非光谱区的信息,对物体的轮廓、形貌进行探测,并预测光谱区的轮廓、形貌,进而推测入射光谱区的光强,根据这个预测的光强,对光谱区原始的读数进行修正后,再进行比较。比如对于指纹识别的情况,图像信息可以判断是沟壑中心、纹路中心还是在纹路和沟壑之间。这样可以预判其入射光的强度,进而将光强进行相应修改,再进行对比。这可以增加用于对比的光谱信息的数量,并使得光谱信息表示得更精确。
也就是,所述光强信息(非光谱信息)既可以成像,也可以用以辅助获取更精确的光谱信息。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,所述图像传感器包括对应于光调制层的调制单元的第一传感单元和对应于所述光调制层的非调制单元的第二传感单元,所述方法进一步包括:获取所述图像传感器的第二传感单元对于所述参考对象的第一辅助信息;获取所述图像传感器的第二传感单元对于所述待识别对象的第二辅助信息;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
并且,在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;基于所述第一有效信息和所述第二有效信息确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
另外,在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,通过改变所述参考光谱响应数据和所述识别光谱响应数据的采集环境来获取合格的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述合格的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
此外,在上述用于基于光谱的分析设备的对象识别方法中,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,对采集的所述参考光谱响应数据与所述识别光谱响应数据进行修正以获得修正的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述修正的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在第四示例中,可以增加光谱响应数据的归一化过程,从而可以解决光源(比如环境光或者主动光源等)的照明强度变化等问题。
另外,本领域技术人员可以理解,当结合第二示例或者第三示例应用时,归一化过程可以在数据筛选之前,也可以在数据筛选之后。
并且,归一化有多种方法,比如对原始数据进行线性变换。线性变换的系数也有多种方法,比如取将最大值变换为1,将最小值变换为0,其他值按此线性变换。也就是,如果所有图像传感器的像素的输出值是xi,其中i代表标号,则其线性变换为
Figure BDA0002976304490000171
再比如,得到所测值的平均值μ,标准差σ,对于测试得到的x值,进行变换y=(x-μ)/σ得到归一化后的值。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:分别对所述参考光谱响应数据和所述识别光谱响应数据进行归一化以获得第一归一化数据和第二归一化数据;以及,基于所述第一归一化数据和所述第二归一化数据的比较结果确定所述待识别对象的识别结果。
在第五示例中,录入参考对象时可以录入多种标准参考对象,或者多种特性的标准参考对象,在对象识别时,将被识别对象的信息与多个录入的信息均进行比较,得到是哪种标准参考对象(或者都不是)或者判断特性。值得注意的是,所述多种标准对象的信息可以被录入到终端产品,即基于光谱的分析设备中,或者移动终端中,例如电脑、手机等,也可以是被录入到云端根据需求调取。
因此,在根据本申请实施例的用于基于光谱的分析设备的对象识别方法中,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:获取所述基于光谱的分析设备的图像传感器分别对多种标准参考对象或者具有多种特性的标准参考对象的多个参考光谱响应数据。
并且,在上述用于基于光谱的分析设备的对象识别方法中,所述多个参考光谱响应数据存储于所述基于光谱的分析设备、移动终端或者云端。
示例性装置
图5图示了根据本申请实施例的用于基于光谱的分析设备的对象识别装置的框图。
如图5所示,根据本申请实施例的用于基于光谱的分析设备的对象识别装置200包括:参考数据获取单元210,用于获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;识别数据获取单元220,用于获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;比较识别单元230,用于基于所述参考数据获取单元210所获取的所述参考光谱响应数据与所述识别数据获取单元220所获取的所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述参考数据获取单元210用于:以所述基于光谱的分析设备探测所述参考对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述参考对象的所述参考光谱响应数据。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述识别数据获取单元220用于:以所述基于光谱的分析设备探测所述待识别对象;以及,记录所述基于光谱的分析设备的所述图像传感器对所述待识别对象的所述识别光谱响应数据。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230用于:将所述参考光谱响应数据中对应于所述图像传感器的每个像素单元的第一数值分别与所述识别光谱响应数据中对应于每个像素单元的第二数值组成对应于每个像素单元的二元数组;将多个二元数组中的所述第一数值和所述第二数值作为直角坐标系的横坐标和纵坐标映射到直角坐标系中以获得所述直角坐标系上的多个数据点;基于所述多个数据点在所述直角坐标系上拟合一条直线;以及,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果包括:确定所述多个数据点分别到所述直线的多个距离的平均值或者平方平均值;确定所述多个距离的平均值或者平方平均值是否大于预定阈值;以及,响应于所述多个距离的平均值或者平方平均值小于或者等于所述预定阈值,确定所述待识别对象与所述参考对象相同或者具有相同特性。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230用于:通过神经网络模型或者决策树模型来比较所述参考光谱响应数据与所述识别光谱响应数据;以及,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230用于:确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据包括:基于预定算法确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;以及,基于所述第一有效信息和所述第二有效信息确定所述第一部分数据和所述第二部分数据。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230确定所述参考光谱响应数据中的第一有效信息包括:响应于单次测量所获得的所述参考光谱响应数据中的有效信息不对应于所述识别光谱响应数据中的第二有效信息,通过多次测量获得多个参考光谱响应数据;以及,基于所述多个参考光谱响应数据确定所述第一有效信息。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述图像传感器包括对应于光调制层的调制单元的第一传感单元和对应于所述光调制层的非调制单元的第二传感单元,所述装置进一步包括:辅助信息获取单元,用于获取所述图像传感器的第二传感单元对于所述参考对象的第一辅助信息,和获取所述图像传感器的第二传感单元对于所述待识别对象的第二辅助信息;以及,所述比较识别单元230用于:使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;基于所述第一有效信息和所述第二有效信息确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中的第二部分数据;以及,基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,通过改变所述参考光谱响应数据和所述识别光谱响应数据的采集环境来获取合格的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述合格的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:使用所述第一辅助信息和所述第二辅助信息作为参考,对采集的所述参考光谱响应数据与所述识别光谱响应数据进行修正以获得修正的所述参考光谱响应数据和所述识别光谱响应数据;以及,基于所述修正的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述比较识别单元230用于:分别对所述参考光谱响应数据和所述识别光谱响应数据进行归一化以获得第一归一化数据和第二归一化数据;以及,基于所述第一归一化数据和所述第二归一化数据的比较结果确定所述待识别对象的识别结果。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述参考数据获取单元210用于:获取所述基于光谱的分析设备的图像传感器分别对多种标准参考对象或者具有多种特性的标准参考对象的多个参考光谱响应数据。
在一个示例中,在上述用于基于光谱的分析设备的对象识别装置200中,所述多个参考光谱响应数据存储于所述基于光谱的分析设备、移动终端或者云端。
这里,本领域技术人员可以理解,上述用于基于光谱的分析设备的对象识别装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图4描述的用于基于光谱的分析设备的对象识别方法中详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的用于基于光谱的分析设备的对象识别装置200可以实现在各种终端设备中,例如基于光谱的分析设备,移动终端或者设置在云端的服务器中。在一个示例中,根据本申请实施例的用于基于光谱的分析设备的对象识别装置200可以作为一个软件模块和/或硬件模块而集成到所述终端设备中。例如,该用于基于光谱的分析设备的对象识别装置200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该用于基于光谱的分析设备的对象识别装置200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该用于基于光谱的分析设备的对象识别装置200与该终端设备也可以是分立的设备,并且该用于基于光谱的分析设备的对象识别装置200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图6来描述根据本申请实施例的电子设备。
图6图示了根据本申请实施例的电子设备的框图。
如图6所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的用于基于光谱的分析设备的对象识别方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如参考光谱响应数据、识别光谱响应数据、比较结果等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,该输入装置13可以是例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,例如待识别对象的识别结果。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图6中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于基于光谱的分析设备的对象识别方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于基于光谱的分析设备的对象识别方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
示例性指纹识别模组
根据本申请实施例的用于基于光谱的分析设备的对象识别方法、装置和电子设备的一个应用示例是指纹识别模组。
图7图示了根据本申请实施例的指纹识别模组的示意性框图。
如图7所示,根据本申请实施例的指纹识别模组300包括:光学系统310;光谱芯片320,用于生成对参考指纹的参考光谱响应数据和对待识别指纹的识别光谱响应数据;以及,识别模块330,用于基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别指纹是否与所述参考指纹相匹配。这里,例如,所述识别模块330可以具体实现为如上所述的根据本申请实施例的用于基于光谱的分析设备的对象识别装置或者电子设备。
在根据本申请实施例的指纹识别模组中,经过光学系统的指纹图像会呈现中心清晰,四周模糊的样子,如图8所示。图8图示了本申请实施例的指纹识别模组的成像示意图。这里,所述指纹识别模组的光学系统310一般是透镜组件,在这种情况下,可以使用边缘像素来获取光谱响应数据,因为边缘具有更好的匀光特性,各像素点接收的光的光谱更加一致。而中心图像清晰的部分,可以使用传统的强度探测器,或者RGB探测器,来探测指纹纹路,实现指纹纹路和活体信息的同时识别。可以理解的是,在该情况下,至少部分所述滤光结构被设置于所述图像传感器的边缘和/或四角,由于边缘和/或四角具有较好的匀光特性可以使得光谱信息更加精确。因而,本领域技术人员可以理解,边缘和/或四角由于匀光特性存在使得成像效果较差,因此根据本申请实施例的指纹识别模组可以巧妙地将缺点转化为优势。
因此,在根据本申请实施例的指纹识别模组中,所述光谱芯片用于生成对参考指纹的边缘和/或四角的参考光谱响应数据和对待识别指纹的边缘和/或四角的识别光谱响应数据,以及对所述参考指纹的中心的参考图像数据和对所述待识别指纹的中心的识别图像数据;以及,所述识别模块用于基于所述参考光谱响应数据与所述识别光谱响应数据的第一比较结果,以及所述参考图像数据和与所述识别图像数据的第二比较结果来确定所述待识别指纹是否与所述参考指纹相匹配。
值得注意的是,在根据本申请实施例的指纹识别模组中,在中心区域的图像传感器上也可以设置有滤光结构,即所述光谱芯片中心区域也可以获取光谱响应数据。但是,中心部分用于获取和比较光谱响应数据的处理方式可以和边缘的处理方式不一致。比如边缘处采用类似于如上所述的第一示例的比较方式,而中心处采用如上所述的第三示例的比较方式。
因此,在根据本申请实施例的指纹识别模组中,所述识别模块包括:数据划分子单元,用于将所述参考光谱响应数据划分为对应于指纹的不同部分的第一部分参考光谱响应数据和第二部分参考光谱响应数据,和将所述识别光谱响应数据划分为对应于所述指纹的所述不同部分的第一部分识别光谱响应数据和第二部分识别光谱响应数据;第一比较子单元,用于以第一方式比较所述第一部分参考光谱响应数据与所述第一部分识别光谱响应数据以获得第一比较结果;第二比较子单元,用于以第二方式比较所述第二部分参考光谱响应数据与所述第二部分识别光谱响应数据以获得第二比较结果;以及,指纹匹配子单元,用于基于所述第一比较结果和所述第二比较结果确定所述待识别指纹是否与所述参考指纹相匹配。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (22)

1.一种用于基于光谱的分析设备的对象识别方法,其特征在于,包括:
获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;
获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;以及
基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
2.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:
以所述基于光谱的分析设备探测所述参考对象;以及
记录所述基于光谱的分析设备的所述图像传感器对所述参考对象的所述参考光谱响应数据。
3.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据包括:
以所述基于光谱的分析设备探测所述待识别对象;以及
记录所述基于光谱的分析设备的所述图像传感器对所述待识别对象的所述识别光谱响应数据。
4.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:
将所述参考光谱响应数据中对应于所述图像传感器的每个像素单元的第一数值分别与所述识别光谱响应数据中对应于每个像素单元的第二数值组成对应于每个像素单元的二元数组;
将多个二元数组中的所述第一数值和所述第二数值作为直角坐标系的横坐标和纵坐标映射到直角坐标系中以获得所述直角坐标系上的多个数据点;
基于所述多个数据点在所述直角坐标系上拟合一条直线;以及
基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果。
5.如权利要求4所述的用于基于光谱的分析设备的对象识别方法,其特征在于,基于所述多个数据点与所述直线的距离确定所述待识别对象的识别结果包括:
确定所述多个数据点分别到所述直线的多个距离的平均值或者平方平均值;
确定所述多个距离的平均值或者平方平均值是否大于预定阈值;以及
响应于所述多个距离的平均值或者平方平均值小于或者等于所述预定阈值,确定所述待识别对象与所述参考对象相同或者具有相同特性。
6.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:
通过神经网络模型或者决策树模型来比较所述参考光谱响应数据与所述识别光谱响应数据;以及
基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
7.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:
确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据;以及
基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
8.如权利要求7所述的用于基于光谱的分析设备的对象识别方法,其特征在于,确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中与所述第一部分数据对应的第二部分数据包括:
基于预定算法确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;以及
基于所述第一有效信息和所述第二有效信息确定所述第一部分数据和所述第二部分数据。
9.如权利要求8所述的用于基于光谱的分析设备的对象识别方法,其特征在于,确定所述参考光谱响应数据中的第一有效信息包括:
响应于单次测量所获得的所述参考光谱响应数据中的有效信息不对应于所述识别光谱响应数据中的第二有效信息,通过多次测量获得多个参考光谱响应数据;以及
基于所述多个参考光谱响应数据确定所述第一有效信息。
10.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,所述图像传感器包括对应于光调制层的调制单元的第一传感单元和对应于所述光调制层的非调制单元的第二传感单元,所述方法进一步包括:
获取所述图像传感器的第二传感单元对于所述参考对象的第一辅助信息;
获取所述图像传感器的第二传感单元对于所述待识别对象的第二辅助信息;以及
基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:
使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
11.如权利要求10所述的用于基于光谱的分析设备的对象识别方法,其特征在于,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:
使用所述第一辅助信息和所述第二辅助信息作为参考,确定所述参考光谱响应数据中的第一有效信息和所述识别光谱响应数据中的第二有效信息;
基于所述第一有效信息和所述第二有效信息确定所述参考光谱响应数据中的第一部分数据和所述识别光谱响应数据中的第二部分数据;以及
基于所述第一部分数据和所述第二部分数据的比较结果确定所述待识别对象的识别结果。
12.如权利要求10所述的用于基于光谱的分析设备的对象识别方法,其特征在于,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:
使用所述第一辅助信息和所述第二辅助信息作为参考,通过改变所述参考光谱响应数据和所述识别光谱响应数据的采集环境来获取合格的所述参考光谱响应数据和所述识别光谱响应数据;以及
基于所述合格的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
13.如权利要求10所述的用于基于光谱的分析设备的对象识别方法,其特征在于,使用所述第一辅助信息和所述第二辅助信息作为参考,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果,包括:
使用所述第一辅助信息和所述第二辅助信息作为参考,对采集的所述参考光谱响应数据与所述识别光谱响应数据进行修正以获得修正的所述参考光谱响应数据和所述识别光谱响应数据;以及
基于所述修正的参考光谱响应数据和识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
14.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果包括:
分别对所述参考光谱响应数据和所述识别光谱响应数据进行归一化以获得第一归一化数据和第二归一化数据;以及
基于所述第一归一化数据和所述第二归一化数据的比较结果确定所述待识别对象的识别结果。
15.如权利要求1所述的用于基于光谱的分析设备的对象识别方法,其特征在于,获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据包括:
获取所述基于光谱的分析设备的图像传感器分别对多种标准参考对象或者具有多种特性的标准参考对象的多个参考光谱响应数据。
16.如权利要求15所述的用于基于光谱的分析设备的对象识别方法,其特征在于,所述多个参考光谱响应数据存储于所述基于光谱的分析设备或者云端。
17.一种用于基于光谱的分析设备的对象识别装置,其特征在于,包括:
参考数据获取单元,用于获取所述基于光谱的分析设备的图像传感器对参考对象的参考光谱响应数据;
识别数据获取单元,用于获取所述基于光谱的分析设备的所述图像传感器对待识别对象的识别光谱响应数据;
比较识别单元,用于基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别对象的识别结果。
18.一种电子设备,其特征在于,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在所述处理器运行时使得所述处理器执行如权利要求1-16中任意一项所述的用于基于光谱的分析设备的对象识别方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,当所述计算机程序指令被计算装置执行时,可操作来执行如权利要求1-16中任意一项所述的用于基于光谱的分析设备的对象识别方法。
20.一种指纹识别模组,其特征在于,包括:
光学系统;
光谱芯片,用于生成对参考指纹的参考光谱响应数据和对待识别指纹的识别光谱响应数据;以及
识别模块,用于基于所述参考光谱响应数据与所述识别光谱响应数据的比较结果确定所述待识别指纹是否与所述参考指纹相匹配。
21.如权利要求20所述的指纹识别模组,其特征在于,
所述光谱芯片用于生成对参考指纹的边缘和/或四角的参考光谱响应数据和对待识别指纹的边缘和/或四角的识别光谱响应数据,以及对所述参考指纹的中心的参考图像数据和对所述待识别指纹的中心的识别图像数据;以及
所述识别模块用于基于所述参考光谱响应数据与所述识别光谱响应数据的第一比较结果,以及所述参考图像数据和与所述识别图像数据的第二比较结果来确定所述待识别指纹是否与所述参考指纹相匹配。
22.如权利要求20所述的指纹识别模组,其特征在于,所述识别模块包括:
数据划分子单元,用于将所述参考光谱响应数据划分为对应于指纹的不同部分的第一部分参考光谱响应数据和第二部分参考光谱响应数据,和将所述识别光谱响应数据划分为对应于所述指纹的所述不同部分的第一部分识别光谱响应数据和第二部分识别光谱响应数据;
第一比较子单元,用于以第一方式比较所述第一部分参考光谱响应数据与所述第一部分识别光谱响应数据以获得第一比较结果;
第二比较子单元,用于以第二方式比较所述第二部分参考光谱响应数据与所述第二部分识别光谱响应数据以获得第二比较结果;以及
指纹匹配子单元,用于基于所述第一比较结果和所述第二比较结果确定所述待识别指纹是否与所述参考指纹相匹配。
CN202110275126.XA 2021-03-15 2021-03-15 对象识别方法、装置和电子设备和指纹识别模组 Pending CN115147878A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110275126.XA CN115147878A (zh) 2021-03-15 2021-03-15 对象识别方法、装置和电子设备和指纹识别模组
PCT/CN2022/078786 WO2022193949A1 (zh) 2021-03-15 2022-03-02 对象识别方法、装置和电子设备和指纹识别模组

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110275126.XA CN115147878A (zh) 2021-03-15 2021-03-15 对象识别方法、装置和电子设备和指纹识别模组

Publications (1)

Publication Number Publication Date
CN115147878A true CN115147878A (zh) 2022-10-04

Family

ID=83322001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110275126.XA Pending CN115147878A (zh) 2021-03-15 2021-03-15 对象识别方法、装置和电子设备和指纹识别模组

Country Status (2)

Country Link
CN (1) CN115147878A (zh)
WO (1) WO2022193949A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069696A (en) * 1995-06-08 2000-05-30 Psc Scanning, Inc. Object recognition system and method
US8634607B2 (en) * 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
US10846530B2 (en) * 2018-12-18 2020-11-24 Bell Helicopter Textron Inc. Hyperspectral identification of target
CN111505820A (zh) * 2020-03-17 2020-08-07 清华大学 单片集成的图像传感芯片及光谱识别设备
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法

Also Published As

Publication number Publication date
WO2022193949A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
US20110200237A1 (en) Pattern matching device and pattern matching method
Angelopoulo et al. Multispectral skin color modeling
KR101276345B1 (ko) 다중 생체 인식 장치 및 방법
US7562057B2 (en) System and method for hyper-spectral analysis
KR100714726B1 (ko) 얼굴 인식 방법 및 장치
Uss et al. Maximum likelihood estimation of spatially correlated signal-dependent noise in hyperspectral images
CN104809450B (zh) 基于在线极限学习机的腕部静脉认证系统
KR102448123B1 (ko) 농산물 신선도 예측 방법 및 장치
Vetrekar et al. Low-cost multi-spectral face imaging for robust face recognition
Li et al. Quaternion-based multiscale analysis for feature extraction of hyperspectral images
Raja et al. Cross-spectral periocular recognition by cascaded spectral image transformation
Uemori et al. Skin-based identification from multispectral image data using CNNs
CN116849612B (zh) 一种多光谱舌象图像采集分析系统
WO2023125329A1 (zh) 活体指纹识别系统及其活体识别方法
Thaiyalnayaki et al. Finger print recognition using discrete wavelet transform
CN115147878A (zh) 对象识别方法、装置和电子设备和指纹识别模组
JP4626418B2 (ja) 対象物検出装置、及び対象物検出方法
CN115791628A (zh) 光谱恢复方法、光谱恢复装置和电子设备
Raghavendra et al. Mutual information based multispectral image fusion for improved face recognition
HOUSSOU et al. Robust facial recognition system using one shot multispectral filter array acquisition system
CN114818822A (zh) 联合半监督回归与图标签传播的脑电迁移情感识别方法
WO2006034223A2 (en) System and method for hyper-spectral analysis
CN115221932A (zh) 基于神经网络的光谱恢复方法、装置和电子设备
KR101094433B1 (ko) 인물 식별 방법 및 그 시스템
Chang et al. A new coefficient estimation method when using PCA for spectral super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination