CN114078206A - 目标验证方法及设备 - Google Patents

目标验证方法及设备 Download PDF

Info

Publication number
CN114078206A
CN114078206A CN202010835129.XA CN202010835129A CN114078206A CN 114078206 A CN114078206 A CN 114078206A CN 202010835129 A CN202010835129 A CN 202010835129A CN 114078206 A CN114078206 A CN 114078206A
Authority
CN
China
Prior art keywords
image
target
differential angle
point information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010835129.XA
Other languages
English (en)
Inventor
高煜
谢晖
杨莞琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN202010835129.XA priority Critical patent/CN114078206A/zh
Priority to EP21188368.1A priority patent/EP3958218A1/en
Publication of CN114078206A publication Critical patent/CN114078206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种利用电子设备实现目标验证方法及验证服务器，其中电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源。方法包括开启所述辅助光源，同时利用所述图像传感器捕获目标的图像；提取所述图像的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；存储所述特征点信息以及所述特征矢量作为用于验证所述目标的注册信息。

Description

目标验证方法及设备
技术领域
本发明涉及目标产品验证，尤其是涉及基于目标的表面纹理实现的目标验证。
背景技术
目前，图像识别技术常用于识别和验证不同的物体或目标，例如人脸的识别。由于不同人的脸存在着显著的差异，例如从平面、立体轮廓角度看等，因此可采用宏观或立体成像及分析技术来实现对人脸的识别。然而在某些应用场合，所区分的对象外观十分接近，例如同一型号的批次产品，像计算机键盘等。由于其宏观特征基本相同，因此通过采用分析其微观特征例如纹理特征来实现对每个对象的鉴别和验证。然而由于环境光的变化等因素，导致所提取的纹理特征有很大的随机性，因此为实现目标的验证带来了困扰。
发明内容
本发明提供一种改进的目标验证技术，其通过采用具有固定的照射强度的光源作为主导光来照射目标表面从而保证环境光稳定性，同时保证照光源与图像传感器之间始终保持相对固定，从而使得获取到的图像真实地反映了目标表面纹理对光线散射特征，实现对表面纹理的特征的真实反映。由此基于纹理特征实现对目标的验证。
按照本发明一个方面，提供一种利用电子设备实现目标验证方法，所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：开启所述辅助光源，同时利用所述图像传感器捕获目标的图像；提取所述图像的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；存储所述特征点信息以及所述特征矢量作为用于验证所述目标的注册信息。
按照本发明的另一个方面，提供一种目标验证方法，所述方法包括：从一用户电子设备接收待验证目标的图像，其中所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，并且所述图像是在所述辅助光源开启并照射所射所述目标表面的同时利用所述图像传感器捕获的；提取所述图像上预定区域的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；将所述特征点信息以及所述特征矢量与预先存储的注册信息进行匹配以验证所述目标。
按照本发明的另一个方面，提供一种利用用户电子设备实现目标验证方法，所述用户电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：开启所述辅助光源以照射所述目标，同时利用所述图像传感器捕获所述目标的图像；提取所述图像的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；将所述特征点信息与特征矢量传送给一远程服务器；从所述远程服务器接收关于所述目标是否验证通过的响应，其中所述服务器基于所接收的所述特征点信息与特征矢量与预先存储的参考身份的匹配程度来做出所述响应。
按照本发明的另一个方面，提供一种电子设备，其上集成有图像传感器以及用于提供摄像辅助光的辅助光源，所述电子设备还包括目标鉴别模块，用于本发明的方法。
附图说明
图1示意性示出了目标成像拍摄过程；
图2示出根据本发明一个示例的目标注册方法流程图；
图3示出根据本发明另一个示例的目标注册方法流程图；
图4示出根据本发明一个示例的目标验证方法流程图；
图5示出根据本发明另一个示例的目标验证方法流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于说明本发明为目的，而非限制性的。
为了实现目标例如产品的验证，有必要提取目标特征并确定这些特征的唯一表征，从而基于这些特征来验证目标。按照本发明的实施例，综合考虑了目标表面的宏观特征属性以及微观特征属性。在本例中，宏观特征可以是目标表面的特征区域或特征点信息，例如特征点或区域可以是在所述目标图像内的位置坐标以及特征描述矢量等；而微观特征可以是表面纹理特征。
按照本发明，在读取目标表面的纹理特征时，利用具有恒定光强的光源照射目标表面，同时采用图像传感器进行拍摄。为了准确反映这些纹理特征并避免由于光源与图像传感器的相对变化而导致干扰，按照本发明的实施例，要求光源与图像传感器保持固定相对位置关系，例如固定在电子设备内，例如使用手机中的闪光灯及图像传感器，其中在捕获目标图像时，保持闪光灯全程开启，从而保证闪光灯发出的辅助光作为图像捕获的主导光。
图1示意性示出了利用位于手机内的闪光灯与图像传感器拍摄目标300表面的示意图，图中三角形符号100表示图像传感器，而圆形符号200表示闪光灯。由于固定在手机框架内部，因此闪光灯200与传感器100具有固定的位置与朝向，例如，如图1所示，闪光灯200发出的投向目标300表面的入射光线与自目标表面反射给图像传感器100的反射光线保持相对固定的角度β。但不同的电子设备例如不同的手机之间，入射光线与反射光线之间的角度β可能会有所不同，但通常不会大于5度。因此采用固定的相对位置关系的光源与图像传感器，可以避免由于图像传感器与光源之间变化的位置例如角度等差异造成的对纹理表现散射特性的影响，因此可能干扰了对纹理表面特征的准确反映。
按照本发明的实施例，为了实现对目标例如产品的验证，首先在验证中心例如服务器处预先注册目标的身份验证信息。图2示例性示出用于目标验证的目标注册方法的流程图，在本例中以键盘为例予以说明。
如图2所示，在步骤201，将键盘保持不动，开启手机闪光灯200，同时利用图像传感器100拍摄键盘的一帧图像P。
在步骤202，提取图像P中多个特征点或由多个特征点限定的至少一个特征区域。这里可以采用现有技术中常用的视觉特征提取算法，例如ORB((Oriented FAST andRotated BRIEF))算法、尺度不变特征变换(SIFT)算法等。例如对于SIFT算法，其通过侦测与描述图像中的局部特征例如角点、或暗区中的亮点等，从而确定多个特征点。作为一个示例，可以围绕键盘上例如右shift键提取M个特征点，包括特征点的位置坐标[x,y]以及描述向量DV，以下记为(L1,DV1),(L2,DV2),……(LM,DVM)，其中L＝[x,y]。这里的位置坐标是在整个键盘图像区域内按照预定的坐标系建立的坐标，例如以键盘正常使用状态下左下角为坐标原点而建立的直角坐标系下的坐标。这里需要指出的是，在提取图像P中多个特征点之前，还可以进一步执行图像调整处理，例如对图像进行裁剪以消除键盘图像的环境干扰成像。
在步骤203，利用目标鉴别模型TCM处理在步骤201获取的图像P，以产生该图像的特征矢量，该特征矢量可以是鉴别模型TCM的分类指示输出，例如该分类指示输出可以是一个置信概率，该置信概率可以定义为当前键盘的鉴别码SN即特征矢量。在本发明的一个示例中，目标鉴别模型TCM可以是一个实现二分类的神经网络模型，例如采用激活函数sigmoid或tanh函数来输出分类概率值，该概率值可以作为鉴别码SN。在本发明中，目标鉴别模型TCM既可以是利用从待鉴别目标例如键盘收集的样本进行训练得到的用于图像分类的神经网络模型，也可以是其它基于大数据处理、机器学习得到的算法实现。
在步骤204，将步骤202确定的特征点信息(L1,DV1),(L2,DV2),……(LM,DVM)以及步骤203计算的身份标识SN存储在验证服务器中，作为当前键盘的注册特征点以及注册码，供以后对该键盘验证使用。
在上述实施例的步骤203中是针对一帧图像的处理而计算该键盘的注册码SN。在本发明的另一实施例中，为了更准确地反映每个键盘的纹理表面在不同角度下的视觉差异，从而更突出每个键盘的差异性，按照本发明的另一个实施例，通过对不同拍照角度下获取到的多帧图像进行处理来计算身份标识SN。
下面结合图3说明本发明另一实施例的目标注册方法流程，以该示例中，以鉴别键盘为例来说明本发明的方法流程。
在步骤301，将键盘保持在操作台上不动，开启手机闪光灯，通过沿着一定的转动方向(例如顺时针方向)移动或转动手机来获取不同拍照角度下目标300的一系列图像帧P1,P2,P3…PN。同时获取每帧图像的拍照角度θ1，θ2，…,θN。按照一个示例，N帧图像的拍照角θ1，θ2，…,θN可以使用手机内置的角度传感器等直接测量。例如，可以利用手机的连拍功能，在利用手机连续拍摄目标表面过程中，在图像传感器拍照获取到多帧图像的同时，读取角度传感器中三轴的角度变化信息，从而可获得多个图像帧P及每一帧下的角度θ。这里需要注意的是，可利用阈值θT，过滤掉这些图像中相邻图像的角度差大于阈值θT的，从而提取出符合阈值要求的N帧图像P1,P2,P3…PN。阈值θT通常取决于图像传感器的焦距以及图像传感器与闪光灯之间的距离，基于对市场上可得到的手机的统计，可将阈值θT设置为例如5度；但本发明不限于此，可根据其它实践要求而设定阈值θT。此外，这里需要指出的是，用于后续处理的N帧图像既可以是来自于同一连拍操作中，也可以是不同的连拍操作，只要保证在每个连拍操作下获取的多个图像帧满足上述阈值要求即可。
在步骤302，选择N帧图像中任一帧图像例如P1，并与图2中步骤202一样，提取图像P1中多个特征点或由多个特征限定的至少一个特征区域。例如作为一个示例，可以围绕键盘上例如右shift键提取M个特征点，包括特征点的位置坐标[x,y]以及描述向量DV，以下记为(L1,DV1),(L2,DV2),……(LM,DVM)。
在步骤303，计算N帧图像中每二幅相邻图像之间的差分角度图像DAI。为此按照本发明一个示例，指定N帧图像中的任一帧图像例如P1作为参考图像，将其余的N-1帧图像从几何上配准至图像P1。为实现图像配准，首先，确定要配准的二个图像上相同的特征点。作为一个示例，可以围绕键盘上特定键提取特征点，包括特征点的位置坐标[x,y]以及描述向量，通过匹配不同位置的特征点的描述向量来确定不同图像上相互匹配的特征点，这里描述向量的匹配可通过计算不同特征点的描述向量的相对距离来表示。假定图像P1上的特征点[x,y]与图像P2上的特征点[x′,y′]匹配，则
Figure BDA0002639390830000061
其中
Figure BDA0002639390830000062
即为单应性变换矩阵。由此通过找到多对[x′,y′]与[x,y]就可以解出单应性矩阵H中的各系数h。
基于所建立的单应性变换矩阵H，将整个P2配准至P1，从而形成第一转换图像帧P2’。类似地，建立P1与P3之间的单应性变换矩阵并将整个P3配准至P1，从而形成第二转换图像帧P3’。以此方式，可得到第1至第N帧图像(P1，P2，P3…Pi，…PN)的转换图像帧(P1’，P2’，P3’…Pi’,…PN’)，这里第一图像帧P1在转换前后保持不变，即P1’＝P1。由此可按照下式计算这N个转换图像帧与第1图像帧P1之间的差分角度图像ΔPi＝Pi’-P1，其中1≤i≤N，由此可获得N个差分角度图像ΔP1～ΔPN，其中ΔP1＝0。如前所述，在图像P以强度表示的情况下，ΔP表示二个图像帧Pi+1与Pi之间的强度差，而在在图像P以灰度表示的情况下，ΔP表示二个图像帧Pi+1与Pi之间的灰度差。
在步骤304，计算每相邻对图像帧(Pi-1,Pi)之间的拍照角度差Δθi＝θi-θi-1，由此基于拍照角度差Δθi，为差分角度图像ΔPi分配权重γi。作为一个示例，在分配权重时同时考虑目标表面的粗糙度。例如当表面粗糙程度低时，那么相对大的角度变化才可以观察到差异，如果粗糙度高，则相对小的角度变化更能描述这种变化，因此可基于不同情况来设置各拍照角度差的权重。
在步骤305，将多个差分角度图像ΔP乘以各自分配的权重来计算总差分角度图像SDAI，即
Figure BDA0002639390830000071
在步骤306，利用一经过训练的目标鉴别模型TCM来处理在步骤305得到的总差分角度图像SDAI，以产生对该图像的分类指示输出，同时将该输出值定义为当前待鉴别键盘的特征矢量或鉴别码SN。在本发明的一个示例中，目标鉴别模型TCM可以是一个实现二分类的神经网络模型，例如采用激活函数sigmoid或tanh函数来输出分类概率值，该概率值可以作为鉴别码SN。
目标鉴别模型TCM可采用卷积神经网络CNN、循环神经网络RNN实现，但目标鉴别模型TCM并不限于神经网络模型，还可以是以其它算法或数学表示表达的任何大数据机器学习模型，只要这种算法或数学表示能学习纹理散射特征即可。
在步骤307，在验证服务器中存储在步骤302确定的特征点信息，作为当前键盘的注册特征点，例如包括特征点的位置坐标和描述向量，即(L1,DV1),(L2,DV2),……(LM,DVM)。此外，还将步骤306计算得到的验证码SN与特征点信息相关联地存储在验证服务器中，作为当前键盘的注册码。所存储的注册特征点与注册码用于对该键盘的验证。
图4示出了按照本发明的一个示例用于对待验证目标进行验证的方法流程图。如图4所示，在步骤401，验证服务器从用户电子设备接收待验证目标例如键盘的图像P′，其中所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，并且所述图像P′是在所述辅助光源开启并照射所射所述目标表面的同时利用所述图像传感器捕获的。例如，这里的电子设备可以是手机或平板电脑等。
在步骤402，验证服务器提取图像P′上预定区域的特征点信息。例如按照注册时的要求，可提取图像P′上右shift键的M个预定位置L1,L2,……LM的描述向量DV′1,DV′2,……DV′M。
在步骤403，验证服务器将所提取的描述向量DV′1,DV′2,……DV′M与服务器中预先注册的特征点信息中的描述向量(DV1,DV2,……DVM)进行匹配，例如计算同一位置L的对应描述向量之间的相对距离D。如果M对描述向量中每对向量之间的相对距离(DV′i-DVi)均小于距离阈值DT，则认为图像P′上的特征点与注册图像P的注册特征点匹配，则进程前进至步骤404，否则返回步骤401。在另一实施例中，不必要求M对描述向量之间的相对距离(DV′i-DVi)全部小于距离阈值DT，例如只要超过80％的相对距离小于距离阈值DT，就可以认为图像P′上的特征点与注册图像P的注册特征点匹配。
在步骤404，验证服务器利用预先存储的图像注册时使用的图像鉴别模型TCM对图像P′进行处理以生成图像的特征矢量，例如验证码SN′。随后在步骤405，验证服务器确定验证码SN′与注册码SN是否匹配，例如如果二者相同或者在预定的容差范围内，则对所述目标键盘验证通过；否则确认该待验证键盘非注册键盘，验证失败，并返回步骤401继续等待下一次验证。
在该实施例中，验证服务器是从用户电子设备接收一帧图像P′来实现对键盘的验证。在另一实施例中所接收的还可以是一序列图像帧。由此，验证服务器可基于结合图3的步骤303-305生成一序列图像帧的总差分图像S′DAI,并利用针对差分角度图像训练的图像鉴别模型TCM来自处理总差分图像SDAI以生成验证码SN′。
在上面实施例中，用户电子设备将采集的图像上传到验证服务器进行后续的验证处理；而在本发明的另一实施例中，可在用户电子设备捕获到图像P′后，代之以上传图像P′，而是充分地利用目前用户电子设备自身强大的处理能力，在用户电子设备处对图像P′进行处理以获取特征点信息(L,DV′)以及生成验证码SN′。随后用户电子设备将信息(L,DV′)以及验证码SN′发送给验证服务器，进行验证。图5示出了根据该实施例的验证方法流程图，该方法可由用户电子设备例如手机实现，电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源。此外在手机内还包括具有计算能力的处理器以及存储有指令的存储器，其中处理器执行存储器中的指令来实现下述方法步骤。这里，指令以软件模块形式作为目标验证模块存储在存储器中。
在步骤501，开启手机内的辅助光源以照射待验证目标，同时利用电子设备内的图像传感器捕获目标的图像P′。在步骤502，提取图像P′上预定区域的特征点信息。在步骤503，利用一经过训练的图像鉴别模型TCM对图像P′进行处理以生成图像的特征矢量，例如验证码SN′。在步骤504，将特征点信息与验证码SN′传送给一远程服务器并等待验证服务器的处理结果，这里服务器基于所接收的特征点信息与验证码与预先存储的注册特征点与注册码的匹配程度来做出是否通过验证的响应决定。在步骤505，从远程服务器接收关于目标是否验证通过的响应，从而实现用户可基于手机来实现对产品的验证。
本发明的目标验证方法可以使用任何集成了光源与图像传感器的电子设备实现，除了手机外，这样的电子设备还包括平板电脑等，其中的光源可以在拍摄过程始终保护开启状态，从而为每帧图像的拍摄提供恒定的光线。按照本发明，由于在目标注册与目标验证时均采用了诸如手机这样的电子设备来采集图像，并且在采集图像时保持闪光灯全程开启以主导图像拍摄的环境光，因此可以保证无论是注册端还是用户端所采集的图像均是在相同或类似的环境条件、拍摄方式下得到的，因此可有效地避免因外在因素导致对产品的图像的干扰，从而妨碍对产品的准确验证。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，本领域人员在上述详细公开基础上可进行任何修改，包括特征的合并、替换、增加以及删除等。例如在图3所示的方法示例中，并不是所有步骤均是必须的，本领域人员可在此基础上进行修改。例如步骤304中基于拍照角度差Δθi为图像帧之间的差分角度图像ΔP分配权重的步骤在另一实施例中可以省掉，因此这样方案同样视为本公开一部分。本发明保护范围由所附的权利要求来限定。

Claims (26)

1.一种利用电子设备实现目标验证方法，所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：
开启所述辅助光源，同时利用所述图像传感器捕获目标的图像；
提取所述图像的特征点信息；
利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；
存储所述特征点信息以及所述特征矢量作为用于验证所述目标的注册信息。
2.如权利要求1的方法，其中所述特征点信息包括：所述特征点在所述目标上的位置信息以及所述特征点的描述向量。
3.如权利要求1或2的方法，其中所捕获的目标的图像为在不同的拍照角度下捕获的一系列图像帧；
其中利用图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量包括：
利用单应性变换，对所述一系列图像帧进行配准并计算配准后的后一帧图像相对前一帧图像的差分角度图像，所述差分角度图像代表所述目标的表面纹理在不同拍照角度下光线散射差异；
处理所述差分角度图像以产生表征所述目标的所述特征矢量。
4.如权利要求3的方法，进一步包括：
选择所述多个图像帧上的同一参考对象并提取所述参考对象的参考特征点信息；
处理所述参考特征点信息以生成用于所述单应性变换的变换矩阵。
5.如权利要求3的方法，其中处理所述差分角度图像包括：
对所述差分角度图像求和以生成表示所述待鉴别目标在不同拍照角度下的总差分角度图像；
利用所述目标鉴别模型处理所述总差分角度图像以输出所述鉴别码。
6.如权利要求5的方法，其中对所述多个差分角度图像求和包括：
基于与每个差分角度图像对应的拍照角度差，为该差分角度图像分配权重；
对经过加权的所述多个差分角度图像求和以计算所述总差分角度图像。
7.如权利要求5的方法，其中对所述多个图像帧进行配准包括：
将所述多个图像帧中的后一帧图像配准到相邻的前一帧图像；或
以所述多个图像帧的一帧图像为基准，将所述多个图像帧的其余图像帧配准到所述一帧图像。
8.如权利要求1或2的方法，其中所述目标鉴别模型为经过训练的神经网络模型。
9.一种目标验证方法，所述方法包括：
从一用户电子设备接收待验证目标的图像，其中所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，并且所述图像是在所述辅助光源开启并照射所射所述目标表面的同时利用所述图像传感器捕获的；
提取所述图像上预定区域的特征点信息；
利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；
将所述特征点信息以及所述特征矢量与预先存储的注册信息进行匹配以验证所述目标。
10.如权利要求1的方法，其中所述特征点信息包括：所述特征点在所述目标上位置信息以及所述特征点的描述向量，并且所述注册信息包括注册特征点信息以及注册特征矢量。
11.如权利要求9或10的方法，其中所接收的待验证目标的图像为在不同的拍照角度下捕获的一系列图像帧；
其中利用图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量包括：
利用单应性变换，对所述一系列图像帧进行配准并计算配准后的后一帧图像相对前一帧图像的差分角度图像，所述差分角度图像代表所述鉴别目标的表面纹理在不同拍照角度下的光线散射差异；
处理所述差分角度图像以产生表征所述待验证目标的所述特征矢量。
12.如权利要求9或10的方法，进一步包括：
选择所述多个图像帧上的同一参考对象并提取所述参考对象的特征点信息；
处理所述特征点信息以生成用于所述单应性变换的变换矩阵。
13.如权利要求11的方法，其中处理所述差分角度图像包括：
对所述差分角度图像求和以生成表示所述待鉴别目标在不同拍照角度下的总差分角度图像；
利用所述目标鉴别模型处理所述总差分角度图像以输出所述鉴别码。
14.如权利要求13的方法，其中对所述多个差分角度图像求和包括：
基于与每个差分角度图像对应的拍照角度差，为该差分角度图像分配权重；
对经过加权的所述多个差分角度图像求和以计算所述总差分角度图像。
15.如权利要求11的方法，其中对所述多个图像帧进行配准包括：
将所述多个图像帧中的后一帧图像配准到相邻的前一帧图像；或
以所述多个图像帧的一帧图像为基准，将所述多个图像帧的其余图像帧配准到所述一帧图像。
16.如权利要求9或10的方法，其中所述目标鉴别模型为经过训练的神经网络模型。
17.如权利要求10的方法，其中
将所述特征点信息以及所述特征矢量与预先存储的所述注册信息进行匹配包括:
通过计算不同特征点的描述向量的相对距离来表示特征点的匹配程度。
18.一种利用用户电子设备实现目标验证方法，所述用户电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：
开启所述辅助光源以照射所述目标，同时利用所述图像传感器捕获所述目标的图像；
提取所述图像的特征点信息；
利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；
将所述特征点信息与特征矢量传送给一远程服务器；
从所述远程服务器接收关于所述目标是否验证通过的响应，其中所述服务器基于所接收的所述特征点信息与特征矢量与预先存储的参考身份的匹配程度来做出所述响应。
19.如权利要求18的方法，其中所述特征点信息包括：所述特征点在所述目标上位置信息以及所述特征点的描述向量。
20.如权利要求18或19的方法，其中所捕获的待验证目标的图像为在不同的拍照角度下捕获的一系列图像帧；
其中利用图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量包括：
利用单应性变换，对所述一系列图像帧进行配准并计算配准后的后一帧图像相对前一帧图像的差分角度图像，所述差分角度图像代表所述鉴别目标的表面纹理在不同拍照角度下的光线散射差异；
处理所述差分角度图像以产生表征所述待验证目标的所述特征矢量。
21.如权利要求18或19的方法，进一步包括：
选择所述多个图像帧上的同一参考对象并提取所述参考对象的特征点信息；
处理所述特征点信息以生成用于所述单应性变换的变换矩阵。
22.如权利要求20的方法，其中处理所述差分角度图像包括：
对所述差分角度图像求和以生成表示所述待鉴别目标在不同拍照角度下的总差分角度图像；
利用所述目标鉴别模型处理所述总差分角度图像以输出所述鉴别码。
23.如权利要求22的方法，其中对所述多个差分角度图像求和包括：
基于与每个差分角度图像对应的拍照角度差，为该差分角度图像分配权重；
对经过加权的所述多个差分角度图像求和以计算所述总差分角度图像。
24.如权利要求22的方法，其中对所述多个图像帧进行配准包括：
将所述多个图像帧中的后一帧图像配准到相邻的前一帧图像；或
以所述多个图像帧的一帧图像为基准，将所述多个图像帧的其余图像帧配准到所述一帧图像。
25.如权利要求18或19的方法，其中所述目标鉴别模型为经过训练的神经网络模型。
26.一种电子设备，其上集成有图像传感器以及用于提供摄像辅助光的辅助光源，所述电子设备还包括目标鉴别模块，用于执行权利要求18-25之一的方法。
CN202010835129.XA 2020-08-19 2020-08-19 目标验证方法及设备 Pending CN114078206A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010835129.XA CN114078206A (zh) 2020-08-19 2020-08-19 目标验证方法及设备
EP21188368.1A EP3958218A1 (en) 2020-08-19 2021-07-29 Object identification method and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010835129.XA CN114078206A (zh) 2020-08-19 2020-08-19 目标验证方法及设备

Publications (1)

Publication Number Publication Date
CN114078206A true CN114078206A (zh) 2022-02-22

Family

ID=77126592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010835129.XA Pending CN114078206A (zh) 2020-08-19 2020-08-19 目标验证方法及设备

Country Status (2)

Country Link
EP (1) EP3958218A1 (zh)
CN (1) CN114078206A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9171195B1 (en) * 2014-06-16 2015-10-27 Amazon Technologies, Inc. Recognizing three-dimensional objects

Also Published As

Publication number Publication date
EP3958218A1 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
US11657525B2 (en) Extracting information from images
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
US11941918B2 (en) Extracting information from images
Sepas-Moghaddam et al. Light field-based face presentation attack detection: reviewing, benchmarking and one step further
JP3855025B2 (ja) 個人認証装置
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
TWI669664B (zh) 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN113298158B (zh) 数据检测方法、装置、设备及存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
WO2021082045A1 (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN114330565A (zh) 一种人脸识别方法及装置
CN109785439B (zh) 人脸素描图像生成方法及相关产品
JP7269897B2 (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
EP3955160A1 (en) Target identification method and device
CN109389367B (zh) 人员考勤方法、装置及存储介质
CN114078206A (zh) 目标验证方法及设备
CN114140839A (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
CN112016505A (zh) 基于人脸图像的活体检测方法、设备、存储介质及装置
WO2006025129A1 (ja) 個人認証装置
WO2023109551A1 (zh) 一种活体检测方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination