CN113111723A - 图像处理方法、装置、智能终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了图像处理方法、装置、智能终端及计算机可读存储介质，其中，上述图像处理方法包括：获取目标对象的手掌的第一图像、第二图像和距离信息；基于上述距离信息对上述第一图像和上述第二图像进行对齐；基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。与现有技术中基于固定的偏移值对图像进行对齐的方案相比，本发明方案可以根据目标对象的手掌的距离信息来进行图像对齐，可以适用于不同的场景，在用户手掌位置变化的情况下也可以根据距离信息进行调整和对齐，有利于提高图像对齐的准确性。

Description

图像处理方法、装置、智能终端及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及的是一种图像处理方法、装置、智能终端及计算机可读存储介质。

背景技术

随着科学技术的迅速发展，越来越多的领域需要使用生物特征进行身份鉴别和权限管理。现有技术中，通常使用用户的相关图像，例如掌纹图像来提取用户的生物特征，并进一步进行身份鉴定。目前，活体掌纹识别同时利用掌纹特征和皮下掌静脉纹特征进行识别，提高防伪能力。在此基础上，需要将分别包含掌静脉纹特征的图像和包含掌纹特征的图像进行对齐，从而提取对应的感兴趣区域(ROI，Region Of Interest)中的生物特征信息，实现用户身份识别。

现有技术中，通常通过一个固定的偏移值对两幅图像进行对齐。现有技术的问题在于，固定的偏移值无法适用不同场景，且用户手掌位置变化会带来较大的误差，影响图像对齐的准确性。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种图像处理方法、装置、智能终端及计算机可读存储介质，旨在解决现有技术中通过一个固定的偏移值对两幅图像进行对齐时，无法适用不同场景，且用户手掌位置变化会带来较大的误差，影响图像对齐的准确性的问题。

为了实现上述目的，本发明第一方面提供一种图像处理方法，其中，上述方法包括：

获取目标对象的手掌的第一图像、第二图像和距离信息；

基于上述距离信息对上述第一图像和上述第二图像进行对齐；

基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。

可选的，上述获取目标对象的手掌的第一图像、第二图像和距离信息，包括：

实时获取上述目标对象的手掌的距离信息；

基于上述距离信息，通过第一摄像头获取上述第一图像，通过第二摄像头获取上述第二图像。

可选的，上述实时获取上述目标对象的手掌的距离信息，包括：

通过测距传感器实时获取上述目标对象的手掌与上述测距传感器之间的距离，作为上述距离信息。

可选的，上述基于上述距离信息对上述第一图像和上述第二图像进行对齐，包括：

获取对上述第一摄像头和上述第二摄像头进行标定后的成像模型；

基于上述成像模型对上述测距传感器的参数进行标定，获取测距模型；

基于上述距离信息、上述成像模型和上述测距模型对上述第一图像和上述第二图像进行对齐。

可选的，上述基于上述距离信息、上述成像模型和上述测距模型对上述第一图像和上述第二图像进行对齐，包括：

基于上述成像模型和上述测距模型，获取上述目标对象的手掌在上述第一图像和上述第二图像中的偏差量；

基于上述偏差量将上述第一图像和上述第二图像中的手掌区域对齐。

可选的，上述第一图像为红外图像，上述第二图像为可见光图像。

可选的，上述目标手掌图像包括掌静脉图像和掌纹图像，上述基于对齐后的上述第一图像和上述第二图像获取目标手掌图像，包括：

基于对齐后的上述第一图像定位手掌感兴趣区域；

获取对齐后的上述第一图像中上述手掌感兴趣区域对应的图像，作为上述掌静脉图像；

获取对齐后的上述第二图像中上述手掌感兴趣区域对应的图像，作为上述掌纹图像。

本发明第二方面提供一种图像处理装置，其中，上述装置包括：

数据获取模块，用于获取目标对象的手掌的第一图像、第二图像和距离信息；

对齐模块，用于基于上述距离信息对上述第一图像和上述第二图像进行对齐；

目标手掌图像获取模块，用于基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。

本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的图像处理程序，上述图像处理程序被上述处理器执行时实现任意一项上述图像处理方法的步骤。

本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有图像处理程序，上述图像处理程序被处理器执行时实现任意一项上述图像处理方法的步骤。

由上可见，本发明方案获取目标对象的手掌的第一图像、第二图像和距离信息；基于上述距离信息对上述第一图像和上述第二图像进行对齐；基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。与现有技术中基于固定的偏移值对图像进行对齐的方案相比，本发明方案可以根据目标对象的手掌的距离信息来进行图像对齐，可以适用于不同的场景，在用户手掌位置变化的情况下也可以根据距离信息进行调整和对齐，有利于提高图像对齐的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种图像处理方法的流程示意图；

图2是本发明实施例图1中步骤S100的具体流程示意图；

图3是本发明实施例图1中步骤S200的具体流程示意图；

图4是本发明实施例图3中步骤S203的具体流程示意图；

图5是本发明实施例图1中步骤S300的具体流程示意图；

图6是本发明实施例提供的一种双目采集模型示意图；

图7是本发明实施例提供的一种物理成像模型及对应的图像坐标系示意图；

图8是本发明实施例提供的一种畸变校正之后的成像模型及对应的图像坐标系示意图；

图9是本发明实施例提供的一种立体校正之后的成像模型及对应的图像坐标系示意图；

图10是本发明实施例中图9的y-o-z坐标系视角示意图；

图11是本发明实施例提供的一种对齐后的图像坐标系示意图；

图12是本发明实施例提供的一种测距模型示意图；

图13是本发明实施例中提供的一种手掌采集模型示意图；

图14是本发明实施例提供的一种不同采集距离对应的视差范围分布图；

图15是本发明实施例提供的一种图像处理装置的结构示意图；

图16是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

随着科学技术的迅速发展，越来越多的领域需要使用生物特征进行身份鉴别和权限管理，如海关、地铁、车站、机场等场所使用生物特征识别闸机进行通关管理；学校、企业、政府部门使用生物特征识别考勤机进行考勤；银行、智能楼宇、监狱使用生物特征识别门禁和闸机进行权限管理；商场、自助零售超市等场所使用人脸、掌纹识别模块进行便捷支付；个人用户使用生物特征识别终端进行隐私保护和智能居家门禁。其中，掌纹相较于其它生物特征如人脸、虹膜、笔迹、指纹等具有特征丰富、精度高、容错性强及用户接受度高的突出优点。且掌纹识别可以同掌静脉识别进行结合，形成具有活体检测功能的掌纹识别系统(以下简称活体掌纹识别)。掌静脉处于皮肤内部，与外界隔离，并且静脉血管中的脱氧血红蛋白对红外光谱具有吸收特性，能够在红外光的照射下形成明显的静脉血管纹理图像。且掌纹和掌静脉具有稳定、安全和活体检测能力强的特点。活体掌纹识别同时利用掌纹特征和皮下掌静脉纹特征，能够抵御生物特征识别中的照片攻击和视频攻击，因而具有很高的防伪能力。

目前的活体掌纹识别设备可大致分为非接触式和接触式两大类。接触式掌纹采集设备需要设定立柱对用户的手掌位置进行限定，极大的影响了用户的使用体验和使用速度。并且现有接触式掌纹采集设备体积过于庞大，难以作为模块集成到其他系统平台上。接触式的采集方式也会增加细菌传播的风险，不利于在人流量大的公共场合部署使用。非接触的采集方式能够避免接触式细菌传播问题，用户体验良好，因此受到广泛关注。

掌纹识别流程可以分为图像预处理、手掌区域分割、掌纹感兴趣区域定位(掌纹ROI定位)、特征提取和识别几个部分。其中，对最终效果影响较大的步骤为掌纹ROI定位。掌静脉ROI和掌纹ROI对齐方法的精度和速度对系统的识别性能至关重要。因此，需要将分别包含掌静脉纹特征的图像和包含掌纹特征的图像进行对齐，从而提取对应的感兴趣区域(ROI，Region Of Interest)中的生物特征信息，实现用户身份识别。

现有技术中，通常通过一个固定的偏移值对两幅图像进行对齐。但该方法并未从根本上解决问题，固定的偏移值无法适用不同场景，要求用户在每次采集图像时都要将手掌放在某一固定位置，影响用户体验，且用户手掌位置变化会带来较大的误差，影响图像对齐的准确性，从而影响用户身份识别的准确性。

现有技术中，还通过肤色模型提取可见光图像中的手掌区域，然后将其作为模板同红外图像中的手掌区域做相关运算，来估算手掌偏移。但该方案只能粗糙对齐，精度差，且基于肤色的分割计算量大。

为了解决现有技术的问题，本发明提供一种图像处理方法，在本发明实施例中，获取目标对象的手掌的第一图像、第二图像和距离信息；基于上述距离信息对上述第一图像和上述第二图像进行对齐；基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。与现有技术中基于固定的偏移值对图像进行对齐的方案相比，本发明方案可以根据目标对象的手掌的距离信息来进行图像对齐，可以适用于不同的场景，在用户手掌位置变化的情况下也可以根据距离信息进行调整和对齐，有利于提高图像对齐的准确性。

示例性方法

如图1所示，本发明实施例提供一种图像处理方法，具体的，上述方法包括如下步骤：

步骤S100，获取目标对象的手掌的第一图像、第二图像和距离信息。

其中，上述目标对象为需要进行手掌信息采集的用户，上述第一图像和第二图像是同时采集的双目图像，包含用户的手掌信息。其中，上述手掌信息包括掌纹信息和掌静脉信息。上述距离信息用于体现用户的手掌的位置。

步骤S200，基于上述距离信息对上述第一图像和上述第二图像进行对齐。

其中，上述距离信息是根据用户的手掌的实时位置采集的距离信息，可以体现用户实时的手掌位置。从而基于用户手掌的不同位置对固定的摄像头获取的第一图像和第二图像进行对齐，以实现在用户手掌位置不同的情况下的图像对齐。

步骤S300，基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。

其中，上述目标手掌图像为对齐后的图像。可选的，上述目标手掌图像可以是对齐后的手掌ROI图像。在根据用户的手掌图像采集用户的手掌信息时，可能只需要根据手掌的部分感兴趣区域的图像采集相关信息，具体的感兴趣区域可以基于实际需求进行预先设置和调整，在此不做具体限定。

由上可见，本发明实施例提供的图像处理方法获取目标对象的手掌的第一图像、第二图像和距离信息；基于上述距离信息对上述第一图像和上述第二图像进行对齐；基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。与现有技术中基于固定的偏移值对图像进行对齐的方案相比，本发明方案可以根据目标对象的手掌的距离信息来进行图像对齐，可以适用于不同的场景，在用户手掌位置变化的情况下也可以根据距离信息进行调整和对齐，有利于提高图像对齐的准确性。

具体的，本实施例中，如图2所示，上述步骤S100包括：

步骤S101，实时获取上述目标对象的手掌的距离信息。

步骤S102，基于上述距离信息，通过第一摄像头获取上述第一图像，通过第二摄像头获取上述第二图像。

具体的，可以通过测距传感器实时获取上述目标对象的手掌与上述测距传感器之间的距离，作为上述距离信息。其中，上述测距传感器是一个位置固定的传感器，可以是飞行时间(TOF)单点测距传感器，还可以是其它具有测距功能的传感器，在此不做具体限定。

具体的，上述步骤S102中，当上述距离信息小于预设的距离阈值，即用户的手掌靠的足够近(且大于最小工作距离)时，可以视为用户进入测量区域，此时通过第一摄像头获取第一图像，通过第二摄像头获取第二图像。其中，上述预设的距离阈值可以根据实际需求进行设置和调整，在此不做具体限定。

在一种具体应用场景中，通过一个非接触活体掌纹采集装置进行上述第一图像和第二图像的采集，该装置可以包括双目相机模组、滤光片、光源LED阵列、匀光板、光源控制器、TOF单点测距传感器。其中，双目相机模组包括一个近红外摄像头(第一摄像头)和一个可见光摄像头(第二摄像头)，光源阵列包括可见光LED和近红外光LED，滤光片包括可见光通过滤光片和近红外光通过滤光片。可选的，还可以设置一红外传感器，用于检测用户手掌的靠近。当没有手掌靠近时，上述装置处于待机状态，光源关闭，摄像头和测距传感器也不工作，当红外传感器检测到用户手掌靠近时，使该装置进入工作状态，通过该TOF单点测距传感器测量手掌的距离信息，通过双目相机模组中的摄像头采集第一图像和第二图像。可选的，也可以直接使用单点测距传感器来检测用户手掌的靠近，在此不做具体限定。

具体的，本实施例中，如图3所示，上述步骤S200包括：

步骤S201，获取对上述第一摄像头和上述第二摄像头进行标定后的成像模型。

步骤S202，基于上述成像模型对上述测距传感器的参数进行标定，获取测距模型。

步骤S203，基于上述距离信息、上述成像模型和上述测距模型对上述第一图像和上述第二图像进行对齐。

其中，上述成像模型体现了两个图像(第一图像和第二图像)中坐标的关系，上述测距模型体现了测距传感器的空间坐标和姿态向量，从而可以表示上述距离信息与上述两个图像中的点的坐标关系。

实际使用中，由于机械误差和安装工艺的限制，两个摄像头的视角无法保证是相互平行的，测距传感器的姿态也无法确保安装理想；另一方面，由于聚焦成像、镜头加工和安装工艺的原因，所获得的图像存在径向畸变和切向畸变。这些随机因素使得设备间成像模型的一致性无法保证。双模态图像之间的关系复杂不利于图像对齐；设备间的一致性也无法得到保证；因此，需要先对双目成像系统进行标定和立体校正。

可选的，可以根据张正友标定法，通过采集棋盘格图像对上述成像模型的各项参数进行立体标定。上述成像模型的参数包括第一摄像头(相机1)和第二摄像头(相机2)的内参、外参、立体校正变换矩阵、立体校正之后第一摄像头和第二摄像头的内参和外参。其中，上述内参包括镜头等效焦距、主点坐标、镜头径向畸变参数、切向畸变参数；上述外参包括两个相机间的旋转矩阵和平移向量；立体校正的参数包括两个相机对应的旋转矩阵、校正之后两个新相机模型的内参和外参。在得到成像模型的各项参数后，在成像模型的基础上对测距传感器的参数进行标定和求解，从而得到系统的测距模型。其中，上述测距模型的参数(传感器姿态向量)包括测距传感器的空间位置及其朝向的方向向量。

具体的，本实施例中，如图4所示，上述步骤S203包括：

步骤S2031，基于上述成像模型和上述测距模型，获取上述目标对象的手掌在上述第一图像和上述第二图像中的偏差量。

步骤S2032，基于上述偏差量将上述第一图像和上述第二图像中的手掌区域对齐。

具体的，根据上述成像模型和测距模型，实时求解手掌区域在第一图像和第二图像中的偏差量，从而实现将上述第一图像和第二图像中的手掌区域对齐。

可选的，上述第一图像为红外图像，上述第二图像为可见光图像。

具体的，本实施例中，上述目标手掌图像包括掌静脉图像和掌纹图像，如图5所示，上述步骤S300包括：

步骤S301，基于对齐后的上述第一图像定位手掌感兴趣区域。

步骤S302，获取对齐后的上述第一图像中上述手掌感兴趣区域对应的图像，作为上述掌静脉图像。

步骤S303，获取对齐后的上述第二图像中上述手掌感兴趣区域对应的图像，作为上述掌纹图像。

基于可见光图像的手掌ROI定位方法，往往受限于训练样本的规模，以及外界环境的变化，鲁棒性受到了很大的限制。而红外图像中手掌区域背景区域更为明亮，图像对比度高。因此红外图像有利于进行手掌分割和ROI定位。不同环境下的红外手掌一致性也远远高于可见光图像。因此本实施例中，可以先基于红外图像定位手掌ROI，然后基于可见光图像与红外图像的对应关系定位可见光图像中的手掌ROI，分别获得掌静脉图像和掌纹图像。

本实施中，还基于一种具体应用场景对上述图像处理方法进行说明。图6是本发明实施例提供的一种双目采集模型示意图，如图6所示，本发明实施例中，使用相邻的两个摄像头Camera1(第一摄像头)和Camera2(第二摄像头)对手掌进行双目图像采集。图7是本发明实施例提供的一种物理成像模型及对应的图像坐标系示意图，图8是本发明实施例提供的一种畸变校正之后的成像模型及对应的图像坐标系示意图，图9是本发明实施例提供的一种立体校正之后的成像模型及对应的图像坐标系示意图，图10是本发明实施例中图9的y-o-z坐标系视角示意图，图11是本发明实施例提供的一种对齐后的图像坐标系示意图。本实施例中，第一摄像头和第二摄像头沿着垂直方向由上到下相邻排列，图7是双目相机的实际成像模型(Model-A)，即相机实际采集到的图像对应的模型，该模型下两个相机的视角不平行，并且包含相机镜头的畸变。因此，生成的两幅图像(掌纹图像和掌静脉图像)之间关系复杂，不利于对齐和校正。因此，对该实际成像模型进行畸变校正后得到图8中所示的成像模型(Model-B)，去除了由于相机镜头造成的图像畸变。进一步的，将Model-B经过旋转、尺度缩放等变换(双目相机的立体校正)获得图9所示的立体校正后的成像模型(Model-C)。在图9所示的Model-C中，两个摄像头完全平行，并且两幅图像的列是对齐的，即手掌上的p点在两幅图像中处于相同的列，但是行号不同。图10是图9的y-o-z坐标系视角，图11体现了最后对齐后的图像坐标系。

具体的，如图7到图11所示，给定空间中一点p，设其在Model-A中所成双模态图像(红外掌静脉图像和可见光掌纹图像，即第一图像和第二图像)中的像素坐标分别为(u_d1,v_d1)和(u_d2,v_d2)，相应的，在Model-B中对应的坐标分别为(u₁,v₁)和(u₂,v₂)，在Model-C中对应的坐标分别为(u₁',v′₁)和(u'₂,v'₂)，最终对齐后的坐标分别为(u″₁,v″₁)和(u″₂,v″₂)。其中，不同的编号(下标1和2)分别代表第一摄像头和第二摄像头对应的图像中的坐标。

当两幅图像对齐时，p在两个摄像头生成的两幅图像中的坐标相同，则有：

假定以相机1为参考相机，对齐前后其图像坐标不发生改变，即：

根据上述公式(1)和(2)，令相机2中的图像对齐到相机1中，则有：

其中，u′₁和v′₁是p点在立体校正之后(即图9对应的成像模型中)的第一图像中的横坐标和纵坐标，由于是通过变换第二图像来对齐到第一图像，所以第一图像中的点的坐标在图像对齐前后没有发生改变。

可选的，可以采用Bouguet方法对双目相机进行立体校正，在完成立体校正后，对应于图9中Model-C，掌纹图像和掌静脉图像已经列对齐，设行偏差为ρ(即目标对象的手掌在第一图像和第二图像中的偏差量)，则p点在Model-C的两幅图像中的像素坐标(u′₁,v′₁)和(u'₂,v'₂)有如下关系：

由于相机采集到的图像是非理想的(带畸变、非对齐)，但是需要利用这些非理想的数据生成理想的、校正之后的图像，需要建立两者之间的坐标关系。给定理想图像中的一个像素坐标，要能够反查到其对应的畸变图像坐标，然后利用畸变的像素值映射生成当前立体校正之后的像素。图像对齐过程即由设备采集到的两幅图像生成对齐之后的两幅图像，也即求取由(u″₁,v″₁)到(u_d1,v_d1)，由(u″₂,v″₂)到(u_d2,v_d2)这两个变换关系。

由以上公式(1)到公式(4)可得：

从而将图像对齐转换为两个子问题，即由坐标(u′₁,v′₁)和(u′₂,v'₂)变换到(u_d1,v_d1)和(u_d2,v_d2)，以及求取行视差ρ。

进一步的，通过Bouguet方法进行立体校正、极线对齐，首先通过旋转原始的两个相机坐标系使得两坐标系(各个坐标轴)相互平行，并且基线B与相机坐标系的x-o-z平面垂直；然后根据欲生成的图像尺寸和双目重叠视场区域生成虚拟的相机内参和外参矩阵。

在进行立体校正求解参数时，可设置立体校正之后的两个相机模型具有相同的主点和像素尺寸则立体校正之后相机的内参模型参数：

其中，(f′_x,f′_y)为x和y方向上的等效焦距且f′_x＝f′_y＝f'，(c'_x,c'y)为主点。以上变量均以像素为单位。

根据针孔成像模型，将Model-C下立体校正之后两相机的图像坐标(u′_i,v′_i),i∈{1,2}转化到三维相机坐标系中有：

将三维坐标(x′_i,y′_i,1)^T逆旋转回相机模型Model-B(即畸变校正之后的成像模型)中：

其中R_i,i∈{1,2}为立体校正时求得的对应两相机(相机1、相机2)的模型(由Model-B变换到Model-C)的旋转矩阵。其中，[X_i,Y_i,Z_i]^T代表Model-B中相机i对应的图像中的点的三维坐标，因为相机有不同的分辨率、不同的图像大小、不同的p点距离，因此讨论畸变是跟尺度相关的。所以令z＝1，统一在z＝1的平面内，讨论x和y方向的畸变。

在z轴方向上再次归一化三维坐标[X_i,Y_i,Z_i]^T：

[x_i,y_i,1]^T＝[X_i/Z_i,Y_i/Z_i,1]^T (9)

对坐标(x_i,y_i)^T引入镜头畸变有：

其中，i是相机的编号；k₁,k₂是镜头的径向畸变参数；p₁,p₂是镜头的切向畸变参数；r是p的像点到光心c的距离。r²,r⁴分别表示r的平方和4次方。

将三维坐标(x_di,y_di,1)^T投影回原始成像平面得到成像坐标(u_di,v_di)^T：

其中，i∈{1,2}，分别对应第一摄像头(相机1)和第二摄像头(相机2)的编号，A_i为真实相机的内参矩阵，A_i中各个符号的意义与上述描述相同，在此不再赘述，通过相机立体标定可以获得上述内参矩阵中的各个变量的值。如此，通过上述公式(7)到公式(11)可以获得立体校正坐标到原始图像坐标的映射关系，再结合行视差ρ则可实现图像对齐。

根据图10可以获得如下约束关系：

其中，B是基线长度；Z是p点的z轴方向坐标；F是相机立体校正之后的焦距。Y′₁和Y′₂是p的像点在两个成像平面中的坐标。可选的，上述各变量的单位均为毫米。

设立体校正之后像平面像素的边长物理尺寸为s_y，则转换度量单位其关系为：F＝f'·s_y，Y′_i＝v′_i·s_y，i∈{1,2}。对公式(12)两边同时除以s_y有：

其中，Bf'可以通过相机标定获得，而距离Z需要通过测距传感器进行标定获得。

具体的，测距传感器返回的是测距点距离传感器的距离，而根据双目成像模型进行图像对齐需要的是物体相对于模型原点的距离Z。TOF传感器的主轴由于机械安装的原因一般也不与双目成像系统的主光轴平行，因此为了获得被测物体相对于成像系统的距离，需要首先对测距传感器在成像系统中的位置和姿态进行标定。

相机立体标定之后，通过公式(7)到公式(11)可以生成原始棋盘格标定板立体校正之后的图像。利用此图像再次进行相机的立体标定，能够检测出Model-C之下，棋盘格的角点，以及角点在相机坐标系下的三维坐标。图12是本发明实施例提供的一种测距模型示意图，图12中，Plane为当前棋盘格标定板，s为测距传感器在成像系统中的三维坐标，u为测距传感器主轴的单位方向向量，p为测距信号反射点，d为当前测得的p点的距离。简易的距离传感器只能测量一个点的距离信息，传感器位置简化成一个空间中的点s，传感器朝向为一个方向向量u。具体的，需要将传感器测量到的距离d转化到相机坐标系中来计算图像的对齐偏移量ρ。具体的，图12中，p点的坐标为：

p＝s+d·u (14)

给定一个棋盘格图像，根据其对应的角点三维坐标集合，使用SVD算法可以拟合对应的三维平面。设n为平面的法向量，n可以通过对标定板角点的三维坐标进行SVD分解来求取。q为平面上异于p的一点，平面上的任意向量与平面法向量垂直，因此有：

(p-q)·n＝0 (15)

其中，p为当前测距传感器测得的标定板平面上的点，q为棋盘格平面上异于p的一个点。记：u＝(u₁,u₂,u₃)^T，s＝(s₁,s₂,s₃)^T，p＝(p₁,p₂,p₃)^T，q＝(q₁,q₂,q₃)^T，n＝(n₁,n₂,n₃)^T。其中，u是距离传感器的单位方向向量，s是距离传感器在Model-C的相机1坐标系下的位置。基于上述公式(14)和公式(15)可以获得：

(s₁+du₁-q₁)n₁+(s₂+du₂-q₂)n₂+(s₃+du₃-q₃)n₃＝0 (16)

假设共有N张标定板图像。对于第i张标定板图像，添加上标，其平面法向量记为

测得pⁱ点的距离为dⁱ，令

其中，cⁱ是向量qⁱ在标定板平面法向量上的投影，即cⁱ＝qⁱ·nⁱ＝|qⁱ|cos<qⁱ,nⁱ>。基于上述公式(16)，对于N张标定图像有：

令k＝(s₁,s₂,s₃,u₁,u₂,u₃)^T＝(s；u)，

M＝(m¹；m²；...；m^N)，c＝(c¹,c²,...c^N)^T，其中i＝1,2,...,N，将上述公式(17)写成矩阵的形式，则有：

M·k＝c (18)

其中，通过相机标定可以获得nⁱ和qⁱ，通过传感器测距可以获得距离信息dⁱ，因此需要求解测距传感器的姿态向量k。其中，姿态向量k包括传感器的位置和朝向。可选的，可以将其转化为优化问题，对k进行估算：

其中，N为标定板的个数，通过内点法可以求解得到测距传感器的姿态信息，从而进一步求得偏差量。

具体的，通过上述公式(18)估算出测距传感器的姿态向量k＝(s₁,s₂,s₃,u₁,u₂,u₃)^T之后，可以根据测距传感器测量的距离信息d获得p点相对于模型原点的距离Z：

Z＝s₃+d·u₃ (20)

基于上述公式(20)和上述公式(13)可以获得行偏差(即第一图像和第二图像的偏差量)：

基于上述公式(21)和公式(5)，可以获得对齐后的图像坐标和对齐前的立体校正图像坐标之间的关系，对于相机1和相机2，其对应关系分别如以下公式(22)和公式(23)所示：

进一步的，将上述公式(22)和公式(23)的映射关系记为：

g:(u″_i,v″_i)→(u′_i,v′_i),i∈{1,2} (24)

联合上述公式(7)到公式(11)可以得到由立体校正坐标(u′₁,v′₁)和(u'₂,v'₂)变换到原始坐标(u_d1,v_d1)和(u_d2,v_d2)的映射关系，记为：

η:(u′_i,v′_i)→(u_di,v_di),i∈{1,2} (25)

基于上述(24)和(25)可以得到图像对齐后的对齐坐标映射关系：

根据(26)所示的对应关系可以将对齐之后的图像坐标映射到设备原始采集的图像坐标，从而可以通过原始图像信息插值得到对齐之后的掌纹和掌静脉图像。

可选的，还可以进行对齐误差分析，本发明实施例中，提供一种具体应用场景下的对齐误差分析过程。具体的，由公式(13)可知，系统标定之后，p点的行视差仅跟其距离Z相关。本发明实施例中仅采用一个单点TOF距离传感器进行测距，而手掌并非理想的平面，手掌平面上所有点的距离Z并不能完全相同，因此使用一点距离代替整个手掌的距离会存在一定的偏差。偏差的范围可以根据成像模型和手掌采集方式来进行估测。在另一种应用场景中，也可以设置多个测距传感器进行多点测距，以提高测量准确性。

图13是本发明实施例中提供的一种手掌采集模型示意图，如图13所示，设立体校正之后主点位于虚拟成像平面的中心，则有tanθ_x＝c_x/f，tanθ_y＝c_y/f。其中f为焦距，θ_x和θ_y分别为水平和竖直半视场角，l和w分别为在Z处的截面高和宽，则有：

l＝2·Z·tanθ_x (27)

w＝2·Z·tanθ_y-B (28)

设手掌的宽度和长度分别为w_p和l_p。在Z处，若要拍到整个手掌则需要满足w_p≤w且l_p≤l，则拍摄最小距离：

一般的，假设手掌的宽度在8厘米左右，长度在18厘米左右，结合标定出来的相机参数，根据(29)式可以估算出拍摄完整手掌的最小距离在11厘米左右。可选的，设置手掌工作区间为9～12厘米。根据公式(13)可以绘制出行视差和手掌距离区间之间的关系，图14是本发明实施例提供的一种不同采集距离对应的视差范围分布图。具体的，图14显示了在手掌表面波动±10毫米，图像分辨率为640×480的情况下，视差在不同距离的波动，具体的，在正常的工作距离附近，由手掌表面波动所引起的图像对齐误差在10像素以内，误差较小，可以满足实际需求。同时，本发明实施例提供的图像处理方法，在进行手掌图像对齐时，不依赖于手掌图像训练样本，无需根据用户的手掌颜色进行对齐，能够对不同肤色的手掌起到较好的图像对齐效果，有利于提高图像对齐的准确性和鲁棒性。

可选的，基于上述方法对第一图像和第二图像进行对齐之后，可以结合手掌ROI定位算法，利用红外手掌图像定位ROI区域，并直接将定位到的ROI应用到可见光手掌图像中，从而分别获得掌静脉ROI和掌纹ROI图像。进一步的，可以计算当前掌静脉ROI和掌纹ROI图像的图像质量，包括图像亮度、清晰度、对比度、信噪比、亮度均匀程度、图像内容是否是掌纹掌静脉、ROI中有效手掌区域的占比等。在手掌距离稳定、图像质量稳定、合格的情况下，基于上述掌静脉ROI和掌纹ROI图像提取用户对应的身份特征信息，并进行身份特征识别。其中，具体的手掌ROI定位算法和特征识别算法都可以采用现有技术中的相关算法，在此不做具体限定。

示例性设备

如图15中所示，对应于上述图像处理方法，本发明实施例还提供一种图像处理装置，上述图像处理装置包括：

数据获取模块410，用于获取目标对象的手掌的第一图像、第二图像和距离信息。

其中，上述目标对象为需要进行手掌信息采集的用户，上述第一图像和第二图像是同时采集的双目图像，包含用户的手掌信息。其中，上述手掌信息包括掌纹信息和掌静脉信息。上述距离信息用于体现用户的手掌的位置。

对齐模块420，用于基于上述距离信息对上述第一图像和上述第二图像进行对齐。

其中，上述距离信息是根据用户的手掌的实时位置采集的距离信息，可以体现用户实时的手掌位置。从而基于用户手掌的不同位置对固定的摄像头获取的第一图像和第二图像进行对齐，以实现在用户手掌位置不同的情况下的图像对齐。

目标手掌图像获取模块430，用于基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。

其中，上述目标手掌图像为对齐后的图像。可选的，上述目标手掌图像可以是对齐后的手掌ROI图像。在根据用户的手掌图像采集用户的手掌信息时，可能只需要根据手掌的部分感兴趣区域的图像采集相关信息，具体的感兴趣区域可以基于实际需求进行预先设置和调整，在此不做具体限定。

由上可见，本发明实施例提供的图像处理装置通过数据获取模块410获取目标对象的手掌的第一图像、第二图像和距离信息；通过对齐模块420基于上述距离信息对上述第一图像和上述第二图像进行对齐；通过目标手掌图像获取模块430基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。与现有技术中基于固定的偏移值对图像进行对齐的方案相比，本发明方案可以根据目标对象的手掌的距离信息来进行图像对齐，可以适用于不同的场景，在用户手掌位置变化的情况下也可以根据距离信息进行调整和对齐，有利于提高图像对齐的准确性。

具体的，本实施例中，上述数据获取模块410具体用于：实时获取上述目标对象的手掌的距离信息；基于上述距离信息，通过第一摄像头获取上述第一图像，通过第二摄像头获取上述第二图像。

具体的，述数据获取模块410可以包括测距传感器、第一摄像头和第二摄像头。可以通过测距传感器实时获取上述目标对象的手掌与上述测距传感器之间的距离，作为上述距离信息。其中，上述测距传感器是一个位置固定的传感器，可以是飞行时间(TOF)单点测距传感器，还可以是其它具有测距功能的传感器，在此不做具体限定。

具体的，当上述距离信息小于预设的距离阈值，即用户的手掌靠的足够近且大于最小工作距离时，可以视为用户进入测量区域，此时可以通过第一摄像头获取第一图像，通过第二摄像头获取第二图像。其中，上述预设的距离阈值可以根据实际需求进行设置和调整，在此不做具体限定。

在一种具体应用场景中，上述图像处理装置可以是一个非接触活体掌纹采集装置，实现上述第一图像和第二图像的采集，该装置可以具体包括双目相机模组、滤光片、光源LED阵列、匀光板、光源控制器、TOF单点测距传感器。其中，双目相机模组包括一个近红外摄像头(第一摄像头)和一个可见光摄像头(第二摄像头)，光源阵列包括可见光LED和近红外光LED，滤光片包括可见光通过滤光片和近红外光通过滤光片。可选的，还可以设置一红外传感器，用于检测用户手掌的靠近。当没有手掌靠近时，上述装置处于待机状态，光源关闭，摄像头和测距传感器也不工作，当红外传感器检测到用户手掌靠近时，使该装置进入工作状态，通过该TOF单点测距传感器测量手掌的距离信息，通过双目相机模组中的摄像头采集第一图像和第二图像。可选的，也可以直接使用单点测距传感器来检测用户手掌的靠近，在此不做具体限定。

可选的，上述对齐模块420具体用于：获取对上述第一摄像头和上述第二摄像头进行标定后的成像模型；基于上述成像模型对上述测距传感器的参数进行标定，获取测距模型；基于上述距离信息、上述成像模型和上述测距模型对上述第一图像和上述第二图像进行对齐。

其中，上述成像模型体现了两个图像(第一图像和第二图像)中坐标的关系，上述测距模型体现了测距传感器的空间坐标和姿态向量，从而可以表示上述距离信息与上述两个图像中的点的坐标关系。

实际使用中，由于机械误差和安装工艺的限制，两个摄像头的视角无法保证是相互平行的，测距传感器的姿态也无法确保安装理想；另一方面，由于聚焦成像、镜头加工和安装工艺的原因，所获得的图像存在径向畸变和切向畸变。这些随机因素使得设备间成像模型的一致性无法保证。双模态图像之间的关系复杂不利于图像对齐；设备间的一致性也无法得到保证；因此，需要先对双目成像系统进行标定和立体校正。

可选的，可以根据张正友标定法，通过采集棋盘格图像对上述成像模型的各项参数进行立体标定。上述成像模型的参数包括第一摄像头(相机1)和第二摄像头(相机2)的内参、外参、立体校正变换矩阵、立体校正之后第一摄像头和第二摄像头的内参和外参。其中，上述内参包括镜头等效焦距、主点坐标、镜头径向畸变参数、切向畸变参数；上述外参包括两个相机间的旋转矩阵和平移向量；立体校正的参数包括两个相机对应的旋转矩阵、校正之后两个新相机模型的内参和外参。在得到成像模型的各项参数后，在成像模型的基础上对测距传感器的参数进行标定和求解，从而得到系统的测距模型。其中，上述测距模型的参数(传感器姿态向量)包括测距传感器的空间位置及其朝向的方向向量。

具体的，本实施例中，上述对齐模块420还具体用于：基于上述成像模型和上述测距模型，获取上述目标对象的手掌在上述第一图像和上述第二图像中的偏差量；基于上述偏差量将上述第一图像和上述第二图像中的手掌区域对齐。

具体的，根据上述成像模型和测距模型，实时求解手掌区域在第一图像和第二图像中的偏差量，从而实现将上述第一图像和第二图像中的手掌区域对齐。

可选的，上述第一图像为红外图像，上述第二图像为可见光图像。

具体的，本实施例中，上述目标手掌图像包括掌静脉图像和掌纹图像，上述目标手掌图像获取模块430具体用于：基于对齐后的上述第一图像定位手掌感兴趣区域；获取对齐后的上述第一图像中上述手掌感兴趣区域对应的图像，作为上述掌静脉图像；获取对齐后的上述第二图像中上述手掌感兴趣区域对应的图像，作为上述掌纹图像。

基于可见光图像进行手掌ROI定位时，往往受限于训练样本的规模，以及外界环境的变化，鲁棒性受到了很大的限制。而红外图像中手掌区域背景区域更为明亮，图像对比度高。因此红外图像有利于进行手掌分割和ROI定位。不同环境下的红外手掌一致性也远远高于可见光图像。因此本实施例中，可以先基于红外图像定位手掌ROI，然后基于可见光图像与红外图像的对应关系定位可见光图像中的手掌ROI，分别获得掌静脉图像和掌纹图像。

具体的，上述图像处理装置在具体应用场景中的应用、模型的标定、具体的坐标对齐的映射关系可参照上述方法实施例中的描述，在此不再赘述。

可选的，上述图像处理装置还可以设置身份识别模块，上述目标手掌图像获取模块430可以在获得对应的目标手掌图像后，计算当前掌静脉ROI和掌纹ROI图像的图像质量，包括图像亮度、清晰度、对比度、信噪比、亮度均匀程度、图像内容是否是掌纹掌静脉、ROI中有效手掌区域的占比等。在手掌距离稳定、图像质量稳定、合格的情况下，将对应的掌静脉ROI和掌纹ROI图像发送给身份识别模块，上述身份识别模块基于上述掌静脉ROI和掌纹ROI图像提取用户对应的身份特征信息，并进行身份特征识别。其中，具体的手掌ROI定位算法和特征识别算法都可以采用现有技术中的相关算法，在此不做具体限定。

具体的，本发明实施例提供的图像处理装置体积小、功耗低、成本低，有利于集成到各类现有系统(如手机或平板电脑)中。且通过测距传感器测量距离信息即可实现对应的图像对齐，可以模块化封装到闸机、门禁机、考勤机、手机、智能汽车等各类终端上。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图16所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和图像处理程序。该内存储器为非易失性存储介质中的操作系统和图像处理程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该图像处理程序被处理器执行时实现上述任意一种图像处理方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图16中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的图像处理程序，上述图像处理程序被上述处理器执行时进行以下操作指令：

获取目标对象的手掌的第一图像、第二图像和距离信息；

基于上述距离信息对上述第一图像和上述第二图像进行对齐；

基于对齐后的上述第一图像和上述第二图像获取目标手掌图像。

本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有图像处理程序，上述图像处理程序被处理器执行时实现本发明实施例提供的任一种图像处理方法的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以所述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将所述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。所述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标对象的手掌的第一图像、第二图像和距离信息；

基于所述距离信息对所述第一图像和所述第二图像进行对齐；

基于对齐后的所述第一图像和所述第二图像获取目标手掌图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取目标对象的手掌的第一图像、第二图像和距离信息，包括：

实时获取所述目标对象的手掌的距离信息；

基于所述距离信息，通过第一摄像头获取所述第一图像，通过第二摄像头获取所述第二图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述实时获取所述目标对象的手掌的距离信息，包括：

通过测距传感器实时获取所述目标对象的手掌与所述测距传感器之间的距离，作为所述距离信息。

4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述距离信息对所述第一图像和所述第二图像进行对齐，包括：

获取对所述第一摄像头和所述第二摄像头进行标定后的成像模型；

基于所述成像模型对所述测距传感器的参数进行标定，获取测距模型；

基于所述距离信息、所述成像模型和所述测距模型对所述第一图像和所述第二图像进行对齐。

5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述距离信息、所述成像模型和所述测距模型对所述第一图像和所述第二图像进行对齐，包括：

基于所述成像模型和所述测距模型，获取所述目标对象的手掌在所述第一图像和所述第二图像中的偏差量；

基于所述偏差量将所述第一图像和所述第二图像中的手掌区域对齐。

6.根据权利要求5所述的图像处理方法，其特征在于，所述第一图像为红外图像，所述第二图像为可见光图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述目标手掌图像包括掌静脉图像和掌纹图像，所述基于对齐后的所述第一图像和所述第二图像获取目标手掌图像，包括：

基于对齐后的所述第一图像定位手掌感兴趣区域；

获取对齐后的所述第一图像中所述手掌感兴趣区域对应的图像，作为所述掌静脉图像；

获取对齐后的所述第二图像中所述手掌感兴趣区域对应的图像，作为所述掌纹图像。

8.一种图像处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标对象的手掌的第一图像、第二图像和距离信息；

对齐模块，用于基于所述距离信息对所述第一图像和所述第二图像进行对齐；

目标手掌图像获取模块，用于基于对齐后的所述第一图像和所述第二图像获取目标手掌图像。

9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1-7任意一项所述图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1-7任意一项所述图像处理方法的步骤。

Images