CN117576432A - 头发匹配方法、装置、植发机器人和计算机存储介质 - Google Patents

Abstract

本发明提供了一种头发匹配方法、装置、植发机器人和计算机存储介质，包括：获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。本发明的头发匹配方法中，对第一观测结果和第二观测结果之间的相对变换关系进行了估计，进而基于估计得到的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系的鲁棒性好，更加准确。

Description

头发匹配方法、装置、植发机器人和计算机存储介质

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种头发匹配方法、装置、植发机器人和计算机存储介质。

背景技术

植发机器人在进行植发手术时，通常需要从患者的头发密集区域(一般为头部的侧面与背面区域)提取毛囊，并植入头发缺少区域。在这一过程中，需要识别头发，并对识别到的头发进行匹配，进而实现头发的三维定位。在该医疗场景下，对头发匹配的鲁棒性和准确性要求极高，如果发生匹配错误会导致严重的手术失误。例如，对同一时刻的双目相机所采集的左相机头发图像和右相机头发图像进行特征点匹配后，需要根据匹配结果进行三维定位，如果匹配结果错误(如，匹配得到左相机头发图像中的A头发与右相机头发图像中的B头发相匹配，而实际上左相机头发图像中的A头发与右相机头发图像中的A’头发相匹配)，根据错误的匹配结果进行三维定位时，会估计得到错误的头发位置，进而再根据错误的头发位置进行手术作业时，导致手术失误。

目前，在传统的基于计算机视觉的目标匹配方法中，一般是提取两幅图像的特征点(如，角点)，然后再建立两幅图像之间特征点的匹配对应关系。在植发机器人使用场景下，所使用的图像特征点也可以为头发的发根和/或发梢，或者固定在头皮上的标记点。若将该目标匹配方法在应用于上述植发机器人场景中时，常常会出现如下问题：若提取的特征点为头皮上的角点时，由于头皮本身环境缺少明显的角点，这会导致特征点不足，或一些区域完全没有特征点。如此缺少特征点所作的匹配脱离了原有的匹配模型，所以，需要额外的构造特征点，进而增加了计算量，且降低了匹配的鲁棒性；若提取的特征点处于头发上时，由于处于头发不同位置的特征点在不同时刻采集的图像上的相对位置关系并不一致(如，AB两个特征点在t0时刻采集的图像上的距离为5毫米，在t1时刻采集的图像上的距离变为了3毫米，原因在于植发的场景中，头发会因为不断的提取和植入的过程而发生形变，以及在植发过程中，头皮会变形或者患者会移动)，因此，无法采用常规的简单变换(例如，刚体变换)来描述该种形变，便会带来额外的问题并降低匹配结果的鲁棒性。

综上，如何提高头发匹配的鲁棒性和准确性成为目前亟需解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种头发匹配方法、装置、植发机器人和计算机存储介质，以缓解现有技术的头发匹配的方法鲁棒性和准确性差的技术问题。

第一方面，本发明实施例提供了一种头发匹配方法，包括：

获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系。

进一步的，对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，包括：

获取初始变换参数；

采用所述初始变换参数对所述第一观测结果进行变换处理，得到变换结果；

根据所述变换结果和所述第二观测结果构造代价函数，并对所述代价函数进行求解，得到所述目标变换参数，其中，所述代价函数为最小化所述变换结果与所述第二观测结果之间的误差的函数。

进一步的，获取初始变换参数，包括：

获取预设的变换参数，并将所述预设的变换参数作为所述初始变换参数；

或者，

获取所述图像采集装置的内参和外参；

基于所述内参和所述外参计算所述初始变换参数。

进一步的，基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系，包括：

采用所述目标变换参数对所述第一观测结果进行变换处理，得到目标变换结果；

计算所述目标变换结果与所述第二观测结果之间的距离，进而得到匹配代价矩阵，其中，所述匹配代价矩阵包括以下任一种：稠密矩阵、稀疏矩阵、每一所述目标变换结果与每一所述第二观测结果之间距离的代价数值集合；

根据所述匹配代价矩阵寻找最优匹配以使总匹配代价最小，进而得到所述第一观测结果和所述第二观测结果之间的初始匹配关系；

根据所述匹配代价矩阵对所述初始匹配关系进行匹配错误检查，得到所述匹配关系。

进一步的，所述方法还包括：

获取多个观测结果中各任意两个所述观测结果之间的匹配关系；

根据各任意两个所述观测结果之间的匹配关系对多个所述观测结果之间的匹配关系交叉验证，得到其中的错误匹配；

根据所述错误匹配对多个所述观测结果中各任意两个所述观测结果之间的匹配关系进行修正，得到多个观测结果中各任意两个所述观测结果之间的修正匹配关系。

进一步的，根据所述错误匹配对多个所述观测结果中各任意两个所述观测结果之间的匹配关系进行修正，包括：

在各任意两个所述观测结果之间的匹配关系中去除所述错误匹配；

对去除错误匹配的各观测结果之间的相对变换关系进行估计，得到新目标变换参数；

基于所述新目标变换参数确定各任意两个所述观测结果之间的新匹配关系；

根据各任意两个所述观测结果之间的新匹配关系对多个所述观测结果之间的匹配关系再次交叉验证，直至错误匹配消失，得到多个观测结果中各任意两个所述观测结果之间的修正匹配关系。

进一步的，所述方法还包括：

在进行再次交叉验证后，若还存在错误匹配，则基于各所述新目标变换参数对对应的第三观测结果进行变换处理，得到新变换结果；

基于各所述新变换结果与目标观测结果之间的误差，在所述第三观测结果中确定与所述目标观测结果匹配的正确匹配，其中，所述目标观测结果为与所述新目标变换参数对应，且与所述第三观测结果不同的观测结果。

进一步的，所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第一时刻第二图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第一时刻第二图像采集装置之间的外参；

或者，

所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第二时刻第一图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第二时刻第一图像采集装置之间的外参；

或者，

所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第二时刻第二图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第二时刻第二图像采集装置之间的外参。

第二方面，本发明实施例还提供了一种头发匹配装置，包括：

获取单元，用于获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

相对变换关系估计单元，用于对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

匹配确定单元，用于基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系。

第三方面，本发明实施例还提供了一种植发机器人，所述植发机器人采用上述第一方面任一项所述的头发匹配方法进行头发的匹配。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。

在本发明实施例中，提供了一种头发匹配方法，包括：获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。通过上述描述可知，本发明的头发匹配方法中，对第一观测结果和第二观测结果之间的相对变换关系进行了估计，进而基于估计得到的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系的鲁棒性好，更加准确，即目标变换参数能够更准确的反应第一观测结果和第二观测结果所发生的形变(即准确反应了图像采集装置的位姿变化)，进而基于该准确的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系也更加准确，鲁棒性好，缓解了现有技术的头发匹配的方法鲁棒性和准确性差的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种头发匹配方法的流程图；

图2为本发明实施例提供的Powell求解器求解的示意图；

图3为本发明实施例提供的匈牙利算法对匹配代价矩阵寻找最优匹配的示意图；

图4为本发明实施例提供的匹配关系的示意图；

图5为本发明实施例提供的头发匹配的框架示意图；

图6为本发明实施例提供的一种头发匹配装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术的头发匹配的方法鲁棒性和准确性差。

基于此，本发明的头发匹配方法中，对第一观测结果和第二观测结果之间的相对变换关系进行了估计，进而基于估计得到的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系的鲁棒性好，更加准确，即目标变换参数能够更准确的反应第一观测结果和第二观测结果所发生的形变(即准确反应了图像采集装置的位姿变化)，进而基于该准确的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系也更加准确，鲁棒性好。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种头发匹配方法进行详细介绍。

实施例一：

根据本发明实施例，提供了一种头发匹配方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种头发匹配方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

在本发明实施例中，第一观测结果和第二观测结果包括：头发特征点，具体可以为头发特征点(该头发特征点可以发根点，还可以为发梢点，还可以为距离发根点预设距离的头发上的点，本发明实施例对该头发特征点不进行具体限制)在两张头发图像中的位置坐标，还可以为头发的宽度、头发的颜色、头发的尺寸、头发的形状、头发的轮廓、头发的纹理或头发的相对位置关系等等，本发明实施例对上述观测结果不进行具体限制，其可以为对头发图像进行观测识别后，得到的任意结果。

另外，在本发明中，与传统的头发匹配的场景(同一时刻的双目相机)所不同的是，本发明中的对头发图像进行采集的图像采集装置可以为同一时刻的两个不同图像采集装置，还可以是不同时刻的同一图像采集装置，还可以为不同时刻的不同图像采集装置。

需要说明的是：两次观测(即两张头发图像)的区域具有一定的重叠。

步骤S104，对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

具体的，上述目标变换参数反映了第一观测结果和第二观测结果之间的形变，也侧面反映了图像采集装置之间的相对位姿关系，借助该目标变换参数可以增强头发匹配的鲁棒性。

具体的，本实施例中所使用的目标变换参数的具体形式为两个头发图像之间的单应变换矩阵。组成该单应变换矩阵的元素中包含两个相机(图像采集装置)分别的内参矩阵，两个相机之间的外参矩阵，头发特征点在相机坐标系上所处的平面。在实际情况中，该头发特征点通常不完美处于一个空间平面中，但是可认为其在一个局部区域内大致处于一个平面中，并且误差小于所需误差尺度。

上述目标变换参数能够使得两次观测(第一观测结果和第二观测结果)的头发特征点之间的距离在变换后尽可能的接近，该目标变换参数可以为单应变换矩阵，但是本发明实施例对该目标变换参数不进行具体限制，其还可以为各种变换的函数，还可以为仿射变换参数，各种投影变换的函数或矩阵等，或者是由上述变换所重新组合和推导出的新的变换形式。

步骤S106，基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。

在本发明实施例中，提供了一种头发匹配方法，包括：获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。通过上述描述可知，本发明的头发匹配方法中，对第一观测结果和第二观测结果之间的相对变换关系进行了估计，进而基于估计得到的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系的鲁棒性好，更加准确，即目标变换参数能够更准确的反应第一观测结果和第二观测结果所发生的形变(即准确反应了图像采集装置的位姿变化)，进而基于该准确的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系也更加准确，鲁棒性好，缓解了现有技术的头发匹配的方法鲁棒性和准确性差的技术问题。

本发明所提出的方法增强头发匹配的方法鲁棒性还表现在对错误估计的感知和修正上。在现有技术的头发匹配方法中，仅使用同一时刻的两个图像采集装置来获取头发图像，并进行匹配操作。而本发明中的匹配方法中将其拓展到了不同时刻，继而获取对同一区域的更多次观测结果。通过交叉比对和验证的方式，可以有效剔除和修正错误匹配，继而提高了方法的鲁棒性和准确性。

上述内容对本发明的头发匹配方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

在本发明的一个可选实施例中，对第一观测结果和第二观测结果之间的相对变换关系进行估计，具体包括如下步骤：

(1)获取初始变换参数；

具体的，获取初始变换参数，包括：

在一种可选的实施方式中，获取预设的变换参数，并将预设的变换参数作为初始变换参数。

例如，将单位矩阵(即预设的变换参数)作为上述的初始变换参数，本发明实施例对该预设的变换参数不进行具体限制。选用合适的预设变换参数仅为提高算法鲁棒性和运算效率，并非必须。

在另一种可选的实施方式中：

(11)获取图像采集装置的内参和外参；

例如，第一观测结果对应的第一头发图像的图像采集装置的内参为K1，第二观测结果对应的第二头发图像的图像采集装置的内参为K2，两次观测对应的两个图像采集装置之间的外参为R，t。

需要说明的是，如果图像采集装置是不同时刻的同一图像采集装置，那么上述K1等于K2。

外参包括：第一时刻第一图像采集装置和第一时刻第二图像采集装置之间的外参；

或者，

外参包括：第一时刻第一图像采集装置和第二时刻第一图像采集装置之间的外参；

或者，

外参包括：第一时刻第一图像采集装置和第二时刻第二图像采集装置之间的外参，外参的具体结果根据采集头发图像的具体场景确定。

(12)基于内参和外参计算初始变换参数。

具体的，其中，H表示初始变换参数，/>表示第一观测结果对应的第一头发图像的图像采集装置的内参矩阵的逆矩阵，K₂表示第二观测结果对应的第二头发图像的图像采集装置的内参，R，t表示两次观测对应的两个图像采集装置之间的外参，n表示头发特征点所在空间平面的法向量，d表示头发特征点所在空间平面到原点的距离。

以左右图像采集装置为例，以左图像采集装置所在的三维坐标系为基准坐标系，记为Lcam3D，其中相机模型小孔处于坐标系原点，相机的焦点处于坐标系Z轴上。假定Lcam3D中头发发根所在的平面参数为n和d，分别代表平面的法向量和到原点的距离(目前首次匹配时采用的方式为使用配准网络来进行初次配准，以获得该参数，后面可以借用之前步骤的匹配结果来计算该平面的法向量和到原点的距离)。

(2)采用初始变换参数对第一观测结果进行变换处理，得到变换结果；

具体的，对于两次观测，其中第一观测结果中的头发特征点的坐标是p，用二维齐次坐标表示，那么其在第二观测结果中对应的坐标为q，也用二维齐次坐标表示。需要注意的是，上述头发的特征点坐标p和q已经经过了去畸变操作，后文不再赘述。假设初始变换参数为H(这里以单应变换为例进行举例说明)，那么p和q之间满足的关系是其中符号代表二者是成比例的。进一步地，q＝normalize(Hp)，其中，normalize代表按照齐次坐标的最后一位归一化。这样的变换处理(即单应变换)写作q＝f(p,H)。

(3)根据变换结果和第二观测结果构造代价函数，并对代价函数进行求解，得到目标变换参数，其中，代价函数为最小化变换结果与第二观测结果之间的误差的函数。

具体的，构造的代价函数可以为：Q(P，Q，H)＝∑_p∈P∑_q∈Qk(p，q，H)＝∑_p∈P∑_q∈Q||f(p，H)-q||，其中，||·||是衡量远近的一种范数，在本实施例中，该范数可以定义为：即采用kernel correlation思想构造代价函数，当然，还可以采用其它表示距离的代价函数表征变换结果和第二观测结果之间发生的形变，构造的不同的Q会导致不同的结果，这里只是以kernel correlation思想为例进行的说明。

得到代价函数后，可以采用Powell求解器对上述代价函数进行求解，也就是求解最优化问题：采用Powell求解器(具体求解过程如图2所示)进行求解，从而得到目标变换矩。

需要说明的是，除了可以采用Powell求解器对上述代价函数进行求解之外，还可以采用非梯度类启发式搜索算法(Nelder Mead)、BFGS算法、Newton-CG算法、L-BFGS-B(Limited-memory Broyden–Fletcher–Goldfarb–Shanno)算法、COBYLA优化算法等，这里不再一一进行举例。

上述过程是以基于内参和外参计算的初始变换参数以及基于该初始变换参数求解得到目标变换参数为例进行的说明，在上述过程中，是以头发特征点的坐标为例实现的，需要注意的是，还可以为其它观测结果，这里不再举例说明。

下面以初始变换参数为预设的变换参数或基于内参和外参计算的初始变换参数以及基于该初始变换参数求解目标变换参数的过程进行说明(即求解目标变换参数的算法的思想)：

(1)利用前一时刻的发根(这里只是以发根点为例进行的说明，还可以为发梢点，或者为距离发根点预设距离的头发上的点等)的三维坐标估计当前时刻的发根的三维坐标所在的平面(Ransac,相机坐标系下)作为先验。需要注意的是，由于本方法自身的鲁棒性，这一步并非必须。

(2)根据该平面参数，初始化当前时刻的单应矩阵(平面参数，双目标定)；

(3)使用Powell算法，求解KC Corresponding的最优解，即当前时刻的单应矩阵；

(4)为了加速，可以采用预存右相机(即采集第二头发图像的图像采集装置)的特征点为二维Kernel累加图的方法。

上述实现方法的优势在于：

1.使用该平面先验，大约可以将Powell的代价函数计算次数减少一半(即加速一倍)；

2.可以直接求解单应矩阵，也可以分别求解双目(即两次采集的图像采集装置)R，t，平面参数；

3.使用预存右相机的特征点为二维Kernel累加图的方法，可以显著加速(从若干秒到0.1秒)，也可以进一步采用KDTree加速；

4.经试验，Powell算法并非必须的，其它的非凸优化算法也是可以的，但是经过实验和评估，Powell算法的鲁棒性更好。

上述内容对目标变换参数的估计过程进行了描述，下面对确定匹配关系的具体过程进行详细描述。

在本发明的一个可选实施例中，基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系，具体包括如下步骤：

(1)采用目标变换参数对第一观测结果进行变换处理，得到目标变换结果；

在得到目标变换参数后，实际上的匹配就是寻找f(p)和q之间的匹配关系，其中p和q是两次观测结果中的头发特征点的坐标，f是已经获得的目标变换参数。寻找匹配关系的过程可以采用匈牙利算法结合曼哈顿距离进行，也即寻找最佳的一一匹配，使得总匹配代价最低。

在实现时，根据上述两次观测结果求解的目标变换参数，可以统一二者之间的观测值。即采用目标变换参数对第一观测结果进行变换处理，如f(p,H)。

(2)计算目标变换结果与第二观测结果之间的距离，进而得到匹配代价矩阵；

具体的，任何一个p和q之间的距离定义为f(p,H)和q之间的曼哈顿距离，如此，便能得到用来描述任何一个匹配的代价的匹配代价矩阵。简单来讲，就是说f(p,H)和q之间的距离越大，代价越大。

需要说明的是，本发明实施例对上述曼哈顿距离不进行具体限制，还可以为欧式距离，余弦距离等，这里只是以曼哈顿距离为例进行的说明。

匹配代价矩阵包括以下任一种：稠密矩阵、稀疏矩阵、每一目标变换结果与每一第二观测结果之间距离的代价数值集合。

(3)根据匹配代价矩阵寻找最优匹配以使总匹配代价最小，进而得到第一观测结果和第二观测结果之间的初始匹配关系；

具体的，可以采用匈牙利算法对匹配代价矩阵寻找最优匹配，具体过程参考图3所示，如此，便得到了第一观测结果和第二观测结果中各头发特征点(如上述的p和q)之间的初始匹配关系。

需要注意的是，本发明实施例中使用匈牙利算法是为了获得最佳的一一匹配，而在所述问题中，匈牙利算法并非必须，也可以替换为其他的一一匹配方法。另一方面，在该步骤中，一一匹配结果也非必须，在一些使用场景下会刻意去除一一匹配要求。

(4)根据匹配代价矩阵对初始匹配关系进行匹配错误检查，得到匹配关系。

发明人考虑到匈牙利算法找的是整体自由解，无法保证得到的每一个初始匹配关系都是正确的，所以需要根据匹配代价矩阵对初始匹配关系进行匹配错误检查，当f(p,H)和q之间的距离超过一定阈值时，标记为错误匹配，将该错误匹配剔除，便得到了更加准确的匹配关系(即匹配结果)。

发明人考虑到在医疗领域中，如果发生匹配错误会导致严重的手术失误，因此，在得到上述匹配关系后，需要该方法能够具备感知其中的匹配错误的能力，进一步的，在感知到匹配错误时，还需要针对该匹配错误进行修复，因为如果只是感知到了匹配错误不进行修复的话，即知道p和w匹配错误，那么基于该错误匹配计算得到的头发位置的三维坐标也是错误的，不进行错误的修复，便会发生对该计算的头发位置的跳过，即不对其进行任何手术操作，这样，后续便会增加额外的手术操作，增加手术流程，基于此，发明人提出了借助不同时刻的匹配结果来进行自检查和自修正的思想。

在本发明的一个可选实施例中，该方法还包括如下步骤：

(1)获取多个观测结果中各任意两个观测结果之间的匹配关系；

发明人考虑到上述常规的匹配检查(如上述的f(p,H)和q之间的距离超过一定阈值的方法)只能做粗略的匹配筛选，但是仍然会出现一些错误匹配。所以，发明人提出使用多次观测的交叉验证手段可以更灵敏的发觉匹配错误(即通过一定的机制再次检查之前匹配结果中的错误)。

为了便于对该过程的理解，下面以三个观测结果的相互匹配为例进行说明，假设有P、Q、R三次观测结果，对上述三次观测结果的任意两次观测结果之间执行匹配，得到的各任意两个观测结果之间的匹配关系分别为M1、M2和M3，每一个匹配关系中都是包含两个元素的元组集合。如图4所示，M1＝{(p1,q1),(p2,q2),(p3,q3)},M2＝{(q1,r1),(q3,r4)},M3＝{(p1,r1),(p2,r2),(p3,r3)}。

(2)根据各任意两个观测结果之间的匹配关系对多个观测结果之间的匹配关系交叉验证，得到其中的错误匹配；

具体的，根据各任意两个观测结果之间的匹配关系对多个观测结果之间的匹配关系交叉验证，包括如下步骤：

(21)采用并查集算法对各任意两个观测结果之间的匹配关系进行并查集运算，得到多个观测结果之间的匹配关系；

如上述举例，对M1＝{(p1,q1),(p2,q2),(p3,q3)},M2＝{(q1,r1),(q3,r4)},M3＝{(p1,r1),(p2,r2),(p3,r3)}进行并查集运算，得到的多个观测结果之间的匹配关系为M＝{(p1,q1,r1),(p2,q2,r2),(p3,q3,r3,r4)}，M中的每一个元素都代表空间中某一个三维坐标在三个图像采集装置上的二维投影坐标，换句话说是P，Q，R中的一个元素(即头发特征点)。

需要注意的是，上述并查集算法并非为必须的。这里使用并查集算法是为了将不同的匹配结果综合起来，也即图的连通性问题。例如若p1与q1是匹配的，q1和r1也是匹配的，则p1和r1也理应是匹配的。为了解决图的连通性问题，也可以使用诸如深度优先搜索或者广度优先搜索，或者Floyd-Warshall算法等。在一些简单场景下，也可以使用暴力搜索的方法。

(22)根据预设的匹配错误检查策略对多个观测结果之间的匹配关系进行匹配错误检查，得到其中的错误匹配。

具体的，预设的匹配错误检查策略有很多种，下面对其中的两种进行举例说明。

例如，观察上述并查集结果(即多个观测结果之间的匹配关系)M的第三个元素(p3,q3,r3,r4)，可以发现在R观测结果中，出现了r3和r4两个头发特征点，这意味着同一个空间目标出现了两个不同的投影结果，显然是不可能的，即这个元素(p3,q3,r3,r4)所对应的二元匹配(p3,q3),(q3,r4),(p3,r3)中一定出现了错误匹配。后面就可以针对这个匹配进行修正。

再例如，可以根据多个观测结果中各个头发特征点的相对位置关系进行匹配错误检查，如某些观测结果中，都显示X1在X2的左侧，与其对应的匹配关系中，只有一个观测结果中，X1在X2的右侧，显然，存在匹配错误。

(3)根据错误匹配对多个观测结果中各任意两个观测结果之间的匹配关系进行修正，得到多个观测结果中各任意两个观测结果之间的修正匹配关系。

具体的，根据错误匹配对多个观测结果中各任意两个观测结果之间的匹配关系进行修正，包括如下步骤：

(31)在各任意两个观测结果之间的匹配关系中去除错误匹配；

如前述举例中，(p3,q3,r3,r4)匹配错误，找到其中的一个错误匹配。实际上在大多数情况下，出现错误匹配的元素不会仅有这么几个，一一匹配过程中一旦发生错误匹配往往都是很多元素。这里以这个匹配错误为例。所以去除对应的错误匹配(p3,q3),(q3,r4),(p3,r3)，即将错误匹配(p3,q3),(q3,r4),(p3,r3)从P、Q、R中去除。

(32)对去除错误匹配的各观测结果之间的相对变换关系进行估计，得到新目标变换参数；

具体过程与上述步骤S104的相关描述相似，在此不再赘述。

(33)基于新目标变换参数确定各任意两个观测结果之间的新匹配关系；

具体的，这里的各任意两个观测结果指的是全部的P、Q、R中的头发特征点。

该确定新匹配关系的过程与上述步骤S106的相关描述相似，在此不再赘述。

(34)根据各任意两个观测结果之间的新匹配关系对多个观测结果之间的匹配关系再次交叉验证，直至错误匹配消失，得到多个观测结果中各任意两个观测结果之间的修正匹配关系。

该交叉验证的过程与上述交叉验证的过程相似。

再次交叉验证后，如果匹配错误消失，则完成匹配修正，如果匹配错误还存在，则可以循环上述修正的过程，直至错误匹配消失，得到多个观测结果中各任意两个观测结果之间的修正匹配关系。

在本发明的一个可选实施例中，该方法还包括如下步骤：

(1)在进行再次交叉验证后，若还存在错误匹配，则基于各新目标变换参数对对应的第三观测结果进行变换处理，得到新变换结果；

(2)基于各新变换结果与目标观测结果之间的误差，在第三观测结果中确定与目标观测结果匹配的正确匹配，其中，目标观测结果为与新目标变换参数对应，且与第三观测结果不同的观测结果。

具体的，如上述举例，如果再次交叉验证后，(p3,q3,r3,r4)匹配错误还存在，则将p3和q3用新目标变换参数映射到R所在平面上，然后检查r3，r4到它们的距离(思想类似于KNN异常检测)，并选取距离小的那个元素作为正确匹配，并去除r4。

为了便于对本发明的头发匹配方法进行更好的理解，下面对其中所涉及到的过程再进行整体简要描述：

匹配和变换估计模块，用于实现匹配和变换估计，输入为两次观测结果和各自的外参，内参，输出为匹配关系和单应变换关系；

错误匹配感知和修复模块，输入为多次观测结果和对应的匹配和变换估计结果，输出为修正后的匹配和变换估计结果。

需要注意的是，匹配估计、变换估计和错误匹配感知和修复之间存在前后依赖关系，可以按照应用场景或者需求来设计不同的迭代过程。

本实施例中仅展示图5所示的一种简单的组织流程。还可以为估计变换-估计匹配-估计变换-估计匹配-最后再进行一次匹配检查和匹配修正，上述4个过程可根据需求及应用场景进行随机组合。

本发明的头发匹配方法中，基于单应变换的匹配和变换估计，在处理头发特征点的匹配问题时，所要处理的问题不仅是匹配问题本身，还要同时估计二者之间的相对变换关系。在两个图像采集装置之间的变换关系通常用单应变换来描述，会同时产生匹配结果和变换结果；预计多次观测的匹配错误感知和修复，在进行单次观测的双目匹配时，一旦发生匹配错误，往往无法感知并修复。但是在本发明的基于多次观测技术的场景下，借助多次观测之间的综合匹配关系，可以解决这个问题。

本发明的方法中，同时估计匹配关系和变换关系，增加了匹配的鲁棒性和容错性。在出现意外情况(例如，患者发生移动)时鲁棒性好，对于标定错误的忍受度高；借用多次观测进行交叉验证以感知并修正错误匹配，可以进一步提高匹配的鲁棒性和准确性。

实施例二：

本发明实施例还提供了一种头发匹配装置，该头发匹配装置主要用于执行本发明实施例一中所提供的头发匹配方法，以下对本发明实施例提供的头发匹配装置做具体介绍。

图6是根据本发明实施例的一种头发匹配装置的示意图，如图6所示，该装置主要包括：获取单元10、相对变换关系估计单元20和匹配确定单元30，其中：

获取单元，用于获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

相对变换关系估计单元，用于对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

匹配确定单元，用于基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。

在本发明实施例中，提供了一种头发匹配装置，包括：获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；对第一观测结果和第二观测结果之间的相对变换关系进行估计，得到目标变换参数；基于目标变换参数确定第一观测结果和第二观测结果之间的匹配关系。通过上述描述可知，本发明的头发匹配装置中，对第一观测结果和第二观测结果之间的相对变换关系进行了估计，进而基于估计得到的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系的鲁棒性好，更加准确，即目标变换参数能够更准确的反应第一观测结果和第二观测结果所发生的形变(即准确反应了图像采集装置的位姿变化)，进而基于该准确的目标变换参数确定的第一观测结果和第二观测结果之间的匹配关系也更加准确，鲁棒性好，缓解了现有技术的头发匹配的方法鲁棒性和准确性差的技术问题。

可选地，相对变换关系估计单元还用于：获取初始变换参数；采用初始变换参数对第一观测结果进行变换处理，得到变换结果；根据变换结果和第二观测结果构造代价函数，并对代价函数进行求解，得到目标变换参数，其中，代价函数为最小化变换结果与第二观测结果之间的误差的函数。

可选地，相对变换关系估计单元还用于：获取预设的变换参数，并将预设的变换参数作为初始变换参数；或者，获取图像采集装置的内参和外参；基于内参和外参计算初始变换参数。

可选地，匹配确定单元还用于：采用目标变换参数对第一观测结果进行变换处理，得到目标变换结果；计算目标变换结果与第二观测结果之间的距离，进而得到匹配代价矩阵，其中，匹配代价矩阵包括以下任一种：稠密矩阵、稀疏矩阵、每一所述目标变换结果与每一所述第二观测结果之间距离的代价数值集合；根据匹配代价矩阵寻找最优匹配以使总匹配代价最小，进而得到第一观测结果和第二观测结果之间的初始匹配关系；根据匹配代价矩阵对初始匹配关系进行匹配错误检查，得到匹配关系。

可选地，该装置还用于：获取多个观测结果中各任意两个观测结果之间的匹配关系；根据各任意两个观测结果之间的匹配关系对多个观测结果之间的匹配关系交叉验证，得到其中的错误匹配；根据错误匹配对多个观测结果中各任意两个观测结果之间的匹配关系进行修正，得到多个观测结果中各任意两个观测结果之间的修正匹配关系。

可选地，该装置还用于：在各任意两个观测结果之间的匹配关系中去除错误匹配；对去除错误匹配的各观测结果之间的相对变换关系进行估计，得到新目标变换参数；基于新目标变换参数确定各任意两个观测结果之间的新匹配关系；根据各任意两个观测结果之间的新匹配关系对多个观测结果之间的匹配关系再次交叉验证，直至错误匹配消失，得到多个观测结果中各任意两个观测结果之间的修正匹配关系。

可选地，该装置还用于：在进行再次交叉验证后，若还存在错误匹配，则基于各新目标变换参数对对应的第三观测结果进行变换处理，得到新变换结果；基于各新变换结果与目标观测结果之间的误差，在第三观测结果中确定与目标观测结果匹配的正确匹配，其中，目标观测结果为与新目标变换参数对应，且与第三观测结果不同的观测结果。

可选地，第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，第二观测结果为对第一时刻第二图像采集装置采集的头发图像进行观测得到的；外参包括：第一时刻第一图像采集装置和第一时刻第二图像采集装置之间的外参；或者，第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，第二观测结果为对第二时刻第一图像采集装置采集的头发图像进行观测得到的；外参包括：第一时刻第一图像采集装置和第二时刻第一图像采集装置之间的外参；或者，第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，第二观测结果为对第二时刻第二图像采集装置采集的头发图像进行观测得到的；外参包括：第一时刻第一图像采集装置和第二时刻第二图像采集装置之间的外参。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明还提供了一种植发机器人，所述植发机器人采用上述实施例一中的头发匹配方法进行头发的匹配。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述实施例一中的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种头发匹配方法，其特征在于，包括：

获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系。

2.根据权利要求1所述的方法，其特征在于，对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，包括：

获取初始变换参数；

采用所述初始变换参数对所述第一观测结果进行变换处理，得到变换结果；

根据所述变换结果和所述第二观测结果构造代价函数，并对所述代价函数进行求解，得到所述目标变换参数，其中，所述代价函数为最小化所述变换结果与所述第二观测结果之间的误差的函数。

3.根据权利要求2所述的方法，其特征在于，获取初始变换参数，包括：

获取预设的变换参数，并将所述预设的变换参数作为所述初始变换参数；

或者，

获取所述图像采集装置的内参和外参；

基于所述内参和所述外参计算所述初始变换参数。

4.根据权利要求1所述的方法，其特征在于，基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系，包括：

采用所述目标变换参数对所述第一观测结果进行变换处理，得到目标变换结果；

计算所述目标变换结果与所述第二观测结果之间的距离，进而得到匹配代价矩阵，其中，所述匹配代价矩阵包括以下任一种：稠密矩阵、稀疏矩阵、每一所述目标变换结果与每一所述第二观测结果之间距离的代价数值集合；

根据所述匹配代价矩阵寻找最优匹配以使总匹配代价最小，进而得到所述第一观测结果和所述第二观测结果之间的初始匹配关系；

根据所述匹配代价矩阵对所述初始匹配关系进行匹配错误检查，得到所述匹配关系。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个观测结果中各任意两个所述观测结果之间的匹配关系；

根据各任意两个所述观测结果之间的匹配关系对多个所述观测结果之间的匹配关系交叉验证，得到其中的错误匹配；

根据所述错误匹配对多个所述观测结果中各任意两个所述观测结果之间的匹配关系进行修正，得到多个观测结果中各任意两个所述观测结果之间的修正匹配关系。

6.根据权利要求5所述的方法，其特征在于，根据所述错误匹配对多个所述观测结果中各任意两个所述观测结果之间的匹配关系进行修正，包括：

在各任意两个所述观测结果之间的匹配关系中去除所述错误匹配；

对去除错误匹配的各观测结果之间的相对变换关系进行估计，得到新目标变换参数；

基于所述新目标变换参数确定各任意两个所述观测结果之间的新匹配关系；

根据各任意两个所述观测结果之间的新匹配关系对多个所述观测结果之间的匹配关系再次交叉验证，直至错误匹配消失，得到多个观测结果中各任意两个所述观测结果之间的修正匹配关系。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在进行再次交叉验证后，若还存在错误匹配，则基于各所述新目标变换参数对对应的第三观测结果进行变换处理，得到新变换结果；

基于各所述新变换结果与目标观测结果之间的误差，在所述第三观测结果中确定与所述目标观测结果匹配的正确匹配，其中，所述目标观测结果为与所述新目标变换参数对应，且与所述第三观测结果不同的观测结果。

8.根据权利要求3所述的方法，其特征在于，所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第一时刻第二图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第一时刻第二图像采集装置之间的外参；

或者，

所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第二时刻第一图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第二时刻第一图像采集装置之间的外参；

或者，

所述第一观测结果为对第一时刻第一图像采集装置采集的头发图像进行观测得到的，所述第二观测结果为对第二时刻第二图像采集装置采集的头发图像进行观测得到的；所述外参包括：第一时刻第一图像采集装置和第二时刻第二图像采集装置之间的外参。

9.一种头发匹配装置，其特征在于，包括：

获取单元，用于获取对同一时刻或不同时刻的两个相同或不同图像采集装置采集的头发图像进行观测得到的第一观测结果和第二观测结果；

相对变换关系估计单元，用于对所述第一观测结果和所述第二观测结果之间的相对变换关系进行估计，得到目标变换参数；

匹配确定单元，用于基于所述目标变换参数确定所述第一观测结果和所述第二观测结果之间的匹配关系。

10.一种植发机器人，其特征在于，所述植发机器人采用上述权利要求1至8中任一项所述的头发匹配方法进行头发的匹配。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至8中任一项所述的方法。