CN105931237A - 一种图像校准方法和系统 - Google Patents

Abstract

本发明提供了一种图像校准方法和系统。该方法包括：获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；并对所述第一图像进行校准。本发明实现对用户运动的检测，并对用户的运动造成的图像误差进行调整。

Description

一种图像校准方法和系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像校准方法和系统。

背景技术

颅底肿瘤指起源于颅底及其邻近结构向颅内或颅外生长的肿瘤，此类肿瘤往往位置较深，毗邻脑干、颅神经及重要血管。随着内镜外科技术及辅助技术的发展和手术经验的不断积累，内镜微创诊疗技术已经较广泛的应用于颅底肿瘤治疗，在满足同样手术范围及目的的同时，避免了手术入路对面部皮肤、软组织及骨性结构的破坏，大大降低了手术并发症发生的概率。但是内窥镜微创诊疗的临床疗效与其精准性密切相关，其手术要求科学的术前分析、精密的治疗方案、精确的术中病灶定位、精准的手术操作才能获得最佳的临床疗效。内镜图像视野狭小，通过内镜图像无法获得体内器官组织的整体结构信息，因此单一模态影像引导下内窥镜介入治疗存在精准性较差和诊疗信息不全面等问题，探索多模态图像配准引导的精准诊疗技术已成为研究热点。

当前，主流的基于增强现实的内镜手术导航系统通常利用光学跟踪装置实现对手术器械上标志点的跟踪，并在手术开始前通过标志点间的手动配对实现手术器械与术前三维影像的匹配。而后，在术中利用光学跟踪装置实时跟踪内镜的角度和位姿，并将术前三维影像中提取的病灶信息叠加到内镜图像中。但是该系统受到手术操作和呼吸运动影响，器官会出现移动和变形，导致其实时内窥镜图像无法与术前数据进行良好的叠加，严重影响了导航精度。此类术中用户的无规则运动是手术导航系统面临的巨大挑战，传统的导航系统中需要在术中重复手工标定来校正这一运动，给手术过程带来巨大的不便。

因此，亟需一种图像校准方法检测用户的运动、获取准确的用户图像。

发明内容

本发明所要解决的技术问题是：如何提供一种图像校准方法以检测用户的运动。

为解决上述技术问题，本发明一方面提出了一种图像校准方法，该图像校准方法包括：

获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

可选地，所述根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系包括：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

可选地，该方法还包括：利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

可选地，所述对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系包括：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

可选地，所述根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准包括：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。

另一方面，本发明还提出了一种图像校准系统，该图像校准系统包括：

第一坐标系与第二坐标系转换关系获取单元，用于获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

第三坐标系与第一坐标系转换关系获取单元，用于获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

图像校准单元，用于根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

可选地，所述第一坐标系与第二坐标系转换关系获取单元进一步用于：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

可选地，还包括：转换关系求解单元，用于利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

可选地，所述第三坐标系与第一坐标系转换关系获取单元进一步用于：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

可选地，所述图像校准单元进一步用于：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。

本发明提供的图像校准方法和系统，通过获取第一图像坐标系、待测用户坐标系和点云采集设备坐标系之间的关系对所述第一图像进行校准，从而实现对用户运动的检测，并对用户的运动造成的图像误差进行调整，获取准确的用户图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的图像校准方法的流程示意图；

图2是本发明一个实施例的图像校准系统的结构示意图；

图3本发明一个实施例的图像校准方法应用于鼻内镜手术导航的术中患者位姿校准的原理图；

图4是本发明一个实施例的图像校准方法应用于鼻内镜手术导航的术中患者位姿校准的流程示意图；

图5是本发明一个实施例的图像校准方法应用于鼻内镜手术导航的坐标系示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的图像校准方法的流程示意图。如图1所示，本实施例的图像校准方法包括：

S11：获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

S12：获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

S13：根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

本实施例的图像校准方法，通过获取第一图像坐标系、待测用户坐标系和点云采集设备坐标系之间的关系对所述第一图像进行校准，从而实现对用户运动的检测，并对用户的运动造成的图像误差进行调整，获取准确的用户图像。

在一种可选的实施方式中，所述根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系包括：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

该方法还包括：利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

进一步地，所述对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系包括：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

具体地，所述根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准包括：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。

图2是本发明一个实施例的图像校准系统的结构示意图，如图2所示，本实施例的图像校准系统包括：

第一坐标系与第二坐标系转换关系获取单元21，用于获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

第三坐标系与第一坐标系转换关系获取单元22，用于获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

图像校准单元23，用于根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

进一步地，第一坐标系与第二坐标系转换关系获取单元21用于：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

该系统还包括：转换关系求解单元，用于利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

具体地，第三坐标系与第一坐标系转换关系获取单元22用于：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

图像校准单元23进一步用于：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。

本实施例的系统可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

本发明提供的图像校准方法和系统，通过获取第一图像坐标系、待测用户坐标系和点云采集设备坐标系之间的关系对所述第一图像进行校准，从而实现对用户运动的检测，并对用户的运动造成的图像误差进行调整，获取准确的用户图像。

下面以一个具体的实施方式说明将本发明的图像校准方法应用于鼻内镜手术导航的术中患者位姿校准过程中。

图3本发明一个实施例的图像校准方法应用于鼻内镜手术导航的术中患者位姿校准的原理图。如图3所示，本方法采用的手术导航系统采用的实验装置包括：手术器械和鼻内窥镜等工具与红外反射性标志点固定在一起，使用光学跟踪系统(Northern Digital Inc.,Waterloo,ON,Canada)进行跟踪，实时获取器械的位姿信息，并用于确定虚拟内窥镜在虚拟场景中的位置和视角，为增强现实融合场景提供实时虚拟视角。手术中内窥镜视频图像通过视频编码器(Shenzhen Reach ITCo.)实时获取，对图像进行畸变校正、增强和高斯衰减处理后，与虚拟视角场景进行增强现实融合显示，引导医生到达CT数据中识别出的目标病灶。实时头部位姿采用三维扫描仪(KINECT,Microsoftcorporation)获取，通过点云-CT配准完成术中校准。系统各项功能集成到基于医学图像处理开源框架(MITK,Medical Imaging ToolKit)自主开发的手术导航软件。

图4是本发明一个实施例的图像校准方法应用于鼻内镜手术导航的术中患者位姿校准的流程示意图。如图4所示，本实施方式提供的用于鼻内镜手术导航的术中患者位姿校准方法包括如下步骤：

步骤S11：使用内窥镜碰触患者头部标记点。为了实现鼻内镜导航系统中不同成像系统间的数据转换，需要计算各个器械所处的坐标系之间的坐标变换关系，如图5所示。NDI红外跟踪器通过拍摄内窥镜上粘贴的标志点来捕捉术中鼻内镜器械的实时位姿，鼻内镜通过术中拍摄患者图像而与患者达成坐标系的统一，因此内窥镜所处的NDI坐标系即被定义为术中患者坐标系(第二坐标系)。术前采集得到的CT影像中包含了患者大量宝贵的信息，患者的血管与肿瘤需要在术前从CT影像中分割出来，CT影像的坐标系被称为图像坐标系(第一坐标系)。此外，术前需要在患者头部粘贴标记点，这些标记点在图像坐标系中的坐标为^CTP，通过使用内窥镜触碰这些标记点可以获取它们在实际患者坐标系中的坐标^NDIP。

步骤S12：利用标记点将患者头部与术前图像配准。在手术开始前的初始标定阶段，通过配准^CTP和^NDIP可以实现图像坐标系与实际患者坐标系间的坐标变换关系^CT₀:

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量。^CTp_i是标志点集合^CTP中的第i个点，同理^NDIp_i是^NDIP中的第i个点。标志点^CTP和^NDIP中点的数量是相同的，被定义为n。为实现配准n必须大于3。Umeyama最小二乘解方法可以用于计算变换矩阵^CT₀。之后CT影像及其中的分割结果可以通过改变换映射至术中患者坐标系内:

^NDII₀＝^CT₀·^CTI

其中^CTI是图像坐标系中的CT影像，^NDII₀是初始标定时患者坐标系中的CT影像。然后随着术中内窥镜的实时移动，NDI红外跟踪设备可以实时获取内窥镜的位姿与拍摄角度，患者坐标系内的CT影像与病灶信息即可融合至实时内窥镜影像中，实现术中的手术导航。

步骤S13：利用Kinect相机获取患者初始面部点云。

然而，患者一旦在术中产生任意运动，影像的融合结果中将出现巨大的偏差，手术导航系统将需要重新标定来校正这一误差。

步骤S21：利用Kinect相机获取患者实时面部点云。为避免在术中重复进行复杂的手工标定过程，Kinect采集设备将用于捕捉术中患者头部的表面点云。

步骤S22：配准实时面部点云与初始面部点云。在导航手术中，Kinect设备用于实时采集患者头部的表面点云S_t，其中t代表采集时刻。同时，在患者术前采集的CT影像中应用移动立方体算法可以分割得到CT影像中患者的头部点云M。因为S_t与M具备相似的外围轮廓，基于凸包结构配准算法将适用于实时配准S_t与M。此时Kinect坐标系(第三坐标系)向图像坐标系间的坐标变换为^KT_t:

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，是配准方法中点云间的相似性测度。

步骤S23：得到术前图像到术中图像的变换关系。Kinect设备与NDI红外跟踪设备间的相对位置系在手术过程中始终保持不变，因此当患者在术中发生运动后，术中患者坐标系与图像坐标系间的变换关系可以通过Kinect设备坐标系来估计，得到实时的患者坐标系病灶影像^NDII_t:

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，为初始标定时刻Kinect设备的相对坐标变换矩阵。经过这样的运算，即便患者在术中发生意外运动，这一运动也能被实时校正，避免了在术中重复进行复杂的手工标定过程。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像校准方法，其特征在于，包括：

获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

2.根据权利要求1所述的图像校准方法，其特征在于，所述根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系包括：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\Σ}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

3.根据权利要求2所述的图像校准方法，其特征在于，还包括：利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

4.根据权利要求3所述的图像校准方法，其特征在于，所述对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系包括：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

5.根据权利要求4所述的图像校准方法，其特征在于，所述根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准包括：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。

6.一种图像校准系统，其特征在于，包括：

第一坐标系与第二坐标系转换关系获取单元，用于获取待测用户多个标定点在第一坐标系中的坐标，所述第一坐标系为所述待测用户的第一图像的坐标系；获取待测用户实时图像中对应标定点在第二坐标系中的坐标，所述第二坐标系为待测用户的坐标系；根据所述多个标定点在第一坐标系中的坐标和所述实时图像中对应标定点在第二坐标系中的坐标获取第一坐标系与第二坐标系的转换关系；

第三坐标系与第一坐标系转换关系获取单元，用于获取待测用户的初始点云和实时点云；对所述实时点云和初始点云进行配准，获取第三坐标系与第一坐标系的转换关系，所述第三坐标系为点云采集设备的坐标系；

图像校准单元，用于根据所述第三坐标系与第一坐标系的关系、第一坐标系与第二坐标系的关系对所述第一图像进行校准。

7.根据权利要求6所述的图像校准系统，其特征在于，所述第一坐标系与第二坐标系转换关系获取单元进一步用于：

通过以下公式获取第一坐标系与第二坐标系的转换关系^CT₀：

${T_C}_0=\underset{R,\stackrel{\→}{t}}{\arg \min }\underset{i=1}{\overset{n}{\Σ}}\left|\right|T(R,\stackrel{\→}{t})\·{p_{CT}}_i-{p_{NDI}}_i\left|\right|$

其中，是坐标变换矩阵，R是一个3×3的旋转矩阵，是一个3×1的平移向量；^CTp_i是标志点集合在第一坐标系^CTP中的第i个点，^NDIp_i是第二坐标系^NDIP中的第i个点；n为标志点的数量。

8.根据权利要求7所述的图像校准系统，其特征在于，还包括：转换关系求解单元，用于利用最小二乘解方法求解第一坐标系与第二坐标系的转换关系。

9.根据权利要求8所述的图像校准系统，其特征在于，所述第三坐标系与第一坐标系转换关系获取单元进一步用于：

通过以下公式获取第三坐标系与第一坐标系的转换关系^KT_t：

${T_K}_t=\underset{R,\stackrel{\→}{t}}{\arg \min }D\left(T\right(R,\stackrel{\→}{t})\·S_t,M)$

其中，S_t为实时点云，t代表采集时刻；M为分割所述第一图像获取的初始点云；是基于凸包结构配准算法配准的点云间的相似性测度。

10.根据权利要求9所述的图像校准系统，其特征在于，所述图像校准单元进一步用于：

通过以下公式对所述第一图像进行校准：

${I_{NDI}}_t={T_K}_t\·T_0^{-1}{}_K\·{T_C}_0\·I_{CT}$

其中，^NDII_t为对所述第一图像进行校准后的图像；为初始时刻点云采集设备的相对坐标变换矩阵。