CN117994409A - 一种内窥镜图像三维重建方法、装置及内窥镜系统 - Google Patents

Abstract

本发明涉及一种内窥镜图像三维重建方法、装置及内窥镜系统，其方法包括：获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。本发明通过对内窥镜图像中的目标区域进行动态范围的增强，提高了重建图像的清晰度。

Description

一种内窥镜图像三维重建方法、装置及内窥镜系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种内窥镜图像三维重建方法、装置及内窥镜系统。

背景技术

在医疗领域中，可以利用内窥镜图像、X射线图像、CT(ComputedTomography，计算机断层扫描)图像、MR(MagneticResonance，磁共振)图像等辅助医生对患者进行病状诊断。

在内窥镜成像诊断中，ROI(Region ORInterest，感兴趣区域)如器官、肿瘤的三维形态将会影响医生对患者的结果诊断，因此，良好的三维重建将会给医生带来可靠的信息补充。

一般在进行三维重建的过程中，需要适当的图像对比度才可以进行准确的重建，因此需要对图像进行动态范围增强，但是现有技术中通常采用全局增强算法对，使得在平衡整个画面的同时可能会对感兴趣区域带来一定质量损失，影响内窥镜图像三维重建清晰度。

发明内容

有鉴于此，有必要提供一种内窥镜图像三维重建方法、装置及内窥镜系统，用以解决现有技术中重建图像不清晰的问题。

为了解决上述问题，第一方面，本发明提供一种内窥镜图像三维重建方法，包括：

获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；

获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；

基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；

利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。

进一步的，确定第一图像数据集中当前帧图像的目标区域，包括：

将第一图像数据集中当前帧图像输入训练完备的分割模型中，以确定第一图像数据集中当前帧图像的目标区域；

或，

响应于用户针对当前帧图像目标区域的操作指令，确定第一图像数据集中当前帧图像的目标区域。

进一步的，目标区域的第一属性特征包括目标区域的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率中的至少一个。

进一步的，对第一属性特征进行预测处理，确定目标区域的动态范围调整参数，包括：

通过训练完备的动态范围调整模型对第一属性特征进行预测，输出目标区域的动态范围调整参数；

或，

通过自动增强算法对第一属性特征进行增强处理，得到目标区域的第一动态范围参数调整曲线，其中，第一动态范围参数调整曲线包括目标区域的动态范围调整参数。

进一步的，动态范围调整模型的训练过程，包括：

获取样本图像集，并提取每一样本图像的目标区域的第二属性特征；

通过自动增强算法对第二属性特征进行增强处理，得到第二动态范围参数调整曲线；

以样本图像集作为样本，以第二动态范围参数调整曲线作为预测值，对初始动态范围调整模型进行训练，在达到预设训练次数后得到动态范围调整模型。

进一步的，基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域，包括：

针对第一图像数据集中除当前帧图像外的每一帧图像，执行以下追踪处理：

将当前帧图像的目标区域标记为第一中心区域，

在除当前帧图像外的每一帧图像中，将与第一中心区域相同坐标的区域确定为第二中心区域；

遍历计算第二中心区域中的中心像素点与其他像素点的向量，将计算的向量结果作平均得到偏移均值；

判断第二中心区域的中心像素点周围的像素密度是否满足预设密度条件，当不满足时，根据偏移均值将第二中心区域的中心像素点进行移动；

重复上述遍历过程，直至判断出第二中心区域的中心像素点周围的像素密度满足预设密度条件时，确定此时的中心区域为其他帧图像的目标区域。

进一步的，提取第二图像数据集中每个图像的特征点，包括：

针对第二图像数据集中的每个图像，遍历获取每个图像中的像素点，并确定像素点的灰度值；

定义以像素点为圆心，预设长度为半径的区域，并分别获取该区域中其他像素点的灰度值；

若在该区域其他像素点中，灰度值大于像素点灰度值的个数满足预设条件，将像素点作为图像的特征点；

重复上述遍历过程，以提取第二图像数据集中每个图像的所有特征点。

进一步的，基于特征点进行三维重建，得到重建后的内窥镜图像，包括：

基于特征点的像素信息对第二图像数据集中每个图像的特征进行匹配；

根据已匹配特征点在每个图像的像素信息确定每个特征点的深度信息；

获取内窥镜相机的标定参数，基于每个已匹配特征点的深度信息、像素信息以及标定参数计算每个已匹配特征点的点云数据；

根据每个已匹配特征点的点云数据进行三维重建，得到重建后的内窥镜图像。

第二方面，本发明还提供一种内窥镜图像三维重建装置，包括：

第一确定模块，用于获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；

预测模块，用于获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；

第二确定模块，用于基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；

处理模块，用于利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

重建模块，用于提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。

第三方面，本发明还提供一种内窥镜系统，包括：

内窥镜设备，用于采集内窥镜图像；

显示设备，用于显示内窥镜图像；

输入设备，用于与显示的内窥镜图像进行交互；

终端，与内窥镜设备、显示设备及输入设备通信连接，其中，终端包括计算机程序，用于在执行所述计算机程序时实现上述内窥镜图像三维重建方法中的步骤。

本发明中提出的内窥镜图像三维重建方法，通过将焦点聚焦在内窥镜图像的目标区域上，避免了全局动态范围增强算法下的为了平衡整个画面而带来的目标区域的动态范围的质量损失；在确定第一图像数据集中当前帧图像的目标区域后，提取目标区域的第一属性特征，并对目标区域的第一属性特征进行预测，以快速确定动态范围调整参数，提高调整效率；然后根据当前帧图像的目标区域对其他帧图像的目标区域进行追踪处理，并根据确定的动态范围调整参数调整第一图像数据集中每一图像的目标区域，最后使用动态范围增强后的图像，进行三维重建，使得重建图像更加精准。

附图说明

图1为本发明提供的内窥镜图像三维重建方法的一实施例的流程示意图；

图2为本发明一实施例提供的一种对目标区域进行追踪的示例图；

图3为本发明提供的内窥镜图像三维重建装置的一实施例的结构示意图；

图4为本发明提供的一种内窥镜系统的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种内窥镜图像三维重建方法、装置及内窥镜系统，以下分别进行说明。

请参阅图1，图1为本发明提供的内窥镜图像三维重建方法的一实施例的流程示意图，如图1所示，内窥镜图像三维重建方法，包括：

步骤S101：获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；

步骤S102：获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；

步骤S103：基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；

步骤S104：利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

步骤S105：提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。

可以理解的是，在当前内窥镜成像诊断中，感兴趣区域(如器官、肿瘤)的三维形态将会影响操作者对患者的结果诊断，而对感兴趣区域所在的内窥镜图像进行三维重建需要适当的图像对比度，因此需要对图像进行动态范围的增强。

需要说明的是，在镜头成像领域，当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，镜头处理器输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。即镜头处理器在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。

在现有技术的内窥镜动态范围增强的方法中，图像的动态范围增强往往是基于全图像尺寸的、并且调节模式有限，并且全尺寸的动态范围增强可能会在平衡整个画面的同时，对目标区域造成一些不利的影响。故本发明提出仅对目标区域进行动态范围的增强，不仅避免了全局动态范围增强算法下的为了平衡整个画面而带来的目标区域的动态范围的质量损失，也提高了三维重建的效率。

其中，第一图像数据集可以包括单帧内窥镜图像，也可以包括连续多帧内窥镜图像的视频流，当前帧图像为第一图像数据集中的任一帧图像，在本发明中为当前显示在显示界面上的内窥镜图像，目标区域指内窥镜图像中的感兴趣区域(如器官、肿瘤)。

本发明中提出的内窥镜图像三维重建方法，通过将焦点聚焦在内窥镜图像的目标区域上，避免了全局动态范围增强算法下的为了平衡整个画面而带来的目标区域的动态范围的质量损失；在确定第一图像数据集中当前帧图像的目标区域后，提取目标区域的第一属性特征，并对目标区域的第一属性特征进行预测，以快速确定动态范围调整参数，提高调整效率；然后根据当前帧图像的目标区域对其他帧图像的目标区域进行追踪处理，并根据确定的动态范围调整参数调整第一图像数据集中每一图像的目标区域，最后使用动态范围增强后的图像，进行三维重建，使得重建图像更加精准。

在本发明的一个实施例中，

确定第一图像数据集中当前帧图像的目标区域，包括：

将第一图像数据集中当前帧图像输入训练完备的分割模型中，以确定第一图像数据集中当前帧图像的目标区域；

或，

响应于用户针对当前帧图像目标区域的操作指令，确定第一图像数据集中当前帧图像的目标区域。

可以理解的是，在对目标区域进行确定的过程中，可以选用多种确定模式，比如人机交互模式或自动模式。

在一些示例中，输入设备包括鼠标、眼动跟踪穿戴设备。在选用人机交互模式进行确定目标区域时，终端可响应于用户的操作指令确定当前帧图像的目标区域，即用户可以利用鼠标点击显示界面上当前帧图像的目标区域或者触摸屏幕上当前帧图像的目标区域，还可以根据眼动跟踪穿戴设备，比如头显的视线交互锁定当前帧图像的目标区域。

在选用自动模式进行确定当前帧图像的目标区域时，可以利用预先训练好的分割模型进行自适应的选择，其中，预先训练好的分割模型可选用Mask-RCNN或DeepMask模型进行训练，具体的检测识别及分割原理在此不再赘述。

在分割过程中，可以选用语义分割或实例分割。举例而言，语义分割会将两个肿瘤整体的所有像素预测为“肿瘤”这个类别；与此不同的是，实例分割需要区分出哪些像素属于第一个肿瘤、哪些像素属于第二个肿瘤。

需要说明的是，在镜头成像领域，当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，镜头处理器输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。即镜头处理器在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”，因此在确定出内窥镜图像的感兴趣区域后，可以调整感兴趣区域的动态范围，通常为对动态范围的增强，以便为后续感兴趣区域的三维重建创造合适的条件。

本发明在调整目标区域的动态范围时，同样可以选用多种调整模式，比如人机交互调整模式或自适应模式。

一方面，当选用自适应调整模式时，对第一属性特征进行预测处理，确定目标区域的动态范围调整参数，包括：

通过训练完备的动态范围调整模型对第一属性特征进行预测，输出目标区域的动态范围调整参数。

可以理解的是，在调整目标区域的动态范围之前，需要确定目标区域的动态调整范围参数，其中，目标区域的最佳的动态范围调整参数，一般为动态范围增强参数，然后可以根据该动态范围增强参数自动对目标区域进行动态范围增强处理。通过仅调整图像中目标区域的动态范围，一般是增强宽动态范围，可以避免全局算法下的局部画面质量损失。

需要说明的是，目标区域的第一属性特征包括目标区域的局部属性特征。其中，目标区域的第一属性特征包括但不限于目标区域的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率。在一些具体的实施例中，对第一属性特征进行预测处理，确定所述目标区域的动态范围调整参数，除了基于目标区域的第一属性特征进行预测，还包括当前帧图像的全局属性特征，全局属性特征包括但不限于当前帧图像的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率。

另一方面，当选用手动调整模式时，对第一属性特征进行预测处理，确定目标区域的动态范围调整参数，包括：

通过自动增强算法对第一属性特征进行增强处理，得到目标区域的第一动态范围参数调整曲线，其中，第一动态范围参数调整曲线包括目标区域的动态范围调整参数。

其中，自动增强算法包括公知的对数映射方法、分段线性灰度增强法及RGTM算法，具体原理在此不再赘述。在利用自动增强算法对第一属性特征进行增强处理，得到目标属性的第一动态范围参数调整曲线，可以理解的是，该第一动态调整参数调整曲线中包含了目标区域的动态范围调整参数。

进一步的，当选用手动调整模式时，上述方法还包括：

将第一动态范围调整曲线显示在显示界面上；

响应于用户针对第一动态范围参数调整曲线的调整指令，对目标区域进行动态范围的调整。

可以理解的是，通过响应用户针对对该曲线的调整指令，得到目标区域不同的动态范围调整参数，并且不同动态范围调整参数叠加在目标区域可以产生不同的效果，用户可以根据该曲线自行调节到人眼感到清晰的图像。即可以仅对目标区域进行肉眼观察下的最佳动态范围调整，避免全局动态范围增强算法下的为了平衡整个画面而带来的目标区域的动态范围的质量损失。动态范围调整参数包括但不限于目标区域的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率。

此外，还可以对图像中的其他区域也设置动态参数调整曲线，以实现对图像中的不同区域进行不同程度的增强调节。

在本发明的一个实施例中，动态范围调整模型的训练过程，包括：

获取样本图像集，并提取每一样本图像的目标区域的第二属性特征；

通过自动增强算法对第二属性特征进行增强处理，得到第二动态范围参数调整曲线；

以样本图像集作为样本，以第二动态范围参数调整曲线作为预测值，对初始动态范围调整模型进行训练，在达到预设训练次数后得到动态范围调整模型。

其中，样本图像集可以为历史内窥镜图像数据集，也可以为其他图像的数据集，样本图像目标区域的第二属性特征同样包括样本图像的全局属性特征与样本图像目标区域的局部属性特征，并且，样本图像目标区域的第二属性特征包括样本图像目标区域的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率中的至少一个。

同理，在确定样本图像的第二动态范围参数调整曲线时，可采用自动增强算法，如公知的自适应性对数映射方法、分段线性灰度增强算法及RGTM算法，具体原理在此不再赘述，利用样本图像目标区域的亮度、灰度、对比度等属性预设好最佳映射曲线，并以此作为机器学习模型的预测值来训练出相应的机器学习模型。

可以理解的是，在利用自动增强算法确定动态范围参数时，不同的方法里不同图像属性需要调整的参数程度不同，因此需要进行机器学习，具体的，以样本图像集作为样本，以第二动态范围参数调整曲线作为预测值，对初始动态范围调整模型进行训练，在达到预设训练次数后得到动态范围调整模型。此时模型已经学习了大量的图像属性对应的最佳映射曲线，因此使用预训练好的模型则可以得出最佳预设方法下的动态范围调整参数。

需要说明的是，在对当前帧内窥镜图像的感兴趣区域进行动态范围增强操作后，还需要对第一图像数据集中的其他帧内窥镜图像的感兴趣区域进行动态范围增强操作。在具体的实现过程中，可以依次针对其他帧图像进行同样的目标区域提取以及实时生成其他帧内窥镜图像对应的动态范围调节参数，或者针对每一帧内窥镜图像进行实时的手动调整。

可以理解的是，上述两种对其他帧感兴趣区域进行动态范围调节的方式调节效率较低，因此本发明提出一种追踪其他帧图像中的感兴趣区域，并利用目标区域对应的动态范围调节参数调节其他帧图像中的目标区域，以得到准确的、稳定的宽动态范围图像。

在本发明的一个实施例中，基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域，包括：

针对第一图像数据集中除当前帧图像外的每一帧图像，执行以下追踪处理：

将当前帧图像的目标区域标记为第一中心区域，

在除当前帧图像外的每一帧图像中，将与第一中心区域相同坐标的区域确定为第二中心区域；

遍历计算第二中心区域中的中心像素点与其他像素点的向量，将计算的向量结果作平均得到偏移均值；

判断第二中心区域的中心像素点周围的像素密度是否满足预设密度条件，当不满足时，根据偏移均值将第二中心区域的中心像素点进行移动；

重复上述遍历过程，直至判断出第二中心区域的中心像素点周围的像素密度满足预设密度条件时，确定此时的中心区域为其他帧图像的目标区域。

可以理解的是，第一图像数据集中的图像是从多个角度拍摄的内窥镜图像集合，因此每一帧内窥镜图像均包括目标区域，即感兴趣区域，故可以利用当前帧图像中的目标区域追踪其他帧图像中的目标区域。其中，追踪算法包括均值漂移算法、提升算法及支持向量机判别算法中的任一种。

以均值漂移算法为例，针对第一图像数据集中除当前帧图像外的每一帧图像，均执行以下追踪处理：

根据当前帧图像的目标区域设定第一范围，记为第一中心区域；在除当前帧图像外的每一帧图像中，确定与第一中心区域相同坐标但更大一圈的区域，记为第二中心区域；在第二中心区域中进行遍历计算，得到若干遍历第二中心区域中心点的向量，并将若干向量作平均得到偏移均值；将第二中心区域的中心点移动到偏移均值的位置，重复移动，直到满足一定的条件，比如第二中心区域中心点周围的像素密度最大时，确定此时的中心区域为其他帧图像的目标区域。请参阅图2，图2为本发明一实施例提供的一种对目标区域进行追踪的示例图。

可以理解的是，在对上述内窥镜图像进行动态范围增强操作后，可以获得多张亮度、对比度等属性状态稳定的且含有感兴趣区域的图像。通过对动态范围增强后的图像进行三维重建，可以使得重建图像更清晰，从而进一步给内窥镜操作者提供可靠的信息补充。

在本发明的一个实施例中，可以通过提取第二图像数据集中每个图像的特征点，然后基于特征点对内窥镜图像进行三维重建。

在本发明的一个实施例中，提取第二图像数据集每个图像的特征点，包括：

针对第二图像数据集中的每个图像，遍历获取每个图像中的像素点，并确定像素点的灰度值；

定义以像素点为圆心，预设长度为半径的区域，并分别获取该区域中其他像素点的灰度值；

若在该区域其他像素点中，灰度值大于像素点灰度值的个数满足预设条件，将像素点作为图像的特征点；

重复上述遍历过程，以提取第二图像数据集中每个图像的所有特征点。

可以理解的是，在图像处理中，特征点一般指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，图像特征点能够反映图像本质特征。为了提高重建效率，本发明提取的特征点一般为目标区域中的特征点，具体可利用提取算法如SIFT算法、SURF算法、ORB算法及FAST算法等进行特征点提取。

以FAST算法为例，FAST算法可以对特征点进行实时检测，其检测原理是：通过提取图像中的点，判断以该点为圆心的周围邻域内像素点和该点有多不同，来判断该点是否是角点。或者若一个像素周围有一定数量的像素与该点像素值不同，则认为其为角点，即特征点。

在本发明的一个实施例中，利用特征点进行三维重建，得到重建后的内窥镜图像，包括：

基于特征点的像素信息对第二图像数据集中每个图像的特征进行匹配；

根据已匹配特征点在每个图像的像素信息确定每个特征点的深度信息；

获取内窥镜相机的标定参数，基于每个已匹配特征点的深度信息、像素信息以及标定参数计算每个已匹配特征点的点云数据；

根据每个已匹配特征点的点云数据进行三维重建，得到重建后的内窥镜图像。

在对图像的特征点进行匹配时，可以基于特征点的像素信息进行匹配，举例而言，假设第二图像数据集中包括图像I₁和图像I₂，且图像I₁中包括特征点P＝P₁、P₂、P₃...P_n，图像I₂中包括特征点P′＝P₁′、P₂′、P₃′...P_n′。以每一个特征点为中心，将其邻域窗口的像素值作为该特征点的描述符，对于图像I₁中的每一个特征点P_i分别计算其与图像I₂中提取的各个特征点的邻域像素值差的平方和，并将平方和最小的特征点作为图像I₂中与特征点P_i匹配的特征点。

当匹配完成时得到同一特征点在不同图像之间的像素信息，然后将得到的同一特征点的多个像素信息进行归一化处理，得到该特征点的均值像素值，最后利用特征点的均值像素值确定特征点的深度信息。以灰度图像为例，每个特征点像素的取值范围为(0-255)，每个特征点深度的取值为(1-8)。

需要说明的是，三维重建是指根据单视图或者多视图的图像重建三维信息的过程，在利用多视图的图像进行图像三维重建时，先对相机进行标定，即计算出相机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

可以理解的是，在不考虑图像畸变的条件下，可以根据图像的RGB-D信息(即图像的像素信息和深度信息)及内窥镜相机的内外参数，计算出任一特征点在世界坐标系下的坐标。具体的，根据公知的内参公式可以计算出特征点在相机坐标系下的三维坐标，然后再根据相机的齐次变换矩阵或者旋转矩阵和平移向量，可求出该特征点在世界坐标系下的三维坐标。而所有世界坐标系下的特征点的坐标，就是点云地图数据，也就是世界坐标系下的点云数据，因此得以实现三维重建。

为了更好实施本发明实施例中的内窥镜图像三维重建方法，在内窥镜图像三维重建方法基础之上，对应的，请参阅图3，图3为本发明提供的内窥镜图像三维重建装置的一实施例的结构示意图，本发明实施例提供了一种内窥镜图像三维重建装置300，包括：

第一确定模块301，用于获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；

预测模块302，用于获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；

第二确定模块303，用于基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；

处理模块304，用于利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

重建模块305，用于提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。

这里需要说明的是：上述实施例提供的装置300可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。

基于上述内窥镜图像三维重建方法，本发明实施例还相应的提供一种内窥镜系统400，包括：内窥镜设备401，用于采集内窥镜图像；显示设备402，用于显示内窥镜图像；输入设备403，用于与显示的内窥镜图像进行交互；终端404，与内窥镜设备401、显示设备402及输入设备403通信连接，其中包括计算机程序，用于在执行计算机程序时实现上述各实施例的内窥镜图像三维重建方法。

图4仅示出了内窥镜系统400的部分组件，可以理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

在本发明的一些实施例中，存储器405可以是终端404的内部存储单元，例如终端404的硬盘或内存，也可以是终端404的外部存储设备，例如终端404上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器405还用于存储安装终端404的应用软件及各类数据。

处理器406在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器405存储的程序代码或处理数据，例如本发明中的内窥镜图像三维重建方法。

显示器407在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器407用于显示内窥镜系统400的信息以及用于显示可视化的用户界面。内窥镜系统的部件401-407通过通信总线相互通信。

在本发明的一些实施例中，当处理器406执行存储器405中的内窥镜图像三维重建程序时，可实现以下步骤：

获取第一图像数据集，并确定第一图像数据集中当前帧图像的目标区域；

获取目标区域的第一属性特征，并对第一属性特征进行预测处理，确定目标区域的动态范围调整参数；

基于第一图像数据集中当前帧图像的目标区域确定第一图像数据集中其他帧图像的目标区域；

利用动态范围调整参数对第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

提取第二图像数据集中每个图像的特征点，并基于特征点进行三维重建，得到重建后的内窥镜图像。

应当理解的是：处理器406在执行存储器405中的内窥镜图像三维重建程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种内窥镜图像三维重建方法，其特征在于，包括：

获取第一图像数据集，并确定所述第一图像数据集中当前帧图像的目标区域；

获取所述目标区域的第一属性特征，并对所述第一属性特征进行预测处理，确定所述目标区域的动态范围调整参数；

基于所述第一图像数据集中当前帧图像的目标区域确定所述第一图像数据集中其他帧图像的目标区域；

利用所述动态范围调整参数对所述第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

提取所述第二图像数据集中每个图像的特征点，并基于所述特征点进行三维重建，得到重建后的内窥镜图像。

2.根据权利要求1所述的内窥镜图像三维重建方法，其特征在于，所述确定所述第一图像数据集中当前帧图像的目标区域，包括：

将所述第一图像数据集中当前帧图像输入训练完备的分割模型中，以确定第一图像数据集中当前帧图像的目标区域；

或，

响应于用户针对当前帧图像目标区域的操作指令，确定第一图像数据集中当前帧图像的目标区域。

3.根据权利要求1所述的内窥镜图像三维重建方法，其特征在于，所述目标区域的第一属性特征包括目标区域的亮度、对比度、最大灰度值、最小灰度值、最大灰度值与最小灰度值比例、灰度值的中值、灰度值的均值、灰度值的方差、灰度值的标准差、灰度累积分布频率及预设若干分段区间内所占灰度累积分布频率中的至少一个。

4.根据权利要求3所述的内窥镜图像三维重建方法，其特征在于，所述对所述第一属性特征进行预测处理，确定所述目标区域的动态范围调整参数，包括：

通过训练完备的动态范围调整模型对所述第一属性特征进行预测，输出所述目标区域的动态范围调整参数；

或，

通过自动增强算法对所述第一属性特征进行增强处理，得到目标区域的第一动态范围参数调整曲线，其中，所述第一动态范围参数调整曲线包括目标区域的动态范围调整参数。

5.根据权利要求4所述的内窥镜图像三维重建方法，其特征在于，所述动态范围调整模型的训练过程，包括：

获取样本图像集，并提取每一样本图像的目标区域的第二属性特征；

通过自动增强算法对所述第二属性特征进行增强处理，得到第二动态范围参数调整曲线；

以所述样本图像集作为样本，以所述第二动态范围参数调整曲线作为预测值，对初始动态范围调整模型进行训练，在达到预设训练次数后得到所述动态范围调整模型。

6.根据权利要求1所述的内窥镜图像三维重建方法，其特征在于，所述基于所述第一图像数据集中当前帧图像的目标区域确定所述第一图像数据集中其他帧图像的目标区域，包括：

针对所述第一图像数据集中除当前帧图像外的每一帧图像，执行以下追踪处理：

将所述当前帧图像的目标区域标记为第一中心区域，

在除当前帧图像外的每一帧图像中，将与所述第一中心区域相同坐标的区域确定为第二中心区域；

遍历计算所述第二中心区域中的中心像素点与其他像素点的向量，将计算的向量结果作平均得到偏移均值；

判断所述第二中心区域的中心像素点周围的像素密度是否满足预设密度条件，当不满足时，根据所述偏移均值将第二中心区域的中心像素点进行移动；

重复上述遍历过程，直至判断出第二中心区域的中心像素点周围的像素密度满足预设密度条件时，确定此时的中心区域为其他帧图像的目标区域。

7.根据权利要求1所述的内窥镜图像三维重建方法，其特征在于，所述提取所述第二图像数据集中每个图像的特征点，包括：

针对第二图像数据集中的每个图像，遍历获取每个图像中的像素点，并确定所述像素点的灰度值；

定义以所述像素点为圆心，预设长度为半径的区域，并分别获取该区域中其他像素点的灰度值；

若在该区域其他像素点中，灰度值大于所述像素点灰度值的个数满足预设条件，将所述像素点作为图像的特征点；

重复上述遍历过程，以提取所述第二图像数据集中每个图像的所有特征点。

8.根据权利要求7所述的内窥镜图像三维重建方法，其特征在于，所述基于所述特征点进行三维重建，得到重建后的内窥镜图像，包括：

基于特征点的像素信息对第二图像数据集中每个图像的特征进行匹配；根据已匹配特征点在每个图像的像素信息确定每个特征点的深度信息；

获取内窥镜相机的标定参数，基于每个已匹配特征点的深度信息、像素信息以及所述标定参数计算每个已匹配特征点的点云数据；

根据所述每个已匹配特征点的点云数据进行三维重建，得到重建后的内窥镜图像。

9.一种内窥镜图像三维重建装置，其特征在于，包括：

第一确定模块，用于获取第一图像数据集，并确定所述第一图像数据集中当前帧图像的目标区域；

预测模块，用于获取所述目标区域的第一属性特征，并对所述第一属性特征进行预测处理，确定所述目标区域的动态范围调整参数；

第二确定模块，用于基于所述第一图像数据集中当前帧图像的目标区域确定所述第一图像数据集中其他帧图像的目标区域；

处理模块，用于利用所述动态范围调整参数对所述第一图像数据集中当前帧图像和其他帧图像的目标区域进行动态范围的调整，得到第二图像数据集；

重建模块，用于提取所述第二图像数据集中每个图像的特征点，并基于所述特征点进行三维重建，得到重建后的内窥镜图像。

10.一种内窥镜系统，其特征在于，包括：

内窥镜设备，用于采集内窥镜图像；

显示设备，用于显示内窥镜图像；

输入设备，用于与显示的内窥镜图像进行交互；

终端，与所述内窥镜设备、所述显示设备及所述输入设备通信连接，其中，所述终端包括计算机程序，用于在执行所述计算机程序时实现上述权利要求1至8中任意一项所述的内窥镜图像三维重建方法中的步骤。