CN109949301A - 无线内窥镜摄像照明系统 - Google Patents

Abstract

本发明实施例提供一种无线内窥镜摄像照明系统，其中，利用两个通信通道分别传输图像数据，在其中一个通道传输的图像数据丢失的情况下，利用另一个通信通道传输的数据进行补充，从而避免了现有技术中利用单通道射频传输造成的易受到同频干扰和邻频干扰的缺陷；并且克服了使用双通道通信中的频道切换，造成的图像传输延时，提高了图像传输的实时性和流畅性；另外，本申请实施例基于参考帧特征点对进行仿射变换，确定当前视频帧对应的目标帧，克服了现有技术的视频稳像中存在的特征点提取、匹配和筛选的局限性，以及实时性差、适用性差的问题，能够适用于腔镜等不同的应用场景。

Description

无线内窥镜摄像照明系统

技术领域

本发明涉及医学领域，具体涉及一种无线内窥镜摄像照明系统。

背景技术

在医疗领域，腔镜检查作为一种检查手段，被广泛用于各种疾病的检查。在利用腔镜检查的过程中，需要将获取到的被检测位置的图片传送到显示端，以供医生通过显示端显示的图像对被检测位置进行病灶的检查和判断。

当前将腔镜获取到的图像传送到医生能观测到的显示端，一般采用单通道射频RF传输，但单通道RF传输图像的过程中，容易受到同频干扰和邻频干扰，因此非常容易在显示端出现图像卡顿、花屏等故障。

为了克服上述显示端显示图像过程中出现卡顿、花屏等缺陷，现有技术中，将腔镜获取到的图像传送到医生能观测到的显示端，还会采用双通道通信的方式进行图像传输，该方式在传输图像的过程中需要进行频道的切换，由于频道切换延时较长，因此利用双通道传输图像的方式实时性较差，无法满足医疗图像显示过程中的实时性要求。

另外，腔镜在采集图像的过程中，需要腔镜提供光源对被检测位置进行照射，如果光源太暗，会影响采集到的图像的质量，如果光源太亮不仅会浪费能源，也会对图像的质量造成不良影响，因此对腔镜中光源的亮度要求较高。

再者，现有技术中，在解决视频图像稳定性时，大多是首先进行特征点匹配或块匹配，之后进行运动滤波分离抖动分量，使用差值或滤波进行运动补偿。现有技术中的视频图像稳定方法在特征点提取、匹配和筛选的过程中具有一定的局限性，并且步骤冗长复杂，实时性差，同时，现有技术中的视频图像稳定方法只能适用于车载、无人机等特定的应用场景，无法适用于医疗腔镜领域。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种无线内窥镜摄像照明系统，解决了现有技术中无线腔镜检查的图像传输过程中，容易受到同频、邻频干扰，图像显示的实时性、流畅性和真实性较差的缺陷，以及现有技术的视频稳像中存在的特征点提取、匹配和筛选的局限性，以及实时性差、适用性差的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本申请实施例提供了一种无线内窥镜摄像照明系统，包括：

图像调整模块，用于基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值；

数据传输模块，用于分别利用第一预定频段对应的第一通信通道和第二预定频段对应的第二通信通道传输调整后的腔镜图像；

目标数据确定模块，用于从所述第二通信通道传输的图像数据中，获取所述第一通信通道在传输所述图像数据过程中的丢失的数据包对应的数据包，得到目标数据包；

目标图像确定模块，用于基于所述第一通信通道传输的图像数据和从第二通信通道获取的目标数据包，确定目标图像数据；

数据获取模块，用于获取目标图像数据的当前视频帧以及参考帧；

帧处理模块，用于基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧。

在一种可能的实施方式中，所述图像调整模块在基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值时，具体用于：

基于所述目标亮度值和所述目标色度值，开启对应数量的灯具进行照明，并采集在所述对应数量的灯具照射下的目标物的腔镜图像；

将所述目标物的腔镜图像分割为多个子图像，并确定每个子图像的亮度值、每个子图像的色度值；

针对每个子图像，基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值；

针对每个子图像，基于该子图像的色度值、所述目标色度值以及该子图像中每个像素点的色度值，确定该子图像中每个像素点的目标色度值。

在一种可能的实施方式中，

图像调整模块具体用于开启的所述对应数量的灯具包括功率可调节灯具；

所述图像调整模块在确定每个子图像中每个像素点的目标亮度值之前，还用于：

确定所述目标物的腔镜图像的平均亮度值；

基于所述目标亮度值、所述平均亮度值，调节所述功率可调节灯具的照射亮度。

在一种可能的实施方式中，所述图像调整模块在调节所述功率可调节灯具的照射亮度之后，以及在确定每个子图像中每个像素点的目标亮度值之前，还用于：

采集当前的目标物的腔镜图像，并基于当前采集的图像，更新每个子图像的亮度值和色度值。

在一种可能的实施方式中，所述图像调整模块在基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值时，具体用于：

基于该子图像的亮度值、所述目标亮度值，确定亮度调节系数；

基于所述亮度调节系数、该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值。

在一种可能的实施方式中，所述帧处理模块在基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧时具体用于：

确定所述当前视频帧中的特征点、每个特征点的方向以及每两个特征点之间的欧氏距离，并基于每个特征点的方向和以及每两个特征点之间的欧氏距离，确定匹配的特征点对；

基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对；

对筛选得到的目标特征点对进行聚类处理，确定每个目标特征点对的类别；

基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数；

利用所述全局特征参数对当前视频帧的所有目标特征点进行仿射变换，得到当前视频帧对应的目标帧。

在一种可能的实施方式中，所述帧处理模块在基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对时，具体用于：

针对每个特征点对，基于其余特征点对与该特征点对的最近距离和次最近距离，确定该特征点对是否保留。

在一种可能的实施方式中，所述帧处理模块在确定每个特征点对是否保留之前，还用于：利用预定算法剔除所述特征点对之间误匹配的特征点对；

所述帧处理模块在确定每个特征点对是否保留之后，还用于：基于特征点对在所述腔镜图像中的位置，剔除特征点对。

在一种可能的实施方式中，所述帧处理模块在基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数时，具体用于：

获取每个类别对应的预设权重；

基于每种类别对应的预设权重，和参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数。

(三)有益效果

本发明实施例提供了一种无线内窥镜摄像照明系统。具备以下有益效果：

本发明实施例首先基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值；之后分别利用第一预定频段对应的第一通信通道和第二预定频段对应的第二通信通道传输调整后的腔镜图像；之后从所述第二通信通道传输的图像数据中，获取所述第一通信通道在传输所述图像数据过程中的丢失的数据包对应的数据包，得到目标数据包；之后基于所述第一通信通道传输的图像数据和从第二通信通道获取的目标数据包，确定目标图像数据；最后获取目标图像数据的当前视频帧以及参考帧，并基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧。上述技术方案利用两个通信通道分别传输图像数据，在其中一个通道传输的图像数据丢失的情况下，利用另一个通信通道传输的数据进行补充，从而避免了现有技术中利用单通道射频传输造成的易受到同频干扰和邻频干扰的缺陷；并且克服了使用双通道通信中的频道切换，造成的图像传输延时，提高了图像传输的实时性和流畅性；同时，不需要利用丢帧补偿算法进行丢失数据包的补偿，利用两个通信通道中其中一个通信通道传输的数据对另一个通信通道传输的数据进行补偿，能够提高补偿得到的图像数据的真实性。另外，上述技术方案基于参考帧特征点对进行仿射变换，确定当前视频帧对应的目标帧，克服了现有技术的视频稳像中存在的特征点提取、匹配和筛选的局限性，以及实时性差、适用性差的问题，能够适用于腔镜等不同的应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了本发明一实施例的无线内窥镜摄像中的图像处理方法的流程图；

图2示意性的示出了本发明一实施例的无线内窥镜摄像照明系统的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请中的无线内窥镜摄像中的图像处理方法由腔镜中的数据处理芯片执行，例如由腔镜中的CPU执行。下面通过一些实施例对本申请的无线内窥镜摄像中的图像处理方法进行说明。如图1所述，本申请的无线内窥镜摄像中的图像处理方法包括以下步骤：

S110、基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值。

这里的腔镜图像是预定区域的图像数据。在执行此步骤之前需要对要检查的区域，即预定区域内的图像数据的采集。这里的预定区域为医生根据实际情况确定的检查区域。

S120、分别利用第一预定频段对应的第一通信通道和第二预定频段对应的第二通信通道传输调整后的腔镜图像。

本步骤由数据处理芯片中的数据传输模块完成。上述第一通信通道和第二通信通道可以均是单通道RF通信通道。在具体实施时，上述所述第一预定频段可以为5.8G的RF通信通道，所述第二预定频段可以为2.4G的RF通信通道。

本步骤实现了利用两个独立的RF通信通道分别传输腔镜拍摄得到的图像数据。

S130、从所述第二通信通道传输的图像数据中，获取所述第一通信通道在传输所述图像数据过程中的丢失的数据包对应的数据包，得到目标数据包。

所述目标数据包为第一通信通道丢失的数据包对应的数据包，即为与第一通信通道丢失的数据包具有相同的拍摄部位的数据包。

本步骤在执行之前，需要首先对第一通信通道传输的图像数据进行分析，确定第一通信通道丢失的数据包，之后根据确定的丢失的数据包从第二通信通道传输的图像数据中提取对应的数据，得到上述目标数据包。

S140、基于所述第一通信通道传输的图像数据和从第二通信通道获取的目标数据包，确定目标图像数据。

本步骤实现了第一通信通道传输的图像数据与从第二通信通道提取的目标数据包的合并，得到了预定区域的完整的图像数据，即目标图像数据，基于该目标图像数据可以在腔镜的显示端显示预定区域的完整的检测图像，以供相关的医务人员进行诊断。

上述技术方案利用两个通信通道分别传输图像数据，在其中一个通道传输的图像数据丢失的情况下，利用另一个通信通道传输的数据进行补充，从而避免了现有技术中利用单通道射频传输造成的易受到同频干扰和邻频干扰的缺陷；并且克服了使用双通道通信中的频道切换，造成的图像传输延时，提高了图像传输的实时性和流畅性；同时，不需要利用丢帧补偿算法进行丢失数据包的补偿，利用两个通信通道中其中一个通信通道传输的数据对另一个通信通道传输的数据进行补偿，能够提高补偿得到的图像数据的真实性。

S150、获取目标图像数据的当前视频帧以及参考帧。

这里，所述参考帧为所述当前视频帧的前一帧的图像数据，并且所述参考帧为当前视频帧经过仿射变化得到的视频帧。即，在进行视频稳像的处理过程中，分别将每帧图像进行处理，具体地，可以按照视频拍摄的时间，从早到晚分别对每帧图像进行处理，前一帧处理后的视频帧(即后述目标帧)作为后一阵图像处理过程中的参考帧。

S160、基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧。

这里，所述参考帧的特征参数包括以下至少一项：旋转参数、缩放参数、平移参数、斜切参数。

在一些实施例中，上述方法还包括以下步骤：对所述目标图像数据进行解码处理，并利用解码后的图像数据进行图像显示。

上述图像显示的步骤由数据处理芯片中的图像显示模块完成，图像显示模块可以首先利用解码算法对目标图像数据进行解码，之后利用对应的显示屏进行图像显示。在具体实施时，上述图像显示模块可以是具有HDMI的图像显示模块。

在一些实施例中，上述方法在从所述第二通信通道传输的图像数据中，获取所述目标数据包之前，还包括如下步骤：

步骤一、接收并存储所述第一通信通道传输的所述图像数据。

在具体实施时，第一数据接收存储模块首先接收第一通信通道传输的图像数据，之后将接收的图像数据进行存储。在具体实施时，可以将接收的图像数据存储在缓存中。

步骤二、接收并存储所述第二通信通道传输的所述图像数据。

在具体实施时，第二数据接收存储模块首先接收第二通信通道传输的图像数据，之后将接收的图像数据进行存储。在具体实施时，可以将接收的图像数据存储在缓存中。

在一些实施例中，上述方法在所述获取预定区域的图像数据之后，还包括如下步骤：

步骤一、对获取的所述图像数据进行编码处理，分别得到所述第一通信通道传输的图像数据和所述第二通信通道传输的图像数据。

在具体实施时所述第一通信通道传输的图像数据和第二通信通道的图像数据可以均为HDMI信号。

步骤二、将编码得到的所述第一通信通道传输的图像数据发送给所述第一通信通道。

本步骤由数据处理芯片中的第一数据发送模块完成。

步骤三、将编码得到的所述第二通信通道传输的图像数据发送给所述第二通信通道。

本步骤由数据处理芯片中的第二数据发送模块完成。

应当说明的是，上述图像数据传输的时候可以是利用无线通信信道传输的，即上述第一通信信道和第二通信信道可以均是无线通信信道。

本申请的上述实施例的腔镜利用两个独立的通信信道同时传输图像数据，在腔镜进行图像显示前进行丢帧检测，检测到其中一个通信信道接收的图像数据丢帧时，将另一个通信信道接收的对应帧的数据作为补偿，插入到丢帧通信信道接收的图像数据中，得到待显示数据，即上述目标图像数据。

上述实施例采用独立双通信通道，可以有效避免由于单一通信通道RF传输中同频干扰和邻频干扰对显示造成的卡顿、花屏；并且采用双通道同时工作，减少了由于频道切换造成的显示滞后，满足医疗设备实时再现的要求；同时双通道接收的图像数据互为补充，满足了医疗设备中对显示要求真实再现的要求。

在一些实施例中，所述基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值，具体包括：

步骤一、基于所述目标亮度值和所述目标色度值，开启对应数量的灯具进行照明，并采集在所述对应数量的灯具照射下的目标物的腔镜图像。

目标亮度值和目标色度值是由用户在调节光源亮度之前根据具体需求预先设置的。目标亮度值和目标色度值是所要调节到的图像的亮度值和色度值。

根据预设的目标亮度值和目标色度值能够确定开启的灯具的数量，在具体实施时，如果目标亮度值和目标色度值较大，则开启的灯具的数量较多，反之，如果目标亮度值和目标色度值较小，则开启的灯具的数量较少。

本步骤中的灯具优选的为LED等。

步骤二、将所述目标物的腔镜图像分割为多个子图像，并确定每个子图像的亮度值、每个子图像的色度值。

本步骤首先将目标物的腔镜图像分割为多个子图像，之后分别确定每个子图像的实际亮度值和实际色度值。

本步骤调用Opencv接口对采集到的腔镜图像进行分析，将腔镜图像的亮度和色度信息分离。特别的，每张腔镜图像像素根据亮度信息聚类为k块，分别计算每一块的亮度值和色度值，以及求得整张图像的平均亮度值和平均色度值。

步骤三、针对每个子图像，基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值。

在获取到了每个子图像的实际亮度值和预设的目标亮度值之后，可以利用本步骤实现对每个子图像的亮度值的微调，以提高图像的质量。

图像的亮度值由图像中的像素点的亮度值确定，因此，可以通过对图像中的像素点的亮度值的调节实现对图像的亮度的调节。

步骤四、针对每个子图像，基于该子图像的色度值、所述目标色度值以及该子图像中每个像素点的色度值，确定该子图像中每个像素点的目标色度值。

本步骤由腔镜的色度微调模块完成。在获取到了每个子图像的实际色度值和预设的目标色度值之后，可以利用本步骤以及平均色度值实现对每个子图像的色度值的微调，以提高图像的质量。

在一些实施例中，上述开启的所述对应数量的灯具包括功率可调节灯具和多个功率不可调节的灯具。在具体实施时，多个功率不可调节的灯具与率可调节灯具并联，每个并联电路上带有一个开关，并在总电路上安装有总开关。其中高性能LED灯，即包括功率可调节灯具所在并联电路串联一个变压器，可控制输入高性能LED灯的电压，从而控制LED灯的发光功率。且在不同电压下使用该高性能LED灯对其寿命影响很小。

在一些实施例中，上述方法在确定每个子图像中每个像素点的目标亮度值之前，还包括如下步骤：

步骤一、确定所述目标物的腔镜图像的平均亮度值。

在具体实施时，可以根据每个子图像的亮度值确定所述目标物的图像平均亮度值。

步骤二、基于所述目标亮度值、所述平均亮度值，调节所述功率可调节灯具的照射亮度。

在具体实施时，若目标亮度值高于目标物的图像平均亮度时，则增加功率可调节灯具的输入电压，以提高功率可调节灯具的照射亮度，直至目标亮度值等于目标物的图像平均亮度；反之，若目标亮度值低于目标物的图像平均亮度时，则降低功率可调节灯具的输入电压，以降低功率可调节灯具的照射亮度，直至目标亮度值等于目标物的图像平均亮度。

步骤三、采集当前的目标物的腔镜图像，并基于当前采集的腔镜图像，更新每个子图像的亮度值和色度值。

本步骤用于在调节了光源的亮度之后，重新采集腔镜图像，并更新每个子图像的亮度值和色度值。另外，本步骤中腔镜的图像信息采集模块还用于重新确定整张目标物的图像的平均亮度值和平均色度值。

在一些实施例中，上述方法中基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值时，具体利用如下步骤实现：

步骤一、基于该子图像的亮度值、所述目标亮度值，确定亮度调节系数。

在具体实施时，可以利用如果公式确定亮度调节系数：

式中，B_i表示亮度调节系数，y₀表示标亮度值，y_i表示子图像i的亮度值。

步骤二、基于所述亮度调节系数、该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值。

在具体实施时，可以利用如果公式确定每个像素点的目标亮度值：

式中，yij表示子图像i中像素点j的亮度值，B_i表示亮度调节系数，y_ij表示子图像i中像素点j的目标亮度值。

本发明实施例的上述方法实现了腔镜光源亮度的多档位可选，并可根据使用者的需求，自动选择所需档位。并且通过功率调节模块精准对腔镜冷光源进行调节，最大限度节约能耗。最后图像后处理技术，经图像亮度微调、图像色度微调，对生成的腔镜图像微调，得到使用者想要的亮度和色度效果。

在一些实施例中，所述基于参考帧的特征参数，对当前视频帧进行进行仿射变换，得到当前视频帧对应的目标帧，具体包括：

步骤一、确定所述当前视频帧中的特征点、每个特征点的方向以及每两个特征点之间的欧氏距离，并基于每个特征点的方向和以及每两个特征点之间的欧氏距离，确定匹配的特征点对。

所述参考帧为所述当前视频帧的前一帧的图像数据，并且所述参考帧为当前视频帧经过仿射变化得到的视频帧。即，在进行视频稳像的处理过程中，分别将每帧图像进行处理，具体地，可以按照视频拍摄的时间，从早到晚分别对每帧图像进行处理，前一帧处理后的视频帧(即后述目标帧)作为后一阵图像处理过程中的参考帧。

在具体实施时，本步骤基于相邻帧变换的思想，对参考帧和当前帧采用SURF(Speeded Up Robust Features)算法进行特征提取，得到初步匹配后的特征点对。

具体地，设某图像点，即某像素点是I(x,y)，尺度σ的Hessian黑塞矩阵为H(x,σ)＝[L_xx(x,σ),L_xy(x,σ)；L_xy(x,σ),L_yy(x,σ)]，每一个图像点都可以求出一个Hessian矩阵；Hessian矩阵的判别式表示为det(H)＝D_xxD_yy-(0.9D_xy)²。

考虑到特征点应具备尺度不变性，在进行Hessian矩阵构造前，需要对其进行高斯滤波，为了提高运算速度，本申请中的SURF使用了盒式滤波器来近似替代高斯滤波器。通过特定核间的卷积计算二阶偏导数，这样便能计算出Hessian矩阵的三个矩阵元素L_xx，L_yy，L_xy，从而计算出Hessian矩阵。通过判别式确定极值点，利用非极大值抑制确定特征点，再选取特征点方向，构造SURF特征点描述符。

特征点提取后，通过计算两个特征点间的欧式距离，以及SURF中的Hessian矩阵迹，即特征点的方向的判断来确定匹配度，如果两个特征点的矩阵迹正负号相同，代表这两个特征点具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，也直接予以排除。总之，基于每个特征点的方向和以及每两个特征点之间的欧氏距离，确定匹配的特征点对。

步骤二、基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对。

由于SURF算法提取到的特征点很多，相应的误匹配特征点对也多，因此基于匹配后的特征点对，使用“三步走”策略筛选匹配的特征点对，一是使用改进的MSAC(M-estimator SAmple Consensu)算法剔除误匹配的特征点对，二是使用KNN-matching算法删除特征点对，三是采用四个角落区域进行特征点匹配、筛选，得到最终的目标点对。

上述第二步中，针对每个特征点对，基于其余特征点对与该特征点对的最近距离和次最近距离，确定该特征点对是否保留。具体地，令K＝2，则每个match得到两个最接近的descriptor，然后计算最近距离和次最近距离之间的比值，当比值大于既定值时，才作为最终匹配的特征点对。

上述第三步中，基于特征点对在所述腔镜图像中的位置，剔除特征点对，具体地，由于微创手术运动的手术器械大多出现在中间区域，因此本申请将区域选在四个角落，对其进行特征点筛除。

步骤三、对筛选得到的目标特征点对进行聚类处理，确定每个目标特征点对的类别。

步骤四、基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数。

步骤五、利用所述全局特征参数对当前视频帧的所有目标特征点进行仿射变换，得到当前视频帧对应的目标帧。

具体地，基于每类目标特征点对中匹配的目标特征点对，挑选3对目标特征点对用于计算仿射变化模型。由于特征点对的分布越分散，计算出的参数会越精确。所以本申请使用四边形模型，即在一幅图像的四个边分别选取一个点对，相邻的三个点对组成一个三角形，对其作内切圆，内切圆的半径越大，说明点越分散。

仿射变换能够保持图像的“平直性”，包括旋转、缩放、平移、斜切等。仿射变换公式如下：[x^*,y^*,1]^T＝[a,b,c；d,e,f；0,1,1][x,y,1]^T，设仿射变换矩阵T＝[a,b,c；d,e,f]。参考帧上的参考帧上的特征点坐标fixedpoints坐标为(x,y)，当前视频帧上的movingpoints坐标为(x^*,y^*)，可得到关系矩阵：fixedpois_matrix＝T*movingpois_matrix，即参考帧上的特征点坐标构成的矩阵＝T*当前帧上的特征点坐标构成的矩阵。接下来对当前视频帧所有坐标点变换到一个使用关系矩阵构造的新平面上，即得到当前视频帧变换后的图像帧。由于对当前帧帧做了相对参考帧的变换，因此图像点需要填充，使用双线性插值法对得到的目标帧中缺失的像素点，即图像点进行全局运动补偿。

上述公式中，(x^*,y^*)是当前视频帧上特征点坐标，(x,y)是参考帧上特征点坐标。(a,b,d,e)是旋转缩放等参数，(c,f)是平移参数。

综上，本步骤利用得到的目标点对，对其进行聚类处理，得到对应的分类后的特征点对，分别带入到6参数(即旋转参数、缩放参数、平移参数、斜切参数)的仿射变换模型中，求解变换参数，最后进行均值处理得到全局仿射变换参数。

在一些实施例中，上述基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数，具体包括如下步骤：获取每个类别对应的预设权重；基于每种类别对应的预设权重，和参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数。

本申请的上述实施例，通过前一帧作为参考帧，后一帧作为当前视频帧并进行仿射变换，将变换后的视频帧保存在新的视频中并将其作为参考帧继续向后一帧变换，反复循环即可得到稳定视频。

本申请的上述实施例，针对微创手术中腔镜的特殊性，使用的SURF算法能对旋转、尺度变换、亮度保持不变性，对视角变换、噪声也有一定程度的稳定性，快速提取特征并匹配。

本申请的上述实施例，对特征点匹配筛选使用三步法删除误匹配点，同时考虑全局特征和局部特征，提高匹配正确率。

本申请的上述实施例，使用仿射变换对当前视频帧直接变换，省去繁杂的滤波技术等，同时将图像可能发生的缩放、旋转、斜切、平移全部考虑在内，方法简单有效。

本申请的上述实施例，使用性能良好的SURF算法可以在微创手术中腔镜复杂特殊的环境内快速提取到大量特征点，三步法的匹配点筛选策略能够得到良好的匹配点，仿射变换后的稳像视频平滑度高，且本申请中的无定义区域明显减少，更利于提高医生手术时视觉感受。

对应于上述无线内窥镜摄像中的图像处理方法，本申请实施例还提供了一种无线内窥镜摄像照明系统，如图2所示，包括：

图像调整模块210，用于基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值；

数据传输模块220，分别利用第一预定频段对应的第一通信通道和第二预定频段对应的第二通信通道传输调整后的腔镜图像；

目标数据确定模块230，从所述第二通信通道传输的图像数据中，获取所述第一通信通道在传输所述图像数据过程中的丢失的数据包对应的数据包，得到目标数据包；

目标图像确定模块240，基于所述第一通信通道传输的图像数据和从第二通信通道获取的目标数据包，确定目标图像数据；

数据获取模块250，用于获取目标图像数据的当前视频帧以及参考帧；

帧处理模块260，基于参考帧的特征参数，对当前视频帧进行进行仿射变换，得到当前视频帧对应的目标帧。

在一些可能的实施方式中，所述图像调整模块在基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值时，具体用于：

基于所述目标亮度值和所述目标色度值，开启对应数量的灯具进行照明，并采集在所述对应数量的灯具照射下的目标物的腔镜图像；

将所述目标物的腔镜图像分割为多个子图像，并确定每个子图像的亮度值、每个子图像的色度值；

针对每个子图像，基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值；

针对每个子图像，基于该子图像的色度值、所述目标色度值以及该子图像中每个像素点的色度值，确定该子图像中每个像素点的目标色度值。

在一些可能的实施方式中，

图像调整模块具体用于开启的所述对应数量的灯具包括功率可调节灯具；

所述图像调整模块在确定每个子图像中每个像素点的目标亮度值之前，还用于：

确定所述目标物的腔镜图像的平均亮度值；

基于所述目标亮度值、所述平均亮度值，调节所述功率可调节灯具的照射亮度。

在一些可能的实施方式中，所述图像调整模块在调节所述功率可调节灯具的照射亮度之后，以及在确定每个子图像中每个像素点的目标亮度值之前，还用于：

采集当前的目标物的腔镜图像，并基于当前采集的图像，更新每个子图像的亮度值和色度值。

在一些可能的实施方式中，所述图像调整模块在基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值时，具体用于：

基于该子图像的亮度值、所述目标亮度值，确定亮度调节系数；

基于所述亮度调节系数、该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值。

在一写可能的实施方式中，所述帧处理模块在基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧时具体用于：

确定所述当前视频帧中的特征点、每个特征点的方向以及每两个特征点之间的欧氏距离，并基于每个特征点的方向和以及每两个特征点之间的欧氏距离，确定匹配的特征点对；

基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对；

对筛选得到的目标特征点对进行聚类处理，确定每个目标特征点对的类别；

基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数；

利用所述全局特征参数对当前视频帧的所有目标特征点进行仿射变换，得到当前视频帧对应的目标帧。

在一些可能的实施方式中，所述帧处理模块在基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对时，具体用于：

针对每个特征点对，基于其余特征点对与该特征点对的最近距离和次最近距离，确定该特征点对是否保留。

在一些可能的实施方式中，所述帧处理模块在确定每个特征点对是否保留之前，还用于：利用预定算法剔除所述特征点对之间误匹配的特征点对；

所述帧处理模块在确定每个特征点对是否保留之后，还用于：基于特征点对在所述腔镜图像中的位置，剔除特征点对。

在一些可能的实施方式中，所述帧处理模块在基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数时，具体用于：

获取每个类别对应的预设权重；

基于每种类别对应的预设权重，和参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种无线内窥镜摄像照明系统，其特征在于，包括：

图像调整模块，用于基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值；

数据传输模块，用于分别利用第一预定频段对应的第一通信通道和第二预定频段对应的第二通信通道传输调整后的腔镜图像；

目标数据确定模块，用于从所述第二通信通道传输的图像数据中，获取所述第一通信通道在传输所述图像数据过程中的丢失的数据包对应的数据包，得到目标数据包；

目标图像确定模块，用于基于所述第一通信通道传输的图像数据和从第二通信通道获取的目标数据包，确定目标图像数据；

数据获取模块，用于获取目标图像数据的当前视频帧以及参考帧；

帧处理模块，用于基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧。

2.根据权利要求1所述的系统，其特征在于，所述图像调整模块在基于预设的目标亮度值和目标色度值调整腔镜图像中每个像素点的亮度值和每个像素点的色度值时，具体用于：

基于所述目标亮度值和所述目标色度值，开启对应数量的灯具进行照明，并采集在所述对应数量的灯具照射下的目标物的腔镜图像；

将所述目标物的腔镜图像分割为多个子图像，并确定每个子图像的亮度值、每个子图像的色度值；

针对每个子图像，基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值；

针对每个子图像，基于该子图像的色度值、所述目标色度值以及该子图像中每个像素点的色度值，确定该子图像中每个像素点的目标色度值。

3.根据权利要求2所述的系统，其特征在于，

图像调整模块具体用于开启的所述对应数量的灯具包括功率可调节灯具；

所述图像调整模块在确定每个子图像中每个像素点的目标亮度值之前，还用于：

确定所述目标物的腔镜图像的平均亮度值；

基于所述目标亮度值、所述平均亮度值，调节所述功率可调节灯具的照射亮度。

4.根据权利要求3所述的系统，其特征在于，所述图像调整模块在调节所述功率可调节灯具的照射亮度之后，以及在确定每个子图像中每个像素点的目标亮度值之前，还用于：

采集当前的目标物的腔镜图像，并基于当前采集的图像，更新每个子图像的亮度值和色度值。

5.根据权利要求2至4任一项所述的系统，其特征在于，所述图像调整模块在基于该子图像的亮度值、所述目标亮度值以及该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值时，具体用于：

基于该子图像的亮度值、所述目标亮度值，确定亮度调节系数；

基于所述亮度调节系数、该子图像中每个像素点的亮度值，确定该子图像中每个像素点的目标亮度值。

6.根据权利要求1所述的系统，其特征在于，所述帧处理模块在基于参考帧的特征参数，对当前视频帧进行仿射变换，得到当前视频帧对应的目标帧时具体用于：

确定所述当前视频帧中的特征点、每个特征点的方向以及每两个特征点之间的欧氏距离，并基于每个特征点的方向和以及每两个特征点之间的欧氏距离，确定匹配的特征点对；

基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对；

对筛选得到的目标特征点对进行聚类处理，确定每个目标特征点对的类别；

基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数；

利用所述全局特征参数对当前视频帧的所有目标特征点进行仿射变换，得到当前视频帧对应的目标帧。

7.根据权利要求6所述的系统，其特征在于，所述帧处理模块在基于特征点的坐标，对确定的所述特征点对进行筛选，得到目标特征点对时，具体用于：

针对每个特征点对，基于其余特征点对与该特征点对的最近距离和次最近距离，确定该特征点对是否保留。

8.根据权利要求7所述的系统，其特征在于，所述帧处理模块在确定每个特征点对是否保留之前，还用于：利用预定算法剔除所述特征点对之间误匹配的特征点对；

所述帧处理模块在确定每个特征点对是否保留之后，还用于：基于特征点对在所述腔镜图像中的位置，剔除特征点对。

9.根据权利要求6所述的系统，其特征在于，所述帧处理模块在基于参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数时，具体用于：

获取每个类别对应的预设权重；

基于每种类别对应的预设权重，和参考帧对应目标特征点对的每个类别的特征参数，确定全局特征参数。