CN108926319A - 配置高清视像处理模块的移动智能一体化腔镜系统 - Google Patents

Abstract

本发明提供一种配置高清视像处理模块的移动智能一体化腔镜系统，该配置高清视像处理模块的移动智能一体化腔镜系统包括一体化腔镜装置和处理装置，一体化腔镜装置包括多个功能模块、控制多个功能模块工作的中央控制单元和为多个功能模块提供电源的电源装置；多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，电源装置包括开关电源和多个电磁干扰抑制电路；处理装置用于进行动态目标定位以及对视频进行处理得到清晰视频。本发明可解决开关阀开闭的瞬间所带来的气压瞬间变化所导致的视像抖动问题，为手术提供实时清晰的腔镜视频。

Description

配置高清视像处理模块的移动智能一体化腔镜系统

技术领域

本发明涉及腔镜系统技术领域，具体涉及一种配置高清视像处理模块的移动智能一体化腔镜系统。

背景技术

目前，外科手术腔镜化已经越来越深入人心，微创手术已经成为外科医生和患者的共识。腔镜系统能够提供高清放大的手术画面，能清楚显示体内组织的细微结构，与传统开放手术相比，视野更清晰，因此手术更加准确、精细，有效避免了手术部位以外脏器受到不必要的干扰，且术中出血少，手术更安全。

但是目前的腔镜系统存在以下缺点：

(1)由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，手术产生一定的影响；

(2)腹腔压力达到平衡的状态下，在开关阀开通和闭合的瞬间都会产生抖动，因此会严重影响手术中的视像效果。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种配置高清视像处理模块的移动智能一体化腔镜系统。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种配置高清视像处理模块的移动智能一体化腔镜系统，所述配置高清视像处理模块的移动智能一体化腔镜系统包括一体化腔镜装置和处理装置，其中：

所述一体化腔镜装置包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：

所述气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，其中：所述比例控制阀、所述开关电磁阀、所述泄气阀、所述气流量传感器和所述气压传感器均设置在供气管路上，且均与所述中央控制单元连接；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；其中，所述供气管路为所述气腹仪向患者体腔输入气体的管路；所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数；

所述处理装置用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。

(三)有益效果

本发明实施例提供了一种配置高清视像处理模块的移动智能一体化腔镜系统，具有以下效果：

(1)由于在气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流量参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化过快所导致的视像抖动问题，提高画面质量；

(2)处理装置通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例中配置高清视像处理模块的移动智能一体化腔镜系统的结构示意图；

图2示出了本发明一实施例中模糊处理的流程示意图；

图3示出了本发明一实施例中生成对抗网络的训练过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种配置高清视像处理模块的移动智能一体化腔镜系统，如图1所示，该配置高清视像处理模块的移动智能一体化腔镜系统包括一体化腔镜装置和处理装置，其中：

所述一体化腔镜装置包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示。

处理装置用于进行目标定位和进行图像处理以获得清晰视频。

下面对配置高清视像处理模块的移动智能一体化腔镜系统中的各部分进行详细说明：

(1)针对各个功能模块以及中央控制单元对各功能模块的控制

(1.1)针对中央控制单元

上述中央控制单元可以称为CCU，可以采用32位单片机，适用自创性通讯规范，中央控制单元作为主机，各功能模块作为从机，中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信，中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包，发送给人机交互屏，并显示在人机交互屏，中央控制单元还可以通过DVI通信接口将相关信息(例如，视频)发送给PC端(例如，示教室、会议室)。

其中，通信规范即通信协议，采用RTU模式，数据帧结构为：帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(N个字节)、CRC校验(2个字节)组成(指令都以十六进制发送)，规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。

中央控制单元具体可以采用多任务协调方法对各个任务进行处理，具体为：中央控制单元需要处理的主要任务类型包括：外界控制信息(例如，冷光源的控制信息、气腹仪的控制信息等)以及警报信息、内部控制信息(例如，气腹仪的自动调节信息和反馈等)、信息上传任务和显示任务。为了更合理的处理好每个任务，我们使用优先级调度算法，将上述任务分级，按优先级决定先处理的任务，优先级由高到低为：外界控制信息以及警报信息、内部自身控制信息、信息上传任务和显示任务；以上每个类型的任务中又包含一些小任务，因此在同一级的任务中我们采取时间片轮转算法对其进行处理。

(1.2)针对上述气腹仪

所述气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，其中：

所述比例控制阀、所述开关电磁阀、所述泄气阀、所述气流量传感器和所述气压传感器均设置在供气管路上，且均与所述中央控制单元连接；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；其中，所述供气管路为所述气腹仪向患者体腔输入气体的管路；

所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数；

可理解的是，供气管路也可以称为输出管路，即从气腹仪输出气体至患者体腔内的气体管路。

可理解的是，这里的气体可以是二氧化碳气体。

可理解的是，气压参数为压强，气流量参数为气体速度。

可理解的是，比例控制阀、开关电磁阀以及后面提到的泄气阀均设置在供气管路上，均与中央控制单元连接，而且均可以通过MOS管与中央控制单元连接。

可理解的是，中央控制单元采用的是PWM算法对比例控制阀进行控制，具体是：中央控制单元将气流量传感器检测到的气流量参数(例如，气流速度)和设置的标准气流量参数进行比较，若气流量参数小于该标准气流量参数，则增大输出的PWM信号的占空比，从而增大输出端气流的脉冲宽度，从而增大输出气流；而若气流量参数大于该标准气流量参数，则减小输出的PWM信号的占空比，从而减小输出端气流的脉冲宽度，从而减少输出气流。可见，通过中央控制单元采用的PWM算法可以实现供气管路输出端的气流进行微调，从而保持在预设的标准气流量参数附近。

这里，根据比较结果输出对应的PWM信号给MOS管，通过MOS管控制比例控制阀的开通和关闭，进而控制比例控制阀的开关时间比例，进而使得供气管路中的气体经过比例控制阀后得到一系列幅值相等的高频脉冲气流，即实现“呼-停”式供气。在一定的时间内，这些高频脉冲气流的气量等效于传统开关模式一个开关回合的气量，所以这样能够实现气体流量的精密控制和输气平稳。这里，对比例控制阀的开关时间比例进行调节，可以实现对脉冲气流的宽度进行调节，进而改变供气管路输出端的气流大小。

可理解的是，通过采用PWM算法实现对供气管路输出端的气流大小进行调节，进而实现对供气管路的输出气体的压力进行调节，由于PWM算法实现的是对气流量的微调，因此对输出气体压力的调节也是微调。在实际应用中，在气压传感器检测到的气压参数(例如，压强)小于预设的第一气压参数的情况下，可以采用上述PWM算法间接实现气体压力的调节。但是有可能出现气压传感器检测到的气压参数(例如，压强)超出或达到预设的第一气压参数的情况，这样情况有可能是因为气腹仪某部位出现故障导致无法通过上述PWM算法进行微调的方式对输出气体的气压进行调节，此时可以关闭比例控制阀和开关电磁阀，即停止供气管路的输出，直至气压传感器检测到的气压参数再次小于第一气压参数。

但是，当出现通过关闭比例控制阀和开关电磁阀的方式也不能降低供气管路气压的情况时，为了避免因过高气压而导致危险情况的发生，还可以在气腹仪中设置泄气阀，泄气阀可以设置在供气管路上，且与中央控制单元连接，当中央控制单元确定气压传感器检测到的气压参数大于或等于第二气压参数时，则打开泄气阀，开始泄气，直至供气管路中的气压在第一气压参数之下。

可理解的是，第二气压参数大于第一气压参数。当气压传感器检测到的气压参数大于或等于第一气压参数时，关闭比例控制阀和开关控制阀。当气压传感器检测到的气压参数大于或等于第二气压参数时，则在关闭比例控制阀和开关控制阀的基础上，打开泄气阀。

当然，当不需供气时可以将比例控制阀和开关电磁阀同时关闭，防止比例控制阀内部出现机械卡死、关闭不严出现漏，实现对供气管路的二重保护。

在实际应用中，还可以设置用来检测二氧化碳罐的输入气体气压的气压传感器，以监测二氧化碳罐中的气体量，当其低于特定值时发出报警，提醒医护人员。

由于在气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化过快所导致的视像抖动问题，提高画面质量。

在一些实施例中，一体化腔镜装置还可以包括存储单元，其中：

所述存储单元，连接所述中央控制单元，用于存储多个年龄段各自对应的数据集；

对应的，所述人机交互屏上显示多个年龄段选项，且用于在检测到所述多个年龄段选项中的任一选项被选择时，向所述中央控制单元发送触发信号；

所述中央控制单元还用于在接收到所述触发信号时，根据被选择的选项对应的年龄段所对应的数据集，确定针对该年龄段的气压推荐值和气流量推荐值，并将所述气压推荐值和所述气流量推荐值显示在所述人机交互屏上。

在实际应用中，各个年龄段可以包括：新生儿、儿童、成年人、老年人等。

在实际应用中，每个年龄段的数据集中可包括多条记录内容，每条记录内容可以包括气压、气流量、在该气压和气流量设置下的使用次数、腹腔气压充气至指定气压阈值范围内时的气体平均温度、腹腔气压充气至指定气压阈值范围内的平均所用时间和该条记录内容的时间戳。例如，{p:8，s:20，ts:20，c:20，t:480，st:1528969758}。其中，p为压强，s为气流量，ts为使用次数，c为气体平均温度，t为平均所用时间，st为时间戳。

可理解的是，医护人员可以在人机交互屏上选择多个年龄段选项中的任一个选项，中央控制单元从存储单元中提取被选择选项对应的数据集，进而计算出气流量推荐值和气压推荐值，并将两个推荐值显示在人机交互屏上，以供医护人员参考，例如，根据气压推荐值设置上述第一气压参数和/或第二气压参数，根据气流量推荐值设置上述标准气流量参数。

这里，针对每一个年龄段，都会计算出对应的气流量推荐值和气压推荐值，从而在计算推荐值时，考虑到不同年龄段的差异这一特点，使得推荐值更加具有参考价值。

上述数据集中的气体平均气温是根据多次检测到的温度而定的，因此需要设置温度传感器，温度传感器可以设置在所述供气管路上，与所述中央控制单元连接，用于检测所述供气管路中的气体温度。

其中，中央控制单元可以采用以下步骤确定所述气压推荐值和所述气流量推荐值：

A1、采用第一公式计算每条记录内容的适合评分值，所述第一公式包括：

式中，g为适合评分值，a₁、a₂和a₃为权重值，ts_max为所述多条记录内容中使用次数最大的值，t_max为所述多条记录内容中平均所用时间最大的值，c为在该条记录内容中腹腔气压充气至指定气压阈值范围内时的气体平均温度，t为在该条记录内容中腹腔气压充气至指定气压阈值范围内的平均所用时间，ts为在该条记录内容中的使用次数。

其中，所述中央控制单元具体可以根据第三公式计算所述第一公式中的权重值a₁，所述第三公式包括：

a₁(t)＝a₀e^-25(t-1)

式中，t为在以周为时间单位的情况下当前记录内容的时间戳所在的周数，时间戳越近，所在的周数越小。

例如，若当前记录内容的时间戳在最近一周以内，则t为1；若当前记录内容的时间戳在最近两周以内，则t为2。

其中，三个权重值a₁、a₂和a₃的和为1，即a₁+a₂+a₃＝1。

A2、将得到的多个适合评分值中的最大值所对应的记录内容中的气压作为所述气压推荐值以及将所述最大值对应的记录内容中的气流量作为气流量推荐值。

可理解的是，在记录内容中，使用次数越多证明该气压和气流量的组合越好，平均温度越接近人体体温越好，充气所用时间越短越好，综合起来，g值越高，证明对应的气压和气流量的组合对于病人来说越合适，所以这里将最大的g值对应的记录内容中的气压作为气压推荐值，将最大g值对应的记录内容中的气流量作为气流量推荐值。

在一些实施例中，中央控制单元还可以对存储单元中的数据集中的记录内容进行更新或者删除，从而保证数据集的数据有效性。

其中，中央控制单元对存储单元中的数据集进行更新的过程包括：

在所述气腹仪在使用过程中，在第一次腹腔气压与预设压强的差值在指定阈值内维持预设时长时，对当前气压、当前气流量、当前气体温度、本次腹腔气压充气至指定气压阈值范围内的所用时间和时间戳进行记录；若当前的记录内容中包括所述当前气压和所述当前气流量的记录，则对相应的使用次数加1，并对时间戳进行更新，采用第二公式计算更新后的平均所用时间和气体平均温度，所述第二公式包括：

式中，n为更新后的平均所用时间或者更新后的气体平均温度，o为更新前的平均所用时间或者更新前的气体平均温度，ts为本次更新前的使用次数，r为本次腹腔气压充气至指定气压阈值范围内的所用时间或者所述当前气体温度。

例如，在前10次的气体平均温度为37.2℃，本次的气体温度为37.1℃，则新的气体平均温度为n＝(37.2*9+37.1)/10。

当然，如果存储单元中没有当前的记录内容，则将当前记录内容加入到数据集中，且使用次数为1。

这里，对使用次数加1的方式实现对使用次数的更新，利用新的时间戳替换旧的时间戳的方式实现对时间戳的更新，通过新的平均所用时间替换旧的平均所用时间的方式实现对平均所用时间的更新，通过新的气体平均温度对旧的气体平均温度进行替换，实现对气体平均温度的更新。

其中，中央控制单元对存储单元中数据集中的记录内容进行删除的过程可以包括：若所述存储单元存储的每一年龄段对应的数据集中记录内容的条数大于预设的最大条数，则将该年龄段对应的数据集中时间戳最小的预设条数的记录内容中使用次数最少的记录内容删除。

也就是说，当某个年龄段对应的数据集中的记录内容的条数大于一定的条数后，就将时间戳最小的一定数量的记录内容中使用次数最小的记录内容删除，这样可以将时间最早的且使用次数最小的记录内容删除。

在传统技术中，气腹仪使用过程中，医护人员需要结合自身经验对压强和气流量进行设置，很难考虑到温度和充气时间这两个因素，而这里根据历史数据中病人充气过程中的气体温度、充气时间、压强、气流量和使用次数的组合为医护人员提供合适的压强和气流量的组合。

由于气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流量参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化过快所导致的视像抖动温度，提高画面质量。

(1.3)针对冷光源

冷光源包括光源模组、恒流板和散热器，其中：

所述光源模组包括LED灯泡、聚光筒和导光束；

所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热。

可理解的是，聚光筒和导光束可以对LED灯泡产生的光进行处理，使得输出的光更加满足使用需求。

可理解的是，由于中央控制单元采用PID算法控制输出电流，保证恒流板能够快速的对偏差进行调整，维持恒流输出的稳定性。

可理解的是，由于中央控制单元实时监控光源温度，在光源温度升高到一定值时可以驱动散热器降低光线热量，避免了在微创手术中光线长时间照射在伤口附近而引起内部组织灼伤的情况发生。

(1.4)针对摄像机

所述摄像机包括CCD摄像头和摄像主板，其中：

所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将该视频发送至人机交互屏和处理装置。

(1.5)针对人机交互屏

人机交互屏，也可以称为监视器，还可以显示光学内窥镜、气腹仪、冷光源等功能模块的工作情况，这样的话，所述中央控制单元还用于将所述气腹仪、所述冷光源和所述光学内窥镜的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示。

当然，人机交互屏还可以有气腹仪、冷光源的操控信息的输入界面，以供医护人员对气腹仪、冷光源操控信息进行输入。

可理解的是，各个功能模块集成为一体，实现一体化，例如集成在机箱内，形成便于携带的智能微创腔镜装备且具有腔镜视像处理功能。由于智能微创腔镜设备采用一体式结构，占地面积小，移动携带方便，兼容性好，可用于各种环境下的微创手术。

(3)针对处理装置

处理装置还用于执行以下方法，以实现获得清晰视频的目的：

S’100、获取所述摄像机转换得到的视频；

S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；

可理解的是，步骤S’200中包括两种分类，一种是对图像所属的腔体部位进行分类，一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序，例如，可以先对图像所属的腔体部位进行分类，再将各部位的图像分为清晰图像和模糊图像，具体过程如下：

S’2001a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；

其中，部位分类模型可以采用图形分类网络AlexNet、GoogleNet或者其他模型。标签库中存储有腔体内各个部位的标准图像。

S’2002a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。

其中，清晰度二分类器采用卷积神经网络，该卷积神经网络的结构中的最后一层为一个全连接层，将图像输入该卷积神经网络之后，该全连接层可以输出一个范围在[0,1]之间的概率值，当该概率值大于预设值，则该图像可以归为清晰图像，当该概率值低于或等于预设值，则该图像可以归为模糊图像。

可理解的是，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色的表现，它具体可以包括卷积层(convolutional layer)和池化层(pooling layer)。

可理解的是，所谓的清晰图像和模糊图像是相对的概念，是通过图像作为清晰图像的概率与预设值的比较而确定的，其中预设值的大小与清晰图像和模糊图像的分界线有关，如果预设值较大，说明只有清晰度较高才能被认为是清晰图像，否则会被认为是模糊图像。

举例来说，首先通过步骤S’2001a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹，每一个文件夹中存储有一个腔体部位对应的图像，然后通过步骤S’1022a将每一个文件夹中的图像进行细分，确认其属于清晰图像还是模糊图像。

当然，还可以先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类，具体过程如下：

S’2001b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；

S’2002b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。

可理解的是，S’2001b和S’2002b中有关内容的解释可以参考步骤S’2001a和S’2002a。

举例来说，首先通过步骤S’2001a将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹，然后通过步骤S’2001b确定每一个文件夹中的图像所对应的腔体部位。

以上两种方式都可以确定各个部位对应的清晰图像和模糊图像，但是后一种方式的处理速度更快一点，使得整个方法的处理流程的实时性更好一些。

S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；

也就是说，通过预先训练的生成对抗网络对每一张模糊图像进行去模糊处理，得到该张模糊图像对应的去模糊图像。

其中，生成对抗网络的训练过程包括如下步骤：

A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；

其中，至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择，例如，超分辨率卷积神经网络(简称为SRCNN)、高效亚像素卷积神经网络(ESPCN)和基于统一网络(unet)的卷积神经网络中的至少两个。当然，还可以选择其他类型的卷积神经网络。

例如，如图2所示，将第一训练样本分别输入SRCNN、ESPCN和基于unet的卷积神经网络中，SRCNN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，ESPCN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，基于unet的卷积神经网络在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像。

A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；

由于通过步骤A1可以得到多张去模糊图像，因此需要采用一定的方式对这多张去模糊图像进行融合处理，得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。

其中，融合处理的方式有多种，例如，采用加权的方式对多张去模糊图像进行融合。再例如，对多张去模糊图像进行逐个对准的方式，得到包括多层图像的拼接图像，然后将多层图像投影到某一坐标系中，得到多张图像，然后对这多张图像采用加权的方式进行融合。

在卷积神经网络的数量为3个的情况下，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像，上述后一种举例的融合方式可以包括如下步骤：

A21、将所述第二去模糊图像C2对准所述第一去模糊图像C1生成两层的第一拼接图像M1；

A22、将所述第三去模糊图像C3对准所述第一拼接图像M1生成三层的第二拼接图像M2；

A23、将所述三层的第二拼接图像M2投影到全局坐标系中，得到三张投影图像；

A24、采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。

当然，还可以存在其他的方式对图像进行融合处理，得到第一训练样本最终对应的去模糊图像。

A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：

若是，则所述生成对抗网络的训练过程结束；

否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1。

其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。

其中，总损失值的计算过程可以包括如下过程：

A31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；

A32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。

举例来说，损失函数分别记为d_loss1、d_loss2、d_loss3，利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值，然后将得到的三个损失值求和，得到总损失值。

举例来说，判别器对去模糊处理后的图像进行判别的概率在[0,1]之间，如果概率小于所定阈值，则代表去模糊图像相对于同部位的清晰图像差距较大，不能将第一训练样本对应的去模糊图像认定为清晰图像，所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整，以降低总损失值，然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像，进而再次判断该去模糊图像是否为清晰图像，不断循环，直至得到的去模糊图像可以认为是清晰图像为止

其中，如图3所示，生成对抗网络可包括两个子网络-去模糊子网络和判别子网络，其中的去模糊子网络可以执行上述步骤A1和步骤A2，判别子网络可以执行上述步骤A3和步骤A4，参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型，是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型，Generative Model)和判别子网络(也可以称为判别模型，Discriminative Model)的互相博弈学习，能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络，一个好的生成对抗网络需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。

S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。

由于去模糊图像为清晰图像，因此将去模糊图像和原始的清晰图像按照时间顺序合成之后，便可以得到原始视频对应的清晰视频，该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧，从而使得整个视频都比较清晰。

这里，处理装置通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担。

可理解的是，上述处理装置为独立于一体化腔镜装置的装置，该装置的具体硬件可以包括处理器、存储器和显示器，存储器中存储有计算机程序，当这些计算机程序被执行时可以实现上述方法，显示器用于显示执行上述方法得到的清晰视频。该装置与一体化腔镜装置中的摄像机连接，获取摄像机转换得到的视频，并基于视频进行图像处理，以得到清晰视频，然后进行显示，以供医护人员参考。

可理解的是，上述处理装置为本申请题目中的高清视像处理模块。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述配置高清视像处理模块的移动智能一体化腔镜系统包括一体化腔镜装置和处理装置，其中：

所述一体化腔镜装置包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：

所述气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，其中：所述比例控制阀、所述开关电磁阀、所述泄气阀、所述气流量传感器和所述气压传感器均设置在供气管路上，且均与所述中央控制单元连接；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；其中，所述供气管路为所述气腹仪向患者体腔输入气体的管路；所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数；

所述处理装置用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。

2.根据权利要求1所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，

所述冷光源包括：光源模组、恒流板和散热器，其中：

所述光源模组包括LED灯泡、聚光筒和导光束；

所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热；和/或

所述摄像机包括CCD摄像头和摄像主板，其中：

所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将所述视频发送至所述人机交互屏和所述处理装置。

3.根据权利要求1所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，

所述一体化腔镜装置还包括：存储单元，连接所述中央控制单元，用于存储多个年龄段各自对应的数据集；

对应的，所述人机交互屏上显示多个年龄段选项，且所述人机交互屏还用于在检测到所述多个年龄段选项中的任一选项被选择时，向所述中央控制单元发送触发信号；

所述中央控制单元还用于在接收到所述触发信号时，根据被选择的选项对应的年龄段所对应的数据集，确定针对该年龄段的气压推荐值和气流量推荐值，并将所述气压推荐值和所述气流量推荐值显示在所述人机交互屏上。

4.根据权利要求3所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，

所述气腹仪还包括：温度传感器，设置在所述供气管路上，与所述中央控制单元连接，用于检测所述供气管路中的气体温度；

所述存储单元中存储的各个年龄段各自对应的数据集包括多条记录内容，每条记录内容包括气压、气流量、在该气压和气流量设置下的使用次数、腹腔气压充气至指定气压阈值范围内时的气体平均温度、腹腔气压充气至指定气压阈值范围内的平均所用时间和该条记录内容的时间戳；

对应的，所述中央控制单元用于采用以下步骤确定所述气压推荐值和所述气流量推荐值：

采用第一公式计算每条记录内容的适合评分值，所述第一公式包括：

式中，g为适合评分值，a₁、a₂和a₃为权重值，ts_max为所述多条记录内容中使用次数最大的值，t_max为所述多条记录内容中平均所用时间最大的值，c为在该条记录内容中腹腔气压充气至指定气压阈值范围内时的气体平均温度，t为在该条记录内容中腹腔气压充气至指定气压阈值范围内的平均所用时间，ts为在该条记录内容中的使用次数；

将得到的多个适合评分值中的最大值所对应的记录内容中的气压作为所述气压推荐值以及将所述最大值对应的记录内容中的气流量作为气流量推荐值。

5.根据权利要求4所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述中央控制单元还用于对所述存储单元中的数据集进行更新，具体包括：

在所述气腹仪在使用过程中，在第一次腹腔气压与预设压强的差值在指定阈值内维持预设时长时，对当前气压、当前气流量、当前气体温度、本次腹腔气压充气至指定气压阈值范围内的所用时间和时间戳进行记录；

若当前的记录内容中包括所述当前气压和所述当前气流量的记录，则对相应的使用次数加1，并对时间戳进行更新，采用第二公式计算更新后的平均所用时间和气体平均温度，所述第二公式包括：

式中，n为更新后的平均所用时间或者更新后的气体平均温度，o为更新前的平均所用时间或者更新前的气体平均温度，ts为本次更新前的使用次数，r为本次腹腔气压充气至指定气压阈值范围内的所用时间或者所述当前气体温度。

6.根据权利要求5所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述中央控制单元还用于对所述存储单元中的数据集中的记录内容进行删除，具体包括：

若所述存储单元存储的每一年龄段对应的数据集中记录内容的条数大于预设的最大条数，则将该年龄段对应的数据集中时间戳最小的预设条数的记录内容中使用次数最少的记录内容删除。

7.根据权利要求4所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述中央控制单元具体用于根据第三公式计算所述第一公式中的权重值a₁，所述第三公式包括：

a₁(t)＝a₀e^-25(t-1)

式中，t为在以周为时间单位的情况下当前记录内容的时间戳所在的周数，时间戳越近，所在的周数越小。

8.根据权利要求1所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述处理装置还用于预先训练得到所述生成对抗网络，具体过程包括：

A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；

A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；

A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：

若是，则所述生成对抗网络的训练过程结束；

否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。

9.根据权利要求8所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；

对应的，所述处理装置对所述至少两帧去模糊图像进行融合处理，包括：将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。

10.根据权利要求8所述的配置高清视像处理模块的移动智能一体化腔镜系统，其特征在于，所述处理装置将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值的过程包括：采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。