CN109171605B - 带目标定位和腔镜视像增强处理功能的智能边缘计算系统 - Google Patents

带目标定位和腔镜视像增强处理功能的智能边缘计算系统 Download PDF

Info

Publication number
CN109171605B
CN109171605B CN201810997351.2A CN201810997351A CN109171605B CN 109171605 B CN109171605 B CN 109171605B CN 201810997351 A CN201810997351 A CN 201810997351A CN 109171605 B CN109171605 B CN 109171605B
Authority
CN
China
Prior art keywords
image
video
value
deblurred
clear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810997351.2A
Other languages
English (en)
Other versions
CN109171605A (zh
Inventor
丁帅
杨善林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201810997351.2A priority Critical patent/CN109171605B/zh
Publication of CN109171605A publication Critical patent/CN109171605A/zh
Application granted granted Critical
Publication of CN109171605B publication Critical patent/CN109171605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]

Abstract

本发明提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，该计算系统包括一体化腔镜系统和处理系统，一体化腔镜系统包括多个功能模块和控制多个功能模块工作的中央控制单元；多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，处理系统用于进行动态目标定位以及对视频进行处理得到清晰视频。本发明可以为手术提供实时清晰的腔镜视频，有效改善“噪声”敏感问题。

Description

带目标定位和腔镜视像增强处理功能的智能边缘计算系统
技术领域
本发明涉及腔镜系统技术领域，具体涉及一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统。
背景技术
目前，外科手术腔镜化已经越来越深入人心，微创手术已经成为外科医生和患者的共识。腔镜系统能够提供高清放大的手术画面，能清楚显示体内组织的细微结构，与传统开放手术相比，视野更清晰，因此手术更加准确、精细，有效避免了手术部位以外脏器受到不必要的干扰，且术中出血少，手术更安全。
但是目前的腔镜系统存在以下缺点：
(1)在腔镜手术过程中，由于移动救治中腔镜抖动带来的微创手术视野的噪声特性，对于目标的定位和对目标特征的挖掘产生一定的影响；
(2)由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，手术产生一定的影响。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，所述计算系统包括一体化腔镜系统和处理系统，其中：
所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：
所述处理系统用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；
所述处理系统还用于执行：S100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述YOLO目标检测模型的训练过程至少包括：采用K-centers聚类方法对训练样本数据集进行聚类。
(三)有益效果
本发明实施例提供了一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，具有以下效果：
(1)处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担；
(2)处理系统首先提取出上述视频或清晰视频中的关键帧图像，然后采用预先训练的YOLO目标检测模型对关键帧图像中的目标进行定位并确定目标类型，再将带有目标定位框和目标类别标识的图像进行合成，得到动态的目标定位视频。由于预先训练的YOLO目标检测模型的训练过程中包括采用K-centers聚类方法对训练样本数据集进行聚类，而采用K-centers聚类的方式可以有效改善“噪声”敏感问题，从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别，其处理效率高、处理速度快，能够做到实时的目标定位和目标类型识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例中带目标定位和腔镜视像增强处理功能的智能边缘计算系统的结构示意图；
图2示出了本发明一实施例中模糊处理的流程示意图；
图3示出了本发明一实施例中生成对抗网络的训练过程示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，如图1所示，该计算系统包括一体化腔镜系统和处理系统，其中：
所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示。
处理系统用于进行目标定位和进行图像处理以获得清晰视频。
下面对计算系统中的各部分进行详细说明：
(1)针对各个功能模块以及中央控制单元对各功能模块的控制
(1.1)针对中央控制单元
上述中央控制单元可以称为CCU，可以采用32位单片机，适用自创性通讯规范，中央控制单元作为主机，各功能模块作为从机，中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信，中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包，发送给人机交互屏，并显示在人机交互屏，中央控制单元还可以通过DVI通信接口将相关信息(例如，视频)发送给PC端(例如，示教室、会议室)。
其中，通信规范即通信协议，采用RTU模式，数据帧结构为：帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(N个字节)、CRC校验(2个字节)组成(指令都以十六进制发送)，规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。
中央控制单元具体可以采用多任务协调方法对各个任务进行处理，具体为：中央控制单元需要处理的主要任务类型包括：外界控制信息(例如，冷光源的控制信息、气腹仪的控制信息等)以及警报信息、内部控制信息(例如，气腹仪的自动调节信息和反馈等)、信息上传任务和显示任务。为了更合理的处理好每个任务，我们使用优先级调度算法，将上述任务分级，按优先级决定先处理的任务，优先级由高到低为：外界控制信息以及警报信息、内部自身控制信息、信息上传任务和显示任务；以上每个类型的任务中又包含一些小任务，因此在同一级的任务中我们采取时间片轮转算法对其进行处理。
(1.2)针对上述气腹仪
所述气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，其中：
所述比例控制阀、所述开关电磁阀、所述泄气阀、所述气流量传感器和所述气压传感器均设置在供气管路上，且均与所述中央控制单元连接；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；其中，所述供气管路为所述气腹仪向患者体腔输入气体的管路；
所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数；
可理解的是，供气管路也可以称为输出管路，即从气腹仪输出气体至患者体腔内的气体管路。
可理解的是，这里的气体可以是二氧化碳气体。
可理解的是，气压参数为压强，气流量参数为气体速度。
可理解的是，比例控制阀、开关电磁阀以及后面提到的泄气阀均设置在供气管路上，均与中央控制单元连接，而且均可以通过MOS管与中央控制单元连接。
可理解的是，中央控制单元采用的是PWM算法对比例控制阀进行控制，具体是：中央控制单元将气流量传感器检测到的气流量参数(例如，气流速度)和设置的标准气流量参数进行比较，若气流量参数小于该标准气流量参数，则增大输出的PWM信号的占空比，从而增大输出端气流的脉冲宽度，从而增大输出气流；而若气流量参数大于该标准气流量参数，则减小输出的PWM信号的占空比，从而减小输出端气流的脉冲宽度，从而减少输出气流。可见，通过中央控制单元采用的PWM算法可以实现供气管路输出端的气流进行微调，从而保持在预设的标准气流量参数附近。
这里，根据比较结果输出对应的PWM信号给MOS管，通过MOS管控制比例控制阀的开通和关闭，进而控制比例控制阀的开关时间比例，进而使得供气管路中的气体经过比例控制阀后得到一系列幅值相等的高频脉冲气流，即实现“呼-停”式供气。在一定的时间内，这些高频脉冲气流的气量等效于传统开关模式一个开关回合的气量，所以这样能够实现气体流量的精密控制和输气平稳。这里，对比例控制阀的开关时间比例进行调节，可以实现对脉冲气流的宽度进行调节，进而改变供气管路输出端的气流大小。
可理解的是，通过采用PWM算法实现对供气管路输出端的气流大小进行调节，进而实现对供气管路的输出气体的压力进行调节，由于PWM算法实现的是对气流量的微调，因此对输出气体压力的调节也是微调。在实际应用中，在气压传感器检测到的气压参数(例如，压强)小于预设的第一气压参数的情况下，可以采用上述PWM算法间接实现气体压力的调节。但是有可能出现气压传感器检测到的气压参数(例如，压强)超出或达到预设的第一气压参数的情况，这样情况有可能是因为气腹仪某部位出现故障导致无法通过上述PWM算法进行微调的方式对输出气体的气压进行调节，此时可以关闭比例控制阀和开关电磁阀，即停止供气管路的输出，直至气压传感器检测到的气压参数再次小于第一气压参数。
但是，当出现通过关闭比例控制阀和开关电磁阀的方式也不能降低供气管路气压的情况时，为了避免因过高气压而导致危险情况的发生，还可以在气腹仪中设置泄气阀，泄气阀可以设置在供气管路上，且与中央控制单元连接，当中央控制单元确定气压传感器检测到的气压参数大于或等于第二气压参数时，则打开泄气阀，开始泄气，直至供气管路中的气压在第一气压参数之下。
可理解的是，第二气压参数大于第一气压参数。当气压传感器检测到的气压参数大于或等于第一气压参数时，关闭比例控制阀和开关控制阀。当气压传感器检测到的气压参数大于或等于第二气压参数时，则在关闭比例控制阀和开关控制阀的基础上，打开泄气阀。
当然，当不需供气时可以将比例控制阀和开关电磁阀同时关闭，防止比例控制阀内部出现机械卡死、关闭不严出现漏，实现对供气管路的二重保护。
在实际应用中，还可以设置用来检测二氧化碳罐的输入气体气压的气压传感器，以监测二氧化碳罐中的气体量，当其低于特定值时发出报警，提醒医护人员。
由于在气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化、视像抖动问题，提高画面质量。
在一些实施例中，一体化腔镜系统还可以包括存储单元，其中：
所述存储单元，连接所述中央控制单元，用于存储多个年龄段各自对应的数据集；
对应的，所述人机交互屏上显示多个年龄段选项，且用于在检测到所述多个年龄段选项中的任一选项被选择时，向所述中央控制单元发送触发信号；
所述中央控制单元还用于在接收到所述触发信号时，根据被选择的选项对应的年龄段所对应的数据集，确定针对该年龄段的气压推荐值和气流量推荐值，并将所述气压推荐值和所述气流量推荐值显示在所述人机交互屏上。
在实际应用中，各个年龄段可以包括：新生儿、儿童、成年人、老年人等。
在实际应用中，每个年龄段的数据集中可包括多条记录内容，每条记录内容可以包括气压、气流量、在该气压和气流量设置下的使用次数、腹腔气压充气至指定气压阈值范围内时的气体平均温度、腹腔气压充气至指定气压阈值范围内的平均所用时间和该条记录内容的时间戳。例如，{p:8，s:20，ts:20，c:20，t:480，st:1528969758}。其中，p为压强，s为气流量，ts为使用次数，c为气体平均温度，t为平均所用时间，st为时间戳。
可理解的是，医护人员可以在人机交互屏上选择多个年龄段选项中的任一个选项，中央控制单元从存储单元中提取被选择选项对应的数据集，进而计算出气流量推荐值和气压推荐值，并将两个推荐值显示在人机交互屏上，以供医护人员参考，例如，根据气压推荐值设置上述第一气压参数和/或第二气压参数，根据气流量推荐值设置上述标准气流量参数。
这里，针对每一个年龄段，都会计算出对应的气流量推荐值和气压推荐值，从而在计算推荐值时，考虑到不同年龄段的差异这一特点，使得推荐值更加具有参考价值。
上述数据集中的气体平均气温是根据多次检测到的温度而定的，因此需要设置温度传感器，温度传感器可以设置在所述供气管路上，与所述中央控制单元连接，用于检测所述供气管路中的气体温度。
其中，中央控制单元可以采用以下步骤确定所述气压推荐值和所述气流量推荐值：
A1、采用第一公式计算每条记录内容的适合评分值，所述第一公式包括：
Figure BDA0001782173320000091
式中，g为适合评分值，a1、a2和a3为权重值，tsmax为所述多条记录内容中使用次数最大的值，tmax为所述多条记录内容中平均所用时间最大的值，c为在该条记录内容中腹腔气压充气至指定气压阈值范围内时的气体平均温度，t为在该条记录内容中腹腔气压充气至指定气压阈值范围内的平均所用时间，ts为在该条记录内容中的使用次数。
其中，所述中央控制单元具体可以根据第三公式计算所述第一公式中的权重值a1，所述第三公式包括：
a1(t)＝a0e-25(t-1)
式中，t为在以周为时间单位的情况下当前记录内容的时间戳所在的周数，时间戳越近，所在的周数越小。
例如，若当前记录内容的时间戳在最近一周以内，则t为1；若当前记录内容的时间戳在最近两周以内，则t为2。
其中，三个权重值a1、a2和a3的和为1，即a1+a2+a3＝1。
A2、将得到的多个适合评分值中的最大值所对应的记录内容中的气压作为所述气压推荐值以及将所述最大值对应的记录内容中的气流量作为气流量推荐值。
可理解的是，在记录内容中，使用次数越多证明该气压和气流量的组合越好，平均温度越接近人体体温越好，充气所用时间越短越好，综合起来，g值越高，证明对应的气压和气流量的组合对于病人来说越合适，所以这里将最大的g值对应的记录内容中的气压作为气压推荐值，将最大g值对应的记录内容中的气流量作为气流量推荐值。
在一些实施例中，中央控制单元还可以对存储单元中的数据集中的记录内容进行更新或者删除，从而保证数据集的数据有效性。
其中，中央控制单元对存储单元中的数据集进行更新的过程包括：
在所述气腹仪在使用过程中，在第一次腹腔气压与预设压强的差值在指定阈值内维持预设时长时，对当前气压、当前气流量、当前气体温度、本次腹腔气压充气至指定气压阈值范围内的所用时间和时间戳进行记录；若当前的记录内容中包括所述当前气压和所述当前气流量的记录，则对相应的使用次数加1，并对时间戳进行更新，采用第二公式计算更新后的平均所用时间和气体平均温度，所述第二公式包括：
Figure BDA0001782173320000101
式中，n为更新后的平均所用时间或者更新后的气体平均温度，o为更新前的平均所用时间或者更新前的气体平均温度，ts为本次更新前的使用次数，r为本次腹腔气压充气至指定气压阈值范围内的所用时间或者所述当前气体温度。
例如，在前10次的气体平均温度为37.2℃，本次的气体温度为37.1℃，则新的气体平均温度为n＝(37.2*9+37.1)/10。
当然，如果存储单元中没有当前的记录内容，则将当前记录内容加入到数据集中，且使用次数为1。
这里，对使用次数加1的方式实现对使用次数的更新，利用新的时间戳替换旧的时间戳的方式实现对时间戳的更新，通过新的平均所用时间替换旧的平均所用时间的方式实现对平均所用时间的更新，通过新的气体平均温度对旧的气体平均温度进行替换，实现对气体平均温度的更新。
其中，中央控制单元对存储单元中数据集中的记录内容进行删除的过程可以包括：若所述存储单元存储的每一年龄段对应的数据集中记录内容的条数大于预设的最大条数，则将该年龄段对应的数据集中时间戳最小的预设条数的记录内容中使用次数最少的记录内容删除。
也就是说，当某个年龄段对应的数据集中的记录内容的条数大于一定的条数后，就将时间戳最小的一定数量的记录内容中使用次数最小的记录内容删除，这样可以将时间最早的且使用次数最小的记录内容删除。
在传统技术中，气腹仪使用过程中，医护人员需要结合自身经验对压强和气流量进行设置，很难考虑到温度和充气时间这两个因素，而这里根据历史数据中病人充气过程中的气体温度、充气时间、压强、气流量和使用次数的组合为医护人员提供合适的压强和气流量的组合。
由于气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流量参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化过快所导致的视像抖动问题，提高画面质量。
(1.3)针对冷光源
冷光源包括光源模组、恒流板和散热器，其中：
所述光源模组包括LED灯泡、聚光筒和导光束；
所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热。
可理解的是，聚光筒和导光束可以对LED灯泡产生的光进行处理，使得输出的光更加满足使用需求。
可理解的是，由于中央控制单元采用PID算法控制输出电流，保证恒流板能够快速的对偏差进行调整，维持恒流输出的稳定性。
可理解的是，由于中央控制单元实时监控光源温度，在光源温度升高到一定值时可以驱动散热器降低光线热量，避免了在微创手术中光线长时间照射在伤口附近而引起内部组织灼伤的情况发生。
(1.4)针对摄像机
所述摄像机包括CCD摄像头和摄像主板，其中：
所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将该视频发送至人机交互屏和处理系统。
(1.5)针对人机交互屏
人机交互屏，也可以称为监视器，还可以显示光学内窥镜、气腹仪、冷光源等功能模块的工作情况，这样的话，所述中央控制单元还用于将所述气腹仪、所述冷光源和所述光学内窥镜的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示。
当然，人机交互屏还可以有气腹仪、冷光源的操控信息的输入界面，以供医护人员对气腹仪、冷光源操控信息进行输入。
可理解的是，各个功能模块集成为一体，实现一体化，例如集成在机箱内，形成便于携带的智能微创腔镜装备且具有腔镜视像处理功能。由于智能微创腔镜设备采用一体式结构，占地面积小，移动携带方便，兼容性好，可用于各种环境下的微创手术。
(2)针对处理系统
(2.1)处理系统还用于执行以下方法，以实现获得清晰视频的目的：
S’100、获取所述摄像机转换得到的视频；
S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
可理解的是，步骤S’200中包括两种分类，一种是对图像所属的腔体部位进行分类，一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序，例如，可以先对图像所属的腔体部位进行分类，再将各部位的图像分为清晰图像和模糊图像，具体过程如下：
S’2001a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
其中，部位分类模型可以采用图形分类网络AlexNet、GoogleNet或者其他模型。标签库中存储有腔体内各个部位的标准图像。
S’2002a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
其中，清晰度二分类器采用卷积神经网络，该卷积神经网络的结构中的最后一层为一个全连接层，将图像输入该卷积神经网络之后，该全连接层可以输出一个范围在[0,1]之间的概率值，当该概率值大于预设值，则该图像可以归为清晰图像，当该概率值低于或等于预设值，则该图像可以归为模糊图像。
可理解的是，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色的表现，它具体可以包括卷积层(convolutional layer)和池化层(pooling layer)。
可理解的是，所谓的清晰图像和模糊图像是相对的概念，是通过图像作为清晰图像的概率与预设值的比较而确定的，其中预设值的大小与清晰图像和模糊图像的分界线有关，如果预设值较大，说明只有清晰度较高才能被认为是清晰图像，否则会被认为是模糊图像。
举例来说，首先通过步骤S’2001a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹，每一个文件夹中存储有一个腔体部位对应的图像，然后通过步骤S’1022a将每一个文件夹中的图像进行细分，确认其属于清晰图像还是模糊图像。
当然，还可以先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类，具体过程如下：
S’2001b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
S’2002b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
可理解的是，S’2001b和S’2002b中有关内容的解释可以参考步骤S’2001a和S’2002a。
举例来说，首先通过步骤S’2001a将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹，然后通过步骤S’2001b确定每一个文件夹中的图像所对应的腔体部位。
以上两种方式都可以确定各个部位对应的清晰图像和模糊图像，但是后一种方式的处理速度更快一点，使得整个方法的处理流程的实时性更好一些。
S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；
也就是说，通过预先训练的生成对抗网络对每一张模糊图像进行去模糊处理，得到该张模糊图像对应的去模糊图像。
其中，生成对抗网络的训练过程包括如下步骤：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
其中，至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择，例如，超分辨率卷积神经网络(简称为SRCNN)、高效亚像素卷积神经网络(ESPCN)和基于统一网络(unet)的卷积神经网络中的至少两个。当然，还可以选择其他类型的卷积神经网络。
例如，如图2所示，将第一训练样本分别输入SRCNN、ESPCN和基于unet的卷积神经网络中，SRCNN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，ESPCN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，基于unet的卷积神经网络在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像。
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
由于通过步骤A1可以得到多张去模糊图像，因此需要采用一定的方式对这多张去模糊图像进行融合处理，得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。
其中，融合处理的方式有多种，例如，采用加权的方式对多张去模糊图像进行融合。再例如，对多张去模糊图像进行逐个对准的方式，得到包括多层图像的拼接图像，然后将多层图像投影到某一坐标系中，得到多张图像，然后对这多张图像采用加权的方式进行融合。
在卷积神经网络的数量为3个的情况下，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像，上述后一种举例的融合方式可以包括如下步骤：
A21、将所述第二去模糊图像C2对准所述第一去模糊图像C1生成两层的第一拼接图像M1；
A22、将所述第三去模糊图像C3对准所述第一拼接图像M1生成三层的第二拼接图像M2；
A23、将所述三层的第二拼接图像M2投影到全局坐标系中，得到三张投影图像；
A24、采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
当然，还可以存在其他的方式对图像进行融合处理，得到第一训练样本最终对应的去模糊图像。
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1。
其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
其中，总损失值的计算过程可以包括如下过程：
A31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；
A32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
举例来说，损失函数分别记为d_loss1、d_loss2、d_loss3，利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值，然后将得到的三个损失值求和，得到总损失值。
举例来说，判别器对去模糊处理后的图像进行判别的概率在[0,1]之间，如果概率小于所定阈值，则代表去模糊图像相对于同部位的清晰图像差距较大，不能将第一训练样本对应的去模糊图像认定为清晰图像，所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整，以降低总损失值，然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像，进而再次判断该去模糊图像是否为清晰图像，不断循环，直至得到的去模糊图像可以认为是清晰图像为止
其中，如图3所示，生成对抗网络可包括两个子网络-去模糊子网络和判别子网络，其中的去模糊子网络可以执行上述步骤A1和步骤A2，判别子网络可以执行上述步骤A3和步骤A4，参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型，是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型，Generative Model)和判别子网络(也可以称为判别模型，Discriminative Model)的互相博弈学习，能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络，一个好的生成对抗网络需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。
由于去模糊图像为清晰图像，因此将去模糊图像和原始的清晰图像按照时间顺序合成之后，便可以得到原始视频对应的清晰视频，该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧，从而使得整个视频都比较清晰。
这里，处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担。
(2.2)所述处理系统还用于执行以下方法，以实现动态目标定位：
S100、根据所述视频中各帧图像的时间和颜色，从所述视频中选取出关键帧图像；
可理解的是，根据图像的时间和颜色提取关键帧，实际上是采用图像的时间与颜色的变化的方法提取关键帧。时间变化能够充分体现图像的全局信息，颜色特征能够反映图像的局部变化信息。
举例来说，可以通过以下步骤提取关键帧图像：
S201、将视频中的第一帧图像作为一张关键帧图像，并令d＝2；
可理解的是，d表示所述视频中图像的帧号，例如，d＝2表示视频中的第2帧图像的帧号。
S202、计算
Figure BDA0001782173320000191
其中，Si为所述视频中的第i帧图像，si＝s(ti，ci)，ti为第i帧图像在所述视频中所处的时间点，ci为第i帧图像的颜色矩阵。
举例来说，s'2＝s2-s1，s'3＝(s2-s1)+(s3-s2)。
S203、判断s'd是否大于对应的预设阈值，其中s'd对应的预设阈值为m*β，m为当前关键帧图像的总帧数，β为常数：
若是，则将所述视频中的第d帧图像作为一张关键帧图像，并进入步骤S204；
否则，进入步骤S204。
可理解的是，s′d用于度量基于时间和颜色变化特征的图像之间的差异性，s′d越大表示图像之间的差异性越大，这样可以剔除相似性高的图像，保留差异性明显的图像作为关键帧图像。
这里，通过s′d与预设阈值的比较判定视频中的第d帧图像是否为关键帧图像。
S204、判断d是小于所述视频的总帧数：
若是，则将d的数值增加1，并返回步骤S202；
否则，结束关键帧图像提取过程；
这里，通过对d与总帧数的比较，只有当d等于总帧数时才结束关键帧图像提取过程，从而实现对视频中各帧图像的遍历。
当然，还可以采用其他方式提取视频中的关键帧，以上步骤S201～S204仅为其中一种具体方式。
S200-、根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理，采用高通滤波器对平滑处理后的图像进行滤波去噪，并采用中值滤波器对滤波去噪后的图像进行滤波增强。
可理解的是，对关键帧图像的边沿黑边进行平滑处理，可以得到边界清晰的腔镜图像。再采用高通滤波器和中值滤波器进行滤波，得到去掉关键帧图像中的噪声而保留关键帧图像中的高频部分。
这里在步骤S200设置了步骤S200-，该步骤主要实现对关键帧图像的优化处理，这对于实现本发明的基本目的而言并不是必须的，因此在某些实施例中可以不包括步骤S200-。
S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；
其中，所述YOLO目标检测模型的训练过程至少包括：采用K-centers聚类方法对训练样本数据集进行聚类。
上述采用K-centers聚类方法对训练样本数据集进行聚类的具体过程包括：每次迭代后的质点是从聚类的样本点中选取，选取标准为选用簇中离平均值最近的对象作为簇中心，这样可以有效改善“噪声”敏感问题。采用K-centers聚类方法可对训练样本数据集中的实际集(即ground truth box)进行聚类，从而找到ground truth box的统计规律。以聚类个数k为候选框(即anchor boxes)的个数，以k个聚类中心的框的宽高维度为候选框的维度。
然而，现有技术中原YOLO神经网络所使用的K-means聚类方法对“噪声”十分敏感，所以导致移动腔镜下的图像存在“噪声”问题。相比之下，本发明能够有效改善“噪声”敏感问题，提高画面质量。
除此之外，本发明提供的YOLO目标检测模型还有其他不同之处：所述YOLO目标检测模型的网络结构中包括池化层，所述池化层能够将n个激活函数值从小到大依次排序，将n个权重值从小到大依次排序，将n个权重值分别与对应的激活函数值相乘，计算n个相乘结果的平均值，并将所述平均值作为最终的激活函数值。
本发明中采用的池化层可以称作sort-pooling，具体按照渐增的顺序排列n个激活函数：{a1，a2，a3...an}(a1＜a2＜a3…)，而不是选择最大的那个。用n个权重{w1，w2，w3...wn}与之相乘得到n个值，取这n个值的平均值，即
Figure BDA0001782173320000211
采用这种方式，神经网络依然能够学习对应于{w1，w2，w3...wn}＝{0,0,0…1}的良好的、旧的最大池化，且后面的层可以获取更多信息，反向传播时梯度流过上一层中的所有值。sort-pooling能够实现更快更好地收敛，优化迭代时间，保留更多的图像信息，同时也突出重要的图像信息，从而使得目标定位与识别更加精确和处理效率更高。
然而，现有技术中的池化层为max-pooling，是指选取n个激活函数中最大的那个，删除其他激活函数。所以max-pooling存在空间信息损失、不能使用来自多次激活函数的信息和反向传播只能改善最大池化激活函数等问题。
这里，通过对K-centers聚类方法和sort-pooling，可以实现对目标检测模型的优化。
在该步骤中，采用YOLO目标检测模型确定带有目标定位框和目标类别标识的图像的过程具体可以包括：
S201、将每一张关键帧图像划分为S*S个网格，s为大于1的整数；
S202、针对每一个网格，采用多个候选框确定目标的位置、置信度和目标类别概率，将每一个候选框对应的所述置信度和所述目标类别概率相乘，得到该网络的该候选框中的目标属于每一目标类别的置信得分；
S203、将低于预设阈值的置信得分对应的候选框滤除，保留高于等于所述预设阈值的置信得分对应的候选框；
S204、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制(即NMS)处理，得到一张带有目标定位框和目标类别标识的图像；其中，所述目标定位框和所述目标类别标识一一对应。
S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示。
在实际应用时，可以将目标类别标识设置在目标定位框的旁边，以对目标的类别进行说明。
这里，处理系统首先获取腔镜视像，然后提取出其中的关键帧图像，然后采用预先训练的YOLO目标检测模型对关键帧图像中的目标进行定位并确定目标类型，再将带有目标定位框和目标类别标识的图像进行合成，得到动态的目标定位视频。由于预先训练的YOLO目标检测模型的训练过程中包括采用K-centers聚类方法对训练样本数据集进行聚类，而采用K-centers聚类的方式可以有效改善“噪声”敏感问题，从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别，其处理效率高、处理速度快，能够做到实时的目标定位和目标类型识别。
可理解的是，虽然上述目标定位过程是针对摄像机转换得到的视频进行的，也可以针对(2.1)中得到的清晰视频进行，也就是说，处理器首先对摄像机转换得到的视频进行处理得到清晰视频，然后在清晰视频的基础上进行目标定位，这样得到的目标定位视频也是清晰的，并于医护人员参考。
可理解的是，处理系统所执行的上述方法是基于图像处理技术实现的，其中的目标可以根据需要设置，例如，腔体内的一些异常情况，通过上述目标定位方法可以识别出异常情况的部位和异常情况的种类。
可理解的是，上述处理系统为独立于一体化腔镜系统的装置，该装置的具体硬件可以包括处理器、存储器和显示器，存储器中存储有计算机程序，当这些计算机程序被执行时可以实现上述方法，显示器用于显示执行上述方法得到的清晰视频和/或目标定位视频。该装置与一体化腔镜系统中的摄像机连接，获取摄像机转换得到的视频，并基于视频进行图像处理，以得到清晰视频和/或目标定位视频，然后进行显示，以供医护人员参考。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，其特征在于，所述计算系统包括一体化腔镜系统和处理系统，其中：
所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：
所述处理系统用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；
所述处理系统还用于执行：S100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述YOLO目标检测模型的训练过程至少包括：采用K-centers聚类方法对训练样本数据集进行聚类；
所述处理系统还用于预先训练得到所述生成对抗网络，具体过程包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位；
所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述处理系统对所述至少两帧去模糊图像进行融合处理，包括：将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像；
所述一体化腔镜系统还包括：存储单元，连接所述中央控制单元，用于存储多个年龄段各自对应的数据集；
对应的，所述人机交互屏上显示多个年龄段选项，且所述人机交互屏还用于在检测到所述多个年龄段选项中的任一选项被选择时，向所述中央控制单元发送触发信号；
所述中央控制单元还用于在接收到所述触发信号时，根据被选择的选项对应的年龄段所对应的数据集，确定针对该年龄段的气压推荐值和气流量推荐值，并将所述气压推荐值和所述气流量推荐值显示在所述人机交互屏上；
所述气腹仪包括：温度传感器，设置在供气管路上，与所述中央控制单元连接，用于检测供气管路中的气体温度；
所述存储单元中存储的各个年龄段各自对应的数据集包括多条记录内容，每条记录内容包括气压、气流量、在该气压和气流量设置下的使用次数、腹腔气压充气至指定气压阈值范围内时的气体平均温度、腹腔气压充气至指定气压阈值范围内的平均所用时间和该条记录内容的时间戳；
对应的，所述中央控制单元用于采用以下步骤确定所述气压推荐值和所述气流量推荐值：
采用第一公式计算每条记录内容的适合评分值，所述第一公式包括：
Figure FDA0002582764870000031
式中，g为适合评分值，a1、a2和a3为权重值，tsmax为所述多条记录内容中使用次数最大的值，tmax为所述多条记录内容中平均所用时间最大的值，c为在该条记录内容中腹腔气压充气至指定气压阈值范围内时的气体平均温度，t为在该条记录内容中腹腔气压充气至指定气压阈值范围内的平均所用时间，ts为在该条记录内容中的使用次数；
将得到的多个适合评分值中的最大值所对应的记录内容中的气压作为所述气压推荐值以及将所述最大值对应的记录内容中的气流量作为气流量推荐值；
所述中央控制单元还用于对所述存储单元中的数据集进行更新，具体包括：
在所述气腹仪在使用过程中，在第一次腹腔气压与预设压强的差值在指定阈值内维持预设时长时，对当前气压、当前气流量、当前气体温度、本次腹腔气压充气至指定气压阈值范围内的所用时间和时间戳进行记录；
若当前的记录内容中包括所述当前气压和所述当前气流量的记录，则对相应的使用次数加1，并对时间戳进行更新，采用第二公式计算更新后的平均所用时间和气体平均温度，所述第二公式包括：
Figure FDA0002582764870000041
式中，n为更新后的平均所用时间或者更新后的气体平均温度，o为更新前的平均所用时间或者更新前的气体平均温度，ts为本次更新前的使用次数，r为本次腹腔气压充气至指定气压阈值范围内的所用时间或者所述当前气体温度；
所述YOLO目标检测模型的网络结构中包括池化层，所述池化层能够将n个激活函数值从小到大依次排序，将n个权重值从小到大依次排序，将n个权重值分别与对应的激活函数值相乘，计算n个相乘结果的平均值，并将所述平均值作为最终的激活函数值。
2.根据权利要求1所述的计算系统，其特征在于，
所述冷光源包括：光源模组、恒流板和散热器，其中：
所述光源模组包括LED灯泡、聚光筒和导光束；
所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热。
3.根据权利要求1所述的计算系统，其特征在于，
所述摄像机包括CCD摄像头和摄像主板，其中：
所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将所述视频发送至所述人机交互屏和所述处理系统。
4.根据权利要求1所述的计算系统，其特征在于，所述处理系统根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像的过程包括：
S201、将所述视频或所述清晰视频中的第一帧图像作为一张关键帧图像，并令d＝2；
S202、计算
Figure FDA0002582764870000051
S203、判断s'd是否大于对应的预设阈值，其中s'd对应的预设阈值为m＊β，m为当前关键帧图像的总帧数，β为常数：
若是，则将所述视频或所述清晰视频中的第d帧图像作为一张关键帧图像，并进入步骤S204；
否则，进入步骤S204；
S204、判断d是否小于所述视频或所述清晰视频的总帧数：
若是，则将d的数值增加1，并返回步骤S202；
否则，结束关键帧图像提取过程；
其中，si为所述视频或所述清晰视频中的第i帧图像，si＝s(ti，ci)，ti为第i帧图像在所述视频或所述清晰视频中所处的时间点，ci为第i帧图像的颜色矩阵。
CN201810997351.2A 2018-08-29 2018-08-29 带目标定位和腔镜视像增强处理功能的智能边缘计算系统 Active CN109171605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810997351.2A CN109171605B (zh) 2018-08-29 2018-08-29 带目标定位和腔镜视像增强处理功能的智能边缘计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810997351.2A CN109171605B (zh) 2018-08-29 2018-08-29 带目标定位和腔镜视像增强处理功能的智能边缘计算系统

Publications (2)

Publication Number Publication Date
CN109171605A CN109171605A (zh) 2019-01-11
CN109171605B true CN109171605B (zh) 2020-09-01

Family

ID=64916662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810997351.2A Active CN109171605B (zh) 2018-08-29 2018-08-29 带目标定位和腔镜视像增强处理功能的智能边缘计算系统

Country Status (1)

Country Link
CN (1) CN109171605B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109363736A (zh) * 2018-09-10 2019-02-22 安徽省胸科医院 配置中央控制模块的一体化腔镜系统
CN110430369B (zh) * 2019-07-19 2020-12-22 合肥工业大学 基于中央处理器单元的腔镜光源协同控制方法及装置
CN111415564B (zh) * 2020-03-02 2022-03-18 武汉大学 基于人工智能的胰腺超声内镜检查导航方法及系统
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545774A (zh) * 2015-01-30 2015-04-29 合肥德铭电子有限公司 一体化移动微创电子内镜系统
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545774A (zh) * 2015-01-30 2015-04-29 合肥德铭电子有限公司 一体化移动微创电子内镜系统
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
新型池化层sort_pool2d实现更快更好的收敛：表现优于最大池化层（附代码实现）;黄小天 等;《http://www.sohu.com/a/195961723_465975》;20171002;全文 *
面向公交车场景的视频关键帧提取算法研究;陈响;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815(第8期);第18-49页 *

Also Published As

Publication number Publication date
CN109171605A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109171605B (zh) 带目标定位和腔镜视像增强处理功能的智能边缘计算系统
CN109124782B (zh) 智能一体化腔镜系统
WO2020224470A1 (zh) 医疗内窥镜图像的识别方法、系统和内窥镜影像系统
WO2020125499A9 (zh) 一种操作提示方法及眼镜
WO2018077121A1 (zh) 图像中目标物体识别方法、冰箱内食品识别方法及系统
WO2019019828A1 (zh) 目标对象的遮挡检测方法及装置、电子设备及存储介质
JP2020508536A (ja) 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置
KR20210030351A (ko) 의료영상 장치로부터의 실시간 비디오 처리 및 그 비디오로부터 오브젝트를 검출하기 위한 시스템 및 방법
WO2021093437A1 (zh) 图像采集方法、装置、设备及存储介质
ES2883563T3 (es) Método y aparato de estimación de la mirada
CN109223178B (zh) 具有目标定位功能的腔镜智能边缘计算系统
EP3054844B1 (en) Difficult intubation or ventilation or extubation prediction system
CN109241898B (zh) 腔镜视像的目标定位方法和系统、存储介质
CN109146820B (zh) 实时腔镜视像增强处理方法和系统、存储介质
CN104076481B (zh) 自动聚焦方法及其设备
CN108926319B (zh) 配置高清视像处理模块的移动智能一体化腔镜系统
CN109124702B (zh) 配置气腹控制和中央控制模块的智能腔镜系统
CN109363614B (zh) 具有高清视像增强处理功能的智能一体化机器人腔镜系统
KR102160128B1 (ko) 인공지능 기반 스마트 앨범 생성 방법 및 장치
CN110742690A (zh) 一种用于配置内窥镜的方法及终端设备
CN109151275B (zh) 具有实时腔镜视像增强处理功能的智能边缘计算系统
CN114663293A (zh) 一种图像增强方法、装置、电子设备及内窥镜系统
CN109363613B (zh) 具有电磁抑制功能的移动智能一体化腔镜系统
CN109171606B (zh) 智能一体化机器人腔镜系统
CN109350239A (zh) 具有目标定位功能的智能一体化机器人腔镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant