CN109151275B - 具有实时腔镜视像增强处理功能的智能边缘计算系统 - Google Patents
具有实时腔镜视像增强处理功能的智能边缘计算系统 Download PDFInfo
- Publication number
- CN109151275B CN109151275B CN201810997353.1A CN201810997353A CN109151275B CN 109151275 B CN109151275 B CN 109151275B CN 201810997353 A CN201810997353 A CN 201810997353A CN 109151275 B CN109151275 B CN 109151275B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- training sample
- frame
- deblurred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 230000000007 visual effect Effects 0.000 title claims description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 claims abstract description 23
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 229910002092 carbon dioxide Inorganic materials 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种具有实时腔镜视像增强处理功能的智能边缘计算系统，该系统包括一体化腔镜系统和视像处理系统，一体化腔镜系统包括多个功能模块和中央控制单元；功能模块包括气腹仪、人机交互屏、冷光源和摄像机；视像处理系统用于获取摄像机转换得到的视频，确定视频中各帧图像各自对应的腔体部位以及将各帧图像按照清晰程度分类得到腔体内的不同部位所对应的清晰图像和模糊图像，采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像，将各帧清晰图像和去模糊图像按照时间顺序进行合成得到腔体的清晰视频，并将清晰视频进行显示。本发明可以由于设备抖动造成的图像模糊问题。
Description
技术领域
本发明涉及腔镜系统技术领域，具体涉及一种具有实时腔镜视像增强处理功能的智能边缘计算系统。
背景技术
在腔镜手术过程中，特别是在恶劣环境下，由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，对临床医生的诊断或者手术产生一定的影响。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种具有实时腔镜视像增强处理功能的智能边缘计算系统，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种具有实时腔镜视像增强处理功能的智能边缘计算系统，所述计算系统包括一体化腔镜系统和视像处理系统，其中：
所述一体化腔镜系统包括多个功能模块以及控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元，所述冷光源和所述摄像机均连接光学内窥镜，所述冷光源为所述光学内窥镜提供光源，摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行显示；
所述视像处理系统用于获取所述摄像机转换得到的视频，确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像，采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像，将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。
(三)有益效果
本发明实施例提供了一种具有实时腔镜视像增强处理功能的智能边缘计算系统，视像处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高病灶定位的准确性，减轻医生的诊断或手术负担。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例中具有实时腔镜视像增强处理功能的智能边缘计算系统的结构示意图；
图2示出了本发明一实施例中视像处理系统所执行方法的流程示意图；
图3示出了本发明一实施例中模糊处理的流程示意图；
图4示出了本发明一实施例中生成对抗网络的训练过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明提供一种具有实时腔镜视像增强处理功能的智能边缘计算系统，如图1所示，所述计算系统包括一体化腔镜系统和视像处理系统，其中：
所述一体化腔镜系统包括多个功能模块以及控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元，所述冷光源和所述摄像机均连接光学内窥镜，所述冷光源为所述光学内窥镜提供光源，所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行显示；
如图2所示，所述视像处理系统用于S101、获取腔镜系统在腔体内拍摄到的视频；S102、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S103、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；S104、将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频，并将所述清晰视频进行显示。
可理解的是，上述中央控制单元可以称为CCU，可以采用32位单片机，适用自创性通讯规范，中央控制单元作为主机，各功能模块作为从机，中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信，中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包，发送给人机交互屏，并显示在人机交互屏，中央控制单元还可以通过DVI通信接口将相关信息(例如，视频)发送给PC端(例如，示教室、会议室)。
其中，通信规范即通信协议，采用RTU模式，数据帧结构为：帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(N个字节)、CRC校验(2个字节)组成(指令都以十六进制发送)，规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。
下面对各个功能模块以及中央控制单元对各个功能模块的控制进行如下说明：
(1)所述气腹仪可以包括比例控制阀、开关电磁阀、气流量传感器、气压传感器和泄气阀，其中：所述比例控制阀、所述开关电磁阀、所述气流量传感器、所述气压传感器和所述泄气阀均设置在供气管路上，且与所述中央控制单元连接；所述供气管路为所述气腹仪向患者体腔输入气体的管路；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；
对应的，所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于通过所述MOS管对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数。
可理解的是，供气管路也可以称为输出管路，即从气腹仪输出气体至患者体腔内的气体管路。
可理解的是，这里的气体可以是二氧化碳气体。
可理解的是，气压参数为压强，气流量参数为气体速度。
可理解的是，比例控制阀、开关电磁阀、泄气阀、气流量传感器、气压传感器均设置在供气管路上，而且均与中央控制单元连接，不过比例控制阀可以通过MOS管与中央控制单元连接。
可理解的是，中央控制单元采用的是PWM算法通过MOS管对比例控制阀进行控制，具体是：中央控制单元将气流量传感器检测到的气流量参数(例如，气流速度)和设置的标准气流量参数进行比较，若气流量参数小于该标准气流量参数，则增大输出的PWM信号的占空比，从而增大输出端气流的脉冲宽度，从而增大输出气流；而若气流量参数大于该标准气流量参数，则减小输出的PWM信号的占空比，从而减小输出端气流的脉冲宽度，从而减少输出气流。可见，通过中央控制单元采用的PWM算法可以实现供气管路输出端的气流进行微调，从而保持在预设的标准气流量参数附近。
这里，根据比较结果输出对应的PWM信号给MOS管，通过MOS管控制比例控制阀的开通和关闭，进而控制比例控制阀的开关时间比例，进而使得供气管路中的气体经过比例控制阀后得到一系列幅值相等的高频脉冲气流，即实现“呼-停”式供气。在一定的时间内，这些高频脉冲气流的气量等效于传统开关模式一个开关回合的气量，所以这样能够实现流量的精密控制和输气平稳。这里，对比例控制阀的开关时间比例进行调节，可以实现对脉冲气流的宽度进行调节，进而改变供气管路输出端的气流大小。
可理解的是，通过采用PWM算法实现对供气管路输出端的气流大小进行调节，进而实现对供气管路的输出气体的压力进行调节，由于PWM算法实现的是对流量的微调，因此对输出气体压力的调节也是微调。在实际应用中，在气压传感器检测到的气压参数(例如，压强)小于预设的第一气压参数的情况下，可以采用上述PWM算法间接实现气体压力的调节。但是有可能出现气压传感器检测到的气压参数(例如，压强)超出或达到预设的第一气压参数的情况，这样情况有可能是因为气腹仪某部位出现故障导致无法通过上述PWM算法进行微调的方式对输出气体的气压进行调节，此时可以关闭比例控制阀和开关电磁阀，即停止供气管路的输出，直至气压传感器检测到的气压参数再次小于第一气压参数。
但是，当出现通过关闭比例控制阀和开关电磁阀的方式也不能降低供气管路气压的情况时，为了避免因过高气压而导致危险情况的发生，还可以在气腹仪中设置泄气阀，泄气阀可以设置在供气管路上，且与中央控制单元连接，当中央控制单元确定气压传感器检测到的气压参数大于或等于第二气压参数时，则打开泄气阀，开始泄气，直至供气管路中的气压在第一气压参数之下。
可理解的是，第二气压参数大于第一气压参数。例如，第一气压参数为一设定值，第二气压参数为该设定值+10mmHg，但是一般情况下，第二气压参数不能超过30mmHg。当气压传感器检测到的气压参数大于或等于第一气压参数时，关闭比例控制阀和开关控制阀。当气压传感器检测到的气压参数大于或等于第二气压参数时，则在关闭比例控制阀和开关控制阀的基础上，打开泄气阀。
当然，当不需供气时可以将比例控制阀和开关电磁阀同时关闭，防止比例控制阀内部出现机械卡死、关闭不严出现漏，实现对供气管路的二重保护。
在实际应用中，还可以设置用来检测二氧化碳罐的输入气体气压的气压传感器，以监测二氧化碳罐中的气体量，当其低于特定值时发出报警，提醒医护人员。
由于在气腹仪中设置了比例控制阀，并通过中央控制单元采用PWM算法通过MOS管实现对比例控制阀的开关比例时间进行调节，从而实现对供气管路中气流量参数的微调，进而实现对气压的微调，即通过无阶梯调节供气管路中的气体流量，进而实现对气腹压力精准且平稳的调节，解决了开关阀开闭的瞬间所带来的气压瞬间变化、视像抖动温度，提高画面质量。
(2)冷光源包括：光源模组、恒流板和散热器，其中：
所述光源模组包括LED灯泡、聚光筒和导光束；
所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高至一定值时驱动所述散热器进行散热。
可理解的是，聚光筒和导光束可以对LED灯泡产生的光进行处理，使得输出的光更加满足使用需求。
可理解的是，由于中央控制单元采用PID算法控制输出电流，保证恒流板能够快速的对偏差进行调整，维持恒流输出的稳定性。
可理解的是，由于中央控制单元实时监控光源温度，在光源温度升高至一定值时可以驱动散热器降低光线热量，避免了在微创手术中光线长时间照射在伤口附近而引起内部组织灼伤的情况发生。
(3)所述摄像机包括CCD摄像头和摄像主板，其中：
所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将所述视频发送至所述人机交互屏和视像处理系统；
所述中央控制单元还用于将所述视频发送至所述人机交互屏和所述视像处理系统，所述人机交互屏用于在接收到所述视频时显示对应的图像。
可理解的是，摄像机除了将视频发送给人机交互屏之外，还会将视频(即未定位病灶的原始视频)发送给视像处理系统，以供视像处理系统对视频进行处理得到清晰视频，以及将清晰视频进行显示，供医护人员参考。
(4)人机交互屏，也可以称为监视器，还可以显示光学内窥镜、气腹仪、冷光源等功能模块的工作情况，这样的话，所述中央控制单元还用于将所述气腹仪、所述冷光源和所述光学内窥镜的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示。
当然，人机交互屏还可以有气腹仪、冷光源的操控信息的输入界面，以供医护人员对气腹仪、冷光源操控信息进行输入。
可理解的是，各个功能模块集成为一体，实现一体化，例如集成在机箱内，形成便于携带的智能微创腔镜装备且具有腔镜视像处理功能。由于智能微创腔镜设备采用一体式结构，占地面积小，移动携带方便，兼容性好，可用于各种环境下的微创手术。
可理解的是，腔镜系统可以为腹腔镜系统、胸腔镜系统、关节腔镜系统，当然还可以是其他腔镜系统。通过腔镜镜头对腔体内部进行视频拍摄。
可理解的是，步骤S102中包括两种分类，一种是对图像所属的腔体部位进行分类，一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序，例如，可以先对图像所属的腔体部位进行分类，再将各部位的图像分为清晰图像和模糊图像，视像处理系统的具体处理过程如下：
S1021a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
其中，部位分类模型可以采用图形分类网络AlexNet、GoogleNet或者其他模型。标签库中存储有腔体内各个部位的标准图像。
S1022a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
其中，清晰度二分类器采用卷积神经网络，该卷积神经网络的结构中的最后一层为一个全连接层，将图像输入该卷积神经网络之后，该全连接层可以输出一个范围在[0,1]之间的概率值，当该概率值大于预设值，则该图像可以归为清晰图像，当该概率值低于或等于预设值，则该图像可以归为模糊图像。
可理解的是，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色的表现，它具体可以包括卷积层(convolutional layer)和池化层(pooling layer)。
可理解的是，所谓的清晰图像和模糊图像是相对的概念，是通过图像作为清晰图像的概率与预设值的比较而确定的，其中预设值的大小与清晰图像和模糊图像的分界线有关，如果预设值较大，说明只有清晰度较高才能被认为是清晰图像，否则会被认为是模糊图像。
举例来说，首先通过步骤S1021a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹，每一个文件夹中存储有一个腔体部位对应的图像，然后通过步骤1022a将每一个文件夹中的图像进行细分，确认其属于清晰图像还是模糊图像。
当然，视像处理系统还可以先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类，具体过程如下：
S1021b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
S1021b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
可理解的是，S1021b和S1022b中有关内容的解释可以参考步骤S1021a和S1022a。
举例来说，首先通过步骤S1021b将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹，然后通过步骤S1021b确定每一个文件夹中的图像所对应的腔体部位。
以上两种方式都可以确定各个部位对应的清晰图像和模糊图像，但是后一种方式的处理速度更快一点，使得整个方法的处理流程的实时性更好一些。
在一些实施例中，视像处理系统生成对抗网络的训练过程包括如下步骤：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
其中，至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择，例如，超分辨率卷积神经网络(简称为SRCNN)、高效亚像素卷积神经网络(ESPCN)和基于统一网络(unet)的卷积神经网络中的至少两个。当然，还可以选择其他类型的卷积神经网络。
例如，如图3所示，将第一训练样本分别输入SRCNN、ESPCN和基于unet的卷积神经网络中，SRCNN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，ESPCN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，基于unet的卷积神经网络在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像。
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
由于通过步骤A1可以得到多张去模糊图像，因此需要采用一定的方式对这多张去模糊图像进行融合处理，得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。
其中，融合处理的方式有多种，例如，采用加权的方式对多张去模糊图像进行融合。再例如，对多张去模糊图像进行逐个对准的方式，得到包括多层图像的拼接图像，然后将多层图像投影到某一坐标系中，得到多张图像，然后对这多张图像采用加权的方式进行融合。
在卷积神经网络的数量为3个的情况下，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像，上述后一种举例的融合方式可以包括如下步骤：
A21、将所述第二去模糊图像C2对准所述第一去模糊图像C1生成两层的第一拼接图像M1；
A22、将所述第三去模糊图像C3对准所述第一拼接图像M1生成三层的第二拼接图像M2；
A23、将所述三层的第二拼接图像M2投影到全局坐标系中，得到三张投影图像；
A24、采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
当然，还可以存在其他的方式对图像进行融合处理，得到第一训练样本最终对应的去模糊图像。
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1。
其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
其中，总损失值的计算过程可以包括如下过程：
A31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；
A32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
举例来说，损失函数分别记为d_loss1、d_loss2、d_loss3，利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值，然后将得到的三个损失值求和，得到总损失值。
举例来说，判别器对去模糊处理后的图像进行判别的概率在[0,1]之间，如果概率小于所定阈值，则代表去模糊图像相对于同部位的清晰图像差距较大，不能将第一训练样本对应的去模糊图像认定为清晰图像，所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整，以降低总损失值，然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像，进而再次判断该去模糊图像是否为清晰图像，不断循环，直至得到的去模糊图像可以认为是清晰图像为止
其中，如图4所示，生成对抗网络可包括两个子网络-去模糊子网络和判别子网络，其中的去模糊子网络可以执行上述步骤A1和步骤A2，判别子网络可以执行上述步骤A3和步骤A4，参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型，是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型，Generative Model)和判别子网络(也可以称为判别模型，Discriminative Model)的互相博弈学习，能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络，一个好的生成对抗网络需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
可理解的是，由于去模糊图像为清晰图像，因此将去模糊图像和原始的清晰图像按照时间顺序合成之后，便可以得到原始视频对应的清晰视频，该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧，从而使得整个视频都比较清晰。
在本发明提供的计算系统中，视像处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高病灶定位的准确性，减轻医生的诊断或手术负担。
可理解的是，上述视像处理系统的硬件具体可以包括处理器、存储器和显示器，存储器中存储有计算机程序，当计算机程序被处理器执行时可以实现上述的视像处理方法，显示器上显示清晰视频。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种具有实时腔镜视像增强处理功能的智能边缘计算系统，其特征在于，所述计算系统包括一体化腔镜系统和视像处理系统，其中：
所述一体化腔镜系统包括多个功能模块以及控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行显示；
所述视像处理系统用于获取所述摄像机转换得到的视频，确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像，先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像，将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；
所述气腹仪包括比例控制阀、开关电磁阀、气流量传感器、气压传感器和泄气阀，其中：所述比例控制阀、所述开关电磁阀、所述气流量传感器、所述气压传感器和所述泄气阀均设置在供气管路上，且与所述中央控制单元连接；所述供气管路为所述气腹仪向患者体腔输入气体的管路；所述气流量传感器用于检测所述供气管路的气流量参数；所述气压传感器用于检测所述供气管路的气压参数；
对应的，所述中央控制单元用于获取所述气流量参数和所述气压参数，在所述气压参数小于预设的第一气压参数时，根据所述气流量参数和预设的标准气流量参数输出PWM信号，所述PWM信号用于对所述控制阀的开关时间比例进行调节，以实现对所述供气管路内的气流量参数进行调整；还用于在所述气压参数大于或等于所述第一气压参数时，关闭所述比例控制阀和所述开关电磁阀；还用于在所述气压参数大于或等于第二气压参数时，打开泄气阀；其中，所述第二气压参数大于所述第一气压参数；
所述视像处理系统还用于预先训练得到所述生成对抗网络，具体包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
2.根据权利要求1所述的计算系统，其特征在于，所述冷光源包括：光源模组、恒流板和散热器，其中：
所述光源模组包括LED灯泡、聚光筒和导光束；
所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高至一定值时驱动所述散热器进行散热。
3.根据权利要求1所述的计算系统，其特征在于，
所述摄像机包括CCD摄像头和摄像主板，其中：
所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将所述视频发送至所述人机交互屏和视像处理系统；
对应的，所述人机交互屏用于在接收到所述视频时进行显示；所述视像处理系统用于在接收到所述视频时进行处理得到所述清晰视频。
4.根据权利要求1所述的计算系统，其特征在于，所述中央控制单元用于将所述气腹仪、所述冷光源和所述摄像机的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示；和/或，所述人机交互屏还用于展示所述气腹仪和所述冷光源的操作信息的输入界面。
5.根据权利要求1～4任一项所述的计算系统，其特征在于，所述视像处理系统确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类的过程包括：
采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
6.根据权利要求1～4任一项所述的计算系统，其特征在于，所述视像处理系统确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类的过程包括：
采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
7.根据权利要求1所述的计算系统，其特征在于，所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述视像处理系统对所述至少两帧去模糊图像进行融合处理的过程包括：将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
8.根据权利要求1所述的计算系统，其特征在于，所述视像处理系统将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值的过程包括：采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997353.1A CN109151275B (zh) | 2018-08-29 | 2018-08-29 | 具有实时腔镜视像增强处理功能的智能边缘计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997353.1A CN109151275B (zh) | 2018-08-29 | 2018-08-29 | 具有实时腔镜视像增强处理功能的智能边缘计算系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109151275A CN109151275A (zh) | 2019-01-04 |
| CN109151275B true CN109151275B (zh) | 2021-03-09 |
Family
ID=64829253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810997353.1A Active CN109151275B (zh) | 2018-08-29 | 2018-08-29 | 具有实时腔镜视像增强处理功能的智能边缘计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109151275B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109363736A (zh) * | 2018-09-10 | 2019-02-22 | 安徽省胸科医院 | 配置中央控制模块的一体化腔镜系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104545774A (zh) * | 2015-01-30 | 2015-04-29 | 合肥德铭电子有限公司 | 一体化移动微创电子内镜系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4758720B2 (ja) * | 2005-09-29 | 2011-08-31 | 富士フイルム株式会社 | 電子内視鏡システム |
| US8948482B2 (en) * | 2012-11-01 | 2015-02-03 | Align Technology, Inc. | Motion compensation in a three dimensional scan |
| CN105431093B (zh) * | 2013-08-06 | 2019-03-29 | 奥林巴斯株式会社 | 气腹装置 |
| CN103475894B (zh) * | 2013-09-27 | 2015-11-04 | 浙江大学 | 一种3d腹腔镜视频处理方法 |
| CN107767365A (zh) * | 2017-09-21 | 2018-03-06 | 华中科技大学鄂州工业技术研究院 | 一种内窥镜图像处理方法及系统 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN107967946B (zh) * | 2017-12-21 | 2021-05-11 | 武汉楚精灵医疗科技有限公司 | 基于深度学习的胃镜操作实时辅助系统及方法 |
| CN108416752B (zh) * | 2018-03-12 | 2021-09-07 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
-
2018
- 2018-08-29 CN CN201810997353.1A patent/CN109151275B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104545774A (zh) * | 2015-01-30 | 2015-04-29 | 合肥德铭电子有限公司 | 一体化移动微创电子内镜系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109151275A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109171605B (zh) | 带目标定位和腔镜视像增强处理功能的智能边缘计算系统 | |
| WO2020224470A1 (zh) | 医疗内窥镜图像的识别方法、系统和内窥镜影像系统 | |
| CN109124782B (zh) | 智能一体化腔镜系统 | |
| WO2020125499A9 (zh) | 一种操作提示方法及眼镜 | |
| CN109146820B (zh) | 实时腔镜视像增强处理方法和系统、存储介质 | |
| US11503201B2 (en) | Focus detection device and method | |
| US20230276122A1 (en) | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids | |
| CN206790630U (zh) | 一种人体监测装置以及系统 | |
| CN109223178B (zh) | 具有目标定位功能的腔镜智能边缘计算系统 | |
| CN108926319B (zh) | 配置高清视像处理模块的移动智能一体化腔镜系统 | |
| US20220246307A1 (en) | Surgery support system, surgery support method, information processing apparatus, and information processing program | |
| CN109151275B (zh) | 具有实时腔镜视像增强处理功能的智能边缘计算系统 | |
| CN110742690A (zh) | 一种用于配置内窥镜的方法及终端设备 | |
| CN109124702B (zh) | 配置气腹控制和中央控制模块的智能腔镜系统 | |
| US20220207788A1 (en) | Information processor, information processing method, and program | |
| CN109363614B (zh) | 具有高清视像增强处理功能的智能一体化机器人腔镜系统 | |
| CN109171606B (zh) | 智能一体化机器人腔镜系统 | |
| CN109350239A (zh) | 具有目标定位功能的智能一体化机器人腔镜系统 | |
| EP4058975A1 (en) | Scene perception systems and methods | |
| CN109243586A (zh) | 配置中央控制模块的腔镜智能边缘计算系统 | |
| CN109363613B (zh) | 具有电磁抑制功能的移动智能一体化腔镜系统 | |
| CN109288487B (zh) | 具有高清视像处理和电磁抑制功能的智能腔镜系统 | |
| CN110430369A (zh) | 基于中央处理器单元的腔镜光源协同控制方法及装置 | |
| WO2019190561A1 (en) | Deep learning for three dimensional (3d) gaze prediction | |
| Gershov et al. | More Than Meets the Eye: Physicians’ Visual Attention in the Operating Room |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |