CN113079361B - 医用内窥镜的超高清图像增强系统及其方法 - Google Patents

医用内窥镜的超高清图像增强系统及其方法 Download PDF

Info

Publication number
CN113079361B
CN113079361B CN202110334732.4A CN202110334732A CN113079361B CN 113079361 B CN113079361 B CN 113079361B CN 202110334732 A CN202110334732 A CN 202110334732A CN 113079361 B CN113079361 B CN 113079361B
Authority
CN
China
Prior art keywords
image
video
unit
hdmi
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110334732.4A
Other languages
English (en)
Other versions
CN113079361A (zh
Inventor
邵贺
夏鹏
葛波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eaglescope Medical Technology Co ltd
Original Assignee
Eaglescope Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eaglescope Medical Technology Co ltd filed Critical Eaglescope Medical Technology Co ltd
Priority to CN202110334732.4A priority Critical patent/CN113079361B/zh
Publication of CN113079361A publication Critical patent/CN113079361A/zh
Application granted granted Critical
Publication of CN113079361B publication Critical patent/CN113079361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种医用内窥镜的超高清图像增强系统，包括内窥手柄单元，及通过内窥镜传输线缆连接的视频处理主机；图像增强的方法：将内窥手柄单元的图像传感器捕获到的图像光电信号送至视频预处理FPGA单元，完成视频数据流打包、进行串并转换后通过HDMI传输驱动器和内窥镜传输线缆将视频数据送至视频处理主机；由所述视频处理主机的数据转换芯片将接收到的TMDS协议的信号转换为RGB信号，并将RGB信号送至视频主处理FPGA单元内实现图像处理，最后由HDMI输入单元和HDMI输出单元或SDI输入单元和SDI输出单元实现视频内容高清显示。本发明具有更强的实时图像处理能力，以满足不同手术对于内窥镜影像效果的特殊需求。

Description

医用内窥镜的超高清图像增强系统及其方法
技术领域
本发明具体涉及一种医用内窥镜的超高清图像增强系统及其方法。
背景技术
医用内窥镜摄像系统在临床微创外科手术中广泛应用，其具有创伤小、痛苦少、康复快等优点，高质量的实时影像对手术的顺利进行至关重要。在实际应用中，摄像系统拍摄的影像具有不同程度的缺陷，并且不同手术或医生对于影像效果有特殊要求。
传统的内窥镜摄像系统是基于工控机或者GPU嵌入式设计的。工控机方案只能处理分辨率较低的视频源，分辨率高的输入视频，由于数据量大的原因，超出了工控机的处理能力，会出现严重的拖影卡顿现象，无法满足实时性及高质量的要求。GPU嵌入式方案在数据处理速度上可以达到超高清图像处理的要求，实时性也较好，但是该种方案依然存有性价比低，功耗高，软硬件可扩展性较差，无法在底层架构上对图像增强算法做优化的缺陷，因此，需要设计一种图像增强系统对实时影像进行处理。
发明内容
本发明的目的是：提供一种具有更强的实时图像处理能力，以满足不同手术对于内窥镜影像效果的特殊需求的医用内窥镜的超高清图像增强系统及其方法。
为了达到上述目的，本发明的第一个技术方案是：一种医用内窥镜的超高清图像增强系统，其创新点在于：包括内窥手柄单元、内窥镜传输线缆和视频处理主机，所述内窥手柄单元通过内窥镜传输线缆与视频处理主机连接；
所述内窥手柄单元包括设在手柄内的图像传感器、视频预处理FPGA单元和HDMI传输驱动器，所述图像传感器的输出端与视频预处理FPGA单元的输入端电连接，所述视频预处理FPGA单元的输出端与HDMI传输驱动器的输入端电连接；
所述视频处理主机包括数据转换芯片、视频主处理FPGA单元、HDMI输入单元、HDMI输出单元、SDI输入单元和SDI输出单元，所述HDMI传输驱动器的输出端通过内窥镜传输线缆与数据转换芯片通信连接，所述数据转换芯片的输出端与视频主处理FPGA单元电连接，所述HDMI输入单元和SDI输入单元分别与视频主处理FPGA单元相应的输入端电连接，所述HDMI输出单元和SDI输出单元分别与视频主处理FPGA单元相应的输出端电连接。
在上述第一个技术方案中，所述视频处理主机还包括通信接口单元，所述HDMI传输驱动器的输出端通过内窥镜传输线缆与通信接口单元的输入端通信连接，所述通信接口单元的输出端与数据转换芯片的输入端电连接。
在上述第一个技术方案中，所述视频处理主机还包括控制接口单元，所述视频主处理FPGA单元通过控制接口单元与图像传感器相应的输入端电连接。
为了达到上述目的，本发明的第二个技术方案是：一种医用内窥镜的超高清图像增强方法，其创新点在于：其具体的步骤是：
步骤a、将内窥手柄单元的图像传感器捕获到的图像光电信号转化为差分数据电信号，并将差分数据电信号送至视频预处理FPGA单元，再由所述视频预处理FPGA单元完成视频数据流打包、进行串并转换使其转换成TMDS协议的信号送至HDMI传输驱动器，所述HDMI传输驱动器通过内窥镜传输线缆将视频数据稳定传输至视频处理主机；
步骤b、由所述视频处理主机的数据转换芯片将接收到的TMDS协议的信号转换为RGB信号，并将RGB信号送至视频主处理FPGA单元内实现图像处理，最后由HDMI输入单元和HDMI输出单元通过HDMI线缆将视频内容送至4K显示器实现4K显示，由SDI输入单元和SDI输出单元通过串口线连接1080P的显示屏，从而实现1080P分辨率下的视频内容显示；
所述视频主处理FPGA单元图像处理的具体过程是：
根据视频数据获取单帧原始图像，利用对透射率进行线性规划的暗通道先验去雾算法对原始图像进行清晰化处理，得到去雾图像，同时利用小波阈值去噪算法完成图像的去噪，得到降噪图像，同时通过提高图像对比度将边缘增强，采用Roberts算子得到边缘增强后图像；
将得到的去雾图像、降噪图像以及边缘增强图像与原图分别进行亮度统计，在统计过程中分别将这四幅图像划分成多个子块，对每个子块的RGB三个通道分别进行亮度统计、色温统计、模糊统计、直方图统计，统计完子块所有像素之后将其进行整合；
将统计结果与用户设定的饱和度值、色调值、亮度值和增益值进行权值计算，最后利用视频图像相邻两帧直方图的高度相似性，以前一帧直方图均衡后的映射灰度值作为当前帧图像处理的数据，最终完成增强后像素数据输出，也就是完成增强超高清图像后输出。
在上述第二个技术方案中，步骤b中得到去雾图像的具体过程是：
a、起雾时成像模型：I(x)＝J(x)·t(x)+A·(1-t(x))，其中，x表示像素点坐标，I(x)表示原始图像，J(x)表示去雾后图像，t(x)表示透射率，A表示光源光强。I(x)各个像素点的最小颜色分量M(x)，根据像素点的最小颜色分量估计大气强度A；
b、透射率函数：
Figure BDA0002996966820000031
式中，ω为调整因子，ω＝0.9～0.95，V(x)为雾耗散函数估计值；
c、根据透射率计算去雾图像：
Figure BDA0002996966820000032
其中，t0为t(x)的下限，t0＝0.05-0.15。
在上述第二个技术方案中，步骤b中得到降噪图像的具体过程是：
选取小波阈值去噪算法进行图像降噪，小波阈值去噪是对原始图像进行小波变换，较大的小波系数一般为有用信号，反则为噪声信号，所以通过选择合适的阈值，保留大于阈值的小波系数，然后由阈值函数映射得到估计系数，最后进行逆变换后实现图像去噪和重建；
a、首先对原图g(i,j)进行s层正交冗余小波变换，得到一组小波分解系数
Figure BDA0002996966820000041
其中j＝1,2,…,s，s表示小波分解的层数；
b、在各分解层各方向对噪声方差
Figure BDA0002996966820000042
进行估计：
Figure BDA0002996966820000043
c、求取阈值所需的各项参数：对图像的小波系数方差
Figure BDA0002996966820000044
进行估计：
Figure BDA0002996966820000045
由
Figure BDA0002996966820000046
可得到
Figure BDA0002996966820000047
d、通过阈值系数来调节各分解层中各个高频子带的阈值大小，求取阈值系数β：
Figure BDA0002996966820000048
Lk为小波分解系数第k层的小波系数的长度，j是小波分解的层数。
e、由以上各项求出新阈值的表达式：
Figure BDA0002996966820000049
f、对各高频系数进行小波软阈值处理得到新的小波系数：
Figure BDA00029969668200000410
其中WST(·)表示软阈值函数处理，然后对处理后的小波系数进行小波反变换，得到降噪图像。
在上述第二个技术方案中，步骤b中得到边缘增强图像的具体过程是：
利用局部差分算子寻找边缘的算子，采用对角线相邻两像素之差近似梯度幅值检测边缘，其公式：
Figure BDA0002996966820000051
f(x,y)是具有整数像素坐标的输入图像，g(x,y)是使用Roberts算子后输出的目标图像。
本发明所具有的积极效果是：采用本发明的医用内窥镜的超高清图像增强系统后，包括内窥手柄单元、内窥镜传输线缆和视频处理主机，所述内窥手柄单元通过内窥镜传输线缆与视频处理主机连接；
所述内窥手柄单元包括设在手柄内的图像传感器、视频预处理FPGA单元和HDMI传输驱动器，所述图像传感器的输出端与视频预处理FPGA单元的输入端电连接，所述视频预处理FPGA单元的输出端与HDMI传输驱动器的输入端电连接；
所述视频处理主机包括数据转换芯片、视频主处理FPGA单元、HDMI输入单元、HDMI输出单元、SDI输入单元和SDI输出单元，所述HDMI传输驱动器的输出端通过内窥镜传输线缆与数据转换芯片通信连接，所述数据转换芯片的输出端与视频主处理FPGA单元电连接，所述HDMI输入单元和SDI输入单元分别与视频主处理FPGA单元相应的输入端电连接，所述HDMI输出单元和SDI输出单元分别与视频主处理FPGA单元相应的输出端电连接；医用内窥镜的超高清图像增强是将内窥手柄单元的图像传感器捕获到的图像光电信号转化为差分数据电信号，并将差分数据电信号送至视频预处理FPGA单元，再由所述视频预处理FPGA单元完成视频数据流打包、进行串并转换使其转换成TMDS协议的信号送至HDMI传输驱动器，所述HDMI传输驱动器通过内窥镜传输线缆将视频数据稳定传输至视频处理主机；
由所述视频处理主机的数据转换芯片将接收到的TMDS协议的信号转换为RGB信号，并将RGB信号送至视频主处理FPGA单元内实现图像处理，最后由HDMI输入单元和HDMI输出单元通过HDMI线缆将视频内容送至4K显示器实现4K显示，由SDI输入单元和SDI输出单元通过串口线连接1080P的显示屏，从而实现1080P分辨率下的视频内容显示。
基于FPGA可以在硬件逻辑和架构层面优化，大幅度提升处理效率，充分利用FPGA架构优势，实现多种图像增强算法的并行处理，并且可以根据用户对图像效果的要求做相应的调整，以满足不同手术或医生偏好对于内窥镜影像效果的特殊需求，从而使得内窥镜影像系统具有广泛的适用性和更高的性价比。
附图说明
图1是本发明医用内窥镜的超高清图像增强系统的结构框图；
图2是本发明医用内窥镜的超高清图像增强方法的处理流程图。
具体实施方式
以下结合附图以及给出的实施例，对本发明作进一步的说明，但并不局限于此。
实施例1
如图1所示，一种医用内窥镜的超高清图像增强系统，一种医用内窥镜的超高清图像增强系统，包括内窥手柄单元1、内窥镜传输线缆2和视频处理主机3，所述内窥手柄单元1通过内窥镜传输线缆2与视频处理主机3连接；
所述内窥手柄单元1包括设在手柄内的图像传感器11、视频预处理FPGA单元12和HDMI传输驱动器13，所述图像传感器11的输出端与视频预处理FPGA单元12的输入端电连接，所述视频预处理FPGA单元12的输出端与HDMI传输驱动器13的输入端电连接；
所述视频处理主机3包括数据转换芯片31、视频主处理FPGA单元32、HDMI输入单元33、HDMI输出单元34、SDI输入单元35和SDI输出单元36，所述HDMI传输驱动器13的输出端通过内窥镜传输线缆2与数据转换芯片31通信连接，所述数据转换芯片31的输出端与视频主处理FPGA单元32电连接，所述HDMI输入单元33和SDI输入单元35分别与视频主处理FPGA单元32相应的输入端电连接，所述HDMI输出单元34和SDI输出单元36分别与视频主处理FPGA单元32相应的输出端电连接。
如图1所示，为了方便将图像传感器采集到的图像通知送至视频处理主机内对图像进一步处理，所述视频处理主机3还包括通信接口单元38，所述HDMI传输驱动器13的输出端通过内窥镜传输线缆2与通信接口单元38的输入端通信连接，所述通信接口单元38的输出端与数据转换芯片31的输入端电连接。
进一步地，本发明所述通信接口单元38是HDMI2.0接口单元。
如图1所示，所述视频主处理FPGA单元可通过控制接口单元37调节手柄图像传感器的性能，包括分辨率的设定，所述视频处理主机3还包括控制接口单元37，所述视频主处理FPGA单元32通过控制接口单元37与图像传感器11相应的输入端电连接。
实施例2
如图2所示，一种医用内窥镜的超高清图像增强方法，其具体的步骤是：
步骤a、将内窥手柄单元1的图像传感器11捕获到的图像光电信号转化为差分数据电信号，并将差分数据电信号送至视频预处理FPGA单元12，再由所述视频预处理FPGA单元12完成视频数据流打包、进行串并转换使其转换成TMDS协议的信号送至HDMI传输驱动器13，所述HDMI传输驱动器13通过内窥镜传输线缆2将视频数据稳定传输至视频处理主机3；
步骤b、由所述视频处理主机3的数据转换芯片31将接收到的TMDS协议的信号转换为RGB信号，并将RGB信号送至视频主处理FPGA单元32内实现图像处理，最后由HDMI输入单元33和HDMI输出单元34通过HDMI线缆将视频内容送至4K显示器实现4K显示，由SDI输入单元35和SDI输出单元36通过串口线连接1080P的显示屏，从而实现1080P分辨率下的视频内容显示；
所述视频主处理FPGA单元32图像处理的具体过程是：
根据视频数据获取单帧原始图像，根据超4K镜起雾时与大气模型相似的特点，利用对透射率进行线性规划的暗通道先验去雾算法对原始图像进行清晰化处理，得到去雾图像，同时利用小波阈值去噪算法完成图像的去噪，得到降噪图像，同时通过提高图像对比度将边缘增强，采用Roberts算子得到边缘增强后图像；
将得到的去雾图像、降噪图像以及边缘增强图像与原图分别进行亮度统计，在统计过程中分别将这四幅图像划分成多个子块，对每个子块的RGB三个通道分别进行亮度统计、色温统计、模糊统计、直方图统计，统计完子块所有像素之后将其进行整合；
将统计结果与用户设定的饱和度值、色调值、亮度值和增益值进行权值计算，最后利用视频图像相邻两帧直方图的高度相似性，以前一帧直方图均衡后的映射灰度值作为当前帧图像处理的数据，最终完成增强后像素数据输出，也就是完成增强超高清图像后输出。
进一步地，步骤b中得到去雾图像的具体过程是：
a、起雾时成像模型：I(x)＝J(x)·t(x)+A·(1-t(x))，其中，x表示像素点坐标，I(x)表示原始图像，J(x)表示去雾后图像，t(x)表示透射率，A表示光源光强。I(x)各个像素点的最小颜色分量M(x)，根据像素点的最小颜色分量估计大气强度A；
b、透射率函数：
Figure BDA0002996966820000091
式中，ω为调整因子，ω＝0.9～0.95，V(x)为雾耗散函数估计值；
c、根据透射率计算去雾图像：
Figure BDA0002996966820000092
其中，t0为t(x)的下限，t0＝0.05-0.15。
进一步地，步骤b中得到降噪图像的具体过程是：
选取小波阈值去噪算法进行图像降噪，小波阈值去噪是对原始图像进行小波变换，较大的小波系数一般为有用信号，反则为噪声信号，所以通过选择合适的阈值，保留大于阈值的小波系数，然后由阈值函数映射得到估计系数，最后进行逆变换后实现图像去噪和重建；
a、首先对原图g(i,j)进行s层正交冗余小波变换，得到一组小波分解系数
Figure BDA0002996966820000093
其中j＝1,2,…,s，s表示小波分解的层数；
b、在各分解层各方向对噪声方差
Figure BDA0002996966820000094
进行估计：
Figure BDA0002996966820000095
c、求取阈值所需的各项参数：对图像的小波系数方差
Figure BDA0002996966820000096
进行估计：
Figure BDA0002996966820000097
由
Figure BDA0002996966820000098
可得到
Figure BDA0002996966820000099
d、通过阈值系数来调节各分解层中各个高频子带的阈值大小，求取阈值系数β：
Figure BDA00029969668200000910
Lk为小波分解系数第k层的小波系数的长度，j是小波分解的层数。
e、由以上各项求出新阈值的表达式：
Figure BDA0002996966820000101
f、对各高频系数进行小波软阈值处理得到新的小波系数：
Figure BDA0002996966820000102
其中WST(·)表示软阈值函数处理，然后对处理后的小波系数进行小波反变换，得到降噪图像。
进一步地，步骤b中得到边缘增强图像的具体过程是：
利用局部差分算子寻找边缘的算子，采用对角线相邻两像素之差近似梯度幅值检测边缘，其公式：
Figure BDA0002996966820000103
f(x,y)是具有整数像素坐标的输入图像，g(x,y)是使用Roberts算子后输出的目标图像。
本发明超高清图像增强系统包括内窥手柄单元1、内窥镜传输线缆2和视频处理主机3，与超高清内窥镜头、光学卡口、气腹机、LED医用冷光源配套使用，完成内窥镜手术。针对不同的医疗科室，内窥镜头/内窥图像处理算法进行相应的适配，以满足不同内窥科室的场景需求。
本发明的各个模块均为市售品，视频预处理FPGA单元12可以选用由Xilinx公司生产，且型号为7A25T，或者是由Xilinx公司生产型号为7A15T的视频预处理FPGA单元，HDMI传输驱动器13可以选用由SEMTECH公司生产且型号为GV8601的传输驱动器，所述数据转换芯片31可以选用TI公司的TMDS181RGZ，所述视频主处理FPGA单元32可以选用由Xilinx公司生产且型号为ZU2EG或者是ZU2CG的视频主处理FPGA单元。
本发明所述内窥手柄单元1包括设在手柄内的图像传感器11、视频预处理FPGA单元12和HDMI传输驱动器13，所述图像传感器11经由其内部的光电转换模块将光电信号转化为差分数据电信号，差分数据电信号通过视频预处理FPGA单元12的输入serdes接口送入视频预处理FPGA单元12，视频预处理FPGA单元12将送过来的差分信号转为TMDS协议的信号并通过其输出serdes将信号送给HDMI传输驱动器13，视频长线输出单元借用了HDMI的差分传输物理管道，封装交互协议，经过HDMI传输驱动器的驱动，使得电信号能实现远距离(4M)传输给视频处理主机的通信接口单元，稳定地将超4K视频流从手柄通过内窥镜传输线缆2传输到视频处理主机。
所述内窥镜传输线缆2对于处理高速信号具有很重要的作用，高速差分线芯需支持6Gbps高速差分传输，传输性能非常高。电源/配套GND线芯，损耗/阻抗需严格控制，即5V/2A电源经线缆/连接器传输后，不能有明显的损耗。
所述视频处理主机3改进视频流的质量，完成去雾、边缘增强、去噪等处理，具体包括数据转换芯片31、视频主处理FPGA单元32、HDMI输入单元33、HDMI输出单元34、SDI输入单元35和SDI输出单元36，内窥手柄单元1将电信号能实现远距离(4M)传输给视频处理主机3的通信接口单元，然后通过数据转换芯片将TMDS协议的电信号转换为RGB信号，RGB信号在主处理芯片内实现图像的处理，经图像信号处理处理后，RGB/YUV数据经由FPGA内部模块，进行相应编码压缩，存储至内地存储U盘/硬盘介质或经由千兆网口至远端，进行数字化手术演示；同时本地视频流经标准12G-SDI、HDMI2.0、SDI等接口可实时输出手术视频，最大延时不超过100ms，保证微创手术的实时性。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种医用内窥镜的超高清图像增强系统，其特征在于：包括内窥手柄单元(1)、内窥镜传输线缆(2)和视频处理主机(3)，所述内窥手柄单元(1)通过内窥镜传输线缆(2)与视频处理主机(3)连接；
所述内窥手柄单元(1)包括设在手柄内的图像传感器(11)、视频预处理FPGA单元(12)和HDMI传输驱动器(13)，所述图像传感器(11)的输出端与视频预处理FPGA单元(12)的输入端电连接，所述视频预处理FPGA单元(12)的输出端与HDMI传输驱动器(13)的输入端电连接；
所述视频处理主机(3)包括数据转换芯片(31)、视频主处理FPGA单元(32)、HDMI输入单元(33)、HDMI输出单元(34)、SDI输入单元(35)和SDI输出单元(36)，所述HDMI传输驱动器(13)的输出端通过内窥镜传输线缆(2)与数据转换芯片(31)通信连接，所述数据转换芯片(31)的输出端与视频主处理FPGA单元(32)电连接，所述HDMI输入单元(33)和SDI输入单元(35)分别与视频主处理FPGA单元(32)相应的输入端电连接，所述HDMI输出单元(34)和SDI输出单元(36)分别与视频主处理FPGA单元(32)相应的输出端电连接。
2.根据权利要求1所述的医用内窥镜的超高清图像增强系统，其特征在于：所述视频处理主机(3)还包括通信接口单元(38)，所述HDMI传输驱动器(13)的输出端通过内窥镜传输线缆(2)与通信接口单元(38)的输入端通信连接，所述通信接口单元(38)的输出端与数据转换芯片(31)的输入端电连接。
3.根据权利要求1所述的医用内窥镜的超高清图像增强系统，其特征在于：所述视频处理主机(3)还包括控制接口单元(37)，所述视频主处理FPGA单元(32)通过控制接口单元(37)与图像传感器(11)相应的输入端电连接。
4.一种医用内窥镜的超高清图像增强方法，其特征在于：其具体的步骤是：
步骤a、将内窥手柄单元(1)的图像传感器(11)捕获到的图像光电信号转化为差分数据电信号，并将差分数据电信号送至视频预处理FPGA单元(12)，再由所述视频预处理FPGA单元(12)完成视频数据流打包、进行串并转换使其转换成TMDS协议的信号送至HDMI传输驱动器(13)，所述HDMI传输驱动器(13)通过内窥镜传输线缆(2)将视频数据稳定传输至视频处理主机(3)；
步骤b、由所述视频处理主机(3)的数据转换芯片(31)将接收到的TMDS协议的信号转换为RGB信号，并将RGB信号送至视频主处理FPGA单元(32)内实现图像处理，最后由HDMI输入单元(33)和HDMI输出单元(34)通过HDMI线缆将视频内容送至4K显示器实现4K显示，由SDI输入单元(35)和SDI输出单元(36)通过串口线连接1080P的显示屏，从而实现1080P分辨率下的视频内容显示；
所述视频主处理FPGA单元(32)图像处理的具体过程是：
根据视频数据获取单帧原始图像，利用对透射率进行线性规划的暗通道先验去雾算法对原始图像进行清晰化处理，得到去雾图像，同时利用小波阈值去噪算法完成图像的去噪，得到降噪图像，同时通过提高图像对比度将边缘增强，采用Roberts算子得到边缘增强后图像；
将得到的去雾图像、降噪图像以及边缘增强图像与原图分别进行亮度统计，在统计过程中分别将这四幅图像划分成多个子块，对每个子块的RGB三个通道分别进行亮度统计、色温统计、模糊统计、直方图统计，统计完子块所有像素之后将其进行整合；
将统计结果与用户设定的饱和度值、色调值、亮度值和增益值进行权值计算，最后利用视频图像相邻两帧直方图的高度相似性，以前一帧直方图均衡后的映射灰度值作为当前帧图像处理的数据，最终完成增强后像素数据输出，也就是完成增强超高清图像后输出。
5.根据权利要求4所述的医用内窥镜的超高清图像增强方法，其特征在于：步骤b中得到去雾图像的具体过程是：
a、起雾时成像模型：I(x)＝J(x)·t(x)+A·(1-t(x))，其中，x表示像素点坐标，I(x)表示原始图像，J(x)表示去雾后图像，t(x)表示透射率，A表示光源光强，I(x)各个像素点的最小颜色分量M(x)，根据像素点的最小颜色分量估计大气强度A；
b、透射率函数：
Figure FDA0002996966810000031
式中，ω为调整因子，ω＝0.9～0.95，V(x)为雾耗散函数估计值；
c、根据透射率计算去雾图像：
Figure FDA0002996966810000032
其中，t0为t(x)的下限，t0＝0.05-0.15。
6.根据权利要求4所述的医用内窥镜的超高清图像增强方法，其特征在于：步骤b中得到降噪图像的具体过程是：
选取小波阈值去噪算法进行图像降噪，小波阈值去噪是对原始图像进行小波变换，较大的小波系数一般为有用信号，反则为噪声信号，所以通过选择合适的阈值，保留大于阈值的小波系数，然后由阈值函数映射得到估计系数，最后进行逆变换后实现图像去噪和重建；
a、首先对原图g(i,j)进行s层正交冗余小波变换，得到一组小波分解系数
Figure FDA0002996966810000035
其中j＝1,2,…,s，s表示小波分解的层数；
b、在各分解层各方向对噪声方差
Figure FDA0002996966810000036
进行估计：
Figure FDA0002996966810000033
c、求取阈值所需的各项参数：对图像的小波系数方差
Figure FDA0002996966810000037
进行估计：
Figure FDA0002996966810000034
由
Figure FDA0002996966810000041
可得到
Figure FDA0002996966810000042
d、通过阈值系数来调节各分解层中各个高频子带的阈值大小，求取阈值系数β：
Figure FDA0002996966810000043
Lk为小波分解系数第k层的小波系数的长度，j是小波分解的层数；
e、由以上各项求出新阈值的表达式：
Figure FDA0002996966810000044
f、对各高频系数进行小波软阈值处理得到新的小波系数：
Figure FDA0002996966810000045
其中WST(·)表示软阈值函数处理，然后对处理后的小波系数进行小波反变换，得到降噪图像。
7.根据权利要求4所述的医用内窥镜的超高清图像增强方法，其特征在于：步骤b中得到边缘增强图像的具体过程是：
利用局部差分算子寻找边缘的算子，采用对角线相邻两像素之差近似梯度幅值检测边缘，其公式：
Figure FDA0002996966810000046
f(x,y)是具有整数像素坐标的输入图像，g(x,y)是使用Roberts算子后输出的目标图像。
CN202110334732.4A 2021-03-29 2021-03-29 医用内窥镜的超高清图像增强系统及其方法 Active CN113079361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334732.4A CN113079361B (zh) 2021-03-29 2021-03-29 医用内窥镜的超高清图像增强系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334732.4A CN113079361B (zh) 2021-03-29 2021-03-29 医用内窥镜的超高清图像增强系统及其方法

Publications (2)

Publication Number Publication Date
CN113079361A CN113079361A (zh) 2021-07-06
CN113079361B true CN113079361B (zh) 2022-06-07

Family

ID=76611164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334732.4A Active CN113079361B (zh) 2021-03-29 2021-03-29 医用内窥镜的超高清图像增强系统及其方法

Country Status (1)

Country Link
CN (1) CN113079361B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022397B (zh) * 2022-01-06 2022-04-19 广东欧谱曼迪科技有限公司 一种内窥镜图像去雾方法、装置、电子设备及存储介质
CN114159007B (zh) * 2022-02-11 2022-05-06 极限人工智能有限公司 内窥镜、内窥镜影像系统以及手术机器人
CN115334277B (zh) * 2022-06-30 2024-02-09 极限人工智能有限公司 一种电子内窥镜、电子内窥镜视频传输系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418077A (zh) * 2019-08-30 2019-11-05 南京图格医疗科技有限公司 一种医用超高清4k影像系统
CN211982017U (zh) * 2020-05-18 2020-11-20 深圳市依诺普医疗设备有限公司 4k影像增强医用内窥镜摄像系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418077A (zh) * 2019-08-30 2019-11-05 南京图格医疗科技有限公司 一种医用超高清4k影像系统
CN211982017U (zh) * 2020-05-18 2020-11-20 深圳市依诺普医疗设备有限公司 4k影像增强医用内窥镜摄像系统

Also Published As

Publication number Publication date
CN113079361A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113079361B (zh) 医用内窥镜的超高清图像增强系统及其方法
US10750146B2 (en) High dynamic range color conversion correction
US9264663B2 (en) Ultra low latency video communication
CN109688382B (zh) 一种水下机器人的水下图像处理系统
CN106791318B (zh) 一种便携式高光谱视频实时采集和处理装置及其方法
CN108093175A (zh) 一种实时高清视频自适应去雾方法及装置
WO2022237281A1 (zh) 图像标记数据处理还原系统、处理方法、还原方法、装置
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
Liang et al. Learning to remove sandstorm for image enhancement
US20220036515A1 (en) 2d array image foveated processing method and electronic device using the same
CN114066730A (zh) 一种基于无监督对偶学习的视频插帧方法
CN105828082A (zh) 视频图像快速压缩系统及方法
WO2023272510A1 (zh) 多平面图像的生成、数据处理、编码和解码方法、装置
JP4573001B2 (ja) 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム
WO2022000347A1 (zh) 图像处理方法、显示处理装置和计算机可读存储介质
CN106101530A (zh) 一种高速适应性夜视图像增强的方法
CN110753229A (zh) 基于h.265编码的视频采集装置及方法
JP2012018621A (ja) 画像処理装置、画像処理方法及びプログラム
Kaur et al. Biorthogonal wavelet transform using bilateral filter and adaptive histogram equalization
Jaiswal et al. Optimized high-frequency based interpolation for multispectral demosaicking
WO2022228368A1 (zh) 一种图像处理方法、设备及系统
Feng et al. Optimization of low illumination image enhancement algorithm based on dark channel prior
CN114612349A (zh) 基于双边滤波和改进直方图均衡化的低照度图像增强方法
CN117036219A (zh) 基于ZYNQ MPSoC的超高清可见与红外光图像实时融合系统及方法
CN114463236A (zh) 单目内窥镜三维图像的显示方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant