CN115908190B - 一种用于视频图像画质增强的方法及系统 - Google Patents
一种用于视频图像画质增强的方法及系统 Download PDFInfo
- Publication number
- CN115908190B CN115908190B CN202211571852.7A CN202211571852A CN115908190B CN 115908190 B CN115908190 B CN 115908190B CN 202211571852 A CN202211571852 A CN 202211571852A CN 115908190 B CN115908190 B CN 115908190B
- Authority
- CN
- China
- Prior art keywords
- data
- time domain
- filtering
- model
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 202
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 87
- 238000012360 testing method Methods 0.000 claims description 27
- 230000002123 temporal effect Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000009467 reduction Effects 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000001727 in vivo Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种用于视频图像画质增强的方法及系统，涉及医学影像画质增强技术领域。本发明的算法模型建立包括以下步骤：首先制作数据集，数据集包括原始视频数据和正样本图像数据，采集原始视频数据获得训练数据；其次使用预处理的统计模块接收训练数据，并训练预设置的空域滤波模型、时域滤波模型，训练数据依次经过空域滤波模块、时域滤波模块处理输出训练图像数据；最后计算训练图像数据与正样本图像数据的损失，修正空域滤波模型参数、时域滤波模型参数。本发明采用的画质增强方法在降噪的同时，更大可能保留图像细节，例如明暗、边缘、细节、动态等，使得处理后的图像能呈现出患者体内的更多细节。
Description
技术领域
本发明涉及临床医学影像画质增强技术领域，尤其是一种用于视频图像画质增强的方法及系统。
背景技术
随着医疗技术的不断进步，根据微创手术成像去判断病理、观察病变或进行手术已经成为现代医学最常用的手段之一。
例如，以内窥镜系统为核心的微创技术现已被广泛应用于普外科、妇产科、胸外科、泌尿外科、耳鼻喉科、儿科等多个科室，内窥镜成为医用不可或缺的诊断和手术设备。内窥镜使用环境一般为人体内部腔体如腹腔、胸腔、宫腔等，光照条件较差，并且人体组织特别是血液对自然光的吸收能力较强，导致内窥镜的探测敏感元件需要较大的增益才能获得较好的成像亮度，而增益过大导致图像噪声较大，严重影响图像的成像质量，影响医生手术过程种对人体各组织的区分判断，甚至会导致医生的误诊或漏诊，尤其是在微创手术方面，需要为医生提供清晰的内部环境。
另外人体腔体内拍摄的环境较为复杂：1、拍摄距离近，易过亮甚至过曝，拍摄远，易导致阴影区域过暗无细节；2、画面运动的场景很多；3、纹理细腻但较弱，不容易与噪声区分。目前常用的降噪方法要么降噪效果好，但处理后的图像有拖影、无细节，且处理速度慢，无法满足临床要求；要么处理速度快无拖影，但是噪声去不干净，导致细节和噪声无法区分，难以达不到医生的临床要求。
经检索，专利名为基于空域和时域联合滤波的多帧数字图像去噪方法，公开号为CN103606132B，以及专利名为时域与空域结合的视频降噪装置及方法 ，公开号为CN102769722A的两件专利，均提出了采用时域、空域相结合的手段对视频进行降噪，但是在医学领域，由于人体内部环境的复杂，上述的降噪手段不足以满意医生的临床需求，人体内部光线问题、人体组织的复杂程度以及各类血管等，尤其是手术阶段的病理图像，一旦细节不清晰或者局部明暗不明显，易影像医生的手术效果。
故本申请要解决的是，如何实现体内影像画质的增强，尤其是病理影像的画质增强。
发明内容
发明目的：基于背景技术中提到的问题，本申请给出一种用于体内图像画质增强的方法及系统，采用改进型的空域滤波模型、改进型的时域滤波模型，使其按照预定的顺序处理体内视频图像数据，增强画质内容，包括细节、明暗以及边缘等，使其应用于临床，使得医生实时获得清晰的人体内部影像，进而结合自身的医学经验，做出准确的判断或精准完成手术。
技术方案：一种用于视频图像画质增强的方法，包括以下步骤：
S1、使用数据集，所述数据集包括原始视频数据和正样本图像数据；采集原始视频数据获得训练数据；
S2、使用预处理的统计模块接收训练数据，并训练预设置的滤波算法模型，训练数据经过滤波算法模型处理输出训练图像数据；
S3、计算训练图像数据与正样本图像数据的损失，修正滤波算法模型参数，返回步骤S2，直至完成预设的训练次数；
输出训练后的滤波算法模型。
进一步地，还包括以下步骤：
S4、选取数据集中的一部分作为测试集，从测试集中获得测试数据；
S5、使用训练好的滤波算法模型对测试数据进行处理，输出测试图像数据；
S6、计算测试图像数据与正样本图像数据的损失，使用预先设置的阈值进行比较；
当测试图像数据与正样本图像数据的损失不大于阈值，则训练完成；
当测试图像数据与正样本图像数据的损失大于阈值，则返回步骤S2。
进一步地，步骤S2中统计模块的预处理内容包括：
至少引入运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元至统计模块中；
步骤S2中预设置的滤波算法模型至少包括空域滤波模型、时域滤波模型。
进一步地，构建空域滤波模型的步骤包括：
S211、使用导向滤波为框架，所述导向滤波公式为：
Out(i,j,k)= λ*In(i,j,k)+(1-λ)*Mean(k)
其中，In(i,j,k)和Out(i,j,k)分别代表当前帧格式数据的第i行、第j列的输入和输出；k表示分量，可为R、 G和B；λ表示空域滤波模型的滤波权重，权重范围为[0,1]；Mean (k)表示除中心点外与分量k颜色相同的所有像素的均值。
进一步地，步骤S2中训练空域滤波模型的步骤包括：
S212、所述空域滤波模型与统计模块交互，使用运动单元、通道亮度统计单元、局部细节单元、边缘梯度单元中至少一种单元对所述空域滤波模型进行训练；
S33、更新所述空域滤波模型的滤波权重λ。
进一步地，构建时域滤波模型的步骤包括：
S221、使用一阶低通滤波为框架，采用的滤波公式为：
Out(i,j)= δ*In(i,j)+(1-δ)*In_previous (i,j)
其中，In(i,j) 和Out(i,j)分别代表图像当前帧格式数据第i行第j列的输入和输出；In_previous (i,j) 表示前一帧的经过时域滤波模型处理，得到的前一帧时域处理数据的第i行第j列输出结果；δ表示时域滤波模型的滤波权重，权重范围为[0,1]。
进一步地，训练步骤S2中时域滤波模型的步骤包括：
S223、所述时域滤波模型与统计模块交互，使用通道亮度统计单元、边缘梯度单元、局部相似度单元中至少一种单元，训练所述时域滤波模型；
S224、更新时域滤波模型的滤波权重δ。
进一步地，基于所述空域滤波模型、时域滤波模型处理视频图像的步骤包括：
S7、设置空域滤波模型、时域滤波模型的处理顺序；
统计模块接收并存储上一帧的图像数据经过空域滤波模型、时域滤波模型处理后得到的上一帧的时域处理数据；
S8、将视频当前帧的图像数据，先输入至空域滤波模型进行处理，输出当前帧的空域处理数据；再将当前帧的空域处理数据与上一帧的时域处理数据同时输入至时域滤波模型进行处理，输出当前帧的时域处理数据；
S9、统计模块接收并存储当前帧的时域处理数据；所述当前帧的时域处理数据作为增强后的图像数据进行输出。
一种用于视频图像画质增强的系统，基于如上述任意一项用于视频图像画质增强的方法，包括：
采集模块，用于采集视频，获得预设的图像数据；
统计模块，至少包括运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元，用于训练空域滤波模型、时域滤波模型；
图像处理模块，至少包括空域滤波模块、时域滤波模块；所述空域滤波模块以空域滤波模型为基础进行设置，所述时域滤波模块以时域滤波模型为基础进行设置。
进一步地，所述采集模块用于采集视频当前帧的图像数据，先通过空域滤波模块处理当前帧的图像数据，输出当前帧的空域处理数据；在将上一帧的时域处理数据与当前帧的空域处理数据输入至时域滤波模块处理，获得当前帧的时域处理数据，最后输出；其中，当前帧的时域处理数据缓存至统计模块，使用时，通过统计模块进行调用。
有益效果：
1、本发明采用的画质增强方法在降噪的同时，更大可能保留图像细节，例如明暗、边缘、细节、动态等，使得处理后的画面能呈现出患者体内视频影像的更多细节，而这些细节传输给医生能帮助医生给出更准确的诊断和定位，为医生提供了更好的辅助作用；
2、本发明改进空域滤波模型、时域滤波模型，并将两者结合，相较于传统3D降噪，速度快、无帧延时、无拖影；
3、本发明的时域降噪的参考帧为上一帧经过空域降噪、时域降噪后的处理结果，参考帧噪声去除干净，最终对当前帧的图像数据处理效果更好，足以用于临床影像；
4、本发明在实际使用时，只需要缓存一帧参考帧，本发明中的参考帧是空域和时域降噪的综合结果，相比较于进行多帧计算的时域降噪，本发明的计算速度更快，同时处理效果更好。
说明书附图
图1是本发明中空域滤波模型、时域滤波模型训练流程图。
图2是本发明中训练好的空域滤波模型、时域滤波模型的检验流程图。
图3是本发明的视频图像处理流程图。
图4是本发明中统计模块修正系数计算流程图。
图5是本发明中滤波修正系数参数训练具体实施流程图。
具体实施方式
下面结合附图对本发明作更进一步地说明。
实施例1
基于上述背景技术中提到的问题，体内成像的画质细节、噪声、明暗等难以达到医生的临床要求，本实施例给出一种用于体内视频画质增强的算法模型，本实施例结合内窥镜获取手术图像为例，并以空域滤波模型、时域滤波模型为基础，做进一步的阐述，其中，本实施例中的算法模型的构建步骤包括：
S1、制作数据集，数据集包括原始视频数据和正样本图像数据，以内窥镜为例，采集个场景清晰的手术适配图像，制作训练数据集，或采用现有的手术类相关数据集，此类的数据集包括原始视频数据以及经过画质增强后的正样本图像数据；采集原始视频数据获得训练数据，例如采集原始视频的每一帧的数据，图像格为Bayer，本实施例中用清晰的手术Bayer格式图像作为正样本，加入高斯、泊松噪声作为负样本进行训练；相较于传统RGB格式降噪，Bayer格式数据的噪声更接近sensor的理论随机噪声模型，理论上在Bayer格式图像进行处理的效果会更好。
S2、使用预处理的统计模块接收训练数据，统计模块至少包含运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元，并训练预设置的空域滤波模块的空域滤波模型、时域滤波模块的时域滤波模型，其中，局部细节统计单元、运动单元、局部细节统计单元、边缘梯度单元的网络模型经过训练，用于修正空域滤波模型参数；各通道亮度统计单元、边缘梯度单元、前后帧局部相似度单元的网络模型经过训练，用于修正时域滤波模型的参数，本实施例中的训练数据依次经过空域滤波模块、时域滤波模块处理输出训练图像数据；
S3、使用损失函数，计算训练图像数据与正样本图像数据的损失，修正空域滤波模型参数、时域滤波模型参数，返回步骤S2，训练预设的次数；输出训练后的空域滤波模型、时域滤波模型。
实施例2
在实施例1训练完空域滤波模型、时域滤波模型后，还需要对模型进行一个测试，以确保最后的算法模型达到增强画质的需求，在本实施例中，检测实施例中训练好的模型的步骤包括：
S4、在使用数据集时，将一部分数据集作为测试集，测试集包括测试图像数据和对应的正样本图像数据，采集测试集中的测试数据；
S5、使用实施例1中训练好的空域滤波模型、时域滤波模型对测试数据按照预定的顺序处理测试数据，输出测试图像数据；
S6、使用损失函数，计算测试图像数据与正样本图像数据的损失，由于算法模型不可能完美实现理想值，本实施例中引入阈值，使用预先设置的阈值进行比较；
当测试图像数据与正样本图像数据的损失不大于阈值，则训练完成；
当测试图像数据与正样本图像数据的损失大于阈值，则返回实施例中的步骤S2，继续使用训练数据进行训练，直至试图像数据与正样本图像数据的损失不大于阈值。
其中，实施例1和实施例2中的参数训练过程是通过筛选并截取各场景手术视频数据，包括各亮度场景、各运动速度的运动场景、静态场景、细节、边缘场景等。训练过程通过对手术视频前后连续帧统计运动系数、各通道亮度信息、局部细节梯度、边缘梯度、前后帧局部相似度等系数的训练，分别修正得到空域滤波模型和时域滤波模型的系数。本实施例中的训练模型包括但不限于3层以上全连接神经网络。
实施例3
在实施例1中，统计模块的预处理内容包括，至少引入运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元至统计模块中。
实施例4
实施例1到3的基础上，本实施例给出一种空域滤波模型，包括以下内容：
S211、空域滤波以导向滤波为框架，根据滤波器窗口中心颜色通道交替进行滤波。导向滤波公式为：
Out(i,j,k)= λ*In(i,j,k)+(1-λ)*Mean(k)
其中，In(i,j,k)和Out(i,j,k)分别代表当前帧格式数据的第i行、第j列的输入和输出；k表示分量，可为R、 G和B；λ表示空域滤波模型的滤波权重，权重范围为[0,1]；Mean (k)表示除中心点外与分量k颜色相同的所有像素的均值。
以视频当前帧的Bayer格式图像作为输入，进入空域滤波模块。
实施例5
实施例1到3的基础上，本实施例给出一种空域滤波模型，包括以下内容：
S221、使用一阶低通滤波为框架，采用的滤波公式为：
Out(i,j)= δ*In(i,j)+(1-δ)*In_previous (i,j)
其中，In(i,j) 和Out(i,j)分别代表图像当前帧格式数据第i行第j列的输入和输出；In_previous (i,j) 表示前一帧的经过时域滤波模块处理，得到的前一帧时域处理数据的第i行第j列输出结果；δ表示时域滤波模型的滤波权重，权重范围为[0,1]。
本实施例中，可以采用当前帧的Bayer格式数据和上一帧经过空域滤波模块和时域滤波模块后的输出作为输入。
实施例6
目前采集设备的移动或人体组织的移动、会导致拖影产生；人体内部暗区和亮区细节信息较少；难以保持细小血管等纹理细节信息；难以保持图像边缘梯度等，由于上述的多个原因，导致空域滤波在处理图像时，难以到达临床需求，本实施例对空域滤波模型进行改进，包括以下步骤：
S212、空域滤波模型与统计模块交互，使用运动单元、通道亮度统计单元、局部细节单元、边缘梯度单元中至少一种单元对空域滤波模型进行训练；
S33、更新空域滤波模型的滤波权重λ，滤波权重λ至少包括运动单元、通道亮度统计单元、局部细节单元、边缘梯度单元其中一种的权重。
在本实施例中，上述四个单元可以独立存在并计算；也可以按照预设的规则存在，任意改变计算的先后顺序也可以同时计算，上述四个单元在本实施中的作用内容如下：
运动单元，通过对视频前后帧Bayer格式图像的比较计算，统计出当前图像像素的运动系数，该运动系数越大表示运动越强，滤波强度越强，反之，运动系数越大越小运动越弱，滤波越弱，采用运动单元是由于在运动较强的区域时域滤波不能太强，否则会导致运动拖影，本申请使用空域滤波进行降噪，而空域滤波不会导致运动拖影，并且运动过程人的视觉本身就看不清细节，所以空域滤波要强一些；反之，在运动较弱的区域可以将时域降噪开强一些，运动较弱不容易有拖影，空域滤波弱一些，同时保持更多的细节。通过运动单元，平衡空域滤波和时域滤波对于运动区域或静态区域的降噪强度，以达到最优降噪的目的。
例如在内窥镜的临床使用过程种必然有运动场景，比如扶镜手对内窥镜的挪动或人体组织的挪动，关联运动单元的降噪会使运动过程中器械或人体组织降噪的同时保持边缘清晰，不会导致拖影。
各通道亮度统计单元，主要用于对视频上一帧各通道亮度信息进行统计，可通过求局部区域均值或加权均值计算得到。由于人体内部影像的暗区和亮区细节信息较少，当亮度值较小或较大时，滤波强一些，可以降噪强一些，而亮度值适中的情况一般细节会更多，降噪则要弱一些，通过各通道亮度信息，根据人眼对图像不同亮度场景的感受，达到对不同亮度下图像的最优降噪的目的。
例如临床上腹腔镜手术、胸腔镜手术等，内窥镜拍摄的为人体腔体，离内窥镜近的组织过亮、远距离或阴影区域又过暗，关各通道亮度统计达到各距离场景噪声都较小，可以满足医生的视觉需求。
局部细节统计单元，通过局部区域梯度的空间分布来计算局部细节统计单元系数，若细节越强，降噪越弱，尽可能保持细小血管等纹理细节信息。例如保持图像画面中如细小血管、脂肪颗粒等的纹理细节。
边缘梯度单元，对局部区域梯度统计，统计方法包括但不限于sobel梯度、cany边缘梯度、laplace算子等方法进行梯度统计，若梯度越大表示边缘的可能性越大，降噪越弱，否则梯度越小表示平坦区域的可能性越大，降噪越强。这样可以尽可能保持图像边缘信息，同时去除平坦区域噪声。通过保持图像边缘梯度，如器械边缘、各组织之间的边界等，同时像局部光滑的肝表面、粘膜、肠道、脂肪等表面噪声小。
实施例7
在实施例6的基础上，为了与空域滤波模型进行互补，以达到最优降噪，本实施例对时域滤波模型做进一步的改进，包括以下步骤：
S223、时域滤波模型与统计模块交互，使用通道亮度统计单元、边缘梯度单元、局部相似度单元中至少一种单元，训练时域滤波模块；
S224、更新时域滤波模型的滤波权重δ，滤波权重δ至少包括通道亮度统计单元、边缘梯度单元、局部相似度单元其中一种的权重。
在本实施例中，上述三个单元可以独立存在并计算；也可以按照预设的规则存在，任意改变计算的先后顺序也可以同时计算，上述三个单元在本实施中的作用内容如下：
局部相似度单元，通过当前帧的Bayer格式数据和上一帧经过空域滤波模块和时域滤波模块处理后的输出，来计算局部相似度，方法包含但不限于非局部均值的相似度计算方式，在相似度小的区域减弱时域滤波，减少运动拖影，在相似度大的区域增强时域滤波，降低噪声，通过与空域滤波互补使用，达到最优降噪的目的；
通道亮度统计单元，在亮度过高或过低的区域增强时域滤波，中间亮度场景减弱时域滤波；
边缘梯度单元，当边缘梯度越大时，为了保持边缘，空域滤波较弱，此时增强时域滤波，可有效减弱边缘噪声。有效提高人体各组织之间边缘、人体组织和器械之间的边缘的清晰度。
实施例8
基于上述实施例1-7所改进的空域滤波模型和时域滤波模型，本实施例给出一种使用空域滤波模型、时域滤波模型处理视频图像的内容，包括以下步骤：
S7、统计模块接收并存储上一帧的图像数据经过空域滤波模块、时域滤波模块处理后得到的上一帧的时域处理数据；
S8、采集视频当前帧的图像数据，并输入至空域滤波模块进行处理，输出当前帧的空域处理数据；将当前帧的空域处理数据与上一帧的时域处理数据同时输入至时域滤波模块进行处理，输出当前帧的时域处理数据；
其中，上一帧的时域处理数据为经过空域滤波模型、时域滤波模型同步处理后的数据，为参考帧，该参考帧的细节、明暗、颜色等均经过增强处理，噪声去除干净，再将该参考帧与当前帧的空域处理数据同时输入时域滤波模型进行处理，因此本实施例中的空域滤波模型、时域滤波模型的设置的顺序，进一步提升了图像的去噪效果；
S9、统计模块接收并存储当前帧的时域处理数据；当前帧的时域处理数据作为增强后的图像数据进行输出，输出的图像数据能够达到医生的临床手术。
实施例9
基于上述的提出的空域滤波模型、时域滤波模型，本实施例以上述视频图像画质增强的方法为基础，给出一种画质增强系统，至少包括采集模块、统计模块、图像处理模块，采集模块用于采集视频，获得预设的图像数据，统计模块至少包括运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元，用于训练空域滤波模型、时域滤波模型，图像处理模块至少包括空域滤波模块、时域滤波模块，空域滤波模块以上述实施例中的空域滤波模型为基础进行设置，时域滤波模块以上述实施例中的时域滤波模型为基础进行设置。
在本实施例中，统计模块用于缓存前后帧的时域处理数据，为了加快计算速度，本申请中的统计模块优选缓存一帧，即前后帧的时域处理数据进行替换。
实施例10
在实施例1-9的基础上，本实施例给出一种画质增强系统的处理过程，包括以下内容：
首先，采集模块采集视频当前帧的图像数据；
其次，空域滤波模块处理当前帧的图像数据，输出当前帧的空域处理数据；
接着，从统计模块调用上一帧的时域处理数据，将上一帧的时域处理数据与当前帧的空域处理数据输入至时域滤波模块处理，当前帧的时域处理数据，即作为处理后的图像数据输出。
其中，上述的处理过程用于视频的实时进行，并输出高质量的视频内容，例如在手术过程，对患者内部病理影像进行实时输出。
实施例11
与实施例1-10不同的是，针对病理早期症状，由于病灶本身较小，存在与组织细节处，为了便于医生发现以及确认，本实施例基于上述实施例的基础上，本实施例给出一种加强型图像增强方法，包括以下步骤：
采集模块采集当前帧的图像数据，将当前帧的图像数据设置成n份，例如复制等；
构建n个并列的空域滤波模块，分别接收对应的前帧的图像数据；
改进对应的时域滤波模型，进而构建改进型时域滤波模块，改进型时域滤波模块同时接收n份图像数据和上一帧经过时域滤波模块处理后的图像，输出当前帧的处理图像，进行缓存，用于下一帧的处理调用。
经过本实施例的处理，微小病灶更易被发现，适用于早期的体内检查。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。
以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种用于视频图像画质增强的方法，其特征在于，包括以下步骤：
S1、使用数据集，所述数据集包括原始视频数据和正样本图像数据；采集原始视频数据获得训练数据；
S2、使用预处理的统计模块接收训练数据，并训练预设置的滤波算法模型，训练数据经过滤波算法模型处理输出训练图像数据；
步骤S2中统计模块的预处理内容包括：
至少引入运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元至统计模块中；
步骤S2中预设置的滤波算法模型至少包括空域滤波模型、时域滤波模型；
S3、计算训练图像数据与正样本图像数据的损失，修正滤波算法模型参数，返回步骤S2，直至完成预设的训练次数；
输出训练后的滤波算法模型；
基于所述空域滤波模型、时域滤波模型处理视频图像的步骤包括：
S7、设置空域滤波模型、时域滤波模型的处理顺序；
统计模块接收并存储上一帧的图像数据经过空域滤波模型、时域滤波模型处理后得到的上一帧的时域处理数据；
S8、将视频当前帧的图像数据，先输入至空域滤波模型进行处理，输出当前帧的空域处理数据；再将当前帧的空域处理数据与上一帧的时域处理数据同时输入至时域滤波模型进行处理，输出当前帧的时域处理数据；
S9、统计模块接收并存储当前帧的时域处理数据；所述当前帧的时域处理数据作为增强后的图像数据进行输出。
2.如权利要求1所述的一种用于视频图像画质增强的方法，其特征在于，还包括以下步骤：
S4、选取数据集中的一部分作为测试集，从测试集中获得测试数据；
S5、使用训练好的滤波算法模型对测试数据进行处理，输出测试图像数据；
S6、计算测试图像数据与正样本图像数据的损失，使用预先设置的阈值进行比较；
当测试图像数据与正样本图像数据的损失不大于阈值，则训练完成；
当测试图像数据与正样本图像数据的损失大于阈值，则返回步骤S2。
3.如权利要求1所述的一种用于视频图像画质增强的方法，其特征在于，构建空域滤波模型的步骤包括：
S211、使用导向滤波为框架，所述导向滤波公式为：
Out(i,j,k)= λ*In(i,j,k)+(1-λ)*Mean(k)
其中，In(i,j,k)和Out(i,j,k)分别代表当前帧格式数据的第i行、第j列的输入和输出；k表示分量，可为R、 G和B；λ表示空域滤波模型的滤波权重，权重范围为[0,1]；Mean(k)表示除中心点外与分量k颜色相同的所有像素的均值。
4.如权利要求1所述的一种用于视频图像画质增强的方法，其特征在于，步骤S2中训练空域滤波模型的步骤包括：
S212、所述空域滤波模型与统计模块交互，使用运动单元、通道亮度统计单元、局部细节单元、边缘梯度单元中至少一种单元对所述空域滤波模型进行训练；
S33、更新所述空域滤波模型的滤波权重λ。
5.如权利要求1所述的一种用于视频图像画质增强的方法，其特征在于，构建时域滤波模型的步骤包括：
S221、使用一阶低通滤波为框架，采用的滤波公式为：
Out(i,j)= δ*In(i,j)+(1-δ)*In_previous (i,j)
其中，In(i,j) 和Out(i,j)分别代表图像当前帧格式数据第i行第j列的输入和输出；In_previous (i,j) 表示前一帧的经过时域滤波模型处理，得到的前一帧时域处理数据的第i行第j列输出结果；δ表示时域滤波模型的滤波权重，权重范围为[0,1]。
6.如权利要求5所述的一种用于视频图像画质增强的方法，其特征在于，训练步骤S2中时域滤波模型的步骤包括：
S223、所述时域滤波模型与统计模块交互，使用通道亮度统计单元、边缘梯度单元、局部相似度单元中至少一种单元，训练所述时域滤波模型；
S224、更新时域滤波模型的滤波权重δ。
7.一种用于视频图像画质增强的系统，基于如上述权利要求1-6任意一项所述的用于视频图像画质增强的方法，其特征在于，包括：
采集模块，用于采集视频，获得预设的图像数据；
统计模块，至少包括运动单元、各通道亮度统计单元、局部细节统计单元、边缘梯度单元、前后帧局部相似度单元，用于训练空域滤波模型、时域滤波模型；
图像处理模块，至少包括空域滤波模块、时域滤波模块；所述空域滤波模块以空域滤波模型为基础进行设置，所述时域滤波模块以时域滤波模型为基础进行设置。
8.如权利要求7所述的一种用于视频图像画质增强的系统，其特征在于，所述采集模块用于采集视频当前帧的图像数据，先通过空域滤波模块处理当前帧的图像数据，输出当前帧的空域处理数据；在将上一帧的时域处理数据与当前帧的空域处理数据输入至时域滤波模块处理，获得当前帧的时域处理数据，最后输出；其中，当前帧的时域处理数据缓存至统计模块，使用时，通过统计模块进行调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211571852.7A CN115908190B (zh) | 2022-12-08 | 2022-12-08 | 一种用于视频图像画质增强的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211571852.7A CN115908190B (zh) | 2022-12-08 | 2022-12-08 | 一种用于视频图像画质增强的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115908190A CN115908190A (zh) | 2023-04-04 |
| CN115908190B true CN115908190B (zh) | 2023-10-13 |
Family
ID=86485419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211571852.7A Active CN115908190B (zh) | 2022-12-08 | 2022-12-08 | 一种用于视频图像画质增强的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908190B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118354164A (zh) * | 2024-06-17 | 2024-07-16 | 阿里巴巴（中国）有限公司 | 视频生成方法、电子设备及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102769722A (zh) * | 2012-07-20 | 2012-11-07 | 上海富瀚微电子有限公司 | 时域与空域结合的视频降噪装置及方法 |
| CN103024248A (zh) * | 2013-01-05 | 2013-04-03 | 上海富瀚微电子有限公司 | 运动自适应的视频图像降噪方法及其装置 |
| CN103413276A (zh) * | 2013-08-07 | 2013-11-27 | 清华大学深圳研究生院 | 一种基于纹理分布特征的深度增强方法 |
| CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
| CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
| CN109688351A (zh) * | 2017-10-13 | 2019-04-26 | 华为技术有限公司 | 一种图像信号处理方法、装置及设备 |
| CN113223059A (zh) * | 2021-05-17 | 2021-08-06 | 浙江大学 | 基于超分辨率特征增强的弱小空域目标检测方法 |
| CN113674316A (zh) * | 2021-08-04 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种视频降噪方法和装置及设备 |
| WO2022021999A1 (zh) * | 2020-07-27 | 2022-02-03 | 虹软科技股份有限公司 | 一种图像处理方法及图像处理装置 |
| CN114219722A (zh) * | 2021-11-12 | 2022-03-22 | 广州大学 | 一种利用时频域层级处理的低光照图像增强方法 |
-
2022
- 2022-12-08 CN CN202211571852.7A patent/CN115908190B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102769722A (zh) * | 2012-07-20 | 2012-11-07 | 上海富瀚微电子有限公司 | 时域与空域结合的视频降噪装置及方法 |
| CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
| CN103024248A (zh) * | 2013-01-05 | 2013-04-03 | 上海富瀚微电子有限公司 | 运动自适应的视频图像降噪方法及其装置 |
| CN103413276A (zh) * | 2013-08-07 | 2013-11-27 | 清华大学深圳研究生院 | 一种基于纹理分布特征的深度增强方法 |
| CN109688351A (zh) * | 2017-10-13 | 2019-04-26 | 华为技术有限公司 | 一种图像信号处理方法、装置及设备 |
| CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
| WO2022021999A1 (zh) * | 2020-07-27 | 2022-02-03 | 虹软科技股份有限公司 | 一种图像处理方法及图像处理装置 |
| CN113223059A (zh) * | 2021-05-17 | 2021-08-06 | 浙江大学 | 基于超分辨率特征增强的弱小空域目标检测方法 |
| CN113674316A (zh) * | 2021-08-04 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种视频降噪方法和装置及设备 |
| CN114219722A (zh) * | 2021-11-12 | 2022-03-22 | 广州大学 | 一种利用时频域层级处理的低光照图像增强方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于Non_local means的时空联合视频降噪算法;叶庆伟;谢永昌;狄红卫;;微型电脑应用(第05期);全文 * |
| 层析成像图像重建算法综述;阎春生;廖延彪;田芊;;中国光学(第05期);全文 * |
| 改进型循环生成对抗网络的血管内超声图像增强;姚哲维;杨丰;黄靖;刘娅琴;;计算机科学(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115908190A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090220133A1 (en) | Medical image processing apparatus and medical image processing method | |
| CN111080778B (zh) | 一种双目内窥镜软组织图像的在线三维重建方法 | |
| US9635343B2 (en) | Stereoscopic endoscopic image processing apparatus | |
| CN115908190B (zh) | 一种用于视频图像画质增强的方法及系统 | |
| CN111626962A (zh) | 一种cmos内窥镜图像增强方法 | |
| US8351667B2 (en) | Methods of contrast enhancement for images having blood vessel structures | |
| US8666135B2 (en) | Image processing apparatus | |
| CN111784596A (zh) | 基于生成对抗神经网络的通用内窥镜图像增强方法及装置 | |
| CN114549368A (zh) | 一种基于图像传感器的内窥镜成像系统及方法 | |
| Huang et al. | Deep unsupervised endoscopic image enhancement based on multi-image fusion | |
| CN117934371A (zh) | 一种基于条件扩散模型的胸部x光图像骨抑制方法 | |
| CN102760283B (zh) | 图像处理方法、装置及医疗影像设备 | |
| CN112102234B (zh) | 基于目标检测神经网络的耳硬化病灶检测及诊断系统 | |
| CN109068035A (zh) | 一种智能微相机阵列内窥成像系统 | |
| CN114663293A (zh) | 一种图像增强方法、装置、电子设备及内窥镜系统 | |
| CN110322420A (zh) | 用于电子内窥镜系统的图像处理方法及图像处理系统 | |
| CN113808057A (zh) | 基于无监督学习的内窥镜图像增强方法 | |
| EP2313848A1 (en) | Methods for enhancing vascular patterns in cervical imagery | |
| CN111080547A (zh) | 一种内窥镜图像增强方法 | |
| CN113256502A (zh) | 超声图像的调整方法、终端设备、可读存储介质 | |
| CN114387191B (zh) | 一种内窥镜图像增强方法及内窥镜装置 | |
| CN111738928A (zh) | 一种基于概率优化和神经网络的内窥镜去雾方法及装置 | |
| CN114359082B (zh) | 一种基于自建数据对的胃镜图像去模糊算法 | |
| Ye et al. | Deep Learning Based Cystoscopy Image Enhancement | |
| CN114418920B (zh) | 一种内窥镜多焦点图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |