CN117893871A - 频谱段融合方法、装置、设备及存储介质 - Google Patents
频谱段融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117893871A CN117893871A CN202410290389.1A CN202410290389A CN117893871A CN 117893871 A CN117893871 A CN 117893871A CN 202410290389 A CN202410290389 A CN 202410290389A CN 117893871 A CN117893871 A CN 117893871A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- spectrum segment
- video stream
- channel
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 323
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 238000003708 edge detection Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Endoscopes (AREA)
Abstract
本发明涉及数据处理技术领域，公开了一种频谱段融合方法、装置、设备及存储介质，所述方法包括：获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；基于注意力机制感知所述相同频谱段在各自通道的重要系数；根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合；通过上述方式，在获取内窥模组的多通道视频流后，结合特性信息确定各频谱段，然后根据各频谱段的边缘检测结果确定来自不同通道的相同频谱段的特征值，并结合重要系数进行频谱段的融合，从而能够有效提高融合频谱段的准确性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及频谱段融合方法、装置、设备及存储介质。
背景技术
在视频流中存在不同的频谱段，且频谱段在不同的通道中表征的特点是不同的，为了有效提高视频的视觉效果，通常需要对频谱段进行融合，目前常用的方式是基于个人经验选择需要融合的频谱段，并直接将选择的频谱段融合，但是，人为指定的频谱段不会来自不同的通道，且在显示特性上存在克制作用，使得最终视频文件的各帧图像的视觉效果较差，因此，上述方式融合频谱段的准确性较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种频谱段融合方法、装置、设备及存储介质，旨在解决现有技术融合频谱段的准确性较低的技术问题。
为实现上述目的，本发明提供了一种频谱段融合方法，所述频谱段融合方法包括以下步骤：
获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；
分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；
基于注意力机制感知所述相同频谱段在各自通道的重要系数；
根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
可选地，所述根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段，包括：
根据所述多通道视频流得到各通道的视频流；
通过目标矩阵降秩算法分别对所述各通道的视频流进行降噪；
分别对降噪后的各通道的视频流进行色彩校正；
分别对校正后的各通道的视频流进行亮度调整；
通过傅里叶变换策略对调整后的各通道的视频流进行频域转换，得到目标频谱信息；
根据内窥模组的特性信息确定频谱段分割策略；
基于所述频谱段分割策略对所述目标频谱信息进行频谱分割，得到视频流的各频谱段。
可选地，所述分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值，包括：
分别对所述各频谱段进行边缘检测，并根据边缘检测结果得到各通道的频谱段特征值；
根据所述频谱段特征值生成各通道的频谱特征值矩阵；
将所述各通道的频谱特征值矩阵进行合并，得到目标频谱特征值矩阵；
通过目标元素比较算法根据所述目标频谱特征值矩阵确定相同频谱段的特征值；
确定多通道视频流的通道标识信息；
根据所述通道标识信息和相同频谱段的特征值确定来自不同通道的相同频谱段的特征值。
可选地，所述基于注意力机制感知所述相同频谱段在各自通道的重要系数，包括：
确定多通道视频流的显示特性信息；
基于注意力机制感知所述相同频谱段对所述多通道视频流的显示特性信息的贡献值；
获取历史贡献值与频谱段之间的映射关系；
基于深度学习算法根据所述历史贡献值与频谱段之间的映射关系训练重要系数预测模型；
根据所述重要系数设置模型预测相同频谱段在各自通道的重要系数。
可选地，所述根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合，包括：
根据所述重要系数对所述来自不同通道的相同频谱段进行排序；
对排序后的来自不同通道的相同频谱段进行小波分解，得到第一频谱段和第二频谱段；
基于多波段融合算法对所述第一频谱段进行融合，得到第一融合频谱段；
基于离散余弦变换融合算法对所述第二频谱段进行融合，得到第二融合频谱段；
对所述第一融合频谱段和所述第二融合频谱段进行小波逆融合。
可选地，所述获取内窥模组的多通道视频流，包括：
接收内窥模组发送的初始视频文件；
对所述初始视频文件进行解码，得到原始视频流数据；
对所述原始视频流数据进行逐像素分析，并根据分析结果提取多通道信息；
根据所述多通道信息对所述原始视频流数据进行通道分离，得到各通道的原始视频流数据；
对所述各通道的原始视频流数据进行格式转换；
对转换后的各通道的原始视频流数据进行数据整合，得到内窥模组的多通道视频流。
可选地，所述根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合之后，还包括：
获取融合后的目标频谱段；
根据所述融合后的目标频谱段对多通道视频流进行锐化；
根据所述融合后的目标频谱段对锐化后的多通道视频流进行对比度增强；
根据所述融合后的目标频谱段对增强后的多通道视频流进行色彩平衡；
根据色彩平衡后的多通道视频流生成待展示视频文件，并将所述待展示视频文件发送至目标显示设备。
此外，为实现上述目的，本发明还提出一种频谱段融合装置，所述频谱段融合装置包括：
获取模块，用于获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；
边缘检测模块，用于分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；
感知模块，用于基于注意力机制感知所述相同频谱段在各自通道的重要系数；
融合模块，用于根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
此外，为实现上述目的，本发明还提出一种频谱段融合设备，所述频谱段融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的频谱段融合程序，所述频谱段融合程序配置为实现如上文所述的频谱段融合方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有频谱段融合程序，所述频谱段融合程序被处理器执行时实现如上文所述的频谱段融合方法。
本发明提出的频谱段融合方法，通过获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；基于注意力机制感知所述相同频谱段在各自通道的重要系数；根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合；通过上述方式，在获取内窥模组的多通道视频流后，结合特性信息确定各频谱段，然后根据各频谱段的边缘检测结果确定来自不同通道的相同频谱段的特征值，并结合重要系数进行频谱段的融合，从而能够有效提高融合频谱段的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的频谱段融合设备的结构示意图；
图2为本发明频谱段融合方法第一实施例的流程示意图；
图3为本发明频谱段融合方法第二实施例的流程示意图；
图4为本发明频谱段融合方法一实施例的整体流程示意图；
图5为本发明频谱段融合装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的频谱段融合设备结构示意图。
如图1所示，该频谱段融合设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对频谱段融合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及频谱段融合程序。
在图1所示的频谱段融合设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明频谱段融合设备中的处理器1001、存储器1005可以设置在频谱段融合设备中，所述频谱段融合设备通过处理器1001调用存储器1005中存储的频谱段融合程序，并执行本发明实施例提供的频谱段融合方法。
基于上述硬件结构，提出本发明频谱段融合方法实施例。
参照图2，图2为本发明频谱段融合方法第一实施例的流程示意图。
在第一实施例中，所述频谱段融合方法包括以下步骤：
步骤S10，获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段。
需要说明的是，本实施例的执行主体为频谱段融合设备，还可为其他可实现相同或相似功能的设备，例如融合控制器等，本实施例对此不作限制，在本实施例中，以融合控制器为例进行说明。
应当理解的是，内窥模组指的是一种用于内窥镜的模块化组件，通常包括摄像头、图像传感器、图像处理器以及光源等部分，多通道视频流包括RGB通道、深度通道以及红外通道等通道的视频流，特性信息指的是内窥模组所特有的信息，该特性信息用于确定分割目标频谱信息的频谱段分割策略，同一视频流可以具有多个频谱段。
进一步地，所述根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段，包括：根据所述多通道视频流得到各通道的视频流；通过目标矩阵降秩算法分别对所述各通道的视频流进行降噪；分别对降噪后的各通道的视频流进行色彩校正；分别对校正后的各通道的视频流进行亮度调整；通过傅里叶变换策略对调整后的各通道的视频流进行频域转换，得到目标频谱信息；根据内窥模组的特性信息确定频谱段分割策略；基于所述频谱段分割策略对所述目标频谱信息进行频谱分割，得到视频流的各频谱段。
可以理解的是，目标矩阵降秩算法指的是用于降低视频流中的噪声的算法，具体是将各通道的视频流转换为稀疏域，以便更好地分离视频流和噪声，然后分别对各通道的视频流进行色彩校正、亮度调整等一系列处理，以保证确定视频流的各频谱段的质量，另外，在预处理完成后，通过傅里叶变换策略将视频流转换至频域维度，即得到目标频谱信息，频谱段分割策略指的是用于频域分割的策略，对于不同设备的视频流所采用的频段分割策略是不同的，也就是说胡，在进行频谱分割前需要考虑内窥模组的特性信息，并根据该特性信息确定最佳的频谱段分割策略，然后基于该频谱段分割策略将频谱段分割策略分割为视频流的各频谱段。
进一步地，所述获取内窥模组的多通道视频流，包括：接收内窥模组发送的初始视频文件；对所述初始视频文件进行解码，得到原始视频流数据；对所述原始视频流数据进行逐像素分析，并根据分析结果提取多通道信息；根据所述多通道信息对所述原始视频流数据进行通道分离，得到各通道的原始视频流数据；对所述各通道的原始视频流数据进行格式转换；对转换后的各通道的原始视频流数据进行数据整合，得到内窥模组的多通道视频流。
可以理解的是，初始视频文件可以为内窥模组采集到多帧图像后所生成的视频文件，在得到初始视频文件后，通过解码的方式将初始视频文件转换为原始视频流数据，所使用的解码设备可以为H.265解码器，然后在提取出多通道信息后，利用该多通道信息对原始视频流数据进行通道分离，此时每个通道对应自身的视频流数据，为保证最终得到的内窥模组的多通道视频流的格式的正确性，还需要对各通道的原始视频流数据进行格式转换，然后将转换后的各通道的原始视频流数据整合为内窥模组的多通道视频流。
步骤S20，分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值。
可以理解的是，特征值表征的是频谱段在各自通道所表现的特征，例如，频谱段A在RGB通道的特征值为病变颜色、在深度通道的特征值为三维结构，在红外通道的特征值为温度等，通过边缘检测的方式得到各频谱段的特征值，然后从各频谱段的特征值确定来自不同通道的相同频谱段的特征值。
进一步地，步骤S20，包括：分别对所述各频谱段进行边缘检测，并根据边缘检测结果得到各通道的频谱段特征值；根据所述频谱段特征值生成各通道的频谱特征值矩阵；将所述各通道的频谱特征值矩阵进行合并，得到目标频谱特征值矩阵；通过目标元素比较算法根据所述目标频谱特征值矩阵确定相同频谱段的特征值；确定多通道视频流的通道标识信息；根据所述通道标识信息和相同频谱段的特征值确定来自不同通道的相同频谱段的特征值。
应当理解的是，在得到各通道的频谱段特征值后，生成各通道的频谱特征值矩阵，具体为：
。
其中，表示RGB通道的频谱特征值矩阵，/>表示深度通道的频谱特征值矩阵，/>表示红外通道的频谱特征值矩阵。
进一步地，在得到各通道的频谱特征值矩阵后，将各通道的频谱特征值矩阵合并为目标频谱特征值矩阵，具体为：
。
可以理解的是，目标比较元素算法指的是用于比较与自身相邻元素的算法，具体是将目标频谱特征值矩阵内的频谱段的特征值依次进行比较，并在找到相同的频谱段的特征值后，继续该特征值的角标，然后继续比较，直至比较完所有频谱段的特征值，然后结合通道标识信息确定来自不同通道的相同频谱段的特征值。
步骤S30，基于注意力机制感知所述相同频谱段在各自通道的重要系数。
应当理解的是，注意力机制指的是感知群体内各对象的贡献值的机制，然后基于感知结果设置对应的重要系数，在本实施例中，设置的是相同频谱段在各自通道的重要系数。
进一步地，步骤S30，包括：确定多通道视频流的显示特性信息；基于注意力机制感知所述相同频谱段对所述多通道视频流的显示特性信息的贡献值；获取历史贡献值与频谱段之间的映射关系；基于深度学习算法根据所述历史贡献值与频谱段之间的映射关系训练重要系数预测模型；根据所述重要系数设置模型预测相同频谱段在各自通道的重要系数。
可以理解的是，显示特性信息指的是多通道视频流进行显示时的特性信息，例如，红外通道的视频流显示的不同的颜色，即深红色表示该区域的温度较高，已经远超过正常温度，然后基于注意力机制感知相同频谱段对显示特性信息的贡献值，重要系数预测模型指的是用于预测重要系数的模型，该重要系数预测模型是利用深度学习算法根据历史贡献值与频谱段之间的映射关系训练得到的，该深度学习算法是基于LSTM和TCN的混合学习算法，在得到相同频谱段对多通道视频流的显示特性信息的贡献值，将该贡献值输入至重要系数设置模型，预测并输出相同频谱段在各自通道的重要系数。
步骤S40，根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
可以理解的是，在得到重要系数后，结合特征值将来自不同通道的相同频谱段融合为目标频谱段，然后此时用于发送至目标显示设备的视频文件的质量极高，以便于专业人士的查看，以及分析出准确地诊断结果。
进一步地，步骤S40，包括：根据所述重要系数对所述来自不同通道的相同频谱段进行排序；对排序后的来自不同通道的相同频谱段进行小波分解，得到第一频谱段和第二频谱段；基于多波段融合算法对所述第一频谱段进行融合，得到第一融合频谱段；基于离散余弦变换融合算法对所述第二频谱段进行融合，得到第二融合频谱段；对所述第一融合频谱段和所述第二融合频谱段进行小波逆融合。
应当理解的是，在得到重要系数后，按照重要系数的大小关系对来自不同通道的相同频谱段进行排序，为了使得融合的目标频谱段所生成的视频更符合人眼的视觉特性，需要将排序后的来自不同通道的相同频谱段分解为第一频谱段和第二频谱段，第一频谱段可以为低频谱段，第二频谱段可以为高频谱段，然后采用两种不同的融合算法分别对第一频谱段和第二频谱段进行融合，即对于不同特性的频谱段采用不同的融合算法，这样可以有效提高融合的效率和准确性，然后对第一融合频谱段和第二融合频谱段进行小波逆融合，具体为：
。
其中，表示融合后的目标频谱段，/>表示小波变换逆算子，/>表示融合算子，/>表示小波变换算子，/>表示第一融合频谱段，/>表示第二融合频谱段。
本实施例通过获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；基于注意力机制感知所述相同频谱段在各自通道的重要系数；根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合；通过上述方式，在获取内窥模组的多通道视频流后，结合特性信息确定各频谱段，然后根据各频谱段的边缘检测结果确定来自不同通道的相同频谱段的特征值，并结合重要系数进行频谱段的融合，从而能够有效提高融合频谱段的准确性。
在一实施例中，如图3所示，基于第一实施例提出本发明频谱段融合方法第二实施例，所述步骤S40之后，还包括：
步骤S501，获取融合后的目标频谱段。
应当理解的是，目标频谱段指的是融合第一频谱段和第二频谱段后的频谱段。
步骤S502，根据所述融合后的目标频谱段对多通道视频流进行锐化。
可以理解的是，为了有效提高生成的待展示视频的视觉效果，在得到第二融合频谱段后，基于该融合后的目标频谱段对多通道视频流进行锐化，使得视频文件的各帧图像的边缘鲜明、清晰。
步骤S503，根据所述融合后的目标频谱段对锐化后的多通道视频流进行对比度增强。
应当理解的是，在锐化后，还需要利用融合后的目标频谱段对多通道视频流进行对比度增强，从而能够有效提高视频文件的各帧图像的视觉效果和可读性。
步骤S504，根据所述融合后的目标频谱段对增强后的多通道视频流进行色彩平衡。
可以理解的是，在对比度增强后，还需要利用融合后的目标频谱段对多通道视频流进行色彩平衡，具体是从亮部、中间部以及暗部等维度分别调整，从而达到有效控制视频文件的各帧图像的画面色彩。
步骤S505，根据色彩平衡后的多通道视频流生成待展示视频文件，并将所述待展示视频文件发送至目标显示设备。
应当理解的是，在经过锐化、对比度增强、色彩平衡等一系列处理后，生成待展示视频文件，然后将待展示视频文件发送至目标显示设备，以供专业人士进行查看，另外，为了保护用户的隐私，在发送完成后，需要将待展示视频文件从本地删除。
参考图4，图4为整体流程示意图，具体为：在接收到内窥模组发送的初始视频文件后，经过解码、逐像素分析、通道分离、格式转换以及数据整合等一系列处理，得到多通道视频流，该多通道视频流包括但不限于RGB通道的视频流、深度通道的视频流以及红外通道的视频流，然后经过降噪、色彩校正、亮度调整、频域转换以及频域分割等一系列处理，得到频流的各频谱段，然后分别对各频谱段进行边缘检测，以确定来自不同通道的相同频谱段的特征值，再结合设置的相同频谱段在各自通道的重要系数进行频谱段融合，并根据融合后的目标频谱段对多通道视频流进行锐化、对比度增强以及色彩一系列处理后，生成待展示视频文件，并将待展示视频文件发送至目标显示设备。
本实施例通过获取融合后的目标频谱段；根据所述融合后的目标频谱段对多通道视频流进行锐化；根据所述融合后的目标频谱段对锐化后的多通道视频流进行对比度增强；根据所述融合后的目标频谱段对增强后的多通道视频流进行色彩平衡；根据色彩平衡后的多通道视频流生成待展示视频文件，并将所述待展示视频文件发送至目标显示设备；通过上述方式，在获取到融合后的目标频谱段，根据融合后的目标频谱段分别对多通道视频流进行锐化、对比度增强、色彩平衡处理，从而能够有效提高多通道视频流的质量，然后将生成的待展示视频文件发送至目标显示设备，以便于专业人士的查看。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有频谱段融合程序，所述频谱段融合程序被处理器执行时实现如上文所述的频谱段融合方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图5，本发明实施例还提出一种频谱段融合装置，所述频谱段融合装置包括：
获取模块10，用于获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段。
边缘检测模块20，用于分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值。
感知模块30，用于基于注意力机制感知所述相同频谱段在各自通道的重要系数。
融合模块40，用于根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
本实施例通过获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；基于注意力机制感知所述相同频谱段在各自通道的重要系数；根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合；通过上述方式，在获取内窥模组的多通道视频流后，结合特性信息确定各频谱段，然后根据各频谱段的边缘检测结果确定来自不同通道的相同频谱段的特征值，并结合重要系数进行频谱段的融合，从而能够有效提高融合频谱段的准确性。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的频谱段融合方法，此处不再赘述。
本发明所述频谱段融合装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘述。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，一体化平台工作站，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种频谱段融合方法，其特征在于，所述频谱段融合方法包括以下步骤：
获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；
分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；
基于注意力机制感知所述相同频谱段在各自通道的重要系数；
根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
2.如权利要求1所述的频谱段融合方法，其特征在于，所述根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段，包括：
根据所述多通道视频流得到各通道的视频流；
通过目标矩阵降秩算法分别对所述各通道的视频流进行降噪；
分别对降噪后的各通道的视频流进行色彩校正；
分别对校正后的各通道的视频流进行亮度调整；
通过傅里叶变换策略对调整后的各通道的视频流进行频域转换，得到目标频谱信息；
根据内窥模组的特性信息确定频谱段分割策略；
基于所述频谱段分割策略对所述目标频谱信息进行频谱分割，得到视频流的各频谱段。
3.如权利要求1所述的频谱段融合方法，其特征在于，所述分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值，包括：
分别对所述各频谱段进行边缘检测，并根据边缘检测结果得到各通道的频谱段特征值；
根据所述频谱段特征值生成各通道的频谱特征值矩阵；
将所述各通道的频谱特征值矩阵进行合并，得到目标频谱特征值矩阵；
通过目标元素比较算法根据所述目标频谱特征值矩阵确定相同频谱段的特征值；
确定多通道视频流的通道标识信息；
根据所述通道标识信息和相同频谱段的特征值确定来自不同通道的相同频谱段的特征值。
4.如权利要求1所述的频谱段融合方法，其特征在于，所述基于注意力机制感知所述相同频谱段在各自通道的重要系数，包括：
确定多通道视频流的显示特性信息；
基于注意力机制感知所述相同频谱段对所述多通道视频流的显示特性信息的贡献值；
获取历史贡献值与频谱段之间的映射关系；
基于深度学习算法根据所述历史贡献值与频谱段之间的映射关系训练重要系数预测模型；
根据所述重要系数设置模型预测相同频谱段在各自通道的重要系数。
5.如权利要求1所述的频谱段融合方法，其特征在于，所述根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合，包括：
根据所述重要系数对所述来自不同通道的相同频谱段进行排序；
对排序后的来自不同通道的相同频谱段进行小波分解，得到第一频谱段和第二频谱段；
基于多波段融合算法对所述第一频谱段进行融合，得到第一融合频谱段；
基于离散余弦变换融合算法对所述第二频谱段进行融合，得到第二融合频谱段；
对所述第一融合频谱段和所述第二融合频谱段进行小波逆融合。
6.如权利要求1所述的频谱段融合方法，其特征在于，所述获取内窥模组的多通道视频流，包括：
接收内窥模组发送的初始视频文件；
对所述初始视频文件进行解码，得到原始视频流数据；
对所述原始视频流数据进行逐像素分析，并根据分析结果提取多通道信息；
根据所述多通道信息对所述原始视频流数据进行通道分离，得到各通道的原始视频流数据；
对所述各通道的原始视频流数据进行格式转换；
对转换后的各通道的原始视频流数据进行数据整合，得到内窥模组的多通道视频流。
7.如权利要求1至6中任一项所述的频谱段融合方法，其特征在于，所述根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合之后，还包括：
获取融合后的目标频谱段；
根据所述融合后的目标频谱段对多通道视频流进行锐化；
根据所述融合后的目标频谱段对锐化后的多通道视频流进行对比度增强；
根据所述融合后的目标频谱段对增强后的多通道视频流进行色彩平衡；
根据色彩平衡后的多通道视频流生成待展示视频文件，并将所述待展示视频文件发送至目标显示设备。
8.一种频谱段融合装置，其特征在于，所述频谱段融合装置包括：
获取模块，用于获取内窥模组的多通道视频流，根据所述多通道视频流和内窥模组的特性信息确定视频流的各频谱段；
边缘检测模块，用于分别对所述各频谱段进行边缘检测，并根据边缘检测结果确定来自不同通道的相同频谱段的特征值；
感知模块，用于基于注意力机制感知所述相同频谱段在各自通道的重要系数；
融合模块，用于根据所述重要系数和所述特征值对所述来自不同通道的相同频谱段进行融合。
9.一种频谱段融合设备，其特征在于，所述频谱段融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的频谱段融合程序，所述频谱段融合程序配置有实现如权利要求1至7中任一项所述的频谱段融合方法。
10.一种存储介质，其特征在于，所述存储介质上存储有频谱段融合程序，所述频谱段融合程序被处理器执行时实现如权利要求1至7中任一项所述的频谱段融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410290389.1A CN117893871B (zh) | 2024-03-14 | 频谱段融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410290389.1A CN117893871B (zh) | 2024-03-14 | 频谱段融合方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117893871A true CN117893871A (zh) | 2024-04-16 |
| CN117893871B CN117893871B (zh) | 2024-07-05 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559392A (zh) * | 2013-10-28 | 2014-02-05 | 中国石油化工股份有限公司 | 一种基于多传感信息融合的机组状态评估方法 |
| CN116452930A (zh) * | 2023-03-28 | 2023-07-18 | 中国人民解放军军事科学院系统工程研究院 | 降质环境下基于频域增强的多光谱图像融合方法与系统 |
| CN117152362A (zh) * | 2023-10-27 | 2023-12-01 | 深圳市中安视达科技有限公司 | 内窥镜多光谱的多路成像方法、装置、设备及存储介质 |
| CN117310668A (zh) * | 2023-09-22 | 2023-12-29 | 杭州电子科技大学 | 融合注意力机制与深度残差收缩网络的水声目标识别方法 |
| CN117557941A (zh) * | 2023-11-20 | 2024-02-13 | 昆明蒙灼科技有限公司 | 基于多模态数据融合的视频智能分析系统及方法 |
| CN117576467A (zh) * | 2023-11-22 | 2024-02-20 | 安徽大学 | 一种融合频率域和空间域信息的农作物病害图像识别方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559392A (zh) * | 2013-10-28 | 2014-02-05 | 中国石油化工股份有限公司 | 一种基于多传感信息融合的机组状态评估方法 |
| CN116452930A (zh) * | 2023-03-28 | 2023-07-18 | 中国人民解放军军事科学院系统工程研究院 | 降质环境下基于频域增强的多光谱图像融合方法与系统 |
| CN117310668A (zh) * | 2023-09-22 | 2023-12-29 | 杭州电子科技大学 | 融合注意力机制与深度残差收缩网络的水声目标识别方法 |
| CN117152362A (zh) * | 2023-10-27 | 2023-12-01 | 深圳市中安视达科技有限公司 | 内窥镜多光谱的多路成像方法、装置、设备及存储介质 |
| CN117557941A (zh) * | 2023-11-20 | 2024-02-13 | 昆明蒙灼科技有限公司 | 基于多模态数据融合的视频智能分析系统及方法 |
| CN117576467A (zh) * | 2023-11-22 | 2024-02-20 | 安徽大学 | 一种融合频率域和空间域信息的农作物病害图像识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853925B2 (en) | Methods, systems, and media for image processing | |
| US8884980B2 (en) | System and method for changing hair color in digital images | |
| US6961477B2 (en) | Image-based selection of gamut mapping | |
| EP2339533B1 (en) | Saliency based video contrast enhancement method | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| El Khoury et al. | Color and sharpness assessment of single image dehazing | |
| Song et al. | Color-to-gray based on chance of happening preservation | |
| WO2019090580A1 (en) | System and method for image dynamic range adjusting | |
| US9426333B2 (en) | Illusion analyzing apparatus, apparatus for generating illusion-considered image for which illusion is taken into consideration to allow perception according to original image, illusion analyzing method, method of generating illusion-considered image for which illusion is taken into consideration to allow perception according to original image, and program | |
| Wei et al. | Sidgan: Single image dehazing without paired supervision | |
| CN113963162A (zh) | 安全帽佩戴识别方法、装置、计算机设备和存储介质 | |
| CN117893871B (zh) | 频谱段融合方法、装置、设备及存储介质 | |
| Yu et al. | Contrast preserving decolorization based on the weighted normalized l1 norm | |
| US20180227560A1 (en) | Method for assisted image improvement | |
| CN117893871A (zh) | 频谱段融合方法、装置、设备及存储介质 | |
| CN111754412B (zh) | 构建数据对的方法、装置及终端设备 | |
| Gong et al. | Spatial pooling for measuring color printing quality attributes | |
| Ayunts et al. | No-Reference Quality Metrics for Image Decolorization | |
| Menotti et al. | Fast hue-preserving histogram equalization methods for color image contrast enhancement | |
| JP2002117402A (ja) | 画像処理方法及びその装置 | |
| Saha et al. | A novel method for automated correction of non-uniform/poor illumination of retinal images without creating false artifacts | |
| Shi et al. | Deep quality assessment toward defogged aerial images | |
| JP2008294969A (ja) | 映像変換装置、映像変換方法、映像変換プログラム | |
| CN111062862A (zh) | 基于颜色的数据增强方法和系统及计算机设备和存储介质 | |
| US20030086607A1 (en) | Image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |