CN106998474A - 一种光谱多通道混合压缩传输方法 - Google Patents
一种光谱多通道混合压缩传输方法 Download PDFInfo
- Publication number
- CN106998474A CN106998474A CN201710197722.4A CN201710197722A CN106998474A CN 106998474 A CN106998474 A CN 106998474A CN 201710197722 A CN201710197722 A CN 201710197722A CN 106998474 A CN106998474 A CN 106998474A
- Authority
- CN
- China
- Prior art keywords
- wavelength
- spectrum
- prism
- pixel
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 75
- 238000007906 compression Methods 0.000 title claims abstract description 30
- 230000006835 compression Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000002156 mixing Methods 0.000 title claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 238000010304 firing Methods 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 239000005331 crown glasses (windows) Substances 0.000 description 5
- 239000005308 flint glass Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000122205 Chamaeleonidae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明提出了一种基于多通道的光谱混合压缩传输方法，该方法包括：通过掩模和分光棱镜获得高光谱分辨率、低空间分辨率多通道视频；标记光谱单帧图像中的特征波长，获得特征波长的坐标；以特征波长为中心通过棱镜参数模拟获得光谱带中像素映射的波长值；根据像素映射的波长值，按照波长值进行像素提取；将提取的同一波长的像素进行拼接，组成特定大小的单通道图；将单通道图拼接为视频流，对视频进行压缩；将压缩的视频实时传输至客户端；对传输至客户端的多通道光谱视频实时解码重建。上述方法可以将掩模造成的空间信息不连续的光谱图像按照通道重新拼接，保证光谱质量的前提下进行压缩，实现了光谱图像的实时异地采集传输与重建。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种光谱多通道混合压缩传输方法。
背景技术
近年来光谱视频成像已经成为计算机视觉、数字信号处理、图形学等领域的前沿研究热点，特别是光谱视频的实时采集处理是上述领域的重点。由于光谱视频信息量大，所以实时传输处理对带宽的要求很高，因此必须对光谱视频进行压缩传输。由于光谱视频不仅仅是为了显示，满足人眼的需求，而且还是为了后面利用数据进行一系列的研究，所以必须在压缩的过程中保留信息的准确性。在很多场景下，需要用到无损压缩，但是多数的实时光谱视频采集系统空间分辨率较低，这导致空间点的连续性很差，大大提高了压缩的难度，从而增加了传输的负担，许多的光谱视频无法做到实时传输。因此，研究光谱视频的实时压缩传输对光谱视频远程监控，客户机分析具有重要的作用。
目前主流的视频压缩算法包括MPEG-4以及H.264等，MPEG-4于1998年11月发布，MPEG-4是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG-4标准力求做到两个目标：低比特率下的多媒体通信；是多工业的多媒体通信的综合。H.264和曾经的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比H.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输(存储)场合的需求；它的基本系统是开放的，使用无需版权。但是这些算法大多只是针对RGB图像进行压缩，没有针对光谱视频做特殊的处理，没有利用到光谱视频中包含的多通道信息，压缩效果差，无法满足光谱视频实时压缩传输的要求。
在获得视频光谱的方式上，通常都需要棱镜或者光栅参与，棱镜利用的是折射原理，分光不是线性的，即不同波长偏移的偏向角是不同的，棱镜的波长越短，偏向角越大。光栅是利用衍射效应分光的，光栅的谱级重叠，有干扰，因此要考虑消除，而棱镜不存在这种情况。阿米西棱镜由两个三棱柱组成，第一个三棱柱通常由色散能力为中等的冕牌玻璃制成，第二个则以高色散的火石玻璃制造。光线进入第一个棱镜时先被折射，然后进入两个棱镜之间的接口，再以几乎垂直于第二个棱镜表面的方向射出。棱镜的角度和材质经过选择，使得其中一个波长(颜色)的光，通常是中心的波长，离开棱镜时与入射的光束是平行的。其他波长偏转的角度则与材料的色散能力有关。观察一个通过棱镜的光源就能显示出光源的光学光谱。在色散棱镜中，为了降低成像的几何畸变，通常使用双阿米西棱镜，是由一个阿米西棱镜加一个复制但反置的阿米西棱镜，能增加色散的角度与作用，并且能将有用的成分、中心的波长，折射回入射的路径上。
发明内容
本发明旨在解决现在技术中存在的技术问题，特别创新地提出了一种光谱多通道混合压缩传输方法。
为实现本发明的上述目的，本发明方法采用的技术方案如下：
一种光谱多通道混合压缩传输方法，包括如下步骤：
S1，利用棱镜和掩模获得高光谱分辨率和低空间分辨率的多通道光谱视频，其中，掩模的开孔可以通过多个空间点的光，并在水平方向和垂直方向都进行采样；
S2，利用荧光灯或其他至少有两个特征峰光谱的光源，拍摄白色漫反射背景，特征峰对应的像素亮度梯度大，可以据此标记出单帧光谱图像中特征波长所对应的图像像素坐标；
S3，利用特征峰的位置并模拟棱镜参数，获得步骤S2拍摄的光谱图像上各图像像素坐标对应的波长，得到一张映射表；
S4，利用映射表，拍摄其他场景时，提取对应相同波长的像素点，将这些像素点按照原图像的空间相对位置进行排列，并保证不会出现空间位置在垂直位置上偏移；通过在行采样末尾填不同数量的空白像素，保证提取的不同波长图像的大小是一致的；
S5，将提取的同一波长的像素进行拼接，组成特定大小的单通道图像；将不同波长的单通道图像组合成视频流，对视频流进行压缩；
S6，将压缩后的单通道图像视频流通过网络实时传输至客户端，并进行实时解码拼接，得到完整的光谱视频。
所述步骤S3中，获得映射表的具体步骤为：首先模拟棱镜的参数确定特定点的比例因子，棱镜的参数包括入射角α、出射角β、焦距f以及影响光路出射角度的阿米西棱镜的拼接夹角，不同波长的光线出射后的偏移角度取决于棱镜的参数，在光谱畸变校正的过程中通过随机设置棱镜的参数，模拟出不同波长的光相对于水平位置偏移的距离；根据不同材料的棱镜提供的若干特定波长对应的折射率，通过设定模拟值求解出特定点波长对应的偏移距离，然后通过牛顿差值法，获得步骤S2中特征峰波长对应的偏移距离，之后求取所述特定点波长相对于特征峰波长的偏移比例因子，该偏移比例因子是固定的，不受棱镜参数的影响，这样就可以通过测量实际拍摄图像中特征峰波长的偏移，根据求取的特定点波长的偏移比例因子求得特定点波长对应的像素位置，再通过牛顿差值的方法求得每一个像素对应的波长，得到一张映射表。
所述步骤S5中，将整个视频流分为空间帧和光谱帧，每个空间帧中包含若干光谱帧。
上述方法可以将掩模造成的空间信息不连续的光谱图像按照通道重新拼接，保证光谱质量的前提下进行压缩，相对于直接压缩稀疏的光谱图像，本方法大大提高了压缩比，并且采用压缩传输并行的算法，大幅度提高了传输效率，实现了光谱图像的实时异地采集传输与重建。
附图说明
图1是本发明方法的流程图；
图2是获取光谱视频装置的示意图，由掩模，棱镜和灰度相机组成；
图3是荧光灯的光谱，用来标定相机，荧光灯在可见光波长存在两个特征波峰；
图4是以荧光灯作为光源，光谱视频装置获取的单帧光谱图像；
图5是实例化中具体的棱镜模型，用于参数模拟求取像素——波长映射表；
图6拍摄实际场景，获取的光谱视频中的单帧图像；
图7是将图6进行部分放大后的图像，其中每一条表示一个光谱条带；
图8将图6的单帧光谱图提取出的单通道图，对应波长为570nm；
图9提取若干通道图像经传输之后重新恢复出的光谱图；
图10是图9进行部分放大后的图像。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明的实施方法作详细的描述。
本发明的方法流程如图1所示，具体步骤为：
S1，利用棱镜和掩模获得高光谱分辨率、低空间分辨率的多通道光谱视频，为了保证通过量，掩模的开孔不能太小，要可以通过多个空间点的光，在水平方向和垂直方向都进行采样。因为棱镜在垂直方向上分光，所以垂直方向的采样率更低。高光谱分辨率指的是图像的光谱分辨率高，低空间分辨率指的是这幅图像转化为光谱图像对应的空间分辨率低，在一幅高像素值的图像中通过牺牲空间分辨率获得较高的光谱分辨率。获取的图像由于掩模的空间采样和棱镜的分光作用，使得多个像素点映射到同一个空间位置，但是映射的波长不同，获取的单帧光谱图像的空间分辨率低，但是可以一次拍摄获得光谱，从而实现光谱视频的拍摄。
S2，利用荧光灯或其他至少有两个特征峰光谱的光源，也可以直接利用激光进行标定，通过拍摄白色漫发射的背景，因为光源存在特征峰，拍摄出的图像在特征峰处亮度值梯度大，可以利用梯度变化标记出特征峰的像素位置。
S3，光谱在像素上的映射是非线性的，即相邻两个像素映射的波长差值并不是相同的，这是因为棱镜展开的光谱是非线性的，利用特征峰并模拟棱镜参数，获得光谱图像上各坐标对应的波长，可以得到一张映射表。
S4，利用映射表，拍摄其他场景时，提取对应相同的相同波长的像素点，将这些像素点按照原图像的空间相对位置进行排列，保证不会出现空间位置在垂直位置上偏移，由于掩模的形状，可能水平采样数是不同的，为了保证提取的不同波段图像的大小一致性，通过在行采样末尾添加空白像素，保证不同波长组合的新图像大小是一致的。
S5，将不同波长拼接的图像组合成视频流，对视频流进行压缩。
S6，将压缩后的光谱视频通过网络实时传输至客户端，并进行实时解码恢复，得到各个波长(通道)图像。
步骤S3是利用S2得到的特征峰的位置求取映射表，首先模拟棱镜的参数确定特定点的比例因子，特定点的选取是根据棱镜材料制作商提供的标准文档确定。棱镜的参数包括入射角，出射角α，焦距f，不同波长的折射率，以及影响入射光出射角β的棱镜夹角。棱镜的组成可能包含有多重材料，不同材料的折射率不同，不同的波长也对应于不同的折射率，总之不同波长的光线偏移角度取决于棱镜的各部分参数，光谱畸变校正的过程中通过随机设置棱镜各部分的参数，模拟出不同波长的光相对于水平位置偏移的距离。不同材料的玻璃都提供了若干特定点波长对应的折射率，通过设定模拟值求解出特定点波长对应的偏移距离，然后通过牛顿差值法，获得步骤S2中特征峰波长对应的偏移距离，之后求取特定点波长针对于特征峰波长的偏移比例因子。通过模拟多组棱镜参数，发现针对于特定点波长，相对于特征峰波长的比例因子是固定的，不受棱镜参数的影响，这样就可以通过测量实际拍摄图像中特征峰波长的偏移，根据模拟中求取的特定点波长的比例因子求得特定点波长对应的像素位置，再通过牛顿差值的方法求得每一个像素对应的波长，得到一张映射表。
经过步骤S2，S3的标定得到一张映射表，映射表对于之后拍摄的任意场景都是通用的。
根据映射表用映射表，对之后拍摄的视频中的单帧图像进行像素提取。由于掩模对空间进行采样，所以单通道的图像像素点之间存在空洞，没有信息，提取的像素需要保持空间一致性，需要通过平移将空洞填补掉，而不能在垂直方向移动，水平移后的图像相对于原图水平像素数会减少，由于采样的不一致性，不能保证水平采样数相同，所以在末尾填不同数量的空白像素保持单通图像的水平像素数和垂直像素数是一致的。末尾填充的像素数量不定，填充后的图像水平像素数和所有行中采样率最高的行的像素数是一致的。
步骤S5中得到拼接的单通道图像，填补了空间中的空洞。将单通道的单帧图像组合为光谱序列，步骤S1得到的光谱视频在光谱维度展开。可将整个视频分为空间帧和光谱帧，每个空间帧中包含若干光谱帧，由于光谱帧之间空间信息的一致性，所以光谱帧的帧间压缩可以极大的缩小视频体积，而空间帧之间利用传统的数据压缩方式进行压缩。
步骤S6是对压缩之后的光谱视频进行传输，步骤S4，S5是可以实时进行处理，处理后的结果因为体积小，可以实时进行传输，传输到客户端之后实时进行解码拼接，恢复出拍摄到的光谱图，从而实现光谱数据的采集与应用的异地需求。
实施例
图2是获取光谱视频装置的示意图，本实施例中采用荧光灯作为标定的特征光源，场景中的光通过掩模板进行空间采样，之后通过棱镜进行分光，被灰度相机获取，灰度相机为PointGrey公司生产的CHAMELEON灰度相机，分辨率为2048*1536，焦距为50mm。光谱敏感范围400-1000nm，可以获得最高50fps的光谱视频，得到的光谱视频单帧空间采样点为5898个，空间采样率为1/500，水平采样每行之间略微有差异。
图3是荧光灯光谱，可以看出荧光灯在546.5nm和611.6nm处存在两个特征峰，图4是以荧光灯作为光源，拍摄漫反射背景得到的图像，可以看出每条光谱有两个亮度极大值，检测亮度在垂直方向的梯度变化，标记出亮度变化前两位的像素点，获得其像素位置。
图5是分光棱镜的一个实例，本实施例中，棱镜由两种材料组成，其中入射角为α，出射角为β，f为焦距。最左侧为火石玻璃，中间和右边玻璃为冕玻璃，棱镜各部分的夹角w1,w2,w3如图所示。设火石玻璃和冕玻璃的折射率分别为n1(λ)和n2(λ)，出射后相对于中心偏移的距离为x，根据公式推导出射角可得：
x＝f×tan(β)
考虑到实际模型，可得棱镜角度如下关系式:
w2＝w1+w3
光谱畸变校正的过程中通过随机设置系统参数α,β,f,w1,w2模拟出不同波长的光偏移的距离。
本实例中模拟了五条畸变曲线。火石玻璃和冕玻璃针对不同波长的光的折射率如表1，
表1火石玻璃和冕玻璃针对特定点波长的折射率
其中提供的特定点波长的折射率如第一列所示，通过代入参数可以获得特定点波长对应的偏移值x，根据牛顿差值的方法求出荧光灯对应特征峰波长(546.5nm,611.6nm)的偏移距离。
在这五条曲线中对于以上的每个特定点波长求出相对于荧光灯特征峰波长的比例因子：
其中xλ′0代指特征峰波长611.6nm波长的偏移距离，xλ0代指特征峰波长546.5nm波长对应的偏移距离。xλi是玻璃材料特定点波长对应的偏移距离，通过大量的曲线模拟可以发现特征点的比例因子基本保持不变。通过求取多条曲线特征点比例因子的平均值确定校正曲线的比例因子。在确定比例因子之后，根据实际拍摄的图4中特征峰的偏移距离差值，根据玻璃特定点波长对应的比例因子，就可以求取玻璃特定点波长对应的像素偏移值，进而根据牛顿差值法可以确定出每一个像素点对应的波长值。之后可以建立一张映射表，记录所有的像素对应的波长值。映射表部分样例(对应图4白框中的光谱带)如下表所示。
表2映射表部分样例
得到映射表说明标定已经完成，就可以拍摄任意场景了，为了便于说明，这里用视频中单帧图像的处理作为实例说明，图6是拍摄光谱图像中的一帧，图7是图6放大后的一部分，从图6中可以大致看出拍摄的是一组植物，图7的细节可以看出，在光谱条带以外的空间内噪声值较大，因为存在噪声和条带之间的黑色区域，导致像素变化剧烈，压缩效果差。
图8是根据映射表，将波长570nm的像素点全部提取出来进行拼接后的单通道图像，如图6中所示，水平采样数是不一致的，为了保证所有波长提取出的像素拼接后图像的长宽都是一致的。所以取水平采样数最多的一行，本实例中最多的一行为768个像素点，所以在其他行若采样点不足768个就在之后填补黑色。从图8也可以看出最后几列的像素值为0，这是为了保证提取的单通道图像的大小一致性。
本实施例中，将光谱视频中的单帧图像(2048*1536)切割成48个单通道图像(48*768)，原始图像每帧大小为3M，控制相机帧率为50fps，增益为10db，对于200帧的视频未提取通道，采用H.264进行无损压缩，设置qp＝0，profile＝veryfast，平均每帧大小为1.8M，若进行通道分割进行无损压缩，将光谱视频中的单帧图像按照通道分割，重新组织成大小为48*768的视频流，同样使用h264进行压缩，参数设置相同，平均每帧的压缩大小为0.8M。明显的提高了压缩比。
在本实施例中，通过实时编码视频并通过tcp协议将光谱视频传输到客户机中，为了加快编码速度，采用Intel i7-4690cpu中的quick sync vedio技术结合ffmpeg进行硬件加速，上述用的方法都是开源算法或者社区版，通过分通道压缩并利用硬件加速。使得实时传输显示的视频流可以达到15fps以上。
在本实施例中，在步骤S4和S5中在光谱视频根据映射表提取深度时，采用多线程的方法，由于提取光谱通道并拼接视频的速度，要远快于视频压缩的速度，所以压缩和提取分别放在两个线程中，有效的减少了处理的时间。
在本实施例中，步骤S6通过tcp协议传输到客户端中之后，首先需要解码，并且根据映射表重新恢复分通道之前的光谱图像。图9是恢复之后的图像，图10是恢复之后的部分放大图，从图9和图6的对比中可以看出有效的信息并没有损失，并且图10可以看出光谱条带之间的噪声也被滤除。
Claims (3)
1.一种光谱多通道混合压缩传输方法，其特征在于，包括以下步骤：
S1，利用棱镜和掩模获得高光谱分辨率和低空间分辨率的多通道光谱视频，其中，掩模的开孔可以通过多个空间点的光，并在水平方向和垂直方向都进行采样；
S2，利用荧光灯或其他至少有两个特征峰光谱的光源，拍摄白色漫反射背景，特征峰对应的像素亮度梯度大，可以据此标记出单帧光谱图像中特征波长所对应的图像像素坐标；
S3，利用特征峰的位置并模拟棱镜参数，获得步骤S2拍摄的光谱图像上各图像像素坐标对应的波长，得到一张映射表；
S4，利用映射表，拍摄其他场景时，提取对应相同波长的像素点，将这些像素点按照原图像的空间相对位置进行排列，并保证不会出现空间位置在垂直位置上偏移；通过在行采样末尾填不同数量的空白像素，保证提取的不同波长图像的大小是一致的；
S5，将提取的同一波长的像素进行拼接，组成特定大小的单通道图像；将不同波长的单通道图像组合成视频流，对视频流进行压缩；
S6，将压缩后的单通道图像视频流通过网络实时传输至客户端，并进行实时解码拼接，得到完整的光谱视频。
2.根据权利要求1所述的一种光谱多通道混合压缩传输方法，其特征在于，步骤S3中，获得映射表的具体步骤为：首先模拟棱镜的参数确定特定点的比例因子，棱镜的参数包括入射角α、出射角β、焦距f以及影响光路出射角度的阿米西棱镜的拼接夹角，不同波长的光线出射后的偏移角度取决于棱镜的参数，在光谱畸变校正的过程中通过随机设置棱镜的参数，模拟出不同波长的光相对于水平位置偏移的距离；根据不同材料的棱镜提供的若干特定波长对应的折射率，通过设定模拟值求解出特定点波长对应的偏移距离，然后通过牛顿差值法，获得步骤S2中特征峰波长对应的偏移距离，之后求取所述特定点波长相对于特征峰波长的偏移比例因子，该偏移比例因子是固定的，不受棱镜参数的影响，这样就可以通过测量实际拍摄图像中特征峰波长的偏移，根据求取的特定点波长的偏移比例因子求得特定点波长对应的像素位置，再通过牛顿差值的方法求得每一个像素对应的波长，得到一张映射表。
3.根据权利要求1或2所述的一种光谱多通道混合压缩传输方法，其特征在于，步骤S5中，将整个视频流分为空间帧和光谱帧，每个空间帧中包含若干光谱帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710197722.4A CN106998474B (zh) | 2017-03-29 | 2017-03-29 | 一种光谱多通道混合压缩传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710197722.4A CN106998474B (zh) | 2017-03-29 | 2017-03-29 | 一种光谱多通道混合压缩传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106998474A true CN106998474A (zh) | 2017-08-01 |
| CN106998474B CN106998474B (zh) | 2019-10-18 |
Family
ID=59431577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710197722.4A Active CN106998474B (zh) | 2017-03-29 | 2017-03-29 | 一种光谱多通道混合压缩传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106998474B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107831116A (zh) * | 2017-11-29 | 2018-03-23 | 苏州蛟视智能科技有限公司 | 一种自适应成像装置及方法 |
| CN109241884A (zh) * | 2018-08-23 | 2019-01-18 | 西北工业大学深圳研究院 | 一种基于高光谱图像的非侵入式潜在指纹提取方法 |
| CN111179396A (zh) * | 2019-12-12 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、存储介质及电子装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102706449A (zh) * | 2012-05-24 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道遥感光谱成像系统和成像方法 |
| US20140307975A1 (en) * | 2013-04-10 | 2014-10-16 | Southwest Research Institute | Systems And Methods for Hybrid Compression Of Spectral Image Data |
-
2017
- 2017-03-29 CN CN201710197722.4A patent/CN106998474B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102706449A (zh) * | 2012-05-24 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道遥感光谱成像系统和成像方法 |
| US20140307975A1 (en) * | 2013-04-10 | 2014-10-16 | Southwest Research Institute | Systems And Methods for Hybrid Compression Of Spectral Image Data |
Non-Patent Citations (2)
| Title |
|---|
| ANA B. RAMIREZ,ET.AL: "Video anomaly recovery from compressed spectral imaging", 《2011 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| 马晨光，曹汛等: "高分辨光谱视频采集研究", 《电子学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107831116A (zh) * | 2017-11-29 | 2018-03-23 | 苏州蛟视智能科技有限公司 | 一种自适应成像装置及方法 |
| CN107831116B (zh) * | 2017-11-29 | 2023-09-05 | 苏州蛟视智能科技有限公司 | 一种自适应成像装置及方法 |
| CN109241884A (zh) * | 2018-08-23 | 2019-01-18 | 西北工业大学深圳研究院 | 一种基于高光谱图像的非侵入式潜在指纹提取方法 |
| CN109241884B (zh) * | 2018-08-23 | 2021-10-29 | 西北工业大学深圳研究院 | 一种基于高光谱图像的非侵入式潜在指纹提取方法 |
| CN111179396A (zh) * | 2019-12-12 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、存储介质及电子装置 |
| CN111179396B (zh) * | 2019-12-12 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106998474B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106840398B (zh) | 一种多光谱光场成像方法 | |
| US11785170B2 (en) | Combined HDR/LDR video streaming | |
| CN103487145B (zh) | 多光谱采集系统的标定方法及系统 | |
| CN105651384B (zh) | 一种全光信息采集系统 | |
| DE102019106252A1 (de) | Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung | |
| Shan et al. | A no-reference image quality assessment metric by multiple characteristics of light field images | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN106998474B (zh) | 一种光谱多通道混合压缩传输方法 | |
| CN101115131A (zh) | 基于像素空间相关性的图像融合效果实时评价方法及装置 | |
| CN107064005B (zh) | 一种高光谱光场的快照式成像系统以及重建算法 | |
| Wang et al. | Stereoscopic dark flash for low-light photography | |
| US20070236757A1 (en) | Rich color image processing method and apparatus | |
| CN106895916B (zh) | 一种单次曝光拍摄获取多光谱图像的方法 | |
| CN107421640A (zh) | 基于色差扩大原理的多光谱光场成像系统及方法 | |
| Hubel | Foveon technology and the changing landscape of digital cameras | |
| CN103973980A (zh) | 一种基于数码相机的多光谱图像获取方法 | |
| US9036030B2 (en) | Color calibration of an image capture device in a way that is adaptive to the scene to be captured | |
| CN107454318A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN110332991B (zh) | 一种光谱的重构方法、装置和电子设备 | |
| Shan et al. | Research on subjective quality assessment of light field images | |
| CN106852190B (zh) | 图像处理单元、拍摄装置及图像处理方法 | |
| Zhang et al. | Sub-pixel Dispersion Model for Coded Aperture Snapshot Spectral Imaging | |
| Brorsson | Compressive Sensing: Single Pixel SWIR Imaging of Natural Scenes | |
| Zhong et al. | Performance analysis of joint imaging system with polarized, infrared, and visible cameras for multi-sensor imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |