CN106791318B - 一种便携式高光谱视频实时采集和处理装置及其方法 - Google Patents

一种便携式高光谱视频实时采集和处理装置及其方法 Download PDF

Info

Publication number
CN106791318B
CN106791318B CN201611259278.6A CN201611259278A CN106791318B CN 106791318 B CN106791318 B CN 106791318B CN 201611259278 A CN201611259278 A CN 201611259278A CN 106791318 B CN106791318 B CN 106791318B
Authority
CN
China
Prior art keywords
module
video
data
compression
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611259278.6A
Other languages
English (en)
Other versions
CN106791318A (zh
Inventor
马展
陈都
董辰辰
曹汛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhipu Technology Co.,Ltd.
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201611259278.6A priority Critical patent/CN106791318B/zh
Publication of CN106791318A publication Critical patent/CN106791318A/zh
Application granted granted Critical
Publication of CN106791318B publication Critical patent/CN106791318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种便携式高光谱视频实时采集和处理装置及其方法。装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，数据采集模块采集RGB视频和光谱视频并将数据传输到压缩模块；压缩模块并行压缩多路视频信息并将压缩后的数据提供给传输模块；传输模块将数据传输到控制计算模块，并用于控制计算模块向数据采集模块和压缩模块发送指令；控制计算模块用发送指令控制采集模块采集视频和压缩模块，并将接收到的视频数据解码，再实时融合和分析处理数据；显示模块将融合后的视频实时显示。本发明能实现RGB和光谱视频的采集、压缩、传输和处理分析，具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。

Description

一种便携式高光谱视频实时采集和处理装置及其方法
技术领域
本发明涉及计算摄像学领域，尤其涉及一种便携式高光谱视频实时采集和处理装置及方法。
背景技术
近年来，计算摄像学已经成为计算机视觉、数字信号处理、图形学等领域的前沿研究热点，对真实场景的高光谱视频实时采集和处理引起广泛的关注。高光谱图像的相关研究工作对于军事、农业、医学等领域有着重要的意义。
传统RGB相机仅仅捕捉红绿蓝(RGB)三个通道信息，失去了光谱维度上的大量细节，而场景中许多物质的很多特质可由光谱中丰富的细节信息来揭示。同时，传统的高光谱视频采集系统质量较大，并需要配备体积庞大的个人电脑，因此对室外光谱视频的采集造成不便，同时也很难实时处理和分析数据，因此需要设计一种便携式高光谱视频实时采集和处理装置。
发明内容
针对以上现有技术中存在的缺陷，本发明的目的在于提出一种便携式高光谱视频实时采集和处理装置及其方法，能够实现高光谱视频的实时采集、处理和显示，并通过网络实现光谱相机模块与PC端控制计算模块的通信，从而实现光谱相机与外部计算机的分离，能够做到相机的小型化和整个系统的实时性。
为达上述目的，本发明的装置采用如下技术方案：
一种便携式高光谱视频实时采集和处理装置，包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；所述显示模块用于实时显示所述控制计算模块融合后的视频。
进一步地，本发明的装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。
优选地，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。
进一步地，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
本发明利用上述便携式高光谱视频实时采集和处理装置的方法，包括以下步骤：所述控制计算模块发送指令控制数据采集模块采集；所述数据采集模块采集多路视频数据，并将采集的视频数据提供给压缩模块；所述压缩模块对多路视频数据进行并行压缩，其中对于光谱视频的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；所述传输模块将压缩后的数据通过网络发送到上位机的所述控制计算模块；所述控制计算模块将接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行融合和分析处理，并将融合后的视频提供给显示模块；所述显示模块将计算控制模块融合后的视频实时显示。
进一步地，所述压缩模块使用Intel Quick Sync Video硬件加速视频的编码，以提高视频的压缩速度从而提高整个装置的实时性。
所述传输模块采用无线网传输或者有线网传输，其使用的网络传输协议为TCP、UDP、UDT或WiFidirect。
所述数据采集模块和压缩模块都在片上系统上实现。
所述控制计算模块发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
所述控制计算模块中的数据处理先进行数据的融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
本发明通过融合RGB图像和光谱图像可以获取高空间分辨率和高光谱分辨率的光谱视频。本发明的装置实现了RGB和光谱视频的实时采集、压缩、传输和处理分析。其中采用Intel Quick Sync Video硬件加速视频的编码，能实现更快速的编码并减少传输的数据量从而提高系统的实时性；并能对视频中的物体进行实时分割处理，提高整个系统的应用价值。本发明具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。
附图说明
图1为本发明便携式高光谱视频实时采集和处理装置的结构示意图；
图2为本发明便携式高光谱视频实时采集和处理方法的流程图。
具体实施方式
下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明一个实施例的便携式高光谱视频实时采集和处理装置包括：数据采集模块10、压缩模块30、传输模块40、控制计算模块50、显示模块60。
具体地，数据采集模块10用于采集多路视频数据，所述视频数据至少包括光谱视频和RGB视频。压缩模块30用于并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40。传输模块40用于将数据传输到上位机的控制计算模块50，并用于控制计算模块50向数据采集模块10发送指令，压缩模块30和传输模块40使用两个线程同时处理。控制计算模块50用于发送指令控制数据采集模块10采集视频，并将解码接收到的视频文数据，并通过降低光谱视频的通道数来实时融合和分析处理数据，并将该视频提供给显示模块60。显示模块60用于实时显示计算控制模块50融合后的视频。
需要说明的是，本发明的实施例中，控制计算模块50还用于发送指令控制压缩模块30以不同压缩率来压缩RGB图像，并控制压缩模块30获取不同的光谱通道图像再进行无损压缩。
具体地，在本发明的实施例中，该装置还包括：输入模块20，输入模块20分别与数据采集模块10和压缩模块30相连，具体而言，输入模块20用于将数据采集模块10采集的视频传输给压缩模块30。
需要说明的是，本发明的实施例中，输入模块20包括多路USB接口；数据采集模块10至少包括采集RGB视频和采集光谱相机两路相机；传输模块30包括千兆网卡；计算控制模块50包括CPU和GPU；显示模块60包括HDMI接口和显示器。
根据本发明一个实施例的便携式高光谱视频实时采集和处理方法，如图2所示，该方法包括：
201，控制计算模块50发送指令控制数据采集模块10进行视频采集，并将视频数据提供给压缩模块30；
202，压缩模块30利用H264压缩算法并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40；同时，压缩模块30利用Intel Quick Sync Video硬件加速视频的编码，以提高视频的压缩速度从而提高整个系统的实时性。
203，传输模块40将压缩后的数据通过网络发送到上位机的控制计算模块50；
204，控制计算模块50接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行实时融合和分析处理，并将融合后的视频提供给显示模块60；所述多路视频数据至少包括RGB视频和光谱视频。
206，控制计算模块50将多路视频数据进行融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
205，显示模块60将融合处理后的视频实时显示。
具体地，在本发明的实施例中，控制计算模块50的数据处理可以使用双边滤波的光谱传算法。
本发明的实施例中，数据采集模块10还包括以下步骤：场景光线通过分光镜后被分为相同的两束：一束直接通过RGB相机采集到RGB视频；另一束先通过掩膜板进行下采样，再经过棱镜色散使光波展开，最后由灰度相机采集，获取到高光谱分辨率的灰度视频。

Claims (8)

1.一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：
所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；
所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；其中对于光谱视频数据的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；
所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；
所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；
所述显示模块用于实时显示所述控制计算模块融合后的视频；
所述数据采集模块和压缩模块集成在片上系统上，所述控制计算模块安装在上位机上。
2.根据权利要求1所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。
3.根据权利要求2所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。
4.根据权利要求1所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述压缩模块使用Intel Quick Sync Video硬件加速视频的编码。
5.根据权利要求1所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述传输模块采用无线网传输或者有线网传输，其使用的网络传输协议为TCP、UDP、UDT或WiFidirect。
6.根据权利要求1至5之一所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
7.利用如权利要求1所述一种便携式高光谱视频实时采集和处理装置的方法，其特征在于，包括以下步骤：首先采集多路视频数据，然后对采集的多路视频数据进行并行压缩，其中对于光谱视频的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；再将压缩后的数据通过网络发送到上位机进行解压，并对多路视频数据进行融合和分析处理，最后将计算控制模块融合后的视频实时显示。
8.根据权利要求7所述的方法，其特征在于，对多路视频数据进行融合和分析处理时，先进行数据的融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
CN201611259278.6A 2016-12-30 2016-12-30 一种便携式高光谱视频实时采集和处理装置及其方法 Active CN106791318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611259278.6A CN106791318B (zh) 2016-12-30 2016-12-30 一种便携式高光谱视频实时采集和处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611259278.6A CN106791318B (zh) 2016-12-30 2016-12-30 一种便携式高光谱视频实时采集和处理装置及其方法

Publications (2)

Publication Number Publication Date
CN106791318A CN106791318A (zh) 2017-05-31
CN106791318B true CN106791318B (zh) 2019-06-25

Family

ID=58954610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611259278.6A Active CN106791318B (zh) 2016-12-30 2016-12-30 一种便携式高光谱视频实时采集和处理装置及其方法

Country Status (1)

Country Link
CN (1) CN106791318B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621310A (zh) * 2017-09-18 2018-01-23 深圳大学 一种微型光谱仪传输适配器及光谱检测系统和方法
CN109239914B (zh) * 2018-09-12 2020-05-01 南京大学 一种实现高空间带宽积的成像方法
CN110749555B (zh) * 2019-10-30 2022-05-31 宜宾五粮液股份有限公司 基于高光谱技术白酒曲块内部发酵状态检测装置及方法
CN111174912B (zh) * 2020-01-03 2021-02-23 南京大学 一种快照型解色散模糊的高光谱成像方法
CN112565627B (zh) * 2020-11-30 2023-02-03 天津津航计算技术研究所 一种基于位图叠加的多路视频集中显示设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282506A (zh) * 2015-10-16 2016-01-27 浙江工业大学 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置
CN105338326A (zh) * 2015-11-26 2016-02-17 南京大学 一种嵌入式高空间高光谱分辨率视频采集系统
CN105812631A (zh) * 2016-03-22 2016-07-27 清华大学 小型化高光谱的视频采集装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282506A (zh) * 2015-10-16 2016-01-27 浙江工业大学 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置
CN105338326A (zh) * 2015-11-26 2016-02-17 南京大学 一种嵌入式高空间高光谱分辨率视频采集系统
CN105812631A (zh) * 2016-03-22 2016-07-27 清华大学 小型化高光谱的视频采集装置及方法

Also Published As

Publication number Publication date
CN106791318A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106791318B (zh) 一种便携式高光谱视频实时采集和处理装置及其方法
WO2018077142A1 (zh) 全景视频的处理方法、装置及系统
US10666941B1 (en) Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
TWI415462B (zh) 選定的影像擷取、傳輸及重製之系統及方法
WO2017121058A1 (zh) 一种全光信息采集系统
WO2016101883A1 (zh) 一种即时视频中的人脸美化方法和电子设备
CN101720027B (zh) 可变焦阵列摄像机协同获取不同分辨率多目标视频方法
US10645360B2 (en) Methods and systems for transmitting data in a virtual reality system
WO2023071574A1 (zh) 3d影像的重构方法、装置、电子设备及存储介质
AU2018280337B2 (en) Digital content stream compression
WO2018133589A1 (zh) 航拍方法、装置和无人机
TW201143353A (en) Resolution based formatting of compressed image data
US11310560B2 (en) Bitstream merger and extractor
WO2022022348A1 (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
CN113079361B (zh) 医用内窥镜的超高清图像增强系统及其方法
TW201806386A (zh) 影像壓縮方法與設備
US20090153434A1 (en) Display assistant system
US20220342365A1 (en) System and method for holographic communication
CN103442221A (zh) 一种基于图像缩放及裁减的虚拟ptz系统及方法
CN109658488B (zh) 一种虚实融合系统中通过可编程gpu加速解码摄像头视频流的方法
CN110634564A (zh) 一种病理信息处理方法、装置、系统、电子设备及存储介质
KR101295976B1 (ko) 3ｄ 화상 회의 시스템
CN109005443B (zh) Vr-ar一体机终端真人远程交互方法以及基于其的系统
CN110753229A (zh) 基于h.265编码的视频采集装置及方法
US20230100728A1 (en) A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210129

Address after: Room 1056, Heying building, No. 99, Tuanjie Road, Jiangbei new district, Nanjing, Jiangsu Province, 210008

Patentee after: Nanjing Zhipu Technology Co.,Ltd.

Address before: 210093 No. 22, Hankou Road, Gulou District, Jiangsu, Nanjing

Patentee before: NANJING University

TR01 Transfer of patent right