CN110057450A - 基于无线传输和模式识别的窄带多光谱成像系统及方法 - Google Patents
基于无线传输和模式识别的窄带多光谱成像系统及方法 Download PDFInfo
- Publication number
- CN110057450A CN110057450A CN201910435698.2A CN201910435698A CN110057450A CN 110057450 A CN110057450 A CN 110057450A CN 201910435698 A CN201910435698 A CN 201910435698A CN 110057450 A CN110057450 A CN 110057450A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- communication module
- wireless communication
- narrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 21
- 238000003909 pattern recognition Methods 0.000 title claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 102000006463 Talin Human genes 0.000 claims description 30
- 108010083809 Talin Proteins 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 17
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 11
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 11
- 240000007651 Rubus glaucus Species 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 abstract description 12
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 244000235659 Rubus idaeus Species 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 241001116459 Sequoia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021028 berry Nutrition 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无线传输和模式识别的窄带多光谱成像系统及方法，包括：成像装置和地面控制器，成像装置和地面控制器无线连接；成像装置包括成像模块、微型计算机和第一无线通信模块，微型计算机分别与成像模块和第一无线通信模块连接；地面控制器包括显示模块、手持控制模块、微处理模块和第二无线通信模块，微处理模块分别与手持控制模块和第二无线通信模块连接，且显示模块和第二无线通信模块连接；第一无线通信模块和第二无线通信模块无线连接。本发明结构简单、操作简便、造价低廉，形成的多光谱图像既保留了明显光谱特征波段的目标对象的特征，又保留了较高的空间分辨率。
Description
技术领域
本发明涉及多光谱相机成像和采集技术领域，更具体的说是涉及一种基于无线传输和模式识别技术的窄带多光谱成像系统及方法。
背景技术
成像技术和光谱技术是光学成像的传统技术的重要领域，成像技术目的在于获取目标物体的空间信息，光谱技术在于获取目标物体的光学信息，进而研究其目标物体的空间和光谱特性。单一的空间信息，让人们对物体判别造成一定的难度，对于形状颜色(RGB)相近的物体，人们难以一下子判别两者异同。但每个物体都拥有特定的光学特性，对于不同的物体，其光学特性是不一样的，但仅仅是光学特性又无法直观的对物体得出结论。因此，为了加强对目标物体的判别能力，科学家将空间信息和光谱信息较好的结合起来，研发了高光谱相机，但高光谱相机由于其技术难度大、研发要求高、生产成本高，因此价格一直居高不下；且高光谱图像数据量大，数据处理和分析要求高。
相对来说，高光谱相机更多的用于科研领域的基础研究，多光谱相机由于其成本和使用难易，更受到各行业的青睐。多相机式多光谱相机有多个相机组成，每个相机配置不同的带通滤波片，分别获取不同波段的图谱信息，这种形式可实现所需要目标物体的图谱合一，一次曝光可以同时获取空间信息和光谱信息。但市场上多光谱相机的各个相机在曝光时各获取一张图像，各图像间存在一定的位移偏差，该多光谱相机将每个单通道相机的图像进行单独输出，在后续处理中需要将多个相机的图像进行偏移消减，造成较大的工作量。
因此，如何提供一种操作简便的多光谱成像系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于无线传输和模式识别的窄带多光谱成像系统及方法，结构简单、操作简便、造价低廉，形成的多光谱图像既保留了明显光谱特征波段的目标对象的特征，又保留了较高的空间分辨率。
为了实现上述目的，本发明采用如下技术方案：
基于无线传输和模式识别的窄带多光谱成像系统，包括：成像装置和地面控制器，所述成像装置和所述地面控制器无线连接；
所述成像装置包括成像模块、微型计算机和第一无线通信模块，所述成像模块和第一无线通信模块均与所述微型计算机连接；
所述地面控制器包括显示模块、手持控制模块、微处理模块和第二无线通信模块，所述手持控制模块和第二无线通信模块均与所述微处理模块连接，且所述显示模块和所述第二无线通信模块连接；
所述第一无线通信模块和所述第二无线通信模块无线连接。
进一步，所述成像模块包括多个CCD相机。
进一步，所述CCD相机设置为4个，每个CCD相机按照光线传输方向依次设置有物镜镜头、低通滤波器、窄带滤光片和光电器件。
进一步，所述第一无线通信模块包括触发信号接收器和图传信号发射器，所述触发信号接收器和所述图传信号发射器均与所述微型计算机有线连接；
所述第二无线通信模块包括触发信号发射器和图传信号接收器，所述触发信号发射器与所述微处理模块有线连接，所述图传信号接收器和所述显示模块有线连接；
所述触发信号接收器和所述触发信号发射器无线连接，所述图传信号发射器和所述图传信号接收器无线连接。
进一步，所述微型计算机为树莓派，所述树莓派内嵌有存储模块。
进一步，所述手持控制模块包括单拍按钮和连拍按钮，所述单拍按钮和所述连拍按钮分别与所述微处理模块连接。
基于无线传输和模式识别的窄带多光谱成像方法，包括以下步骤：
步骤一：用户自主选择单拍模式或连拍模式，触发手持控制模块，微处理模块接收触发信号后，通过第二无线通信模块和第一通信模块将所述触发信号发送至微型计算机中；
步骤二：所述微型计算机控制所述成像模块进行拍照，所述成像模块获取四张单通道图像，将获取的四张单通道图像发送至所述微型计算机进行存储；
步骤三：所述微型计算机通过所述第一通信模块和所述第二无线通信模块将所述四张单通道图像发送至所述显示模块中，同时所述微型计算机对四张单通道图像进行目标检测、图像匹配、图像裁剪和图像融合得到一张四通道多光谱图像。
进一步，所述图像目标检测：每张单通道图像通过目标检测模型检测目标对象的框型边界，获取边界坐标；
所述图像匹配：将四张单通道图像对应位置的所述边界坐标进行匹配；
所述图像裁剪：比较图像中x坐标和y坐标的差距，得到图像平移距离，通过反向平移使目标重合，将图像不重合部分进行裁剪；
所述图像融合：将裁剪后的四张单通道图像融合成一张四通道多光谱图像。
进一步，所述边界坐标进行匹配的对应方法为：
其中，四张单通道图像分别为Band1图像、Band2图像、Band3图像和Band4图像；
Band1图像中的(x1-1,y1-1)对应Band2图像中的(x2-1,y2-1)、Band3图像中的(x3-1,y3-1)对应Band4图像中的(x4-1,y4-1)；
Band1图像中的(x1-2,y1-1)对应Band2图像中的(x2-2,y2-1)、Band3图像中的(x3-2,y3-1)对应Band4图像中的(x4-2,y4-1)；
Band1图像中的(x1-1,y1-2)对应Band2图像中的(x2-1,y2-2)、Band3图像中的(x3-1,y3-2)对应Band4图像中的(x4-1,y4-2)；
Band1图像中的(x1-2,y1-2)对应Band2图像中的(x2-2,y2-2)、Band3图像中的(x3-2,y3-2)对应Band4图像中的(x4-2,y4-2)。
进一步，所述图像裁剪的具体方式为：
如Band1图像在Band2图像左侧，Band1图像在Band3图像上方，则将Band1图像左边裁剪|x1-1-x2-1|列，上方裁剪|y1-1-y3-1|行；
如Band2图像在Band1图像右侧，Band2图像在Band4图像上方，则将Band2图像右边裁剪|x1-1-x2-1|列，上方裁剪|y2-1-y4-1|行；
如Band3图像在Band4图像左侧，Band3图像在Band1图像下方，则将Band3图像左边裁剪|x3-1-x4-1|列，下方裁剪|y1-1-y3-1|行；
如Band4图像在Band3图像右侧，Band4图像在Band2图像下方，则将Band4图像右边裁剪|x4-1-x3-1|列，下方裁剪|y4-1-y2-1|行。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于无线传输和模式识别的窄带多光谱成像系统及方法，成像模块接收到手持控制模块发出的触发信号后能够同时输出多张图像，微型计算机能够对多张图像进行快速精确融合，方便了后续数据的处理，通过显示模块可实时观看成像模块获取的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于无线传输和模式识别的窄带多光谱成像系统整体结构示意图。
图2附图为本发明提供的成像装置整体结构示意图。
图3附图为本发明提供的地面控制器整体结构示意图。
图4附图为本发明提供的成像装置原理框图。
图5附图为本发明提供的地面控制器原理框图。
图6附图为本发明提供的CCD相机具体结构图。
图7附图为本发明提供的窄带滤光片波长范围选取流程示意图。
图8附图为本发明提供的图像目标检测示意图。
图9附图为本发明提供的图像融合结果示意图。
其中，各部件表示：
1、成像装置，11、成像模块，111、物镜镜头，112、低通滤波器，113、窄带滤光片，114、光电器件，12、微型计算机，13、第一无线通信模块，131、触发信号接收器，132、图传信号发射器，2、地面控制器，21、显示模块，22、手持控制模块，221、单拍按钮，222、连拍按钮，23、微处理模块，24、第二无线通信模块，241、触发信号发射器，242、图传信号接收器，3、不重叠区域，4、完全重叠区域。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于无线传输和模式识别的窄带多光谱成像系统，结合图1、图2和图3，包括成像装置1和地面控制器2，成像装置1和地面控制器2无线连接；
结合图4，成像装置1包括成像模块11、微型计算机12和第一无线通信模块13，第一无线通信模块13包括触发信号接收器131和图传信号发射器132，微型计算机12分别与成像模块11、触发信号接收器131和图传信号发射器132有线连接；
结合图5，地面控制器2包括显示模块21、手持控制模块22、微处理模块23和第二无线通信模块24，第二无线通信模块24包括触发信号发射器241和图传信号接收器242，微处理模块23分别与手持控制模块22、触发信号发射器241有线连接，显示模块21与图传信号接收器242有线连接；
触发信号接收器131和触发信号发射器241无线连接，图传信号发射器132和图传信号接收器242无线连接，且触发信号接收器131、触发信号发射器241、图传信号发射器132和图传信号接收器242为四个ATK-LORA-01无线通信模块。
微型计算机12为树莓派，树莓派内嵌有存储卡和目标检测模型，其中，树莓派进行触发并将拍摄的图像以及图像对应的框型边界坐标存储到存储卡中，目标检测模型为算法模型，其中目标检测模型需要进行训练后植入到微型计算机中，如采用已公开的FasterR-CNN基础网络模型对具有实例标注的数据进行训练、调参和实测，将训练好的模型植入到树莓派中，树莓派通过实时调取植入的FasterR-CNN模型对成像模块传过来的图像进行目标的实时检测。通过触发拍照获取图像时，可将FasterR-CNN模型快速获取目标对象框型边界坐标((x1,y1),(x2,y1),(x1,y2),(x2,y2))进行存储。
微处理模块23采用嵌入式开发板，具体采用STM32系列的芯片。
具体的，结合图6，本发明成像模块包括4个单通道CCD相机，CCD相机可快速捕抓物体图像，并带有快速拍摄功能。每个单通道CCD相机按照光线传输方向依次设置有物镜镜头111、低通滤波器112、窄带滤光片113和光电器件114，本发明物镜镜头111的作用主要为折射和穿透光线，光线通过物镜111进入相机光道；低通滤波器112的作用是减弱或消除低频干扰条纹和伪彩色干扰条纹的影响；窄带滤光片113的目的是只允许所需要的波长范围的光线通过；光电器件114的作用为将带有目标对象显著特征的光信号转成数字信号。
其中，光电器件114包括黑白CCD传感器、数据处理器和模数转换器，黑白CCD传感器的作用为将光谱辐射能量分布转换成电信号，数据处理器把电信号进行滤波和放大，模数转换器将电信号转换成离散数字信号并输出。
其中，4个相机中的窄带滤光片113的波段是不一样的，窄带滤光片113的选取方式是通过多种方式进行比较和考量，最后确定的特定波长范围，并进行特制。如图7所示，1)由于各物质由于其特点，在光谱反射出不一样的特征，植物由于缺乏个别元素或者是组织，会在某些特定波长范围有着显著的特征；2)植被指数模型是遥感领域长期使用的一个简单的波段计算模型，能通过简单的公式计算，达到想到实现的目的；3)高光谱数据由于其光谱分辨率高，有着较高的光谱研究价值，可通过算法先对高光谱数据进行波段优选，选取信息量较大或者是方差较大等波段。通过该滤光片能够更好的获取目标对象特征，解决了市场上多光谱相机普遍使用宽波段的滤光片，如瑞士的Parrot公司的Sequoia相机，拥有绿、红、红边、近红外四个波段的光谱相机和一个可见光相机，该相机的带通滤光片获取的光谱波长范围较大，但特征却被弱化，对于特征光谱特征在特定窄波长范围出现的，难以捕获到其明显特征的问题。
低通滤波器112可为抗混滤波器。
具体的，显示模块21为显示器，具体可以为OLED显示屏，显示器不仅显示CCD相机获取的单通道图像，由于单通道CCD相机拍摄的图像是灰色图像，在某些情况下(外界光线太强而屏幕光线不足时)，很难直观的看到目标物体在不在镜头中，而通过模型检测出现的框型可以较为直观的看到物体，所以，显示的内容还包括模型检测出来目标对象的框型，如图8所示，如对叶片进行采集，可实时直观检测叶片是否同时在4个镜头中，并获取各个通道相机的图像目标方框的x和y坐标。
手持控制模块22包括单拍按钮221和连拍按钮222，单拍时，用户通过显示器每次触发一次单拍按钮221，地面控制器2就通过触发信号发射器241发出一次触发信号，树莓派通过触发信号接收器131接收到信号，进行一次触发，一次触发获取4张单通道图像和4组对应图像的目标边框坐标；
2)连拍时，用户可根据实际需要设定好连续拍摄的间隔时间t秒，通过显示器触发一次连拍按钮222，地面控制器5每间隔t秒就通过触发信号发射器241发出一次触发信号，树莓派通过触发信号接收器131接收到信号，进行一次触发，一次触发获取4张单通道图像和4组对应图像的目标边框坐标。
进一步，成像装置1和地面控制器2均包括电池，成像装置1中的电池为CCD相机和树莓派进行供电，地面控制器2中的电池为显示器、微处理模块等进行充电。
一种基于无线传输和模式识别的窄带多光谱成像方法，包括以下步骤：
步骤一：用户自主选择单拍模式或连拍模式，触发单拍按钮221或连拍按钮222，微处理模块23接收触发信号后，通过触发信号发射器241和触发信号接收器131将触发信号发送至微型计算机12中；
步骤二：微型计算机12控制成像模块11进行拍照，成像模块11获取四张单通道图像，将获取的四张单通道图像发送至微型计算机12进行存储，微型计算机12通过图传信号发射器132和图传信号接收器242将四张单通道图像发送至显示模块21中，同时微型计算机12对四张单通道图像进行目标检测、图像匹配、图像裁剪和图像融合得到一张四通道多光谱图像；其中，将目标检测获得的目标对象的框型也发送至显示模块21中，
步骤三：由于单通道CCD相机拍摄的图像是灰色图像，在某些情况下(外界光线太强而屏幕光线不足时)，很难直观的看到目标物体在不在镜头中，而通过模型检测出现的框型可以较为直观的看到物体，所以，为进一步优化技术方案，将目标检测得出的目标对象的框型也发送至显示模块21中，显示模块21可以对四张单通道图像和检测目标进行实时显示。
其中，图像目标检测：每张单通道图像通过目标检测模型检测目标对象的框型边界，获取边界坐标；
图像匹配：将四张单通道图像对应位置的边界坐标进行匹配；
图像裁剪：比较图像中x坐标和y坐标的差距，得到图像平移距离，通过反向平移使目标重合，将图像边缘不重合区域3进行裁剪，得到完全重叠区域4；
图像融合：将裁剪后的四张单通道图像融合成一张四通道多光谱图像。
本发明是将获取的图像和坐标进行对应匹配，由于相机一样，拍摄环境一样，各相机获取的图像间只有平移的变化，所以通过对应像素匹配将图像进行平移消除，由于图像的平移，会遇到图像边缘无法完全重叠，因此需要将不重叠区域3进行裁剪，通过裁剪后的图像行列大小一样，4个单通道图像像素间可以进行一一对应，则可对4个单通道图像进行逐个像素的融合，4个单通道图像融合的结果如图9所示，得到一张4通道的多光谱图像。该多光谱图像既保留了明显光谱特征波段的目标对象的特征，又保留了较高的空间分辨率。
具体的，边界坐标进行匹配的对应方法如图8所示：
其中，四张单通道图像分别为Band1图像、Band2图像、Band3图像和Band4图像；
Band1图像中的(x1-1,y1-1)对应Band2图像中的(x2-1,y2-1)、Band3图像中的(x3-1,y3-1)对应Band4图像中的(x4-1,y4-1)；
Band1图像中的(x1-2,y1-1)对应Band2图像中的(x2-2,y2-1)、Band3图像中的(x3-2,y3-1)对应Band4图像中的(x4-2,y4-1)；
Band1图像中的(x1-1,y1-2)对应Band2图像中的(x2-1,y2-2)、Band3图像中的(x3-1,y3-2)对应Band4图像中的(x4-1,y4-2)；
Band1图像中的(x1-2,y1-2)对应Band2图像中的(x2-2,y2-2)、Band3图像中的(x3-2,y3-2)对应Band4图像中的(x4-2,y4-2)。
图像裁剪的具体方式为：
如Band1图像在Band2图像左侧，Band1图像在Band3图像上方，则将Band1图像左边裁剪x1-1-x2-1列，上方裁剪y1-1-y3-1行；
如Band2图像在Band1图像右侧，Band2图像在Band4图像上方，则将Band2图像右边裁剪x1-1-x2-1列，上方裁剪y2-1-y4-1行；
如Band3图像在Band4图像左侧，Band3图像在Band1图像下方，则将Band3图像左边裁剪x3-1-x4-1列，下方裁剪y1-1-y3-1行；
如Band4图像在Band3图像右侧，Band4图像在Band2图像下方，则将Band4图像右边裁剪x4-1-x3-1列，下方裁剪y4-1-y2-1行。
本发明结构简单、设计合理、使用方便，适用于室内和室外采集明确的目标，可根据实际目标的特征波段制定特定波长范围滤光片，方便灵活，可较为直接的获取目标的明显特征，更有效地达到采集数据的目的；该发明将通过目标检测模型获取目标对象的框型边界，通过框型边界的坐标进行匹配和图像融合使得多相机式多光谱相机的多张图像可进行快速精确融合，便于后续数据的处理，且目标检测模型可根据实际需要进行更新，具有较高的灵活性和准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，包括：成像装置(1)和地面控制器(2)，所述成像装置(1)和所述地面控制器(2)无线连接；
所述成像装置(1)包括成像模块(11)、微型计算机(12)和第一无线通信模块(13)，所述成像模块(11)和所述第一无线通信模块(13)均与所述微型计算机(12)连接；
所述地面控制器(2)包括显示模块(21)、手持控制模块(22)、微处理模块(23)和第二无线通信模块(24)，所述手持控制模块(22)和所述第二无线通信模块(24)均与所述微处理模块(23)连接，且所述显示模块(21)和所述第二无线通信模块(24)连接；
所述第一无线通信模块(13)和所述第二无线通信模块(24)无线连接。
2.根据权利要求1所述的基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，所述成像模块(11)包括多个CCD相机。
3.根据权利要求2所述的基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，所述CCD相机设置为4个，每个CCD相机按照光线传输方向依次设置有物镜镜头(111)、低通滤波器(112)、窄带滤光片(113)和光电器件(114)。
4.根据权利要求1所述的基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，所述第一无线通信模块(13)包括触发信号接收器(131)和图传信号发射器(132)，所述触发信号接收器(131)和所述图传信号发射器(132)均与所述微型计算机(12)有线连接；
所述第二无线通信模块(24)包括触发信号发射器(241)和图传信号接收器(242)，所述触发信号发射器(241)与所述微处理模块(23)有线连接，所述图传信号接收器(242)和所述显示模块(21)有线连接；
所述触发信号接收器(131)和所述触发信号发射器(241)无线连接，所述图传信号发射器(132)和所述图传信号接收器(242)无线连接。
5.根据权利要求1所述的基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，所述微型计算机(12)为树莓派，所述树莓派内嵌有存储卡。
6.根据权利要求1所述的基于无线传输和模式识别的窄带多光谱成像系统，其特征在于，所述手持控制模块(22)包括单拍按钮(221)和连拍按钮(222)，所述单拍按钮(221)和所述连拍按钮(222)分别与所述微处理模块(23)有线连接。
7.基于无线传输和模式识别的窄带多光谱成像方法，其特征在于，包括以下步骤：
步骤一：用户自主选择单拍模式或连拍模式，触发手持控制模块(22)，微处理模块(23)接收触发信号后，通过第二无线通信模块(24)和第一通信模块(13)将所述触发信号发送至微型计算机(12)中；
步骤二：所述微型计算机(12)控制所述成像模块(11)进行拍照，所述成像模块(11)获取四张单通道图像，将获取的四张单通道图像发送至所述微型计算机(12)进行存储；
步骤三：所述微型计算机(12)通过所述第一通信模块和所述第二无线通信模块(24)将所述四张单通道图像发送至所述显示模块(21)中，同时所述微型计算机(12)对四张单通道图像进行目标检测、图像匹配、图像裁剪和图像融合得到一张四通道多光谱图像。
8.根据权利要求7所述的基于无线传输和模式识别的窄带多光谱成像方法，其特征在于，
所述图像目标检测：每张单通道图像通过目标检测模型检测目标对象的框型边界，获取边界坐标；
所述图像匹配：将四张单通道图像对应位置的所述边界坐标进行匹配；
所述图像裁剪：比较图像中x坐标和y坐标的差距，得到图像平移距离，通过反向平移使目标重合，将图像不重合部分进行裁剪；
所述图像融合：将裁剪后的四张单通道图像融合成一张四通道多光谱图像。
9.根据权利要求8所述的基于无线传输和模式识别的窄带多光谱成像方法，其特征在于，所述边界坐标进行匹配的对应方法为：
其中，四张单通道图像分别为Band1图像、Band2图像、Band3图像和Band4图像；
所述Band1图像中的(x1-1,y1-1)对应所述Band2图像中的(x2-1,y2-1)、所述Band3图像中的(x3-1,y3-1)对应所述Band4图像中的(x4-1,y4-1)；
所述Band1图像中的(x1-2,y1-1)对应所述Band2图像中的(x2-2,y2-1)、所述Band3图像中的(x3-2,y3-1)对应所述Band4图像中的(x4-2,y4-1)；
所述Band1图像中的(x1-1,y1-2)对应所述Band2图像中的(x2-1,y2-2)、所述Band3图像中的(x3-1,y3-2)对应所述Band4图像中的(x4-1,y4-2)；
所述Band1图像中的(x1-2,y1-2)对应所述Band2图像中的(x2-2,y2-2)、所述Band3图像中的(x3-2,y3-2)对应所述Band4图像中的(x4-2,y4-2)。
10.根据权利要求9所述的基于无线传输和模式识别的窄带多光谱成像方法，其特征在于，所述图像裁剪的具体方式为：
如所述Band1图像在所述Band2图像左侧，所述Band1图像在所述Band3图像上方，则将所述Band1图像左边裁剪|x1-1-x2-1|列，上方裁剪|y1-1-y3-1|行；
如所述Band2图像在所述Band1图像右侧，所述Band2图像在所述Band4图像上方，则将所述Band2图像右边裁剪|x1-1-x2-1|列，上方裁剪|y2-1-y4-1|行；
如所述Band3图像在所述Band4图像左侧，所述Band3图像在所述Band1图像下方，则将所述Band3图像左边裁剪|x3-1-x4-1|列，下方裁剪|y1-1-y3-1|行；
如所述Band4图像在所述Band3图像右侧，所述Band4图像在所述Band2图像下方，则将所述Band4图像右边裁剪|x4-1-x3-1|列，下方裁剪|y4-1-y2-1|行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435698.2A CN110057450B (zh) | 2019-05-23 | 2019-05-23 | 基于无线传输和模式识别的窄带多光谱成像系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435698.2A CN110057450B (zh) | 2019-05-23 | 2019-05-23 | 基于无线传输和模式识别的窄带多光谱成像系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110057450A true CN110057450A (zh) | 2019-07-26 |
| CN110057450B CN110057450B (zh) | 2024-03-19 |
Family
ID=67324248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910435698.2A Active CN110057450B (zh) | 2019-05-23 | 2019-05-23 | 基于无线传输和模式识别的窄带多光谱成像系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110057450B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101221072A (zh) * | 2008-01-23 | 2008-07-16 | 天津大学 | 共像面多光谱成像技术 |
| CN102445427A (zh) * | 2011-10-11 | 2012-05-09 | 孔令华 | 一种微多光谱窄带遥感成像系统及其图像采集系统 |
| CN202676588U (zh) * | 2012-03-12 | 2013-01-16 | 曹宏鑫 | 应用于病虫害识别的机载微型光谱终端设备 |
| CN107655572A (zh) * | 2016-07-25 | 2018-02-02 | 田荣侠 | 一种基于ZigBee和TCS230的无线颜色检测系统 |
| CN209745403U (zh) * | 2019-05-23 | 2019-12-06 | 华南农业大学 | 一种窄带多光谱成像系统 |
-
2019
- 2019-05-23 CN CN201910435698.2A patent/CN110057450B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101221072A (zh) * | 2008-01-23 | 2008-07-16 | 天津大学 | 共像面多光谱成像技术 |
| CN102445427A (zh) * | 2011-10-11 | 2012-05-09 | 孔令华 | 一种微多光谱窄带遥感成像系统及其图像采集系统 |
| CN202676588U (zh) * | 2012-03-12 | 2013-01-16 | 曹宏鑫 | 应用于病虫害识别的机载微型光谱终端设备 |
| CN107655572A (zh) * | 2016-07-25 | 2018-02-02 | 田荣侠 | 一种基于ZigBee和TCS230的无线颜色检测系统 |
| CN209745403U (zh) * | 2019-05-23 | 2019-12-06 | 华南农业大学 | 一种窄带多光谱成像系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110057450B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101839979B (zh) | 作物冠层植被指数测量方法及装置 | |
| US9906718B2 (en) | Biomimetic integrated optical sensor (BIOS) system | |
| CN107807125B (zh) | 基于无人机载多光谱传感器的植物信息计算系统及方法 | |
| US20110242328A1 (en) | Ir-based multispectral disturbed ground detection | |
| CN103356167B (zh) | 成像装置、成像方法、成像系统和附接装置 | |
| CN107292860A (zh) | 一种图像处理的方法及装置 | |
| CN101229055A (zh) | 皮肤区域检测成像设备 | |
| CN102647941A (zh) | 用于执行光电容积描记的方法和系统 | |
| CN105243368A (zh) | 一种移动终端前置和人脸/虹膜识别一体化光电成像方法 | |
| CN110519489A (zh) | 图像采集方法及装置 | |
| CN113260835A (zh) | 用于高精度多孔径光谱成像的系统和方法 | |
| CN106575419A (zh) | 信息处理设备、产生控制信号的方法、信息处理系统以及程序 | |
| CN105830090A (zh) | 使用阵列传感器以传感器的全分辨率测量多种类型数据的方法 | |
| CN110493491A (zh) | 一种图像采集装置及摄像方法 | |
| CN106934394A (zh) | 双波长图像采集系统及方法 | |
| CN207283655U (zh) | 一种双镜头黑光摄像机 | |
| CN103699222B (zh) | 显示终端画质自动调节方法及显示终端 | |
| JP6182396B2 (ja) | 撮像装置 | |
| CN108896494A (zh) | 一种基于光谱和深度学习的物体识别仪 | |
| CN109115687A (zh) | 一种基于手机的便携式多光谱成像装置和方法 | |
| CN110493536A (zh) | 图像采集装置和图像采集的方法 | |
| CN110392218A (zh) | 一种红外成像识别一体化设备及工作方法 | |
| CN207475756U (zh) | 机器人红外立体视觉系统 | |
| AU2021204034B2 (en) | Information processing device, information processing method and program | |
| US8760494B1 (en) | UV detection of objects hidden in foliage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |