CN111462128B - 一种基于多模态光谱图像的像素级图像分割系统及方法 - Google Patents
一种基于多模态光谱图像的像素级图像分割系统及方法 Download PDFInfo
- Publication number
- CN111462128B CN111462128B CN202010466697.7A CN202010466697A CN111462128B CN 111462128 B CN111462128 B CN 111462128B CN 202010466697 A CN202010466697 A CN 202010466697A CN 111462128 B CN111462128 B CN 111462128B
- Authority
- CN
- China
- Prior art keywords
- image
- mode
- images
- pixel
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001228 spectrum Methods 0.000 title abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000001931 thermography Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态光谱图像的像素级图像分割系统，多个可见光相机和热成像传感器构成相机阵列，可见光相机搭建为多模态相机阵列组，构成多模态的信息源；图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；服务器对采集工作站中的图形数据进行配准、后处理。本发明还公开了一种基于多模态光谱图像的像素级图像分割方法，通过将单模态的图像分割算法扩展成多模态输入，并在网络中间层将多模态特征图融合，提高了Mask‑RCNN图像分割算法的精度。同时构建一套多模态光谱图像采集系统，可用于构建多模态数据集，应用于目标检测、图像分割、语义分割等相关机器视觉任务，具有现实的应用前景。
Description
技术领域
本发明涉及计算机视觉中的图像分割领域，更具体的，涉及一种基于多模态光谱图像的像素级图像分割系统及方法。
背景技术
图像分割是计算机视觉领域中重要的研究课题之一。所谓图像分割，是指根据灰度、色彩、纹理等特征将图像分成若干个互不相交的区域的过程。这些特征在区域内部表现出相似性，在区域外部表现出差异性。近些年来，随着深度学习的发展，图像分割技术也有了巨大的进步，与该技术相关的场景物体分割、人体前背景分割、人脸人体解析、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。
在深度学习应用于图像分割之前，人们利用数字图像处理、拓扑学、数学等方面的只是来进行图像分割的方法。随着计算机算力的不断提升，深度学习的分割方法在效果上已大大超越了传统方法。
第一篇成功将神经网络应用于图像分割的论文是全卷积神经网络(FullyConvolutional Networks)，将用于分类的卷积神经网络中的全连接层换成了卷积层，网络特征图的每一个像素输出一个分类结果，实现了像素级的分割。随后出现的特征金字塔方法(Feature Pyramids)，提取了不同尺度的特征，并将它们融合，有利于得到图像的上下文信息，使得图像分割精细化。如今，Mask-RCNN作为一个两阶段(two-stage)模型，在公开分割数据集表现优异，获得了广泛的应用。Mask-RCNN本质是对Faster-RCNN目标检测算法的拓展，在物体分类和边界框回归的任务上多了一个对边界框内像素点分类的任务，从而实现逐像素分割。
但是，传统的图像分割任务在某些现实场景中的应用仍然具有很大的挑战。在诸如军事、遥感、安全等领域，可见光波段的图像具有较大的局限性，制约了图像分割的精度。例如，在迷彩伪装下的车辆和人员，因其色彩与纹理特征都与野外的环境较为相似，可见光的图像难以提供足够的信息。现已有许多工作，将热图像这一波段的信息应用于目标检测和图像分割等近似的视觉任务中，并取得了不错的成果。然而，对于炎热气温中的人员，或是非热源的伪装物体，红外波段的图像仍难以提供可靠的信息源。在此专利中，我们将提出一种以Mask-RCNN为算法基础，采集多光谱图像，融合多模态特征的方法，大幅提高在复杂环境低辨识度下图像分割算法的精度。
发明内容
针对上述技术中现有的问题，本发明公开了一种基于多模态光谱图像的像素级图像分割系统及方法，通过将不同模态的图像信息在网络的中间层融合，提高图像分割算法的精度。
为了实现上述发明目的，本发明采用的技术方案为：一种基于多模态光谱图像的像素级图像分割系统，包括多模态的信息源、图形采集卡、采集工作站、服务器；多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列，搭建为多模态相机阵列组；图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；服务器对采集工作站中的图形数据进行配准、后处理。
进一步的，可见光相机上加装滤光片或偏振片作为多模态元件，多模态元件包括至少2种。优选情况中，可以包括彩色光，单色光，近红外光，近紫外光，偏振光以及热图像等多种模态。
进一步的，为了解决不同模态传感器之间的匹配问题，确定多模态的信息源的拍摄帧率、曝光角信息，并使多个可见光相机和热成像传感器之间的间距满足一定的比例关系。
进一步的，多模态的信息源采用统一的TTL同步触发器，同步触发器以固定的频率向外输出多路信号，同时送往各模态的相机外接快门线；同步触发器每发出一次信号，多模态的信息源同时通过图形采集卡将图像保存至图形工作站。使得不同模态传感器采集的数据完全同步。解决了由于彩色相机和热成像相机的传感器曝光方式、触发机制差异造成的同步拍摄困难。
本发明还公开了一种基于多模态光谱图像的像素级图像分割方法，包括以下步骤：
步骤一、获得多模态图像数据。多模态的信息源采集图像，获得多模态图像数据。
步骤二、图像配准。将多模态图像数据进行图像配准，使得位于不同模态图像上同一个标记物的位置保持一致。
步骤三、构建多模态Mask-RCNN模型。构建多模态Mask-RCNN模型，将配准后的图像作为数据输入，得到每一个模态的图像的特征图，并将特征图进行融合；对融合后的特征图进行预测，最小化目标损失函数，最后一并完成完成目标分类，边界框预测以及目标物的像素级分割的任务。
步骤二进一步包括如下步骤：通过可见光相机外参进行图像配准：提取除红外特征外图像的特征点，然后根据汉明距离求取匹配的特征点，根据匹配点求取图像对之间的变换矩阵，进行第一次配准，直至除红外特征外图像以外的各模态的图片都依照相同的基准；最后将所有图像采样至相同的分辨率，作为图像分割方法的数据输入。
作为优选的，在可见光相机图像-红外图像对中，在整个图像上均匀选取5对以上特征点，求取变换矩阵实现配准。图像配准后，位于不同模态图像上同一个标记物的位置保持一致。
步骤三进一步包括如下步骤：对于每一个模态分别训练一个特征金字塔网络，在第三个卷积块之后，将每个单模态训练的卷积块的特征图进行融合，得到了融合不同模态信息的多尺度的特征图金字塔；随后，在Mask-RCNN模型中初步预测边界框，将RoI池化层换成RoI Align层，减少因多次量化带来的精度损失；最后对融合后的特征图进行预测，最小化目标损失函数，同时完成目标分类，边界框预测以及目标物的像素级分割的任务。
本发明具有以下有益效果：1、构建了一套多模态光谱图像拍摄系统，首次尝试将多模态图像信息应用于图像分割领域，可以获得彩色光、单色光、偏振光、近红外光、近紫外光等多种模态的图像，可用来构建多模态数据集，应用于目标检测、图像分割、语义分割等相关机器视觉任务。2、实现了一套多模态像素级图像分割算法，通过将单模态的图像分割算法扩展成多模态输入，并在网络中间层将多模态特征图融合，提高了Mask-RCNN图像分割算法的精度，具有现实的应用前景。将多模态图像融合时，这些通道为伪装表面掩模的预测提供了补充信息。针对纹理、色彩不同的迷彩伪装，在不同的光谱波段图像有不同强度的特征响应，弥补了仅仅依靠彩色光识别目标的不足。各模态的信息相互补充，提升了图像分割算法的性能。
附图说明
图1为本发明实施例的图像分割方法多模态图像采集系统模型。
图2为本发明实施例的图像分割方法多模态Mask-RCNN算法框架流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明。
实施例：步骤一、本发明涉及的多模态图像采集系统如图1所示，解决了由于彩色相机和热成像相机的传感器曝光方式、触发机制差异造成的同步拍摄困难。该系统可进行车载作业，配备了增稳平台，具备行进间连续拍摄多模态图像能力。试验系统的可见光相机选用多台工业成像传感器BFLY-U3-23S6C-C，搭配多种工业光学模块，每个工业相机加装了HC-1205A光学镜头，图像分辨率最大可达1920×1200像素；红外热成像仪选用LWIR Gobi-640-Gige红外热成像仪，分辨率为30万像素(640×480)。共可构成彩色光、324nm近紫外光、470nm单色光、525nm单色光、590nm单色光、660nm单色光、735nm单色光、880nm近红外光、水平方向偏振光、竖直方向偏振光共11个模态试验系统使用自制的铝合金架构建了多模态的相机阵列，相机之间纵向与横向距离均可以调节，可以根据需要将不同模态的相机放置于指定位置。实施过程中，不同相机之间距离很小，保证拍摄远处物体时受视差的影响小。通过统一的TTL同步触发器来保证不同模态传感器采集数据的完全同步。具体通过一个外部按键控制，各模态的信息源均连接同一个同步触发器，可手动设置触发频率，同步触发器以设置的频率向外输出多路信号，同时送往各模态的相机外接快门线；同步触发器每发出一次信号，
各模态的信息源便拍摄一次，同时通过图形采集卡将图像保存至图形工作站。
步骤二、随后对初步采集的图像数据采取后处理和配准。采用SIFT算法自动提取除红外特征外图像的特征点，然后根据汉明距离求取匹配的特征点，过滤后留下一些好的匹配点来求取图像对之间的变换矩阵。先将这些图片进行第一次配准，直至其他模态的图片都以彩色图像为基准由于热成像图像的分辨率相对于彩色光和单色光相机较低，特征提取点的准确度较低，对于误差大的图像，采用人为选择匹配点的方式，在彩色-红外图像对中，手动在整个图像上均匀选取5对以上特征点，求取变换矩阵后，实现最终的配准。最后将所有图像采样至相同的分辨率，作为图像分割算法的数据输入。
步骤三、修改原来的Mask-RCNN模型，改为多通道输入，如图2所示。随后在卷积层的中间层将不同模态经卷积、池化等一系列操作后得到的特征图融合。对于每一个模态分别训练一个特征金字塔网络，它具有自上而下的通路和横向连接有利于提取多尺度特征并结合上下文信息。在第三个卷积块之后，将每个单模态训练的卷积块的特征图融合，得到了融合不同模态信息的多尺度的特征图金字塔C3，C4，C5，这些特征图具有不同尺度的信息，有利于网络提取不同大小物体的语义。将每个模态的特征图金字塔C3，C4，C5卷积块的输出拼接(concatenate)起来,再经过1×1卷积降维至原来的通道数，构建特征图金字塔P3、P4、P5，如此做在维持计算量不变的前提下包含了更多信息。为了预测尺度更大的物体，直接将特征图P5做一次步长为2的3×3卷积，得到特征图P6。这些输出的空间尺度依次为2倍的关系，以便于预测不同尺度的物体边界框。随后，沿用Mask-RCNN的两阶段方法，首先初步预测目标边界框，通过softmax回归判断边界框内的物体属于前景还是背景，做了初步的分类，筛选出一些候选的边界框，随后将Faster-RCNN中的RoI池化层换成RoI Align层，减少因多次量化带来的精度损失。最后对融合后的特征图进行预测，最小化目标损失函数，同时完成目标分类，边界框预测以及目标物的像素级分割的任务。
Mask-RCNN模型的第一部分用于提取特征，可用vgg16，resnet，FPN(特征金字塔网络)等，本实施例选用特征金字塔网络。Mask-RCNN模型拓展为多模态，只需将这一部分基础网络为每一个模态复制一次，对第i个特征金字塔网络，得到输出C3i，C4i，C5i。将所有的C3i拼接(concatenate)然后降维，得到融合后的特征图C3。C4，C5同理。最后得到整个多模态特征提取网络的输出C3，C4，C5。因其分辨率逐渐减小，后者为前者的1/2，这一输出被称为特征图金字塔，也称特征金字塔。
由于各模态之间信息的互补性，图像分割算法的性能得到显著提升。首先，于彩色图辨识度低的图像中，如野外丛林、雾天或是黑夜的场景，人员和行驶中的车辆这类热源，在热图像上具有显著的特征。其次，在强光照射下，普通相机因曝光等问题易引起失真，加上了偏振片的相机可以有效应对这种情况。对于一些非热源的，与背景环境纹理色彩特征较接近的目标物，如对于藏入草丛后的迷彩伪装物，在彩色图通道与红外图通道上特征均不明显，即放大后用肉眼也难以辨别。在采集的多模态图像中选取了324nm近紫外和880nm近红外两个通道的图片，发现近紫外通道的图像可分辨伪装表面的纹理特征，而在近红外通道中，伪装表面的亮度与背景对比明显。因此，将多模态图像融合时，这些通道为伪装表面掩模的预测提供了补充信息。针对纹理、色彩不同的迷彩伪装，在不同的光谱波段图像有不同强度的特征响应，弥补了仅仅依靠彩色光识别目标的不足。各模态的信息相互补充，提升了图像分割算法的性能。
以上所述，仅为本发明的较佳实施例，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质对以上实施例所作的任何非本质修改或等同变化，均仍属于本发明权利要求书的保护范围内。
Claims (8)
1.一种基于多模态光谱图像的像素级图像分割系统，其特征在于：包括多模态的信息源、图形采集卡、采集工作站、服务器；
多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列，搭建为多模态相机阵列组；
图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；
服务器对采集工作站中的图形数据进行配准、后处理；所述配准为采用SIFT算法自动提取除红外特征外图像的特征点，然后根据汉明距离求取匹配的特征点，求取图像对之间的变换矩阵；先将这些图片进行第一次配准，直至其他模态的图片都以彩色图像为基准，实现最终的配准，作为多模态Mask-RCNN图像分割算法的输入；
服务器中构建多模态Mask-RCNN模型，将配准后的图像作为数据输入，得到每一个模态的图像的特征图，并将特征图进行融合；对融合后的特征图进行预测，最小化目标损失函数，最后一并完成目标分类，边界框预测以及目标物的像素级分割的任务。
2.根据权利要求1所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：可见光相机上加装滤光片或偏振片作为多模态元件，多模态元件包括至少2种。
3.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：确定多模态的信息源的拍摄帧率、曝光角信息，并使多个可见光相机和热成像传感器之间的间距满足一定的比例关系。
4.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：多模态的信息源采用统一的TTL同步触发器，同步触发器以固定的频率向外输出多路信号，同时送往各模态的相机外接快门线；同步触发器每发出一次信号，多模态的信息源同时通过图形采集卡将图像保存至图形工作站。
5.一种基于多模态光谱图像的像素级图像分割方法，其特征在于，应用权利要求1所述的基于多模态光谱图像的像素级图像分割系统，包括以下步骤：
步骤一、多模态的信息源采集图像，获得多模态图像数据；
步骤二、图像配准：将多模态图像数据进行图像配准，使得位于不同模态图像上同一个标记物的位置保持一致；
步骤三、构建多模态Mask-RCNN模型，将配准后的图像作为数据输入，得到每一个模态的图像的特征图，并将特征图进行融合；对融合后的特征图进行预测，最小化目标损失函数，最后一并完成目标分类，边界框预测以及目标物的像素级分割的任务：
对于每一个模态分别训练一个特征金字塔网络，在第三个卷积块之后，将每个单模态训练的卷积块的特征图进行融合，得到了融合不同模态信息的多尺度的特征图金字塔；然后在Mask-RCNN模型中初步预测边界框，将RoI池化层换成RoI Align层，减少因多次量化带来的精度损失；最后对融合后的特征图进行预测，最小化目标损失函数，同时完成目标分类，边界框预测以及目标物的像素级分割的任务。
6.根据权利要求5所述的基于多模态光谱图像的像素级图像分割方法，其特征在于：多模态的信息源采用统一的TTL同步触发器，同步采集图像。
7.根据权利要求5所述的基于多模态光谱图像的像素级图像分割方法，其特征在于，通过可见光相机外参进行图像配准：提取除红外特征外图像的特征点，然后根据汉明距离求取匹配的特征点，根据匹配点求取除红外特征外的图像对之间的变换矩阵，进行第一次配准，直至除红外特征外图像以外的各模态的图片依照相同的基准；最后将所有图像采样至相同的分辨率，作为图像分割方法的数据输入。
8.根据权利要求7所述的基于多模态光谱图像的像素级图像分割方法，其特征在于：在可见光相机图像-红外图像对中，在整个图像上均匀选取5对以上特征点，求取变换矩阵实现配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466697.7A CN111462128B (zh) | 2020-05-28 | 2020-05-28 | 一种基于多模态光谱图像的像素级图像分割系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466697.7A CN111462128B (zh) | 2020-05-28 | 2020-05-28 | 一种基于多模态光谱图像的像素级图像分割系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462128A CN111462128A (zh) | 2020-07-28 |
| CN111462128B true CN111462128B (zh) | 2023-12-12 |
Family
ID=71678830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010466697.7A Active CN111462128B (zh) | 2020-05-28 | 2020-05-28 | 一种基于多模态光谱图像的像素级图像分割系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462128B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112179623B (zh) * | 2020-09-17 | 2023-04-07 | 一汽解放汽车有限公司 | 测量涂层迷彩对比度的方法、装置、系统、设备和介质 |
| CN112183311A (zh) * | 2020-09-25 | 2021-01-05 | 国网上海市电力公司 | 一种基于双模态数据融合的变电站设备故障检测方法 |
| CN112580424B (zh) * | 2020-09-29 | 2023-08-11 | 长安大学 | 一种复杂车路环境的偏振特征多尺度池化分类算法 |
| CN112598716B (zh) * | 2020-12-01 | 2024-04-05 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及系统 |
| CN112991350B (zh) * | 2021-02-18 | 2023-06-27 | 西安电子科技大学 | 一种基于模态差异缩减的rgb-t图像语义分割方法 |
| CN113890959B (zh) * | 2021-09-10 | 2024-02-06 | 鹏城实验室 | 一种多模态图像同步采集系统及方法 |
| CN114330488A (zh) * | 2021-11-19 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种多模态数据处理方法、装置、设备及存储介质 |
| CN114820752A (zh) * | 2022-03-22 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 深度估计方法和系统 |
| CN117233991B (zh) * | 2023-11-10 | 2024-03-19 | 深圳市康凌源科技有限公司 | 液晶显示屏的偏光贴片方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN109192302A (zh) * | 2018-08-24 | 2019-01-11 | 杭州体光医学科技有限公司 | 一种脸部多模态图像采集处理装置及方法 |
| CN110599497A (zh) * | 2019-07-31 | 2019-12-20 | 中国地质大学（武汉） | 一种基于深度神经网络的可行驶区域分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
-
2020
- 2020-05-28 CN CN202010466697.7A patent/CN111462128B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN109192302A (zh) * | 2018-08-24 | 2019-01-11 | 杭州体光医学科技有限公司 | 一种脸部多模态图像采集处理装置及方法 |
| CN110599497A (zh) * | 2019-07-31 | 2019-12-20 | 中国地质大学（武汉） | 一种基于深度神经网络的可行驶区域分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462128A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN109271921B (zh) | 一种多光谱成像的智能识别方法及系统 | |
| CN111507210B (zh) | 交通信号灯的识别方法、系统、计算设备和智能车 | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| Dong et al. | Infrared image colorization using a s-shape network | |
| CN102314602A (zh) | 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 | |
| US11455710B2 (en) | Device and method of object detection | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN112017243B (zh) | 一种介质能见度识别方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN115170792B (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| CN112465735A (zh) | 行人检测方法、装置及计算机可读存储介质 | |
| CN116188859A (zh) | 一种基于超分和检测网络的茶叶病害无人机遥感监测方法 | |
| CN111898427A (zh) | 一种基于特征融合深度神经网络的多光谱行人检测方法 | |
| CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 | |
| CN111881924B (zh) | 结合光照不变性与短曝光光照增强的暗光车照识别方法 | |
| CN112308887B (zh) | 一种多源图像序列实时配准方法 | |
| CN112016558B (zh) | 一种基于图像质量的介质能见度识别方法 | |
| CN115601538A (zh) | 目标检测方法及目标检测器、系统和介质 | |
| CN115063778A (zh) | 一种基于双目相机的车前行人测距方法及终端 | |
| CN114882469A (zh) | 一种基于dl-ssd模型的交通标志检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |