CN116091883B - 基于多源信息融合的目标检测识别方法、系统及存储介质 - Google Patents

基于多源信息融合的目标检测识别方法、系统及存储介质 Download PDF

Info

Publication number
CN116091883B
CN116091883B CN202310371876.6A CN202310371876A CN116091883B CN 116091883 B CN116091883 B CN 116091883B CN 202310371876 A CN202310371876 A CN 202310371876A CN 116091883 B CN116091883 B CN 116091883B
Authority
CN
China
Prior art keywords
target
features
laser radar
feature
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310371876.6A
Other languages
English (en)
Other versions
CN116091883A (zh
Inventor
王志科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Prade Technology Co ltd
Original Assignee
Shenzhen Prade Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Prade Technology Co ltd filed Critical Shenzhen Prade Technology Co ltd
Priority to CN202310371876.6A priority Critical patent/CN116091883B/zh
Publication of CN116091883A publication Critical patent/CN116091883A/zh
Application granted granted Critical
Publication of CN116091883B publication Critical patent/CN116091883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于多源信息融合的目标检测识别方法、系统及存储介质，包括：获取激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据确定观测场景中的有效目标，设置初选目标；获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；选取相关度符合预设要求的特征，利用选择的特征进行特征融合；利用深度学习方法构建目标检测识别模型，通过融合特征对初选目标进行检测识别，实现目标分类。本发明通过多模态信号的特征融合对目标进行检测识别，解决了不同模态数据的数据差异导致识别异常的问题，提升了不同噪声环境中的检测精度。

Description

基于多源信息融合的目标检测识别方法、系统及存储介质
技术领域
本发明涉及目标检测识别技术领域，更具体的，涉及一种基于多源信息融合的目标检测识别方法、系统及存储介质。
背景技术
微光夜视系统能在低照度条件下捕捉人眼视觉看不到的图像信息，被广泛应用于安防、遥感、空间技术等诸多领域。随着微光技术的不断发展，低信噪比的微光图像逐渐不能满足高精度的需求，另一方面，针对微光图像目标探测的问题也日益凸显。微光图像目标检测与识别对于夜间监控与巡检，都具有重要作用。然而由于夜视图像存在很多弊端，如微光图像信噪比低，红外图像特征点少，使得目前夜视图像的目标识别精度一直不高。与传统基于人工特征的目标识别方法相比，基于深度学习的目标识别算法具有更强大的特征提取和抗噪声干扰的能力，对于夜视图像有更强的鲁棒性。
由于探测环境照度低、光线暗，微光图像也不可避免地存在低亮度与低对比度问题，噪声严重时会遮挡图像中目标细节信息，无论是主观评价还是算法处理都无法进一步的识别目标。多源信息融合的目标检测识别技术是通过联合处理来自多个信息源数据，并提取目标的融合特征，实现目标精准识别的全新技术。该技术能够解决目标检测识别应用中精度不足的问题，因此，如何通过获取的异构信息进行特征融合，为目标检测识别提供完整有效的信息是亟不可待需要解决的问题之一。
发明内容
为了解决上述技术问题，本发明提出了一种基于多源信息融合的目标检测识别方法、系统及存储介质。
本发明第一方面提供了一种基于多源信息融合的目标检测识别方法，包括：
获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类。
本方案中，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标，具体为：
获取观测场景中的激光雷达数据，将获取的激光雷达数据进行下采样，通过小波去噪对激光雷达数据进行去噪，生成去噪后的雷达回波；
计算去噪处理后的预设时间内的雷达回波在各时间戳的小波能量概率，获取小波能量概率分布，设置概率阈值，若所述小波能量概率小于所述概率阈值，则将该时间戳的激光雷达数据进行弃用；
通过二次分类器筛选观测场景的激光雷达数据中的有效目标，对不同目标的雷达回波特征及噪声与目标之间差分特征对二次分类器进行训练，将筛选后的激光雷达数据导入训练后的二次分类器；
提取筛选后激光雷达数据的雷达回波特征及波形形态差异特征判断有效目标点，输出所述有效目标点的位置，设置观测场景中的初选目标。
本方案中，获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，具体为：
在初选目标确定后，根据初选目标的位置信息，通过所述位置信息确定雷达对应角度，基于所述雷达对应角度提取含有初选目标的热红外成像序列，并将所述热红外成像序列进行预处理；
将预处理后的热红外成像序列拆分为不同时间戳的帧图像数据，并与筛选后的激光雷达数据根据时间戳进行匹配，根据激光雷达数据获取目标点云数据；
通过获取的点云数据获取目标初始轮廓，利用所述目标初始轮廓在帧图像数据进行搜索，获取帧图像数据中目标位置特征，进行目标点云数据与帧图像数据的点云配准；
根据点云配准结果划分为若干子区域，获取各子区域的区域重合度，当所述重合度大于预设阈值时，则将该子区域进行标记，将标记的子区域进行汇聚，生成观测场景中的感兴趣区域。
本方案中，将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，具体为：
通过大数据手段获取激光雷达数据及红外热成像数据对应的原始特征集合，根据数据统计分析获取使用次数符合预设要求的原始特征，生成初选后特征集合；
根据各原始特征的使用次数获取不同目标类别的最优表征特征，初选后特征集合选取原始特征，计算与最优表征特征之间的曼哈顿距离；
通过所述曼哈顿距离确定各原始特征与目标类别的相关性，预设相关性阈值，选取相关度大于预设相关性阈值的原始特征，获取对应的激光雷达特征及红外热成像特征。
本方案中，利用选择的特征进行特征融合，具体为：
通过获取的激光雷达特征及红外热成像特征构建图结构，根据特征之间的相关度判断特征节点之间的联系，通过特征节点之间的联系设置边结构；
根据选取的特征生成激光雷达特征及热红外成像特征对应的邻居矩阵，利用图卷积神经网络对所述激光雷达特征及热红外成像特征对应的邻居矩阵进行学习；
利用图卷积神经网络构建信息编码器，将邻居矩阵进行输入使用参数共享策略通过层间传播获取嵌入表示，同时通过对激光雷达特征及红外热成像特征对应的嵌入表示进行均值处理获取初次融合，生成第一融合嵌入表示；
通过解码器使用参数共享策略对激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行解码，确定图卷积神经网络的参数；
将激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，生成最终融合特征。
本方案中，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类，具体为：
通过数据检索获取不同形态的激光雷达特征及红外热成像特征，根据特征对应的目标类别生成特征类别标签，将特征与特征类别标签进行匹配生成特征分量，组成不同目标对应的特征集；
根据所述特征集中的特征分量映射到低维特征空间，利用聚类算法对特征集进行聚类，通过特征类别标签选取初始聚类中心；
选取初始聚类中心后对特征集进行迭代训练，计算各特征分量到初始聚类中心的马氏距离，根据所述马氏距离判断各特征分量最近的聚类中心；
利用聚类中心的各特征分量的相似度对聚类的有效性进行评价，当有效性评价不符合预设标准时，在聚类中心形成的聚类结果中进行均值处理，将聚类结果的均值作为新的聚类中心；
在所述有效性评价符合预设标准时，则确定不同目标类别的最佳聚类数目，输出最佳聚类结果，通过预设目标库中的目标数量设置SVM分类器的数量，通过目标类别对应的最佳聚类结果进行分类器训练，构建目标检测识别模型；
将融合特征输入所述目标检测识别模型，对待分类的初选目标进行检测识别，判断初选目标是否为预设目标库中的目标类别。
本发明第二方面还提供了一种基于多源信息融合的目标检测识别系统，该系统包括：存储器、处理器，所述存储器中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被所述处理器执行时实现如下步骤：
获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被处理器执行时，实现如上述任一项所述的一种基于多源信息融合的目标检测识别方法的步骤。
本发明公开了一种基于多源信息融合的目标检测识别方法、系统及存储介质，包括：获取激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据确定观测场景中的有效目标，设置初选目标；获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；选取相关度符合预设要求的特征，利用选择的特征进行特征融合；利用深度学习方法构建目标检测识别模型，通过融合特征对初选目标进行检测识别，实现目标分类。本发明通过多模态信号的特征融合对目标进行检测识别，解决了不同模态数据的数据差异导致识别异常的问题，提升了不同噪声环境中的检测精度。
附图说明
图1示出了本发明一种基于多源信息融合的目标检测识别方法的流程图；
图2示出了本发明利用特征选择的特征进行特征融合的方法流程图；
图3示出了本发明通过目标检测识别模型对初选目标进行检测识别的方法流程图；
图4示出了本发明一种基于多源信息融合的目标检测识别系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于多源信息融合的目标检测识别方法的流程图。
如图1所示，本发明第一方面提供了一种基于多源信息融合的目标检测识别方法，包括：
S102，获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
S104，获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
S106，将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
S108，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类。
需要说明的是，获取观测场景中的激光雷达数据，将获取的激光雷达数据进行下采样，通过小波去噪对激光雷达数据进行去噪，生成去噪后的雷达回波；计算去噪处理后的预设时间内的雷达回波在各时间戳的小波能量概率，获取小波能量概率分布，其小波能量概率的计算公式为：/>，其中，/>表示预设总时间变量，/>表示时间戳变量，/>表示小波变换；设置概率阈值，若所述小波能量概率小于所述概率阈值，则将该时间戳的激光雷达数据进行弃用；通过二次分类器筛选观测场景的激光雷达数据中的有效目标，对不同目标的雷达回波特征及噪声与目标之间差分特征对二次分类器进行训练，将筛选后的激光雷达数据导入训练后的二次分类器；提取筛选后激光雷达数据的雷达回波特征及波形形态差异特征判断有效目标点，输出所述有效目标点的位置，设置观测场景中的初选目标。
需要说明的是，在初选目标确定后，根据初选目标的位置信息，通过所述位置信息确定激光雷达对应角度，基于所述激光雷达对应角度提取含有初选目标的热红成像序列，并将所述热红外成像序列进行预处理；热红外成像图像的预处理常见方法：灰度化处理、图像平滑方法、图像退化算法、均值滤波与中值滤波算法及直方图均衡化等诸多处理方法。因具体情况需求选取合适的预处理，图像为红外目标图像，故必须将其转换成灰度化图像，而当图像中存在大量的干扰噪声时，一般优选图像的均值滤波和中值滤波等滤波算法；最后当识别图像的灰度域比较大时，通常选取图像的动态范围压缩技术或直方图均衡化处理算法；
将预处理后的热红外成像序列拆分为不同时间戳的帧图像数据，并与筛选后的激光雷达数据根据时间戳进行匹配，根据激光雷达数据获取目标点云数据；通过获取的点云数据获取目标初始轮廓，利用所述目标初始轮廓在帧图像数据进行搜索，获取帧图像数据中目标位置特征，进行目标点云数据与帧图像数据的点云配准；根据点云配准结果划分为若干子区域，获取各子区域的区域重合度，当所述重合度大于预设阈值时，则将该子区域进行标记，将标记的子区域进行汇聚，生成观测场景中的感兴趣区域。
需要说明的是，通过大数据手段获取激光雷达数据及红外热成像数据对应的原始特征集合，所述激光雷达数据原始特征包括最大峰值占比、波形长度、对称程度及分散程度等，所述红外热成像数据原始特征包括长宽比、对比度、像素数、负责度及信息熵等，根据数据统计分析获取使用次数符合预设要求的原始特征，生成初选后特征集合；根据各原始特征的使用次数获取不同目标类别的最优表征特征，初选后特征集合选取原始特征，计算与最优表征特征之间的曼哈顿距离；
通过所述曼哈顿距离确定各原始特征与目标类别的相关性，预设相关性阈值，选取相关度大于预设相关性阈值的原始特征，获取对应的激光雷达特征及红外热成像特征。
图2示出了本发明利用特征选择的特征进行特征融合的方法流程图。
根据本发明实施例，利用选择的特征进行特征融合，具体为：
S202，通过获取的激光雷达特征及红外热成像特征构建图结构，根据特征之间的相关度判断特征节点之间的联系，通过特征节点之间的联系设置边结构；
S204，根据选取的特征生成激光雷达特征及热红外成像特征对应的邻居矩阵，利用图卷积神经网络对所述激光雷达特征及热红外成像特征对应的邻居矩阵进行学习；
S206，利用图卷积神经网络构建信息编码器，将邻居矩阵进行输入使用参数共享策略通过层间传播获取嵌入表示，同时通过对激光雷达特征及红外热成像特征对应的嵌入表示进行均值处理获取初次融合，生成第一融合嵌入表示；
S208，通过解码器使用参数共享策略对激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行解码，确定图卷积神经网络的参数；
S210，将激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，生成最终融合特征。
需要说明的是，对筛选的激光雷达特征及红外热成像特征分别构建图结构，使用GCN构建信息编码器，根据选取的相关度大于预设阈值的激光雷达特征及热红外成像特征构建邻居矩阵，/>，将激光雷达特征对应的邻居矩阵进行归一化后输入编码器，生成对应的嵌入表示/>：
其中，/>表示激光雷达特征对应的邻居矩阵的嵌入表示，/>表示激活函数，/>表示归一化后的邻居矩阵，/>表示第/>层的可训练权重，通过参数共享策略获取红外热成像特征对应邻居矩阵的嵌入表示/>，所述第一融合嵌入表示为，；
通过解码器对编码特征进行解码，针对激光雷达特征对应的邻居矩阵的嵌入表示，解码器的的层间传播表示为：
其中，/>表示激光雷达特征对应的邻居矩阵对应解码后的重构矩阵，通过最小化混合重构损失，获取GCN网络参数及对应的/>及/>；利用激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，，其中，/>表示特征拼接，/>表示融合特征。
图3示出了本发明通过目标检测识别模型对初选目标进行检测识别的方法流程图。
根据本发明实施例，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类，具体为：
S302，通过数据检索获取不同形态的激光雷达特征及红外热成像特征，根据特征对应的目标类别生成特征类别标签，将特征与特征类别标签进行匹配生成特征分量，组成不同目标对应的特征集；
S304，根据所述特征集中的特征分量映射到低维特征空间，利用聚类算法对特征集进行聚类，通过特征类别标签选取初始聚类中心；
S306，选取初始聚类中心后对特征集进行迭代训练，计算各特征分量到初始聚类中心的马氏距离，根据所述马氏距离判断各特征分量最近的聚类中心；
S308，利用聚类中心的各特征分量的相似度对聚类的有效性进行评价，当有效性评价不符合预设标准时，在聚类中心形成的聚类结果中进行均值处理，将聚类结果的均值作为新的聚类中心；
S310，在所述有效性评价符合预设标准时，则确定不同目标类别的最佳聚类数目，输出最佳聚类结果，通过预设目标库中的目标数量设置SVM分类器的数量，通过目标类别对应的最佳聚类结果进行分类器训练，构建目标检测识别模型；
S312，将融合特征输入所述目标检测识别模型，对待分类的初选目标进行检测识别，判断初选目标是否为预设目标库中的目标类别。
需要说明的是，当特征集中所有特征样本划分结束后，求取聚类结果中每个类簇的均值作为新的聚类中心/>,/>为迭代次数，设/>为第/>个类簇的样本总数，/>为该类簇的第/>个样本，聚类中心点的：/>，通过计算各个聚类结果的各簇内各点到所属簇内中心点距离的方差平均值或平均相似性等方法进行聚类的有效性进行评价。
根据本发明实施例，根据计算信息熵在观测场景中对目标进行跟踪，具体为：
将观测场景的帧图像数据划分为若干子区域，确定当前时间戳中目标所在的子区域，通过所述子区域确定目标跟踪起点；
获取观测场景热红外成像序列对应的帧图像数据各像素点的信息熵，根据所述各像素点的信息熵确定子区域的平均信息熵，作为基准值；
获取当前时间戳目标所占子区域的平均信息熵，计算所述平均信息熵与对应子区域的基准值的差值，根据所述差值生成信息熵变化阈值；
监测观测场景对应的帧图像数据剩余子区域中的信息熵变化，当所述信息熵变化大于预设信息熵变化阈值时，则证明目标处于该子区域，并记录时间戳；
根据不同时间戳对应的子区域及目标跟踪起点生成目标的轨迹序列，按照预设方法进行显示。
图4示出了本发明一种基于多源信息融合的目标检测识别系统的框图。
本发明第二方面还提供了一种基于多源信息融合的目标检测识别系统4，该系统包括：存储器41、处理器42，所述存储器中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被所述处理器执行时实现如下步骤：
获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类。
需要说明的是，获取观测场景中的激光雷达数据，将获取的激光雷达数据进行下采样，通过小波去噪对激光雷达数据进行去噪，生成去噪后的雷达回波；计算去噪处理后的预设时间内的雷达回波在各时间戳的小波能量概率，获取小波能量概率分布，其小波能量概率的计算公式为：/>，其中，/>表示预设总时间变量，/>表示时间戳变量，/>表示小波变换；设置概率阈值，若所述小波能量概率小于所述概率阈值，则将该时间戳的激光雷达数据进行弃用；通过二次分类器筛选观测场景的激光雷达数据中的有效目标，对不同目标的雷达回波特征及噪声与目标之间差分特征对二次分类器进行训练，将筛选后的激光雷达数据导入训练后的二次分类器；提取筛选后激光雷达数据的雷达回波特征及波形形态差异特征判断有效目标点，输出所述有效目标点的位置，设置观测场景中的初选目标。
需要说明的是，在初选目标确定后，根据初选目标的位置信息，通过所述位置信息确定激光雷达对应角度，基于所述激光雷达对应角度提取含有初选目标的热红成像序列，并将所述热红外成像序列进行预处理；热红外成像图像的预处理常见方法：灰度化处理、图像平滑方法、图像退化算法、均值滤波与中值滤波算法及直方图均衡化等诸多处理方法。因具体情况需求选取合适的预处理，图像为红外目标图像，故必须将其转换成灰度化图像，而当图像中存在大量的干扰噪声时，一般优选图像的均值滤波和中值滤波等滤波算法；最后当识别图像的灰度域比较大时，通常选取图像的动态范围压缩技术或直方图均衡化处理算法；
将预处理后的热红外成像序列拆分为不同时间戳的帧图像数据，并与筛选后的激光雷达数据根据时间戳进行匹配，根据激光雷达数据获取目标点云数据；通过获取的点云数据获取目标初始轮廓，利用所述目标初始轮廓在帧图像数据进行搜索，获取帧图像数据中目标位置特征，进行目标点云数据与帧图像数据的点云配准；根据点云配准结果划分为若干子区域，获取各子区域的区域重合度，当所述重合度大于预设阈值时，则将该子区域进行标记，将标记的子区域进行汇聚，生成观测场景中的感兴趣区域。
需要说明的是，通过大数据手段获取激光雷达数据及红外热成像数据对应的原始特征集合，所述激光雷达数据原始特征包括最大峰值占比、波形长度、对称程度及分散程度等，所述红外热成像数据原始特征包括长宽比、对比度、像素数、负责度及信息熵等，根据数据统计分析获取使用次数符合预设要求的原始特征，生成初选后特征集合；根据各原始特征的使用次数获取不同目标类别的最优表征特征，初选后特征集合选取原始特征，计算与最优表征特征之间的曼哈顿距离；
通过所述曼哈顿距离确定各原始特征与目标类别的相关性，预设相关性阈值，选取相关度大于预设相关性阈值的原始特征，获取对应的激光雷达特征及红外热成像特征。
根据本发明实施例，利用选择的特征进行特征融合，具体为：
通过获取的激光雷达特征及红外热成像特征构建图结构，根据特征之间的相关度判断特征节点之间的联系，通过特征节点之间的联系设置边结构；
根据选取的特征生成激光雷达特征及热红外成像特征对应的邻居矩阵，利用图卷积神经网络对所述激光雷达特征及热红外成像特征对应的邻居矩阵进行学习；
利用图卷积神经网络构建信息编码器，将邻居矩阵进行输入使用参数共享策略通过层间传播获取嵌入表示，同时通过对激光雷达特征及红外热成像特征对应的嵌入表示进行均值处理获取初次融合，生成第一融合嵌入表示；
通过解码器使用参数共享策略对激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行解码，确定图卷积神经网络的参数；
将激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，生成最终融合特征。
需要说明的是，对筛选的激光雷达特征及红外热成像特征分别构建图结构，使用GCN构建信息编码器，根据选取的相关度大于预设阈值的激光雷达特征及热红外成像特征构建邻居矩阵，/>，将激光雷达特征对应的邻居矩阵进行归一化后输入编码器，生成对应的嵌入表示/>：
其中，/>表示激光雷达特征对应的邻居矩阵的嵌入表示，/>表示激活函数，/>表示归一化后的邻居矩阵，/>表示第/>层的可训练权重，通过参数共享策略获取红外热成像特征对应邻居矩阵的嵌入表示/>，所述第一融合嵌入表示为，；
通过解码器对编码特征进行解码，针对激光雷达特征对应的邻居矩阵的嵌入表示，解码器的的层间传播表示为：
其中，/>表示激光雷达特征对应的邻居矩阵对应解码后的重构矩阵，通过最小化混合重构损失，获取GCN网络参数及对应的/>及/>；利用激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，，其中，/>表示特征拼接，/>表示融合特征。
根据本发明实施例，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类，具体为：
通过数据检索获取不同形态的激光雷达特征及红外热成像特征，根据特征对应的目标类别生成特征类别标签，将特征与特征类别标签进行匹配生成特征分量，组成不同目标对应的特征集；
根据所述特征集中的特征分量映射到低维特征空间，利用聚类算法对特征集进行聚类，通过特征类别标签选取初始聚类中心；
选取初始聚类中心后对特征集进行迭代训练，计算各特征分量到初始聚类中心的马氏距离，根据所述马氏距离判断各特征分量最近的聚类中心；
利用聚类中心的各特征分量的相似度对聚类的有效性进行评价，当有效性评价不符合预设标准时，在聚类中心形成的聚类结果中进行均值处理，将聚类结果的均值作为新的聚类中心；
在所述有效性评价符合预设标准时，则确定不同目标类别的最佳聚类数目，输出最佳聚类结果，通过预设目标库中的目标数量设置SVM分类器的数量，通过目标类别对应的最佳聚类结果进行分类器训练，构建目标检测识别模型；
将融合特征输入所述目标检测识别模型，对待分类的初选目标进行检测识别，判断初选目标是否为预设目标库中的目标类别。
需要说明的是，当特征集中所有特征样本划分结束后，求取聚类结果中每个类簇的均值作为新的聚类中心/>,/>为迭代次数，设/>为第/>个类簇的样本总数，/>为该类簇的第/>个样本，聚类中心点的：/>，通过计算各个聚类结果的各簇内各点到所属簇内中心点距离的方差平均值或平均相似性等方法进行聚类的有效性进行评价。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被处理器执行时，实现如上述任一项所述的一种基于多源信息融合的目标检测识别方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于多源信息融合的目标检测识别方法，其特征在于，包括以下步骤：
获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，具体为：
在初选目标确定后，获取初选目标的位置信息，通过所述位置信息确定激光雷达对应角度，基于所述激光雷达对应角度提取含有初选目标的红外热成像序列，并将所述红外热成像序列进行预处理；
将预处理后的红外热成像序列拆分为不同时间戳的帧图像数据，并与筛选后的激光雷达数据根据时间戳进行匹配，根据激光雷达数据获取目标点云数据；
通过获取的点云数据获取目标初始轮廓，利用所述目标初始轮廓在帧图像数据中进行搜索，获取帧图像数据中目标位置特征，进行目标点云数据与帧图像数据的点云配准；
根据点云配准结果划分为若干子区域，获取各子区域的区域重合度，当所述重合度大于预设阈值时，则将该子区域进行标记，将标记的子区域进行汇聚，生成观测场景中的感兴趣区域；
利用选择的特征进行特征融合，具体为：
通过获取的激光雷达特征及红外热成像特征构建图结构，根据特征之间的相关度判断特征节点之间的联系，通过特征节点之间的联系设置边结构；
根据选取的特征生成激光雷达特征及红外热成像特征对应的邻居矩阵，利用图卷积神经网络对所述激光雷达特征及红外热成像特征对应的邻居矩阵进行学习；
利用图卷积神经网络构建信息编码器将邻居矩阵进行输入，并使用参数共享策略通过层间传播获取嵌入表示，同时通过对激光雷达特征及红外热成像特征对应的嵌入表示进行均值处理获取初次融合，生成第一融合嵌入表示；
通过解码器使用参数共享策略对激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行解码，确定图卷积神经网络的参数；
将激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，生成最终融合特征。
2.根据权利要求1所述的一种基于多源信息融合的目标检测识别方法，其特征在于，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标，具体为：
获取观测场景中的激光雷达数据，将获取的激光雷达数据进行下采样，通过小波去噪对激光雷达数据进行去噪，生成去噪后的雷达回波；
计算去噪处理后的预设时间内的雷达回波在各时间戳的小波能量概率，获取小波能量概率分布，设置概率阈值，若所述小波能量概率小于所述概率阈值，则将该时间戳的激光雷达数据进行弃用；
通过不同目标的雷达回波特征及噪声与目标之间差分特征对二次分类器进行训练，将筛选后的激光雷达数据导入训练后的二次分类器，通过二次分类器筛选观测场景的激光雷达数据中的有效目标；
提取筛选后激光雷达数据的雷达回波特征及波形形态差异特征判断有效目标点，输出所述有效目标点的位置，设置观测场景中的初选目标。
3.根据权利要求1所述的一种基于多源信息融合的目标检测识别方法，其特征在于，将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，具体为：
通过大数据手段获取激光雷达数据及红外热成像数据对应的原始特征集合，根据数据统计分析获取使用次数符合预设要求的原始特征，生成初选后特征集合；
根据各原始特征的使用次数获取不同目标类别的最优表征特征，在初选后特征集合中选取原始特征，计算与最优表征特征之间的曼哈顿距离；
通过所述曼哈顿距离确定各原始特征与目标类别的相关度，预设相关性阈值，选取相关度大于预设相关性阈值的原始特征，获取对应的激光雷达特征及红外热成像特征。
4.根据权利要求1所述的一种基于多源信息融合的目标检测识别方法，其特征在于，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类，具体为：
通过数据检索获取不同形态的激光雷达特征及红外热成像特征，根据特征对应的目标类别生成特征类别标签，将特征与特征类别标签进行匹配生成特征分量，组成不同目标对应的特征集；
根据所述特征集中的特征分量映射到低维特征空间，利用聚类算法对低维特征空间中的特征分量进行聚类，通过特征类别标签选取初始聚类中心；
选取初始聚类中心后对特征集进行迭代训练，计算各特征分量到初始聚类中心的马氏距离，根据所述马氏距离判断各特征分量最近的聚类中心；
利用聚类中心的各特征分量的相似度对聚类的有效性进行评价，当有效性评价不符合预设标准时，在聚类中心形成的聚类结果中进行均值处理，将聚类结果的均值作为新的聚类中心；
在所述有效性评价符合预设标准时，则确定不同目标类别的最佳聚类数目，输出最佳聚类结果，通过预设目标库中的目标数量设置SVM分类器的数量，通过目标类别对应的最佳聚类结果进行分类器训练，构建目标检测识别模型；
将融合特征输入所述目标检测识别模型，对待分类的初选目标进行检测识别，判断初选目标是否为预设目标库中的目标类别。
5.一种基于多源信息融合的目标检测识别系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被所述处理器执行时实现如下步骤：
获取激光雷达数据，根据所述激光雷达数据进行数据分析筛选，利用筛选后的激光雷达数据初步确定观测场景中的有效目标，设置初选目标；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，分别提取感兴趣区域的激光雷达特征及红外热成像特征；
将所述激光雷达特征及红外热成像特征进行特征选择，选取相关度符合预设要求的特征，利用选择的特征进行特征融合；
利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类；
获取含有初选目标的红外热成像序列，将采集的数据进行预处理，获取观测场景中的感兴趣区域，具体为：
在初选目标确定后，获取初选目标的位置信息，通过所述位置信息确定激光雷达对应角度，基于所述激光雷达对应角度提取含有初选目标的红外热成像序列，并将所述红外热成像序列进行预处理；
将预处理后的红外热成像序列拆分为不同时间戳的帧图像数据，并与筛选后的激光雷达数据根据时间戳进行匹配，根据激光雷达数据获取目标点云数据；
通过获取的点云数据获取目标初始轮廓，利用所述目标初始轮廓在帧图像数据中进行搜索，获取帧图像数据中目标位置特征，进行目标点云数据与帧图像数据的点云配准；
根据点云配准结果划分为若干子区域，获取各子区域的区域重合度，当所述重合度大于预设阈值时，则将该子区域进行标记，将标记的子区域进行汇聚，生成观测场景中的感兴趣区域；
利用选择的特征进行特征融合，具体为：
通过获取的激光雷达特征及红外热成像特征构建图结构，根据特征之间的相关度判断特征节点之间的联系，通过特征节点之间的联系设置边结构；
根据选取的特征生成激光雷达特征及红外热成像特征对应的邻居矩阵，利用图卷积神经网络对所述激光雷达特征及红外热成像特征对应的邻居矩阵进行学习；
利用图卷积神经网络构建信息编码器将邻居矩阵进行输入，并使用参数共享策略通过层间传播获取嵌入表示，同时通过对激光雷达特征及红外热成像特征对应的嵌入表示进行均值处理获取初次融合，生成第一融合嵌入表示；
通过解码器使用参数共享策略对激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行解码，确定图卷积神经网络的参数；
将激光雷达特征及红外热成像特征对应的嵌入表示及第一融合嵌入表示进行特征拼接，生成最终融合特征。
6.根据权利要求5所述的一种基于多源信息融合的目标检测识别系统，其特征在于，利用深度学习方法构建目标检测识别模型，将融合特征导入训练后的目标检测识别模型，对所述初选目标进行检测识别，实现目标分类，具体为：
通过数据检索获取不同形态的激光雷达特征及红外热成像特征，根据特征对应的目标类别生成特征类别标签，将特征与特征类别标签进行匹配生成特征分量，组成不同目标对应的特征集；
根据所述特征集中的特征分量映射到低维特征空间，利用聚类算法对低维特征空间中的特征分量进行聚类，通过特征类别标签选取初始聚类中心；
选取初始聚类中心后对特征集进行迭代训练，计算各特征分量到初始聚类中心的马氏距离，根据所述马氏距离判断各特征分量最近的聚类中心；
利用聚类中心的各特征分量的相似度对聚类的有效性进行评价，当有效性评价不符合预设标准时，在聚类中心形成的聚类结果中进行均值处理，将聚类结果的均值作为新的聚类中心；
在所述有效性评价符合预设标准时，则确定不同目标类别的最佳聚类数目，输出最佳聚类结果，通过预设目标库中的目标数量设置SVM分类器的数量，通过目标类别对应的最佳聚类结果进行分类器训练，构建目标检测识别模型；
将融合特征输入所述目标检测识别模型，对待分类的初选目标进行检测识别，判断初选目标是否为预设目标库中的目标类别。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种基于多源信息融合的目标检测识别方法程序，所述一种基于多源信息融合的目标检测识别方法程序被处理器执行时，实现如权利要求1至4中任一项所述的一种基于多源信息融合的目标检测识别方法步骤。
CN202310371876.6A 2023-04-10 2023-04-10 基于多源信息融合的目标检测识别方法、系统及存储介质 Active CN116091883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310371876.6A CN116091883B (zh) 2023-04-10 2023-04-10 基于多源信息融合的目标检测识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310371876.6A CN116091883B (zh) 2023-04-10 2023-04-10 基于多源信息融合的目标检测识别方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116091883A CN116091883A (zh) 2023-05-09
CN116091883B true CN116091883B (zh) 2023-07-18

Family

ID=86204906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310371876.6A Active CN116091883B (zh) 2023-04-10 2023-04-10 基于多源信息融合的目标检测识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116091883B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542956B (zh) * 2023-05-25 2023-11-17 广州机智云物联网科技有限公司 一种织物组分自动检测方法、系统及可读存储介质
CN116679319B (zh) * 2023-07-28 2023-11-10 深圳市镭神智能系统有限公司 多传感器联合的隧道预警方法，系统，装置和存储介质
CN116824513B (zh) * 2023-08-29 2024-03-08 北京建工环境修复股份有限公司 基于深度学习的钻探过程自动识别监管方法及系统
CN117472069B (zh) * 2023-12-28 2024-03-26 烟台宇控软件有限公司 一种用于输电线路检测的机器人控制方法及系统
CN117496517B (zh) * 2024-01-03 2024-04-05 广东工业大学 一种城市级实景三维建设中激光雷达智慧管控方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690607A (zh) * 2023-01-04 2023-02-03 西湖大学 基于红外遥感和深度学习的降雨反演方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661559B (zh) * 2009-09-16 2013-03-06 中国科学院计算技术研究所 一种数字图像训练和检测方法
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN112434732A (zh) * 2020-11-17 2021-03-02 西安交通大学 一种基于特征筛选的深度学习分类方法
CN114764879A (zh) * 2022-03-16 2022-07-19 西安电子科技大学 一种基于雷达红外融合特征的空中目标识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690607A (zh) * 2023-01-04 2023-02-03 西湖大学 基于红外遥感和深度学习的降雨反演方法及装置

Also Published As

Publication number Publication date
CN116091883A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN116091883B (zh) 基于多源信息融合的目标检测识别方法、系统及存储介质
CN111046703B (zh) 人脸防伪检测方法、装置及多目相机
CN106354816B (zh) 一种视频图像处理方法及装置
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN108268867B (zh) 一种车牌定位方法及装置
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
Fendri et al. Fusion of thermal infrared and visible spectra for robust moving object detection
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN111968098A (zh) 一种带钢表面缺陷检测方法、装置和设备
Musci et al. Assessment of binary coding techniques for texture characterization in remote sensing imagery
EP1488371B1 (en) Comparing patterns
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
JP3659914B2 (ja) 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
CN116343301B (zh) 基于人脸识别的人员信息智能校验系统
CN110852292B (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
JP7072765B2 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
Othman et al. Image processing techniques for identifying impostor documents through digital forensic examination
Ghazali et al. Pedestrian detection in infrared outdoor images based on atmospheric situation estimation
CN116994049A (zh) 全自动针织横机及其方法
Greenberg et al. Region-of-interest-based algorithm for automatic target detection in infrared images
Soundrapandiyan et al. Robust pedestrian detection in infrared images using rotation and scale invariant-based structure element descriptor
JP2007199750A (ja) 画素群パラメータ算出方法及び目標物検出方法並びに画素群パラメータ算出装置及び目標物検出装置
Zhao et al. Flame detection using generic color model and improved block-based PCA in active infrared camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant