CN112990225B - 一种复杂环境下的图像目标识别方法及装置 - Google Patents

一种复杂环境下的图像目标识别方法及装置 Download PDF

Info

Publication number
CN112990225B
CN112990225B CN202110531977.6A CN202110531977A CN112990225B CN 112990225 B CN112990225 B CN 112990225B CN 202110531977 A CN202110531977 A CN 202110531977A CN 112990225 B CN112990225 B CN 112990225B
Authority
CN
China
Prior art keywords
target
matrix
image information
processing
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110531977.6A
Other languages
English (en)
Other versions
CN112990225A (zh
Inventor
纪培端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dimension Data Technology Co Ltd
Original Assignee
Shenzhen Dimension Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dimension Data Technology Co Ltd filed Critical Shenzhen Dimension Data Technology Co Ltd
Priority to CN202110531977.6A priority Critical patent/CN112990225B/zh
Publication of CN112990225A publication Critical patent/CN112990225A/zh
Application granted granted Critical
Publication of CN112990225B publication Critical patent/CN112990225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂环境下的图像目标识别方法及装置，其中，所述方法包括：获得复杂背景下的目标图像信息；对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果。在本发明实施例中，可以实现高精度的识别图像中的目标信息，提高识别应用的安全性。

Description

一种复杂环境下的图像目标识别方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种复杂环境下的图像目标识别方法及装置。
背景技术
随着计算机技术的发展以及监控识别技术的日渐成熟，应用监控识别技术对目标的识别应用越来越广泛，因为应用的场景的不同，对目标识别的精度要求就有所不同，比如一般情况下的公共场所的监控识别，或者要求更加精确和高安全性的门禁识别，又或者一些应用安全性要求较高的人脸识别等；在需要就高安全的图像目标的识别时，现有技术一般是通过采集图像目标上传至后台服务器中进行匹配识别，又或者在终端配备较高计算能力的处理器进行处理识别，这样一来，要么需要进行连网，要么需要配置较高的终端设备，在用户需要实现高精度目标识别时，需要给用户带来了较大的使用成本要求。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种复杂环境下的图像目标识别方法及装置，可以实现高精度的识别图像中的目标信息，提高识别应用的安全性，并且降低用户的使用成本。
为了解决上述技术问题，本发明实施例通过了一种复杂环境下的图像目标识别方法，所述方法包括：
获得复杂背景下的目标图像信息；
对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果。
可选的，所述对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息，包括：
基于灰度等级直方图对所述复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；
基于低通滤波对所述灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息；
依次基于高通滤波和差分运算对所述消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息。
可选的，所述卷积神经网络模型包括向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，并且在所述反卷积网络中具有图像校正模块。
可选的，所述基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息，包括：
将所述预处理后的目标图像信息输入所述卷积神经网络模型中，在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；
将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；
初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；
将所述校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息。
可选的，所述在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征，包括：
所述预处理后的目标图像信息在所述卷积神经网络模型中的向前传播网络中进行向前传播时，依次对所述预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征。
可选的，所述基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵，包括：
基于灰度等级直方图对所述提取目标信息进行灰度化处理，获得灰度化提取目标信息；
基于灰度化提取目标信息的灰度像素值进行提取目标特征矩阵的构建处理，获得提取目标特征矩阵。
可选的，所述基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵，包括：
将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵。
可选的，所述将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵，包括：
将所述提取目标特征矩阵中的矩阵元素减去所述预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；
基于所述对应的元素差值除以所述预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；
基于所述矩阵元素的匹配分数形成匹配分数矩阵。
可选的，所述基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果，包括：
将所述匹配分数矩阵中的每一个匹配分数元素在所述贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；
基于所述决策识别结果矩阵对所述目标图像信息内的目标进行识别，获得识别结果。
另外，本发明实施例还提供了一种复杂环境下的图像目标识别装置，所述装置包括：
获得模块：用于获得复杂背景下的目标图像信息；
预处理模块：用于对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
目标提取模块：用于基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
矩阵构建模块：用于基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
匹配处理模块：用于基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
匹配识别模块：用于基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果。
在本发明实施例中，通过获得复杂背景下的目标图像信息；对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果；对于计算要求相对较小，可以有普通的终端即可完成，并且可以实现高精度的识别图像中的目标信息，提高识别应用的安全性，同时降低用户的使用成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的复杂环境下的图像目标识别方法的流程示意图；
图2是本发明实施例中的复杂环境下的图像目标识别装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例中的复杂环境下的图像目标识别方法的流程示意图。
如图1所示，一种复杂环境下的图像目标识别方法，所述方法包括：
S11：获得复杂背景下的目标图像信息；
在本发明具体实施过程中，通过运行该复杂环境下的图像目标识别方法的终端设备上的摄像头设备采集，得到复杂背景下的目标图像信息，也可以由该终端设备接收用户输入而得到复杂背景下的目标图像信息。
S12：对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
在本发明具体实施过程中，所述对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息，包括：基于灰度等级直方图对所述复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；基于低通滤波对所述灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息；依次基于高通滤波和差分运算对所述消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息。
具体的，对复杂背景下的目标图像信息进行目标边界确认预处理一般为图像增强处理，采用图像增强的方法进行，首先，采用灰度等级直方图来对复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；然后通过低通滤波对灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息，这样可以有效的消除灰度等级直方图处理带来的一些可识别的小点噪声，起到降噪的作用；最后，依次通过高通滤波和差分运算算法对消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息；这样可以使得目标图像的轮廓线增强，起到确定图像信息的上下左右边界。
S13：基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
在本发明具体实施过程中，所述卷积神经网络模型包括向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，并且在所述反卷积网络中具有图像校正模块。
进一步的，所述基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息，包括：将所述预处理后的目标图像信息输入所述卷积神经网络模型中，在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息。
进一步的，所述在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征，包括：所述预处理后的目标图像信息在所述卷积神经网络模型中的向前传播网络中进行向前传播时，依次对所述预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征。
具体的，首先搭建一个卷积神经网络模型，该卷积神经网络模型包括有向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，其中，反卷积网络中具有图像校正模块，该校正模块具有对图像进行校正功能。
在进行目标提取处理时，将预处理后的目标图像信息通过卷积神经网络的输入层输入到卷积神经网络模型中，然后在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；然后将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；将校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息。
在进行不同维度的目标特征提取处理的过程中，需要该预处理后的目标图像信息在卷积神经网络模型中的向前传播网络中进行向前传播时，依次对预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征；实例归一化的目的是降低光照对卷积神经网络模型进行提取不同维度的目标特征的干扰，提高卷积神经网络模型对复杂环境下目标图像的提取目标信息的精确度。
S14：基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
在本发明具体实施过程中，所述基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵，包括：基于灰度等级直方图对所述提取目标信息进行灰度化处理，获得灰度化提取目标信息；基于灰度化提取目标信息的灰度像素值进行提取目标特征矩阵的构建处理，获得提取目标特征矩阵。
具体的，先对提取目标信息进行灰度处理，然后提取灰度化后的提取目标信息的灰度像素值，利用提取的灰度像素值来构建提取目标特征矩阵，最终得到提取目标特征矩阵；在本实施例中，对提取目标信息进行灰度化是采用灰度等级直方图的方式进行，当然也可以采用其他的方式进行；采用灰度等级直方图的方式，可以有效的保存提取目标图像信息中的像素特征，更有利于后续的识别处理。
S15：基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
在本发明具体实施过程中，所述基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵，包括：将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵。
进一步的，所述将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵，包括：将所述提取目标特征矩阵中的矩阵元素减去所述预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；基于所述对应的元素差值除以所述预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；基于所述矩阵元素的匹配分数形成匹配分数矩阵。
具体的，将提取目标特征矩阵中的每一个矩阵元素与该预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应的匹配分数的匹配处理，从而得到对应的匹配分数，并那个对应的匹配分数形成匹配分数矩阵。
即将提取目标特征矩阵中的矩阵元素减去预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；然后利用对应的元素差值除以预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；最终利用矩阵元素的匹配分数形成匹配分数矩阵；具体公式如下：Sij=(dij-eij)/ eij；其中，dij表示提取目标特征矩阵中的第i行第j列的矩阵元素；eij表示预设的目标标准特征矩阵中的第i行第j列的矩阵元素；Sij表示第i行第j列的矩阵元素对应的匹配分数，匹配分数矩阵S=Sij，i，j=1,2,3,…,N。
S16：基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果。
在本发明具体实施过程中，所述基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果，包括：将所述匹配分数矩阵中的每一个匹配分数元素在所述贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；基于所述决策识别结果矩阵对所述目标图像信息内的目标进行识别，获得识别结果。
具体的，将匹配分数矩阵中的每一个匹配分数元素在贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；然后根据决策识别结果矩阵对目标图像信息内的目标进行识别，获得识别结果。
在匹配识别过程中，可以将识别结果分为两类，一种是识别通过，一种是识别不通过；利用H=1表示识别通过，H=0表示识别不通过；则已知贝叶斯先验概率g=P（H=1），由于互斥关系，P（H=0）=1-g，即根据贝叶斯理论，后验概率为：p=P（H=1| Sij）=（P（Sij | H=1）g）/（P（Sij | H=0）（1-g）+（Sij | H=1）g）。
定义决策识别时的正确决策和错误决策的风险函数为Enm；其中，n,m为0或1，则当n=m时，Enm=0，当n不等于m时，Enm=1，则贝叶斯条件风险为：F=F{Enm}=E00P（G=0，H=0）+ E01P（G=0，H=1）+ E10P（G=1，H=0）+ E11P（G=1，H=1）。
根据最小风险贝叶斯决策规则得到，识别认证决策行为：
G=1时，P（Sij | H=1）/ P（Sij | H=0）>（（1-g）/g）*（（E10- E00）/（E01- E11））;在其他的情况下，G=0。
为了简化阈值，确定采用0至1风险函数，其正确判断是，风险为0，错误判断时，风险为1；令g=P（H=1）=1/2；即认为识别通过和识别不通过的概率相等，此时，决策函数为：G=1时，P（Sij | H=1）/ P（Sij | H=0）>1;在其他的情况下，G=0。
在本发明实施例中，通过获得复杂背景下的目标图像信息；对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果；对于计算要求相对较小，可以有普通的终端即可完成，并且可以实现高精度的识别图像中的目标信息，提高识别应用的安全性，同时降低用户的使用成本。
实施例二
请参阅图2，图2是本发明实施例中的复杂环境下的图像目标识别装置的结构组成示意图。
如图2所示，一种复杂环境下的图像目标识别装置，所述装置包括：
获得模块21：用于获得复杂背景下的目标图像信息；
在本发明具体实施过程中，通过运行该复杂环境下的图像目标识别方法的终端设备上的摄像头设备采集，得到复杂背景下的目标图像信息，也可以由该终端设备接收用户输入而得到复杂背景下的目标图像信息。
预处理模块22：用于对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
在本发明具体实施过程中，所述对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息，包括：基于灰度等级直方图对所述复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；基于低通滤波对所述灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息；依次基于高通滤波和差分运算对所述消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息。
具体的，对复杂背景下的目标图像信息进行目标边界确认预处理一般为图像增强处理，采用图像增强的方法进行，首先，采用灰度等级直方图来对复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；然后通过低通滤波对灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息，这样可以有效的消除灰度等级直方图处理带来的一些可识别的小点噪声，起到降噪的作用；最后，依次通过高通滤波和差分运算算法对消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息；这样可以使得目标图像的轮廓线增强，起到确定图像信息的上下左右边界。
目标提取模块23：用于基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
在本发明具体实施过程中，所述卷积神经网络模型包括向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，并且在所述反卷积网络中具有图像校正模块。
进一步的，所述基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息，包括：将所述预处理后的目标图像信息输入所述卷积神经网络模型中，在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息。
进一步的，所述在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征，包括：所述预处理后的目标图像信息在所述卷积神经网络模型中的向前传播网络中进行向前传播时，依次对所述预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征。
具体的，首先搭建一个卷积神经网络模型，该卷积神经网络模型包括有向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，其中，反卷积网络中具有图像校正模块，该校正模块具有对图像进行校正功能。
在进行目标提取处理时，将预处理后的目标图像信息通过卷积神经网络的输入层输入到卷积神经网络模型中，然后在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；然后将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；将校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息。
在进行不同维度的目标特征提取处理的过程中，需要该预处理后的目标图像信息在卷积神经网络模型中的向前传播网络中进行向前传播时，依次对预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征；实例归一化的目的是降低光照对卷积神经网络模型进行提取不同维度的目标特征的干扰，提高卷积神经网络模型对复杂环境下目标图像的提取目标信息的精确度。
矩阵构建模块24：用于基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
在本发明具体实施过程中，所述基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵，包括：基于灰度等级直方图对所述提取目标信息进行灰度化处理，获得灰度化提取目标信息；基于灰度化提取目标信息的灰度像素值进行提取目标特征矩阵的构建处理，获得提取目标特征矩阵。
具体的，先对提取目标信息进行灰度处理，然后提取灰度化后的提取目标信息的灰度像素值，利用提取的灰度像素值来构建提取目标特征矩阵，最终得到提取目标特征矩阵；在本实施例中，对提取目标信息进行灰度化是采用灰度等级直方图的方式进行，当然也可以采用其他的方式进行；采用灰度等级直方图的方式，可以有效的保存提取目标图像信息中的像素特征，更有利于后续的识别处理。
匹配处理模块25：用于基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
在本发明具体实施过程中，所述基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵，包括：将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵。
进一步的，所述将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵，包括：将所述提取目标特征矩阵中的矩阵元素减去所述预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；基于所述对应的元素差值除以所述预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；基于所述矩阵元素的匹配分数形成匹配分数矩阵。
具体的，将提取目标特征矩阵中的每一个矩阵元素与该预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应的匹配分数的匹配处理，从而得到对应的匹配分数，并那个对应的匹配分数形成匹配分数矩阵。
即将提取目标特征矩阵中的矩阵元素减去预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；然后利用对应的元素差值除以预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；最终利用矩阵元素的匹配分数形成匹配分数矩阵；具体公式如下：Sij=(dij-eij)/ eij；其中，dij表示提取目标特征矩阵中的第i行第j列的矩阵元素；eij表示预设的目标标准特征矩阵中的第i行第j列的矩阵元素；Sij表示第i行第j列的矩阵元素对应的匹配分数，匹配分数矩阵S=Sij，i，j=1,2,3,…,N。
匹配识别模块26：用于基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果。
在本发明具体实施过程中，所述基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果，包括：将所述匹配分数矩阵中的每一个匹配分数元素在所述贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；基于所述决策识别结果矩阵对所述目标图像信息内的目标进行识别，获得识别结果。
具体的，将匹配分数矩阵中的每一个匹配分数元素在贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；然后根据决策识别结果矩阵对目标图像信息内的目标进行识别，获得识别结果。
在匹配识别过程中，可以将识别结果分为两类，一种是识别通过，一种是识别不通过；利用H=1表示识别通过，H=0表示识别不通过；则已知贝叶斯先验概率g=P（H=1），由于互斥关系，P（H=0）=1-g，即根据贝叶斯理论，后验概率为：p=P（H=1| Sij）=（P（Sij | H=1）g）/（P（Sij | H=0）（1-g）+（Sij | H=1）g）。
定义决策识别时的正确决策和错误决策的风险函数为Enm；其中，n,m为0或1，则当n=m时，Enm=0，当n不等于m时，Enm=1，则贝叶斯条件风险为：F=F{Enm}=E00P（G=0，H=0）+ E01P（G=0，H=1）+ E10P（G=1，H=0）+ E11P（G=1，H=1）。
根据最小风险贝叶斯决策规则得到，识别认证决策行为：
G=1时，P（Sij | H=1）/ P（Sij | H=0）>（（1-g）/g）*（（E10- E00）/（E01- E11））;在其他的情况下，G=0。
为了简化阈值，确定采用0至1风险函数，其正确判断是，风险为0，错误判断时，风险为1；令g=P（H=1）=1/2；即认为识别通过和识别不通过的概率相等，此时，决策函数为：G=1时，P（Sij | H=1）/ P（Sij | H=0）>1;在其他的情况下，G=0。
在本发明实施例中，通过获得复杂背景下的目标图像信息；对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果；对于计算要求相对较小，可以有普通的终端即可完成，并且可以实现高精度的识别图像中的目标信息，提高识别应用的安全性，同时降低用户的使用成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种复杂环境下的图像目标识别方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种复杂环境下的图像目标识别方法，其特征在于，所述方法包括：
获得复杂背景下的目标图像信息；
对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果；
所述基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息，包括：
将所述预处理后的目标图像信息输入所述卷积神经网络模型中，在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；
将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；
初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；
将所述校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息；
所述在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征，包括：
所述预处理后的目标图像信息在所述卷积神经网络模型中的向前传播网络中进行向前传播时，依次对所述预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征。
2.根据权利要求1所述的图像目标识别方法，其特征在于，所述对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息，包括：
基于灰度等级直方图对所述复杂背景下的目标图像信息进行灰度化处理，获得灰度图像信息；
基于低通滤波对所述灰度图像信息进行可识别的小点噪声消除处理，获得消噪后的灰度图像信息；
依次基于高通滤波和差分运算对所述消噪后的灰度图像信息进行目标边界确认处理，获得预处理后的目标图像信息。
3.根据权利要求1所述的图像目标识别方法，其特征在于，所述卷积神经网络模型包括向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，并且在所述反卷积网络中具有图像校正模块。
4.根据权利要求1所述的图像目标识别方法，其特征在于，所述基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵，包括：
基于灰度等级直方图对所述提取目标信息进行灰度化处理，获得灰度化提取目标信息；
基于灰度化提取目标信息的灰度像素值进行提取目标特征矩阵的构建处理，获得提取目标特征矩阵。
5.根据权利要求1所述的图像目标识别方法，其特征在于，所述基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵，包括：
将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵。
6.根据权利要求5所述的图像目标识别方法，其特征在于，所述将所述提取目标特征矩阵中的每一个矩阵元素与所述预设的目标标准特征矩阵对应的每一个矩阵元素进行一一对应匹配处理，形成匹配分数矩阵，包括：
将所述提取目标特征矩阵中的矩阵元素减去所述预设的目标标准特征矩阵对应的矩阵元素，获得对应的元素差值；
基于所述对应的元素差值除以所述预设的目标标准特征矩阵对应的矩阵元素，获得矩阵元素的匹配分数；
基于所述矩阵元素的匹配分数形成匹配分数矩阵。
7.根据权利要求1所述的图像目标识别方法，其特征在于，所述基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果，包括：
将所述匹配分数矩阵中的每一个匹配分数元素在所述贝叶斯决策模型中进行每个匹配分数决策识别，形成决策识别结果矩阵；
基于所述决策识别结果矩阵对所述目标图像信息内的目标进行识别，获得识别结果。
8.一种复杂环境下的图像目标识别装置，其特征在于，所述装置包括：
获得模块：用于获得复杂背景下的目标图像信息；
预处理模块：用于对所述复杂背景下的目标图像信息进行目标边界确认预处理，获得预处理后的目标图像信息；
目标提取模块：用于基于卷积神经网络模型对所述预处理后的目标图像信息进行目标提取处理，获得提取目标信息；
矩阵构建模块：用于基于所述提取目标信息进行提取目标特征矩阵构建处理，获得提取目标特征矩阵；
匹配处理模块：用于基于所述提取目标特征矩阵与预设的目标标准特征矩阵进行匹配处理，获得匹配分数矩阵；
匹配识别模块：用于基于贝叶斯决策模型对所述匹配分数矩阵进行目标图像信息内的目标匹配识别处理，获得匹配识别结果；
所述目标提取模块：还用于将所述预处理后的目标图像信息输入所述卷积神经网络模型中，在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；初次候选框的筛选和定位结果通过反卷积网络，输出与原始目标图像信息相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标提取处理，获得提取目标信息；
所述在所述卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征，包括：
所述预处理后的目标图像信息在所述卷积神经网络模型中的向前传播网络中进行向前传播时，依次对所述预处理后的目标图像信息进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征。
CN202110531977.6A 2021-05-17 2021-05-17 一种复杂环境下的图像目标识别方法及装置 Active CN112990225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110531977.6A CN112990225B (zh) 2021-05-17 2021-05-17 一种复杂环境下的图像目标识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110531977.6A CN112990225B (zh) 2021-05-17 2021-05-17 一种复杂环境下的图像目标识别方法及装置

Publications (2)

Publication Number Publication Date
CN112990225A CN112990225A (zh) 2021-06-18
CN112990225B true CN112990225B (zh) 2021-08-27

Family

ID=76336618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110531977.6A Active CN112990225B (zh) 2021-05-17 2021-05-17 一种复杂环境下的图像目标识别方法及装置

Country Status (1)

Country Link
CN (1) CN112990225B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114654473A (zh) * 2022-05-20 2022-06-24 广东隆崎机器人有限公司 Scara机器人的关节驱动电机远程控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955701A (zh) * 2014-04-15 2014-07-30 浙江工业大学 多层次结合的多视合成孔径雷达图像目标识别方法
CN106228575A (zh) * 2016-07-21 2016-12-14 广东工业大学 融合卷积神经网络及贝叶斯滤波器的跟踪方法及系统
CN108122008A (zh) * 2017-12-22 2018-06-05 杭州电子科技大学 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131336B2 (en) * 2006-06-01 2012-03-06 University Of Washington Automated in vivo plaque composition evaluation
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN106340096B (zh) * 2016-08-29 2018-06-26 神思电子技术股份有限公司 一种基于指纹指静脉识别智能锁具的识别装置和方法
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法
CN111814781A (zh) * 2019-04-11 2020-10-23 富士通株式会社 用于对图像块识别结果进行校正的方法、设备和存储介质
CN111539409B (zh) * 2020-04-09 2022-10-14 武汉大学 一种基于高光谱遥感技术的古墓题记文字识别方法
CN111984817B (zh) * 2020-08-10 2022-06-17 湖南大学 一种基于自注意力机制加权的细粒度图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955701A (zh) * 2014-04-15 2014-07-30 浙江工业大学 多层次结合的多视合成孔径雷达图像目标识别方法
CN106228575A (zh) * 2016-07-21 2016-12-14 广东工业大学 融合卷积神经网络及贝叶斯滤波器的跟踪方法及系统
CN108122008A (zh) * 2017-12-22 2018-06-05 杭州电子科技大学 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于编解码卷积神经网络的遥感图像分割研究;张哲晗;《中国优秀硕士学位论文全文数据库》;20210115;第C028-180页 *
基于贝叶斯卷积神经网络与数据增强的SAR图像目标分类方法;涂豫;《探测与控制学报》;20201231;第42卷(第6期);第43-48页 *

Also Published As

Publication number Publication date
CN112990225A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
CN109740689B (zh) 一种图像语义分割的错误标注数据筛选方法及系统
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN110969046B (zh) 人脸识别方法、设备及计算机可读存储介质
CN110647916A (zh) 基于卷积神经网络的色情图片识别方法及装置
CN112836820B (zh) 用于图像分类任务的深度卷积网络训练方法、装置及系统
CN115035418A (zh) 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112990225B (zh) 一种复杂环境下的图像目标识别方法及装置
CN111340041A (zh) 一种基于深度学习的车牌识别方法及装置
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111784699A (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN111666997B (zh) 一种样本平衡方法及目标器官分割模型构建方法
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN112232338B (zh) 核保理赔过程的资料录入方法、装置、设备及存储介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN112464916B (zh) 人脸识别方法及其模型训练方法
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
CN116665113B (zh) 基于不确定性量化的遥感场景识别方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant