CN116664828B - 一种智能装备图像信息处理系统及方法 - Google Patents

一种智能装备图像信息处理系统及方法 Download PDF

Info

Publication number
CN116664828B
CN116664828B CN202310401309.0A CN202310401309A CN116664828B CN 116664828 B CN116664828 B CN 116664828B CN 202310401309 A CN202310401309 A CN 202310401309A CN 116664828 B CN116664828 B CN 116664828B
Authority
CN
China
Prior art keywords
image
module
stitching
unit
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310401309.0A
Other languages
English (en)
Other versions
CN116664828A (zh
Inventor
梁国兴
杨宝强
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Hangxing Technology Co ltd
Original Assignee
Beijing Zhongke Hangxing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Hangxing Technology Co ltd filed Critical Beijing Zhongke Hangxing Technology Co ltd
Priority to CN202310401309.0A priority Critical patent/CN116664828B/zh
Publication of CN116664828A publication Critical patent/CN116664828A/zh
Application granted granted Critical
Publication of CN116664828B publication Critical patent/CN116664828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能装备图像信息处理系统及方法，涉及图像处理技术领域，通过设置图像实时收集模块利用图像捕获装置实时获取视野内的图像，设置目标特征提取模块预先对待识别目标进行特征提取；设置图像切割模块对实时获取的图像进行分割；设置特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；设置图像拼接模块根据第一拼接信号或第二拼接信号内的数据，对图像进行拼接；设置图像识别模块识别第二拼接图像中的待识别目标，以及在识别第一拼接图像中未包含有待识别目标时，向所述图像拼接模块返回第二拼接信号，并再次识别；避免了算力的浪费，提升了算力的利用效率。

Description

一种智能装备图像信息处理系统及方法
技术领域
本发明涉及图像处理技术领域，具体是一种智能装备图像信息处理系统及方法。
背景技术
智能装备与人工智能结合是提高军事效能的重要手段。当前，装备智能化发展受到的主要禁锢体现在算力不足方面；具体的，由于深度神经网络裁剪过度，导致打击目标“看不清”、“辨不明”，面临打击效果不理想等若干瓶颈问题；
传统目标检测系统采用可形变部件模型方法，通过滑动框方法提取出目标区域，然后采用分类器来实现识别；这一方法需要对图像中每个区域进行处理，才可以确定主体所在位置并进行目标识别，对于真实应用场景中多种态势感知设备的高精度图像数据，这一方法将产生极大的处理开销，导致显著的处理延迟，难以在真实应用场景的资源约束下满足目标识别吞吐率要求；
为此，本发明提出一种智能装备图像信息处理系统及方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种智能装备图像信息处理系统及方法，避免了算力的浪费，提升了算力的利用效率。
为实现上述目的，根据本发明的实施例一提出一种智能装备图像信息处理系统，包括图像实时收集模块、目标特征提取模块、图像切割模块、特征识别模块、图像拼接模块以及图像识别模块；其中，各个模块之间通过电气方式连接；
其中，所述图像实时收集模块主要用于利用智能装备上的图像捕获装置实时获取视野内的图像；
所述智能装备上安装的图像捕获装置至少为1个，且图像捕获装置预先根据智能装备的实际需求安装在智能装备上；图像捕获装置随着智能装备的移动而不断获取当前拍摄视野内的图像；
所述图像实时收集模块将实时获取的视野内图像发送至图像切割模块；
其中，所述目标特征提取模块主要用于预先对待识别目标进行特征提取；
所述目标特征提取模块对待识别目标进行特征提取的方式为：
将待识别目标类别的编号标记为t，分别收集每个类别的待识别目标的图像；
将所有图像进行下采样降低图像像素维度，并使用缩放以及像素填充方法将图像处理至同一像素维度，并将图像像素维度的宽度与高度分别标记为w和h；
对于每个类别t的待识别目标的图像，使用特征点提取算法获取每个类别t的特征点集合；所述特征点集合内的每个特征点使用一组特征向量保存；将类别t的待识别目标的特征点集合标记为Ft；
所述目标特征提取模块将所有待识别目标的特征点集合Ft发送至特征识别模块；
其中，所述图像切割模块主要用于对图像实时收集模块实时获取的图像进行分割；
所述图像切割模块对图像实时收集模块实时获取的图像进行分割的方式为：
计算每个分割图的单位宽度wp和单位高度hp；其中，单位宽度wp的计算公式为；单位高度hp的计算公式为；其中，和为预设的大于0的调整系数；
将图像实时收集模块实时获取的图像按分割图的单位宽度wp和单位高度hp进行均匀分割，且对分割后的单位图像按横向与纵向数值递增的方式进行编号；
所述图像切割模块将切割后的所有单位图像发送至特征识别模块以及图像识别模块；
其中，所述特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；
所述特征识别模块获得第一拼接信号包括以下步骤：
步骤S1：在智能装备上安装的GPU上，并行的使用特征点提取算法提取每个单位图像的特征点集合；
步骤S2：并行计算每个单位图像的特征点集合与每个待识别目标的特征点集合Ft之间的重合度；所述重合度的计算方式为：
将单位图像内的每个特征点与待识别目标的特征点集合Ft中任意一个特征点进行欧式距离的计算，从单位图像的特征点中，取出欧式距离最小的两个特征点，若最近欧式距离除以次近的欧式距离小于预设的欧式距离阈值，则判定最近欧式距离的特征点与待识别目标的特征点集合Ft中的该特征点重合；
统计在单位图像内与待识别目标的特征点集合Ft中的特征点重合的特征点数量，并计算重合特征点的数量占待识别目标的特征点集合Ft中特征点总数的比例；该比例即为单位图像中特征点集合与待识别目标的特征点集合Ft的重合度；
将单位图像的编号标记为p，其中，p＝1-1,1-2，…；
步骤S3：对于每个单位图像p，并行的判断其中对每个待识别目标的特征点集合Ft的重合度是否大于0.25；若大于0.25，则认为该单位图像内包含有类别t的待识别目标的部分特征，转至步骤S4；
步骤S4：判断与待识别目标的特征点集合Ft中重合的特征点在单位图像p中的主分布位置；主分布位置为左上角、左下角、右上角以及右下角的一个；其中，判断主分布位置的方式为：
计算单位图像p内所有的重合的特征点到单位图像左上角、左下角、右上角以及右下角顶点的距离之和，并取其中距离之和最小的位置作为单位图像p的主分布位置，并将主分布位置作为单位图像p拼接方向；
所述特征识别模块向图像拼接模块发送第一拼接信号；其中，所述第一拼接信号包括单位图像p的编号、单位图像p的拼接方向以及类别t；将单位图像p的横向编号标记为i，将竖向编号标记为j；
其中，所述图像拼接模块主要用于根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接；
所述图像拼接模块对图像进行拼接的方式包括：
所述图像拼接模块在接收第一拼接信号后的拼接方式为：
若拼接方向为左上角，则将单位图像p与编号分别为(i-1)-(j-1)、(i-1)-j、i-(j-1)的单位图像进行拼接；
若拼接方向为左下角，则将单位图像p与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将单位图像p与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)的单位图像进行拼接；
若拼接方向为右下角，则将单位图像p与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)的单位图像进行拼接；
所述图像拼接模块在接收到第二拼接信号后的拼接方式为：
若拼接方向为左上角，则将第一拼接图像与编号为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
若拼接方向为左下角，则将第一拼接图像与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将第一拼接图像与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)、(i-1)-(j-1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右下角，则将第一拼接图像与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
所述图像拼接模块向图像识别模块中发送第一拼接结果或第二拼接图像；其中，所述第一拼接结果包括第一拼接图像和类别t；所述第一拼接图像为对第一拼接信号进行拼接后的图像，所述第二拼接图像包括对第二拼接信号进行拼接后的图像；
其中，所述图像识别模块用于识别第一拼接图像或第二拼接图像中是否包含有类别t的待识别目标；
所述图像识别模块识别第一拼接图像或第二拼接图像中是否包含有类别t的待识别目标的方式为：
若图像识别模块接收到第一拼接结果，统计第一拼接图像的四个单位图像中包含的待识别目标的特征点集合Ft的特征点的重合度总和；
判断重合度总和是否大于预设的重合度阈值，若大于则使用目标识别神经网络模型对第一拼接图像进行识别，以判断在第一拼接图像中是否存在类别t的待识别目标，并对识别结果进行输出；否则，判断与待识别目标的特征点集合Ft中重合的特征点在第一拼接图像中的拼接方向；
若拼接方向为左上角，则将第一拼接图像中左上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为左下角，则将第一拼接图像中左下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右上角，则将第一拼接图像中右上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右下角，则将第一拼接图像中右下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
所述图像识别模块向所述图像拼接模块发送第二拼接信号；所述第二拼接信号包括拼接方向、第一拼接图像以及横向编号i和纵向编号j；
若图像识别模块接收到第二拼接图像，使用目标识别神经网络模型对第一拼接图像进行识别，以判断在第一拼接图像中是否存在类别t的待识别目标，并对识别结果进行输出。
根据本发明的实施例二提出一种智能装备图像信息处理方法，包括以下步骤：
步骤一：图像实时收集模块利用智能装备上的图像捕获装置实时获取视野内的图像；
步骤二：目标特征提取模块预先对待识别目标进行特征提取；
步骤三：图像切割模块对图像实时收集模块实时获取的图像进行分割并对分割后的单位图像进行编号；
步骤四：特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；
步骤五：图像拼接模块根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接；
步骤六：图像识别模块使用目标识别神经网络模型，判断第一拼接图像中是否包含有类别t的待识别目标，若不包含，向所述图像拼接模块返回第二拼接信号，再识别图像拼接模块返回的第二拼接图像中是否包含有类别t的待识别目标，并输出对第二拼接图像的识别结果，否则，输出目标识别神经网络模型对第一拼接图像的识别结果。
与现有技术相比，本发明的有益效果是：
(1)本发明通过预先将待识别目标的图像使用特征点提取算法生成特征点集合，再将智能装备实时采集的图像按待识别目标的图像像素维度的略大于0.5倍的尺度进行切割，对于每个切割后的单位图像使用特征点提取算法，并与待识别目标的特征点进行重合度计算，对于重合度大于0.25的单位图像，找出其拼接方向，并将单位图像拼接成第一拼接图像，再对第一拼接图像判断其与待识别目标的特征点集合的重合度，若重合度不足，则再进行第二次拼接，生成第二拼接图像，最后对重合度达标或第二拼接图像进行目标识别；
(2)本发明通过将实时图像进行分割，对于分割后的图像进行并行特征点重合度计算，通过引入重合度，仅在目标图像的重合度超过重合度阈值时，才进行需要更高算力资源的图像识别；保证了在视野中出现疑似目标物时，才进行目标识别，避免了算力的浪费，提升了算力的利用效率；
(3)本发明对于单位图像的尺寸选择的是略大于待识别目标的图像像素维度的0.5倍，实现了对单位图像的拼接次数不大于2次，即可保证覆盖完整的待识别目标，达到了拼接次数与最终识别的拼接图像大小之间的平衡。
附图说明
图1为本发明实施例一中图像信息处理系统各个模块的连接关系图；
图2为本发明实施例二中图像处理方法的流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
如图1所示，一种智能装备图像信息处理系统，包括图像实时收集模块、目标特征提取模块、图像切割模块、特征识别模块、图像拼接模块以及图像识别模块；其中，各个模块之间通过电气方式连接；
其中，所述图像实时收集模块主要用于利用智能装备上的图像捕获装置实时获取视野内的图像；
在一个优选的实施例中，所述智能装备上安装的图像捕获装置至少为1个，且图像捕获装置预先根据智能装备的实际需求安装在智能装备上；图像捕获装置随着智能装备的移动而不断获取当前拍摄视野内的图像；优选的，所述图像捕获装置的拍摄视角可以是固定，也可以是不固定的；所述智能装备可以包括有人无人机、有人无人车、舰船、机器人以及坦克等；
所述图像实时收集模块将实时获取的视野内图像发送至图像切割模块；
其中，所述目标特征提取模块主要用于预先对待识别目标进行特征提取；
在一个优选的实施例中，所述目标特征提取模块对待识别目标进行特征提取的方式为：
将待识别目标类别的编号标记为t，分别收集每个类别的待识别目标的图像；
将所有图像进行下采样降低图像像素维度，并使用缩放以及像素填充方法将图像处理至同一像素维度，并将图像像素维度的宽度与高度分别标记为w和h；
对于每个类别t的待识别目标的图像，使用特征点提取算法获取每个类别t的特征点集合；优选的，所述特征点提取算法可以是SIFT算法、SURF算法或ORB算法中的一种；所述特征点集合内的每个特征点使用一组特征向量保存；将待识别目标的特征点集合标记为Ft；
所述目标特征提取模块将所有待识别目标的特征点集合Ft发送至特征识别模块；
其中，所述图像切割模块主要用于对图像实时收集模块实时获取的图像进行分割；
可以理解的是，对于智能装备的目标识别技术而言，需要完整识别到目标，因此，若将实时捕获的图像切割的过小，在对图像进行拼接时，需要拼接并识别的次数过多，会严重影响到识别效率；
在一个优选的实施例中，所述图像切割模块对图像实时收集模块实时获取的图像进行分割的方式为：
计算每个分割图的单位宽度wp和单位高度hp；其中，单位宽度wp的计算公式为；单位高度hp的计算公式为；其中，和为预设的大于0的调整系数；
将图像实时收集模块实时获取的图像按分割图的单位宽度wp和单位高度hp进行均匀分割，且对分割后的单位图像按横向与纵向数值递增的方式进行编号；例如：编号1-1表示横向第一纵向第一个单位图像，即完整图像的最左上角单位图像；
所述图像切割模块将切割后的所有单位图像发送至特征识别模块以及图像识别模块；
其中，所述特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；
在一个优选的实施例中，所述特征识别模块获得第一拼接信号包括以下步骤：
步骤S1：在智能装备上安装的GPU上，并行的使用特征点提取算法提取每个单位图像的特征点集合；
步骤S2：并行计算每个单位图像的特征点集合与每个待识别目标的特征点集合Ft之间的重合度；优选的，所述重合度的计算方式为：
将单位图像内的每个特征点与待识别目标的特征点集合Ft中任意一个特征点进行欧式距离的计算，从单位图像的特征点中，取出欧式距离最小的两个特征点，若最近欧式距离除以次近的欧式距离小于预设的欧式距离阈值，则判定最近欧式距离的特征点与待识别目标的特征点集合Ft中的该特征点重合；
统计在单位图像内与待识别目标的特征点集合Ft中的特征点重合的特征点数量，并计算重合特征点的数量占待识别目标的特征点集合Ft中特征点总数的比例；该比例即为单位图像中特征点集合与待识别目标的特征点集合Ft的重合度；
将单位图像的编号标记为p，其中，p＝1-1,1-2，…；
步骤S3：对于每个单位图像p，并行的判断其中对每个待识别目标的特征点集合Ft的重合度是否大于0.25；若大于0.25，则认为该单位图像内包含有类别t的待识别目标的部分特征，转至步骤S4；可以理解的是，当重合度大于0.25时，说明该单位图像中至少有25％的概率包含有类别t的待识别目标的部分区域，而待识别目标的图像是连续的，因此，可以通过合并该单位图像与周围的3份单位图像，获得更多的类别t的待识别目标的图像；
步骤S4：判断与待识别目标的特征点集合Ft中重合的特征点在单位图像p中的主分布位置；主分布位置为左上角、左下角、右上角以及右下角中的一个；其中，判断主分布位置的方式为：
计算单位图像p内所有的重合的特征点到单位图像左上角、左下角、右上角以及右下角顶点的距离之和，并取其中距离之和最小的位置作为单位图像p的主分布位置，并将主分布位置作为单位图像p拼接方向；
所述特征识别模块向图像拼接模块发送第一拼接信号；其中，所述第一拼接信号包括单位图像p的编号、单位图像p的拼接方向以及类别t；将单位图像p的横向编号标记为i，将竖向编号标记为j；
其中，所述图像拼接模块主要用于根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接；
在一个优选的实施例中，所述图像拼接模块对图像进行拼接的方式包括：
所述图像拼接模块在接收第一拼接信号后的拼接方式为：
若拼接方向为左上角，则将单位图像p与编号分别为(i-1)-(j-1)、(i-1)-j、i-(j-1)的单位图像进行拼接；
若拼接方向为左下角，则将单位图像p与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将单位图像p与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)的单位图像进行拼接；
若拼接方向为右下角，则将单位图像p与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)的单位图像进行拼接；
所述图像拼接模块在接收到第二拼接信号后的拼接方式为：
若拼接方向为左上角，则将第一拼接图像与编号为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
若拼接方向为左下角，则将第一拼接图像与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将第一拼接图像与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)、(i-1)-(j-1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右下角，则将第一拼接图像与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
所述图像拼接模块向图像识别模块中发送第一拼接结果或第二拼接图像；其中，所述第一拼接结果包括第一拼接图像和类别t；所述第一拼接图像为对第一拼接信号进行拼接后的图像，所述第二拼接图像包括对第二拼接信号进行拼接后的图像；
其中，所述图像识别模块用于识别第一拼接图像或第二拼接图像中是否包含有类别t的待识别目标；
在一个优选的实施例中，所述图像识别模块识别第一拼接图像或第二拼接图像中是否包含有类别t的待识别目标的方式为：
若图像识别模块接收到第一拼接结果，统计第一拼接图像的四个单位图像中包含的待识别目标的特征点集合Ft的特征点的重合度总和；
判断重合度总和是否大于预设的重合度阈值，若大于则使用目标识别神经网络模型对第一拼接图像进行识别，以判断在第一拼接图像中是否存在类别t的待识别目标，并对识别结果进行输出；优选的，所述目标识别神经网络模型可以是Fast-RCNN或Yolo等网络模型；否则，判断与待识别目标的特征点集合Ft中重合的特征点在第一拼接图像中的拼接方向；可以理解的是，该拼接方向的判断方式与单位图像获取拼接方向的方法是一致的；
若拼接方向为左上角，则将第一拼接图像中左上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为左下角，则将第一拼接图像中左下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右上角，则将第一拼接图像中右上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右下角，则将第一拼接图像中右下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
所述图像识别模块向所述图像拼接模块发送第二拼接信号；所述第二拼接信号包括拼接方向、第一拼接图像以及横向编号i和纵向编号j；
若图像识别模块接收到第二拼接图像，使用目标识别神经网络模型对第一拼接图像进行识别，以判断在第一拼接图像中是否存在类别t的待识别目标，并对识别结果进行输出。
实施例二
如图2所示，一种智能装备图像信息处理方法，包括以下步骤：
步骤一：图像实时收集模块利用智能装备上的图像捕获装置实时获取视野内的图像；智能装备上的图像捕获装置随着智能装备的移动而不断获取当前拍摄视野内的图像；
步骤二：目标特征提取模块预先对待识别目标进行特征提取；通过对待识别目标图像进行预处理后，使用特征点提取算法获取每个类别的特征点集合；
步骤三：图像切割模块对图像实时收集模块实时获取的图像进行分割并对分割后的单位图像进行编号；
步骤四：特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；所述第一拼接信号包括单位图像的编号、单位图像的拼接方向以及类别t；所述类别t为单位图像中可能包含的待识别目标的类别；
步骤五：图像拼接模块根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接；
步骤六：图像识别模块使用目标识别神经网络模型，判断第一拼接图像中是否包含有类别t的待识别目标，若不包含，向所述图像拼接模块返回第二拼接信号，再识别图像拼接模块返回的第二拼接图像中是否包含有类别t的待识别目标，并输出对第二拼接图像的识别结果，否则，输出目标识别神经网络模型对第一拼接图像的识别结果。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (6)

1.一种智能装备图像信息处理方法，其特征在于，包括以下步骤：
步骤一：图像实时收集模块利用智能装备上的图像捕获装置实时获取视野内的图像；
步骤二：目标特征提取模块预先对待识别目标进行特征提取；
步骤三：图像切割模块对图像实时收集模块实时获取的图像进行分割并对分割后的单位图像进行编号；
步骤四：特征识别模块将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号；所述第一拼接信号包括单位图像p的编号、单位图像p的拼接方向以及待识别目标类别t；将单位图像p的横向编号标记为i，将竖向编号标记为j；
步骤五：图像拼接模块根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接；
所述第二拼接信号为图像识别模块返回的包括拼接方向、第一拼接图像以及横向编号i和纵向编号j的数据；
步骤六：图像识别模块使用目标识别神经网络模型，判断第一拼接图像中是否包含有类别t的待识别目标，若不包含，向所述图像拼接模块返回第二拼接信号，再识别图像拼接模块返回的第二拼接图像中是否包含有类别t的待识别目标，并输出对第二拼接图像的识别结果，否则，输出目标识别神经网络模型对第一拼接图像的识别结果；
所述特征识别模块获得第一拼接信号包括以下步骤：
步骤S1：在智能装备上安装的GPU上，并行的使用特征点提取算法提取每个单位图像的特征点集合；
步骤S2：并行计算每个单位图像的特征点集合与每个待识别目标的特征点集合Ft之间的重合度；
统计在单位图像内与待识别目标的特征点集合Ft中的特征点重合的特征点数量，并计算重合特征点的数量占待识别目标的特征点集合Ft中特征点总数的比例；该比例即为单位图像中特征点集合与待识别目标的特征点集合Ft的重合度；
将单位图像的编号标记为p，其中，p＝1-1,1-2，…；
步骤S3：对于每个单位图像p，并行的判断其中对每个待识别目标的特征点集合Ft的重合度是否大于0.25；若大于0.25，转至步骤S4；
步骤S4：判断与待识别目标的特征点集合Ft中重合的特征点在单位图像p中的主分布位置；主分布位置为左上角、左下角、右上角以及右下角的一个；
判断主分布位置的方式为：
计算单位图像p内所有的重合的特征点到单位图像左上角、左下角、右上角以及右下角顶点的距离之和，并取其中距离之和最小的位置作为单位图像p的主分布位置，并将主分布位置作为单位图像p拼接方向；
所述图像拼接模块对图像进行拼接的方式包括：
所述图像拼接模块在接收第一拼接信号后的拼接方式为：
若拼接方向为左上角，则将单位图像p与编号分别为(i-1)-(j-1)、(i-1)-j、i-(j-1)的单位图像进行拼接；
若拼接方向为左下角，则将单位图像p与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将单位图像p与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)的单位图像进行拼接；
若拼接方向为右下角，则将单位图像p与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)的单位图像进行拼接；
所述图像拼接模块在接收到第二拼接信号后的拼接方式为：
若拼接方向为左上角，则将第一拼接图像与编号为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
若拼接方向为左下角，则将第一拼接图像与编号分别为(i-1)-(j+1)、(i-1)-j、i-(j+1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右上角，则将第一拼接图像与编号分别为i-(j-1)、(i+1)-j、(i+1)-(j-1)、(i-1)-(j-1)、(i-1)-(j-1)、(i+1)-(j+1)的单位图像进行拼接；
若拼接方向为右下角，则将第一拼接图像与编号分别为(i+1)-(j+1)、(i+1)-j、i-(j+1)、(i+1)-(j-1)、(i-1)-(j+1)的单位图像进行拼接；
所述图像拼接模块向图像识别模块中发送第一拼接结果或第二拼接图像；其中，所述第一拼接结果包括第一拼接图像和类别t；所述第一拼接图像为对第一拼接信号进行拼接后的图像，所述第二拼接图像包括对第二拼接信号进行拼接后的图像。
2.根据权利要求1所述的一种智能装备图像信息处理方法，其特征在于，所述目标特征提取模块对待识别目标进行特征提取的方式为：
分别收集每个类别的待识别目标的图像；
将所有图像进行下采样降低图像像素维度，并使用缩放以及像素填充方法将图像处理至同一像素维度，并将图像像素维度的宽度与高度分别标记为w和h；
对于每个类别t的待识别目标的图像，使用特征点提取算法获取每个类别t的特征点集合；所述特征点集合内的每个特征点使用一组特征向量保存；将类别t的待识别目标的特征点集合标记为Ft。
3.根据权利要求2所述的一种智能装备图像信息处理方法，其特征在于，所述图像切割模块对图像实时收集模块实时获取的图像进行分割的方式为：
计算每个分割图的单位宽度wp和单位高度hp；其中，单位宽度wp的计算公式为单位高度hp的计算公式为/>其中，α和β为预设的大于0的调整系数；
将图像实时收集模块实时获取的图像按分割图的单位宽度wp和单位高度hp进行均匀分割，且对分割后的单位图像按横向与纵向数值递增的方式进行编号。
4.根据权利要求3所述的一种智能装备图像信息处理方法，其特征在于，所述重合度的计算方式为：
将单位图像内的每个特征点与待识别目标的特征点集合Ft中任意一个特征点进行欧式距离的计算，从单位图像的特征点中，取出欧式距离最小的两个特征点，若最近欧式距离除以次近的欧式距离小于预设的欧式距离阈值，则判定最近欧式距离的特征点与待识别目标的特征点集合Ft中的该特征点重合。
5.根据权利要求4所述的一种智能装备图像信息处理方法，其特征在于，所述图像识别模块向所述图像拼接模块返回第二拼接信号的方式为：
若图像识别模块接收到第一拼接结果，统计第一拼接图像的四个单位图像中包含的待识别目标的特征点集合Ft的特征点的重合度总和；所述第一拼接结果包括第一拼接图像和类别t；
判断重合度总和是否大于预设的重合度阈值，若大于则使用目标识别神经网络模型对第一拼接图像进行识别，以判断在第一拼接图像中是否存在类别t的待识别目标，并对识别结果进行输出；否则，判断与待识别目标的特征点集合Ft中重合的特征点在第一拼接图像中的拼接方向；该拼接方向的判断方式为判断主分布位置的方式；
若拼接方向为左上角，则将第一拼接图像中左上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为左下角，则将第一拼接图像中左下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右上角，则将第一拼接图像中右上角的单位图像的横向编号标记为i，纵坐标编号标记为j；
若拼接方向为右下角，则将第一拼接图像中右下角的单位图像的横向编号标记为i，纵坐标编号标记为j；
所述图像识别模块向所述图像拼接模块发送第二拼接信号；所述第二拼接信号包括拼接方向、第一拼接图像以及横向编号i和纵向编号j。
6.一种智能装备图像信息处理系统，其基于权利要求1-5任意一项所述的一种智能装备图像信息处理方法实现，其特征在于，包括图像实时收集模块、目标特征提取模块、图像切割模块、特征识别模块、图像拼接模块以及图像识别模块；其中，各个模块之间通过电气方式连接；
所述图像实时收集模块用于利用智能装备上的图像捕获装置实时获取视野内的图像，并将实时获取的视野内图像发送至图像切割模块；
所述目标特征提取模块用于预先对待识别目标进行特征提取，并将所有待识别目标的特征点集合Ft发送至特征识别模块；
所述图像切割模块用于对图像实时收集模块实时获取的图像进行分割并对分割后的单位图像进行编号，并将切割后的所有单位图像发送至特征识别模块以及图像识别模块；
所述特征识别模块用于将所有单位图像与待识别目标的特征点集合进行比对，获得第一拼接信号，并向图像拼接模块发送第一拼接信号；
所述图像拼接模块用于根据第一拼接信号或第二拼接信号内的横向坐标、纵向坐标以及拼接方向，对图像进行拼接，并向图像识别模块中发送第一拼接结果或第二拼接图像；
图像识别模块使用目标识别神经网络模型，判断第一拼接图像中是否包含有类别t的待识别目标，若不包含，向所述图像拼接模块返回第二拼接信号，再识别图像拼接模块返回的第二拼接图像中是否包含有类别t的待识别目标，并输出对第二拼接图像的识别结果，否则，输出目标识别神经网络模型对第一拼接图像的识别结果。
CN202310401309.0A 2023-04-15 2023-04-15 一种智能装备图像信息处理系统及方法 Active CN116664828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310401309.0A CN116664828B (zh) 2023-04-15 2023-04-15 一种智能装备图像信息处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310401309.0A CN116664828B (zh) 2023-04-15 2023-04-15 一种智能装备图像信息处理系统及方法

Publications (2)

Publication Number Publication Date
CN116664828A CN116664828A (zh) 2023-08-29
CN116664828B true CN116664828B (zh) 2023-12-15

Family

ID=87726838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310401309.0A Active CN116664828B (zh) 2023-04-15 2023-04-15 一种智能装备图像信息处理系统及方法

Country Status (1)

Country Link
CN (1) CN116664828B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066384A (ko) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 분할 영역 단위의 파노라마 영상 합성 장치 및 방법
CN113221604A (zh) * 2020-02-05 2021-08-06 北京京东乾石科技有限公司 目标识别方法、装置、存储介质及电子设备
WO2021196896A1 (zh) * 2020-04-02 2021-10-07 Oppo广东移动通信有限公司 目标检测方法、装置、电子设备和可读存储介质
CN114913068A (zh) * 2022-04-19 2022-08-16 江苏复泽智能科技有限公司 一种基于计算机视觉的无人机图像拼接方法及系统
CN115330594A (zh) * 2022-07-19 2022-11-11 上海西虹桥导航技术有限公司 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066384A (ko) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 분할 영역 단위의 파노라마 영상 합성 장치 및 방법
CN113221604A (zh) * 2020-02-05 2021-08-06 北京京东乾石科技有限公司 目标识别方法、装置、存储介质及电子设备
WO2021196896A1 (zh) * 2020-04-02 2021-10-07 Oppo广东移动通信有限公司 目标检测方法、装置、电子设备和可读存储介质
CN114913068A (zh) * 2022-04-19 2022-08-16 江苏复泽智能科技有限公司 一种基于计算机视觉的无人机图像拼接方法及系统
CN115330594A (zh) * 2022-07-19 2022-11-11 上海西虹桥导航技术有限公司 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法

Also Published As

Publication number Publication date
CN116664828A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
Yang et al. Towards real-time traffic sign detection and classification
Greenhalgh et al. Recognizing text-based traffic signs
CN112733914B (zh) 一种基于支持向量机的水下目标视觉识别分类方法
Bansal et al. A real-time pedestrian detection system based on structure and appearance classification
CN111582182B (zh) 船舶名称识别方法、系统、计算机设备及存储介质
CN108537816A (zh) 一种基于超像素和背景连接先验的显著物体分割方法
CN107016391A (zh) 一种复杂场景工件识别方法
Jayasinghe et al. Ceymo: See more on roads-a novel benchmark dataset for road marking detection
CN112101108B (zh) 一种基于图形极点位置特征的左右转交通标志识别方法
CN112381870A (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN115410039A (zh) 基于改进YOLOv5算法的煤炭异物检测系统及方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN103810487A (zh) 一种海洋航拍图像的目标检测与识别方法及系统
CN116664828B (zh) 一种智能装备图像信息处理系统及方法
CN109784261B (zh) 基于机器视觉的行人分割与识别方法
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
Ko et al. A simple OCR method from strong perspective view
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
CN115909072A (zh) 一种基于改进YOLOv4算法的弹着点水柱检测方法
Liu et al. Natural scene character recognition using markov random field
CN110674779B (zh) 一种基于特征融合的单目远红外行人检测方法
CN111178158B (zh) 一种骑车人检测方法及系统
Zhu et al. Visual campus road detection for an ugv using fast scene segmentation and rapid vanishing point estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant