CN111191570A - 图像识别方法和装置 - Google Patents

图像识别方法和装置 Download PDF

Info

Publication number
CN111191570A
CN111191570A CN201911368806.5A CN201911368806A CN111191570A CN 111191570 A CN111191570 A CN 111191570A CN 201911368806 A CN201911368806 A CN 201911368806A CN 111191570 A CN111191570 A CN 111191570A
Authority
CN
China
Prior art keywords
sub
image
target object
recognized
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911368806.5A
Other languages
English (en)
Other versions
CN111191570B (zh
Inventor
李瑛�
耿军伟
陈波
韩俊龙
武瑶
李聪
赵留学
张嘉慧
周爽
白烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexin Interconnect Technology Qingdao Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Beijing Electric Power Co Ltd
Original Assignee
Hexin Interconnect Technology Qingdao Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexin Interconnect Technology Qingdao Co ltd, State Grid Corp of China SGCC, State Grid Beijing Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Beijing Electric Power Co Ltd filed Critical Hexin Interconnect Technology Qingdao Co ltd
Priority to CN201911368806.5A priority Critical patent/CN111191570B/zh
Publication of CN111191570A publication Critical patent/CN111191570A/zh
Application granted granted Critical
Publication of CN111191570B publication Critical patent/CN111191570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像识别方法和装置。其中,该方法包括:对待识别图像进行分割处理,得到若干子图像;依据预设比例对若干子图像进行扩充处理,以确保待识别图像中的目标对象完整的出现在某个子图像中;使用训练好的深度卷积神经网络对若干子图像和待识别图像进行检测;将若干子图像和待识别图像的检测结果进行合并处理,以确定待识别图像中所识别出的目标对象的相关信息,其中,相关信息包括至少以下任意之一:目标对象在待识别图像中的标识标志、目标对象的地理坐标。本发明解决了主流目标检测算法对于小目标的检测效果很差,极容易出现漏检现象的技术问题。

Description

图像识别方法和装置
技术领域
本发明涉及图像识别领域,具体而言,涉及一种图像识别方法和装置。
背景技术
输电杆塔有分布范围广、所处地理位置和气候复杂、破坏因素多等特点。近年来,国家不断加大对农村道路和房屋的建设,不可避免的使得大型建筑机械在输电通道附近活动,使得工程机械违章施工造成的输电杆塔故障大量增多。近年来,随着国家电网提出的“坚强智能电网”发展规划,各种新的技术和设备不断引入用于对相关设施进行巡检和预警,主要依靠于不同类型的模式识别技术。
与本发明最相近似的现有技术方案:现在主流的目标检测算法,分为一阶段算法如yolo、centernet等,和二阶段算法如faster rcnn等。这些算法性能较好,在各行业的图像目标识别领域有着广泛的应用,但都有一个问题:对于小目标的检测效果很差,极容易出现漏检现象。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像识别方法和装置,以至少解决主流目标检测算法对于小目标的检测效果很差,极容易出现漏检现象的技术问题。
根据本发明实施例的一个方面,提供了一种图像识别方法,包括:对待识别图像进行分割处理,得到若干子图像;依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
可选地,对待识别图像进行分割处理,得到若干子图像,包括:依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
可选地,在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,所述方法还包括:至少确定深度卷积神经网络的层数、卷积核大小与个数;获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
可选地,通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,包括:对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
可选地,对所述训练数据进行分割预处理,包括:依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
根据本发明实施例的另一方面,还提供了一种图像识别装置,包括:分割单元,用于对待识别图像进行分割处理,得到若干子图像;扩充单元,用于依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;检测单元,用于使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;合并单元,用于将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
可选地,所述分割单元包括:分割子单元,用于依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
可选地,所述装置还包括:确定单元,用于在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,至少确定深度卷积神经网络的层数、卷积核大小与个数;获取单元,用于获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;训练单元,用于将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
可选地,所述训练单元包括:训练子单元,用于对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;验证子单元,用于使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
可选地,所述训练子单元包括:分割模块,用于依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;计算模块,用于计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;确定模块,用于在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;修改模块,用于对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;涂抹模块,用于将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;制作模块,用于并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
在本发明实施例中,通过对待识别图像进行分割处理,得到若干子图像;依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标,进而解决了主流目标检测算法对于小目标的检测效果很差,极容易出现漏检现象技术问题。
也即,在本发明实施例中针对小目标识别,通过将待识别图像分割为多个子图像的方式进行检测,使得本发明提供到图像识别方法更适用于小目标检测,大幅度降低了误检率,提供了识别准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图像识别方法的示意图;
图2是根据本发明实施例的一种可选的图像识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是:
IOU:(Intersection-over-Union)是产生的候选框(candidate bounding box)与真实标记的框(ground truth bounding box)的重叠程度,候选框与真实框之间交集与并集的比值叫IOU。
NMS:在进行目标检测时一般会采取窗口滑动的方式,在图像上生成很多的候选框,然后把这些候选框进行特征提取后送入分类器,一般会得出一个得分(score),然后把这些得分全部排序。选取得分最高的那个框,接下来计算其他的框与当前框的重合程度(iou),如果重合程度大于一定阈值就删除,因为同一目标可能会有多个高得分框,需要一个即可。
根据本发明实施例,提供了一种图像识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的图像识别方法,如图1所示,该方法包括如下步骤:
步骤S102,对待识别图像进行分割处理,得到若干子图像;
步骤S104,依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;
步骤S106,使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;
步骤S108,将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
需要说明的是:目标对象为塔架防外破工程车辆,例如:泵车、挖掘机、吊车等。
需要说明的是:所述目标对象在所述待识别图像中的标识标志可以是指:在待识别图像中标识有标识框,其中,标识框在待识别图像中框选目标对象;所述目标对象的地理坐标可以是指:依据目标对象在待识别图像中的位置,确定目标对象在实际地理环境中的坐标位置,例如:东街区34区。
在本发明实施例中,通过对待识别图像进行分割处理,得到若干子图像;依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标,进而解决了主流目标检测算法对于小目标的检测效果很差,极容易出现漏检现象技术问题。
也即,在本发明实施例中针对小目标识别,通过将待识别图像分割为多个子图像的方式进行检测,使得本发明提供到图像识别方法更适用于小目标检测,大幅度降低了误检率,提供了识别准确率。
在一个可选的示例中,对待识别图像进行分割处理,得到若干子图像,包括:依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
也即,依据待识别图像的分辨率确定预设行和预设列,再依据预设行和预设列对待识别图像进行分割,得到m*n子图像,其中,m*n子图像中即包括有目标对象的子图像,也包括无目标对象的子图像。
在一个可选的示例中,将所述若干子图像和所述待识别图像的检测结果进行合并处理,得到带有标记的待识别图像,包括:依据预设类别(例如:泵车、挖掘机、吊车等)依次计算待识别图像的检测框与若干子图像的检测框之间的重叠度,并删除重叠度大于第一阈值的子图像的检测框;通过NMS算法计算每个子图像的检测框的得分,并计算每个子图像的检测框与其他子图像的检测框之间的重叠度,在所述重叠度大于第二阈值的情况下,删除该重叠度对应的得分较小的子图像的检测框;将留下的子图像的检测结果和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息。
也即,在使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测之后,所得到的检测结果是待识别图像中已经识别出的多个目标对象。此时,为了避免多个目标对象发生重复,因此,在该示例中对待识别图像的检测框、若干子图像的检测框进行排重处理,避免输出信息冗余。
优选的,为了避免边界误检,将所述若干子图像和所述待识别图像的检测结果进行合并处理,得到带有标记的待识别图像,还包括:检测若干子图像的检测框是否位于图片边界;在子图像的检测框位于图片边界的情况下,通过NMS算法计算检测框位于图片边界的子图像的检测框的得分,并删除得分不满足预设条件的子图像的检测框。
在一个可选的示例中,在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,所述方法还包括训练深度卷积神经网络,其中,具体步骤如下:
至少确定深度卷积神经网络的层数、卷积核大小与个数;获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
需要说明的是:在确定深度卷积神经网络的层数、卷积核大小与个数之外,还可以继续确定网络结构、学习率、正则化等等。
进一步的,“通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理”可以通过如下过程得到实现:对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
进一步的,“对所述训练数据进行分割预处理”,可以通过如下过程得以实现:依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
下面结合另一种实施例对本发明的深度卷积神经网络的训练进行说明。
步骤1:确定深度卷积神经网络的层数、卷积核大小与个数,使其能够识别吊车、渣土车、泵车、挖掘机和推土机等工程车辆;
步骤2:采集在不同天气和场景下的不同车型图片和相同场景下不包含目标的图片,对图片进行标注;
步骤3:将采集到的图片随机划分为训练集、验证集和测试集;
步骤4:对训练集的图片进行分割预处理,步骤如下:
根据图片的分辨率将其分割为若干子图,比如按照行和列分割成m*n个子图;其中既包括有目标的子图,也包括无目标的子图;用真实目标框与每个子图计算IOU,公式如下:IOU=子图框∩真实目标框/子图框∪真实目标框;选取计算结果最大的子图,并对子图框的范围进行修改,确保整个目标都包含在子图内;将子图中无效的目标涂抹掉,其中,为确保子图中有效的目标不被涂抹,对于重叠部分,现将有效目标分割保存,再将无效目标抹除,最后将有效目标重新贴回子图中;最后,把修改后的子图(包含和不含目标的所有子图)重新制作为训练集并参数化;
步骤5:对深度卷积神经网络进行训练,得到训练后的网络模型及参数,所述深度卷积神经网络。
下面结合另一种实施例对本发明的深度卷积神经网络的使用进行说明。
步骤6:将待检测的图像分割为若干子图,比如按照行和列分割成m*n个子图;
步骤7:将子图的所有内边框向外扩充若干比例,保证相邻子图有重复部分,确保每个目标都能完整地出现在某个子图中;
步骤8:运行神经网络算法,对所有子图和原图进行检测;
步骤9:将子图和原图的检测结果通过某种算法进行合并,得到最终结果,标记在原图上,其中,具体的步骤如下:
计算原图检测框与子图检测框的IOU,大于阈值则删掉子图检测框;通过nms算法,计算子图的检测框之间的IOU,大于阈值则删掉得分小的检测框;若检测框位于图片边界,可以根据得分选择是否保留检测框。
综上所述,本申请主要针对图像中的小目标进行识别,即,采用分割预处理的数据对深度卷积神经网络进行训练,提高了深度卷积神经网络模型对小目标的识别能力;同时通过对分割后的子图像进行扩展处理,降低了分割造成的误检率;在图像检测时采用将图像分割成多个子图像的方式进行检测,适用于小目标检测,并大幅度减少了误检率;以及,采用NMS减少了重叠框的出现,提高了识别的准确率。
最后,经过实验验证,而本申请实施例所提供的图像识别方法可以对不同场景下的工程车辆进行精准识别,并通过调参在不增加检测成本的同时提高了识别的准确率。
也即,本申请实施例通过对训练数据进行分割等预处理,训练一个用于识别工程车辆的深度卷积神经网络模型,然后采用分割的方法对图像进行检测,最后将分类为工程车辆的区域进行标记示警。在保证对大目标识别正确的情况下,提升小目标的识别率,同时降低了误检率。
需要说明的是:本发明主要用于自动检测通道塔架场景图片中的工程车辆,通过对视频监控中目标较小工程车辆进行有效识别,提醒人们关注周围是否有违章施工,为预防通道塔架故障提供了科学依据,具备较大的实用价值。
图2是根据本发明实施例的图像识别装置的示意图,如图2所示,该装置包括:
分割单元21,用于对待识别图像进行分割处理,得到若干子图像;
扩充单元23,用于依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;
检测单元25,用于使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;
合并单元27,用于将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
可选的,所述分割单元21包括:分割子单元,用于依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
可选的,所述装置还包括:确定单元,用于在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,至少确定深度卷积神经网络的层数、卷积核大小与个数;获取单元,用于获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;训练单元,用于将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
可选的,所述训练单元包括:训练子单元,用于对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;验证子单元,用于使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
可选的,所述训练子单元,包括:分割模块,用于依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;计算模块,用于计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;确定模块,用于在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;修改模块,用于对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;涂抹模块,用于将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;制作模块,用于并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
在本发明实施例中,通过分割单元21对待识别图像进行分割处理,得到若干子图像;扩充单元23依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;检测单元25使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;合并单元27将所述若干子图像和所述待识别图像的检测结果进行合并处理,得到带有标记的待识别图像,其中,所述标记用于标识所述待识别图像中的目标对象,进而解决了主流目标检测算法对于小目标的检测效果很差,极容易出现漏检现象技术问题。
也即,在本发明实施例中针对小目标识别,通过将待识别图像分割为多个子图像的方式进行检测,使得本发明提供到图像识别方法更适用于小目标检测,大幅度降低了误检率,提供了识别准确率。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种图像识别方法,其特征在于,包括:
对待识别图像进行分割处理,得到若干子图像;
依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;
使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;
将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
2.根据权利要求1所述的图像识别方法,其特征在于,对待识别图像进行分割处理,得到若干子图像,包括:
依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
3.根据权利要求1所述的图像识别方法,其特征在于,在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,所述方法还包括:
至少确定深度卷积神经网络的层数、卷积核大小与个数;
获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;
将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
4.根据权利要求3所述的图像识别方法,其特征在于,通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,包括:
对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;
使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
5.根据权利要求4所述的图像识别方法,其特征在于,对所述训练数据进行分割预处理,包括:
依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;
计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;
在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;
对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;
将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;
并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
6.一种图像识别装置,其特征在于,包括:
分割单元,用于对待识别图像进行分割处理,得到若干子图像;
扩充单元,用于依据预设比例对所述若干子图像进行扩充处理,以确保所述待识别图像中的目标对象完整的出现在某个子图像中;
检测单元,用于使用训练好的深度卷积神经网络对所述若干子图像和所述待识别图像进行检测;
合并单元,用于将所述若干子图像和所述待识别图像的检测结果进行合并处理,以确定所述待识别图像中所识别出的目标对象的相关信息,其中,所述相关信息包括至少以下任意之一:所述目标对象在所述待识别图像中的标识标志、所述目标对象的地理坐标。
7.根据权利要求6所述的图像识别装置,其特征在于,所述分割单元,包括:分割子单元,用于依据预设行和预设列对所述待识别图像进行分割处理,得到m*n个子图像。
8.根据权利要求6所述的图像识别装置,其特征在于,所述装置还包括:
确定单元,用于在使用训练好的深度卷积神经网络对所述若干子图像进行识别处理之前,至少确定深度卷积神经网络的层数、卷积核大小与个数;
获取单元,用于获取多种天气场景下有目标对象的第一图片和多种天气场景下无目标对象的第二图片,并对所述第一图片和所述第二图片进行标注处理,以区分所述图片有无目标对象;
训练单元,用于将获取到的图片随机划分为训练数据和验证数据,并通过所述训练数据和所述验证数据对所述深度卷积神经网络进行训练验证处理,得到训练好的深度卷积神经网络。
9.根据权利要求8所述的图像识别装置,其特征在于,所述训练单元,包括:
训练子单元,用于对所述训练数据进行分割预处理,并使用分割预处理后的训练数据对所述深度卷积神经网络进行训练,得到初始深度卷积神经网络模型和其对应参数;
验证子单元,用于使用验证数据对所述初始深度卷积神经网络模型和其对应参数进行验证处理,得到训练好的深度卷积神经网络。
10.根据权利要求9所述的图像识别装置,其特征在于,所述训练子单元,包括:
分割模块,用于依据图片分辨率将所述图片分割为多个子图,其中,所述多个子图中包括至少以下任意之一:含有目标对象的第一子图、不含有目标对象的第二子图;
计算模块,用于计算每个第一子图与其包含的目标对象之间的重叠度,其中,计算公式如下:重叠度=第一子图框∩目标对象框/第一子图框∪目标对象框;
确定模块,用于在每个目标对象对应的至少一个第一子图中,确定重叠度最大的目标子图;
修改模块,用于对每个目标子图进行图框范围修改,以确保所述目标子图所包含的目标对象完整的显示于所述目标子图中;
涂抹模块,用于将所述目标子图和其他子图中的无效对象涂抹掉,并保留所述目标对象;
制作模块,用于并使用经过涂抹处理后的目标子图和其他子图重新制作为训练数据,并对所述训练数据进行参数化处理。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述图像识别方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述图像识别方法。
CN201911368806.5A 2019-12-26 2019-12-26 图像识别方法和装置 Active CN111191570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911368806.5A CN111191570B (zh) 2019-12-26 2019-12-26 图像识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368806.5A CN111191570B (zh) 2019-12-26 2019-12-26 图像识别方法和装置

Publications (2)

Publication Number Publication Date
CN111191570A true CN111191570A (zh) 2020-05-22
CN111191570B CN111191570B (zh) 2023-04-18

Family

ID=70709563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368806.5A Active CN111191570B (zh) 2019-12-26 2019-12-26 图像识别方法和装置

Country Status (1)

Country Link
CN (1) CN111191570B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797715A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术(沈阳)有限公司 车位检测方法、装置、电子设备及存储介质
CN113312936A (zh) * 2021-05-13 2021-08-27 阳光电源股份有限公司 一种图像定位标识识别方法及服务器
CN113469294A (zh) * 2021-09-02 2021-10-01 杭州实在智能科技有限公司 一种rpa机器人中图标检测方法及其系统
CN113657234A (zh) * 2021-08-10 2021-11-16 小叶子(北京)科技有限公司 图像识别方法、装置、存储介质及电子设备
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114199381A (zh) * 2021-12-13 2022-03-18 国网陕西省电力公司延安供电公司 一种改进红外检测模型的电气设备故障检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871124A (zh) * 2017-11-15 2018-04-03 陕西师范大学 一种基于深度神经网络的遥感图像目标检测方法
US20180330198A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for identifying a target object in an image
CN110119737A (zh) * 2018-02-07 2019-08-13 高德软件有限公司 一种目标检测方法及装置
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN110222641A (zh) * 2019-06-06 2019-09-10 北京百度网讯科技有限公司 用于识别图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330198A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for identifying a target object in an image
CN107871124A (zh) * 2017-11-15 2018-04-03 陕西师范大学 一种基于深度神经网络的遥感图像目标检测方法
CN110119737A (zh) * 2018-02-07 2019-08-13 高德软件有限公司 一种目标检测方法及装置
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN110222641A (zh) * 2019-06-06 2019-09-10 北京百度网讯科技有限公司 用于识别图像的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797715A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术(沈阳)有限公司 车位检测方法、装置、电子设备及存储介质
CN113312936A (zh) * 2021-05-13 2021-08-27 阳光电源股份有限公司 一种图像定位标识识别方法及服务器
CN113657234A (zh) * 2021-08-10 2021-11-16 小叶子(北京)科技有限公司 图像识别方法、装置、存储介质及电子设备
CN113657234B (zh) * 2021-08-10 2024-04-26 小叶子(北京)科技有限公司 图像识别方法、装置、存储介质及电子设备
CN113469294A (zh) * 2021-09-02 2021-10-01 杭州实在智能科技有限公司 一种rpa机器人中图标检测方法及其系统
CN113469294B (zh) * 2021-09-02 2022-05-03 杭州实在智能科技有限公司 一种rpa机器人中图标检测方法及其系统
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114199381A (zh) * 2021-12-13 2022-03-18 国网陕西省电力公司延安供电公司 一种改进红外检测模型的电气设备故障检测方法

Also Published As

Publication number Publication date
CN111191570B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111191570B (zh) 图像识别方法和装置
US11709058B2 (en) Path planning method and device and mobile device
Tan et al. Color model-based real-time learning for road following
CN106845321B (zh) 路面标记信息的处理方法和装置
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
CN109598794B (zh) 三维gis动态模型的构建方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN109377694B (zh) 社区车辆的监控方法及系统
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、系统、装置
CN110866455B (zh) 一种路面水体检测方法
CN105868708A (zh) 一种图像目标识别方法及装置
CN113989305A (zh) 目标语义分割方法及应用其的街道目标异常检测方法
CN112766069A (zh) 基于深度学习的车辆违停检测方法、装置及电子设备
Kluger et al. Region-based cycle-consistent data augmentation for object detection
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN110852236A (zh) 目标事件的确定方法及装置、存储介质、电子装置
CN110659546A (zh) 一种违法摊位检测方法及装置
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
CN110210428A (zh) 一种基于mser的远距离复杂环境下的烟雾根节点检测方法
CN115239644A (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN112330597A (zh) 一种图像差异检测方法、装置及计算机设备
CN111159150A (zh) 一种数据扩充方法及装置
CN113657264A (zh) 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant