CN115151950A - 图像识别方法、自移动设备及存储介质 - Google Patents
图像识别方法、自移动设备及存储介质 Download PDFInfo
- Publication number
- CN115151950A CN115151950A CN202280002338.3A CN202280002338A CN115151950A CN 115151950 A CN115151950 A CN 115151950A CN 202280002338 A CN202280002338 A CN 202280002338A CN 115151950 A CN115151950 A CN 115151950A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- pixel point
- sampling
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005070 sampling Methods 0.000 claims abstract description 153
- 238000010586 diagram Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种图像识别方法包括:获取待识别图像的图像特征图,所述图像特征图包括多个图像通道;对每个所述图像通道的像素点进行采样,得到每个所述图像通道对应的多个通道特征图,每个所述图像通道对应的多个通道特征图的像素点总数等于每个所述图像通道的像素点总数;将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图;对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种图像识别方法、自移动设备及计算机可读存储介质。
背景技术
这里的陈述仅提供与本申请有关的背景信息,而不必然地构成示例性技术。
随着计算机技术和人工智能技术的不断进步,自移动设备的自动工作系统已经开始慢慢的走进人们的生活。自移动设备在进行工作时,通常需要实时采集图像,并对图像进行区域分割和识别,从而实现确定工作区域以及进行工作区域内的路径规划等功能。例如可使用深度学习方法中的全景分割或者实例分割,对采集到的图像进行工作区域与非工作区域的分割,从而根据识别出的工作区域控制机器人的工作。但这种图像分割和识别方式的计算量较大,分割效率较低。
发明内容
本申请的各种实施例提供了一种图像识别方法、自移动设备及存储介质。
第一方面,本申请提供了一种图像识别方法,所述方法包括:
获取待识别图像的图像特征图,所述图像特征图包括多个图像通道;
对每个所述图像通道的像素点进行采样,得到每个图像通道对应的多个通道特征图;每个所述图像通道对应的多个通道特征图的像素点总数等于每个图像通道的像素点总数;
将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图;
对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
第二方面,本申请还提供了一种图像识别装置,所述装置包括:
图像获取模块,被配置为获取待识别图像的图像特征图,所述图像特征图包括多个图像通道;
通道采样模块,被配置为对每个所述图像通道的像素点进行采样,得到每个图像通道对应的多个通道特征图;每个所述图像通道对应的多个通道特征图的像素点总数等于每个图像通道的像素点总数;
输入确定模块,被配置为将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图;
卷积处理模块,被配置为对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
第三方面,本申请还提供了一种自移动设备,所述计算机设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像识别方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的图像识别方法。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其他特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像识别方法的示意流程图。
图2是本申请实施例提供的图像特征图的示意图。
图3a是本申请实施例提供的一图像通道的通道图的示意图。
图3b是本申请实施例提供的该图像通道对应的通道特征图的示意图。
图4是本申请实施例提供的得到通道特征图的示意流程图。
图5a是本申请实施例提供的一种待识别图像的示意图。
图5b是本申请实施例提供的一种待识别图像的识别结果的示意图。
图6是本申请实施例提供的一种图像识别装置的示意性框图。
图7是本申请实施例提供的一种自移动设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种图像识别方法、装置、自移动设备及存储介质。图像识别方法能够减少图像识别的计算量,从而提高图像识别的效率。其中,自移动设备可以是割草机、巡逻机器人和扫雷机器人等小型自移动设备,或者是环卫清洁自移动设备、送餐自移动设备和农业播种自移动设备。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种图像识别方法的示意流程图。该图像识别方法通过根据待识别图像的图像通道对待识别图像的图像特征图进行采样,得到通道特征图,并将通道特征图作为卷积处理的输入,得到识别结果,能够降低在进行卷积处理时输入的通道特征图的大小,进而减少图像识别的计算量,从而提高图像识别的效率。
如图1所示,该图像识别方法,具体包括步骤S101至步骤S104。
S101、获取待识别图像的图像特征图,图像特征图包括多个图像通道。
可以通过设置在自移动设备上的摄像装置来获取摄像装置所拍摄的待识别图像。例如,当自移动设备为割草机时,可以通过割草机上设置的摄像头来获取待识别图像,此时待识别图像为割草机所拍摄到的草地图像。或者通过蓝牙、WiFi或本地上传待识别图像,待识别图像的获取方式此处不做限定。图像特征图用于表征待识别图像的图像特征,既可以是待识别图像的原图,也可以是待识别图像经过特征提取之后得到的图,图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征。
图像特征图中包括多个图像通道,将每个图像通道所对应的通道图进行叠加构成了图像特征图。请参阅图2,图2是本申请实施例提供的图像特征图的示意图。如图2中所示,图像通道中可以包括图像通道1、图像通道2和图像通道3三个通道,将图像通道1、图像通道2和图像通道3各自对应的通道图叠加构成图像特征图。在具体实施过程中,多个图像通道例如可以是使用opencv(Open Source Computer Vision Library,跨平台的计算机视觉库)读取出的B图像通道、G图像通道和R图像通道三个图像通道。
S102、对每个图像通道的像素点进行采样,得到每个图像通道对应的多个通道特征图,每个图像通道对应的多个通道特征图的像素点总数等于每个图像通道的像素点总数。
针对图像特征图中的每一个图像通道,都对图像通道的通道图的像素点进行采样,从而得到每个图像通道所对应的多个通道特征图。
在进行采样后,得到的多个通道特征图中像素点的总数要与图像通道对应的通道图的像素点数相同,也即是说,在进行采样时,要将通道图中的每个像素点都进行采样,以保证采样得到的通道特征图中像素点的完整,进而保证待识别图像中图像信息的完整,不丢失图像信息。
请参阅图3a和图3b,图3a是本申请实施例提供的一图像通道的通道图的示意图,图3b是本申请实施例提供的该图像通道对应的通道特征图的示意图。如图3a中所示,该通道图中像素点上的数字表示像素点的标号。
在对该图像通道进行像素点采样时,可以将像素点1、像素点3、像素点9和像素点11作为采样得到的像素点,得到该图像通道对应的通道特征图11;将像素点2、像素点4、像素点10和像素点12作为采样得到的像素点,得到该图像通道对应的通道特征图12;将像素点5、像素点7、像素点13和像素点15作为采样得到的像素点,得到该图像通道对应的通道特征图13;将像素点6、像素点8、像素点14和像素点16作为采样得到的像素点,得到该图像通道对应的通道特征图14。
在进行多次采样,直至该图像通道的通道图中的像素点被全部采样后,停止采样,并将得到的通道特征图11、通道特征图12、通道特征图13和通道特征图14作为该图像通道所对应的通道特征图。
在一实施例中,请参阅图4,图4是本申请实施例提供的得到通道特征图的示意流程图。如图4中所示,步骤S102可以包括步骤S1021和步骤S1022。
S1021、对每个图像通道的像素点进行分组,得到每个图像通道的多个采样像素点组。
对于每一个图像通道,对该图像通道的通道图的像素点进行分组,得到每个图像通道所对应的多个采样像素点组。其中,每个采样像素点组中的像素点个数相同。
在具体实施过程中,可以对每个图像通道的通道图的像素点进行有序的采样分组。其中,采样方式可以是以一个像素点为起点进行间隔采样,还可以是以一组相邻的像素点为起点进行间隔采样。在具体实施过程中,当以一组相邻的像素点为起点进行间隔采样时,可以是将多个相邻的像素点作为一组,并以该组像素点作为起点进行间隔采样。例如,可以将图3a中相邻的像素点1和像素点5作为一组,进行隔1采样,那么采样得到的像素点组中包括像素点3和像素点7。
在一实施例中,对每个所述图像通道的像素点进行分组,得到每个所述图像通道的多个采样像素点组的步骤可以包括:
根据预设采样间隔N在图像通道的所有像素点中确定起始像素点集,起始像素点集为包括(N+1)*(N+1)个像素点的像素矩阵,像素矩阵的首个像素点为对应图像通道任一边界顶点;以起始像素点集中每个像素点为起始像素点,以预设采样间隔对图像通道的像素点进行采样,得到每个起始像素点的采样像素点组。
在进行采样时,对于一图像通道,首先从该图像通道的通道图中的像素点中确定起始像素点集,起始像素点集中包括多个像素点,起始像素点集中的每个像素点都是每次对该图像通道的通道图中的像素点进行采样时的采样起点,即每次采样的起始像素点。
在本申请实施例中,可以根据图像通道的通道图的边界和预设采样间隔N确定起始像素点集,即以为包括(N+1)*(N+1)个像素点的像素矩阵,像素矩阵的首个像素点为对应图像通道任一边界顶点。
在具体实施过程中,可以根据图像通道的通道图的任一边界顶点来确定一起始像素点,然后基于该起始像素点,按照预设采样间隔选择与该起始像素点附近的像素点也作为起始像素点,从而得到起始像素点集。
例如图3a中所示,可以根据图像通道的通道图的左上边界顶点中的像素点1、右上边界顶点中的像素点4、左下边界顶点中的像素点13和右下顶点中的像素点16,可以选择任一边界顶点作为像素矩阵的首个像素点。
若预设采样间隔N为1,以左上边界顶点中的像素点1为首个像素点,则获取(1+1)*(1+1)的像素矩阵,也即与1所在像素矩阵中的像素点2、像素点5和像素点6,并将这三个像素点也作为起始像素点,此时得到的起始像素点集中共有四个像素点,分别是像素点1、像素点2、像素点5和像素点6。
若预设采样间隔N为1,以右上边界顶点中的像素点4为首个像素点,则获取(1+1)*(1+1)的像素矩阵,也即与4所在像素矩阵中的像素点3、像素点7和像素点8,并将这三个像素点也作为起始像素点,此时得到的起始像素点集中共有四个像素点,分别是像素点3、像素点4、像素点7和像素点8。
确定起始像素点集后,根据起始像素点集中的起始像素点和预设采样间隔进行采样。具体来说,使用起始像素点集中的一个像素点作为采样起点,按照预设采样间隔对该图像通道的通道图中的像素点进行采样,并在本次采样完成时将本次采样得到的像素点作为一个采样像素点组,然后使用起始像素点集中的另一个像素点作为采样起点进行下一次采样,直至起始像素点集中的所有像素点都被使用完毕,即可得到一个图像通道所对应的多个采样像素点组。对于每个图像通道都执行上述过程,即可得到每个图像通道所对应的多个采样像素点组。
在具体实施过程中,预设采样间隔可以是预先设置好的,预设采样间隔数值的设置需要使得在采样完成后,每个采样像素点组中的像素点个数相同。
由于预设采样间隔数值的设置需要保证在采样完成后,每个采样像素点组中的像素点个数相,因此,在一实施例中,所述获取待识别图像的图像特征图的步骤可以包括:对待识别图像进行预处理,所述预处理包括调整待识别图像的分辨率;将预处理后的待识别图像进行特征提取,得到图像特征图。
其中,对待识别图像进行预处理还可以包括对待识别图像进行裁剪、平滑处理、滤波处理等,通过对待识别图像进行预处理,能够消除待识别图像中无关的信息,提取有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而提高图像识别的可靠性。
对于一幅图像来说,图像的分辨率越高,图像中像素点的个数越多,图像也就越清晰。在对待识别图像进行图像识别之前,调整待识别图像的分辨率,将需要进行图像识别的待识别图像调整为预设的分辨率,从而使对待识别图像进行图像识别时,参与图像识别的像素点的个数相同,也就无需根据待识别图像的分辨率大小来调节预设采样间隔的数值,从而能够在后续进行图像识别时,减少图像识别的计算量。也就是说,通过对待识别图像的预处理使得待识别图像中像素点的个数一致,进而在对待识别图像进行采样时,保证以相同的采样间隔能够适应全部的待识别图像,而无需根据每个待识别图像的大小来调整采样间隔,进而减少图像识别时的计算量,从而提高图像识别的效率。
下面结合图3a和图3b对上述的采样方式进行举例说明。若将预设采样间隔设置为1,且起始像素点集中的起始像素点包括像素点1、像素点2、像素点5和像素点6,那么采样过程为:
将起始像素点集中的像素点1作为起始像素点进行采样,从像素点1开始进行横向的隔1采样,得到的采样像素点为像素点3,此时在第一排像素点中无其他可采样点;从像素点1所在位置进行纵向的隔1采样,得到的采样像素点为像素点9,然后再进行横向的隔1采样,得到的采样像素点为像素点11,此时第三排像素点中无其他可采样点;此时在以像素点1作为起始像素点时,该图像通道的通道图中的像素点无其他可采样点,完成本次采样,得到以像素点1为起始像素点的采样像素点组,该采样像素点组中包括像素点1、像素点3、像素点9和像素点11。
将起始像素点集中的像素点2作为起始像素点进行采样,从像素点2开始进行横向的隔1采样,得到的采样像素点为像素点4,此时在第一排像素点中无其他可采样的像素点;从像素点2所在位置进行纵向的隔1采样,得到的采样的像素点为像素点10,然后再进行横向的隔1采样,得到的采样的像素点为像素点12,此时第三排像素点中无其他可采样点;此时在以像素点2作为起始像素点时,该图像通道的通道图中的像素点无其他可采样点,完成本次采样,得到以像素点2为起始像素点的采样像素点组,该采样像素点组中包括像素点2、像素点4、像素点10和像素点12。
将起始像素点集中的像素点5作为起始像素点进行采样,从像素点5开始进行横向的隔1采样,得到的采样像素点为像素点7,此时在第一排像素点中无其他可采样的像素点;从像素点5所在位置进行纵向的隔1采样,得到的采样像的素点为像素点13,然后再进行横向的隔1采样,得到的采样的像素点为像素点15,此时第三排像素点中无其他可采样的像素点;此时在以像素点5作为起始像素点点时,该图像通道的通道图中的像素点无其他可采样的像素点,完成本次采样,得到以像素点5为起始像素点的采样像素点组,该采样像素点组中包括像素点5、像素7、像素点13和像素点15。
将起始像素点集中的像素点6作为起始像素点进行采样,从像素点6开始进行横向的隔1采样,得到的采样的像素点为像素点8,此时在第一排像素点中无其他可采样的像素点;从像素点6所在位置进行纵向的隔1采样,得到的采样的像素点为像素点14,然后再进行横向的隔1采样,得到的采样的像素点为像素点16,此时第三排像素点中无其他可采样点;此时在以像素点6作为起始像素点时,该图像通道的通道图中的像素点无其他可采样的像素点,完成本次采样,得到以像素点6为起始像素点的采样像素点组,该采样像素点组中包括像素点6、像素点8、像素点14和像素点16。
S1022、将每个图像通道的采样像素点组中的像素点进行组合,得到每个图像通道对应的多个通道特征图。
在得到每个图像通道的多个采样像素点组后,将每个采样像素点组中的像素点组合为图像,即可得到每个图像通道对应的多个通道特征图。也就是说,对于每一个图像通道,其采样像素点的个数与得到的通道特征图的个数相同,例如一图像通道采样得到了4个像素点组,那么该图像通道对应的通道特征图的个数也为4个。
在一实施例中,将每个图像通道的采样像素点组中的像素点进行组合,得到每个图像通道对应的多个通道特征图的步骤可以包括:
对每个采样像素点组,根据采样像素点组中各个像素点在图像特征图中的位置,将各个像素点进行拼接,得到采样像素点组的通道特征图;完成所有采样像素点组的像素点拼接,得到每个图像通道对应的多个通道特征图。
对于每一个采样像素点组,在将采样像素点组中的像素点进行组合时,可以根据采样像素点组中各个像素点在图像特征图中的位置进行组合,以使得到的图像特征图中的特征信息不丢失。对每个图像通道中的多个像素点组中的像素点,分别按照各个像素点在图像特征图中的位置进行像素点拼接,并在所有的像素点组都拼接完毕后,得到每个图像通道对应的多个通道特征图。
如图3a和图3b中所示,例如在将一采样像素点组中的像素点6、像素点8、像素点14和像素点16进行组合时,可以根据这四个像素点在图像特征图中的位置,也即像素点6在像素点8的左侧,像素点6在像素点14的上侧,像素点16在像素点14的右侧,像素点16在像素点8的下侧,基于该位置关系对这四个像素点进行拼接,即可得到如图3b中的通道特征图14。
S103、将图像特征图对应的所有通道特征图作为卷积处理的输入特征图。
图像特征图所对应的所有通道特征图即为每个图像道对应的多个通道特征图的集合,将每个图像道对应的多个通道特征图进行叠加,将叠加后的通道特征图作为卷积处理的输入特征图,以使图像识别卷积网络能够对这些通道特征图进行卷积处理。
在对图像特征图按照图像通道进行像素点采样后,将采样得到的像素点进行拼接作为通道特征图,缩小了每个通道特征图的大小,使得得到的通道特征图的大小相对于原图像特征图缩小了n倍,并且增加了输入特征图的图像通道的数量。
例如,分辨率大小为320*320,通道数为3的图像特征图,通过隔1采样的方式对像素点进行采样,并将得到的采样像素点进行组合,得到的每个通道特征图的大小为160*160,降低为原来图像特征图的1/4倍,通道特征图的宽度和高度都降低为原来的1/2倍同时,通过上述采样和组合后,每个通道图对应可以得到4个通道特征图,在将每个图像道对应的多个通道特征图进行叠加后,用于进行卷积处理的输入特征图的图像通道的数量扩大为原来的4倍。
由此可见,通过按照图像通道进行像素点采样以及拼接,得到的通道特征图,保证了图像识别卷积网络的输入特征图没有信息损失,能够在保证图像信息不丢失的前提下,减小输入图像识别卷积网络的输入特征图的大小。并且对每个图像道对应的多个通道特征图进行叠加,增加了用于进行卷积处理的输入特征图的图像通道的数量,也能够减少图像识别卷积网络在进行图像识别时的计算量,达到提高图像识别速度的目的。
S104、对输入特征图进行预设次卷积处理,得到待识别图像的识别结果。
图像识别卷积网络对输入特征图进行预设次数的卷积处理,从而得到待识别图像的识别结果。其中,待识别图像的识别结果包括识别出待识别图像中不同区域的图像边界,以及对待识别图像进行图像分割后的识别结果。
在具体实施过程中,由于输入特征图中包括多个通道特征图,在进行卷积处理时,是分别对每个通道特征图进行卷积处理,也就会得到多个卷积处理结果,可以将多个卷积处理结果进行特征融合,从而得到最终的待识别图像的识别结果。在对每一个通道特征图进行卷积处理后,都会得到一个预识别结果,需要将多个通道特征图所对应的多个预识别结果进行拼接,才能得到最终的识别结果。
在具体实施过程中,例如可以采用resnet50残差网络作为图像识别卷积网络的主干网络,对分辨率为320*320,图像通道数为3的待识别图像进行图像识别,并且,在resnet50网络的第二层中对待识别图像的图像特征图进行处理,从而得到通道特征图,并将通道特征图作为resnet50网络的输入数据,进行卷积处理。
如表1中所示,分别为将通道特征图作为resnet50网络的输入数据时图像识别卷积网络在每层的输出数据的大小和通道数,以及将待识别图像的图像特征图作为resnet50网络的输入数据时图像识别卷积网络在每层的输出数据的大小和通道数的对比。
表1
层数 | 通道特征图为输入数据 | 图像特征图为输入数据 |
1 | 320*320*32 | 320*320*32 |
2 | 160*160*64 | 320*320*64 |
3 | 80*80*128 | 160*160*128 |
4 | 40*40*256 | 80*80*256 |
5 | 20*20*512 | 40*40*512 |
6 | 10*10*1024 | 20*20*1024 |
由于在resnet50网络的第二层对待识别图像的图像特征图进行处理,得到了通道特征图,并将得到的通道特征图作为第二层的输入数据,因此从表1中可以看出,使用图像特征图作为resnet50网络的输入数据与使用通道特征图作为resnet50网络的输入数据相比,虽然两者在resnet50网络的每层得到的输出数据的输出通道数相同,但输出特征图的大小相差4倍,也即,使用通道特征图作为resnet50网络的输入数据时,resnet50网络从第二层开始每层的输出特征图的大小,仅仅是使用图像特征图作为resnet50网络的输入数据所得到的输出特征图大小的1/4,输出特征图的大小变小使得卷积的计算量更小,模型推理速度更快。
可以理解的是,对于不同深度的卷积网络,可以选择在卷积网络的不同深度位置对待识别图像的图像特征图进行处理,从而得到通道特征图,例如,可以在resnet50网络的第2层对待识别图像的图像特征图进行处理,得到通道特征图。
由此可见,对待识别图像的图像特征图进行处理,并将得到的通道特征图作为输入特征图,能够降低每层卷积网络输出数据的大小,而根据模型参数计算公式可知,模型参数量param越小,卷积的计算量也就越小,进而使得图像识别卷积网络的推理速度更快。
其中,模型参数计算公式为:param=n*(c*h*w),其中,n表示图像识别卷积网络的层数,c表示图像识别卷积网络每层输入数据的图像通道数,w表示图像识别卷积网络每层输入数据的宽,h表示图像识别卷积网络每层输入数据的高。
在本申请实施例中,继续以割草机器人为例,除了可以采用上述的resnet50网络作为图像识别卷积网络的主干网络外,也可以采用实例分割算法模型Yolact,同样通过对分辨率为320*320,图像通道数为3的待识别图像进行图像识别,并且,对Yolact模型中的浅层网络层中图像特征图的图像通道的像素点进行采样,从而得到通道特征图,进而将通道特征图作为浅层网络层的下一网络层的输入数据,进行卷积处理,识别速度达到6FPS到8FPS之间,准确率几乎不变,而现有识别可实行区域的速度2FPS到3FPS之间。
在一实施例中,对输入特征图进行预设次卷积处理,以得到待识别图像的识别结果的步骤可以包括:对输入特征图进行预设次的卷积计算;将卷积计算得到的结果进行归一化处理,得到待识别图像的识别结果。
对输入图像识别卷积网络的输入特征图进行预设次的卷积计算,然后将卷积计算的结果进行归一化处理,在归一化处理后得到待识别图像的识别结果。
在一实施例中,待识别图像的识别结果包括目标区域。在步骤S104之后,该图像识别方法还包括:获取目标区域的颜色特征;根据颜色特征对目标区域进行掩膜处理,得到目标区域的掩模图。在一实施例中,待识别图像的识别结果包括目标区域。在步骤S104之后,该图像识别方法还包括:获取目标区域的标签;根据目标区域的标签对目标区域进行掩膜处理,得到目标区域的掩模图。
其中,目标区域是指自移动设备的可移动区域。当自移动设备为割草机器人时,自移动设备获取到的待识别图像如图5a中所示,可以将绿草区域和黄色枯草区域作为割草机器人的可移动区域,可移动区域表示割草机器人作业的草地区域,不可移动区域为非草地区域,例如树木,沿边小道,移动的车等。在经过图像识别后,得到的图像识别结果如图5b中所示,其中,目标区域为图5b中的白色区域,即为可移动区域,黑色区域为不可移动区域,白色区域和黑色区域的交界处即为草地边缘。或者按照标签对目标区域进行标记,例如,对可移动区域均标记为1,将不可移动区域标记为0。将同一颜色特征的目标区域做同样的掩膜,或者将同一标签的目标区域做相同的掩膜。当割草机器人在可移动区域内移动时,由于可移动区域内可能存在障碍物等影响割草机器人移动的物体,因此,可以获取目标区域的颜色特征,从而根据目标区域的颜色特征对目标区域进行掩膜处理,或者根据目标区域的标签对目标区域进行掩膜处理,以得到目标区域的掩膜图,并可以根据掩膜图呈现草地边缘,使得在对目标区域内的物体进行识别时,避免割草机器人走出草地边缘,便于进行路径规划或障碍物识别等,进而提高路径规划与自动避障的效率。上述实施例提供的图像识别方法,对图像特征图中的每个图像通道的像素点进行采样,使得获取的通道特征图中的像素点不仅保留了图像特征图的信息,还增加了图像通道的数量,保证了待识别图像中图像信息的完整性,同时,由于经过采样得到的通道特征图的尺寸小于图像特征图,使得当将通道特征图作为卷积处理的输入特征图时,在不丢失图像信息的基础上,大大减少了图像识别的计算量,从而提高图像识别的效率。
请参阅图6,图6是本申请的实施例还提供一种图像识别装置的示意性框图,该图像识别装置用于执行前述的图像识别方法。其中,该图像识别装置可以配置于自移动设备中。
其中,服务器可以为独立的服务器,也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
如图6所示,图像识别装置200包括:图像获取模块201、通道采样模块202、输入确定模块203和卷积处理模块204。
图像获取模块201,被配置为获取待识别图像的图像特征图,所述图像特征图包括多个图像通道。
通道采样模块202,被配置为对每个所述图像通道的像素点进行采样,得到每个图像通道对应的多个通道特征图,每个所述图像通道对应的多个通道特征图的像素点总数等于每个图像通道的像素点总数。
输入确定模块203,被配置为将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图。
卷积处理模块204,被配置为对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的图像识别装置和各模块的具体工作过程,可以参考前述图像识别方法实施例中的对应过程,在此不再赘述。
上述的图像识别装置可以实现为一种计算机程序的形式,该计算机程序可以在如图7所示的自移动设备上运行。
请参阅图7,图7是本申请实施例提供的一种自移动设备的结构示意性框图。该自移动设备可以是割草机、巡逻机器人、扫雷机器人等小型自移动设备。
参阅图7,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种图像识别方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种图像识别方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取待识别图像的图像特征图,所述图像特征图包括多个图像通道。
对每个所述图像通道的像素点进行采样,得到每个所述图像通道对应的多个通道特征图,每个所述图像通道对应的多个通道特征图的像素点总数等于每个所述图像通道的像素点总数。
将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图。
对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
在一个实施例中,所述处理器在实现所述对每个所述图像通道的像素点进行采样,得到每个所述图像通道对应的多个通道特征图时,用于实现:
对每个所述图像通道的像素点进行分组,得到每个所述图像通道的多个采样像素点组。
将每个所述图像通道的所述采样像素点组中的像素点进行组合,得到每个所述图像通道对应的多个通道特征图。
在一个实施例中,所述处理器在实现所述对每个所述图像通道的像素点进行分组,得到每个所述图像通道的多个采样像素点组时,用于实现:
根据预设采样间隔N在所述图像通道的所有像素点中确定起始像素点集,所述起始像素点集为包括(N+1)*(N+1)个像素点的像素矩阵,所述像素矩阵的首个像素点为对应图像通道任一边界顶点。
以所述起始像素点集中每个像素点为起始像素点,以预设采样间隔对所述图像通道的像素点进行采样,得到每个所述起始像素点的采样像素点组。
在一个实施例中,所述处理器在实现所述将每个所述图像通道的所述采样像素点组中的像素点进行组合,得到每个所述图像通道对应的多个通道特征图时,用于实现:
对每个所述采样像素点组,根据所述采样像素点组中各个像素点在所述图像特征图中的位置,将各个像素点进行拼接,得到所述采样像素点组的通道特征图。
完成所有所述采样像素点组的像素点拼接,得到每个所述图像通道对应的多个通道特征图。
在一个实施例中,所述处理器在实现所述获取待识别图像的图像特征图时,用于实现:
对待识别图像进行预处理,所述预处理包括调整所述待识别图像的分辨率。
将预处理后的待识别图像进行特征提取,得到图像特征图。
在一个实施例中,所述处理器在实现所述对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果时,用于实现:
对所述输入特征图进行预设次的卷积计算。
将卷积计算得到的结果进行归一化处理,得到待识别图像的识别结果。
在一个实施例中,所述处理器在实现所述待识别图像的识别结果包括目标区域,在对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果之后,用于实现:
获取所述目标区域的颜色特征。
根据所述颜色特征对所述目标区域进行掩膜处理,得到所述目标区域的掩模图。
在一个实施例中,所述处理器在实现所述待识别图像的识别结果包括目标区域,在对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果之后,用于实现:
获取所述目标区域的标签;
根据所述目标区域的标签对所述目标区域进行掩膜处理,得到所述目标区域的掩模图。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项图像识别方法。
其中,所述计算机可读存储介质可以是前述实施例所述的自移动设备的内部存储单元,例如所述自移动设备的硬盘或内存。所述计算机可读存储介质也可以是所述自移动设备的外部存储设备,例如所述自移动设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像识别方法,所述方法包括:
获取待识别图像的图像特征图,所述图像特征图包括多个图像通道;
对每个所述图像通道的像素点进行采样,得到每个所述图像通道对应的多个通道特征图,每个所述图像通道对应的多个通道特征图的像素点总数等于每个所述图像通道的像素点总数;
将所述图像特征图对应的所有通道特征图作为卷积处理的输入特征图;
对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果。
2.根据权利要求1所述的图像识别方法,其中,所述对每个所述图像通道的像素点进行采样,得到每个所述图像通道对应的多个通道特征图,包括:
对每个所述图像通道的像素点进行分组,得到每个所述图像通道的多个采样像素点组;
将每个所述图像通道的所述采样像素点组中的像素点进行组合,得到每个所述图像通道对应的多个通道特征图。
3.根据权利要求2所述的图像识别方法,其中,所述对每个所述图像通道的像素点进行分组,得到每个所述图像通道的多个采样像素点组,包括:
根据预设采样间隔N在所述图像通道的所有像素点中确定起始像素点集,所述起始像素点集为包括(N+1)*(N+1)个像素点的像素矩阵,所述像素矩阵的首个像素点为对应图像通道任一边界顶点;
以所述起始像素点集中每个像素点为起始像素点,以预设采样间隔对所述图像通道的像素点进行采样,得到每个所述起始像素点的采样像素点组。
4.根据权利要求2所述的图像识别方法,其中,所述将每个所述图像通道的所述采样像素点组中的像素点进行组合,得到每个所述图像通道对应的多个通道特征图,包括:
对每个所述采样像素点组,根据所述采样像素点组中各个像素点在所述图像特征图中的位置,将各个像素点进行拼接,得到所述采样像素点组的通道特征图;
完成所有所述采样像素点组的像素点拼接,得到每个所述图像通道对应的多个通道特征图。
5.根据权利要求1所述的图像识别方法,其中,所述获取待识别图像的图像特征图,包括:
对待识别图像进行预处理,所述预处理包括调整所述待识别图像的分辨率;
将预处理后的待识别图像进行特征提取,得到图像特征图。
6.根据权利要求1所述的图像识别方法,其中,所述对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果,包括:
对所述输入特征图进行预设次的卷积计算;
将卷积计算得到的结果进行归一化处理,得到待识别图像的识别结果。
7.根据权利要求1-6任意一项所述的图像识别方法,其中,所述待识别图像的识别结果包括目标区域,在对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果之后,所述方法还包括:
获取所述目标区域的颜色特征;
根据所述颜色特征对所述目标区域进行掩膜处理,得到所述目标区域的掩模图。
8.根据权利要求3所述的图像识别方法,其中,所述待识别图像的识别结果包括目标区域,在对所述输入特征图进行预设次卷积处理,得到所述待识别图像的识别结果之后,所述方法还包括:
获取所述目标区域的标签;
根据所述目标区域的标签对所述目标区域进行掩膜处理,得到所述目标区域的掩模图。
9.一种自移动设备,所述自移动设备包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的图像识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8中任一项所述的图像识别方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/096975 WO2023231022A1 (zh) | 2022-06-02 | 2022-06-02 | 图像识别方法、自移动设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115151950A true CN115151950A (zh) | 2022-10-04 |
Family
ID=83416098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280002338.3A Pending CN115151950A (zh) | 2022-06-02 | 2022-06-02 | 图像识别方法、自移动设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115151950A (zh) |
WO (1) | WO2023231022A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161250A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智宇航科技有限公司 | 一种多尺度遥感图像密集房屋检测方法及装置 |
WO2020233010A1 (zh) * | 2019-05-23 | 2020-11-26 | 平安科技(深圳)有限公司 | 基于可分割卷积网络的图像识别方法、装置及计算机设备 |
CN114359382A (zh) * | 2021-11-16 | 2022-04-15 | 海宁集成电路与先进制造研究院 | 基于深度学习的合作目标靶球检测方法及相关装置 |
CN114373117A (zh) * | 2021-12-30 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置及系统 |
CN114494918A (zh) * | 2020-11-11 | 2022-05-13 | 京东方科技集团股份有限公司 | 目标识别方法及系统、可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113156924A (zh) * | 2020-01-07 | 2021-07-23 | 苏州宝时得电动工具有限公司 | 自移动设备的控制方法 |
US20210255638A1 (en) * | 2020-02-19 | 2021-08-19 | Positec Power Tools (Suzhou) Co., Ltd. | Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System |
CN113344849B (zh) * | 2021-04-25 | 2023-01-24 | 山东师范大学 | 一种基于YOLOv5的微乳头检测系统 |
CN113256607B (zh) * | 2021-06-17 | 2021-10-19 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
CN114494990A (zh) * | 2021-12-21 | 2022-05-13 | 长视科技股份有限公司 | 一种目标检测方法、系统、终端设备及存储介质 |
-
2022
- 2022-06-02 CN CN202280002338.3A patent/CN115151950A/zh active Pending
- 2022-06-02 WO PCT/CN2022/096975 patent/WO2023231022A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020233010A1 (zh) * | 2019-05-23 | 2020-11-26 | 平安科技(深圳)有限公司 | 基于可分割卷积网络的图像识别方法、装置及计算机设备 |
CN111161250A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智宇航科技有限公司 | 一种多尺度遥感图像密集房屋检测方法及装置 |
CN114494918A (zh) * | 2020-11-11 | 2022-05-13 | 京东方科技集团股份有限公司 | 目标识别方法及系统、可读存储介质 |
CN114359382A (zh) * | 2021-11-16 | 2022-04-15 | 海宁集成电路与先进制造研究院 | 基于深度学习的合作目标靶球检测方法及相关装置 |
CN114373117A (zh) * | 2021-12-30 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2023231022A1 (zh) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
JP7307743B2 (ja) | 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法 | |
WO2020164092A1 (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
WO2020107687A1 (zh) | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
WO2021017283A1 (zh) | 基于离线型的在线跟踪方法、装置、计算机设备及存储介质 | |
CN111008561B (zh) | 一种牲畜的数量确定方法、终端及计算机存储介质 | |
CN112380926B (zh) | 一种田间除草机器人除草路径规划系统 | |
WO2021174940A1 (zh) | 人脸检测方法与系统 | |
CN113780357B (zh) | 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法 | |
CN109344843A (zh) | 水稻秧苗行线提取方法、装置、计算机设备和存储介质 | |
CN111161090A (zh) | 圈养栏信息的确定方法、装置及系统、存储介质 | |
CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN114509785A (zh) | 三维物体检测方法、装置、存储介质、处理器及系统 | |
KR20210047230A (ko) | 생성적 적대 신경망을 이용한 과수 병충해 분류 시스템 및 방법 | |
CN115294539A (zh) | 多任务检测方法及装置、存储介质、终端 | |
CN116152177A (zh) | 疫木识别方法、装置、计算机设备及计算机可读存储介质 | |
CN111914596A (zh) | 车道线检测方法、装置、系统及存储介质 | |
CN114863381A (zh) | 一种割草区域的识别方法、装置、电子设备及存储介质 | |
CN115151950A (zh) | 图像识别方法、自移动设备及存储介质 | |
CN112435274A (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 | |
CN115294472A (zh) | 果实产量估计方法、模型训练方法、设备及存储介质 | |
CN115240150A (zh) | 基于单目相机的车道偏离预警方法、系统、设备及介质 | |
CN114494319A (zh) | 基于遥感图像的沙丘形状提取方法和装置 | |
CN113284165A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |