CN109859158A - 一种基于视觉的工作区域边界的检测系统、方法及机器设备 - Google Patents
一种基于视觉的工作区域边界的检测系统、方法及机器设备 Download PDFInfo
- Publication number
- CN109859158A CN109859158A CN201811428294.2A CN201811428294A CN109859158A CN 109859158 A CN109859158 A CN 109859158A CN 201811428294 A CN201811428294 A CN 201811428294A CN 109859158 A CN109859158 A CN 109859158A
- Authority
- CN
- China
- Prior art keywords
- working region
- image
- neural network
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000003062 neural network model Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的工作区域边界的检测系统、方法及机器设备,本方案在实现时,首先将构建的神经网络模型基于训练数据集进行自主训练学习,提取和学习相应的工作区域特征;接着将完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。本发明提供的方案基于神经网络的机器视觉技术,通过前期对工作区域特征的提取和学习,能够高效的识别出工作区域的边界,对光照等环境的变化具有较强的鲁棒性。
Description
技术领域
本发明涉及机器视觉技术,具体涉及基于机器视觉的工作区域边界检测技术。
背景技术
随着机器视觉的发展和普及,越来越多的自主工作机器人使用机器视觉来感知周围的环境和工作区域,比如说植保无人机,物流仓储机器人,电力巡检机器人,厂区安防机器人,园林草坪修剪机器人等。而在这些自主机器人工作时,由于技术的限制,经常出现机器人驶出特定的工作区域,给其他区域造成了一定的风险和安全隐患。其中主要原因是现有的机器视觉技术不能实时的,准确的检测出工作区域的边界。
现有通过机器视觉技术来检测工作区域边界方案,主要采用的方法是颜色匹配法和形状分割法。这样的方式在实现过程中存在对光照等环境变化敏感,识别准确率不高等问题;同时这样的方案很难达到实时检测,需要高昂的硬件支持,性价比不高。如此问题,造成现有自主工作机器人感知周围环境和/或工作区域的精度差,大大影响整个自主工作机器人的性能。
发明内容
针对现有自主工作机器人所采用的检测工作区域边界方案所存在问题,需要一种高精度的工作区域边界检测方案。
为此,本发明的目的在于提供一种基于视觉的工作区域边界的检测系统,并据此进一步提供一种工作区域边界的检测方法以及采用该工作区域边界检测方案的机器设备。
为了达到上述目的,本发明提供的基于视觉的工作区域边界的检测系统,包括处理器,以及存储有计算机程序的计算机可读介质,所述计算机程序被处理器执行时:
构建的神经网络模型基于训练数据集进行自主训练学习,提取和学习相应的工作区域特征;
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。
进一步的,所述检测系统中的神经网络模型包括多层卷积层,池化层以及输出层,所述多层卷积层与池化层进行堆叠,完成图像特征提取所述输出层在神经网络模型训练学习阶段更新参数,并在模型部署和实时语义分割阶段输出图片分割结果后的图像。
进一步的,所述池化层对多层卷积层的输出特征进行特征统计和数据降维,沿图像行和列的方向上进行统计,抽取N个像素的最大值作为该区域的统计特征,同时将数据量降维到原来的N分之一。
进一步的,所述神经网络模型中还包括空洞卷积层,所述空洞卷积层由若干空洞卷积子层之间并列形成,并设置在池化层之后,通过空洞卷积提取元素中间有相同的间隙,以扩大特征提取的视野,保留图像全局信息。
进一步的,所述神经网络模型中还设置有上采样单元层,该上采样单元层设置在输出层前,通过连续上采样层对降维后的图像抽象内容进行升维,对图像细节内容进行恢复。
为了达到上述目的,本发明提供的基于视觉的工作区域边界的检测方法,包括:
构建的神经网络模型基于训练数据集进行自主训练学习,提取和学习相应工作区域特征;
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。
进一步的,通过获取室外真实工作场景的图片并对图片进行预处理,根据目标对象的类别分割图片制作形成训练数据集。
进一步的,神经网络模型通过训练数据集进行训练,主要包括:
初始化,确定神经网络模型中的神经网络层数和每一层网络的初始参数;
将训练数据集中的图像输入初始化的神经网络模型中进行参数计算;
将输出结果与图像标签进行比对,计算得到神经网络参数的更新值,并更新神经网络模型中相关的参数;
重复上述步骤直到效果最佳,完成神经网络模型训练。
进一步的,所述检测方法在对实时采集的视频图像进行图像语义分割,识别工作区域边界时,包括:
经过训练的深度神经网络模型对实时采集的视频图像进行特征提取;
深度神经网络模型对提取的特征数据进行数据统计及降维;
深度神经网络模型通过模型推理输出图片分割图像。
进一步的,所述深度神经网络模型进行模型推理时,针对实时输入的图像计算图像中每个像素点属于训练集中各类别的概率,将该像素点标记为最大概率的类别,据此完成图像中所有像素点标记,得到对应的分割图像。
进一步的,在通过模型推理形成分割图像时,将相同分类由同样颜色组成,在所得到的分割图像中,目标分类颜色与其他色块的交界线作为需要检测的工作区域的边界。
为了达到上述目的,本发明提供的机器设备,所述机器设备上设置有上述的基于视觉的工作区域边界的检测系统。
本发明提供的方案基于神经网络的机器视觉技术,通过前期对工作区域特征的提取和学习,能够高效的识别出工作区域的边界,对光照等环境的变化具有较强的鲁棒性。
同时,本方案中采用的精简的神经网络结构保证了在嵌入式平台上也有不错的实时性,非常适合搭载于室外移动机器人平台,如无人机,室外轮式机器人等。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例中构建的神经网络结构示意图;
图2为本发明实例中获取到的原始图的示例图;
图3为本发明实例中针对原始图实时输出的结果图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
本方案基于神经网络技术来对摄像头采集的视频图像进行图像语义分割, 由此来实现精确感知环境,识别工作区域的边界。
据此原理,本方案构建相应的神经网络模型,同时获取真实的工作场景图片来构成相应的训练数据集,再利用该训练数据集对构成的神经网络模型进行自主训练学习,提取和学习相应的工作区域特征,由此得到经过训练的深度神经网络模型。
在应用时,由训练得到的深度神经网络模型基于训练学习提取的工作区域特征对采集工作环境的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。
参见图1,其所示为本方案基于上述原理所构建的一种神经网络结构示例。
该示例中给出的神经网络模型主要由多层卷积层、池化层,以及输出层相互配合构成。
本神经网络模型中的多层卷积层与池化层进行堆叠,完成图像特征提取;而输出层用于在训练学习阶段更新参数,以及在模型部署和实时语义分割阶段输出图片分割结果后的图像。
这里的多层卷积层用于对输入的图像文件进行多次卷积,每个卷积都有制定大小的卷积核,例如3x3,5x5等,卷积层通过计算提取卷积核大小的图像特征。提取的图像特征包括但不限于图像颜色深浅、纹理特征,轮廓特征和边缘特征。
这里的池化层用于对多层卷积层输出的不同的图像特征进行特征统计和数据降维。本池化层在进行特征统计和数据降维时,沿图像行和列的方向上进行统计,抽取N个像素的最大值作为该区域的统计特征,同时将数据量降维到原来的N分之一。作为举例,本方案中的池化层沿图像行和列的方向上,每两个像素进行统计,抽取四个像素的最大值作为该区域的统计特征,同时将数据量降维到原来的四分之一。
本方案采用多层卷积层和池化层来提取图像特征,不仅能够保持较高的准确度且能够大幅减少计算量,使得本方案能够适用于无法支持过量矩阵计算的嵌入式平台。
这里的输出层计算得到每个像素点属于训练集中各类别的概率,在训练学习阶段更新参数,在实时语义分割阶段输出图片分割图像。
作为举例,本输出层可采用softmax函数:
loss=-logσ(z)j (2);
其中,K表示共有K个分类,j表示第j个分类,zj表示通过模型计算第j个分类的数值,Zk表示通过模型计算第k个分类的数值,对所有K个分类数值进行计算累加;
公式(1)为softmax表达式,计算得到第j个分类的概率;
公式(2)为softmaxloss计算损失表达,在训练过程中通过反向传播更新模型参数值。
由此构成的输出层在训练学习阶段,将计算所得概率与图片标签做比对,用公式(2)损失值更新模型参数;在实时语义分割阶段将像素点标记为计算所得最大概率的类别,据此完成图像中所有像素点标记,输出对应的分割图像。
在上述神经网络模型方案的基础上,本实例还给出了进一步的改进方案,以进一步提高分割图像的精度。
作为方案,在上述神经网络模型方案中引入空洞卷积层,该空洞卷积层设置在神经网络模型的池化层之后。
该空洞卷积层具体由若干空洞卷积子层之间并列形成,该空洞卷积层进行的空洞卷积不同于传统卷积只提取相邻元素的特征,卷积核中提取元素并不是相邻的,其所提取元素中间存在相同距离的间隙。例如在3x3的传统卷积核中相邻元素间插入零值,则形成3x3卷积核的空洞卷积,其作用接近5x5 的传统卷积,而参数运算仅为原来36%。
作为举例,图1所示的空洞卷积层存在四个并列的空洞卷积子层,卷积核大小从小到大,四个堆叠的空洞卷积扩大滤波器的视野,实现使用很少的参数运算就能提取大范围的图像特征,保留图像全局信息。
进一步的,本改进方案还在上述神经网络模型的输出层前引入上采样过程。上采样过程通过连续上采样层对降维后的图像抽象内容进行升维,实现对图像细节内容进行恢复,再由输出层处理输出图片分割图像。
这里的连续上采样层对图像的抽象内容进行解码并对图像的细节内容进行恢复,每层上采样层将图像沿行和列的方向扩大,对图像大小进行升维。作为举例,本方案中,在每层上采样层将图像沿行和列的方向扩大两倍,使得图像大小升维为原来的四倍。
由于神经网络模型中多层卷积层与池化层在对图像的处理过程中,总有图片特征信息丢失,通过引入连续上采样层增加额外的学习过程还原丢失的特征信息,恢复图像细节内容。同时,上采样过程后的结果和原始图像大小相同,实现所有像素参与模型,分割结果更准确,实现端到端的输出。
上述神经网络方案在具体应用时,可以以计算机程序的形式存在于相应的计算机可读介质中,并可以由相应的处理器调取并执行,以实现上述的功能,形成相应的工作系统。
另外,由于本神经网络方案的计算量和复杂度都大大降低,由此构成的工作系统能够很好的适用于无法支持过量矩阵计算的嵌入式平台(如无人机,室外轮式机器人等等),且运行在嵌入式平台中的工作系统能够智能识别周边环境,检测工作区域,即能够保证检测精度,又能够保证实时性效果。
由此,基于本神经网络方案所构成的工作区域边界检测系统,其感知环境,并识别工作区域的边界的过程主要包括几下步骤。
(1)获取训练数据。
通过获取室外真实工作场景的图片并对图片进行必要的预处理,根据目标对象的类别(例如,草地,道路,泥地,灌木等等)分割图片制作形成训练数据集。
由于训练图像的数量和图像清晰度对后期图像检测的结果至关重要,为此,针对获取到的室外真实工作场景图片,首先,对部分光照变化较强烈的图像进行光照归一化操作,减小光照的影响;接着,将所有图片剪裁至同一大小,根据目标对象的类别分配不同的RGB颜色并对相同类别目标进行上色处理,得到训练数据对应的标签图像,原始图像和标签图像即为制作的训练数据集。
(2)神经网络模型参数训练。
通过训练数据对模型参数进行训练,主要包括初始化,迭代更新网络参数和网络输出,具体如下:
初始化,确定神经网络模型中的神经网络层数和每一层网络的初始参数;
将训练数据集中的图像输入初始化的神经网络模型中进行参数计算;
将输出结果与图像标签进行比对,计算得到神经网络参数的更新值,并更新所有参数;
重复上述步骤直到效果最佳,完成神经网络模型训练。
(3)深度神经网络模型部署。
使用训练好的模型进行实际环境中的部署,将摄像头捕捉的实际工作环境视频输入训练所得的深度神经网络模,以检测工作区域的边界。
其中,深度神经网络模通过对实时采集的视频图像进行图像语义分割,以识别工作区域边界,具体包括:
(3-1)深度神经网络模型中卷积层、池化层进行参数运算,对实时采集的视频图像进行特征提取;
(3-2)深度神经网络模型对提取的特征数据进行数据统计及降维;本模型在进行数据统计和降维时,沿图像行和列的方向上进行统计,每两个像素进行统计,抽取四个像素的最大值作为该区域的统计特征,同时将数据量降维到原来的四分之一;
(3-3)深度神经网络模型中输出层通过模型推理输出图片分割图像;本步骤在过模型推理时,针对输入的图像计算图像中每个像素点属于训练集中各类别的概率,并将该像素点标记为最大概率的类别,据此完成图像中所有像素点标记,即得到对应的分割图像;由此形成的分割图像中,相同分类由同样颜色组成,目标分类颜色与其他色块的交界线则为需要检测的工作区域的边界。
在此基础上,为了提升输出图片分割的准确度,检测系统中的神经网络模型在提取特征数据的过程中,引入空洞卷积,实现使用较少参数就能完成大范围内的特征提取,扩大特征提取的视野,保留图片全局信息。
同时,还在输出层通过模型推理输出图片分割图像前引入上采样过程,通过连续上采样层对降维后的图像抽象内容进行升维,实现对图像细节内容进行恢复,再由输出层处理输出图片分割图像。
以一个具体的应用实例来说明一下运行本工作系统的嵌入式平台进行智能识别周边环境,检测工作区域的过程。
作为举例,本实例给出的基于机器视觉的工作区域边界检测设备主要包括数字摄像头模块,嵌入式处理器芯片模块以及计算机存储模块。
其中计算机存储模块中存储有本方案提供的基于机器视觉的工作区域边界检测系统程序;检测设备中的嵌入式处理器芯片模块通过运行计算机存储模块中的检测系统程序来完成工作区域边界检测。
本实例中把需要识别的对象分为4类,分别为人行地面,草坪,泥土地,和灌木,嵌入式处理器芯片模块运行检测系统程序,根据设定的对象以及形成的实际工作场景的训练数据集,对系统中的神经网络进行训练和学习,使得系统具有自主识别对象的能力。
在工作系统在运行时,由检测设备上的数字摄像头模块实时采集周围的视频图像,并转化为相应的图像形成原始图(如图2所示)。
接着,将该原始图实时输入训练所得的深度神经网络,通过深度神经网络的卷积层、池化层进行参数运算,提取图像特征;再由深度神经网络输出层计算实时采集图片中每个像素点属于训练集中各类别的概率经过深度神经网络参数运算后,得到实时采集图片中每个像素点属于训练集中各类别的概率,并将该像素点标记为最大概率的类别,据此完成图像中所有像素点标记,实时的输出如图3所示的分割图像。由此形成的分割图像中,相同分类由同样颜色组成,目标分类颜色与其他色块的交界线则为需要检测的工作区域的边界。
由上实例可见,本工作系统能够准确的区分目标类(用粉色代表人行路面,用红色代表草坪,用绿色代表泥土地,用蓝色代表灌木),并确定出需要检测的工作区域的边界。
上述本发明的方法,或特定系统单元、或其部份单元,为纯软件架构,可以透过程序代码布设于实体媒体,如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体),当机器加载程序代码且执行(如智能型手机加载且执行),机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体,如电缆、光纤、或是任何传输型态进行传送,当程序代码被机器(如智能型手机)接收、加载且执行,机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (12)
1.基于视觉的工作区域边界的检测系统,包括处理器,以及存储有计算机程序的计算机可读介质,其特征在于,所述计算机程序被处理器执行时:
构建的神经网络模型基于训练数据集进行自主训练学习,提取和学习相应的工作区域特征;
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。
2.根据权利要求1所述的基于视觉的工作区域边界的检测系统,其特征在于,所述检测系统中的神经网络模型包括多层卷积层,池化层以及输出层,所述多层卷积层与池化层进行堆叠,完成图像特征提取所述输出层在神经网络模型训练学习阶段更新参数,并在模型部署和实时语义分割阶段输出图片分割结果后的图像。
3.根据权利要求2所述的基于视觉的工作区域边界的检测系统,其特征在于,所述池化层对多层卷积层的输出特征进行特征统计和数据降维,沿图像行和列的方向上进行统计,抽取N个像素的最大值作为该区域的统计特征,同时将数据量降维到原来的N分之一。
4.根据权利要求2所述的基于视觉的工作区域边界的检测系统,其特征在于,所述神经网络模型中还包括空洞卷积层,所述空洞卷积层由若干空洞卷积子层之间并列形成,并设置在池化层之后,通过空洞卷积提取元素中间有相同的间隙,以扩大特征提取的视野,保留图像全局信息。
5.根据权利要求4所述的基于视觉的工作区域边界的检测系统,其特征在于,所述神经网络模型中还设置有上采样单元层,该上采样单元层设置在输出层前,通过连续上采样层对降维后的图像抽象内容进行升维,对图像细节内容进行恢复。
6.基于视觉的工作区域边界的检测方法,其特征在于,包括:
构建的神经网络模型基于训练数据集进行自主训练学习,提取和学习相应工作区域特征;
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割,由此来感知环境,并识别工作区域的边界。
7.根据权利要求6所述的基于视觉的工作区域边界的检测方法,其特征在于,通过获取室外真实工作场景的图片并对图片进行预处理,根据目标对象的类别分割图片制作形成训练数据集。
8.根据权利要求6所述的基于视觉的工作区域边界的检测方法,其特征在于,神经网络模型通过训练数据集进行训练,主要包括:
初始化,确定神经网络模型中的神经网络层数和每一层网络的初始参数;
将训练数据集中的图像输入初始化的神经网络模型中进行参数计算;
将输出结果与图像标签进行比对,计算得到神经网络参数的更新值,并更新神经网络模型中相关的参数;
重复上述步骤直到效果最佳,完成神经网络模型训练。
9.根据权利要求6所述的基于视觉的工作区域边界的检测方法,其特征在于,所述检测方法在对实时采集的视频图像进行图像语义分割,识别工作区域边界时,包括:
经过训练的深度神经网络模型对实时采集的视频图像进行特征提取;
深度神经网络模型对提取的特征数据进行数据统计及降维;
深度神经网络模型通过模型推理输出图片分割图像。
10.根据权利要求9所述的基于视觉的工作区域边界的检测方法,其特征在于,所述深度神经网络模型进行模型推理时,针对实时输入的图像计算图像中每个像素点属于训练集中各类别的概率,将该像素点标记为最大概率的类别,据此完成图像中所有像素点标记,得到对应的分割图像。
11.根据权利要求9所述的基于视觉的工作区域边界的检测方法,其特征在于,在通过模型推理形成分割图像时,将相同分类由同样颜色组成,在所得到的分割图像中,目标分类颜色与其他色块的交界线作为需要检测的工作区域。
12.机器设备,其特征在于,所述机器设备上设置有上述的基于视觉的工作区域边界的检测系统。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811428294.2A CN109859158A (zh) | 2018-11-27 | 2018-11-27 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
PCT/CN2019/072304 WO2020107687A1 (zh) | 2018-11-27 | 2019-01-18 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
US17/309,406 US20220036562A1 (en) | 2018-11-27 | 2019-01-18 | Vision-based working area boundary detection system and method, and machine equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811428294.2A CN109859158A (zh) | 2018-11-27 | 2018-11-27 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109859158A true CN109859158A (zh) | 2019-06-07 |
Family
ID=66890279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811428294.2A Pending CN109859158A (zh) | 2018-11-27 | 2018-11-27 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220036562A1 (zh) |
CN (1) | CN109859158A (zh) |
WO (1) | WO2020107687A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428014A (zh) * | 2019-08-07 | 2019-11-08 | 北京赛育达科教有限责任公司 | 一种面向教育实训的物体识别系统和方法 |
CN110866475A (zh) * | 2019-11-05 | 2020-03-06 | 上海眼控科技股份有限公司 | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 |
CN110991372A (zh) * | 2019-12-09 | 2020-04-10 | 河南中烟工业有限责任公司 | 一种识别零售商户卷烟牌号陈列情况的方法 |
CN111008627A (zh) * | 2019-12-05 | 2020-04-14 | 哈尔滨工业大学(深圳) | 一种在边界遮挡状况下检测标记码边框的方法 |
CN111007064A (zh) * | 2019-12-13 | 2020-04-14 | 常州大学 | 一种基于图像识别的录井岩性智能识别方法 |
CN111860123A (zh) * | 2020-06-04 | 2020-10-30 | 华南师范大学 | 一种识别工作区域边界的方法 |
CN112132850A (zh) * | 2020-09-18 | 2020-12-25 | 中山大学 | 一种基于模态学习的血管边界检测方法、系统及装置 |
CN112396613A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112507943A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 基于多任务神经网络的视觉定位导航方法、系统及介质 |
CN112825121A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 深度卷积神经网络初始化和训练方法、装置、介质及设备 |
CN113156924A (zh) * | 2020-01-07 | 2021-07-23 | 苏州宝时得电动工具有限公司 | 自移动设备的控制方法 |
WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
CN113885495A (zh) * | 2021-09-29 | 2022-01-04 | 邦鼓思电子科技(上海)有限公司 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
CN113910225A (zh) * | 2021-10-09 | 2022-01-11 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
CN114967763A (zh) * | 2022-08-01 | 2022-08-30 | 电子科技大学 | 一种基于图像定位的植保无人机的播撒控制方法 |
CN117115774A (zh) * | 2023-10-23 | 2023-11-24 | 锐驰激光(深圳)有限公司 | 草坪边界的识别方法、装置、设备及存储介质 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866526A (zh) * | 2018-08-28 | 2020-03-06 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
US11507831B2 (en) | 2020-02-24 | 2022-11-22 | Stmicroelectronics International N.V. | Pooling unit for deep learning acceleration |
EP3916633A1 (de) * | 2020-05-25 | 2021-12-01 | Sick Ag | Kamera und verfahren zum verarbeiten von bilddaten |
CN111723732B (zh) * | 2020-06-18 | 2023-08-11 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
CN111797925B (zh) * | 2020-07-03 | 2024-04-30 | 河南辉铠智能科技有限公司 | 一种电力系统视觉图像分类方法及装置 |
CN112116195B (zh) * | 2020-07-21 | 2024-04-16 | 蓝卓数字科技有限公司 | 基于实例分割的铁路梁生产工序识别方法 |
CN114005097A (zh) * | 2020-07-28 | 2022-02-01 | 株洲中车时代电气股份有限公司 | 基于图像语义分割的列车运行环境实时检测方法及系统 |
CN112101364B (zh) * | 2020-09-10 | 2023-10-20 | 西安电子科技大学 | 基于参数重要性增量学习的语义分割方法 |
CN112149676B (zh) * | 2020-09-11 | 2024-04-30 | 中国铁道科学研究院集团有限公司 | 一种铁路货物装载状态图像的小目标检测处理方法 |
CN114311023B (zh) * | 2020-09-29 | 2023-12-26 | 中国科学院沈阳自动化研究所 | 一种基于服务机器人视觉功能检测方法 |
CN112419249B (zh) * | 2020-11-12 | 2022-09-06 | 厦门市美亚柏科信息股份有限公司 | 一种特殊服饰图片转化方法、终端设备及存储介质 |
CN112232303B (zh) * | 2020-11-16 | 2023-12-19 | 内蒙古自治区农牧业科学院 | 一种基于高分遥感影像的草原道路信息提取方法 |
CN112507826B (zh) * | 2020-11-27 | 2024-02-06 | 西安电子科技大学 | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
CN112595276B (zh) * | 2020-11-27 | 2022-07-05 | 哈尔滨工程大学 | 一种基于深度学习的输电线路覆冰厚度检测方法 |
CN112633186B (zh) * | 2020-12-26 | 2024-05-28 | 上海有个机器人有限公司 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
CN112861755B (zh) * | 2021-02-23 | 2023-12-08 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及系统 |
JP2022145001A (ja) * | 2021-03-19 | 2022-10-03 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN113191366A (zh) * | 2021-05-21 | 2021-07-30 | 北京东方国信科技股份有限公司 | 电解工艺异常的监测方法及系统 |
CN113591591A (zh) * | 2021-07-05 | 2021-11-02 | 北京瑞博众成科技有限公司 | 人工智能现场行为识别系统 |
CN113724247B (zh) * | 2021-09-15 | 2024-05-03 | 国网河北省电力有限公司衡水供电分公司 | 一种基于图像判别技术的变电站智能巡检方法 |
CN114661061B (zh) * | 2022-02-14 | 2024-05-17 | 天津大学 | 无gps基于视觉室内环境微型无人机飞行控制方法 |
CN114648694B (zh) * | 2022-03-01 | 2023-05-26 | 无锡雪浪数制科技有限公司 | 一种基于深度相机与机器视觉的海缆排缆间隙识别方法 |
CN114898152B (zh) * | 2022-05-13 | 2023-05-30 | 电子科技大学 | 嵌入式弹性自扩展通用学习系统 |
CN115049603B (zh) * | 2022-06-07 | 2024-06-07 | 安徽大学 | 一种基于小样本学习的肠息肉分割方法及系统 |
CN115082663B (zh) * | 2022-07-21 | 2024-03-22 | 安徽芯智科技有限公司 | 一种自动控制除霜除雾系统 |
CN115147782A (zh) * | 2022-08-02 | 2022-10-04 | 广州度凌科技有限公司 | 一种死亡动物识别方法及装置 |
CN115424230B (zh) * | 2022-09-23 | 2023-06-06 | 哈尔滨市科佳通用机电股份有限公司 | 一种车门滑轮脱出轨道故障检测方法、存储介质及设备 |
CN116452878B (zh) * | 2023-04-20 | 2024-02-02 | 广东工业大学 | 一种基于深度学习算法与双目视觉的考勤方法及系统 |
CN116403132B (zh) * | 2023-06-08 | 2023-08-18 | 江西省公路科研设计院有限公司 | 一种基于图像和机器算法生成征地拆迁表的地物识别方法 |
CN116681992B (zh) * | 2023-07-29 | 2023-10-20 | 河南省新乡生态环境监测中心 | 一种基于神经网络的氨氮检测方法 |
CN117315723B (zh) * | 2023-11-28 | 2024-02-20 | 深圳市捷超行模具有限公司 | 一种基于人工智能的模具车间数字化管理方法及系统 |
CN117859500B (zh) * | 2024-03-12 | 2024-05-24 | 锐驰激光(深圳)有限公司 | 割草机防出边界方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2339507A1 (en) * | 2009-12-28 | 2011-06-29 | Softkinetic | Head detection and localisation method |
CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
CN107871117A (zh) * | 2016-09-23 | 2018-04-03 | 三星电子株式会社 | 用于检测对象的设备和方法 |
CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 图像处理的方法和装置 |
CN108875596A (zh) * | 2018-05-30 | 2018-11-23 | 西南交通大学 | 一种基于dssnn神经网络的铁路场景图像语义分割方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103901890B (zh) * | 2014-04-09 | 2017-05-24 | 中国科学院深圳先进技术研究院 | 基于家庭庭院的户外自动行走装置及其控制系统和方法 |
NL2016551B1 (nl) * | 2015-04-07 | 2018-04-13 | Volkerrail Nederland Bv | Mobiel robotstation en reparatiemethodiek |
CN108594823A (zh) * | 2018-05-21 | 2018-09-28 | 珠海格力电器股份有限公司 | 扫地机器人的控制方法及其控制系统 |
CN108764453B (zh) * | 2018-06-08 | 2021-10-01 | 中国科学技术大学 | 面向多智能体同步博弈的建模方法及动作预测系统 |
-
2018
- 2018-11-27 CN CN201811428294.2A patent/CN109859158A/zh active Pending
-
2019
- 2019-01-18 US US17/309,406 patent/US20220036562A1/en active Pending
- 2019-01-18 WO PCT/CN2019/072304 patent/WO2020107687A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2339507A1 (en) * | 2009-12-28 | 2011-06-29 | Softkinetic | Head detection and localisation method |
CN107871117A (zh) * | 2016-09-23 | 2018-04-03 | 三星电子株式会社 | 用于检测对象的设备和方法 |
CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 图像处理的方法和装置 |
CN108875596A (zh) * | 2018-05-30 | 2018-11-23 | 西南交通大学 | 一种基于dssnn神经网络的铁路场景图像语义分割方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428014A (zh) * | 2019-08-07 | 2019-11-08 | 北京赛育达科教有限责任公司 | 一种面向教育实训的物体识别系统和方法 |
CN110866475A (zh) * | 2019-11-05 | 2020-03-06 | 上海眼控科技股份有限公司 | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 |
CN112825121A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 深度卷积神经网络初始化和训练方法、装置、介质及设备 |
CN111008627A (zh) * | 2019-12-05 | 2020-04-14 | 哈尔滨工业大学(深圳) | 一种在边界遮挡状况下检测标记码边框的方法 |
CN111008627B (zh) * | 2019-12-05 | 2023-09-05 | 哈尔滨工业大学(深圳) | 一种在边界遮挡状况下检测标记码边框的方法 |
CN110991372A (zh) * | 2019-12-09 | 2020-04-10 | 河南中烟工业有限责任公司 | 一种识别零售商户卷烟牌号陈列情况的方法 |
CN111007064A (zh) * | 2019-12-13 | 2020-04-14 | 常州大学 | 一种基于图像识别的录井岩性智能识别方法 |
CN113156924A (zh) * | 2020-01-07 | 2021-07-23 | 苏州宝时得电动工具有限公司 | 自移动设备的控制方法 |
WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
CN111860123A (zh) * | 2020-06-04 | 2020-10-30 | 华南师范大学 | 一种识别工作区域边界的方法 |
CN111860123B (zh) * | 2020-06-04 | 2023-08-08 | 华南师范大学 | 一种识别工作区域边界的方法 |
CN112132850A (zh) * | 2020-09-18 | 2020-12-25 | 中山大学 | 一种基于模态学习的血管边界检测方法、系统及装置 |
CN112132850B (zh) * | 2020-09-18 | 2023-09-29 | 中山大学 | 一种基于模态学习的血管边界检测方法、系统及装置 |
WO2022105125A1 (zh) * | 2020-11-17 | 2022-05-27 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112396613A (zh) * | 2020-11-17 | 2021-02-23 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112396613B (zh) * | 2020-11-17 | 2024-05-10 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112507943A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 基于多任务神经网络的视觉定位导航方法、系统及介质 |
CN112507943B (zh) * | 2020-12-18 | 2023-09-29 | 华南理工大学 | 基于多任务神经网络的视觉定位导航方法、系统及介质 |
CN113885495A (zh) * | 2021-09-29 | 2022-01-04 | 邦鼓思电子科技(上海)有限公司 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
WO2023050545A1 (zh) * | 2021-09-29 | 2023-04-06 | 邦鼓思电子科技(上海)有限公司 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
CN113910225A (zh) * | 2021-10-09 | 2022-01-11 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
CN114967763A (zh) * | 2022-08-01 | 2022-08-30 | 电子科技大学 | 一种基于图像定位的植保无人机的播撒控制方法 |
CN117115774A (zh) * | 2023-10-23 | 2023-11-24 | 锐驰激光(深圳)有限公司 | 草坪边界的识别方法、装置、设备及存储介质 |
CN117115774B (zh) * | 2023-10-23 | 2024-03-15 | 锐驰激光(深圳)有限公司 | 草坪边界的识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20220036562A1 (en) | 2022-02-03 |
WO2020107687A1 (zh) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859158A (zh) | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 | |
Vetrivel et al. | Disaster damage detection through synergistic use of deep learning and 3D point cloud features derived from very high resolution oblique aerial images, and multiple-kernel-learning | |
US10614562B2 (en) | Inventory, growth, and risk prediction using image processing | |
CN109255364B (zh) | 一种基于深度卷积生成对抗网络的场景识别方法 | |
Knoll et al. | Real-time classification of weeds in organic carrot production using deep learning algorithms | |
Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
US11694354B2 (en) | Geospatial object geometry extraction from imagery | |
López-Jiménez et al. | Columnar cactus recognition in aerial images using a deep learning approach | |
CN110781757B (zh) | 一种机场道面异物识别定位方法及系统 | |
CN108734719A (zh) | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 | |
CN107330360A (zh) | 一种行人衣着颜色识别、行人检索方法和装置 | |
Bravo et al. | Automatic detection of potential mosquito breeding sites from aerial images acquired by unmanned aerial vehicles | |
Hussain et al. | A Simple and Efficient Deep Learning‐Based Framework for Automatic Fruit Recognition | |
CN108288038A (zh) | 基于场景分割的夜间机器人运动决策方法 | |
CN114241226A (zh) | 一种基于混合模型多邻域特征的三维点云语义分割方法 | |
Zhao et al. | YOLO‐Highway: An Improved Highway Center Marking Detection Model for Unmanned Aerial Vehicle Autonomous Flight | |
Tylecek et al. | The second workshop on 3D Reconstruction Meets Semantics: Challenge results discussion | |
Surinwarangkoon et al. | Traffic sign recognition system for roadside images in poor condition | |
Alshammari et al. | An efficient deep learning mechanism for the recognition of olive trees in Jouf Region | |
CN113221823B (zh) | 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法 | |
CN110826432B (zh) | 一种基于航空图片的输电线识别方法 | |
Nguyen et al. | Application of graph segmentation method in thermal camera object detection | |
Bolar et al. | Classification of urban data using satellite imaging | |
Chaiyasarn et al. | Tile damage detection in temple facade via convolutional neural networks | |
Wang et al. | An automated vision based on-line novel percept detection method for a mobile robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |