CN110555511A - 识别区域的方法、装置、电子设备和计算机可读存储介质 - Google Patents
识别区域的方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110555511A CN110555511A CN201910672462.0A CN201910672462A CN110555511A CN 110555511 A CN110555511 A CN 110555511A CN 201910672462 A CN201910672462 A CN 201910672462A CN 110555511 A CN110555511 A CN 110555511A
- Authority
- CN
- China
- Prior art keywords
- area
- road
- neural network
- model
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种识别区域的方法、装置、电子设备和计算机可读存储介质,方法包括:采集包含区域的图像;利用人工神经网络模型对图像中的区域进行识别,得到第一识别结果;利用随机场模型对区域进行识别,得到第二识别结果;根据第一识别结果和第二识别结果确定区域的第三识别结果。本发明通过将人工神经网络模型与随机场模型结合来对有噪声的图像进行识别,可以将图像中的区域进行精确的区分,从而提高了识别准确度。
Description
技术领域
本发明涉及机器视觉领域,特别是涉及一种识别区域的方法、装置、电子设备和计算机可读存储介质。
背景技术
随着人工智能浪潮的到来,深度学习算法在计算机视觉领域效果显著,应用也十分广泛,在图像分类与识别、目标检测和目标跟踪等领域取得了不小的成就。在无人驾驶领域中,由于激光、雷达等传感器成本昂贵,因此计算机视觉方案被人们所青睐。计算机视觉系统可以利用摄像机采集视频数据,对其视频数据内容进行理解和分析,为系统后期的决策控制提供依据。现在深度学习芯片越来越多,为无人驾驶领域提供了很好的支持。
计算机视觉在无人驾驶行业仍然存在识别准确度不高的问题,卷积神经网络能够对输入的图像进行较好的检测,但是由于受到光照、阴影、水渍和复杂障碍物等的影响,准确率不能达到100%。
发明内容
有鉴于此,本发明实施例提供了一种识别区域的方法、装置、电子设备和计算机可读存储介质,能够提高了识别准确度。
本发明实施例的第一方面在于提供一种识别区域的方法,该方法由设备的处理器执行,该方法包括:采集包含区域的图像;利用人工神经网络模型对图像中的区域进行识别,得到第一识别结果;利用随机场模型对区域进行识别,得到第二识别结果;根据第一识别结果和第二识别结果确定区域的第三识别结果。
在一些实施例中,根据第一识别结果和第二识别结果确定区域的第三识别结果,包括:对第一识别结果和第二识别结果进行加权求平均处理,得到加权平均值;将加权平均值与第一阈值进行对比;若加权平均值小于第一阈值,则将区域确定为第一区域;若加权平均值大于或等于第一阈值,则将区域确定为第二区域,其中,第一区域为矿区的道路区域,第二区域为矿区的非道路区域。
在一些实施例中,人工神经网络模型为卷积神经网络模型,随机场模型为马尔可夫随机场模型。
在一些实施例中,识别区域的方法还包括:训练卷积神经网络模型的方法,训练卷积神经网络模型的方法包括:根据第一预设训练样本集对卷积神经网络模型进行迭代训练,生成第一卷积神经网络模型,第一预设训练样本集包括一般道路的样本和非道路的样本;根据第二预设训练样本集对第一卷积神经网络模型进行迭代训练,生成第二卷积神经网络模型,将第二卷积神经网络模型确定为人工神经网络模型,第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,第二卷积神经网络模型用于判断矿区的道路区域和非道路区域。
在一些实施例中,识别区域的方法还包括:调整马尔可夫随机场模型的参数的方法,其中,调整马尔可夫随机场模型的参数的方法包括:建立先验模型,采用最小二乘法估计先验模型的参数,根据先验模型的参数计算矿区的道路区域和非道路区域的先验概率分布;建立特征场模型,对特征场模型根据最大期望EM算法估计特征场模型的参数,根据最大期望EM算法估计特征场模型的参数包括:计算期望(E):根据矿区的道路区域和非道路区域的先验概率分布计算矿区的道路区域和非道路区域的后验概率分布,将后验概率分布与已知的矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值;最大化期望估计(M):最大化最大似然估计值,得到特征场模型的参数估计值;将参数估计值用于下一个计算期望(E)的步骤中作为先验概率分布的参数对后验概率分布进行计算,如此迭代直至收敛,得到调整后的马尔可夫随机场模型的参数。
本发明实施例的第二方面在于提供一种识别区域的装置,该装置包括:采集模块,用于采集包含区域的图像;识别模块,用于利用人工神经网络模型对图像中的区域进行识别,得到第一识别结果;利用随机场模型对区域进行识别,得到第二识别结果;以及确定模块,用于根据第一识别结果和第二识别结果确定区域的第三识别结果。
在一些实施例中,确定模块还用于对第一识别结果和第二识别结果进行加权求平均处理,得到加权平均值;将加权平均值与第一阈值进行对比;若加权平均值小于第一阈值,则将区域确定为第一区域;若加权平均值大于或等于第一阈值,则将区域确定为第二区域,其中,第一区域为矿区的道路区域,第二区域为矿区的非道路区域。
在一些实施例中,人工神经网络模型为卷积神经网络模型,随机场模型为马尔可夫随机场模型。
在一些实施例中,识别区域的装置还包括:训练模块,用于根据第一预设训练样本集对卷积神经网络模型进行迭代训练,生成第一卷积神经网络模型,第一预设训练样本集包括一般道路的样本和非道路的样本;根据第二预设训练样本集对第一卷积神经网络模型的输出层修改并继续进行迭代训练,生成第二卷积神经网络模型,将第二卷积神经网络模型确定为人工神经网络模型,第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,第二卷积神经网络模型用于判断矿区的道路区域和非道路区域。
在一些实施例中,识别区域的装置还包括:调整模块,用于建立先验模型,采用最小二乘法估计先验模型的参数,根据先验模型的参数计算矿区的道路区域和非道路区域的先验概率分布;建立特征场模型,对特征场模型根据最大期望EM算法估计特征场模型的参数,其中,根据最大期望EM算法估计特征场模型的参数包括:计算期望(E):根据矿区的道路区域和非道路区域的先验概率分布计算矿区的道路区域和非道路区域的后验概率分布,将后验概率分布与已知的矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值;最大化期望估计(M):最大化最大似然估计值,得到特征场模型的参数估计值;将参数估计值用于下一个计算期望(E)的步骤中作为先验概率分布的参数对后验概率分布进行计算,如此迭代直至收敛,得到调整后的马尔可夫随机场模型的参数。
本发明实施例的第三方面在于提供一种电子设备,包括:CPU和GPU处理器;存储器;以及存储在存储器中的计算机程序指令,计算机程序指令在被处理器运行时使得处理器执行如上述实施例的方法。
本发明实施例的第四方面在于提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述实施例的方法。
本发明实施例提供的一种识别区域的方法、装置、电子设备和计算机可读存储介质,至少具有以下效果:
本发明实施例的提供的一种识别区域的方法,通过将人工神经网络模型与随机场模型结合来对有噪声的图像进行识别,可以将图像中的区域进行精确的区分,从而提高了识别准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1所示为本发明一实施例提供的识别区域的方法的流程示意图。
图2所示为本发明另一实施例提供的识别区域的方法的流程示意图。
图3所示为本发明另一实施例提供的识别区域的方法的流程示意图。
图4所示为本发明另一实施例提供的识别区域的方法的流程示意图。
图5所示为本发明另一实施例提供的识别区域的方法的流程示意图。
图6所示为本发明另一实施例提供的识别区域的方法的框图。
图7所示为本发明一实施例提供的人工神经网络模型训练过程的框图。
图8所示为本发明一实施例提供的识别区域的装置的框图。
图9所示为本发明另一实施例提供的识别区域的装置的框图。
图10所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
无人驾驶技术在全开放环境中落地仍然具有一定的困难,环境比较复杂,突发情况较多,但是矿区车道环境没有城市道路情况复杂,属于全封闭环境。目前矿区的行驶环境有着较高的危险,并且矿区开采面临劳动力短缺、人力成本高等问题,因此无人驾驶技术有望可以先在矿区这样的封闭环境率先落地,将人类从危险恶劣的环境下以及繁重的任务中解放出来。
图1所示为本发明一实施例提供的识别区域的方法的流程示意图。该方法可以由计算机设备(例如,处理器)执行。如图1所示,该方法包括以下步骤:
110:采集包含区域的图像。
本申请的应用领域为无人驾驶领域,在无人驾驶领域中,计算机视觉系统可以利用摄像机采集视频数据,并对视频数据内容进行理解和分析,为系统后期的决策控制提供依据。上述图像可以为摄像机直接拍摄的所要分析的区域的图像,也可以为摄像机采集的所要分析的区域的视频中的一帧或几帧图像,本发明的实施例对此不做具体限定。
120:利用人工神经网络模型对图像中的区域进行识别,得到第一识别结果。
人工神经网络(Artificial Neural Networks,简写为ANNs)是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的,并具有自学习和自适应的能力。人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。神经网络是一种运算模型,由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。在人工神经网络中的每个神经元连接数据窗的权重是固定的,每个神经元只关注一个特性,神经元就是图像处理中的滤波器,比如边缘检测专用的Sobel滤波器,即人工神经网络的每个滤波器都会有自己所关注的一个图像特征,比如垂直边缘,水平边缘,颜色,纹理等,这些所有神经元加起来就好比是整张图像的特征提取器集合。利用训练好权重的人工神经网络模型对需要分析的图像的特定的特征比如垂直边缘,水平边缘进行识别,得到初步的识别结果。
130:利用随机场模型对区域进行识别,得到第二识别结果。
随机场模型关注像素点和临近像素点的相关性,利用随机场模型的这个性质对需要分析的图像进行当前图像区域和临近图像区域的相关性的识别,得到进一步精确的识别结果。
140:根据第一识别结果和第二识别结果确定区域的第三识别结果。
对人工神经网络模型和随机场模型得出的结果进行进一步的处理得到最终的区域的识别结果。例如,可以对第一识别结果和第二识别结果进行加权平均得到加权平均值,并将加权平权值与预设的阈值比较得到第三识别结果,或者也可以根据图像满足不同的条件(例如,噪声水平)选择采用人工神经网络模型或随机场模型的识别结果作为最终的识别结果。
基于本发明的实施例,通过将人工神经网络模型与随机场模型结合来对有噪声的图像进行识别,可以将图像中的区域进行精确的区分,从而提高了识别准确度。
图2所示为本发明另一实施例提供的识别区域的方法的流程示意图。在本发明的一个实施例中,如图2所示,根据第一识别结果和第二识别结果确定区域的第三识别结果,包括步骤:
210:对第一识别结果和第二识别结果进行加权求平均处理,得到加权平均值。
第一识别结果包括利用人工神经网络模型对将待识别区域进行微分后的多个小的待识别区域进行识别后计算得到的数值的集合,第二识别结果包括利用随机场模型对将待识别区域进行同样的微分后的多个小的待识别区域进行识别后计算得到的数值的集合,将同一微分后的小的待识别区域分别经人工神经网络模型和随机场模型识别后计算得到的数值加入对应的权重求平均值,得到上述多个小的待识别区域分别经人工神经网络模型和随机场模型识别后的加权平均值的集合,该对应的权重由图像的噪声水平训练得到,图像的噪声水平越高,随机场模型对应的权重越大,该噪声指的是灰尘、水渍、光照和复杂障碍物等,本发明对上述提到的对应的权重值不做具体限定。
220:将加权平均值与第一阈值进行对比;若加权平均值小于第一阈值,则将区域确定为第一区域,其中,第一区域为矿区的道路区域。
230:若加权平均值大于或等于第一阈值,则将区域确定为第二区域,其中,第二区域为矿区的非道路区域。
本实施例的方法用来识别矿区的道路区域和非道路区域,具体地,根据加权平均值与第一阈值的比较来识别以上两种区域,例如:将第一阈值设置为0.5,将加权平均值小于第一阈值0.5的对应的区域确定为第一区域即矿区的道路区域,将加权平均值大于或等于第一阈值0.5的对应的区域确定为第二区域即矿区的非道路区域,将矿区的待识别区域分为道路区域和非道路区域,本发明对第一阈值的数值不做具体限定。
根据本发明的实施例,通过将人工神经网络模型和随机场模型单独得到的矿区道路分类结果进行加权求平均值,并与设定的阈值进行比较以进行最终的矿区道路区域分类,能够对矿区道路区域和非道路区域实现准确的识别效果。
在本发明的一个实施例中,人工神经网络模型为卷积神经网络模型,随机场模型为马尔可夫随机场模型。
具体地,卷积神经网络,是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型图像处理。卷积神经网络包括卷积层和池化层。在卷积层中每个神经元连接数据窗的权重是固定的,每个神经元只关注一个特性,神经元就是图像处理中的滤波器,比如边缘检测专用的Sobel滤波器,即卷积层的每个滤波器都会有自己所关注的一个图像特征,比如垂直边缘,水平边缘,颜色,纹理等等,这些所有神经元加起来好比就是整张图像的特征提取器集合,这里的卷积即为将一组固定的权重和不同窗口内的数据做内积。卷积层的主要作用就是参数共享和稀疏连接。池化层夹在连续的卷积层中间,用于压缩数据和参数的量,减小过拟合。简而言之,如果输入是图像的话,那么池化层的最主要作用就是压缩图像。本发明应用卷积神经网络将待分析的图像的各个区域进行特征提取并初步分类。
具体地,马尔可夫随机场(Markov Random Field),包含两层意思,一是什么是马尔可夫,而是什么是随机场,马尔可夫一般是马尔可夫性质的简称,它指的是一个随机变量序列按时间关系依次排开的时候,第N+1时刻的分布特性与第N时刻以前的随机变量的取值无关。以天气为例,如果假定天气是马尔可夫的,即假设今天的天气仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。随机场包含两个要素:位置(site),相空间(phase space),当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。例如,一块农田里种的庄稼的种类仅仅与它临近的农田种的庄稼的种类有关,与其它农田的庄稼的种类无光,则这些农田种的庄稼的集合,就是一个马尔可夫随机场。
根据本发明的实施例,通过将卷积神经网络模型与马尔可夫随机场模型进行结合,共同识别待识别图像的区域,保证了对图像中的矿区道路区域和非矿区道路区域的识别准确率。
图3所示为本发明另一实施例提供的识别区域的方法的流程示意图。图7所示为本发明一实施例提供的人工神经网络模型训练过程的框图。如图3和图7所示,在本发明的一个实施例中,识别区域的方法还包括:训练卷积神经网络模型的方法。训练卷积神经网络模型的方法包括:
310:根据第一预设训练样本集对卷积神经网络模型进行迭代训练,生成第一卷积神经网络模型,第一预设训练样本集包括一般道路的样本和非道路的样本。
具体地,首先根据已知分类的训练样本集对卷积神经网络模型进行迭代训练,直至根据卷积神经网络模型得出的分类的结果与已知分类的训练样本的分类非常匹配,这样就可以得到卷积神经网络模型的神经元之间的初始权重,卷积神经网络模型的所有神经元之间都有权重连接,卷积神经网络模型根据确定的较好的权重对需要识别的图像区域进行识别分类。首先采用一般道路的训练样本集对卷积神经网络模型进行训练得到初始的权重,该一般道路可以为城市道路或农村道路,本发明对此不作具体限定。
320:根据第二预设训练样本集对第一卷积神经网络模型的输出层修改并继续进行迭代训练,生成第二卷积神经网络模型,将第二卷积神经网络模型确定为人工神经网络模型,第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,第二卷积神经网络模型用于判断矿区的道路区域和非道路区域。
具体地,当使用一般道路样本集对第一卷积神经网络模型进行了初步的训练后,采用真实的矿区道路的数据样本集对第一卷积神经网络模型的权重进行微调,使之能够更准确的对矿区道路的区域进行识别区分,这样得到的卷积神经网络模型就是最终的人工神经网络模型。
基于本发明的实施例,卷积神经网络模型通过两次不同的预设训练样本集的训练,得到具有较好权重的人工神经网络模型,该人工神经网络模型可以对矿区的道路区域和非道路区域进行最大程度的精确的识别区分,从而提高了人工神经网络模型对图像识别的准确率。
图4所示为本发明另一实施例提供的识别区域的方法的流程示意图。如图4所示,在本发明的一个实施例中,识别区域的方法还包括:调整马尔可夫随机场模型的参数的方法,调整马尔可夫随机场模型的参数的方法包括:
410:建立先验模型,采用最小二乘法估计先验模型的参数,根据先验模型的参数计算矿区的道路区域和非道路区域的先验概率分布。
具体地,本实施例在确定先验模型参数时采用的样本集为现有的一般道路的道路区域和非道路区域的数据,而在计算先验概率分布时采用的样本集为已知的矿区的道路区域和非道路区域的数据。
先验概率不是根据自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的,先验概率的计算比较简单,没有使用贝叶斯公式。采用最小二乘法估计先验模型的参数,这里,最小二乘法是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配,利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。应用最小二乘法得到与现有的一般道路的道路区域和非道路区域的数据有最佳函数匹配的先验模型的参数。首先根据先验模型的参数计算矿区的道路区域和非道路区域的先验概率分布,即先找出一个概率分布的初始值以便作为以后的参数修正的基础。例如,食堂师傅炒了一份菜,要等分成两份给两个人吃,显然,没有必要拿来天平一点点地精确地去分量,最简单的方法是先根据经验把菜分到两个碗中,然后观察是否一样多,把比较多的那一份取出一点放到另一个碗中,这个过程一直迭代地进行下去,直到看不出两个碗所容纳的菜有什么份量上的不同为止。
在该实施例中,采用最小二乘法估计与现有一般道路的道路区域和非道路区域的数据有最佳函数匹配的先验模型的参数,并将该参数应用于先验模型中,根据已知的矿区的道路区域和非道路区域的数据样本集,得到矿区的道路区域和非道路区域的先验概率分布。
420:建立特征场模型,对特征场模型根据最大期望EM算法估计特征场模型的参数。
具体地,在特征场模型的参数估计的过程中采用的材料数据为已知的矿区的道路区域和非道路区域的数据。
图5所示为本发明另一实施例提供的识别区域的方法的流程示意图。如图5所示,具体地,根据最大期望EM算法估计特征场模型的参数包括如下内容。
510:计算期望(E):根据矿区的道路区域和非道路区域的先验概率分布计算矿区的道路区域和非道路区域的后验概率分布,将后验概率分布与已知的矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值。
具体地,似然函数本身的含义就是当参数取某个值时,得到观测结果的可能性,在本实施例中,似然估计值指的就是根据特征场模型得出的矿区的道路区域和非道路区域的后验概率分布与已知的矿区的道路区域和非道路区域的数据匹配时候的参数值。
520:最大化期望估计(M):最大化最大似然估计值,得到特征场模型的参数估计值。
最大似然估计法的思想为:在已经得到试验结果的情况下,寻找使这个结果出现的可能性最大的参数值作为最大似然值的估计,也就是本发明实施例所要求得的特征场模型的参数估计值。
540:将参数估计值用于下一个计算期望(E)的步骤中作为先验概率分布的参数对后验概率分布进行计算,如此迭代。
530:收敛得到调整后的马尔可夫随机场模型的参数。
通过交替使用计算期望(E)和最大化期望估计(M)这两个步骤,EM算法逐步改进特征场模型的参数,使参数和训练样本也就是已知的矿区的道路区域和非道路区域的数据的似然概率逐渐增大,最后终止于一个极大点,这个极大点所对应的参数值就是所求的最终特征场模型的参数值,也即马尔可夫随机场模型的参数值。
基于本发明的实施例,通过先验模型根据一般的道路区域与非道路区域的样本集计算先验模型的参数并根据已知的矿区的道路区域和非道路区域的样本集结合先验模型的参数得到矿区的道路区域和非道路区域的先验概率分布,特征场模型根据先验概率分布得到矿区的道路区域和非道路区域的后验概率分布,并通过EM算法得到特征场模型的最佳匹配参数,从而得到最终的马尔可夫随机场模型的参数,从而使得马尔可夫随机场模型对矿区的道路区域和非道路区域的识别有较高的准确率。
图6所示为本发明另一实施例提供的识别区域的方法的框图。图6是图1的例子。
具体地,摄像头不断地采集当前矿区道路环境的视频数据,并将采集到的视频数据中的图像传输给计算机设备例如处理器中的卷积神经网络模型和马尔可夫随机场模型进行处理,卷积神经网络模型对视频数据中的图像进行矿区的道路区域和非道路区域的区分识别,并将识别结果传输给处理器中的确定模块,同时,马尔可夫随机场模型也对视频数据中的图像进行矿区的道路区域和非道路区域的区分识别,并将识别结果传输给处理器中的确定模块,确定模块对卷积神经网络模型和马尔可夫随机场模型发送的同一区域的识别结果进行加权平均处理,得到加权平均值,并将加权平均值小于第一阈值的对应的区域确定为道路区域,将加权平均值大于或等于第一阈值的对应的区域确定为非道路区域。
训练好的卷积神经网络模型能够实时检测当前摄像头采集的视频数据,从而输出当前矿区的道路区域和非道路区域检测结果。卷积神经网络具有权值共享和稀疏连接的优点,降低了模型的复杂度,减少了权值数量。其中卷积神经网络模块先是在大量的公开数据集上进行预训练,然后在矿区人工标注的数据集上进行微调,得到高性能的卷积神经网络检测模型。
每个卷积神经网络采用全卷积网络,能够更好的保留目标的空间位置信息;在每层卷积输入前加入了批量归一化层(Batch Normalization层),加快了模型的收敛,能够有效的防止梯度消失和梯度爆炸;在卷积神经网络模型加入了残差层避免了网络模型的过拟合。将批量归一化层放置在卷积神经网络的各个层之间,就可以不断的对中间输出进行调整,从而保证整个网络的中间输出的数值稳定性。
使用马尔可夫随机场检测模型能够对有噪声的图像进行分割,得到矿区的道路区域和非道路区域,因为在矿区采集到的数据中存在大量的噪声,如灰尘、水渍、光照和复杂障碍物等。
确定模块通过同时接受卷积神经网络检测模型和马尔科夫随机场检测模型的输出结果,并对其进行加权求均值,与设定的阈值进行对比。使用两种模型同时检测,极大的提高了识别率。
图8所示为本发明一实施例提供的识别区域的装置的框图。该装置800执行如上述实施例所述的方法。
如图8所示,该装置800包括:采集模块810,用于采集包含区域的图像;识别模块820,用于利用人工神经网络模型对图像中的区域进行识别,得到第一识别结果;确定模块830,用于根据第一识别结果和第二识别结果确定区域的第三识别结果。
在本发明的一个实施例中,确定模块830还用于对第一识别结果和第二识别结果进行加权求平均处理,得到加权平均值;将加权平均值与第一阈值进行对比;若加权平均值小于第一阈值,则将区域确定为第一区域;若加权平均值大于或等于第一阈值,则将区域确定为第二区域,其中,第一区域为矿区的道路区域,第二区域为矿区的非道路区域。
在本发明的一个实施例中,人工神经网络模型为卷积神经网络模型,随机场模型为马尔可夫随机场模型。
图9所示为本发明另一实施例提供的识别区域的装置的框图。
具体地,如图9所示,在本发明的一个实施例中,识别区域的装置还包括:训练模块910,用于根据第一预设训练样本集对卷积神经网络模型的输出层修改并继续进行迭代训练,生成第一卷积神经网络模型,第一预设训练样本集包括一般道路的样本和非道路的样本;根据第二预设训练样本集对第一卷积神经网络模型进行迭代训练,生成第二卷积神经网络模型,将第二卷积神经网络模型确定为人工神经网络模型,第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,第二卷积神经网络模型用于判断矿区的道路区域和非道路区域。
在本发明的一个实施例中,如图9所示,识别区域的装置还包括:调整模块920,用于建立先验模型,采用最小二乘法估计先验模型的参数,根据先验模型的参数计算矿区的道路区域和非道路区域的先验概率分布;建立特征场模型,对特征场模型根据最大期望EM算法估计特征场模型的参数,根据最大期望EM算法估计参数包括:计算期望(E):根据矿区的道路区域和非道路区域的先验概率分布计算矿区的道路区域和非道路区域的后验概率分布,将后验概率分布与已知的矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值;最大化期望估计(M):最大化最大似然估计值,得到特征场模型的参数估计值;将参数估计值用于下一个计算期望(E)的步骤中作为先验概率分布的参数对后验概率分布进行计算,如此迭代直至收敛,得到调整后的马尔可夫随机场模型的参数。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述,上述各个模块所实现的技术效果具体详见上述方法中对应步骤的技术效果,在此不再赘述。
图10所示为本发明一实施例提供的电子设备的框图。
参照图10,装置1000包括处理器1010,其进一步包括一个或多个CPU和GPU处理器,以及由存储器1020所代表的存储器资源,用于存储可由处理器1010的执行的指令,例如应用程序。存储器1020中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器1010被配置为执行指令,以执行上述识别区域的方法。
装置1000还可以包括一个电源组件被配置为执行装置1000的电源管理,一个有线或无线网络接口被配置为将装置1000连接到网络,和一个输入输出(I/O)接口。装置1000可以操作基于存储在存储器1020的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
一种非临时性计算机可读存储介质,当存储介质中的指令由上述装置1000的处理器执行时,使得上述装置1000能够执行上述识别区域的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外,还需要说明的是,本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式,本案所记载的所有技术特征可以以任何方式进行自由组合或结合,除非相互之间产生矛盾。
需要注意的是,以上列举的仅为本发明的具体实施例,显然本发明不限于以上实施例,随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形,均应属于本发明的保护范围。
应当理解,本发明实施例中提到的第一、第二等限定词,仅仅为了更清楚地描述本发明实施例的技术方案使用,并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种识别区域的方法,其特征在于,包括:
采集包含所述区域的图像;
利用人工神经网络模型对所述图像中的所述区域进行识别,得到第一识别结果;
利用随机场模型对所述区域进行识别,得到第二识别结果;
根据所述第一识别结果和所述第二识别结果确定所述区域的第三识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一识别结果和所述第二识别结果确定所述区域的第三识别结果,包括:
对所述第一识别结果和所述第二识别结果进行加权求平均处理,得到加权平均值;
将所述加权平均值与第一阈值进行对比;
若所述加权平均值小于所述第一阈值,则将所述区域确定为第一区域;
若所述加权平均值大于或等于所述第一阈值,则将所述区域确定为第二区域,其中,所述第一区域为矿区的道路区域,所述第二区域为矿区的非道路区域。
3.根据权利要求1至2中的任一项所述的方法,其特征在于,所述人工神经网络模型为卷积神经网络模型,所述随机场模型为马尔可夫随机场模型。
4.根据权利要求3所述的方法,其特征在于,还包括:
训练所述卷积神经网络模型的方法,所述训练所述卷积神经网络模型的方法包括:
根据第一预设训练样本集对所述卷积神经网络模型进行迭代训练,生成第一卷积神经网络模型,所述第一预设训练样本集包括一般道路的样本和非道路的样本;
根据第二预设训练样本集对所述第一卷积神经网络模型的输出层修改并继续进行迭代训练,生成第二卷积神经网络模型,将所述第二卷积神经网络模型确定为所述人工神经网络模型,所述第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,所述第二卷积神经网络模型用于判断所述矿区的道路区域和非道路区域。
5.根据权利要求3所述的方法,其特征在于,还包括:
调整所述马尔可夫随机场模型的参数的方法,其中,所述调整所述马尔可夫随机场模型的参数的方法包括:
建立先验模型,采用最小二乘法估计所述先验模型的参数,根据所述先验模型的参数计算所述矿区的道路区域和非道路区域的先验概率分布;
建立特征场模型,对所述特征场模型根据最大期望EM算法估计所述特征场模型的参数,其中所述根据最大期望EM算法估计所述特征场模型的参数包括:计算期望(E):根据所述矿区的道路区域和非道路区域的先验概率分布计算所述矿区的道路区域和非道路区域的后验概率分布,将所述后验概率分布与已知的所述矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值;最大化期望估计(M):最大化所述最大似然估计值,得到所述特征场模型的参数估计值;
将所述参数估计值用于下一个所述计算期望(E)的步骤中作为所述先验概率分布的参数对所述后验概率分布进行计算,如此迭代直至收敛,得到调整后的所述马尔可夫随机场模型的参数。
6.一种识别区域的装置,其特征在于,包括:
采集模块,用于采集包含所述区域的图像;
识别模块,用于利用人工神经网络模型对所述图像中的所述区域进行识别,得到第一识别结果;利用随机场模型对所述区域进行识别,得到第二识别结果;
确定模块,用于根据所述第一识别结果和所述第二识别结果确定所述区域的第三识别结果。
7.根据权利要求6所述的识别区域的装置,其特征在于,所述确定模块还用于对所述第一识别结果和所述第二识别结果进行加权求平均处理,得到加权平均值;将所述加权平均值与第一阈值进行对比;若所述加权平均值小于所述第一阈值,则将所述区域确定为第一区域;若所述加权平均值大于或等于所述第一阈值,则将所述区域确定为第二区域,其中,所述第一区域为矿区的道路区域,所述第二区域为矿区的非道路区域。
8.根据权利要求7所述的识别区域的装置,其特征在于,所述人工神经网络模型为卷积神经网络模型,所述随机场模型为马尔可夫随机场模型。
9.根据权利要求8所述的识别区域的装置,其特征在于,所述识别区域的装置还包括:
训练模块,用于根据第一预设训练样本集对所述卷积神经网络模型进行迭代训练,生成第一卷积神经网络模型,所述第一预设训练样本集包括一般道路的样本和非道路的样本;根据第二预设训练样本集对所述第一卷积神经网络模型的输出层修改并继续进行迭代训练,生成第二卷积神经网络模型,将所述第二卷积神经网络模型确定为所述人工神经网络模型,所述第二预设训练样本集包括从矿区采集的道路的样本和非道路的样本,所述第二卷积神经网络模型用于判断所述矿区的道路区域和非道路区域。
10.根据权利要求8所述的识别区域的装置,其特征在于,所述识别区域的装置还包括:
调整模块,用于建立先验模型,采用最小二乘法估计所述先验模型的参数,根据所述先验模型的参数计算所述矿区的道路区域和非道路区域的先验概率分布;建立特征场模型,对所述特征场模型根据最大期望EM算法估计所述特征场模型的参数,所述根据最大期望EM算法估计参数包括:计算期望(E):根据所述矿区的道路区域和非道路区域的先验概率分布计算所述矿区的道路区域和非道路区域的后验概率分布,将所述后验概率分布与已知的所述矿区的道路区域和非道路区域的分类结果进行匹配,得到最大似然估计值;最大化期望估计(M):最大化所述最大似然估计值,得到所述特征场模型的参数估计值;将所述参数估计值用于下一个所述计算期望(E)的步骤中作为所述先验概率分布的参数对所述后验概率分布进行计算,如此迭代直至收敛,得到调整后的所述马尔可夫随机场模型的参数。
11.一种电子设备,其特征在于,包括:CPU和GPU处理器;存储器;以及存储在所述存储器中的计算机程序指令,所述计算机程序指令在被所述处理器运行时使得处理器执行如权利要求1至5所述的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910672462.0A CN110555511A (zh) | 2019-07-24 | 2019-07-24 | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910672462.0A CN110555511A (zh) | 2019-07-24 | 2019-07-24 | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110555511A true CN110555511A (zh) | 2019-12-10 |
Family
ID=68735872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910672462.0A Pending CN110555511A (zh) | 2019-07-24 | 2019-07-24 | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555511A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766241A (zh) * | 2021-04-07 | 2021-05-07 | 北京三快在线科技有限公司 | 一种目标物识别方法以及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295607A (zh) * | 2016-08-19 | 2017-01-04 | 北京奇虎科技有限公司 | 道路识别方法及装置 |
CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
CN106997466A (zh) * | 2017-04-12 | 2017-08-01 | 百度在线网络技术(北京)有限公司 | 用于检测道路的方法和装置 |
CN107545571A (zh) * | 2017-09-22 | 2018-01-05 | 深圳天琴医疗科技有限公司 | 一种图像检测方法及装置 |
CN108363961A (zh) * | 2018-01-24 | 2018-08-03 | 东南大学 | 基于卷积神经网络间迁移学习的桥梁支座病害识别方法 |
CN109285162A (zh) * | 2018-08-30 | 2019-01-29 | 杭州电子科技大学 | 一种基于局部区域条件随机场模型的图像语义分割方法 |
CN109446970A (zh) * | 2018-10-24 | 2019-03-08 | 西南交通大学 | 一种基于深度学习的变电站巡检机器人道路场景识别方法 |
CN109727256A (zh) * | 2018-12-10 | 2019-05-07 | 浙江大学 | 一种基于玻尔兹曼和目标先验知识的图像分割识别方法 |
CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及电子设备 |
-
2019
- 2019-07-24 CN CN201910672462.0A patent/CN110555511A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295607A (zh) * | 2016-08-19 | 2017-01-04 | 北京奇虎科技有限公司 | 道路识别方法及装置 |
CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
CN106997466A (zh) * | 2017-04-12 | 2017-08-01 | 百度在线网络技术(北京)有限公司 | 用于检测道路的方法和装置 |
CN107545571A (zh) * | 2017-09-22 | 2018-01-05 | 深圳天琴医疗科技有限公司 | 一种图像检测方法及装置 |
CN108363961A (zh) * | 2018-01-24 | 2018-08-03 | 东南大学 | 基于卷积神经网络间迁移学习的桥梁支座病害识别方法 |
CN109285162A (zh) * | 2018-08-30 | 2019-01-29 | 杭州电子科技大学 | 一种基于局部区域条件随机场模型的图像语义分割方法 |
CN109446970A (zh) * | 2018-10-24 | 2019-03-08 | 西南交通大学 | 一种基于深度学习的变电站巡检机器人道路场景识别方法 |
CN109727256A (zh) * | 2018-12-10 | 2019-05-07 | 浙江大学 | 一种基于玻尔兹曼和目标先验知识的图像分割识别方法 |
CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及电子设备 |
Non-Patent Citations (7)
Title |
---|
LEI GENG 等: "Combining CNN and MRF for road detection", 《COMPUTERS AND ELECTRICAL ENGINEERING》 * |
YIPING DUAN 等: "SAR Image segmentation based on convolutional-wavelet neural network and markov random field", 《PATTERN RECOGNITION》 * |
孙涛 等: "《光学遥感影像复原与超分辨重建》", 30 June 2012, 《国防工业出版社》 * |
宋青松 等: "组合全卷积神经网络和条件随机场的道路分割", 《清华大学学报(自然科学版)》 * |
汤浩 等: "全卷积网络结合改进的条件随机场一循环神经网络用于SAR图像场景分类", 《计算机应用》 * |
董巍升: "基于MRF模型SAR图像分割算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
雷浩川: "多分类器集成的遥感影像分类研究", 《中国博士学位论文全文数据库基础科学辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766241A (zh) * | 2021-04-07 | 2021-05-07 | 北京三快在线科技有限公司 | 一种目标物识别方法以及装置 |
CN112766241B (zh) * | 2021-04-07 | 2021-07-30 | 北京三快在线科技有限公司 | 一种目标物识别方法以及装置 |
WO2022213867A1 (zh) * | 2021-04-07 | 2022-10-13 | 北京三快在线科技有限公司 | 目标物识别 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110046631B (zh) | 用于自动推断时空图像的变化的系统和方法 | |
Varadarajan et al. | Spatial mixture of Gaussians for dynamic background modelling | |
CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
CN109766936B (zh) | 基于信息传递和注意力机制的图像变化检测方法 | |
CN110070029B (zh) | 一种步态识别方法及装置 | |
US7369682B2 (en) | Adaptive discriminative generative model and application to visual tracking | |
CN108932479A (zh) | 一种人体异常行为检测方法 | |
WO2021004361A1 (zh) | 一种人脸美丽等级预测方法、装置及存储介质 | |
CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
US20040239762A1 (en) | Adaptive background image updating | |
CN105303150B (zh) | 实现图像处理的方法和系统 | |
EP3113079A1 (en) | A controller for a working vehicle | |
CN110874590B (zh) | 基于适配器互学习模型的训练及可见光红外视觉跟踪方法 | |
CN113569657B (zh) | 一种行人重识别方法、装置、设备及存储介质 | |
CN103279944A (zh) | 一种基于生物地理优化的图像分割方法 | |
CN116523352B (zh) | 一种森林资源信息的管理方法及系统 | |
CN108320281B (zh) | 一种基于多特征扩散的图像显著性检测方法及终端 | |
CN115410150A (zh) | 传送带跑偏的检测方法、检测装置和处理器 | |
CN114049531A (zh) | 一种基于弱监督人体协同分割的行人再识别方法 | |
CN116612386A (zh) | 基于分级检测双任务模型的辣椒病虫害识别方法及系统 | |
Dash et al. | Mutation based self regulating and self perception particle swarm optimization for efficient object tracking in a video | |
Kumar et al. | Normalizing flow based feature synthesis for outlier-aware object detection | |
CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
CN110555511A (zh) | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |
|
RJ01 | Rejection of invention patent application after publication |