CN111126406A - 车辆行驶区域识别方法及装置 - Google Patents
车辆行驶区域识别方法及装置 Download PDFInfo
- Publication number
- CN111126406A CN111126406A CN201911301821.8A CN201911301821A CN111126406A CN 111126406 A CN111126406 A CN 111126406A CN 201911301821 A CN201911301821 A CN 201911301821A CN 111126406 A CN111126406 A CN 111126406A
- Authority
- CN
- China
- Prior art keywords
- vector
- input image
- result
- vertical direction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000013598 vector Substances 0.000 claims abstract description 231
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 78
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 abstract description 10
- 230000015654 memory Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种车辆行驶区域识别方法及装置，该方法包括：采集目标输入图像，进行特征提取，输出分辨率小于目标输入图像的特征向量；将特征向量进行多个传递方向的运算，生成第一运算向量；将第一运算向量进行多个传递方向的运算，生成第二运算向量；将特征提取过程中的浅层特征值及第一运算向量、第二运算向量整合生成输出向量，浅层特征值的分辨率大于特征向量、小于目标输入图像；将输出向量进行上采样处理，输出与目标输入图像相对应的车辆行驶区域识别结果。通过实施本发明，使输出特征值具有位置相关性，在特征图中融合位置信息，能有效增强区分优先路权区域和非优先路权区域的能力，实现对车辆行驶过程中行驶区域的优先权的识别划分。
Description
技术领域
本发明涉及机器学习及图像识别技术领域，具体涉及一种车辆行驶区域识别方法及装置。
背景技术
目前，基于机器学习的图像识别技术，主要是使用多尺度特征信息全卷积网络(Fully Convolutional Networks，FCN)，和使用空洞卷积的deeplab框架。其中，FCN网络抽取出基础网络(backend)中的多尺度特征图(features map)，通过上采样融合多尺度信息后进行像素级别的分类预测，得出图像中的可行驶区域信息；deeplab框架使用不同间隔(dilation)的空洞卷积从基础网络生成的特征图中提取金字塔结构的特征信息，然后进行像素分类预测可行驶区域。
上述两种方法在语义分割领域处于主导领域。但是在类似于特定区域的图像识别等特定应用中，上述方法对于区分特定区域的图像识别等方面，不具有针对性，识别结果准确度较差。
发明内容
有鉴于此，本发明实施例提供了一种车辆行驶区域识别方法及装置，以解决现有的机器学习对于特定区域的图像识别结果准确度较差的问题。
根据第一方面，本发明实施例提供了一种车辆行驶区域识别方法，包括：采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量；将所述特征向量进行多个传递方向的运算，生成第一运算向量；将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；将特征提取过程中的浅层特征值及所述第一运算向量、第二运算向量整合生成输出向量，所述浅层特征值的分辨率大于所述特征向量、小于所述目标输入图像；将所述输出向量进行上采样处理，输出与所述目标输入图像相对应的车辆行驶区域识别结果。
结合第一方面，在第一方面第一实施方式中，所述将所述特征向量进行多个传递方向的运算，生成第一运算向量，包括：根据所述特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；根据所述特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第一运算向量。
结合第一方面，在第一方面第二实施方式中，所述将所述第一运算向量进行多个传递方向的运算，生成第二运算向量，包括：根据所述第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；根据所述第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第二运算向量。
结合第一方面，在第一方面第三实施方式中，所述车辆行驶区域识别方法还包括：根据所述车辆行驶区域识别结果确定当前行驶区域及其他行驶区域的优先级；根据所述当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态；根据所述当前行驶区域及其他行驶区域的优先级及所述可行驶状态确定是否切换行驶区域。
结合第一方面，在第一方面第四实施方式中，在所述采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量的步骤之前，所述方法还包括：获取训练输入图像，所述训练输入图像中标注有表征行驶区域的像素分类标注信息；根据所述训练输入图像进行特征提取，输出分辨率小于所述训练输入图像的训练特征向量；根据第一初始权重参数将所述训练特征向量进行多个传递方向的运算，生成第一运算向量；根据第二初始权重参数将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；将特征提取过程中的第二浅层特征值及所述第一运算向量、第二运算向量整合生成训练输出向量，所述第二浅层特征值的分辨率大于所述训练特征向量、小于所述训练输入图像；将所述训练输出向量进行上采样处理，输出与所述训练输入图像相对应的训练车辆行驶区域识别结果，所述训练行驶识别结果中包含像素分类信息；根据所述像素分类标注信息及所述像素分类信息计算交叉熵损失；判断所述交叉熵损失是否小于预设阈值；如果所述交叉熵损失小于所述预设阈值，将所述第一初始权重参数及第二初始权重参数确定为用于图像区域识别的神经网络的权重参数。
根据第二方面，本发明实施例提供了一种车辆行驶区域识别装置，包括：特征向量输出模块，用于采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量；第一运算向量生成模块，用于将所述特征向量进行多个传递方向的运算，生成第一运算向量；第二运算向量生成模块，用于将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；输出向量整合模块，用于将特征提取过程中的浅层特征值及所述第一运算向量、第二运算向量整合生成输出向量，所述浅层特征值的分辨率大于所述特征向量、小于所述目标输入图像；结果输出模块，用于将所述输出向量进行上采样处理，输出与所述目标输入图像相对应的车辆行驶区域识别结果。
结合第二方面，在第二方面第一实施方式中，所述第一运算向量生成模块包括：第一垂直运算子模块，用于根据所述特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；第一水平运算子模块，用于根据所述特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；第一运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第一运算向量。
结合第二方面，在第二方面第二实施方式中，所述第二运算向量生成模块包括：第二垂直运算子模块，用于根据所述第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；第二水平运算子模块，用于根据所述第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；第二运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第二运算向量。
结合第二方面，在第二方面第三实施方式中，所述车辆行驶区域识别装置还包括：优先级确定模块，用于根据所述车辆行驶区域识别结果确定当前行驶区域及其他行驶区域的优先级；可行驶状态判断模块，用于根据所述当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态；行驶控制模块，用于根据所述当前行驶区域及其他行驶区域的优先级及所述可行驶状态确定是否切换行驶区域。
根据第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的车辆行驶区域识别方法。
本发明实施例的有益效果在于，在特征运算中，根据RNN的运算方法，将前一个位置的运算结果添加到当前位置的运算输出中，这样就使得输出特征值具有了位置相关性，实现了特征图中融合位置信息，基于位置信息，能够有效增强区分优先路权区域和非优先路权区域的能力，从而实现对车辆行驶过程中行驶区域的优先权的识别划分。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明实施例的车辆行驶区域识别方法的流程示意图；
图2示出了本发明实施例的车辆行驶区域识别方法的步骤S12的具体实施例的流程示意图；
图3示出了本发明实施例的车辆行驶区域识别方法的步骤S13的具体实施例的流程示意图；
图4示出了本发明实施例的图像区域识别模型的训练方法的流程示意图；
图5示出了本发明实施例的训练数据集的标注图示例图；
图6示出了本发明实施例的车辆行驶区域识别方法的识别结果示意图；
图7示出了本发明实施例的车辆行驶区域识别装置的结构示意图；
图8示出了本发明实施例的图像区域识别模型的训练装置的结构示意图；
图9示出了本发明实施例的用于目标区域识别的神经网络系统的结构示意图；
图10示出了本发明实施例的计算机设备的硬件架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前常用的基于机器学习的图像识别技术主要有使用多尺度特征信息FCN网络，和使用空洞卷积的deeplab框架。具体地，可以例如是应用在自动驾驶的行驶区域信息识别中。FCN网络抽取出基础网络(backend)中的多尺度特征图(features map)，通过上采样融合多尺度信息后进行像素级别的分类预测，得出图像中的可行驶区域信息；deeplab框架使用不同间隔(dilation)的空洞卷积从基础网络生成的特征图中提取金字塔结构的特征信息，然后进行像素分类预测可行驶区域。
实际应用中，上述两种神经网络算法在语义分割领域处于主导领域。但是在可行驶区域识别的特定应用中，例如需要判断当前车道具有优先路权，而旁边的车道不具有优先路权这类场景时，对于优先路权区域的判断需要结合像素的位置信息，但上述两种方法对于区分行驶区域的优先级的问题不具有针对性，难以获取到较为准确的判断信息，因此，较难将上述两种算法应用到自动驾驶领域的图像区域识别过程中。
基于此，本发明实施例提供了一种车辆行驶区域识别方法，如图1所示，该图像区域识别主要包括：
步骤S11：采集目标输入图像，进行特征提取，输出分辨率小于目标输入图像的特征向量。实际应用中，该目标输入图像可以是自动驾驶车辆在行进过程中，车载摄像设备所捕捉到的展示路况信息的图像，可以包括车辆当前行驶车道的信息及相邻车道的信息。对该目标输入图像进行特征提取，具体地，可以是采用基础网络实现特征提取，该基础网络可以选用预训练的特征提取网络，包括但不限于Resnet、Mobilenet、Shufflenet、VGG等。通过特征提取可以获取到分辨率小于原目标输入图像的特征向量，实际上，是通过基础网络对目标输入图像进行了下采样，从而获取到例如是分辨率为目标输入图像的1/16的特征向量，但本发明并不限于此。
步骤S12：将特征向量进行多个传递方向的运算，生成第一运算向量。通过将特征向量进行多个传递方向的运算，使得当前的特征向量对应的输出不仅和其输入相关，同时也和其当前位置的前一个位置的输出相关，从而使得在运算过程中包含了特征向量的位置信息。其中，该多个传递方向包括：相对的第一垂直方向与第二垂直方向、及相对的第一水平方向与第二水平方向；在本发明实施例中，进行上述运算的运算模块可以是由水平RNN(horizontal_rnn)和垂直RNN(vertical_rnn)两个部分组成，他们是一个双向的RNN，分别表示从左到右和从右到左(或者从上到下和从下到上)的传递方向，并且，第一垂直方向与第二垂直方向相反；第一水平方向与第二水平方向相反，具体内容将在下文做进一步描述。
步骤S13：将第一运算向量进行多个传递方向的运算，生成第二运算向量。通过将第一运算向量进行多个传递方向的运算，使得当前的第一运算向量对应的输出不仅和其输入相关，同时也和其当前位置的前一个位置的输出相关，从而使得在运算过程中包含了第一运算向量的位置信息。
可选地，在本发明的一些实施例中，上述步骤S2及步骤S3是在基础网络后叠加两组4个方向的循环神经网络(Recurrent Neural Network,RNN)模块进行RNN运算实现的，采用逐行或者逐列的方式对特征图进行循环运算。通过RNN模块，特征点的输出值不仅和输入值相关，还与特征点所在的位置相关(当前位置的输出值由前一个位置的输出值与当前位置输入值得到)。
步骤S14：将特征提取过程中的浅层特征值及第一运算向量、第二运算向量整合生成输出向量。特征提取过程中的浅层特征值，是指在将目标输入图像进行下采样的过程中，例如会产生分辨率大于特征向量、小于目标输入图像的特征值，例如，将目标输入图像下采样为分辨率为目标输入图像1/16的特征向量时，会产生分辨率为目标输入图像1/8、1/4的特征值。通过将这些浅层特征值与第一运算向量、第二运算向量整合，优化边界预测结果。
步骤S15：将输出向量进行上采样处理，输出与目标输入图像相对应的车辆行驶区域识别结果。
本发明实施例的车辆行驶区域识别方法，在特征运算中，根据RNN的运算方法，将前一个位置的运算结果添加到当前位置的运算输出中，这样就使得输出特征值具有了位置相关性，实现了特征图中融合位置信息，基于位置信息，能够有效增强区分优先路权区域和非优先路权区域的能力，从而实现对车辆行驶过程中行驶区域的优先权的识别划分。
可选地，在本发明的一些实施例中，如图2所示，上述的步骤S12，将特征向量进行多个传递方向的运算，生成第一运算向量，具体包括：
步骤S201：根据特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，第一垂直方向与第二垂直方向反向；
步骤S202：根据特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，第一水平方向与第二水平方向反向；
步骤S203：将垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到第一运算向量。
在本发明实施例中，通过RNN运算模块实现上述运算过程。该RNN运算模块主要由水平RNN(horizontal_rnn)和垂直RNN(vertical_rnn)两个部分组成，他们是一个双向的RNN，分别表示从左到右和从右到左(或者从上到下和从下到上)的传递方向。
输入的特征向量进入水平RNN(horizontal_rnn)时，先将特征向量的列叠加到超参数(batch)的维度，图像数据格式NHWC转换成(NW)HC。然后在垂直方向上(H)进行RNN运算，第0行的结果等于初始状态的特征向量和第0行的输入的函数；第n行的结果等于第n-1行的输出和第0行的输入的函数。最后把双向的结果拼接到一起(concat)，并将(NW)HC转换成NHWC。
另一边，输入的特征向量进入垂直RNN(vertical_rnn)时，先将特征向量的行叠加到batch的维度，NHWC转换成(NH)WC。然后在水平方向上(W)进行RNN运算，第0列的结果等于初始状态和第0行输入的函数；第n列的结果等于第n-1列的输出和第n列的输入的函数，最后把双向的结果拼接到一起(concat)，并将(NH)WC转换成NHWC。
在RNN模块的输出部分，需要拼接水平RNN和垂直RNN的结果，并且经过1x1的卷积(Conv)融合RNN的结果，从而得到该第一运算向量。
可选地，在本发明的一些实施例中，如图3所示，上述的步骤S13，将第一运算向量进行多个传递方向的运算，生成第二运算向量，具体包括：
步骤S301：根据第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，第一垂直方向与第二垂直方向反向；
步骤S302：根据第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，第一水平方向与第二水平方向反向；
步骤S303：将垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到第二运算向量。
在本发明实施例中，通过RNN运算模块实现上述运算过程。该RNN运算模块主要由水平RNN(horizontal_rnn)和垂直RNN(vertical_rnn)两个部分组成，他们构成双向的RNN，分别表示从左到右和从右到左(或者从上到下和从下到上)的传递方向。
输入的第一运算向量进入水平RNN(horizontal_rnn)时，先将第一运算向量的列叠加到超参数(batch)的维度，图像数据格式NHWC转换成(NW)HC。然后在垂直方向上(H)进行RNN运算，第0行的结果等于初始状态的第一运算向量和第0行的输入的函数；第n行的结果等于第n-1行的输出和第0行的输入的函数。最后把双向的结果拼接到一起(concat)，并将(NW)HC转换成NHWC。
另一边，输入的第一运算向量进入垂直RNN(vertical_rnn)时，先将第一运算向量的行叠加到batch的维度，NHWC转换成(NH)WC。然后在水平方向上(W)进行RNN运算，第0列的结果等于初始状态和第0行输入的函数；第n列的结果等于第n-1列的输出和第n列的输入的函数，最后把双向的结果拼接到一起(concat)，并将(NH)WC转换成NHWC。
通过上述步骤S12及步骤S13，将输入两层RNN模块的特征向量与其前一个位置的位置信息相关联，使得输出特征值具有了位置相关性，实现了特征图中融合位置信息。
然后，将RNN的输出结果与基础网络输出的浅层特征值(具有较多的像素信息)整合(concat)，优化边界预测结果。输出的部分使用1x1的卷积操作，分别预测特征的分类。此时的分类基于Refine的浅层特征值的大小，映射到原图需要上采样为原图尺寸，从而得到输入图像中的可行驶区域结果。
可选地，在本发明的一些实施例中，在通过上述任意实施例的车辆行驶区域识别方法得到与目标输入图像相对应的车辆行驶区域识别结果后，该车辆行驶区域识别结果可以用以作为车辆自动驾驶过程中判断行驶路权的基础。
具体地，首先是根据该车辆行驶区域识别结果确定车辆当前行驶的区域和其他行驶区域的优先级。例如，如图5所示，车辆当前行驶区域(例如图5中的行驶路段)为标号10所示路段，对于车辆来说，当前行驶区域具有最高的优先级，在正常行驶情况下，可以一直在最高优先级的区域行驶。在标号10所示路段两侧的路段，即标号20所示范围，通过机器视觉等图像识别手段能够判断，两侧路段都比较空旷，当前并无障碍物，当车辆需要进行并道时，两侧均可选择，因此，此时两侧的路段20具有相同的优先级，且低于路段10的优先级。
而对于如图6所示的路况，车辆当前行驶区域(例如图6中的行驶路段)为标号30所示路段，对于车辆来说，当前行驶区域具有最高的优先级，在正常行驶情况下，可以一直在最高优先级的区域行驶。在标号30所示路段两侧的路段，图中左侧由于占满车辆，并无可选路段，图中右侧的路段40，虽然也有车辆，但是通过图像识别等手段，仍然能够识别出具有一定的并道空间，因此，路段30的优先级高于路段40，路段40的优先级高于路段30左侧的路段。
其次，根据当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态，并根据当前行驶区域及其他行驶区域的优先级及可行驶状态确定是否切换行驶区域。例如前述，对于如图5所示的路况，路段10两侧的路段20由于较为空旷，均可判定为可并道行驶的状态。因此，当路段10出现异常时，可以选择两侧中的任一一条路段20进行并道。
而对于如图6所示的路况，路段30左侧的路段由于被车辆占满，并不可选择，只能选择右侧的路段40。如果车辆当前行驶路段30出现异常需要并道时，则会根据优先级优先决策向路段40并道。
本发明实施例的车辆行驶区域识别方法，通过上述过程，在基于位置信息，有效增强区分优先路权区域和非优先路权区域的能力，从而实现对车辆行驶过程中行驶区域的优先权的识别划分后，结合识别划分结果，对路况的优先级进行划分，并确定路况的可行驶情况，参考了路况优先级及可行驶情况来进行车辆行驶过程中的路权选择决策，能够更加准确、有效的作出判断，提高车辆自动驾驶的安全性。
本发明实施例还提供了一种图像区域识别模型的训练方法，如图4所示，该训练方法包括：
步骤S41：获取训练输入图像，训练输入图像中标注有表征行驶区域的像素分类标注信息；实际应用中，该训练输入图像可以是自动驾驶车辆在行进过程中，车载摄像设备所捕捉到的展示路况信息的图像，可以包括车辆当前行驶车道的信息及相邻车道的信息。其中，在该训练输入图像中也包含了表征行驶区域的像素分类标注信息。
步骤S42：根据训练输入图像进行特征提取，输出分辨率小于训练输入图像的训练特征向量；对该训练输入图像进行特征提取，具体地，可以是采用基础网络实现特征提取，该基础网络可以选用预训练的特征提取网络，包括但不限于Resnet、Mobilenet、Shufflenet、VGG等。通过特征提取可以获取到分辨率小于原训练输入图像的特征向量，实际上，是通过基础网络对训练输入图像进行了下采样，从而获取到例如是分辨率为目标输入图像的1/16的特征向量，但本发明并不限于此。
步骤S43：根据第一初始权重参数将训练特征向量进行多个传递方向的运算，生成第一运算向量；通过将训练特征向量进行多个传递方向的运算，使得当前的训练特征向量对应的输出不仅和其输入相关，同时也和其当前位置的前一个位置的输出相关，从而使得在运算过程中包含了训练特征向量的位置信息。
步骤S44：根据第二初始权重参数将第一运算向量进行多个传递方向的运算，生成第二运算向量；通过将第二运算向量进行多个传递方向的运算，使得当前的第二运算向量对应的输出不仅和其输入相关，同时也和其当前位置的前一个位置的输出相关，从而使得在运算过程中包含了第二运算向量的位置信息。
步骤S45：将特征提取过程中的第二浅层特征值及第一运算向量、第二运算向量整合生成训练输出向量，第二浅层特征值的分辨率大于训练特征向量、小于训练输入图像；
步骤S46：将训练输出向量进行上采样处理，输出与训练输入图像相对应的训练车辆行驶区域识别结果，该训练车辆行驶区域识别结果中包含像素分类信息；
步骤S47：根据像素分类标注信息及像素分类信息计算交叉熵损失；
步骤S48：判断交叉熵损失是否小于预设阈值；
步骤S49：如果交叉熵损失小于预设阈值，将第一初始权重参数及第二初始权重参数确定为用于图像区域识别的神经网络的权重参数。
步骤S50：如果交叉熵损失大于或等于预设阈值，调整第一初始权重参数及第二初始权重参数，并用调整后的权重参数替换第一初始权重参数及第二初始权重参数，返回执行步骤S43。
通过上述训练方法得到的图像区域识别模型，可具体应用于本发明实施例的车辆行驶区域识别方法。
以下结合一应用实例对本发明实施例进行说明。如图5所示，是训练数据集的标注图示例，在路面有多条车道时，标记10的部分为当前行驶车道(具有优先路权)，标记20的部分为其他可行驶的车道(不具有优先路权，在安全的情况下，可以变道驶入)。行驶过程中如不需要变道时，只要保持在标记10区域行驶即可。通过校正相机参数后，还可以根据标记10区域判定驾驶过程中的车道偏离行为。当需要变道时，检查标记10区域旁边的标记20区域，可以判定是否可以变道。
如图6所示，通过本发明实施例的车辆行驶区域识别方法，由于能够参考输入图像的位置信息，能够准确的判断出标记30的优先路权区域较大，可以一直保持直行；左边没有可行驶区域，不能向左变道；右边的可行驶区域(标记40的区域)较小，如需变道，应该减速通过。
本发明实施例还提供了一种车辆行驶区域识别装置，如图7所示，该装置包括：
特征向量输出模块71，用于采集目标输入图像，进行特征提取，输出分辨率小于目标输入图像的特征向量；详细内容可参见上述方法实施例的步骤S11的相关描述。
第一运算向量生成模块72，用于将特征向量进行多个传递方向的运算，生成第一运算向量；详细内容可参见上述方法实施例的步骤S12的相关描述。
第二运算向量生成模块73，用于将第一运算向量进行多个传递方向的运算，生成第二运算向量；详细内容可参见上述方法实施例的步骤S13的相关描述。
输出向量整合模块74，用于将特征提取过程中的浅层特征值及第一运算向量、第二运算向量整合生成输出向量，浅层特征值的分辨率大于特征向量、小于目标输入图像；详细内容可参见上述方法实施例的步骤S14的相关描述。
结果输出模块75，用于将输出向量进行上采样处理，输出与目标输入图像相对应的车辆行驶区域识别结果；详细内容可参见上述方法实施例的步骤S15的相关描述。
本发明实施例的车辆行驶区域识别装置，在特征运算中，根据RNN的运算方法，将前一个位置的运算结果添加到当前位置的运算输出中，这样就使得输出特征值具有了位置相关性，实现了特征图中融合位置信息，基于位置信息，能够有效增强区分优先路权区域和非优先路权区域的能力，从而实现对车辆行驶过程中行驶区域的优先权的识别划分。
可选地，在本发明的一些实施例中，上述的第一运算向量生成模块73包括：第一垂直运算子模块，用于根据所述特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；第一水平运算子模块，用于根据所述特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；第一运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第一运算向量。详细内容可参见上述方法实施例的步骤S201～步骤S203的相关描述。
可选地，在本发明的一些实施例中，上述的第二运算向量生成模块74包括：第二垂直运算子模块，用于根据所述第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；第二水平运算子模块，用于根据所述第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；第二运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第二运算向量。详细内容可参见上述方法实施例的步骤S301～步骤S303的相关描述。
可选地，在本发明的一些实施例中，本发明实施例的车辆行驶区域识别装置还包括：优先级确定模块、可行驶状态判断模块及行驶控制模块。
其中，该优先级确定模块用于根据所述车辆行驶区域识别结果确定当前行驶区域及其他行驶区域的优先级。例如，如图5所示，车辆当前行驶区域(例如图5中的行驶路段)为标号10所示路段，对于车辆来说，当前行驶区域具有最高的优先级，在正常行驶情况下，可以一直在最高优先级的区域行驶。在标号10所示路段两侧的路段，即标号20所示范围，通过机器视觉等图像识别手段能够判断，两侧路段都比较空旷，当前并无障碍物，当车辆需要进行并道时，两侧均可选择，因此，此时两侧的路段20具有相同的优先级，且低于路段10的优先级。
而对于如图6所示的路况，车辆当前行驶区域(例如图6中的行驶路段)为标号30所示路段，对于车辆来说，当前行驶区域具有最高的优先级，在正常行驶情况下，可以一直在最高优先级的区域行驶。在标号30所示路段两侧的路段，图中左侧由于占满车辆，并无可选路段，图中右侧的路段40，虽然也有车辆，但是通过图像识别等手段，仍然能够识别出具有一定的并道空间，因此，路段30的优先级高于路段40，路段40的优先级高于路段30左侧的路段。
上述的可行驶状态判断模块用于根据所述当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态；行驶控制模块用于根据所述当前行驶区域及其他行驶区域的优先级及所述可行驶状态确定是否切换行驶区域。
例如前述，对于如图5所示的路况，路段10两侧的路段20由于较为空旷，均可判定为可并道行驶的状态。因此，当路段10出现异常时，可以选择两侧中的任一一条路段20进行并道。
而对于如图6所示的路况，路段30左侧的路段由于被车辆占满，并不可选择，只能选择右侧的路段40。如果车辆当前行驶路段30出现异常需要并道时，则会根据优先级优先决策向路段40并道。
本发明实施例的车辆行驶区域识别装置，通过上述过程，在基于位置信息，有效增强区分优先路权区域和非优先路权区域的能力，从而实现对车辆行驶过程中行驶区域的优先权的识别划分后，结合识别划分结果，对路况的优先级进行划分，并确定路况的可行驶情况，参考了路况优先级及可行驶情况来进行车辆行驶过程中的路权选择决策，能够更加准确、有效的作出判断，提高车辆自动驾驶的安全性。
本发明实施例还提供了一种图像区域识别模型的训练装置，如图8所示，该训练装置包括：
训练输入图像获取模块81，用于获取训练输入图像，所述训练输入图像中标注有表征行驶区域的像素分类标注信息；详细内容可参见上述方法实施例的步骤S41的相关描述。
训练特征向量输出模块82，用于根据所述训练输入图像进行特征提取，输出分辨率小于所述训练输入图像的训练特征向量；详细内容可参见上述方法实施例的步骤S42的相关描述。
第一运算向量生成模块83，用于根据第一初始权重参数将所述训练特征向量进行多个传递方向的运算，生成第一运算向量；详细内容可参见上述方法实施例的步骤S43的相关描述。
第二运算向量生成模块84，用于根据第二初始权重参数将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；详细内容可参见上述方法实施例的步骤S44的相关描述。
训练输出向量生成模块85，用于将特征提取过程中的第二浅层特征值及所述第一运算向量、第二运算向量整合生成训练输出向量，所述第二浅层特征值的分辨率大于所述训练特征向量、小于所述训练输入图像；详细内容可参见上述方法实施例的步骤S45的相关描述。
训练识别结果模块86，用于将所述训练输出向量进行上采样处理，输出与所述训练输入图像相对应的训练车辆行驶区域识别结果，所述训练车辆行驶区域识别结果中包含像素分类信息；详细内容可参见上述方法实施例的步骤S46的相关描述。
交叉熵损失计算模块87，用于根据所述像素分类标注信息及所述像素分类信息计算交叉熵损失；详细内容可参见上述方法实施例的步骤S47的相关描述。
判断模块88，用于判断所述交叉熵损失是否小于预设阈值；详细内容可参见上述方法实施例的步骤S48的相关描述。
权重参数确定模块89，如果所述交叉熵损失小于所述预设阈值，所述权重参数确定模块用于将所述第一初始权重参数及第二初始权重参数确定为用于图像区域识别的神经网络的权重参数。详细内容可参见上述方法实施例的步骤S49的相关描述。
本发明实施例还提供了一种用于目标区域识别的神经网络系统，如图9所示，该系统包括：
基础网络91，用于获取目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量；
第一RNN模块92，用于将所述特征向量进行多个传递方向的运算，生成第一运算向量；
第二RNN模块93，用于将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；
第一RNN模块92及第二RNN模块93构成两组4个方向的RNN模块，采用逐行或者逐列的方式对特征图进行循环运算。通过RNN模块，特征点的输出值不仅和输入值相关，还与特征点所在的位置相关(当前位置的输出值由前一个位置的输出值与当前位置输入值得到)。
边界优化模块94，用于将特征提取过程中的浅层特征值及所述第一运算向量、第二运算向量整合生成输出向量，所述浅层特征值的分辨率大于所述特征向量、小于所述目标输入图像；
输出模块95，用于将所述输出向量进行上采样处理，输出与所述目标输入图像相对应的车辆行驶区域识别结果。
本发明实施例还提供了一种计算机设备，如图10所示，该车辆终端可以包括处理器101和存储器102，其中处理器101和存储器102可以通过总线或者其他方式连接，图10中以通过总线连接为例。
处理器101可以为中央处理器(Central Processing Unit，CPU)。处理器101还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器102作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车辆行驶区域识别方法或图像区域识别模型的训练方法所对应的程序指令/模块。处理器101通过运行存储在存储器102中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车辆行驶区域识别方法或图像区域识别模型的训练方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器101所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至处理器101。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器102中，当被所述处理器91执行时，执行如图1-图4所示实施例中的车辆行驶区域识别方法或图像区域识别模型的训练方法。
上述计算机设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种车辆行驶区域识别方法，其特征在于，包括：
采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量；
将所述特征向量进行多个传递方向的运算，生成第一运算向量；所述多个传递方向包括：相对的第一垂直方向与第二垂直方向、及相对的第一水平方向与第二水平方向；
将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；
将特征提取过程中的浅层特征值及所述第一运算向量、第二运算向量整合生成输出向量，所述浅层特征值的分辨率大于所述特征向量、小于所述目标输入图像；
将所述输出向量进行上采样处理，输出与所述目标输入图像相对应的车辆行驶区域识别结果。
2.根据权利要求1所述的车辆行驶区域识别方法，其特征在于，所述将所述特征向量进行多个传递方向的运算，生成第一运算向量，包括：
根据所述特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；
根据所述特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；
将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第一运算向量。
3.根据权利要求1所述的车辆行驶区域识别方法，其特征在于，所述将所述第一运算向量进行多个传递方向的运算，生成第二运算向量，包括：
根据所述第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；
根据所述第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；
将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第二运算向量。
4.根据权利要求1所述的车辆行驶区域识别方法，其特征在于，还包括：
根据所述车辆行驶区域识别结果确定当前行驶区域及其他行驶区域的优先级；
根据所述当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态；
根据所述当前行驶区域及其他行驶区域的优先级及所述可行驶状态确定是否切换行驶区域。
5.根据权利要求1所述的车辆行驶区域识别方法，其特征在于，在所述采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量的步骤之前，所述方法还包括：
获取训练输入图像，所述训练输入图像中标注有表征行驶区域的像素分类标注信息；
根据所述训练输入图像进行特征提取，输出分辨率小于所述训练输入图像的训练特征向量；
根据第一初始权重参数将所述训练特征向量进行多个传递方向的运算，生成第一运算向量；
根据第二初始权重参数将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；
将特征提取过程中的第二浅层特征值及所述第一运算向量、第二运算向量整合生成训练输出向量，所述第二浅层特征值的分辨率大于所述训练特征向量、小于所述训练输入图像；
将所述训练输出向量进行上采样处理，输出与所述训练输入图像相对应的训练车辆行驶区域识别结果，所述训练车辆行驶区域识别结果中包含像素分类信息；
根据所述像素分类标注信息及所述像素分类信息计算交叉熵损失；
判断所述交叉熵损失是否小于预设阈值；
如果所述交叉熵损失小于所述预设阈值，将所述第一初始权重参数及第二初始权重参数确定为用于图像区域识别的神经网络的权重参数。
6.一种车辆行驶区域识别装置，其特征在于，包括：
特征向量输出模块，用于采集目标输入图像，进行特征提取，输出分辨率小于所述目标输入图像的特征向量；
第一运算向量生成模块，用于将所述特征向量进行多个传递方向的运算，生成第一运算向量；
第二运算向量生成模块，用于将所述第一运算向量进行多个传递方向的运算，生成第二运算向量；
输出向量整合模块，用于将特征提取过程中的浅层特征值及所述第一运算向量、第二运算向量整合生成输出向量，所述浅层特征值的分辨率大于所述特征向量、小于所述目标输入图像；
结果输出模块，用于将所述输出向量进行上采样处理，输出与所述目标输入图像相对应的车辆行驶区域识别结果。
7.根据权利要求6所述的车辆行驶区域识别装置，其特征在于，所述第一运算向量生成模块包括：
第一垂直运算子模块，用于根据所述特征向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；
第一水平运算子模块，用于根据所述特征向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；
第一运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第一运算向量。
8.根据权利要求6所述的车辆行驶区域识别装置，其特征在于，所述第二运算向量生成模块包括：
第二垂直运算子模块，用于根据所述第一运算向量沿第一垂直方向及第二垂直方向进行RNN运算，并进行拼接，得到垂直运算结果，所述第一垂直方向与第二垂直方向反向；
第二水平运算子模块，用于根据所述第一运算向量沿第一水平方向及第二水平方向进行RNN运算，并进行拼接，得到水平运算结果，所述第一水平方向与第二水平方向反向；
第二运算向量生成子模块，用于将所述垂直运算结果及水平运算结果进行拼接，并将拼接后的运算结果进行卷积运算，得到所述第二运算向量。
9.根据权利要求6所述的车辆行驶区域识别装置，其特征在于，还包括：
优先级确定模块，用于根据所述车辆行驶区域识别结果确定当前行驶区域及其他行驶区域的优先级；
可行驶状态判断模块，用于根据所述当前行驶区域及其他行驶区域的优先级判断各行驶区域的可行驶状态；
行驶控制模块，用于根据所述当前行驶区域及其他行驶区域的优先级及所述可行驶状态确定是否切换行驶区域。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-5中任一项所述的车辆行驶区域识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911301821.8A CN111126406B (zh) | 2019-12-17 | 2019-12-17 | 车辆行驶区域识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911301821.8A CN111126406B (zh) | 2019-12-17 | 2019-12-17 | 车辆行驶区域识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126406A true CN111126406A (zh) | 2020-05-08 |
| CN111126406B CN111126406B (zh) | 2023-04-07 |
Family
ID=70498214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911301821.8A Active CN111126406B (zh) | 2019-12-17 | 2019-12-17 | 车辆行驶区域识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126406B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084912A (zh) * | 2020-08-28 | 2020-12-15 | 安徽清新互联信息科技有限公司 | 一种基于自适应信息增强的人脸特征点定位方法及系统 |
| CN112418157A (zh) * | 2020-12-08 | 2021-02-26 | 北京深睿博联科技有限责任公司 | 基于差分神经网络和图像序列数据的车速识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855500A (zh) * | 2011-06-27 | 2013-01-02 | 东南大学 | 一种基于Haar和HoG特征的前车检测方法 |
| CN103258213A (zh) * | 2013-04-22 | 2013-08-21 | 中国石油大学(华东) | 一种用于智能交通系统中的动态车辆车型识别方法 |
| CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
| CN109858309A (zh) * | 2017-11-30 | 2019-06-07 | 东软集团股份有限公司 | 一种识别道路线的方法和装置 |
| CN109948416A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的违法占用公交车道自动审核方法 |
| EP3579183A1 (en) * | 2017-01-31 | 2019-12-11 | Equos Research Co., Ltd. | Image feature value output device, image recognition device, image feature value output program, and image recognition program |
-
2019
- 2019-12-17 CN CN201911301821.8A patent/CN111126406B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855500A (zh) * | 2011-06-27 | 2013-01-02 | 东南大学 | 一种基于Haar和HoG特征的前车检测方法 |
| CN103258213A (zh) * | 2013-04-22 | 2013-08-21 | 中国石油大学(华东) | 一种用于智能交通系统中的动态车辆车型识别方法 |
| EP3579183A1 (en) * | 2017-01-31 | 2019-12-11 | Equos Research Co., Ltd. | Image feature value output device, image recognition device, image feature value output program, and image recognition program |
| CN109858309A (zh) * | 2017-11-30 | 2019-06-07 | 东软集团股份有限公司 | 一种识别道路线的方法和装置 |
| JP2019102049A (ja) * | 2017-11-30 | 2019-06-24 | 東軟集団股▲分▼有限公司 | 車線検出のための方法及び装置 |
| CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
| CN109948416A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的违法占用公交车道自动审核方法 |
Non-Patent Citations (3)
| Title |
|---|
| 侯松林: "基于学习的非线性人脸图像超分辨率算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 周俊静: "基于激光雷达的智能车辆目标识别与跟踪关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 黄伟杰: "基于车载视觉系统的道路环境感知技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084912A (zh) * | 2020-08-28 | 2020-12-15 | 安徽清新互联信息科技有限公司 | 一种基于自适应信息增强的人脸特征点定位方法及系统 |
| CN112418157A (zh) * | 2020-12-08 | 2021-02-26 | 北京深睿博联科技有限责任公司 | 基于差分神经网络和图像序列数据的车速识别方法及装置 |
| CN112418157B (zh) * | 2020-12-08 | 2022-09-16 | 北京深睿博联科技有限责任公司 | 基于差分神经网络和图像序列数据的车速识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126406B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109426801B (zh) | 一种车道线实例检测方法和装置 | |
| JP7430277B2 (ja) | 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム | |
| US20230144209A1 (en) | Lane line detection method and related device | |
| JP2019096072A (ja) | 物体検出装置、物体検出方法およびプログラム | |
| EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| US11436744B2 (en) | Method for estimating lane information, and electronic device | |
| US10984588B2 (en) | Obstacle distribution simulation method and device based on multiple models, and storage medium | |
| CN112307978B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN109063603B (zh) | 基于区域动态筛选的图像预测方法和装置及电子设备 | |
| US20190026923A1 (en) | Image recognition system | |
| CN111126406B (zh) | 车辆行驶区域识别方法及装置 | |
| CN113383283B (zh) | 感知信息处理方法、装置、计算机设备和存储介质 | |
| CN114549369B (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| CN111144330A (zh) | 一种基于深度学习的车道线检测方法、装置以及设备 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN111898539A (zh) | 一种多目标检测方法、装置、系统、设备及可读存储介质 | |
| CN114067292A (zh) | 用于智能驾驶的图像处理方法和装置 | |
| CN111695627A (zh) | 路况检测方法、装置、电子设备及可读存储介质 | |
| CN113408413B (zh) | 应急车道的识别方法、系统及装置 | |
| CN112765302B (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
| US11458892B2 (en) | Image generation device and image generation method for generating a composite image | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| US11314974B2 (en) | Detecting debris in a vehicle path | |
| CN112949470A (zh) | 车辆变道转向灯识别方法、装置、设备及存储介质 | |
| US11544899B2 (en) | System and method for generating terrain maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |