CN106599832A - 一种基于卷积神经网络的多类障碍物检测与识别方法 - Google Patents
一种基于卷积神经网络的多类障碍物检测与识别方法 Download PDFInfo
- Publication number
- CN106599832A CN106599832A CN201611137636.6A CN201611137636A CN106599832A CN 106599832 A CN106599832 A CN 106599832A CN 201611137636 A CN201611137636 A CN 201611137636A CN 106599832 A CN106599832 A CN 106599832A
- Authority
- CN
- China
- Prior art keywords
- image
- current driving
- driving vehicle
- barrier
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本发明涉及一种基于卷积神经网络的多类障碍物检测与识别方法，属于计算机视觉与目标检测技术领域。该方法将车载视频转换为图片帧，应用类间方差法以及形态学操作从图片帧中提取得到ROI以及其在原图像中的位置信息，将提取得到的ROI放入AlexNet网络中进行分类，与此同时，由卡尔曼滤波根据分类得到的障碍物的位置信息进行状态估计，实现实时的障碍物检测与识别。本发明提取图像本身与图像间的多种特征，提高了障碍物检测与识别的精度；将障碍物的属性、运动趋势等信息设置到整个检测与识别系统中，对于驾驶员或者智能车的安全行驶起到了至关重要的作用，为未来全智能化的驾驶系统保驾护航。
Description
技术领域
本发明属于计算机视觉与目标检测技术领域，涉及一种基于卷积神经网络的多类障碍物检测与识别方法。
背景技术
物体检测与类别辨识是目标检测与计算机视觉中的核心问题之一，检测到行车过程中的物体，如人、车、电线杆、路牌、护栏等障碍物信息对于人工驾驶以及智能车的安全行驶有着至关重要的作用。区分移动或者静止的障碍物的类别，计算障碍物与当前行驶车辆间的距离，判断障碍物的运动趋势，设计一个优质的视觉驾驶辅助系统，可以为智能车避障提供非常有价值价值的辅助信息。假如检测到障碍物为人或者车此类价值较高且处于移动状态的障碍物，且当人或者车向当前行驶车辆方向移动时，应该更偏向于紧急制动的处理措施；而当检测到人或者车以远离当前行驶车辆的方向行驶时，应该偏向于减速的处理措施。再假设检测到障碍物为护栏、电线杆这类价值较低，处于静止状态，但如果发生碰撞会对车或者驾驶员造成极大财产损失与人身伤害时，应该偏向于匀速或者加速远离障碍物的处理措施。
目前基于卷积神经网络对目标进行检测的方法存在只能检测静态物体，且只针对单一目标进行检测，如专利申请号为201310633797.4，专利名称为《卷积神经网络和基于卷积神经网络的目标检测方法》仅针对行人进行了检测，只是简单地分辨出目标物体物和非目标物体，未对目标进行跟踪，也未对目标物体的属性未进行标注处理，如目标距离车的位置以及目标的运动趋势。且其采用的提取图像特征的方法单一，仅提取图像中检测区域的像素值作为卷积神经网络学习的特征。而基于像素值的图像特征无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中检测区域内目标的具体类别，检测与识别精度不高，且容易受到环境的干扰，如光照、图像分辨率、图像拍摄角度、抖动等。
发明内容
有鉴于此，本发明的目的在于提供一种基于卷积神经网络的多类障碍物检测与识别方法，该方法将车载视频转换为图片帧，应用类间方差法以及形态学操作从图片帧中提取得到ROI以及其在原图像中的位置信息，将提取得到的ROI放入AlexNet网络中进行分类，与此同时，由卡尔曼滤波根据分类得到的障碍物的位置信息进行状态估计，实现实时的障碍物检测与识别。本方法能够对行车过程中的移动或者静止的障碍物，如人、车、电线杆、路牌、护栏等进行检测与识别，并能跟踪处理图像，实时为障碍物备注上必要的属性，如类别、位置与运动趋势信息。
该方法同时对多类障碍物进行检测，只要出现在图像中检测区域内的目标都会被检测到，移动的或者静止的；同时对多类障碍物进行检测，是适用于每一类的车，如公交车、轿车、出租车、摩托车、三轮车等具有车属性的对象；同时对多类障碍物进行检测，是适用于每一类的人，如大人、小孩等具有人属性的对象；同时对多类障碍物进行检测，是适用于每一类的路牌，不限定路牌的大小于类型。
为达到上述目的，本发明提供如下技术方案：
一种基于卷积神经网络的多类障碍物检测与识别方法，该方法包括以下步骤：
S1：采集车载视频，包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频，作为原始样本；
S2：将采集到的车载视频进行视频分帧处理，将视频转换为连续的单帧图片；
S3：应用自动图像分割提取方法提取单帧图片的ROI(region of interest，感兴趣区域)，并标记ROI区域在原始图片中的相对位置信息，此处提取的ROI信息即为障碍物信息；
S4：将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别，实现障碍物的分类辨识，与此同时，根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪，实现对障碍物的实时跟踪与状态估计；
S5：根据上述步骤，将原始视频直接放入训练调试好的卷积神经网络中进行测试，实现直接输入视频的对多类障碍物的实时检测与识别。
进一步，在步骤S3中，所述的应用自动图像分割提取方法提取单帧图片的ROI区域具体包括以下步骤：
S31：应用最大类间差阈值分割获取图像的RGB颜色信息，并分别提取图像的R、G、B分量，将RGB颜色空间转换到lab彩色空间，通过颜色空间转化函数makecform()和applycform()实现；
S32：取出lab空间的a分量，采用最大类间差阈值法实现图像的自动阈值分割，按图像的灰度特性，通过阈值分割函数graythresh()找到图片的一个合适的阈值进行，将图像分为背景与目标两部分，并将灰度图像转化为二值图像；
S33：采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线，去除狭窄的连接，去掉细小的突出部分，保留边界曲线围成的ROI区域，图像处理函数imdilate()实现图像膨胀，函数imerode()实现图像腐蚀，通过函数imfill()可将由边界曲线包围的ROI区域填充，腐蚀与膨胀的具体公式如下：
腐蚀：
膨胀：
其中，B(x)代表结构元素，对工作空间E中的每一点X；
S34：将图像中对应感兴趣区域之外的区域颜色信息设为0，去除背景，对应感兴趣区域的部分颜色信息保持不变，实现原图像中ROI区域的提取；
S35：针对有同一帧图片中有多类障碍物需要分割的情况，是需要分别实现的，即分别提取不同类别的障碍物时，需重复上述步骤。
在步骤S32和S33中，所述对输入图像的二值化以及对图像的形态学操作，包括：所述图像处理层二值化输入图像，再进行腐蚀后膨胀，最后填充的形态学操作；所述图像处理层二值化输入图像，再进行膨胀后腐蚀，最后填充的形态学操作；所述图像处理层对输入图像进行腐蚀后膨胀，填充，最后二值化的操作；所述图像处理层对输入图像进行膨胀后腐蚀，填充，最后二值化的操作。
进一步，在步骤S4中，所述的将提取好的ROI样本库放入AlexNet中进行分类识别，实现障碍物的分类辨识具体包括：
所述ALexNet网络包括输入层、卷积层、池化层、归一化、部分连接层、全连接层、输出层，网络的层数可以部分采用也可以全部采用，一种类型的网络层可以使用多次；
所述ALexNet自主学习图像中检测区域的特征，对所述经过图像处理层处理后的图像进行自动特征提取，得到所述检测区域的特征图；
所述卷积神经网络根据特征图确定训练库中每个识别目标的得分率，得分较高的就确定为检测区域的障碍物。
进一步，在步骤S4中，所述的应用卡尔曼滤波结合ROI的位置信息，实现对障碍物的实时跟踪与状态估计，其中卡尔曼滤波的实现公式如下：
X(k)＝AX(k-1)+BU(k)+W(k)
X(k)是K时刻的系统状态，U(k)是K时刻对系统的控制量，W(k)是过程噪声，A和B是系统参数，对于多模型系统，它们为矩阵。
进一步，所述的多类障碍物检测与识别方法还包括步骤S6：根据步骤S5得到的检测与识别结果，实时更新障碍物信息，根据分类器得到的所述检测区域的目标物体，标注上物体的距离信息，制定实时响应机制；所述实时响应机制具体包括：
响应1：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离大于安全车距，且运动趋势为远离当前行驶车辆，则当前车辆采取匀速行驶的响应机制；
响应2：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离大于安全车距，且运动趋势为靠近当前行驶车辆，则当前车辆采取减速行驶的响应机制；
响应3：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离小于安全车距，且运动趋势为远离当前行驶车辆，则当前车辆采取减速行驶的响应机制；
响应4：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离小于安全车距，且运动趋势为靠近当前行驶车辆，则当前车辆采取紧急制动的响应机制；
响应5：所述目标物体为静止障碍物，具体的标注信息为目标物体与当前行驶车辆的距离，判断障碍物与当前行驶车辆间的距离大于安全车距，则当前车辆采取匀速远离障碍物行驶的响应机制；
响应6：所述目标物体为静止障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离，判断障碍物与当前行驶车辆间的距离小于安全车距，则当前车辆采取加速远离或紧急制动的响应机制。
本发明的有益效果在于：
1)本方法能够对行车过程中的移动或者静止的障碍物进行检测与识别，移动障碍物包括出现在图像中检测区域内的车辆、行人这类障碍物，行人、车辆障碍物具有更高价值。
2)本方法能够对行车过程中的移动或者静止的障碍物进行检测与识别，静止障碍物包括出现在图像中检测区域内的电线杆、路牌、护栏、树等这类障碍物，这类静止障碍物相比移动障碍物价值较低。
3)本方法能够对行车过程中的移动或者静止的障碍物进行检测与识别，所述移动障碍物相比静止类障碍物有更高价值，行驶车辆响应机制优先级为行人--车辆--路牌--树--电线杆--护栏。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的基于卷积神经网络的多类障碍物检测与识别方法流程图；
图2为本发明的基于卷积神经网络的多类障碍物检测与识别方法的示意图；
图3为本发明的基于卷积神经网络的多类障碍物检测与识别中提取部分ROI；
图4为本发明的基于卷积神经网络的多类障碍物检测与识别中车辆的检测效果图；
图5为本发明的基于卷积神经网络的多类障碍物检测与识别中行人的检测效果图；
图6为本发明的基于卷积神经网络的多类障碍物检测与识别中路牌的检测效果图；
图7为本发明的基于卷积神经网络的多类障碍物检测与识别中完成障碍物检测与识别且实时备注属性的部分效果图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为本发明的基于卷积神经网络的多类障碍物检测与识别方法流程图，图2为本发明的基于卷积神经网络的多类障碍物检测与识别方法的示意图，如图所示，该方法利用深度卷积神经网络提取了检测区域内图像的像素点特征、纹理特征、轮廓特征以及图像间的空间关系信息，对图像的全部信息进行了融合，提高了检测与识别的精度。在本实施例中，该方法具体包括以下步骤：
步骤S1：采集车载视频，包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频，作为原始样本；
步骤S2：将采集到的车载视频进行视频分帧处理，将视频转换为连续的单帧图片；
步骤S3：应用自动图像分割提取法提取单帧图片的ROI区域，并标记ROI区域在原始图片中的相对位置信息，此处提取的ROI信息即为障碍物信息；
步骤S4：将提取好的ROI样本库放入AlexNet中进行分类识别，实现障碍物的分类辨识，与此同时，应用卡尔曼滤波结合ROI的位置信息，实现对障碍物的实时跟踪与状态估计；
步骤S5：融合上述步骤，将原始视频直接放入训练调试好的卷积神经网络中进行测试，实现直接输入视频的对多类障碍物的实时检测与识别；
步骤S6：根据步骤5得到的检测与识别结果，制定实时响应机制。
其中，在所述步骤2中，将视频转换为连续的单帧图片，具体为：函数VideoReader()读取视频文件，函数mkdir()创建存储文件夹，转换视频为帧并存储至指定文件夹num2str()、imwrite()。
其中，所述步骤S3中，应用自动图像分割提取法提取单帧图片的ROI区域，具体为：
S31、应用最大类间差阈值分割获取图像的RGB颜色信息，并分别提取图像的R、G、B分量，将RGB颜色空间转换到lab彩色空间，通过函数颜色空间转化函数makecform()和applycform()实现；
S32、取出lab空间的a分量，采用最大类间差阈值法实现图像的自动阈值分割，按图像的灰度特性，通过阈值分割函数graythresh()找到图片的一个合适的阈值进行，将图像分为背景与目标两部分，并将灰度图像转化为二值图像；
S33、采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线，去除狭窄的连接，去掉细小的突出部分，保留边界曲线围成的ROI区域，图像膨胀处理函数imdilate()实现图像膨胀，图像腐蚀处理函数imerode()实现图像腐蚀，通过图像填充处理函数imfill()可将由边界曲线包围的ROI区域填充，腐蚀与膨胀的具体公式如下：
腐蚀：
膨胀：
其中，B(x)代表结构元素，对工作空间E中的每一点X；
S34、将图像中对应感兴趣区域之外的区域颜色信息设为0，去除背景，对应感兴趣区域的部分颜色信息保持不变，实现原图像中ROI区域的提取；
S35、针对有同一帧图片中有多类障碍物需要分割的情况，是需要分别实现的，即分别提取不同类别的障碍物，需重复上述步骤。
在所述步骤S4中，将提取好的ROI样本库放入AlexNet中进行分类识别，实现障碍物的分类辨识，具体为：
所述ALexNet网络包括输入层、卷积层、池化层、归一化、部分连接层、全连接层、输出层，网络的层数可以部分采用也可以全部采用，一种类型的网络层可以使用多次；
所述ALexNet自主学习图像中检测区域的特征，对所述经过图像处理层处理后的图像进行自动特征提取，得到所述检测区域的特征图；
所述卷积神经网络根据特征图确定训练库中每个识别目标的得分率，得分较高的就确定为检测区域的障碍物。
其中，所述步骤S4中，应用卡尔曼滤波结合ROI的位置信息，实现对障碍物的实时跟踪与状态估计，具体为：
卡尔曼滤波的实现公式：
X(k)＝AX(k-1)+BU(k)+W(k)
X(k)是K时刻的系统状态，U(k)是K时刻对系统的控制量，W(k)是过程噪声，A和B是系统参数，对于多模型系统，它们为矩阵。
如图2所示，基于卷积神经网络的多类障碍物检测与识别方法，卷积神经网络训练过程包括前向传播与反向传播，前向传播采用平方误差代价函数，假设共有c类，共N个训练样本，具体前向传播实施方法为：
其中，表示第n个样本对应的标签的第k维。表示第n个样本对应的网络输出的第k个输出。
基于卷积神经网络的多类障碍物检测与识别方法，反向传播的具体实施方式如下：
δl＝(Wl+1)Tδl+1of'(ul)
其中，“o”表示每个元素相乘。
基于卷积神经网络的多类障碍物检测与识别方法，包括卷积神经网络训练阶段与三维信息标注层。卷积神经网络训练阶段输出层的残差计算如下：
其中，y代表期望输出，hw,b(x)表示受w,b制约的实际输出，为制约函数，可以是激活函数sigmoid，tanh等。
图3为本实施例中的基于卷积神经网络的多类障碍物检测与识别中提取部分ROI，图4为本实施例的基于卷积神经网络的多类障碍物检测与识别中车辆的检测效果图；图5为本实施例的基于卷积神经网络的多类障碍物检测与识别中行人的检测效果图；图6为本实施例的基于卷积神经网络的多类障碍物检测与识别中路牌的检测效果图；图7为本实施例的基于卷积神经网络的多类障碍物检测与识别中完成障碍物检测与识别且实时备注属性的部分效果图。本实施例中，对目标物体进行检测指检测在图像中检测区域内是否有目标物体存在，检测区域是当前行驶车辆前方的视野范围，可以任意设置一个检测区域，对检测区域内的移动类障碍物或者静止类障碍物进行检测，包括如人、车、电线杆、树、路牌等。本实施例中，首先根据图像处理层对图像进行预处理，包括二值化与形态学操作，此二值化与形态学操作的步骤可以是任意顺序，如先二值化再形态学操作，或者先形态学操作再二值化等等。
本实施例中，根据卷积神经网络检测与识别得到的结果，制定当前行驶车辆对应的响应机制，包括：
响应1：检测区域内障碍物为移动类障碍物，如人、车这类价值较高的对象，判断出障碍物与当前行驶车辆间的距离大于安全距离，且以远离当前行驶车辆方向移动，则采取匀速行驶的响应机制；
响应2：检测区域内障碍物为移动类障碍物，如人、车这类价值较高的对象，判断出障碍物与当前行驶车辆间的距离大于安全距离，且朝着当前行驶车辆方向移动，则采取减速慢行的响应机制；
响应3：检测区域内障碍物为移动类障碍物，如人、车这类价值较高的对象，判断出障碍物与当前行驶车辆间的距离小于安全距离，且以远离当前行驶车辆方向移动，则采取减速慢行的响应机制；
响应4：检测区域内障碍物为移动类障碍物，如人、车这类价值较高的对象，判断出障碍物与当前行驶车辆间的距离小于安全距离，且朝着当前行驶车辆方向移动，则采取紧急制动的响应机制；
响应5：检测区域内障碍物为静止类障碍物，如路牌、护栏、电线杆、树这类价值低但一旦发生事故会对车辆或者驾驶员造成重大伤害的对象，判断出障碍物与当前行驶车辆间的距离大于安全距离，则采取匀速远离障碍物行驶的响应机制；
响应6：检测区域内障碍物为静止类障碍物，如路牌、护栏、电线杆、树这类价值低但一旦发生事故会对车辆或者驾驶员造成重大伤害的对象，判断出障碍物与当前行驶车辆间的距离小于安全距离，则采取加速远离障碍物行驶或者紧急制动的响应机制。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (5)
1.一种基于卷积神经网络的多类障碍物检测与识别方法，其特征在于：该方法包括以下步骤：
S1：采集车载视频，包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频，作为原始样本；
S2：将采集到的车载视频进行视频分帧处理，将视频转换为连续的单帧图片；
S3：应用自动图像分割提取方法提取单帧图片的ROI(region of interest，感兴趣区域)，并标记ROI区域在原始图片中的相对位置信息，此处提取的ROI信息即为障碍物信息；
S4：将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别，实现障碍物的分类辨识，与此同时，根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪，实现对障碍物的实时跟踪与状态估计；
S5：根据上述步骤，将原始视频直接放入训练调试好的卷积神经网络中进行测试，实现直接输入视频的对多类障碍物的实时检测与识别。
2.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法，其特征在于：在步骤S3中，所述的应用自动图像分割提取方法提取单帧图片的ROI区域具体包括以下步骤：
S31：应用最大类间差阈值分割获取图像的RGB颜色信息，并分别提取图像的R、G、B分量，将RGB颜色空间转换到lab彩色空间，通过颜色空间转化函数makecform()和applycform()实现；
S32：取出lab空间的a分量，采用最大类间差阈值法实现图像的自动阈值分割，按图像的灰度特性，通过阈值分割函数graythresh()找到图片的一个合适的阈值进行，将图像分为背景与目标两部分，并将灰度图像转化为二值图像；
S33：采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线，去除狭窄的连接，去掉细小的突出部分，保留边界曲线围成的ROI区域，图像膨胀处理函数imdilate()实现图像膨胀，图像腐蚀处理函数imerode()实现图像腐蚀，通过图像填充处理函数imfill()可将由边界曲线包围的ROI区域填充，腐蚀与膨胀的具体公式如下：
腐蚀：
膨胀：
其中，B(x)代表结构元素，对工作空间E中的每一点X；
S34：将图像中对应感兴趣区域之外的区域颜色信息设为0，去除背景，对应感兴趣区域的部分颜色信息保持不变，实现原图像中ROI区域的提取；
S35：针对有同一帧图片中有多类障碍物需要分割的情况，是需要分别实现的，即分别提取不同类别的障碍物时，需重复上述步骤。
3.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法，其特征在于：在步骤S4中，所述的将提取好的ROI样本库放入AlexNet中进行分类识别，实现障碍物的分类辨识具体包括：
所述ALexNet网络包括输入层、卷积层、池化层、归一化、部分连接层、全连接层、输出层，网络的层数可以部分采用也可以全部采用，一种类型的网络层可以使用多次；
所述ALexNet自主学习图像中检测区域的特征，对所述经过图像处理层处理后的图像进行自动特征提取，得到所述检测区域的特征图；
所述卷积神经网络根据特征图确定训练库中每个识别目标的得分率，得分较高的就确定为检测区域的障碍物。
4.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法，其特征在于：在步骤S4中，所述的应用卡尔曼滤波结合ROI的位置信息，实现对障碍物的实时跟踪与状态估计，其中卡尔曼滤波的实现公式如下：
X(k)＝AX(k-1)+BU(k)+W(k)
X(k)是K时刻的系统状态，U(k)是K时刻对系统的控制量，W(k)是过程噪声，A和B是系统参数，对于多模型系统，它们为矩阵。
5.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法，其特征在于：所述的多类障碍物检测与识别方法还包括步骤S6：根据步骤S5得到的检测与识别结果，实时更新障碍物信息，根据分类器得到的所述检测区域的目标物体，标注上物体的距离信息，制定实时响应机制；所述实时响应机制具体包括：
响应1：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离大于安全车距，且运动趋势为远离当前行驶车辆，则当前车辆采取匀速行驶的响应机制；
响应2：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离大于安全车距，且运动趋势为靠近当前行驶车辆，则当前车辆采取减速行驶的响应机制；
响应3：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离小于安全车距，且运动趋势为远离当前行驶车辆，则当前车辆采取减速行驶的响应机制；
响应4：所述目标物体为移动障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势，判断障碍物与当前行驶车辆间的距离小于安全车距，且运动趋势为靠近当前行驶车辆，则当前车辆采取紧急制动的响应机制；
响应5：所述目标物体为静止障碍物，具体的标注信息为目标物体与当前行驶车辆的距离，判断障碍物与当前行驶车辆间的距离大于安全车距，则当前车辆采取匀速远离障碍物行驶的响应机制；
响应6：所述目标物体为静止障碍物，具体的标注信息为目标物体与当前行驶车辆间的距离，判断障碍物与当前行驶车辆间的距离小于安全车距，则当前车辆采取加速远离或紧急制动的响应机制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611137636.6A CN106599832A (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611137636.6A CN106599832A (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106599832A true CN106599832A (zh) | 2017-04-26 |
Family
ID=58599135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611137636.6A Pending CN106599832A (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106599832A (zh) |
Cited By (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229918A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种基于全卷积神经网络的sar图像目标检测方法 |
| CN107224363A (zh) * | 2017-05-05 | 2017-10-03 | 深圳市元征科技股份有限公司 | 轮椅控制方法及装置 |
| CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
| CN107301864A (zh) * | 2017-08-16 | 2017-10-27 | 重庆邮电大学 | 一种基于Maxout神经元的深度双向LSTM声学模型 |
| CN107563282A (zh) * | 2017-07-25 | 2018-01-09 | 大圣科技股份有限公司 | 用于无人驾驶的识别方法、电子设备、存储介质以及系统 |
| CN107784678A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| CN107909010A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
| CN108445866A (zh) * | 2018-03-13 | 2018-08-24 | 重庆大学 | 基于卷积神经网络的ldw误漏报测试方法及测试系统 |
| CN108460407A (zh) * | 2018-02-02 | 2018-08-28 | 东华大学 | 一种基于深度学习的行人属性精细化识别方法 |
| CN108553042A (zh) * | 2018-05-21 | 2018-09-21 | 安克创新科技股份有限公司 | 一种清洁机器人 |
| CN108777779A (zh) * | 2018-06-12 | 2018-11-09 | 北京京东金融科技控股有限公司 | 一种视频拍摄设备的智能化装置、方法、介质及电子设备 |
| WO2018213962A1 (zh) * | 2017-05-21 | 2018-11-29 | 李仁涛 | 移动机器人避障装置及方法 |
| CN108921003A (zh) * | 2018-04-26 | 2018-11-30 | 东华大学 | 基于卷积神经网络和图像形态学的无人机障碍物检测方法 |
| CN109145874A (zh) * | 2018-09-28 | 2019-01-04 | 大连民族大学 | 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用 |
| CN109255181A (zh) * | 2018-09-07 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 一种基于多模型的障碍物分布仿真方法、装置以及终端 |
| CN109291929A (zh) * | 2017-07-24 | 2019-02-01 | 通用汽车环球科技运作有限责任公司 | 用于自动驾驶系统的深度集成融合架构 |
| CN109410215A (zh) * | 2018-08-02 | 2019-03-01 | 北京三快在线科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN109447090A (zh) * | 2018-10-17 | 2019-03-08 | 宁波中车时代传感技术有限公司 | 一种屏蔽门障碍物检测方法及检测系统 |
| CN109447033A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于yolo的车辆前方障碍物检测方法 |
| CN109460787A (zh) * | 2018-10-26 | 2019-03-12 | 北京交通大学 | 入侵检测模型建立方法、装置及数据处理设备 |
| CN109492588A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于人工智能的快速车辆检测与分类方法 |
| CN109508673A (zh) * | 2018-11-13 | 2019-03-22 | 大连理工大学 | 一种基于棒状像素的交通场景障碍检测与识别方法 |
| CN109543691A (zh) * | 2018-12-27 | 2019-03-29 | 斑马网络技术有限公司 | 积水识别方法、装置以及存储介质 |
| CN109614886A (zh) * | 2018-11-23 | 2019-04-12 | 中国人民解放军63966部队 | 一种无人/自主驾驶系统的性能评测方法及装置 |
| CN109919067A (zh) * | 2019-02-27 | 2019-06-21 | 智慧海派科技有限公司 | 一种影像辨识方法及安全的自动驾驶方法 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110135377A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 物体运动状态检测方法、装置、服务器和计算机可读介质 |
| CN110154896A (zh) * | 2018-03-16 | 2019-08-23 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
| CN110182205A (zh) * | 2019-05-05 | 2019-08-30 | 浙江合众新能源汽车有限公司 | 基于云计算的汽车避障预判系统 |
| CN110211024A (zh) * | 2019-03-14 | 2019-09-06 | 厦门启尚科技有限公司 | 一种图像智能退底的方法 |
| CN110377024A (zh) * | 2018-04-13 | 2019-10-25 | 百度（美国）有限责任公司 | 用于自动驾驶车辆的自动数据标注 |
| CN110765970A (zh) * | 2019-10-31 | 2020-02-07 | 北京地平线机器人技术研发有限公司 | 最近障碍物的确定方法和装置、存储介质、电子设备 |
| CN111079634A (zh) * | 2019-12-12 | 2020-04-28 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| CN111179289A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种适用于网页长图宽图的图像分割方法 |
| US10664728B2 (en) | 2017-12-30 | 2020-05-26 | Wipro Limited | Method and device for detecting objects from scene images by using dynamic knowledge base |
| CN111225178A (zh) * | 2018-11-23 | 2020-06-02 | 杭州眼云智家科技有限公司 | 基于对象检测的视频监控方法及其系统 |
| CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技（北京）股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
| CN111653086A (zh) * | 2019-03-04 | 2020-09-11 | 通用汽车环球科技运作有限责任公司 | 用于协作传感器共享的对感测到的对象的传输进行优先级排序的方法 |
| CN111797657A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车辆周边障碍检测方法、装置、存储介质及电子设备 |
| CN112130548A (zh) * | 2019-06-05 | 2020-12-25 | 奥迪股份公司 | 一种用于自动驾驶车辆的障碍物应对系统和方法 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112270279A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于多维的遥感图像微小目标检测方法 |
| CN112606804A (zh) * | 2020-12-08 | 2021-04-06 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
| CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
| US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US20210209367A1 (en) * | 2018-05-22 | 2021-07-08 | Starship Technologies Oü | Method and system for analyzing robot surroundings |
| CN113255439A (zh) * | 2021-04-13 | 2021-08-13 | 深圳市锐明技术股份有限公司 | 一种障碍物识别方法、装置、系统、终端及云端 |
| CN113269151A (zh) * | 2021-06-24 | 2021-08-17 | 中车大连机车车辆有限公司 | 一种基于视觉识别的列车控制方法及设备 |
| US11113546B2 (en) | 2018-09-04 | 2021-09-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line processing method and device |
| CN113408325A (zh) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | 车辆周围环境的识别方法、装置及相关设备 |
| US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
| CN113701642A (zh) * | 2021-07-30 | 2021-11-26 | 的卢技术有限公司 | 一种车身外观尺寸的计算方法及系统 |
| US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
| CN114046796A (zh) * | 2021-11-04 | 2022-02-15 | 南京理工大学 | 一种智能轮椅自主行走算法、装置及介质 |
| CN114136318A (zh) * | 2020-08-13 | 2022-03-04 | 科沃斯商用机器人有限公司 | 一种机器智能导航方法和装置 |
| CN114324189A (zh) * | 2021-12-22 | 2022-04-12 | 江苏恒力化纤股份有限公司 | 一种机织物经纬纱颜色均匀性评价方法 |
| US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
| CN114782916A (zh) * | 2022-04-11 | 2022-07-22 | 广州优创电子有限公司 | 后视镜搭载的基于多传感器融合的adas后车识别系统 |
| CN115100633A (zh) * | 2022-08-24 | 2022-09-23 | 广东中科凯泽信息科技有限公司 | 基于机器学习的障碍物识别方法 |
| US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
| US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279759A (zh) * | 2013-06-09 | 2013-09-04 | 大连理工大学 | 一种基于卷积神经网络的车辆前方可通行性分析方法 |
| CN103914698A (zh) * | 2014-03-27 | 2014-07-09 | 北京科技大学 | 一种基于视频的道路障碍物识别分类方法 |
| CN104680508A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN105956626A (zh) * | 2016-05-12 | 2016-09-21 | 成都新舟锐视科技有限公司 | 基于深度学习的对车牌位置不敏感的车牌识别方法 |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
-
2016
- 2016-12-09 CN CN201611137636.6A patent/CN106599832A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279759A (zh) * | 2013-06-09 | 2013-09-04 | 大连理工大学 | 一种基于卷积神经网络的车辆前方可通行性分析方法 |
| CN104680508A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN103914698A (zh) * | 2014-03-27 | 2014-07-09 | 北京科技大学 | 一种基于视频的道路障碍物识别分类方法 |
| CN105956626A (zh) * | 2016-05-12 | 2016-09-21 | 成都新舟锐视科技有限公司 | 基于深度学习的对车牌位置不敏感的车牌识别方法 |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| ZUTAO ZHANG等: "A Novel Vehicle Reversing Speed Control Based on Obstacle Detection and Sparse Representation", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 丁新立: "基于卷积神经网络的车辆前方障碍物识别", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
| 刘丽等: "基于Matlab的图像感兴趣区域提取", 《现代电子技术》 * |
| 林立原等: "基于高斯混合模型和卡尔曼滤波的车辆检测与跟踪方法", 《武汉科技大学学报》 * |
Cited By (85)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107224363A (zh) * | 2017-05-05 | 2017-10-03 | 深圳市元征科技股份有限公司 | 轮椅控制方法及装置 |
| CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
| CN107239746B (zh) * | 2017-05-16 | 2020-08-14 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
| WO2018213962A1 (zh) * | 2017-05-21 | 2018-11-29 | 李仁涛 | 移动机器人避障装置及方法 |
| CN107229918A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种基于全卷积神经网络的sar图像目标检测方法 |
| CN109291929B (zh) * | 2017-07-24 | 2021-07-13 | 通用汽车环球科技运作有限责任公司 | 用于自动驾驶系统的深度集成融合架构 |
| CN109291929A (zh) * | 2017-07-24 | 2019-02-01 | 通用汽车环球科技运作有限责任公司 | 用于自动驾驶系统的深度集成融合架构 |
| CN107563282A (zh) * | 2017-07-25 | 2018-01-09 | 大圣科技股份有限公司 | 用于无人驾驶的识别方法、电子设备、存储介质以及系统 |
| CN107301864B (zh) * | 2017-08-16 | 2020-12-22 | 重庆邮电大学 | 一种基于Maxout神经元的深度双向LSTM声学模型 |
| CN107301864A (zh) * | 2017-08-16 | 2017-10-27 | 重庆邮电大学 | 一种基于Maxout神经元的深度双向LSTM声学模型 |
| CN107909010B (zh) * | 2017-10-27 | 2022-03-18 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
| CN107909010A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
| CN107784678A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| CN107784678B (zh) * | 2017-11-08 | 2021-11-12 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| US10664728B2 (en) | 2017-12-30 | 2020-05-26 | Wipro Limited | Method and device for detecting objects from scene images by using dynamic knowledge base |
| CN108460407A (zh) * | 2018-02-02 | 2018-08-28 | 东华大学 | 一种基于深度学习的行人属性精细化识别方法 |
| CN108445866A (zh) * | 2018-03-13 | 2018-08-24 | 重庆大学 | 基于卷积神经网络的ldw误漏报测试方法及测试系统 |
| CN108445866B (zh) * | 2018-03-13 | 2021-06-08 | 重庆大学 | 基于卷积神经网络的ldw误漏报测试方法及测试系统 |
| CN110154896A (zh) * | 2018-03-16 | 2019-08-23 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
| CN110154896B (zh) * | 2018-03-16 | 2020-04-07 | 北京航空航天大学 | 一种检测障碍物的方法以及设备 |
| CN110377024A (zh) * | 2018-04-13 | 2019-10-25 | 百度（美国）有限责任公司 | 用于自动驾驶车辆的自动数据标注 |
| CN108921003A (zh) * | 2018-04-26 | 2018-11-30 | 东华大学 | 基于卷积神经网络和图像形态学的无人机障碍物检测方法 |
| CN108553042A (zh) * | 2018-05-21 | 2018-09-21 | 安克创新科技股份有限公司 | 一种清洁机器人 |
| US11741709B2 (en) * | 2018-05-22 | 2023-08-29 | Starship Technologies Oü | Method and system for analyzing surroundings of an autonomous or semi-autonomous vehicle |
| US20210209367A1 (en) * | 2018-05-22 | 2021-07-08 | Starship Technologies Oü | Method and system for analyzing robot surroundings |
| CN108777779A (zh) * | 2018-06-12 | 2018-11-09 | 北京京东金融科技控股有限公司 | 一种视频拍摄设备的智能化装置、方法、介质及电子设备 |
| CN109410215A (zh) * | 2018-08-02 | 2019-03-01 | 北京三快在线科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| US11113546B2 (en) | 2018-09-04 | 2021-09-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line processing method and device |
| US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
| US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
| US10984588B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Obstacle distribution simulation method and device based on multiple models, and storage medium |
| CN109255181A (zh) * | 2018-09-07 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 一种基于多模型的障碍物分布仿真方法、装置以及终端 |
| CN109255181B (zh) * | 2018-09-07 | 2019-12-24 | 百度在线网络技术（北京）有限公司 | 一种基于多模型的障碍物分布仿真方法、装置以及终端 |
| US11519715B2 (en) | 2018-09-11 | 2022-12-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
| CN109145874A (zh) * | 2018-09-28 | 2019-01-04 | 大连民族大学 | 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用 |
| CN109447090A (zh) * | 2018-10-17 | 2019-03-08 | 宁波中车时代传感技术有限公司 | 一种屏蔽门障碍物检测方法及检测系统 |
| CN109447090B (zh) * | 2018-10-17 | 2021-12-03 | 宁波中车时代传感技术有限公司 | 一种屏蔽门障碍物检测方法及检测系统 |
| CN109460787A (zh) * | 2018-10-26 | 2019-03-12 | 北京交通大学 | 入侵检测模型建立方法、装置及数据处理设备 |
| CN109460787B (zh) * | 2018-10-26 | 2020-08-18 | 北京交通大学 | 入侵检测模型建立方法、装置及数据处理设备 |
| CN109492588A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于人工智能的快速车辆检测与分类方法 |
| CN109508673A (zh) * | 2018-11-13 | 2019-03-22 | 大连理工大学 | 一种基于棒状像素的交通场景障碍检测与识别方法 |
| CN109447033A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于yolo的车辆前方障碍物检测方法 |
| CN109614886A (zh) * | 2018-11-23 | 2019-04-12 | 中国人民解放军63966部队 | 一种无人/自主驾驶系统的性能评测方法及装置 |
| CN111225178A (zh) * | 2018-11-23 | 2020-06-02 | 杭州眼云智家科技有限公司 | 基于对象检测的视频监控方法及其系统 |
| CN109543691A (zh) * | 2018-12-27 | 2019-03-29 | 斑马网络技术有限公司 | 积水识别方法、装置以及存储介质 |
| US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
| US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
| CN109919067A (zh) * | 2019-02-27 | 2019-06-21 | 智慧海派科技有限公司 | 一种影像辨识方法及安全的自动驾驶方法 |
| CN111653086A (zh) * | 2019-03-04 | 2020-09-11 | 通用汽车环球科技运作有限责任公司 | 用于协作传感器共享的对感测到的对象的传输进行优先级排序的方法 |
| CN110211024A (zh) * | 2019-03-14 | 2019-09-06 | 厦门启尚科技有限公司 | 一种图像智能退底的方法 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN111797657A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车辆周边障碍检测方法、装置、存储介质及电子设备 |
| CN110182205A (zh) * | 2019-05-05 | 2019-08-30 | 浙江合众新能源汽车有限公司 | 基于云计算的汽车避障预判系统 |
| CN110182205B (zh) * | 2019-05-05 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 基于云计算的汽车避障预判系统 |
| CN110135377A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 物体运动状态检测方法、装置、服务器和计算机可读介质 |
| CN112130548A (zh) * | 2019-06-05 | 2020-12-25 | 奥迪股份公司 | 一种用于自动驾驶车辆的障碍物应对系统和方法 |
| CN110765970B (zh) * | 2019-10-31 | 2022-08-09 | 北京地平线机器人技术研发有限公司 | 最近障碍物的确定方法和装置、存储介质、电子设备 |
| CN110765970A (zh) * | 2019-10-31 | 2020-02-07 | 北京地平线机器人技术研发有限公司 | 最近障碍物的确定方法和装置、存储介质、电子设备 |
| CN111079634A (zh) * | 2019-12-12 | 2020-04-28 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| CN111079634B (zh) * | 2019-12-12 | 2024-02-02 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| CN111179289A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种适用于网页长图宽图的图像分割方法 |
| CN113408325A (zh) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | 车辆周围环境的识别方法、装置及相关设备 |
| CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技（北京）股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112163446B (zh) * | 2020-08-12 | 2023-04-28 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN114136318A (zh) * | 2020-08-13 | 2022-03-04 | 科沃斯商用机器人有限公司 | 一种机器智能导航方法和装置 |
| CN112270279A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于多维的遥感图像微小目标检测方法 |
| CN112270279B (zh) * | 2020-11-02 | 2022-04-12 | 重庆邮电大学 | 一种基于多维的遥感图像微小目标检测方法 |
| CN112606804B (zh) * | 2020-12-08 | 2022-03-29 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
| CN112606804A (zh) * | 2020-12-08 | 2021-04-06 | 东风汽车集团有限公司 | 一种车辆主动制动的控制方法及控制系统 |
| CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
| CN113011255B (zh) * | 2021-02-05 | 2024-01-16 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
| CN113255439B (zh) * | 2021-04-13 | 2024-01-12 | 深圳市锐明技术股份有限公司 | 一种障碍物识别方法、装置、系统、终端及云端 |
| CN113255439A (zh) * | 2021-04-13 | 2021-08-13 | 深圳市锐明技术股份有限公司 | 一种障碍物识别方法、装置、系统、终端及云端 |
| CN113269151A (zh) * | 2021-06-24 | 2021-08-17 | 中车大连机车车辆有限公司 | 一种基于视觉识别的列车控制方法及设备 |
| WO2022267266A1 (zh) * | 2021-06-24 | 2022-12-29 | 中车大连机车车辆有限公司 | 一种基于视觉识别的列车控制方法及设备 |
| CN113701642A (zh) * | 2021-07-30 | 2021-11-26 | 的卢技术有限公司 | 一种车身外观尺寸的计算方法及系统 |
| CN114046796A (zh) * | 2021-11-04 | 2022-02-15 | 南京理工大学 | 一种智能轮椅自主行走算法、装置及介质 |
| CN114324189A (zh) * | 2021-12-22 | 2022-04-12 | 江苏恒力化纤股份有限公司 | 一种机织物经纬纱颜色均匀性评价方法 |
| CN114324189B (zh) * | 2021-12-22 | 2023-06-02 | 江苏恒力化纤股份有限公司 | 一种机织物经纬纱颜色均匀性评价方法 |
| CN114782916A (zh) * | 2022-04-11 | 2022-07-22 | 广州优创电子有限公司 | 后视镜搭载的基于多传感器融合的adas后车识别系统 |
| CN114782916B (zh) * | 2022-04-11 | 2024-03-29 | 广州优创电子有限公司 | 后视镜搭载的基于多传感器融合的adas后车识别系统 |
| CN115100633A (zh) * | 2022-08-24 | 2022-09-23 | 广东中科凯泽信息科技有限公司 | 基于机器学习的障碍物识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599832A (zh) | 一种基于卷积神经网络的多类障碍物检测与识别方法 | |
| Song et al. | Real-time obstacles detection and status classification for collision warning in a vehicle active safety system | |
| CN105069415B (zh) | 车道线检测方法和装置 | |
| CN107633220A (zh) | 一种基于卷积神经网络的车辆前方目标识别方法 | |
| CN103797529B (zh) | 三维物体检测装置 | |
| Sivaraman et al. | Vehicle detection by independent parts for urban driver assistance | |
| CN103984950B (zh) | 一种适应白天检测的运动车辆刹车灯状态识别方法 | |
| Cui et al. | Vehicle localisation using a single camera | |
| CN107368890A (zh) | 一种以视觉为中心的基于深度学习的路况分析方法及系统 | |
| CN103927508B (zh) | 一种目标车辆跟踪方法及装置 | |
| CN105956608A (zh) | 一种基于深度学习的目标定位、分类算法 | |
| TW201135680A (en) | Vehicle tracking system and tracking method thereof | |
| Mu et al. | Multiscale edge fusion for vehicle detection based on difference of Gaussian | |
| CN104463903A (zh) | 一种基于目标行为分析的行人图像实时检测方法 | |
| CN109902676A (zh) | 一种基于动态背景的违停检测算法 | |
| CN103050008B (zh) | 夜间复杂交通视频中车辆检测方法 | |
| Kavitha et al. | Pothole and object detection for an autonomous vehicle using yolo | |
| Tran et al. | Traffic flow analysis with multiple adaptive vehicle detectors and velocity estimation with landmark-based scanlines | |
| CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
| CN106919939A (zh) | 一种交通标识牌跟踪识别方法及系统 | |
| CN105300390A (zh) | 障碍物体运动轨迹的确定方法及装置 | |
| Kim et al. | Domain-specific data augmentation for on-road object detection based on a deep neural network | |
| Zhang et al. | Perception of vehicle and traffic dynamics using visual-inertial sensors for assistive driving | |
| CN104715492A (zh) | 一种同时适应于静止相机和运动相机的前景目标提取方法 | |
| CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |