CN108921119A - 一种障碍物实时检测和分类方法 - Google Patents

一种障碍物实时检测和分类方法 Download PDF

Info

Publication number
CN108921119A
CN108921119A CN201810762269.1A CN201810762269A CN108921119A CN 108921119 A CN108921119 A CN 108921119A CN 201810762269 A CN201810762269 A CN 201810762269A CN 108921119 A CN108921119 A CN 108921119A
Authority
CN
China
Prior art keywords
image
training
data set
network
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810762269.1A
Other languages
English (en)
Other versions
CN108921119B (zh
Inventor
廖敏
叶茂
张宇潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810762269.1A priority Critical patent/CN108921119B/zh
Publication of CN108921119A publication Critical patent/CN108921119A/zh
Application granted granted Critical
Publication of CN108921119B publication Critical patent/CN108921119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种障碍物实时检测和分类方法，属于机器人智能导航领域。本发明提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。

Description

一种障碍物实时检测和分类方法
技术领域
本发明属于机器人智能导航领域，特别涉及一种障碍物实时检测和分类方法。
背景技术
近年来，随着计算机硬件以及图像处理技术的快速发展，图像分割的技术也在突飞猛进的发展。前些年，基于传统的图像分割有基于阈值的分割、区域生长、区域分裂合并、分水岭算法、边缘分割(边缘检测)、直方图法、聚类分析、小波变换等。在2012年，Alex等赢得ImageNet挑战赛堪称是CNN发展史上的里程碑，自那之后，CNN就成了图像分类的黄金标准，并且性能不断提升。到如今，基于CNN的物体检测和分割的GAN、cGAN、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN等技术，将图像分割达到像素级别分割技术，并且逐步由理论研究到实时的应用，物体识别率也不断的增高，成为无人驾驶领域和安防领域最重要的一个环节之一。物体的检测和识别技术涉及到图像处理、图像分析、模式识别、深度学习等众多领域，既是一个跨学科的综合问题，也是一个极具挑战的前沿课题。在物体检测和识别技术发展过程中，虽然浮现出相应的问题和挑战，但是也创造出相应的发展和机遇。
另外，基于物体检测和识别技术具有重要的研究的意义。首先，基于物体的检测和识别的人脸识别技术已得到广泛的应用，比如车站的身份证确认以及嫌疑人的追踪识别。其次，由基于深度学习的物体检测和识别技术可以在无人驾驶领域得到全面的应用，这可以大大提高交通的安全性和效率，为国家经济发展乃至人类文明的发展踏出革命性的一步。
在现有技术中，有一种基于生成式对抗网络(GAN,Generative AdversarialNetworks)的Pix2Pix框架，能根据输入图像快速识别图像中的障碍物及其分类。但是其存在一些问题：在数据集不大的情况下，生成的图像不能区分人和动态障碍物；如果把现有的模型放在新环境下进行障碍物检测和分类，其效果大打折扣，也就是说，在新的环境下，必须重新制作图像分割标签数据集，这样效率会大大降低。
发明内容
为了解决上述问题，本发明提出了一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别。
一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，包络以下步骤：
步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；
步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；
步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；
步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。
进一步地，所述步骤1包括以下流程：
将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；
根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组成的长度为9的向量标注分类标签构成。
进一步地，所述步骤2包括以下流程：
将所述训练图像分割数据集和训练障碍物分类数据集输入生成式对抗网络进行训练，求取障碍物分类损失函数的最小值后，再求取图像分割损失函数的最小值；
其中，所述障碍物分类损失函数为
ζ(C)＝-E[ZilogC(x)i+(1-Zi)log(1-C(x)i)],i＝1,2,...,9
式中，Zi为标注分类标签中的长度为9的向量中第i个值，C(x)i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达；
所述图像分割损失函数为
式中，ζcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]，ζL1(G)＝Ex,y[||y-G(x)||1]，G表示生成式网络，D表示判别式网络。
进一步地，所述步骤4包括以下流程：
改变生成式网络中图像特征提取层的权重，求取损失函数的最小值，保持其它网络层参数不变；
其中，损失函数为
本发明的有益效果：本发明提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。
附图说明
图1为本发明实施例的网络模型。
图2为本发明实施例的自编码网络和U-Net网络。
图3为本发明实施例的流程图。
具体实施方式
下面结合附图对本发明的实施例做进一步的说明。
本发明提出的一种障碍物实时检测和分类方法，在Pix2pix框架的基础上进行改进，Pix2pix框架基于生成式对抗网络(GAN,Generative Adversarial Networks)。
GAN是受博弈论中的零和博弈的启发，由[Goodfellow et al,NIPS 2014]开创性地提出。在零和博弈中，两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discriminative model)充当。生成模型G捕捉样本数据的分布，判别模型是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率。G和D一般都是非线性映射函数，例如多层感知机、卷积神经网络等。
请参阅图1，图1为本发明实施例中的网络模型，基于Pix2Pix框架，在生成网络(Generative Network)的encoder卷积层的第7层后面另外加上6层decoder和一层全连接层。全连接层输出层有9个神经元再接sigmoid分类器就得到classified C(x)，分别表示左中右方向上有无三种(红、绿、蓝)障碍物的置信度。这样整个网络可以看成图像特征的提取和表达，encoder网络层就是图像特征提取层，decoder网络层就是图像特征表达，即G(x)和C(x)是图像两种表达的结果。
本实施例中，选择在encoder卷积层的第7层后面添加网络层，是因为在训练过程中，发现encoder卷积层的第8层和decoder第8层的参数和初始化的参数一样，始终保持不变，也就是说这两层对网络没什么影响。
图1中，卷积层和反卷积层没注明步长的，stride＝2。
在未进行添加网络层时的Pix2Pix框架，对于图像翻译任务来说，它的G输入是一张图x，输出当然也是一张图G(x)。但是D的输入却应该发生一些变化，因为除了要生成真实图像之外，还要保证生成的图像和输入图像是匹配的。于是D的输入就做了一些变动，因此pix2pix的损失函数为：
ζcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]
对于图像翻译任务而言，G的输入和输出之间其实共享了很多信息，比如图像上色任务，输入和输出之间就共享了边信息。因而为了保证输入图像和输出图像之间的相似度。还加入了L1 Loss为：
ζL1(G)＝Ex,y[||y-G(x)||1]
最终的损失函数为：
对于生成网络G，正如上所说，输入和输出之间会共享很多的信息。如果使用普通的卷积神经网络，那么会导致每一层都承载保存着所有的信息，这样神经网络很容易出错，因而，使用U-Net来进行减负。
请参阅图2，首先U-Net也是Encoder-Decoder模型，其次，Encoder和Decoder是对称的。所谓的U-Net是将第i层拼接到倒数第i层，这样做是因为第i层和倒数第i层的图像大小是一致的，可以认为他们承载着类似的信息。
对于判别网络D,在损失函数中，L1被添加进来保证输入和输出的共性。这就启发出了一个观点，那就是图像的变形分为两种，局部的和全局的。既然L1可以防止全局的变形。那么只要让D去保证局部能够精准即可。于是，Pix2Pix中的D被实现为Patch-D，所谓Patch，是指无论生成的图像有多大，将其切分为多个固定大小的Patch输入进D去判断。
同时，batchnormal在神经网络的训练过程中对每层的输入数据加一个标准化处理(减均值，除标准差)，以降低样本间的差异性，从而加速收敛。
请参阅图1，在改进后的网络模型中，网络中网络多了一个分类网络结构，其loss损失函数：
ζ(C)＝-E[ZilogC(x)i+(1-Zi)log(1-C(x)i)],i＝1,2,...,9
这里Zi表示标注分类标签中的长度为9的向量中第i个值，C(x)i表示C(x)中长度为9的向量中的第i个。
总的损失函数为
请参阅图3，图3为本发明实施例的流程图。
本发明通过以下流程实现：
步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集。
本实施例中，利用机器人上的单目摄像头采集视频，以预设帧数提取图片，图片尽量不一样。利用单目摄像头测量机器人正前方、右方、左方的分割线在图片中的坐标，将获取的图片进行分割为正前方、左方和右方。标注分割后的图片。
具体如何标注视具体情况而定，本实施例中，标注的方式为将图片中的物体分为4类：机器人可行走区域用白色标注，静态障碍物用红色标注，花草树木用绿色标注，人和动态障碍物用蓝色标注。结合图片的分割和标注，得到训练图像分割数据集。根据正前方、左方、右方三个方向有无三种障碍物将分类标注成9个0、1数字，如下表所示。
表(一)障碍物分类标注标签
表中，颜色表示不同的物体分类，方向表示采集的图片中分割的区域，0表示某方向不存在某种物体，1表示某方向存在某种物体，放在上表中，0表示机器人左方没有人和动态障碍物，而1表示各方向存在颜色标注相对应的物体。分类标注标签转换为对应的长度为9的向量Z＝[0,1,1,1,1,1,1,1,1]，向量中的顺序为左(蓝、绿、红)中(蓝、绿、红)右(蓝、绿、红)。这些向量构成训练障碍物分类数据集。
步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型。
本实施例中，在图1所示的网络模型中训练。将标注好的图像分割数据集(本实施例中选取的图片的大小为256*256，也可选用其它大小，如若不是该大小的图片，则转换为256*256)和障碍物分类数据集在网络中进行训练。训练的方式为求取障碍物分类损失函数ζ(C)的最小值后，再求取图像分割损失函数G*的最小值
ζ(C)＝-E[ZilogC(x)i+(1-Zi)log(1-C(x)i)],i＝1,2,...,9
式中，Zi为标注分类标签中的长度为9的向量中第i个值，C(x)i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达，如表一这种障碍物分布的标注标签情况，Z＝[0,1,1,1,1,1,1,1,1]。
式中，G表示生成式网络，D表示判别式网络。
步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集。
本实施例中，在新的环境下，机器人录取新的视频并以预设帧数提取原始图片，并在原始图片进行障碍物分类标注。
本实施例中，可以人为或通过语音(语义)对原始图片进行障碍物分类标注，标注的顺序与上述标注相同，按照左(蓝、绿、红)中(蓝、绿、红)右(蓝、绿、红)的顺序进行。
本实施例中，标注的顺序不是固定的，只要前后对障碍物进行分类标注的顺序一致即可。
本实施例中，在迁移到新环境下，不需要生成图像分割数据集，只需要生成障碍物分类数据集。
步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。
本实施例中，将原环境训练得到的模型，即步骤2的得到的网络模型，再到新环境下进行训练。训练的方法为只改变自编码网络的encoder网络层(即图像特征的提取网络层)的权重，保持特征的两种表达方式的模型权重不变。训练的损失函数为
本实施例中，在新环境下，不用标注大量的图像分割的图片，只需标注障碍物分类的标注，即可进行障碍物的检测和分类，大大提高了效率；且在保证效率的同时，检测和识别的结果也比现有技术更加准确。
需要注意的是，图像输入时是将图像像素点的值转化成[0,1]之间的值，再将其值x2-1转化成[-1,1]之间的值，才对应上面网络层的输入层，上述输出层是值[-1,1]之间的值，先将其+1再x2转成[0,1]之间的值，再转成图像。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，其特征在于，包络以下步骤：
步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；
步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；
步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；
步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。
2.如权利要求1所述的障碍物实时检测和分类方法，其特征在于，所述步骤1包括以下流程：
将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；
根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组成的长度为9的向量标注分类标签构成。
3.如权利要求2所述的障碍物实时检测和分类方法，其特征在于，所述步骤2包括以下流程：
将所述训练图像分割数据集和训练障碍物分类数据集输入生成式对抗网络进行训练，求取障碍物分类损失函数的最小值后，再求取图像分割损失函数的最小值；
其中，所述障碍物分类损失函数为
ζ(C)＝-E[ZilogC(x)i+(1-Zi)log(1-C(x)i)],i＝1,2,...,9
式中，Zi为标注分类标签中的长度为9的向量中第i个值，C(x)i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达；
所述图像分割损失函数为
式中，ζcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]，ζL1(G)＝Ex,y[||y-G(x)||1]，G表示生成式网络，D表示判别式网络。
4.如权利要求3所述的障碍物实时检测和分类方法，其特征在于，所述步骤4包括以下流程：
改变生成式网络中图像特征提取层的权重，求取损失函数的最小值，保持其它网络层参数不变；
其中，损失函数为
CN201810762269.1A 2018-07-12 2018-07-12 一种障碍物实时检测和分类方法 Active CN108921119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810762269.1A CN108921119B (zh) 2018-07-12 2018-07-12 一种障碍物实时检测和分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810762269.1A CN108921119B (zh) 2018-07-12 2018-07-12 一种障碍物实时检测和分类方法

Publications (2)

Publication Number Publication Date
CN108921119A true CN108921119A (zh) 2018-11-30
CN108921119B CN108921119B (zh) 2021-10-26

Family

ID=64411702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810762269.1A Active CN108921119B (zh) 2018-07-12 2018-07-12 一种障碍物实时检测和分类方法

Country Status (1)

Country Link
CN (1) CN108921119B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753937A (zh) * 2019-01-09 2019-05-14 宽凳（北京）科技有限公司 一种嵌套目标的识别方法及装置
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN109919216A (zh) * 2019-02-28 2019-06-21 合肥工业大学 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN109993060A (zh) * 2019-03-01 2019-07-09 长安大学 深度摄像头的车辆全向障碍物检测方法
CN110370273A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 一种机器人避障方法、装置和系统
CN111123915A (zh) * 2019-12-05 2020-05-08 国电南瑞科技股份有限公司 一种巡检机器人越障方法、系统、存储介质及计算设备
CN112171675A (zh) * 2020-09-28 2021-01-05 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质
CN112487872A (zh) * 2020-11-10 2021-03-12 河北工业大学 智能割草机器人的避障控制方法及控制系统
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113672732A (zh) * 2021-08-19 2021-11-19 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备
CN117152719A (zh) * 2023-11-01 2023-12-01 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090052742A1 (en) * 2007-08-24 2009-02-26 Kabushiki Kaisha Toshiba Image processing apparatus and method thereof
CN106570516A (zh) * 2016-09-06 2017-04-19 国网重庆市电力公司电力科学研究院 一种利用卷积神经网络cnn的障碍物识别方法
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090052742A1 (en) * 2007-08-24 2009-02-26 Kabushiki Kaisha Toshiba Image processing apparatus and method thereof
CN106570516A (zh) * 2016-09-06 2017-04-19 国网重庆市电力公司电力科学研究院 一种利用卷积神经网络cnn的障碍物识别方法
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANG-CHIEH CHEN 等: "Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation", 《ARXIV》 *
PANKAJ JAIN 等: "Automatic Obstacle Detection using Image Segmentation", 《INTERNATIONAL JOURNAL OF EMERGING TECHNOLOGY AND ADVANCED ENGINEERING》 *
PHILLIP ISOLA 等: "Image-to-Image Translation with Conditional Adversarial Networks", 《ARXIV》 *
康磊: "基于卷积神经网络的前方车辆障碍物检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN109753937A (zh) * 2019-01-09 2019-05-14 宽凳（北京）科技有限公司 一种嵌套目标的识别方法及装置
CN109919216A (zh) * 2019-02-28 2019-06-21 合肥工业大学 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN109919216B (zh) * 2019-02-28 2021-09-07 合肥工业大学 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN109993060A (zh) * 2019-03-01 2019-07-09 长安大学 深度摄像头的车辆全向障碍物检测方法
CN109993060B (zh) * 2019-03-01 2022-11-22 长安大学 深度摄像头的车辆全向障碍物检测方法
CN110370273B (zh) * 2019-06-27 2021-04-09 华为技术有限公司 一种机器人避障方法、装置和系统
CN110370273A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 一种机器人避障方法、装置和系统
CN111123915A (zh) * 2019-12-05 2020-05-08 国电南瑞科技股份有限公司 一种巡检机器人越障方法、系统、存储介质及计算设备
CN112171675A (zh) * 2020-09-28 2021-01-05 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质
CN112171675B (zh) * 2020-09-28 2022-06-10 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质
CN112487872A (zh) * 2020-11-10 2021-03-12 河北工业大学 智能割草机器人的避障控制方法及控制系统
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113672732A (zh) * 2021-08-19 2021-11-19 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备
CN113672732B (zh) * 2021-08-19 2024-04-26 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备
CN117152719A (zh) * 2023-11-01 2023-12-01 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置
CN117152719B (zh) * 2023-11-01 2024-03-26 锐驰激光(深圳)有限公司 除草障碍物检测方法、设备、存储介质及装置

Also Published As

Publication number Publication date
CN108921119B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN108921119A (zh) 一种障碍物实时检测和分类方法
WO2021022970A1 (zh) 一种基于多层随机森林的零部件识别方法及系统
CN109543695B (zh) 基于多尺度深度学习的泛密度人群计数方法
Jiang et al. Automatic soccer video event detection based on a deep neural network combined cnn and rnn
CN108009473A (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN105224912B (zh) 基于运动信息和轨迹关联的视频行人检测和跟踪方法
CN104036255B (zh) 一种人脸表情识别方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN110111340A (zh) 基于多路割的弱监督实例分割方法
CN106599883A (zh) 一种基于cnn的多层次图像语义的人脸识别方法
Rao et al. Multi-pose facial expression recognition based on SURF boosting
CN108053427A (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN107480682B (zh) 一种商品包装生产日期检测方法
CN108052859A (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN107609512A (zh) 一种基于神经网络的视频人脸捕捉方法
CN111191695A (zh) 一种基于深度学习的网站图片篡改检测方法
Sun et al. Robust text detection in natural scene images by generalized color-enhanced contrasting extremal region and neural networks
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
CN112861791B (zh) 一种结合图神经网络和多特征融合的唇语识别方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
CN109993803A (zh) 城市色调的智能分析与评价方法
CN110533026A (zh) 基于计算机视觉的电竞图像数字与图标信息获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant