CN112686835A - 路上障碍物检测装置、方法及计算机可读存储介质 - Google Patents
路上障碍物检测装置、方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112686835A CN112686835A CN202011043879.XA CN202011043879A CN112686835A CN 112686835 A CN112686835 A CN 112686835A CN 202011043879 A CN202011043879 A CN 202011043879A CN 112686835 A CN112686835 A CN 112686835A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- unit
- semantic tag
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 34
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供路上障碍物检测装置、方法及计算机可读存储介质。路上障碍物检测装置包括：语义标签推定部，使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像；原图像推定部，从由语义标签推定部生成的语义标签图像复原原图像；差分算出部，算出由原图像推定部复原出的复原图像与原图像的差分；及路上障碍物检测部，基于差分算出部的算出结果来检测路上障碍物。
Description
技术领域
本公开涉及路上障碍物检测装置、路上障碍物检测方法及保存路上障碍物检测程序的计算机可读存储介质。
背景技术
在日本特开2018-194912号公报(专利文献1)中公开了：对图像赋予语义标签，将图像分割为局部区域，根据局部区域的语义标签的概率来算出障碍物似然性。
具体而言，提出了包括局部区域分割部和似然性算出部的障碍物检测装置。局部区域分割部将输入图像分割为多个局部区域。似然性算出部将在对象局部区域存在路上障碍物的概率基于该对象局部区域不是预先确定的正常物体的概率和由周边局部区域与对象局部区域的关系定义的视觉显著度而算出。在此，视觉显著度以周边局部区域是道路的概率越高则该视觉显著度越大且对象局部区域与周边局部区域的视觉特征的差异越大则该视觉显著度大的方式算出。
发明内容
发明所要解决的课题
然而，在专利文献1的技术中，即使关于障碍物，也作为障碍物或其他而赋予语义标签。由此，也存在语义标签的赋予失败的情况。因此，为了提高路上障碍物的检测精度，存在改善的余地。
本公开考虑上述事实而完成，其目的在于，提供与根据语义标签来推定路上障碍物的情况相比能够提高路上障碍物的检测精度的路上障碍物检测装置、路上障碍物检测方法及保存路上障碍物检测程序的计算机可读存储介质。
用于解决课题的手段
第一方案的路上障碍物检测装置包括：生成部，使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像；复原部，从由所述生成部生成的语义标签图像复原原图像；及检测部，将由所述复原部复原出的复原图像与原图像进行比较来检测路上障碍物。
根据第一方案，在生成部中，使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像。
在复原部中，从由生成部生成的语义标签图像复原原图像。
然后，将由复原部复原出的复原图像与原图像进行比较来检测路上障碍物。即，关于因路上障碍物而产生了语义标签的推定失误的部位，若将从语义标签图像复原出的复原图像与原图像进行比较，则大幅背离。因而，能够通过将复原图像与原图像进行比较来检测路上障碍物。由此，与根据语义标签来推定路上障碍物的情况相比，能够提高路上障碍物的检测精度。
需要说明的是，可以如第二方案那样，检测部将复原图像与原图像的差分为预先确定的阈值以上的部分检测为路上障碍物。由此，能够通过将复原图像与原图像进行比较来检测路上障碍物。
另外，可以如第三方案那样，还具备提取道路及道路邻近区域的提取部，关于由提取部提取出的区域来检测路上障碍物。由此，能够抑制将路上以外的多余的物体检测为路上障碍物。
另外，可以如第四方案那样，复原部针对每个语义标签或相邻的每多个语义标签来复原原图像。由此，能够限定图像面积及图像类别而复原，因此能够提高复原精度。
另外，可以如第五方案那样，还包括生成各语义标签的区域概要信息的概要生成部，复原部使用由概要生成部生成的区域概要信息来复原原图像。由此，关于语义标签的推定正确的部位使复原图像品质提高。因此，能够提高语义标签的推定失败的部位的检测精度(S/N)。
另外，可以如第六方案那样，识别器通过深度学习而学习，复原部使用利用深度学习的中间层生成的语义标签图像及由生成部生成的语义标签图像来复原语义标签图像。由此，中间层的输出图像的复原度变高。因此，关于语义标签的推定正确的部位能够提高复原图像的品质。并且，能够提高语义标签的推定失败的部位的检测精度(S/N)。
另外，可以如第七方案那样，检测部将由复原部复原出的复原图像与原图像进行比较来检测路上障碍物的候补，算出检测到的候补的危险度，将预先确定的阈值以上的危险度的候补检测为路上障碍物。由此，能够仅检测危险度高的重要的路上障碍物。
另外，可以如第八方案那样，复原部具备复原方法不同的多个种类的复原部，检测部将由多个种类的复原部的各自复原出的复原图像与原图像分别进行比较，基于各比较结果来检测路上障碍物。这样，通过利用多个种类的复原部复原原图像并与原图像分别比较，基于各比较结果来检测路上障碍物，能够更准确地推定路上障碍物的位置。
另一方面，第九方案的路上障碍物检测方法是计算机执行的路上障碍物检测方法，使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像，从生成的语义标签图像复原原图像，将复原出的复原图像与原图像进行比较来检测路上障碍物。
根据第九方案，与第一方案同样，关于因路上障碍物而产生了语义标签的推定失误的部位，若将从语义标签图像复原出的复原图像与原图像进行比较，则大幅背离。因此，能够通过将复原图像与原图像进行比较来检测路上障碍物。由此，与根据语义标签来推定路上障碍物的情况相比，能够提高路上障碍物的检测精度。
需要说明的是，如第十方案那样，也可以设为用于使计算机作为第一～第八方案中任一方案的路上障碍物检测装置的各部分发挥功能的路上障碍物检测程序。
发明效果
如以上说明那样，根据本公开，存在能够提供与根据语义标签来推定路上障碍物的情况相比能够提高路上障碍物的检测精度的路上障碍物检测装置、路上障碍物检测方法及路上障碍物检测程序这一效果。
附图说明
图1是示出第一实施方式的路上障碍物检测系统的概略结构的框图。
图2是示出由第一实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图3是示出第二实施方式的路上障碍物检测装置的概略结构的框图。
图4是示出由第二实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图5是示出第三实施方式的路上障碍物检测装置的概略结构的框图。
图6是示出由第三实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图7是示出第四实施方式的路上障碍物检测装置的概略结构的框图。
图8是示出将道路区域随机遮掩的例的图。
图9是示出由第四实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图10是示出第五实施方式的路上障碍物检测装置的概略结构的框图。
图11是示出由第五实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图12是示出第六实施方式的路上障碍物检测装置的概略结构的框图。
图13是示出由第六实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图14是示出第七实施方式的路上障碍物检测装置的概略结构的框图。
图15是示出由第七实施方式的路上障碍物检测装置进行的处理的流程的一例的流程图。
图16是示出针对每个语义标签准备多个标签图像例并基于语义标签的大小、形状等区域信息而选择过去的标签图像来推定复原图像的结构例的框图。
具体实施方式
以下，参照附图来详细说明本公开的实施方式的一例。以下，将根据通过利用搭载于车辆的车载相机进行拍摄而得到的图像来检测路上障碍物的路上障碍物检测装置作为一例进行说明。
(第一实施方式)
对第一实施方式的路上障碍物检测装置进行说明。图1是示出第一实施方式的路上障碍物检测系统的概略结构的框图。
如图1所示，本实施方式的路上障碍物检测装置10具备车载相机12、作为生成部的语义标签推定部14、作为复原部的原图像推定部16、差分算出部18及路上障碍物检测部20。需要说明的是，差分算出部18及路上障碍物检测部20对应于检测部。
本实施方式的路上障碍物检测装置10例如包括计算机，该计算机包括CPU(Central Processing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)及RAM(Random Access Memory：随机存取存储器)等。例如，通过CPU执行存储于ROM等的程序来实现各部的功能。需要说明的是，语义标签推定部14、原图像推定部16、差分算出部18及路上障碍物检测部20可以设为单个计算机执行的方式，也可以设为多个计算机(例如，针对各个功能的计算机)执行的方式。
车载相机12搭载于车辆，拍摄车辆的前方等车辆周边。并且，车载相机12将表示拍摄到的图像的图像信息向语义标签推定部14及差分算出部18输出。
语义标签推定部14例如使用通过深度学习而预先学习到的识别器及已学习参数，推定从车载相机12得到的图像信息的每个像素的语义标签并赋予语义标签。由此，将图像变换为语义标签图像并向原图像推定部16输出。语义标签推定部14例如能够使用利用FCN(Fully Convolutional Network：全卷积网络)、RNN(Recurrent Neural Network：循环神经网络)、CNN(Convolutional Neural Network：卷积神经网络)、CRF(Conditional randomfield：条件随机场)、CRFasRNN(Conditional Random Fields as Recurrent NeuralNetworks：条件随机场作为循环神经网络)等周知的手法学习到的识别器及已学习参数，将图像信息变换为语义标签图像。
原图像推定部16从由语义标签推定部14变换后的语义标签图像复原原图像。并且，将表示原图像的原图像信息向差分算出部18输出。原图像推定部16例如使用通过深度学习预先学习到的识别器及已学习参数，从语义标签图像复原原图像。并且，将复原出的复原图像信息向差分算出部18输出。具体而言，原图像推定部16构成为将多个卷积层(Convolution Layer)、活性化层(ReLU Layer Softmax Layer,etc)、池化层(PoolingLayer)及上采样层等要素堆叠成层状而得到的网络。
差分算出部18算出来自车载相机12的图像信息与原图像推定部16复原出的复原图像信息的差分，将算出结果向路上障碍物检测部20输出。差分算出部18可以对车载相机12的图像信息I(x，y)和复原图像信息P(x，y)计算每个像素的单纯的差分(I(x，y)-P(x，y))。或者，也可以将每个像素的相关利用以下的式子来计算。
或者，差分算出部18也可以对来自车载相机12的图像信息及复原图像信息实施预先确定的图像变换f(·)后进行差分比较。即，也可以算出f(l(x，y))-f(P(x，y))。需要说明的是，作为图像变换f(·)的一例，可以使用利用深度学习器(例如，vgg16、vgg19等)的隐藏层输出的感知损失(perceptual loss)。
路上障碍物检测部20基于差分算出部18的算出结果，判定为产生预先确定的阈值以上的差的部分存在语义标签的误推定。由此，检测路上障碍物。即，关于产生了语义标签的推定失误的部位，复原图像也与原来的图像大幅背离。由此，能够将该背离的部分检测为路上障碍物。例如，如图1所示，若相对于由车载相机12拍摄到的图像产生语义标签的推定失误，则关于标签推定失误部分，复原图像也不被复原而出现复原失误部分。由此，能够通过取得原图像与复原图像的差分而检测为路上障碍物。
接着，对由如上述那样构成的本实施方式的路上障碍物检测装置10进行的处理进行具体说明。图2是示出由本实施方式的路上障碍物检测装置10进行的处理的流程的一例的流程图。
在步骤100中，语义标签推定部14根据车载相机12拍摄到的评价对象的图像来推定语义标签图像并移向步骤102。例如，使用通过深度学习预先学习到的识别器及已学习参数，推定从车载相机12得到的图像信息的每个像素的语义标签并赋予语义标签。由此，将图像变换为语义标签图像。
在步骤102中，原图像推定部16将从语义标签推定部14输出的语义标签图像复原为原来的图像并移向步骤104。例如，使用通过深度学习预先学习到的识别器及已学习参数，从语义标签图像复原原图像。
在步骤104中，差分算出部18算出复原出的图像与原来的评价对象的图像的差分并移向步骤106。例如，算出来自车载相机12的原来的图像信息与复原出的图像信息的每个像素的单纯的差分。或者，也可以对来自车载相机12的原来的图像信息及复原出的图像信息的各自实施预先确定的图像变换后算出差分。
在步骤106中，路上障碍物检测部20判定是否存在算出的差分为预先确定的阈值以上的区域。在该判定为肯定的情况下移向步骤108，在该判定为否定的情况下结束一系列处理。
在步骤108中，路上障碍物检测部20将阈值以上的背离部分检测为路上障碍物并结束一系列处理。
这样，在本实施方式中，关于产生了语义标签的推定失误的部位，若将从语义标签图像复原出的复原图像与原图像进行比较，则大幅背离。因而，能够将背离的部分检测为路上障碍物。由此，能够可靠地检测出现频度低而语义标签的推定容易失败的路上障碍物。
(第二实施方式)
接着，对第二实施方式的路上障碍物检测装置进行说明。图3是示出第二实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注相同标号并省略详细的说明。
本实施方式的路上障碍物检测装置11相对于第一实施方式还具备作为提取部的道路及道路相邻区域提取部22。
道路及道路相邻区域提取部22从语义标签推定部14取得语义标签图像，提取道路及与道路相邻的区域，将提取结果向路上障碍物检测部20输出。需要说明的是，以下，有时将与道路相邻的区域称作道路相邻区域。
然后，路上障碍物检测部20基于道路及道路相邻区域提取部22的提取结果来对差分算出部18的算出结果施加遮掩。由此，将检测路上障碍物的检测区域限制为道路及与道路相邻的区域。由此，避免检测路上以外的多余的物体。例如，忽视道路远方物体的复原失误。
接着，对由本实施方式的路上障碍物检测装置11进行的具体的处理进行说明。图4是示出由本实施方式的路上障碍物检测装置11进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注相同标号并省略详细的说明。
即，从步骤100到步骤104为止进行上述的处理后，移向步骤105。
在步骤105中，道路及道路相邻区域提取部22从语义标签推定部14取得语义标签图像，提取道路及道路相邻区域并移向步骤106。
在步骤106中，路上障碍物检测部20判定是否存在算出的差分为预先确定的阈值以上的区域。在该判定为肯定的情况下移向步骤108，在该判定为否定的情况下结束一系列处理。在此，在本实施方式中，路上障碍物检测部20在判定是否存在算出的差分为预先确定的阈值以上的区域时，限制设为对象的区域。即，基于道路及道路相邻区域提取部22的提取结果来对差分算出部18的算出结果施加遮掩。由此，将检测路上障碍物的检测区域限制为道路及与道路相邻的区域。由此，能够抑制将路上以外的多余的物体检测为路上障碍物。
(第三实施方式)
接着，对第三实施方式的路上障碍物检测装置进行说明。图5是示出第三实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注相同标号并省略详细的说明。
本实施方式的路上障碍物检测装置13设置有进行与第一实施方式的原图像推定部16部分不同的处理的原图像推定部17。
本实施方式中的原图像推定部17具备包括标签1区域图像复原部17A、标签2区域图像复原部17B、···及标签N区域图像复原部17N的多个标签区域图像复原部以及图像合成部17D。
标签1区域图像复原部17A、标签2区域图像复原部17B、···及标签N区域图像复原部17N与各语义标签对应地设置，针对每个标签复原语义标签图像。由此，标签区域图像复原部所负责的图像面积及图像类别被限定，因此能够提高复原精度。需要说明的是，标签区域图像复原部可以针对每1个标签设置，也可以针对每多个标签设置。通过针对每多个标签设置，若从相邻的标签复原，则复原精度提高。另外，与针对每1个标签设置相比，计算资源可以较少。另外，也可以根据复原重要度而变更标签区域图像复原部的计算资源。作为复原重要度的例，可举出越是路上接近物体则越重要、标签区域的大小、图像复杂度(例如，像素亮度的分散等)等。
图像合成部17D通过将由多个标签区域图像复原部分别复原出的每个标签的复原图像合成来生成整体的复原图像。
接着，对由本实施方式的路上障碍物检测装置13进行的具体的处理进行说明。图6是示出由本实施方式的路上障碍物检测装置13进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注相同标号并省略详细的说明。
当通过上述的步骤100而推定语义标签图像后，移向步骤101。
在步骤101中，标签1区域图像复原部17A、标签2区域图像复原部17B、···及标签N区域图像复原部17N的各标签区域复原部将语义标签图像复原为原来的图像并移向步骤103。
在步骤103中，图像合成部17D将由多个标签区域图像复原部分别复原出的每个标签的复原图像合成。由此，生成整体的复原图像并移向步骤104。并且，以后进行上述的步骤104～108的处理。
这样，通过针对每个语义标签具备标签区域图像复原部，各标签区域图像复原部所负责的图像面积及图像类别被限定。因此，能够提高各语义标签区域中的复原精度。并且，由于将提高了复原精度的标签区域合成而复原原来的图像，所以复原出的图像的复原精度也能够提高。
(第四实施方式)
接着，对第四实施方式的路上障碍物检测装置进行说明。图7是示出第四实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注相同标号并省略详细的说明。
本实施方式的路上障碍物检测装置15相对于第一实施方式还具备作为概要生成部的各语义标签区域概要信息生成部24。
各语义标签区域概要信息生成部24从车载相机12取得图像信息，并且从语义标签推定部14取得语义标签图像。并且，根据取得的图像信息及语义标签图像，生成各语义标签的区域概要信息，并向原图像推定部16输出。作为区域概要信息，例如可举出各语义标签的颜色的平均、最大值、最小值、标准偏差、区域面积、空间频率、边缘图像(例如，从图像近似地提取边缘画的算法即canny法等)、部分遮掩图像等。需要说明的是，将部分遮掩图像的一例示于图8。在图8中，示出将道路区域随机地遮掩的例。
并且，原图像推定部16在从语义标签图像复原原图像时，利用各语义标签区域概要信息生成部24生成的语义标签的区域概要信息来从语义标签图像复原原图像。由此，关于语义标签的推定正确的部位使复原图像品质提高。因此，能够提高语义标签的推定失败的部位的检测精度(S/N)。
接着，对由本实施方式的路上障碍物检测装置15进行的具体的处理进行说明。图9是示出由本实施方式的路上障碍物检测装置15进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注相同标号并省略详细的说明。
当通过上述的步骤100而推定语义标签图像后，移向步骤101A。
在步骤101A中，各语义标签区域概要信息生成部24使用车载相机12拍摄到的评价对象的图像信息和语义标签图像来生成各语义标签的区域概要信息。然后，移向步骤103A。
在步骤103A中，原图像推定部16利用各语义标签区域概要信息生成部24生成的语义标签的区域概要信息，从语义标签图像复原原图像。然后，移向步骤104，以后进行上述的步骤104～108的处理。
这样，在本实施方式中，各语义标签区域概要信息生成部24生成各语义标签的区域概要信息。并且，在从语义标签图像复原原图像时，利用区域概要信息。因此，能够关于语义标签的推定正确的部位使复原图像品质提高。由此，能够提高语义标签的推定失败的部位的检测精度(S/N)。
(第五实施方式)
接着，对第五实施方式的路上障碍物检测装置进行说明。图10是示出第五实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注相同标号并省略详细的说明。
在本实施方式的路上障碍物检测装置19中，在第一实施方式中，语义标签推定部14构成为将由成为深度学习的中间层的隐藏层推定出的语义标签的推定结果也向原图像推定部16输出。即，语义标签推定部14将由最终层14B推定出的语义标签图像和未被完全抽象化为语义标签的隐藏层14A的输出图像向原图像推定部16输入。
然后，原图像推定部16基于由语义标签推定部14推定出的语义标签图像和隐藏层14A的未被完全抽象化的输出图像来复原原图像。由于隐藏层14A的输出图像的复原度变高，所以关于语义标签的推定正确的部位复原图像的品质提高，语义标签的推定失败的部位的检测精度(S/N)提高。
接着，对由本实施方式的路上障碍物检测装置19进行的具体的处理进行说明。图11是示出由本实施方式的路上障碍物检测装置19进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注相同标号并省略详细的说明。
在步骤100A中，语义标签推定部14根据车载相机12拍摄到的评价对象的图像来推定语义标签图像，将语义标签图像与推定中途的隐藏层14A的输出图像一起输出并移向步骤102A。即，使用通过深度学习预先学习到的识别器及已学习参数，推定从车载相机12得到的图像信息的每个像素的语义标签并赋予语义标签。由此，变换为语义标签图像并向原图像推定部16输出。另外，也输出深度学习的中途的隐藏层的输出图像。
在步骤102A中，原图像推定部16基于由语义标签推定部14推定出的语义标签图像和隐藏层14A的未被完全抽象化的输出图像来复原原图像并移向步骤104。然后，以后进行上述的步骤104～108的处理。
这样，在本实施方式中，在从语义标签图像复原原图像时，也使用通过深度学习推定语义标签时的中途的隐藏层14A的输出图像来复原。由此，能够提高语义标签的推定正确的部位的复原图像的品质。由此，能够提高语义标签的推定失败的部位的检测精度(S/N)。
(第六实施方式)
接着，对第六实施方式的路上障碍物检测装置进行说明。图12是示出第六实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注相同标号并省略详细的说明。
本实施方式的路上障碍物检测装置21相对于第一实施方式还具备主机处理部26。需要说明的是，差分算出部18、路上障碍物检测部20及主机处理部26对应于将预先确定的阈值以上的危险度的障碍物检测为路上障碍物的检测部。
主机处理部26将由路上障碍物检测部20检测到的路上障碍物作为路上障碍物的候补而算出候补的危险度。然后，进行将预先确定的阈值以上的危险度的候补设为路上障碍物的处理。由此，能够仅检测重要的路上障碍物。
主机处理部26例如基于障碍物面积、障碍物车道位置、黑名单物体匹配、物体似然性、基于白线的距障碍物的距离及视觉显著度的至少1个来算出路上障碍物的危险度。需要说明的是，关于障碍物面积，例如将相对于道路面积是多少面积作为危险度而算出。另外，关于障碍物车道位置，将从本车道离开多少作为危险度而算出。另外，关于黑名单物体匹配，利用与预先确定的危险的障碍物的模板的匹配程度或物体检测功能的结果来算出危险度。另外，关于物体似然性，将表示是否容易检测为边界清晰且封闭的块的指标(例如，“What is an object？”Bogdan Alexe,Thomas Deselaers,Vittorio Ferrari:CVPR 2010:73-80等)作为危险度而算出。另外，关于视觉显著度，使用日本特开2018-194912号公报所记载的技术而将视觉显著度作为危险度算出。
接着，对由本实施方式的路上障碍物检测装置21进行的具体的处理进行说明。图13是示出由本实施方式的路上障碍物检测装置21进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注同一标号并省略详细的说明。
即，从步骤100到步骤106为止进行上述的处理后，移向步骤107A。
在步骤107A中，主机处理部26算出原图像与复原图像的背离部分的危险度并移向步骤107B。即，关于路上障碍物检测部20检测到的路上障碍物的部分算出危险度。
在步骤107B中，主机处理部26判定是否是预先确定的阈值以上的危险度。在该判定为肯定的情况下，移向上述的步骤108而判定为路上障碍物，在该判定为否定的情况下，结束一系列处理。即，能够仅将危险度为阈值以上的危险度高的重要的路上障碍物检测为路上障碍物。
(第七实施方式)
接着，对第七实施方式的路上障碍物检测装置进行说明。图14是示出第七实施方式的路上障碍物检测装置的概略结构的框图。需要说明的是，关于与第一实施方式相同的结构，标注同一标号并省略详细的说明。
在本实施方式的路上障碍物检测装置23中，分别设置有多个(N个)第一实施方式的原图像推定部16及差分算出部18。
多个原图像推定部16可以利用分别不同的神经网络尺寸不同的深度学习来推定原图像，也可以利用不同种类的深度学习来推定原图像。
相对于多个原图像推定部16的各自设置差分算出部18。并且，将各个原图像推定部16的推定结果与原图像进行比较的结果向路上障碍物检测部20输出。
然后，路上障碍物检测部20根据多个差分图像来检测路上障碍物的位置。例如，路上障碍物检测部20将多个差分图像的逻辑与(AND)、逻辑或(OR)或预先确定的数量以上在相同部位看到阈值以上的背离的部位或看到多个差分图像的加权和为阈值以上的背离的部位检测为路上障碍物。
接着，对由本实施方式的路上障碍物检测装置23进行的具体的处理进行说明。图15是示出由本实施方式的路上障碍物检测装置23进行的处理的流程的一例的流程图。需要说明的是，关于与图2相同的处理，标注相同标号并省略详细的说明。
当通过上述的步骤100而推定语义标签图像后，移向步骤102B。
在步骤102B中，利用多个原图像推定部16复原语义标签图像并移向步骤104A。
在步骤104A中，多个差分算出部18关于复原出的多个复原图像分别算出与原来的评价对象的图像的差分并移向步骤110。
在步骤110中，路上障碍物检测部20判定路上障碍物条件是否成立。该判定例如将多个差分图像的逻辑与(AND)、逻辑或(OR)或预先确定的数量以上在相同部位看到阈值以上的背离的部位或看到多个差分图像的加权和为阈值以上的背离的部位检测为路上障碍物。由此，判定是否存在路上障碍物条件成立的区域。在该判定为肯定的情况下，移向步骤112，在该判定为否定的情况下，结束一系列处理。
在步骤112中，路上障碍物检测部20将路上障碍物条件成立的部分检测为路上障碍物并结束一系列处理。
这样，利用多个原图像推定部16来推定原图像并判定与原图像的背离部分。由此，能够更准确地推定路上障碍物的位置。
需要说明的是，在上述的实施方式中，说明了原图像推定部16使用深度学习来根据语义标签图像推定原图像的例。但是，不限于此，也可以是使用深度学习以外的方法来推定原图像的方式。例如，也可以针对每个语义标签准备多个标签图像例，基于语义标签的大小、形状等区域信息而选择过去的标签图像来推定复原图像。具体而言，如图16所示，具备每个语义标签的标签图像选择部(标签1图像选择部30A～标签N图像选择部30N)30、与标签图像选择部30对应的由标签1图像DB(数据库)32A～标签N图像DB32N构成的标签图像DB32及图像合成部34。各标签图像选择部30基于语义标签的大小、形状等区域信息来选择类似的过去的标签图像，利用图像合成部34将选择出的各标签图像合成而生成复原图像。
另外，上述的各实施方式分别独立地进行了说明。但是，不限于此，也可以设为将多个实施方式适当组合而成的方式。
另外，由上述的各实施方式中的路上障碍物检测装置10、11、13、15、19、21、23的各部进行的处理设为通过执行程序而进行的软件处理而进行了说明。但是，不限于此。例如也可以设为将软件及硬件的双方组合而成的处理。另外，在设为了软件的处理的情况下，也可以将程序存储于各种存储介质而使其流通。
而且，本公开不限定于上述，除了上述以外，当然也能够在不脱离其主旨的范围内各种变形而实施。
Claims (10)
1.一种路上障碍物检测装置，包括：
生成部，使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像；
复原部，从由所述生成部生成的语义标签图像复原原图像；及
检测部，将由所述复原部复原出的复原图像与原图像进行比较来检测路上障碍物。
2.根据权利要求1所述的路上障碍物检测装置，
所述检测部将所述复原图像与所述原图像的差分为预先确定的阈值以上的部分检测为路上障碍物。
3.根据权利要求1或2所述的路上障碍物检测装置，
还具备提取道路及道路邻近区域的提取部，关于由所述提取部提取出的区域来检测路上障碍物。
4.根据权利要求1或2所述的路上障碍物检测装置，
所述复原部针对每个所述语义标签或相邻的每多个语义标签来复原原图像。
5.根据权利要求1或2所述的路上障碍物检测装置，
还包括生成各语义标签的区域概要信息的概要生成部，所述复原部使用由所述概要生成部生成的所述区域概要信息来复原原图像。
6.根据权利要求1或2所述的路上障碍物检测装置，
所述识别器通过深度学习而学习，所述复原部使用利用所述深度学习的中间层生成的语义标签图像及由所述生成部生成的语义标签图像来复原语义标签图像。
7.根据权利要求1或2所述的路上障碍物检测装置，
所述检测部将由所述复原部复原出的复原图像与原图像进行比较来检测路上障碍物的候补，算出检测到的所述候补的危险度，将预先确定的阈值以上的危险度的所述候补检测为路上障碍物。
8.根据权利要求1或2所述的路上障碍物检测装置，
所述复原部具备复原方法不同的多个种类的复原部，
所述检测部将由所述多个种类的复原部的各自复原出的复原图像与原图像分别进行比较，基于各比较结果来检测路上障碍物。
9.一种路上障碍物检测方法，是计算机执行的路上障碍物检测方法，
使用预先学习到的识别器来针对图像的每个像素推定语义标签，生成语义标签图像，
从生成的语义标签图像复原原图像，将复原出的复原图像与原图像进行比较来检测路上障碍物。
10.一种计算机可读存储介质，保存用于使计算机作为权利要求1或2所述的路上障碍物检测装置的各部分发挥功能的路上障碍物检测程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-191439 | 2019-10-18 | ||
| JP2019191439A JP7327077B2 (ja) | 2019-10-18 | 2019-10-18 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686835A true CN112686835A (zh) | 2021-04-20 |
| CN112686835B CN112686835B (zh) | 2024-05-14 |
Family
ID=75445405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011043879.XA Active CN112686835B (zh) | 2019-10-18 | 2020-09-28 | 路上障碍物检测装置、方法及计算机可读存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11704828B2 (zh) |
| JP (1) | JP7327077B2 (zh) |
| CN (1) | CN112686835B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7327077B2 (ja) * | 2019-10-18 | 2023-08-16 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| US11645505B2 (en) * | 2020-01-17 | 2023-05-09 | Servicenow Canada Inc. | Method and system for generating a vector representation of an image |
| JP7310718B2 (ja) * | 2020-05-27 | 2023-07-19 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| GB2624926A (en) * | 2022-12-01 | 2024-06-05 | Continental Autonomous Mobility Germany GmbH | A computer-implemented method for reducing false positives in a computer vision task and application thereof to motor vehicle exterior monitoring |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012226556A (ja) * | 2011-04-20 | 2012-11-15 | Nissan Motor Co Ltd | 走行支援装置 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| JP2015042952A (ja) * | 2013-08-26 | 2015-03-05 | シャープ株式会社 | 障害物検知装置および電動車両 |
| CN105182358A (zh) * | 2014-04-25 | 2015-12-23 | 谷歌公司 | 用于使用激光点云进行物体检测的方法和系统 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007328630A (ja) | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
| JP5521217B2 (ja) * | 2010-02-17 | 2014-06-11 | 富士通テン株式会社 | 障害物検出装置、及び障害物検出方法 |
| JP7213809B2 (ja) * | 2016-12-09 | 2023-01-27 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ビデオベースの位置決め及びマッピングの方法及びシステム |
| JP6565967B2 (ja) * | 2017-05-12 | 2019-08-28 | トヨタ自動車株式会社 | 路上障害物検出装置，方法，およびプログラム |
| US10007269B1 (en) | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
| EP3663882B1 (en) * | 2017-08-04 | 2022-06-22 | Sony Group Corporation | Information processing device, information processing method, program and mobile unit |
| EP4014832A4 (en) * | 2019-08-16 | 2023-04-26 | Hoya Corporation | PROCESSOR FOR AN ENDOSCOPE, ENDOSCOPE SYSTEM, INFORMATION PROCESSING DEVICE, PROGRAM AND INFORMATION PROCESSING METHOD |
| JP7215390B2 (ja) * | 2019-10-10 | 2023-01-31 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| JP7327077B2 (ja) * | 2019-10-18 | 2023-08-16 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| JP7310718B2 (ja) * | 2020-05-27 | 2023-07-19 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| JP7294275B2 (ja) * | 2020-08-25 | 2023-06-20 | トヨタ自動車株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
-
2019
- 2019-10-18 JP JP2019191439A patent/JP7327077B2/ja active Active
-
2020
- 2020-09-28 CN CN202011043879.XA patent/CN112686835B/zh active Active
- 2020-10-13 US US17/069,328 patent/US11704828B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012226556A (ja) * | 2011-04-20 | 2012-11-15 | Nissan Motor Co Ltd | 走行支援装置 |
| JP2015042952A (ja) * | 2013-08-26 | 2015-03-05 | シャープ株式会社 | 障害物検知装置および電動車両 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| CN105182358A (zh) * | 2014-04-25 | 2015-12-23 | 谷歌公司 | 用于使用激光点云进行物体检测的方法和系统 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| KRZYSZTOF LIS 等: ""Detecting the Unexpected via Image Resynthesis"", 《ARXIV:1904.07595V2 [CS.CV]》, pages 1 - 18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686835B (zh) | 2024-05-14 |
| JP2021068056A (ja) | 2021-04-30 |
| US20210117703A1 (en) | 2021-04-22 |
| US11704828B2 (en) | 2023-07-18 |
| JP7327077B2 (ja) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686835B (zh) | 路上障碍物检测装置、方法及计算机可读存储介质 | |
| KR101834778B1 (ko) | 교통 표지판 인식장치 및 방법 | |
| EP2858008A2 (en) | Target detecting method and system | |
| US20220174089A1 (en) | Automatic identification and classification of adversarial attacks | |
| Müller et al. | Illumination-robust dense optical flow using census signatures | |
| US20070058856A1 (en) | Character recoginition in video data | |
| KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
| CN111696118A (zh) | 动态场景下基于语义分割与图像修复的视觉回环检测方法 | |
| US11410327B2 (en) | Location determination apparatus, location determination method and computer program | |
| CN112200020A (zh) | 一种行人重识别方法、装置、电子设备及可读存储介质 | |
| WO2022003740A1 (en) | Method for determining the confidence of a disparity map through a self-adaptive learning of a neural network, and sensor system thereof | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| Klingner et al. | Detecting adversarial perturbations in multi-task perception | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN116258748A (zh) | 轨迹跟踪方法 | |
| Dinh et al. | StereoPairFree: Self-Constructed Stereo Correspondence Network From Natural Images | |
| CN114882469A (zh) | 一种基于dl-ssd模型的交通标志检测方法及系统 | |
| Agunbiade et al. | Enhancement optimization of drivable terrain detection system for autonomous robots in light intensity scenario | |
| CN113450457A (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
| Dederscheck et al. | Illumination invariance for driving scene optical flow using comparagram preselection | |
| CN112686155A (zh) | 图像识别方法、装置、计算机可读存储介质及处理器 | |
| Jarraya et al. | Adaptive moving shadow detection and removal by new semi-supervised learning technique | |
| CN114118188A (zh) | 针对待检测图像中移动对象的处理系统、方法和存储介质 | |
| Zhao et al. | IR saliency detection via a GCF-SB visual attention framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |