CN112651274A - 路上障碍物检测装置、路上障碍物检测方法及记录介质 - Google Patents

路上障碍物检测装置、路上障碍物检测方法及记录介质 Download PDF

Info

Publication number
CN112651274A
CN112651274A CN202010878744.9A CN202010878744A CN112651274A CN 112651274 A CN112651274 A CN 112651274A CN 202010878744 A CN202010878744 A CN 202010878744A CN 112651274 A CN112651274 A CN 112651274A
Authority
CN
China
Prior art keywords
region
obstacle
road
interest
statistical distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010878744.9A
Other languages
English (en)
Other versions
CN112651274B (zh
Inventor
大串俊明
堀口贤司
山中正雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112651274A publication Critical patent/CN112651274A/zh
Application granted granted Critical
Publication of CN112651274B publication Critical patent/CN112651274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Abstract

本发明提供路上障碍物检测装置、路上障碍物检测方法及记录介质。路上障碍物检测装置使用预先学习的第一识别器，针对图像的每个像素赋予语义标签，并且，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布，使用赋予的所述关注区域的语义标签的统计分布和推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。

Description

路上障碍物检测装置、路上障碍物检测方法及记录介质
技术领域
本公开涉及路上障碍物检测装置、路上障碍物检测方法及记录有路上障碍物检测程序的记录介质。
背景技术
在日本特开2018-194912号公报中公开了：向图像赋予语义标签，将图像分割为局部区域，根据局部区域的语义标签的概率来计算障碍物的可能性。
详细而言，提出了一种障碍物检测装置，包括：局部区域分割部，将输入图像分割为多个局部区域；及似然度计算部，将在对象局部区域中存在路上障碍物的概率基于该对象局部区域不是预先确定的正常物体的概率和由周边局部区域与对象局部区域的关系定义的视觉显著度来计算。在此，周边局部区域是道路的概率越高则视觉显著度被计算得越大，且对象局部区域与周边局部区域的视觉特征的差异越大则视觉显著度被计算得越大。
发明内容
发明所要解决的课题
然而，在日本特开2018-194912号公报的技术中，由于关于障碍物也作为障碍物或其他而赋予语义标签，所以若考虑语义标签的赋予失败的情况等，则为了提高路上障碍物的检测精度而存在改善的余地。
本发明的目的在于，提供与根据语义标签来检测路上障碍物的情况相比能够提高路上障碍物的检测精度的路上障碍物检测装置、路上障碍物检测方法及记录有路上障碍物检测程序的记录介质。
用于解决课题的手段
第一方案的路上障碍物检测装置包括：赋予部，使用预先学习的第一识别器，针对图像的每个像素赋予语义标签；分布推定部，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布；及障碍物推定部，使用由所述赋予部赋予的所述关注区域的语义标签的统计分布和由所述分布推定部推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。
根据第一方案的发明，在赋予部中，使用预先学习的第一识别器，针对图像的每个像素赋予语义标签。
在分布推定部中，使用预先学习的第二识别器，根据成为图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定关注区域的语义标签的统计分布。
并且，在障碍物推定部中，使用由赋予部赋予的关注区域的语义标签的统计分布和由分布推定部推定出的关注区域的语义标签的统计分布来推定路上障碍物的可能性。由此，即使不将各种种类的障碍物自身作为学习数据而准备并学习，也能够检测路上障碍物。另外，由于无需将路上障碍物作为学习数据而准备并学习，所以错误的语义标签的赋予被抑制，与根据语义标签来检测路上障碍物的情况相比，能够提高路上障碍物的检测精度。
需要说明的是，障碍物推定部可以基于由赋予部赋予的关注区域的语义标签的统计分布与由分布推定部推定出的关注区域的语义标签的统计分布的差的平方、差的绝对值、内积或概率分布的距离来推定路上障碍物的可能性。或者，障碍物推定部可以基于使用由周边区域与关注区域的关系定义的视觉显著度而定义的似然度来推定路上障碍物的可能性。
另外，障碍物推定部可以将图像分割为不跨越前景与背景的交界的多个局部区域，从局部区域选择关注区域及周边区域并推定路上障碍物的可能性。
另外，关于关注区域，可以设定包含从图像提取块区域而得到的像是物体的区域的矩形区域。
第二方案的路上障碍物检测方法是计算机执行的路上障碍物检测方法，使用预先学习的第一识别器，针对图像的每个像素赋予语义标签，并且，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布，使用赋予的所述关注区域的语义标签的统计分布和推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。
根据第二方案的发明，与第一方案的发明同样，即使不将各种种类的障碍物自身作为学习数据而准备并学习，也能够检测路上障碍物。另外，由于无需学习路上障碍物，所以与根据语义标签来检测路上障碍物的情况相比，能够提高路上障碍物的检测精度。
需要说明的是，也可以设为记录有用于使计算机作为第一方案的路上障碍物检测装置的各部发挥功能的路上障碍物检测程序的记录介质。
发明效果
如以上说明那样，根据本发明，存在能够提供与根据语义标签来检测路上障碍物的情况相比能够提高路上障碍物的检测精度的路上障碍物检测装置、路上障碍物检测方法及记录有路上障碍物检测程序的记录介质这一效果。
附图说明
图1是示出本实施方式的路上障碍物检测装置的概略结构的框图。
图2是示出RGB彩色图像的一例的图。
图3是示出语义标签图像的一例的图。
图4是示出语义标签图像中的关注区域及周边区域的一例的图。
图5是示出由本实施方式的路上障碍物检测装置的学习部进行的处理的流程的一例的流程图。
图6是示出由本实施方式的路上障碍物检测装置的推定部进行的处理的流程的一例的流程图。
图7是示出障碍物的可能性的计算方法的一例的图。
图8是示出使用了长方形作为关注区域的形状的例子的图。
图9是示出将关注区域及周边区域各自的大小在远方减小且在附近增大的例子的图。
图10是示出将周边区域相对于关注区域的大小的比率在远方增大且在附近减小的例子的图。
图11是示出以包含超像素的方式设定了关注区域的矩形区域的例子的图。
图12是示出使用Selective Search(选择性搜索)以包含像是物体的区域的方式设定了矩形区域的例子的图。
图13是示出分割为多个超像素的整体图像的一例的图。
图14是示出分割为超像素的整体图像的一例中的矩形区域的图。
具体实施方式
以下，参照附图来详细说明本公开的实施方式的一例进行。图1是示出本实施方式的路上障碍物检测装置的概略结构的框图。
本实施方式的路上障碍物检测装置10由包括作为处理器的一例的CPU、ROM及RAM等的计算机构成，具备学习部12及推定部14的功能。需要说明的是，学习部12及推定部14的各功能也可以分别设为不同的计算机结构。处理器例如也可以是GPU，还可以使用多个CPU或GPU。CPU表示Central Processing Unit(中央处理单元)，ROM表示Read Only Memory(只读存储器)，RAM表示Random Access Memory(随机存取存储器)。
学习部12使用预先准备的学习数据来学习用于将图像分割为语义区域的第一识别器和用于根据周边区域来推定关注区域中的语义标签的第二识别器这2个识别器。
详细而言，学习部12具备学习数据保存部16、语义区域分割学习部18及统计分布学习部20。
学习数据保存部16将通过利用车载相机等拍摄装置拍摄而得到的RGB彩色图像和对该图像中的每个像素赋予了语义标签的语义标签图像的对作为学习数据而大量保存。语义标签例如可以是空、道路、白线、车辆等，但不限定于此。例如，将图2所示的RGB彩色图像和图3所示的语义标签图像作为学习数据而保存于学习数据保存部16。在此，图2虽然由灰调表示，但是示出RGB彩色图像的一例的图，图3是由针对每个标签而不同的灰阶表示的语义标签图像的一例的图。
语义区域分割学习部18使用保存于学习数据保存部16的学习数据来学习以RGB彩色图像为输入且针对该图像中的每个像素来推定语义标签的第一识别器。
统计分布学习部20使用保存于学习数据保存部16的学习数据来学习以成为图像中的预先确定的关注区域Rc的周边的周边区域Rs中的语义标签图像为输入且推定相对于关注区域中的语义标签的统计分布的第二识别器。此时，在学习第二识别器时，以使路上障碍物的可能性成为最小的方式进行学习。关注区域Rc是图4中的实线所示的正方形区域，周边区域Rs是图4中的实线的外侧的虚线所示的正方形区域，也可以取代语义标签图像而使用相对于每个像素的语义标签的概率密度。
需要说明的是，这些识别器例如能够使用FCN、RNN、CNN、CRF、CRFasRNN等手法来学习。另外，关注区域Rc和周边区域Rs各自的大小Wc和Ws以试错的方式决定即可。或者，也可以使用贝叶斯最优化等来决定。FCN表示Fully Convolutional Network(完全卷积网络)，RNN表示Recurrent Neural Network(递归神经网络)，CNN表示Convolutional NeuralNetwork(卷积神经网络)，CRF表示Conditional random field(条件随机场)，CRFasRNN表示Conditional Random Fields as Recurrent Neural Networks(条件随机场作为递归神经网络)。
另一方面，推定部14使用由学习部12得到的2个识别器来计算图像中的全部点处的路上障碍物的可能性，基于计算出的路上障碍物的可能性来检测路上障碍物。2个识别器可以是第一识别器及第二识别器。
详细而言，推定部14具备学习参数保存部22、作为赋予部的一例的语义区域分割处理部24、作为分布推定部的一例的统计分布推定部26及作为障碍物推定部的一例的得分计算部28。
学习参数保存部22保存通过利用学习部12学习识别器而得到的学习参数。识别器可以是第一识别器及第二识别器。
语义区域分割处理部24使用从学习参数保存部22输入的语义区域分割用的已学习参数，通过推定评价对象图像的每个像素的语义标签并赋予语义标签而变换为语义标签图像。
统计分布推定部26使用从学习参数保存部22输入的统计分布推定用的已学习参数，以由语义区域分割处理部24得到的语义标签图像为输入，根据周边区域Rs中的语义标签的统计分布来推定关注区域Rc中的语义标签的统计分布。也可以取代语义标签图像而以相对于语义标签的概率密度为输入。
得分计算部28使用由语义区域分割处理部24得到的语义标签图像来计算关注区域Rc中的语义标签的统计分布。另外，基于由统计分布推定部26得到的关注区域Rc中的语义标签的统计分布来计算表示路上障碍物的可能性的得分。然后，得分计算部28基于计算出的得分来检测路上障碍物。例如，通过将预先确定的阈值与计算出的得分进行比较而判断是否是路上障碍物来检测路上障碍物。
需要说明的是，在推定语义标签的统计分布时，一边以包罗图像整体的方式移动关注区域Rc一边推定语义标签的统计分布。
接着，对由如上述这样构成的本实施方式的路上障碍物检测装置10进行的处理进行详细说明。
首先，对在学习部12侧进行的处理进行说明。图5是示出由本实施方式的路上障碍物检测装置10的学习部12进行的处理的流程的一例的流程图。
在步骤100中，语义区域分割学习部18及统计分布学习部20的各自读出保存于学习数据保存部16的RGB彩色图像和语义标签图像，移向步骤102。
在步骤102中，语义区域分割学习部18使用RGB彩色图像和语义标签图像来学习第一识别器，移向步骤104。即，使用上述的各种手法，学习以RGB彩色图像为输入且针对该图像中的每个像素来推定语义标签的第一识别器。
在步骤104中，统计分布学习部20使用RGB彩色图像和语义标签图像来学习第二识别器，移向步骤106。即，学习以成为图像中的预先确定的关注区域Rc的周边的周边区域Rs中的语义标签图像为输入且推定相对于关注区域中的语义标签的统计分布的第二识别器。也可以取代语义标签图像而以相对于每个像素的语义标签的概率密度为输入。
在步骤106中，语义区域分割学习部18及统计分布学习部20的各自将通过学习而得到的学习参数向推定部14输出，结束一系列处理。由此，在推定部14中，向学习参数保存部22保存学习参数。
接着，对在推定部14侧进行的处理进行说明。图6是示出由本实施方式的路上障碍物检测装置10的推定部14进行的处理的流程的一例的流程图。
在步骤200中，语义区域分割处理部24使用保存于学习参数保存部22的学习参数来将评价对象的图像变换为语义标签图像，移向步骤202。详细而言，以评价对象的图像整体为输入，使用学习的第一识别器来针对每个像素推定语义标签，由此将评价对象的图像变换为语义标签图像。
在步骤202中，统计分布推定部26使用保存于学习参数保存部22的学习参数，根据周边区域Rs中的语义标签的统计分布来推定关注区域Rc中的语义标签的统计分布，移向步骤204。详细而言，着眼于图像中的某点，使用学习的第二识别器，根据着眼的某点的周边区域Rs来推定关注区域Rc中的语义标签的统计分布Ds(例如，道路60％、车辆10％、…等)。
在步骤204中，得分计算部28使用由语义区域分割处理部24得到的语义标签图像来计算关注区域Rc中的语义标签的统计分布，移向步骤206。详细而言，着眼于图像中的某点，计算该关注区域Rc中的语义标签的统计分布Dc。语义标签的统计分布Dc例如是道路50％、车辆30％、…等。
在步骤206中，得分计算部28基于统计分布推定部26推定出的关注区域Rc中的语义标签的统计分布和得分计算部28计算出的关注区域Rc中的语义标签的统计分布来计算路上障碍物的可能性，移向步骤208。例如，将统计分布Dc与Ds的差异作为路上障碍物的可能性来计算。作为一例，统计分布Dc与Ds的差异作为频度分布Hc与频度分布Hs的差异来计算。例如，关于障碍物的可能性S，能够将相对于第一个语义标签的频度分布分别设为Hc(l)、Hs(l)，如图7所示那样通过使用了频度分布间的差的平方的式子来定义，能够将障碍物的可能性S作为得分而计算。
在步骤208中，得分计算部28基于计算出的障碍物的可能性来检测路上障碍物，结束一系列处理。例如，将得分计算部28计算出的障碍物的可能性S的得分与预先确定的阈值进行比较来判断是否是路上障碍物，检测路上障碍物。
通过这样进行处理，在本实施方式的路上障碍物检测装置10中，即使不将各种种类的障碍物自身作为学习数据而准备并学习，也能够检测路上障碍物。
另外，由于无需将路上障碍物作为学习数据而准备并学习，所以错误的语义标签的赋予被抑制，与根据语义标签来检测路上障碍物的情况相比，能够提高路上障碍物的检测精度。
另外，在本实施方式中，虽然无需将障碍物作为学习数据而准备并学习，但通过在能够学习的范围内将一部分代表性的障碍物作为学习数据而准备并学习，能够进一步提高路上障碍物的检测精度。
需要说明的是，在上述的实施方式中，将关注区域Rc设为正方形而进行了说明，但关注区域Rc的形状不限于此。例如，如图8所示，也可以应用长方形等矩形。或者，还可以应用圆形、椭圆形、多边形等其他形状。
另外，在上述的实施方式中，关注区域Rc的大小Wc和周边区域Rs的大小Ws除了以试错的方式决定之外，也可以如图9所示那样在远方减小且在附近增大。此时，远方及附近的判断例如基于语义标签图像的道路的宽度来决定，以道路的宽度越窄则区域的大小越小的方式决定。语义标签图像的道路的宽度例如在远方窄，在附近宽。
另外，在上述的实施方式中，周边区域Rs相对于关注区域Rc的大小的比率除了以试错的方式决定之外，也可以在远方和附近设为不同的比率。例如，如图10所示，也可以在远方增大，在附近减小。即，可以越是远方则周边区域Rs相对于关注区域Rc的大小的比率越大。
另外，在上述的实施方式中，关于关注区域Rc及周边区域Rs的大小，也可以如图11所示那样以包含超像素的方式设定关注区域Rc的矩形区域。另外，也可以改变超像素的粒度而计算障碍物的可能性，通过将在各粒度下计算出的障碍物的可能性统合来决定最终的障碍物的可能性。通过这样改变粒度，能够检测从大的障碍物到小的障碍物的各种各样的大小的路上障碍物。
另外，在上述的实施方式中，关注区域Rc及周边区域Rs的形状及其大小也可以配合像是物体的区域而设定。例如，如图12所示，也可以使用通过针对每个像素将类似的区域分组而选出块区域的算法，以包含像是物体的区域的方式设定区域。在选出块区域的算法中，例如存在选择性搜索(Selective Search)。另外，在学习时，也可以无作为地设定矩形区域。通过这样设定矩形区域，能够限定计算障碍物的可能性的区域而削减处理负荷。
另外，在上述的实施方式中，对图像整面进行了检测路上障碍物的处理，但不限于此，也可以限制检测的区域而减少处理负荷。例如，也可以从图像中检测消失点等并将包括消失点的水平线以下的区域设为路上障碍物的检测对象区域。或者，还可以将图像的预先确定的下侧的区域设为路上障碍物的检测对象区域。
另外，在上述的实施方式中，说明了以使用了频度分布间的差的平方的式子定义了障碍物的可能性S的例子，但不限于此。例如，也可以取代频度分布间的差而应用差的绝对值、内积、散度。在此，散度表示概率分布间的距离，但严格来说存在不满足距离的公理的情况。详细而言，应用适合于机器学习的距离的定义。例如，可以应用Kullback–Leibler(KL)距离、相对皮尔逊(rPE)距离等。或者，也可以应用作为密度差的L2距离等。
Kullback–Leibler距离使用概率密度的比(p(x)/p’(x))而由以下的式子定义。
Figure BDA0002653434210000111
另外，相对皮尔逊距离使用概率密度的比(p(x)/p’(x))而由以下的式子定义。
Figure BDA0002653434210000112
qα(x)＝αp(x)+(1-α)p′(x)0≤α＜1
另外，L2距离由以下的式子定义。需要说明的是，L2距离满足距离的公理，因此不是散度，可以说是纯粹的距离尺度。
L2(p，p′)＝∫(p(x)-p′(x))2dx
或者，也可以使用基于中心观察与周边观察的差异即视觉显著度的手法来定义障碍物的可能性。在此，对基于视觉显著度的手法进行简单说明。关于视觉显著度的详情，应用日本特开2018-194912号公报所记载的技术。
首先，如图13、14所示，将图像分割成不跨越前景与背景的交界的局部区域即多个超像素SP，将相对于第j个SP(SPj)～第i个SP(SPi)的视觉显著度Sij利用以下的式子定义。然后，将与视觉显著度Sij的j相关的合计值Li＝ΣjSij定义为相对于超像素SPi的似然度Li，将似然度作为障碍物的可能性而计算。需要说明的是，图13是示出分割为多个超像素的整体图像的一例的图，图14是示出分割为超像素的整体图像的一例中的矩形区域的图。
Figure BDA0002653434210000121
需要说明的是，n(SPj)表示第j个超像素SP内的像素数，dcolor(SPi,SPj)表示第i个超像素SP与第j个超像素SP之间的颜色平均距离，Proad(SPj)表示第j个超像素SP是“道路”的概率，Pother(SPi)表示第i个超像素SP是“其他”的概率，dposition(SPi,SPj)表示第i个超像素SP与第j个超像素SP之间的重心距离，weight表示全部超像素SP之间的距离的中央值。
另外，由上述的各实施方式中的路上障碍物检测装置10的各部进行的处理虽然设为通过执行程序而进行的软件处理而进行了说明，但不限于此。例如，也可以设为将软件及硬件双方组合而成的处理。另外，在设为了软件的处理的情况下，也可以使程序存储于HDD、SSD、DVD等各种非暂时性存储介质并流通。
图5及图6所例示的流程图是一例，步骤的顺序也可以适当调换，也可以适当追加或删除步骤。
而且，本发明不限定于上述，除了上述以外，也能够在不脱离其主旨的范围内各种变形而实施。

Claims (15)

1.一种路上障碍物检测装置，包括：
赋予部，使用预先学习的第一识别器，针对图像的每个像素赋予语义标签；
分布推定部，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布；及
障碍物推定部，使用由所述赋予部赋予的所述关注区域的语义标签的统计分布和由所述分布推定部推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。
2.根据权利要求1所述的路上障碍物检测装置，
所述障碍物推定部基于由所述赋予部赋予的所述关注区域的语义标签的统计分布与由所述分布推定部推定出的所述关注区域的语义标签的统计分布的差的平方、所述差的绝对值、内积或概率分布的距离来推定所述路上障碍物的可能性。
3.根据权利要求1所述的路上障碍物检测装置，
所述障碍物推定部基于使用由所述周边区域与所述关注区域的关系定义的视觉显著度而定义的似然度来推定所述路上障碍物的可能性。
4.根据权利要求1～3中任一项所述路上障碍物检测装置，
所述障碍物推定部将图像分割为不跨越前景与背景的交界的多个局部区域，从所述局部区域选择所述关注区域及所述周边区域并推定所述路上障碍物的可能性。
5.根据权利要求1～4中任一项所述路上障碍物检测装置，
关于所述关注区域，设定包含从图像提取块区域而得到的像是物体的区域的矩形区域。
6.一种路上障碍物检测方法，是计算机执行的路上障碍物检测方法，
使用预先学习的第一识别器，针对图像的每个像素赋予语义标签，并且，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布，
使用赋予的所述关注区域的语义标签的统计分布和推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。
7.根据权利要求6所述的路上障碍物检测方法，
基于赋予的所述关注区域的语义标签的统计分布与推定出的所述关注区域的语义标签的统计分布的差的平方、所述差的绝对值、内积或概率分布的距离来推定所述路上障碍物的可能性。
8.根据权利要求6所述的路上障碍物检测方法，
基于使用由所述周边区域与所述关注区域的关系定义的视觉显著度而定义的似然度来推定所述路上障碍物的可能性。
9.权利要求6～8中任一项所述的路上障碍物检测方法，
将图像分割为不跨越前景与背景的交界的多个局部区域，从所述局部区域选择所述关注区域及所述周边区域并推定所述路上障碍物的可能性。
10.根据权利要求6～9中任一项所述的路上障碍物检测方法，
关于所述关注区域，设定包含从图像提取块区域而得到的像是物体的区域的矩形区域。
11.一种记录介质，记录有程序，该程序使计算机执行以下的路上障碍物检测处理：
使用预先学习的第一识别器，针对图像的每个像素赋予语义标签，并且，使用预先学习的第二识别器，根据成为所述图像的预先确定的关注区域的周边的周边区域中的语义标签的统计分布来推定所述关注区域的语义标签的统计分布，
使用赋予的所述关注区域的语义标签的统计分布和推定出的所述关注区域的语义标签的统计分布来推定路上障碍物的可能性。
12.根据权利要求11所述的记录介质，
基于赋予的所述关注区域的语义标签的统计分布与推定出的所述关注区域的语义标签的统计分布的差的平方、所述差的绝对值、内积或概率分布的距离来推定所述路上障碍物的可能性。
13.根据权利要求11所述的记录介质，
基于使用由所述周边区域与所述关注区域的关系定义的视觉显著度而定义的似然度来推定所述路上障碍物的可能性。
14.根据权利要求11～13中任一项所述的记录介质，
将图像分割为不跨越前景与背景的交界的多个局部区域，从所述局部区域选择所述关注区域及所述周边区域并推定所述路上障碍物的可能性。
15.根据权利要求11～14中任一项所述的记录介质，
关于所述关注区域，设定包含从图像提取块区域而得到的像是物体的区域的矩形区域。
CN202010878744.9A 2019-10-10 2020-08-27 路上障碍物检测装置、路上障碍物检测方法及记录介质 Active CN112651274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-187022 2019-10-10
JP2019187022A JP7215390B2 (ja) 2019-10-10 2019-10-10 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Publications (2)

Publication Number Publication Date
CN112651274A true CN112651274A (zh) 2021-04-13
CN112651274B CN112651274B (zh) 2024-03-12

Family

ID=75345962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010878744.9A Active CN112651274B (zh) 2019-10-10 2020-08-27 路上障碍物检测装置、路上障碍物检测方法及记录介质

Country Status (3)

Country Link
US (1) US11443526B2 (zh)
JP (1) JP7215390B2 (zh)
CN (1) CN112651274B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11508092B2 (en) * 2019-12-16 2022-11-22 X Development Llc Edge-based crop yield prediction
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN115601361B (zh) * 2022-12-13 2023-04-07 苏州迈创信息技术有限公司 基于机器视觉机床零件在线检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329766A (zh) * 2007-06-18 2008-12-24 索尼（中国）有限公司 运动图像分析装置、方法及系统
CN106951830A (zh) * 2017-02-23 2017-07-14 北京联合大学 一种基于先验条件约束的图像场景多对象标记方法
CN107967480A (zh) * 2016-10-19 2018-04-27 北京联合大学 一种基于标签语义的显著对象提取方法
CN108038857A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
CN108764027A (zh) * 2018-04-13 2018-11-06 上海大学 一种基于改进的rbd显著性计算的海面目标检测方法
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109117723A (zh) * 2018-07-06 2019-01-01 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109284663A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于正态和均匀混合分布模型的海面障碍物检测方法
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP009697A0 (en) * 1997-10-29 1997-11-20 Canon Information Systems Research Australia Pty Ltd Image interpretation method and apparatas
JP2007328630A (ja) 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9916508B2 (en) * 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
JP6565967B2 (ja) 2017-05-12 2019-08-28 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
JP2019153225A (ja) * 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体識別装置
WO2020068868A1 (en) * 2018-09-24 2020-04-02 Chad Steelberg Object detection machine learning
KR102593948B1 (ko) * 2019-01-23 2023-10-25 모셔널 에이디 엘엘씨 주석 달기를 위한 데이터 샘플의 자동 선택

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329766A (zh) * 2007-06-18 2008-12-24 索尼（中国）有限公司 运动图像分析装置、方法及系统
CN107967480A (zh) * 2016-10-19 2018-04-27 北京联合大学 一种基于标签语义的显著对象提取方法
CN106951830A (zh) * 2017-02-23 2017-07-14 北京联合大学 一种基于先验条件约束的图像场景多对象标记方法
CN108038857A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
CN108764027A (zh) * 2018-04-13 2018-11-06 上海大学 一种基于改进的rbd显著性计算的海面目标检测方法
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109117723A (zh) * 2018-07-06 2019-01-01 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109284663A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于正态和均匀混合分布模型的海面障碍物检测方法
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
JP2021064054A (ja) 2021-04-22
US11443526B2 (en) 2022-09-13
US20210110174A1 (en) 2021-04-15
JP7215390B2 (ja) 2023-01-31
CN112651274B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112651274B (zh) 路上障碍物检测装置、路上障碍物检测方法及记录介质
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
US20190012548A1 (en) Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
WO2023138300A1 (zh) 目标检测方法及应用其的移动目标跟踪方法
US10395136B2 (en) Image processing apparatus, image processing method, and recording medium
JP5357331B2 (ja) 無作為多項ロジットを用いる意味場面区画
KR20190019822A (ko) 이미지의 시맨틱 분리를 위한 시스템 및 방법
US9836851B2 (en) Apparatus and method for detecting multiple objects using adaptive block partitioning
JP2019036008A (ja) 制御プログラム、制御方法、及び情報処理装置
JP2016194925A (ja) 道路境界物の検出方法及び装置
KR20210013216A (ko) 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체
KR20190071079A (ko) 영상 인식 방법 및 그 장치
US9742992B2 (en) Non-uniform curve sampling method for object tracking
US11704828B2 (en) Road obstacle detection device, road obstacle detection method, and computer-readable storage medium
EP2821935B1 (en) Vehicle detection method and device
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
EP4323952A1 (en) Semantically accurate super-resolution generative adversarial networks
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant