JP2018194912A - 路上障害物検出装置，方法，およびプログラム - Google Patents

路上障害物検出装置，方法，およびプログラム Download PDF

Info

Publication number
JP2018194912A
JP2018194912A JP2017095900A JP2017095900A JP2018194912A JP 2018194912 A JP2018194912 A JP 2018194912A JP 2017095900 A JP2017095900 A JP 2017095900A JP 2017095900 A JP2017095900 A JP 2017095900A JP 2018194912 A JP2018194912 A JP 2018194912A
Authority
JP
Japan
Prior art keywords
road
probability
local region
obstacle
local area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017095900A
Other languages
English (en)
Other versions
JP6565967B2 (ja
Inventor
正雄 山中
Masao Yamanaka
正雄 山中
康之 楠元
Yasuyuki Kusumoto
康之 楠元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017095900A priority Critical patent/JP6565967B2/ja
Priority to US15/964,748 priority patent/US10810876B2/en
Publication of JP2018194912A publication Critical patent/JP2018194912A/ja
Application granted granted Critical
Publication of JP6565967B2 publication Critical patent/JP6565967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】障害物の学習を必要とせずに路上障害物を精度良く検出する路上障害物検出装置、方法、及びプログラムを提供する。【解決手段】障害物検出装置は，入力画像を複数の局所領域に分割する局所領域分割部と，対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出部と，を含む。ここで、視覚的顕著度は，周辺局所領域が道路である確率が高いほど大きく，かつ，対象局所領域と周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される。【選択図】図１

Description

本発明は，画像から路上障害物を検出する技術に関する。
路上障害物は，路上に存在する異常物体であり，通常の車両走行の妨げとなる物体である。路上障害物を検出する方法として，ミリ波レーダーを用いたアクティブな手法と，カメラ（可視光カメラや赤外カメラ）を用いたパッシブな手法がある。
本開示では，可視光カメラによって撮影された画像を入力とする機械学習手法について検討する。非特許文献1によれば，路上障害物の画像情報を入力とする機械学習を用いて
識別器を学習し，得られた識別器を用いて路上障害物を検出することができる。非特許文献1は，HOG（Histogram of Oriented Gradient）を画像内で複数組み合わせたJoint HOG
特徴量を計算し，AdaBoostによって車両の識別に有効な特徴量を選択している。
特開２００６−１４０６３６号公報
Joint HOG特徴量を用いた2段階AdaBoostによる車両検出, 2009, 電子情報通信学会論文誌, 尾崎・藤吉他（中部大学） R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, Slic superpixels compared to state-of-the-art superpixel methods. TPAMI, 2012. A. Vedaldi, S. Soatto, Quick shift and kernel methods for mode seeking. ECCV, 2008 A. Levinshtein, A. Stere, K. Kutulakos, D. Fleet, S. Dickinson, K. Siddiqi, Turbopixels: Fast superpixels using geometric flows. PAMI, 2009 Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials, NIPS2010, Philipp Krahenbuhl and Vladlen Koltun (Stanford Univ.) Fully Convolutional Networks for Semantic Segmentation (FCN), CVPR2015, Jonathan Long and Evan Shelhamer (UC Berkeley Univ.) Conditional Random Fields as Recurrent Neural Networks (CRFasRNN), ICCV2015, Shuai Zheng and Sadeep Jayasumana (Oxford Univ.) 大津展之：判別および最小2 乗法に基づく自動しきい値選定法, 電子通信学会論文誌, J63-D-4 (1980-4), 349.356.
非特許文献1によれば，あらかじめ学習した識別対象物を検出することができるので，
路上障害物についての学習データを収集して学習処理を行えば路上障害物が検出できるとも考えられる。しかしながら，路上障害物は多種多様であり，全ての路上障害物を学習することは現実的に不可能である。
そこで，障害物自体を直接学習せずに路上障害物を検出可能とすることが求められる。
本発明はこのような課題を考慮してなされたものであり，障害物の学習を必要とせずに
路上障害物を精度良く検出することを目的とする。
本発明の第一の態様は，画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域に分割する局所領域分割手段と，
対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出手段と，
を備え，
前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
ことを特徴とする。
局所領域分割手段は，それぞれの局所領域が，連続した領域であり，内部の各点の特徴量が互いに類似する領域となるように分割処理を行うとよい。特徴量として，色や輝度，エッジ強度，テクスチャなどを用いることができる。局所領域は，前景とその背景との境界を跨がない領域とも表現できる。
対象局所領域が路上障害物に該当する確率は，当該対象局所領域が正常物体ではない確率と，周辺局所領域から与えられる視覚的顕著度に応じて決定される。ここで，視覚的顕著度は，周辺局所領域が道路である確率が大きいほど大きく，また，周辺局所領域と対象局所領域の視覚的相違度が大きいほど大きく算出される。すなわち，対象局所領域が路上障害物に該当する確率は，対象局所領域自体が未知の物体であるという観点と，道路と外観が異なるという観点から決定される。
正常物体は，道路上あるいはその周辺に存在する物体のうち，障害物ではないと定義された物体を意味する。正常物体ではない確率は，例えば，次のようにして求めることができる。すなわち，路上障害物検出装置は，あらかじめ定められた複数の正常物体を識別可能な識別手段を有し，識別手段による識別結果に基づいて正常物体ではない確率を求めてもよい。例えば，識別手段は，画素ごとに，当該画素があらかじめ定められた複数の正常物体のそれぞれに該当する確率を求め，その確率の合計に基づいて，当該画素が正常物体に該当しない確率を求めることができる。局所領域が正常物体ではない確率は，当該局所領域内の各画素が正常物体ではない確率の平均値として求めることができる。なお，識別手段は特定の路上障害物を識別可能に構成されてもよく，その場合には，当該特定の路上障害物である確率は，正常物体ではない確率に含めればよい。
本発明は路上障害物を学習することなく路上障害物を検出可能とするものであるが，路上障害物の事前学習を排除するものではない。
周辺局所領域が道路である確率は，「道路」を識別可能に学習された識別手段の識別結果に基づいて求めればよい。ここで，識別手段は「道路」を識別可能であってもよいし，「舗装道路」「未舗装道路」「白線」など「道路」の下位概念に属する物体を識別可能であってもよい。後者の場合，「道路」である確率は，「道路」の下位概念のいずれかの物体である確率（各確率の合計）とすればよい。また，識別手段は画素ごとに「道路」である確率を求めるように構成されてよく，その場合，「局所領域が『道路』である確率」は，当該局所領域内の各画素が「道路」である確率の平均値として求めることができる。
対象局所領域と周辺局所領域の視覚的特徴の相違（視覚的相違度）は，外観（見た目）の相違度（距離）によって評価すればよい。外観の評価は，色，輝度，エッジ強度，テク
スチャなどに基づいて行えばよい。例えば，色特徴の相違度を用いて視覚的相違度を評価する場合には，対象局所領域内の色特徴の平均値と，周辺局所賞域の色特徴の平均値との距離（ユークリッド距離やその他の距離測度）を視覚的相違度として利用すればよい。
また，視覚的顕著度は，周辺局所領域の大きさ（サイズ）が大きいほど大きく算出されてもよい。大きな周辺局所領域ほど大きな影響を与えると考えられるためである。サイズの評価は，例えば，領域内の画素数に基づいて行えば良いが，周辺長や外接矩形の大きさなどその他の尺度で評価してもよい。
また，視覚的顕著度は，対象局所領域と周辺局所領域の距離が小さいほど大きく算出されてもよい。近くに位置する周辺局所領域ほど大きな影響を与えると考えられるためである。局所領域間の距離はどのように定義してもよいが，例えば，重心間距離を用いればよい。
対象局所領域が路上障害物である確率は，全ての周辺局所領域についての視覚的顕著度の和と，対象局所領域が正常物体ではない確率と，の積として求めることが好ましい。
また，局所領域分割手段は，複数の異なる粒度で画像を分割し，尤度算出手段は，それぞれの粒度での分割結果ごとに，上述の手法により対象局所領域に路上障害物が存在する確率を算出してもよい。そして，路上障害物検出装置は，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合手段を備えてもよい。領域分割は路上障害物の大きさに応じてなされることが好ましいが，路上障害物の大きさは事前には分からない。そこで，複数の粒度で分割を行って尤度算出を行い，これらの結果を統合することで，路上障害物の大きさにかかわらずに精度良く検出が可能となる。
本態様に係る路上障害物検出装置は，さらに，路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出手段をさらに備えてもよい。あるいは，本態様に係る路上障害物検出装置は，閾値処理を施す前の尤度を最終結果として出力してもよい。
本発明の第二の態様に係る路上障害物検出装置は，画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割手段と，
前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定手段と，
対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出手段と，
を備える，ことを特徴とする路上障害物検出装置。
ここで，
n(Sj)は，局所領域Sjの大きさを表し，
dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
Proad(Sj)は，局所領域Sjが道路である確率を表し，
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
，
Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
なお、本発明は、上記手段の少なくとも一部を備える路上障害物検出装置として捉えることもできる。本発明は、また、上記処理の少なくとも一部を実行する路上障害物検出方法として捉えることができる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば，路上障害物の事前学習なしに路上障害物を精度良く検出することが可能となる。
第1の実施形態に係る路上障害物検出装置の機能構成図。 入力画像の例を示す図。 局所領域分割の結果および局所領域間距離を説明する図。 意味的ラベル推定の結果を説明する図。 路上障害物らしさ（尤度）の算出結果を示す図。 路上障害物らしさ（尤度）に閾値処理を施した結果を示す図。 路上障害物の検出結果を示す図。 第2の実施形態に係る路上障害物検出装置の機能構成図。 第2の実施形態における局所領域分割処理を説明する図。 第2の実施形態における路上障害物検出処理を説明する図。
＜第1の実施形態＞
本発明の第1の実施形態は，車両に搭載されたカメラによって撮影された画像（1枚の静止画像）に基づいて，路上障害物を検出する路上障害物検出装置である。本実施形態に係る路上障害物検出装置は，障害物の学習に頼らない手法を採用するため，未知の障害物であっても精度良く検出できる。
以下，本実施形態に係る路上障害物検出装置について，図1〜図7を参照して説明する。
図1は，本実施形態に係る路上障害物検出装置1の概略構成を示すブロック図である。本実施形態に係る路上障害物検出装置1は，半導体集積回路(LSI)を用いて実現できる。ここで，路上障害物検出装置1は，図1に示すように，画像入力部11と，局所領域分割部12と，意味的ラベル推定部13と，尤度算出部14と，検出部15と，を有する。これらの構成要素は，路上障害物検出装置1が果たす機能にそれぞれ対応している。
画像入力部11は，路上障害物検出装置1の外部から入力される画像を取得し，時刻tでの画像I(t)を局所領域分割部12および意味的ラベル推定部13に出力する。画像入力部11による画像の取得方法は特に限定されず，カメラから画像を直接取得してもよいし，通信を介して画像を取得してもよい。
画像入力部11に入力される画像の一例を図2に示す。画像のサイズは特に限定されない
。また，画像はカラー画像であることが検出精度の観点から好ましいが，モノクロ画像であってもかまわない。
局所領域分割部12は，図3のように，画像I(t)をN個の局所領域Sn(n=1,…,N)に分割する。この分割処理は，スーパーピクセル化処理とも呼ばれる。それぞれの局所領域は，連続
した領域であり，かつ，内部の各点の特徴量が互いに類似する領域である。特徴量として，色や輝度，エッジ強度，テクスチャなどを用いることができる。局所領域は，前景とその背景との境界を跨がない領域とも表現できる。局所領域分割アルゴリズムとして，非特許文献2-4に示されるアルゴリズムを用いることができる。局所領域分割部12は，分割し
たN個の局所領域Snを尤度算出部14に出力する。
意味的ラベル推定部13は，画像I(t)の画素p(x,y)のそれぞれについて，その意味的ラベルを推定する。意味的ラベル推定部13は，あらかじめ複数種類（M個とする）の物体を識
別するための識別器を学習しており，画素p(x,y)ごとに，M個の意味的ラベルLm(m=1,…,M)のそれぞれに属する確率Pm(m=1,…,M)を算出し，尤度算出部14に出力する。
意味的ラベル推定部13によって学習される物体は，空，道路（舗装路，白線など），車両（乗用車，トラック，バイクなど），自然（山，森林，街路樹など），人工建築物（街灯，鉄柱，ガードレールなど）である。正常な物体（障害物以外の物体）のみを対象として学習し，障害物は学習対象としなくてよい。もちろん，代表的な障害物については学習対象としてもかまわない。また，学習データを用意する際に正解（Ground Truth）が不明な物体は「未知」ラベル（「その他」ラベル）が付されるので，その意味では未知物体（障害物）も学習対象とされる。
意味的ラベルの推定は，既存の任意のアルゴリズムを用いて実現できる。例えば，非特許文献5のようなCRF(Conditional Random Field)ベースの手法，非特許文献6のような深
層学習（特にCNN(Convolutional Neural Network)）ベースの手法，および，非特許文献7のようなこれらを組み合わせ手法などが採用可能である。
図4は，意味的ラベル推定部13による処理結果を示す。上述したように，画素p(x,y)ご
とおよび意味的ラベルLmごとに確率が求められているが，図4では画素ごとに最も高い確
率の意味的ラベルを示している。
尤度算出部14は，図 5のように，局所領域分割部12で得られた局所領域Sn(n=1, …, N)と，意味的ラベル推定部13で得られた確率Pm(m=1,…,M)とに基づいて，画像I(t)のi(= 1,…,N)番目の局所領域Siにおける路上障害物らしさLi（尤度）を算出し，検出部15に出力
する。具体的には，路上障害物らしさLiは，たとえば，式1のように定義すればよい。
ここで，式1中の各項はそれぞれ次の意味を持つ。
n(Sj)は，j(=1, …, N)番目の局所領域Sjの大きさを表す。n(Sj)として，例えば，局所領域Sj 内の画素数を採用できる。
dappear(Si, Sj)は，i番目の局所領域Siとj番目の局所領域Sjの視覚的相違度，すなわ
ち外観（見た目）の相違度（距離）を表す。外観の評価は，色，輝度，エッジ強度，テクスチャなどに基づいて行えばよい。色特徴の相違度を用いて視覚的相違度を評価する場合には，dappear(Si, Sj)を，局所領域Si内の色特徴の平均値(Hi, Si, Vi)と，局所領域Sj 内の色特徴の平均値(Hj, Sj , Vj)とのユークリッド距離として求めればよい。色以外の
外観特徴を利用する場合も同様である。また，複数の外観特徴を総合的に考慮して視覚的相違度を評価してもよい。
Proad(Sj)は，j番目の局所領域Sjの意味的ラベルが「道路」である確率を表す。なお，「道路」が「舗装道路」と「白線」から構成される場合，意味的ラベルが「道路」である確率とは，意味的ラベルが「舗装道路」または「白線」である確率である。また，上述のように意味的ラベルの確率は画素ごとに求められるので，Proad(Sj)は，局所領域Sj内の
各画素の意味的ラベルが「道路」である確率の平均値として求めればよい。
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表す。局所領域間の距離
は，例えば，重心間距離によって定義すればよい。すなわち，dposition(Si, Sj)は，局
所領域Siの重心位置Giと局所領域Sjの重心位置Gjの間のユークリッド距離（図3参照）と
して求めればよい。このような観点から，dposition(Si, Sj)はdposition(Gi, Gj)と表してもよい。
W(dposition(Gi, Gj))は，局所領域Si, Sj間の重心間距離dpositionに応じた重みを表
す関数である。ここで，関数Wは，重心間距離dpositionが大きいほど小さな値となるように定義されれば，どのような形式であってもよい。例えば，次式のようにガウシアンの重み関数を採用できる。なお，w0は，全ての局所領域のペア間の重心距離の中央値を表す。
Pothers(Si)は，局所領域Siの意味的ラベルが正常物体以外の物体である確率である。
障害物を学習対象に含めずに学習している場合には，「意味的ラベルが正常物体以外の物体である」ことは，「意味的ラベルが『その他』である」ことと等しい。障害物を学習対象に含めて学習している場合には，「意味的ラベルが正常物体以外の物体である」ことは，「意味的ラベルが『障害物』または『その他』である」ことと等しい。なお，意味的ラベルの確率は画素ごとに求められるので，Proadと同様に，局所領域Si内の各画素の上記
確率の平均値としてPothersを求めればよい。
上記の式（1）において総和演算（サメーション）をj=1からj=Nまでの範囲で行ってい
るが，j=iのときはdappear(Si, Si)=0であることから，j=iは除外しても差し支えない。
また，重みWがゼロに十分近いようなjについては対象に含めなくてもよい。
尤度算出部14による，障害物らしさLiの算出結果の例を図5に示す。
検出部15は，図6のように，尤度算出部14で得られた障害物らしさLi(i=1,…,N)に基づ
いて，画像I(t)における路上障害物を検出する。具体的には，検知部15は，2値化処理に
よって，画像I(t)における各画素を路上障害物の候補領域（図6の白色領域）とそれ以外
の領域（図6の黒色領域）とに分離する。2値化処理の閾値は，あらかじめ定められた値であってもよい。あるいは，クラス内分散を最小化しクラス間分散を最大化するような閾値を適応的に決定する（非特許文献7参照）ことも好ましい。検出部15は，さらに，図7のように，得られた注目領域の候補領域に外接する矩形領域を設定することにより，最終的な画像I(t)における路上障害物を検出する。
このようにして得られた路上障害物検出の結果は，どのように利用されてもよい。例えば，路上障害物検出装置1を搭載する車両の運転支援システムに通知されて，ドライバに
警告したり，回避制御の実行あるいは支援を行ったりしてもよい。あるいは，後方車両に対して検出結果を車両間の直接の通信やクラウド経由での通信によって伝達してもよい。また，路上障害物検出装置1が路側機に搭載される場合には，路側機から周囲の車両に対
して検出結果を伝達してもよい。
本実施形態によれば，個々の路上障害物をあらかじめ学習することなく，画像内から路上障害物を高精度に検出できる。路上障害物をあらかじめ学習するというアプローチでは学習していない障害物は検出できないが，本手法では，路上障害物をあらかじめ学習する必要がなく，したがって任意の路上障害物を検出可能である。
＜第2の実施形態＞
本発明の第2の実施形態について，図8〜図10を参照して説明する。
図8は，本実施形態に係る路上障害物検出装置2の概略構成を示すブロック図である。なお，本実施形態においては，第１の実施形態との相違箇所のみ言及する。
第1の実施形態では，局所領域分割アルゴリズムを適用して得られた局所領域における
障害物らしさを算出し，得られた障害物らしさの大きさに基づいて路上障害物を検出している。これに対して，本実施形態では，局所領域への分割処理を複数の粒度で行い，それぞれの分割結果に対して第1の実施形態と同様の処理を施して障害物らしさを求め，複数
の粒度での結果を統合することで最終的な障害物らしさを決定する。
局所領域分割部22は，図9に示すように，画像I(t)に対する局所領域分割処理を異なる
粒度でK回実行する（図9の例ではK=3）。局所領域分割部22は，画像I(t)をNk(k=1, …, K)個の局所領域Sk,n(n=1, …, Nk)に分割し，尤度算出部23に出力する。ここで，Kは局所
領域の粒度の個数を表す。また，Nkはk番目の粒度の局所領域の個数を表す。たとえば，
図 9においては，K=3， N1=100， N2=150，N3=200で与えられる。粒度Nkが決定された後
の局所領域への分割処理アルゴリズムは第1の実施形態と同様である。
意味的ラベル推定部23は，第1の実施形態と同様である。
尤度算出部24は，K個の領域分割結果のそれぞれについて，局所領域毎の路上障害物ら
しさLk,n(n=1, …, Nk)を算出する。1つの領域分割結果を用いた尤度算出処理は第1の実
施形態と同様である。
統合部25は，障害物らしさLk,n(n=1, …, Nk)を足し合わせて障害物らしさの合計値Ln(n=1, …, Nk)を算出する。障害物らしさ統合処理は画素単位で行われる。
図10は，3つの分割結果に対する求めた路上障害物らしさ（上段）と，これらを統合し
た路上障害物らしさの合計値（下段）とを示す。
検出部26は，第1の実施形態と同様に，2値化処理および外接矩形決定処理を実行する。
本実施形態によれば，異なる粒度で領域分割した結果を統合しているので，より高精度に路上障害物を算出できる。第1の実施形態のように特定の粒度で領域分割する場合には
路上障害物の大きさによっては誤検出が生じうる。本実施形態では，複数粒度での領域結果に基づいて検出しているため，ある粒度での領域分割に基づくと誤検出が生じても，他の粒度での領域分割では誤検出が生じないことが期待できる。したがって，検出精度を向上できる。
＜その他の実施形態＞
本発明における路上障害物検出装置1，2は，半導体集積回路(LSI)による実装に限定さ
れず，汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行す
ることによって実現されても構わない．また，路上障害物検出装置1，2は必ずしも1台の
装置によって実装される必要はなく，複数の異なる装置に機能を分担させて全体として上記の機能が実現されてもよい。
本発明における路上障害物検出装置の利用態様は特に限定されない。例えば，路上障害物検出装置は，車両に搭載されて，車載カメラによって撮影される画像からリアルタイムに路上障害物を検出してもよい。あるいは，路上障害物検出装置は，路側装置やクラウド上のサーバ装置に実装されてもよい。また，路上障害物検出処理は，リアルタイムに行われなくてもよい。
上記の実施形態では，路上障害物が存在する確率（尤度）に閾値処理を施し，かつ，路上障害物に対する外接矩形を求めて出力しているが，その必要は必ずしもない。例えば，閾値処理を施す前の尤度を最終出力としてもよい。
上記の実施形態では単眼カメラによって撮影される画像を対象とする例を説明したが，ステレオカメラやTOF（Time-Of-Flight）カメラによって撮影される3次元画像を対象として路上障害物を検出してもよい。距離（深度）は，例えば，局所領域分割処理（スーパーピクセル化処理），局所領域間距離の算出，外観相違度の算出などに利用することができる。
1, 2 路上障害物検出装置
11, 21 画像入力部
12, 22 局所領域分割部
13, 23 意味的ラベル推定部
14, 24 尤度算出部
15, 26 検出部
25 統合部

Claims (19)

  1. 画像中の路上障害物を検出する路上障害物検出装置であって，
    画像を入力する画像入力手段と，
    前記画像を複数の局所領域に分割する局所領域分割手段と，
    対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出手段と，
    を備え，
    前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
    ことを特徴とする，路上障害物検出装置。
  2. 前記視覚的顕著度は，前記周辺局所領域の大きさが大きいほど大きく算出される，
    請求項1に記載の路上障害物検出装置。
  3. 前記視覚的顕著度は，前記対象局所領域と前記周辺局所領域の間の距離が小さいほど大きく算出される，
    請求項1または2に記載の路上障害物検出装置。
  4. 前記尤度算出手段は，前記複数の局所領域についての視覚的顕著度の和と，前記対象局所領域が前記正常物体ではない確率と，の積として，前記対象局所領域に路上障害物が存在する確率を算出する，
    請求項1から3のいずれか1項に記載の路上障害物検出装置。
  5. あらかじめ複数の正常物体を学習し，当該複数の正常物体を識別する識別手段をさらに備え，
    前記対象局所領域があらかじめ定められた正常物体以外である確率は，前記識別手段による識別結果に基づいて決定される，
    請求項1から4のいずれか1項に記載の路上障害物検出装置。
  6. 前記識別手段は，画素ごとに識別を行うものであり，
    前記対象局所領域があらかじめ定められた正常物体以外である確率は，当該局所領域内の画素について求められる正常物体ではない確率の平均値として算出される，
    請求項5に記載の路上障害物検出装置。
  7. 前記局所領域分割手段は，複数の粒度で前記画像を分割し，
    前記尤度算出手段は，それぞれの粒度での分割結果ごとに，対象局所領域に路上障害物が存在する確率を算出し，
    さらに，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合手段を備える，
    請求項1から6のいずれか1項に記載の路上障害物検出装置。
  8. 路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出手段をさらに備える，
    請求項1から7のいずれか1項に記載の路上障害物検出装置。
  9. 画像中の路上障害物を検出する路上障害物検出装置であって，
    画像を入力する画像入力手段と，
    前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割手段と，
    前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定手段と，
    対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出手段と，
    を備える，ことを特徴とする路上障害物検出装置。
    ここで，
    n(Sj)は，局所領域Sjの大きさを表し，
    dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
    Proad(Sj)は，局所領域Sjが道路である確率を表し，
    dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
    W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
    ，
    Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
  10. コンピュータが実行する路上障害物検出方法であって，
    画像を入力する画像入力ステップと，
    前記画像を複数の局所領域に分割する局所領域分割ステップと，
    対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出ステップと，
    を含み，
    前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
    ことを特徴とする，路上障害物検出方法。
  11. 前記視覚的顕著度は，前記周辺局所領域の大きさが大きいほど大きく算出される，
    請求項10に記載の路上障害物検出方法。
  12. 前記視覚的顕著度は，前記対象局所領域と前記周辺局所領域の間の距離が小さいほど大きく算出される，
    請求項10または11に記載の路上障害物検出方法。
  13. 前記尤度算出ステップでは，前記複数の局所領域についての視覚的顕著度の和と，前記対象局所領域が前記正常物体ではない確率と，の積として，前記対象局所領域に路上障害物が存在する確率が算出される，
    請求項10から12のいずれか1項に記載の路上障害物検出方法。
  14. あらかじめ複数の正常物体を学習し，当該複数の正常物体を識別する識別ステップをさらに含み，
    前記対象局所領域があらかじめ定められた正常物体以外である確率は，前記識別ステップにおける識別結果に基づいて決定される，
    請求項10から13のいずれか１項に記載の路上障害物検出方法。
  15. 前記識別ステップは，画素ごとに識別を行うものであり，
    前記対象局所領域があらかじめ定められた正常物体以外である確率は，当該局所領域内の画素について求められる正常物体ではない確率の平均値として算出される，
    請求項14に記載の路上障害物検出方法。
  16. 前記局所領域分割ステップでは，複数の粒度で前記画像を分割し，
    前記尤度算出ステップでは，それぞれの粒度での分割結果ごとに，対象局所領域に路上障害物が存在する確率を算出し，
    さらに，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合ステップを含む，
    請求項10から15のいずれか1項に記載の路上障害物検出方法。
  17. 路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出ステップをさらに含む，
    請求項10から16のいずれか1項に記載の路上障害物検出方法。
  18. コンピュータが実行する路上障害物検出方法であって，
    画像を入力する画像入力ステップと，
    前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割ステップと，
    前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定ステップと，
    対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出ステップと，
    を含む，ことを特徴とする路上障害物検出方法。
    ここで，
    n(Sj)は，局所領域Sjの大きさを表し，
    dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
    Proad(Sj)は，局所領域Sjが道路である確率を表し，
    dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
    W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
    ，
    Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
  19. 請求項10から18のいずれか１項に記載の路上検出方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017095900A 2017-05-12 2017-05-12 路上障害物検出装置，方法，およびプログラム Active JP6565967B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017095900A JP6565967B2 (ja) 2017-05-12 2017-05-12 路上障害物検出装置，方法，およびプログラム
US15/964,748 US10810876B2 (en) 2017-05-12 2018-04-27 Road obstacle detection device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017095900A JP6565967B2 (ja) 2017-05-12 2017-05-12 路上障害物検出装置，方法，およびプログラム

Publications (2)

Publication Number Publication Date
JP2018194912A true JP2018194912A (ja) 2018-12-06
JP6565967B2 JP6565967B2 (ja) 2019-08-28

Family

ID=64097292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017095900A Active JP6565967B2 (ja) 2017-05-12 2017-05-12 路上障害物検出装置，方法，およびプログラム

Country Status (2)

Country Link
US (1) US10810876B2 (ja)
JP (1) JP6565967B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261823A1 (ja) * 2019-06-27 2020-12-30 株式会社クボタ 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法
JP2021051542A (ja) * 2019-09-25 2021-04-01 トヨタ自動車株式会社 学習用データ収集装置
JP2021068056A (ja) * 2019-10-18 2021-04-30 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP2021189625A (ja) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP2022037779A (ja) * 2020-08-25 2022-03-09 トヨタ自動車株式会社 路上障害物検出装置、路上障害物検出方法およびプログラム
US11443526B2 (en) 2019-10-10 2022-09-13 Toyota Jidosha Kabshiki Kaisha Road obstacle detection device, road obstacle detection method, and recording medium storing a road obstacle detection program
WO2022208664A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法、プログラム
KR20230001801A (ko) * 2021-06-29 2023-01-05 주식회사 모토모 블랙박스를 이용한 장애물 인식 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067474B1 (fr) * 2017-06-09 2021-11-19 Inria Inst Nat Rech Informatique & Automatique Dispositif informatique pour l'aide a la conduite
US11373067B2 (en) * 2018-08-10 2022-06-28 Nec Corporation Parametric top-view representation of scenes
US10956796B2 (en) * 2018-10-11 2021-03-23 International Business Machines Corporation Self-guided object detection in regular images
US10902238B2 (en) * 2018-11-28 2021-01-26 Toyota Research Institute, Inc. Systems and methods for predicting semantics of a particle using semantic segmentation
CN111369566B (zh) * 2018-12-25 2023-12-05 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
US11699235B2 (en) * 2019-11-20 2023-07-11 Baidu Usa Llc Way to generate tight 2D bounding boxes for autonomous driving labeling
US11508092B2 (en) * 2019-12-16 2022-11-22 X Development Llc Edge-based crop yield prediction
CN113435230B (zh) * 2020-03-23 2024-03-15 中国电信股份有限公司 异常区域的检测方法、装置、系统和计算机可读存储介质
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN113657161A (zh) * 2021-07-15 2021-11-16 北京中科慧眼科技有限公司 一种非标小障碍物检测方法、装置与自动驾驶系统
CN116758081B (zh) * 2023-08-18 2023-11-17 安徽乾劲企业管理有限公司 一种无人机道路桥梁巡检图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013142991A (ja) * 2012-01-10 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 物体領域検出装置、方法、及びプログラム
JP2016081472A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
JP2006140636A (ja) 2004-11-10 2006-06-01 Toyota Motor Corp 障害物検出装置および方法
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8897578B2 (en) * 2011-11-02 2014-11-25 Panasonic Intellectual Property Corporation Of America Image recognition device, image recognition method, and integrated circuit
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10503999B2 (en) * 2015-03-24 2019-12-10 Hrl Laboratories, Llc System for detecting salient objects in images
CN106296638A (zh) * 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013142991A (ja) * 2012-01-10 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 物体領域検出装置、方法、及びプログラム
JP2016081472A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANURAG SINGH ET AL.: "Visually Salient Features for Highway Scene Analysis", 14TH IAPR INTERNATIONAL CONFERENCE ON MACHINE VISION APPLICATIONS(MVA), JPN6019024418, May 2015 (2015-05-01), pages 357 - 360, XP033173144, ISSN: 0004065946, DOI: 10.1109/MVA.2015.7153204 *
FENG TANG ET AL.: "Landmark Detection with Superise Saliency Using Convolutional Neural Networks", 2016 IEEE INTERNATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS(MFI, JPN6019024420, September 2016 (2016-09-01), pages 204 - 211, XP033065764, ISSN: 0004065947, DOI: 10.1109/MFI.2016.7849490 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021006011A (ja) * 2019-06-27 2021-01-21 株式会社クボタ 農作業車のための障害物検出システム
WO2020261823A1 (ja) * 2019-06-27 2020-12-30 株式会社クボタ 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法
JP2021051542A (ja) * 2019-09-25 2021-04-01 トヨタ自動車株式会社 学習用データ収集装置
JP7383954B2 (ja) 2019-09-25 2023-11-21 トヨタ自動車株式会社 学習用データ収集装置
US11443526B2 (en) 2019-10-10 2022-09-13 Toyota Jidosha Kabshiki Kaisha Road obstacle detection device, road obstacle detection method, and recording medium storing a road obstacle detection program
JP2021068056A (ja) * 2019-10-18 2021-04-30 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11704828B2 (en) 2019-10-18 2023-07-18 Toyota Jidosha Kabushiki Kaisha Road obstacle detection device, road obstacle detection method, and computer-readable storage medium
JP7327077B2 (ja) 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7310718B2 (ja) 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP2021189625A (ja) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP2022037779A (ja) * 2020-08-25 2022-03-09 トヨタ自動車株式会社 路上障害物検出装置、路上障害物検出方法およびプログラム
WO2022208664A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法、プログラム
KR20230001801A (ko) * 2021-06-29 2023-01-05 주식회사 모토모 블랙박스를 이용한 장애물 인식 시스템
KR102621693B1 (ko) * 2021-06-29 2024-01-05 주식회사 모토모 블랙박스를 이용한 장애물 인식 시스템

Also Published As

Publication number Publication date
US20180330615A1 (en) 2018-11-15
US10810876B2 (en) 2020-10-20
JP6565967B2 (ja) 2019-08-28

Similar Documents

Publication Publication Date Title
JP6565967B2 (ja) 路上障害物検出装置，方法，およびプログラム
CN109426801B (zh) 一种车道线实例检测方法和装置
US10366310B2 (en) Enhanced camera object detection for automated vehicles
Xiao et al. CRF based road detection with multi-sensor fusion
US11403851B2 (en) Systems and methods for utilizing machine learning and other models to reconstruct a vehicle accident scene from video
Ošep et al. Multi-scale object candidates for generic object tracking in street scenes
CN105426863B (zh) 检测车道线的方法和装置
JP7413543B2 (ja) データ伝送方法および装置
US10824881B2 (en) Device and method for object recognition of an input image for a vehicle
CN104915642B (zh) 前方车辆测距方法及装置
CN107609483A (zh) 面向驾驶辅助系统的危险目标检测方法、装置
Liu et al. Vehicle detection and ranging using two different focal length cameras
Fernandez et al. A comparative analysis of decision trees based classifiers for road detection in urban environments
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
Bao et al. Unpaved road detection based on spatial fuzzy clustering algorithm
Chen Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence
Liu et al. Real-time traffic light recognition based on smartphone platforms
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
Ponn et al. Performance Analysis of Camera-based Object Detection for Automated Vehicles.
Nazir et al. Vehicle detection on embedded single board computers
Arbawa et al. Three combination value of extraction features on GLCM for detecting pothole and asphalt road
Wang et al. Vagan: Vehicle-aware generative adversarial networks for vehicle detection in rain
US20220318456A1 (en) Simulation method based on three-dimensional contour, storage medium, computer equipment
Yibing et al. Research of obstacle recognition technology in cross-country environment for unmanned ground vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151