JP2018073308A - 認識装置、プログラム - Google Patents

認識装置、プログラム Download PDF

Info

Publication number
JP2018073308A
JP2018073308A JP2016215759A JP2016215759A JP2018073308A JP 2018073308 A JP2018073308 A JP 2018073308A JP 2016215759 A JP2016215759 A JP 2016215759A JP 2016215759 A JP2016215759 A JP 2016215759A JP 2018073308 A JP2018073308 A JP 2018073308A
Authority
JP
Japan
Prior art keywords
correction
recognition
value
pixel
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016215759A
Other languages
English (en)
Other versions
JP6701057B2 (ja
Inventor
和寿 石丸
Kazuhisa Ishimaru
和寿 石丸
ホセイン テヘラニニキネジャド
Tehrani Niknejad Hossein
ホセイン テヘラニニキネジャド
白井 孝昌
Takamasa Shirai
孝昌 白井
ジョン ヴィジャイ
Vijay Cornelius Kirubakaran John
ジョン ヴィジャイ
誠一 三田
Seiichi Mita
誠一 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Toyota Gauken
Original Assignee
Denso Corp
Soken Inc
Toyota Gauken
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc, Toyota Gauken filed Critical Denso Corp
Priority to JP2016215759A priority Critical patent/JP6701057B2/ja
Publication of JP2018073308A publication Critical patent/JP2018073308A/ja
Application granted granted Critical
Publication of JP6701057B2 publication Critical patent/JP6701057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】ディープニューラルネットワークを用いた物体認識における精度の向上。【解決手段】S200の初期推定において出力されるシーン識別用中間データと、絞り込み用中間データとを用い、S500で初期推定値を訂正する。S500の訂正処理は、訂正候補としてのラベルを、S600のパッチレベルの絞り込みと、S700の画素レベルでの絞り込みとを利用して実行される。訂正処理の対象となる領域は、エラー領域として特定され、S500の訂正処理に利用される。【選択図】図2

Description

本開示は、物体の認識に関する。
特許文献1は、道路地形情報を検出するための手法として、次の内容を開示している。ベースポイントと称する選択された位置についての、高水準の空間特徴生成を行う。このベースポイントについての空間特徴生成は、環境の視覚的及び物理的特徴物を捉えた価値連続な信頼度表現に基づいて行われる。
特開2013−073620号公報
特許文献1の技術は、精度が不十分であるのが実情である。特に物体間の境界において誤認識が発生しやすい。このような課題は、道路地形の検出に限られない。本開示は、上記を踏まえ、道路地形その他の物体の認識を高精度に実施することを解決課題とする。
本開示の一形態は、認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク(13)に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得する初期認識部(S200)と、前記初期認識値を対象に、前記複数の中間層の少なくとも1層から出力される中間データに基づく訂正を実行する訂正部(S500)と、を備える認識装置である。
この形態によれば、初期認識部によって付与されたラベルを、初期認識における中間データを利用して訂正するので、高精度にラベル付けができ、ひいては物体の認識精度が向上する。
認識装置を搭載した自動車の機能ブロック図。 認識装置を示すフローチャート。 ディープニューラルネットワークによるラベル付けの様子を示す図。 初期認識値と画像とを重ねた図。 シーン識別器の学習の様子を示す図。 シーンの一例を示す図。 エラー領域とパッチとの関係を示す図。 パッチを用いたラベルの絞り込みを示すフローチャート。 位置関係特徴量および外見−距離特徴量の学習の様子を示す図。 パッチとレセプタとの空間関係を示す図。 画素を用いたら部の絞り込みを示すフローチャート。 外見−距離特徴量の生成の様子を示す図。 初期認識値による認識結果の一例を示す図。 最終認識値による認識結果の一例を示す図。
図1に示すように、認識装置10は、自動車1に搭載される。認識装置10は、カメラ21と、カメラ22とからそれぞれ、撮像データとして、各画素のRGB値を取得する。認識装置10は、この撮像データによって表される画像を、図2に示す認識処理によって認識し、認識結果を制御部25に入力する。制御部25は、入力された認識結果に基づき、自動車1の動作を制御する。
カメラ21,22は、自動車1の前方が撮像範囲内となるように搭載されている。カメラ21,22は、ステレオカメラを構成している。
認識装置10は、CPU11と、ROM、RAM等のメモリ12とを備えた周知のコンピュータとして構成されている。認識装置10は、CPU11とメモリ12とを用いて、メモリに格納されたプログラムを実行することによって認識処理を実行する。
認識装置10は、自動車が走行可能である間、繰り返し、認識処理を実行する。認識処理は、画素毎にラベル付けを実行するセマンティック・セグメンテーションを実現するための処理である。
認識装置10は、認識処理を開始すると、S100として、入力データを生成する。入力データとは、各画素の色相と彩度と距離とをパラメータとするデータである。認識装置10は、カメラ21及びカメラ22から入力される撮像データから、入力データを生成する。入力データの生成には、既知の手法が用いられる。
次に、認識装置10は、S200として、初期認識を実行することによって、初期認識値を得る。初期認識は、図3に示されるディープニューラルネットワーク(以下、DN)13に、入力データを入力することによって、取得される。DN13は、メモリ12に予め記憶されている。
DN13は、複数の中間層を含む。具体的には、DN13は、畳み込みニューラルネットワークと、逆畳み込みニューラルネットワークとを含む。DN13に入力された入力データは、畳み込み層によって、画素数224×224の中間データC1に変換される。
中間データC1は、プーリング層によって、画素数112×112の中間データP2に変換される。本実施形態では、MAXプーリングを用いる。このように、畳み込み層とプーリング層とによる出力が交互に繰り返され、画素数1×1の全結合層FCに至る。なお、或るプーリング層と、次のプーリング層とに挟まれる畳み込み層の数は、2以上でもよい。
全結合層FCは、逆畳み込み層によって画素数7×7の中間データDC−FCに変換される。中間データDC−FCは、アンプーリング層によって画素数14×14の中間データUP1に変換される。このように、逆畳み込み層とアンプーリング層とによる出力が交互に繰り返され、画素数224×224の中間データDC5が出力されると、初期認識値を得る。図4には、初期認識値と、撮像画像とを重ね合わせた様子が示されている。
初期認識値は、224×224の画素それぞれに対して、ラベルが付与されたデータである。本実施形態におけるラベルは、ラベルK1が道路、ラベルK2が障害物、ラベルK3が空、ラベルK4が天井を意味するである。天井は、トンネル等における天井のことである。
DN13は、多数の学習用入力データとラベルの真値との組み合わせによる教師あり学習によって学習済みであり、各中間層が微調整されている。DN13に入力データを入力すると、各画素について、各ラベルの信頼値が出力される。初期認識は、各画素について、信頼値が最も高いラベルを採用することで実現される。
認識装置10は、初期認識の後、S300におけるシーンの識別と、S400におけるエラー領域の特定とを実行する。
シーンの識別は、シーン識別器310にシーン識別用中間データを入力することによって実現される。本実施形態におけるシーン識別用中間データは、中間データP5である。
シーン識別器310は、ランダムフォレストを用いている。シーン識別器310は、図5に示す教師あり学習によって学習済みである。
例えば、図6に示す画像から生成される中間データP5aを入力とする。そして、図6に示すシーンの真値を「2車線であり、2本の白い実線によって外側の境界が画定されており、1本の破線によって車線が区分されている」を示すシーンの真値をシーンaと学習させる。そして、シーンa及び他の種々のシーン(例えば、高速道路、トンネルなど)それぞれについて、多数のデータを用意し、教師あり学習をさせておく。
次に、エラー領域について説明する。エラー領域とは、初期認識値の信頼性が低い領域のことである。エラー領域の特定には、初期認識として出力された信頼値を用いる。具体的には、信頼値が突出して高いラベルが無い場合は、エラー領域に含まれる画素であると特定する。
本実施形態においては、各画素についての信頼値を規格化して合計値を100%とした場合に、何れの信頼値も閾値(例えば80%)未満である領域は、エラー領域であると特定される。
例えば、或る画素に付された道路の信頼値が99%であれば、その画素はエラー領域には含まれないと判断される。一方、道路の信頼値が40%、障害物の信頼値が40%、空の信頼値が10%、天井の信頼値が10%であれば、エラー領域に含まれると判断される。図7に示す例の場合、エラー領域E1,E2,E3,E4が特定されている。エラー領域E1,E2,E3,E4それぞれは、閉領域を形成するように特定されている。
最後に、初期認識値と、エラー領域の情報と、識別されたシーン(以下、識別シーン)と、絞り込み用中間データとを用いて訂正処理を実行することによって最終認識値を得る。本実施形態における絞り込み用中間データは、図3に示すように、中間データC1である。
訂正処理では、S600としてのパッチレベルの絞り込みと、S700としての画素レベルでの絞り込みとを、実施する。
本実施形態におけるパッチとは、図7に示すように、4×4に予め区分された各々の領域を意味する。このため、各パッチは、56×56の画素を有する。各パッチは、予め、通し番号が定められている。例えば、最も左上のパッチは、パッチp1であり、パッチp1の右隣がパッチp2、パッチp1の直下はパッチp5である。
図2及び図8に示すように、パッチレベルの絞り込みには、初期認識値と、エラー領域の情報と、識別シーンとを用いる。
具体的には、認識装置10は、まずS610として、エラー領域を含むパッチを特定する。図7に示す例の場合、エラー領域E1がパッチp10に含まれている。さらに、エラー領域E2がパッチp6に、エラー領域E3がパッチp11に、エラー領域E4がパッチp12に含まれている。このため、パッチp6,p10,p11,p12が特定される。
次に、認識装置10は、S620として、特定したパッチそれぞれについて、識別シーンに基づき、学習済みの位置関係特徴量を読み出す。
ここで位置関係特徴量、及びその学習について説明する。本実施形態における位置関係特徴量は、シーンに依存する特徴量であり、且つ、ラベル同士の相対的な位置関係に関する特徴量である。位置関係特徴量は、図9に示されるように、シーン毎に、教師あり学習によって学習される。
学習に際しては、教師あり学習における真値としてのセットを多数、与える。各セットは、シーンの真値と、そのシーンに属する入力データの各画素(224×224)に付した真値としてのラベルから構成される。
或る1つのセットに含まれるシーンの真値をシーンsとし、そのセットに含まれる真値としてのラベルの空間配置をラベル配置Gとして、以下、このセットの学習を例にとって説明する。位置関係特徴量の学習は、シーンsに、ラベル配置Gの位置関係特徴量を対応付けることによって実現される。
ラベル配置Gの位置関係特徴量の計算は、まず図10に示すように、先述したパッチに分割されたラベル配置Pと、4個のレセプタに分割されたラベル配置Qとを生成する。このため、各レセプタは、112×112の画素を有する。ラベル配置Qに含まれるレセプタには、q1〜q4の通し番号が付けられている。ラベル配置Qに含まれるレセプタの数は、ラベル配置Pに含まれるパッチの数よりも少ない。
位置関係特徴量gは、パッチのp1〜p16それぞれについて計算される。具体的には、下記の式によって算出される。
gpn s=[ωpn K1pn K2pn K3pn K4]・・・(1)
上の式のsは、シーンsの位置関係特徴量gであることを示す。pnは、p1〜p16の何れか1つであることを示す。K1〜K4は、ラベルを示す。以下では、K1〜K4の何れか1つであることをKmとも表記する。
ωpn Kmは、(パッチpnにおけるラベルKm)−(レセプタq1〜q4における全てのラベル)の幾何的な関係を示す。図10に示された矢印は、ωp16 K1を構成するベクトルを示している。
上記のベクトルを表記すると、次の式のようになる。
ωpn Km=[v(pn,q1)Km K1,…,v(pn,q4)Km K1,…,v(pn,q1)Km K4,…,v(pn,q4)Km K4]・・・(2)
v(pn,q1)Km K1は、(パッチpnでラベルKm)−(レセプタq1でラベルK1)の2次元平均空間ベクトルである。v(pn,q4)Km K1は、(パッチpnでラベルKm)−(レセプタq4でラベルK1)の2次元平均空間ベクトルである。v(pn,q1)Km K4は、(パッチpnでラベルKm)−(レセプタq1でラベルK4)の2次元平均空間ベクトルである。v(pn,q4)Km K4は、(パッチpnでラベルKm)−(レセプタq4でラベルK4)の2次元平均空間ベクトルである。
例えば平均空間ベクトルv(pn,q4)Km K1は、(ラベルKm−パッチpnの重心)と、(ラベルK1を含むレセプタq4を構成する全画素)との間の空間ベクトルによって算出される。
平均空間ベクトルは、計算された全ての空間ベクトルの平均値で、2次元の大きさと角度とで表される。ここでいう角度は、水平軸となす角度である。
v(pn,qi)Km K1は、ラベルK1がレセプタqiに含まれない場合、ゼロベクトル[0,0]になる。iは、1〜4の何れかである。例えば、図10に示すように、レセプタq1にはラベルK1は含まれていないので、v(pn,q1)Km K1は、ゼロベクトルになる。よって、図10には、v(p16,q1)K1 K1を示すベクトルは示されていない。
同様に、v(pn,qi)Km K1は、ラベルKmがパッチpnに含まれない場合、ゼロベクトル[0,0]になる。従って、式(2)から、ωpn Kmは、ラベルKmがパッチpnに含まれていない場合、ゼロ値のみを含む。つまり、パッチpnにラベルKmが含まれていない場合、式(2)は、次のようになる。
ωpn Km=[0,…,0,…,0,…,0]・・・(3)
認識装置10は、上記の手法によって、多数の真値のセットについて学習を済ませている。認識装置10は、先述したようにS620において、エラー領域として特定したパッチそれぞれについて、識別シーンに基づき位置関係特徴量gを読み出す。
一方で、認識装置10は、S630として、エラー領域として特定したパッチそれぞれについて、学習時と同様な計算を実行することによって、位置関係特徴量ρpn s(Km)を算出する。S630においては、Kmとして、ラベルK1〜K4それぞれについての位置関係特徴量ρpn sを算出する。ラベルK1について算出する場合は、ラベルK1を訂正候補として算出する。つまり、ラベルK1について算出する場合は、算出対象のパッチにおける支配的なラベルがラベルK1であることを仮定する。ラベルK2〜K4それぞれについての算出も同様である。
或るパッチにおける支配的なラベルとは、そのパッチ内において、他のラベルに比べて、突出して多くの画素に対応付けられたラベルのことである。
続いて、S630として、パッチに基づく枝刈りを実行し、絞り込まれたラベルを出力する。パッチに基づく枝刈りとは、具体的には、次の内容を意味する。
各パッチについて、S620で読み出した位置関係特徴量gと、S630で算出した位置関係特徴量ρとのユークリッド距離の差を、ラベルK1〜K4のそれぞれについて計算する。この差が閾値以上であるラベルを除外し、訂正候補を残ったラベルに絞り込む。支配的な1つのラベルだけが残る場合もあるし、複数のラベルが残る場合もある。
パッチに基づく枝刈りとは、このようにして、各パッチにおける訂正候補とならないラベルを除外する処理のことである。
図2及び図11に示すように、画素レベルの絞り込みは、絞り込み用中間データと、エラー領域の情報と、識別シーンと、絞り込まれたラベルの情報とを用いて、最終認識値を出力する。
認識装置10は、まずS710として、各エラー領域の重心となる画素(以下、重心画素)を、各エラー領域の代表として特定する。厳密に重心に一致する画素が無い場合は、重心からの距離が最も短い画素を、重心画素として特定する。
続いて、認識装置10は、S720として、各エラー領域の重心画素について、学習済みの外見−距離特徴量を読み出す。外見−距離特徴量は、シーンに依存した特徴量である。且つ、外見−距離特徴量は、色相、彩度、距離に関する特徴量であるので、入力データに含まれるパラメータに対応する特徴量である。
図9に示すように、外見−距離特徴量は、シーン毎に、教師あり学習によって学習される。学習に際しては、教師あり学習における真値としてのセットを多数、与える。各セットは、位置関係特徴量の学習に用いた真値に加え、そのシーンに属する入力データに畳み込み処理を施したデータから構成される。ここでの畳み込み処理は、DN13における中間データC1を得るための畳み込み処理のことである。つまり、このデータは、DN13によって出力される中間データC1である。
DN13の説明においては省略したが、中間データC1は、D個の224×224の画素からなるデータによって構成される。Dは、2以上の整数である。このため、例えば図12に示す画素nに対して、畳み込み処理によって得られるD次元の特徴ベクトルを対応付けることができる。図12には、画素nに対応する特徴ベクトルλ(h,w)が示されている。
図12に示すように、本実施形態においては、中間データC1を得るための畳み込み層において、3×3のフィルタを用いている。従って、特徴ベクトルλは、画素nの周囲8画素のパラメータを反映している特徴量である。
このような特徴ベクトルの平均を取ることによって、画素nに対応する外見−距離特徴量を決定し、学習データとする。外見−距離特徴量は、外見と距離との情報から生成された特徴量である。ここでいう外見とは、彩度と色相とのことである。外見−距離特徴量として、色相、彩度および距離に関する特徴量が得られるのは、入力データがこれらのパラメータで構成されているからである。
特徴ベクトルの平均とは、同じシーンに属する入力データにおける同じ位置の画素、且つ、同じ真値としてのラベルが付された画素について取得された特徴ベクトルの平均のことである。このため、外見−距離特徴量は、シーン毎且つ画素毎について、各ラベルの学習データが得られる。S720では、識別シーン及び重心画素に対応する各ラベルの外見−距離特徴量を読み出す。
一方で、S730として、絞り込み用中間データとしての中間データC1から、各エラー領域の重心画素について、外見−距離特徴量を取得する。S730においては、上記の学習と同様な手法によって取得される特徴ベクトルを、外見−距離特徴量として取得する。
最後に、S740として、最終認識値を出力する。S740は、図11に示すように、S720及びS730による出力、並びに、S630によって絞り込まれたラベルに基づき実行される。S740は、ユークリッド距離に基づくラベルの訂正が実行される。具体的には、次のように実行される。
各重心画素について、S720で読み出した特徴ベクトルと、S730で取得した特徴ベクトルとのユークリッド距離の差を、ラベル毎に算出する。この差が閾値以下のラベルが、重心画素を含むエラー領域全体の訂正候補となる。この訂正候補になったラベルの何れかが、S600で絞り込まれたラベルの何れかと一致する場合、初期認識値としてのラベルを、そのラベルに訂正する。
複数のラベルが一致する場合、情報特徴量および位置関係特徴量のユークリッド距離の和が最も短いラベルに訂正する。この場合、情報特徴量および位置関係特徴量に適宜、重み付けをしてもよい。このように訂正されたラベルを含む出力が、最終認識値である。
図13に示す初期認識値に比べ、図14に示す最終認識値の場合は、特に、破線で囲った領域において認識精度が向上している。つまり、最終認識値の場合、破線で囲った領域において、道路と障害物との境界をより正確に認識できている。
(1)上記のように認識精度が向上するのは、中間データを利用しているからである。
(2)中間データの1つであるシーン識別用中間データは、シーンの識別に用いられる。このため、識別シーンを利用した訂正を実行できる。
(3)シーン識別用中間データとしての中間データP5は、複数回のプーリング処理によって、7×7までに情報が圧縮されたデータであるので、シーンの識別用として適している。
(4)シーンの識別は、教師あり学習によって学習済みのデータとの比較に基づき実行するため、精度が高い。
(5)絞り込み用中間データである中間データC1を用いることによって、画素レベルで周囲の影響が反映された特徴量を取得できる。そして、この特徴量である特徴ベクトルを、学習結果と比較することによって、認識精度が向上する。
(6)中間データC1は、入力データに対して1回の畳み込み処理によって得られるデータであるので、入力データとの関係を示す特徴量として適している。
(7)中間データC1は、プーリング処理が施されておらず、圧縮されていないので、入力データとの関係を示す特徴量として適している。
(8)訂正処理において、位置関係特徴量を用いるので、訂正の精度が向上する。
(9)位置関係特徴量の算出は、パッチとレセプタとを用いることによって適切に実行できる。
(10)訂正処理は、情報特徴量と位置関係特徴量とを総合して、訂正を実行するので、訂正の精度が向上する。
(11)訂正処理は、エラー領域を対象に実行するので、初期推定において信頼値が高いラベルを訂正の対象から除外できる。このため、処理負荷が軽減されると共に、訂正の必要が無いラベルを訂正することが抑制される。
(12)位置関係特徴量の算出対象から、エラー領域を含まないパッチが除外されるので、処理負荷が軽減される。
(13)各エラー領域の訂正は、エラー領域を代表する画素の訂正結果を援用して実行されるので、処理負荷が軽減される。
(14)エラー領域を代表する画素は、重心画素であるので、エラー領域の端に位置するような画素が代表となる場合と比べ、訂正の精度が向上する。
外見−距離特徴量は、情報特徴量に対応する。この他、S200は初期認識部、S300はシーン識別部、S400は特定部、S500は訂正部、S630は算出部、S710は重心画素取得部、S730は情報特徴量取得部、S740は訂正実行部に対応する。
本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。
中間データの利用は、シーンに依存しなくてもよい。例えば、場所に対して固定されたカメラから撮像データを得て認識を実行する場合、シーンは固定されている。このような場合、その固定されたシーンにおいて、変化し得る物体を認識するために、中間データを利用してもよい。
自動車の走行制御以外に利用されてもよい。例えば、先述したように、固定カメラに適用してもよいし、他の輸送用機器(例えば二輪車)でもよいし、ロボットでもよい。
S600におけるパッチレベルの絞り込み、及びS700における画素レベルの絞り込みは、何れか1つのみを実行してもよい。この場合でも、中間データの利用による認識精度の向上は、実現される。
エラー領域の特定は、実行しなくてもよい。この場合、パッチレベルの絞り込みは全パッチを対象にしてもよいし、画素レベルの絞り込みは全画素を対象にしてもよい。
入力データは、色相、彩度、距離によって構成されていなくてもよい。例えば、RGB値と距離とによって構成されていてもよいし、輝度値と距離とによって構成されていてもよい。輝度値と距離とによって構成される場合、撮像画像はモノクロでもよい。
入力データに含まれる距離の情報は、ステレオカメラ以外から取得してもよい。例えば、デプスセンサーを用いてもよいし、レーダ波などを用いてもよい。
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
13 ディープニューラルネットワーク、20 認識装置

Claims (15)

  1. 認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク(13)に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得する初期認識部(S200)と、
    前記初期認識値を対象に、前記複数の中間層の少なくとも1層から出力される中間データに基づく訂正を実行する訂正部(S500)と、
    を備える認識装置。
  2. 前記認識対象の画像が属するシーンを、前記中間データの少なくとも一部であるシーン識別用中間データに基づき識別するシーン識別部(S300)を更に備え、
    前記訂正部は、前記訂正を、前記識別されたシーンに基づき実行する訂正実行部(S740)を備える
    請求項1に記載の認識装置。
  3. 前記シーン識別用中間データは、少なくとも1回のプーリング処理が施されたデータである
    請求項2に記載の認識装置。
  4. 前記シーン識別部は、前記シーンの識別を、前記シーン識別用中間データと、教師あり学習によって学習済みのデータとの比較に基づき実行する
    請求項2から請求項3までの何れか一項に記載の認識装置。
  5. 前記訂正部は、前記中間データの少なくとも一部である絞り込み用中間データから、前記入力データに含まれるパラメータに対応する特徴量である情報特徴量を取得する情報特徴量取得部(S730)を更に備え、
    前記訂正実行部は、前記訂正を、前記取得された情報特徴量と、前記識別されたシーンを真値とした教師あり学習によって学習済みの情報特徴量との比較に基づき実行する
    請求項2から請求項4までの何れか一項に記載の認識装置。
  6. 前記絞り込み用中間データは、前記入力データに少なくとも1回の畳み込み処理が施されたデータである
    請求項5に記載の認識装置。
  7. 前記絞り込み用中間データは、前記入力データに対して、プーリング処理が施されていないデータである
    請求項5又は請求項6に記載の認識装置。
  8. 前記訂正部は、前記初期認識値における前記ラベル同士の相対的な位置関係に関する位置関係特徴量を算出する算出部(S630)を更に備え、
    前記訂正実行部は、前記訂正を、前記取得された位置関係特徴量と、前記識別されたシーンを真値とした教師あり学習によって学習済みの位置関係特徴量との比較に基づき実行する
    請求項2から請求項7までの何れか一項に記載の認識装置。
  9. 前記算出部は、前記位置関係特徴量の算出を、前記初期認識値に含まれるラベル付き画素を第1の大きさで集合させて構成される複数のパッチと、前記初期認識値に含まれるラベル付き画素を前記第1の大きさよりも大きい第2の大きさで集合させて構成される複数のレセプタとを用意し、前記複数のパッチそれぞれに含まれるラベルと、前記複数のレセプタそれぞれに含まれるラベルとの関係を導出することによって実現する
    請求項8に記載の認識装置。
  10. 前記訂正実行部は、前記訂正を、前記情報特徴量および前記位置関係特徴量を用いて訂正候補となるラベルを絞り込むことによって実行する
    請求項5、請求項6又は請求項7に従属する請求項8又は請求項9に記載の認識装置。
  11. 前記初期認識値としてのラベルの信頼性が閾値未満である画素による閉領域であるエラー領域を特定する特定部(S400)を更に備え、
    前記訂正部は、前記訂正を、前記初期認識値として前記特定されたエラー領域に含まれる画素に付されたラベルの少なくとも一部を対象に実行する
    請求項1から請求項10までの何れか一項に記載の認識装置。
  12. 前記算出部は、前記特定されたエラー領域を含む前記パッチを対象に、前記位置関係特徴量を算出する
    請求項9に従属する請求項11に記載の認識装置。
  13. 前記訂正実行部は、前記エラー領域それぞれの代表となる画素についての前記訂正を、前記エラー領域それぞれについての前記訂正に適用する
    請求項5から請求項7までの何れか一項に従属する請求項11に記載の認識装置。
  14. 前記訂正実行部は、前記エラー領域それぞれの重心となる画素を、前記代表となる画素として取得する重心画素取得部(S710)を更に備える
    請求項13に記載の認識装置。
  15. 認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク(13)に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得し、
    前記初期認識値を対象に、前記複数の中間層の少なくとも1層から出力される中間データに基づき訂正する
    ことを認識装置に実行させるためのプログラム。
JP2016215759A 2016-11-04 2016-11-04 認識装置、プログラム Active JP6701057B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016215759A JP6701057B2 (ja) 2016-11-04 2016-11-04 認識装置、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016215759A JP6701057B2 (ja) 2016-11-04 2016-11-04 認識装置、プログラム

Publications (2)

Publication Number Publication Date
JP2018073308A true JP2018073308A (ja) 2018-05-10
JP6701057B2 JP6701057B2 (ja) 2020-05-27

Family

ID=62115505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016215759A Active JP6701057B2 (ja) 2016-11-04 2016-11-04 認識装置、プログラム

Country Status (1)

Country Link
JP (1) JP6701057B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020006788A (ja) * 2018-07-06 2020-01-16 株式会社明電舎 建築限界判定装置
JP2020042816A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 物体検出方法、装置、機器、記憶媒体及び車両
JPWO2021161410A1 (ja) * 2020-02-12 2021-08-19
JP2022008345A (ja) * 2018-07-06 2022-01-13 株式会社明電舎 建築限界判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
水野 雄太、外7名: ""Deep learningを用いた脂肪組織画像における細胞の認識"", 情報処理学会 研究報告, vol. Vol.2016-MPS-107, No.10, JPN6019049695, 1 March 2016 (2016-03-01), JP, pages 1 - 6, ISSN: 0004176981 *
相澤 宏旭、加藤 邦人: ""航空機画像セグメンテーションへのEncoder−Decoder CNNの適用とその改良"", 映像情報メディア学会技術報告, vol. 40, no. 28, JPN6019049696, 24 August 2016 (2016-08-24), JP, pages 9 - 10, ISSN: 0004249504 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020006788A (ja) * 2018-07-06 2020-01-16 株式会社明電舎 建築限界判定装置
JP2022008345A (ja) * 2018-07-06 2022-01-13 株式会社明電舎 建築限界判定方法
JP7020322B2 (ja) 2018-07-06 2022-02-16 株式会社明電舎 建築限界判定装置
JP7207479B2 (ja) 2018-07-06 2023-01-18 株式会社明電舎 建築限界判定方法
JP2020042816A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 物体検出方法、装置、機器、記憶媒体及び車両
US11379699B2 (en) 2018-09-07 2022-07-05 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Object detection method and apparatus for object detection
JPWO2021161410A1 (ja) * 2020-02-12 2021-08-19
WO2021161410A1 (ja) * 2020-02-12 2021-08-19 三菱電機株式会社 物体認識装置、運転支援装置、サーバ、および、物体認識方法
DE112020006708T5 (de) 2020-02-12 2022-12-01 Mitsubishi Electric Corporation Objekterkennungsvorrichtung, Fahrassistenzvorrichtung, Server und Objekterkennungsverfahren
JP7214018B2 (ja) 2020-02-12 2023-01-27 三菱電機株式会社 物体認識装置、運転支援装置、サーバ、および、物体認識方法

Also Published As

Publication number Publication date
JP6701057B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
CN110411441B (zh) 用于多模态映射和定位的系统和方法
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
Asvadi et al. 3D object tracking using RGB and LIDAR data
EP3627446B1 (en) System, method and medium for generating a geometric model
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
CN114144809A (zh) 通过摄像机进行交通工具环境建模
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
WO2022188663A1 (zh) 一种目标检测方法及装置
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2016081525A (ja) 車両用画像認識システム、及び対応法
WO2018128667A1 (en) Systems and methods for lane-marker detection
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
JP6701057B2 (ja) 認識装置、プログラム
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
US20210190535A1 (en) Information processing apparatus, information processing method, and medium
EP3716210B1 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN113052907B (zh) 一种动态环境移动机器人的定位方法
JP2011179909A (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
Liang et al. Image-based positioning of mobile devices in indoor environments
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R150 Certificate of patent or registration of utility model

Ref document number: 6701057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250