JP2019204338A - 認識装置及び認識方法 - Google Patents

Abstract

【課題】認識精度を向上させる後術を提供する。【解決手段】学習済みのニューラルネットワークを用いて、領域と物体とを認識する認識装置１００は、連結された特徴マップと、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとを用いて、領域のセグメンテーションに用いる特徴マップを生成する領域セグメンテーション部１０７と、連結された特徴マップと、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとを用いて、物体のセグメンテーションに用いる特徴マップを生成する物体セグメンテーション部１０８と、を備える。【選択図】図２

Description

本開示は、認識装置及び認識方法に関する。

従来より、物体を撮像した画像から物体や領域を認識する技術として、まず、視差画像から物体候補領域を検出し、その後、輝度画像を用いて画像中の物体を認識する方法が開示されている（例えば、特許文献１）。

特開２０１４−１９７３７８号公報

しかし、特許文献１に記載の技術では、遠方の物体などのように、視差画像での認識が困難な物体については、認識することが困難であるという課題があった。このため、認識精度が高い他の技術が望まれていた。

本発明は、以下の形態として実現することが可能である。

本発明の一形態によれば、学習済みのニューラルネットワークを用いて、領域と物体とを認識する認識装置（１００）が提供される。この認識装置（１００）は、前記領域と前記物体とが画像中に含まれる撮像画像の特徴マップを抽出する撮像画像特徴マップ抽出部（１０４）と、前記領域と前記物体とが画像中に含まれる距離画像の特徴マップを抽出する距離画像特徴マップ抽出部（１０５）と、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを連結する特徴マップ連結部（１０６）と、前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記領域のセグメンテーションに用いる特徴マップを生成する領域セグメンテーション部（１０７）と、前記領域のセグメンテーションに用いる特徴マップを用いて、前記画像と前記領域とを関連付けるセマンティックセグメンテーションを行う領域出力部（１０９）と、前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記物体のセグメンテーションに用いる特徴マップを生成する物体セグメンテーション部（１０８）と、前記物体のセグメンテーションに用いる特徴マップを用いて、前記画像と前記物体とを関連付けるセマンティックセグメンテーションを行う物体出力部（１１０）と、を備え、前記撮像画像特徴マップ抽出部と、前記距離画像特徴マップ抽出部と、前記特徴マップ連結部と、前記領域セグメンテーション部と、前記物体セグメンテーション部とは、前記ニューラルネットワークにより構成されている。

この形態の認識装置によれば、連結された特徴マップと、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとからセマンティックセグメンテーションを行うため、認識精度が向上する。

認識装置を搭載した車両の機能ブロック図である。 認識装置の構成を示すブロック図である。 認識処理のフローチャートを示す図である。 撮像画像特徴マップ抽出部１０４を説明する図である。 距離画像特徴マップ抽出部１０５を説明する図である。 領域セグメンテーション部１０７を説明する図である。 物体セグメンテーション部１０８を説明する図である。 画像取得部が取得した輝度画像と、セマンティックセグメンテーション後の領域画像及び物体画像との例を示す図である。 ＦｕｓｅＮｅｔを用いた比較例を示す図である。 Ｕ−Ｎｅｔを用いた比較例を示す図である。 変形例の認識装置の構成を示すブロック図である。

Ａ．第１実施形態
図１に示すように、本実施形態では、認識装置１００は、車両１０に搭載されている。なお、認識装置１００は、例えば、船舶やドローンなどの車両以外の物体に搭載されていてもよい。

車両１０は、さらに、撮像画像取得部２１と距離画像取得部２２とを備える。本実施形態では、撮像画像取得部２１及び距離画像取得部２２は、車両１０の前方が撮像範囲となるように搭載されており、撮像画像取得部２１として単眼カメラを用い、距離画像取得部２２としてステレオカメラを用いる。本実施形態では、認識装置１００は、撮像画像取得部２１から撮像画像を取得し、距離画像取得部２２から距離画像を取得する。

認識装置１００は、ＣＰＵ１１と、ＲＯＭやＲＡＭなどのメモリ１２と、を備える周知のコンピュータとして構成されている。認識装置１００は、ニューラルネットワークにおける畳込み演算専用のチップを用いることが望ましい。認識装置１００は、ＣＰＵ１１とメモリ１２とを用いて、メモリ１２に格納されているプログラムを実行することによって後述の認識処理を行う。具体的には、認識装置１００は、学習済みのニューラルネットワークを用いて、撮像画像取得部２１及び距離画像取得部２２により取得された撮像画像及び距離画像から画像中の物体及び領域を認識する。認識処理によって得られた認識結果は、認識装置１００により車両１０の制御部３０に入力される。制御部３０は、入力された認識結果を用いて、車両１０の動作を制御する。本実施形態では、ニューラルネットワークとして、畳込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いるが、他の種類のニューラルネットワークを用いてもよい。ここで、本実施形態の物体として、例えば、車両１０の前方に存在する車両や、石などの障害物が挙げられる。また、本実施形態の領域として、例えば、車両１０の走行可能な領域が挙げられる。本実施形態では、ニューラルネットワークは、撮像画像と距離画像とにおける領域及び物体についてタグ付けされたデータを任意の枚数（例えば、９０００枚）用いて、予め学習が行われている。

図２に示すように、認識装置１００は、撮像画像入力部１０１と、距離画像入力部１０２と、撮像画像特徴マップ抽出部１０４と、距離画像特徴マップ抽出部１０５と、特徴マップ連結部１０６と、領域セグメンテーション部１０７と、物体セグメンテーション部１０８と、領域出力部１０９と、物体出力部１１０と、を備える。このうち、撮像画像特徴マップ抽出部１０４、距離画像特徴マップ抽出部１０５、特徴マップ連結部１０６、領域セグメンテーション部１０７、及び物体セグメンテーション部１０８がニューラルネットワーク１０３として構成されている。上記各部は、実際には、ＣＰＵ１１が予め記憶されたプログラム（主として、行列演算や畳込み演算）を実効することにより実行される。各部の処理内容を図３に示す。各処理は、矢印に沿ってデータが送られることによって実効されるので、フローチャートのような順次処理としてではなく、データフローを中心に各処理を実行するブロックが存在するものとして説明する。

図３に示されるように、認識処理が開始されると、認識装置１００の撮像画像入力部１０１は、撮像画像取得部２１から取得された撮像画像をニューラルネットワーク１０３に入力する。なお、取得された撮像画像は、ニューラルネットワーク１０３に入力する前に、サイズの変更や歪みの補正などの処理を行ってもよい。

本実施形態では、撮像画像として、画素ごとに輝度（０〜２５５）に変換された画像である輝度画像を用いるが、これに代えて、カラー画像を用いてもよい。輝度画像を用いることにより、照度の違いによる影響を小さくできるとともに、カラー画像よりも情報量が少ないため、処理を迅速に行うことができる。また、距離画像として視差画像を用い、撮像画像として輝度画像を用いることにより、遠方の物体が検出しやすくなるため、好ましい。

また、認識装置１００の距離画像入力部１０２は、距離画像取得部２２から取得された距離画像をニューラルネットワーク１０３に入力する。なお、取得された距離画像は、ニューラルネットワーク１０３に入力する前に、サイズの変更や歪みの補正などの処理を行ってもよい。

本実施形態では、距離画像として、視差画像を用いるが、これに限られず、例えば、デプスカメラから取得するデプス画像や、ＬＩＤＡＲやミリ波レーダーから取得する距離画像を用いてもよい。視差画像は、画素ごとに視差に応じた値（０〜２５５）を与えた画像であり、本実施形態では、視差が大きいほど明るく表現される。視差画像を用いることにより、物体の領域や領域の境界が輝度画像よりも特徴として明確となるため、出力結果における境界の精度を向上できる。例えば、アスファルトなどの黒い路面を走行する黒い車両が走行している場合、輝度画像やカラー画像では路面と車両との境界の判別が困難となるが、視差画像を用いることにより、路面と車両との境界が明確となる。また、輝度画像やカラー画像では、車両の外観についても出力結果に影響を与えるが、距離画像を用いることにより、この影響を緩和できる。また、距離画像を用いることにより、撮像時の明るさの影響を緩和できる。このように、本実施形態では、入力画像として、撮像画像と距離画像とを用いることにより、お互いの特性を補完することができる。

次に、認識装置１００の撮像画像特徴マップ抽出部１０４は、撮像画像の特徴マップを抽出する。つまり、撮像画像特徴マップ抽出部１０４は、メモリ１２に記憶された学習済みモデルからの指令に従って、撮像画像の中に撮像された物体及び領域のセグメンテーションに有用な特徴マップを撮像画像から抽出する。

図４に示すように、本実施形態では、撮像画像特徴マップ抽出部１０４は、畳込み層とプーリング層とを備える複数の撮像ブロックＳＢ１〜ＳＢ５（以下、単に、「撮像ブロックＳＢ」とも呼ぶ）を備える。本実施形態では、撮像ブロックＳＢは、畳込み層が２層とプーリング層が１層とを、この順にデータを処理するように備える。ここで、図３以降の図では、畳込み層を「Ｃｏｎｖ．」と記載し、プーリング層を「Ｐｏｏｌｉｎｇ」と記載する。撮像ブロックＳＢは、後述する走行ブロックの数より１個多く、本実施形態では、撮像画像特徴マップ抽出部１０４は、５個の撮像ブロックＳＢを備える。撮像ブロックＳＢにより抽出された特徴マップは、図３に示すように、領域セグメンテーション部１０７及び物体セグメンテーション部１０８へ出力される。

撮像画像特徴マップ抽出部１０４は、さらに、撮像ブロックＳＢの下流側において、撮像アップサンプリングブロックＳＢＵ（以下、「撮像ＵＳブロックＳＢＵ」とも呼ぶ）を備える。撮像ＵＳブロックＳＢＵは、畳込み層とアップサンプリング層とを備える。なお、図３以降の図では、アップサンプリング層を「ＵＳ」と記載する。本実施形態では、撮像ＵＳブロックＳＢＵは、畳込み層を２層と、アップサンプリング層を１層とを、この順にデータを処理するように備える。撮像ＵＳブロックＳＢＵにより抽出された特徴マップは、特徴マップ連結部１０６へ出力される。

認識装置１００の距離画像特徴マップ抽出部１０５は、距離画像の特徴マップを抽出する。つまり、距離画像特徴マップ抽出部１０５は、メモリ１２に記憶された学習済みモデルからの指令に従って、距離画像の中に撮像された物体及び領域のセグメンテーションに有用な特徴マップを距離画像から抽出する。

図５に示すように、本実施形態では、距離画像特徴マップ抽出部１０５は、畳込み層とプーリング層とを備える複数の距離ブロックＫＢ１〜ＫＢ５（以下、単に、「距離ブロックＫＢ」とも呼ぶ）を備える。本実施形態では、距離ブロックＫＢは、畳込み層が２層とプーリング層が１層とを、この順にデータを処理するように備える。本実施形態では、距離ブロックＫＢは、撮像ブロックと同じ個数である。本実施形態では、距離画像特徴マップ抽出部１０５は、５個の距離ブロックＫＢを備える。距離ブロックＫＢにより抽出された特徴マップは、領域セグメンテーション部１０７及び物体セグメンテーション部１０８へ出力される。

距離画像特徴マップ抽出部１０５は、さらに、距離ブロックの下流側において、距離アップサンプリングブロックＫＢＵ（以下、「距離ＵＳブロックＫＢＵ」とも呼ぶ）を備える。距離ＵＳブロックＫＢＵは、畳込み層とアップサンプリング層とを備える。本実施形態では、距離ＵＳブロックＫＢＵは、畳込み層を２層と、アップサンプリング層を１層とを、この順にデータを処理するように備える。距離ＵＳブロックＫＢＵにより抽出された特徴マップは、特徴マップ連結部１０６へ出力される。

図３から図５に示すように、認識装置１００の特徴マップ連結部１０６は、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとを連結する。具体的には、特徴マップ連結部１０６は、最も下流側の撮像ブロックＳＢ５により抽出された特徴マップと、最も下流側の距離ブロックＫＢ５により抽出された特徴マップと、撮像ＵＳブロックＳＢＵにより抽出された特徴マップと、距離ＵＳブロックＫＢＵにより抽出された特徴マップとを連結させる。より具体的には、特徴マップ連結部１０６は、（ｉ）撮像ＵＳブロックＳＢＵのアップサンプリング層により抽出された特徴マップと、（ｉｉ）距離ＵＳブロックＫＢＵのアップサンプリング層により抽出された特徴マップと、（ｉｉｉ）５番目の撮像ブロックＳＢ５におけるプーリング層の前の畳込み層により抽出された特徴マップと、（ｉｖ）５番目の距離ブロックＫＢ５におけるプーリング層の前の畳込み層により抽出された特徴マップと、を連結する。

その後、認識装置１００は、連結された特徴マップと、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとを用いて、領域のセグメンテーションに用いる特徴マップを生成するとともに、物体のセグメンテーションに用いる特徴マップを制生成する。ここで、領域のセグメンテーションとは、画像の中の特定領域をピクセル単位で指定することを言い、物体のセグメンテーションとは、画像の中の特定物体をピクセル単位で指定することを言う。

本実施形態では、図６に示すように、領域セグメンテーション部１０７は、複数の領域ブロックＲＢ１〜ＲＢ４（以下、単に、「領域ブロックＲＢ」とも呼ぶ）を備える。本実施形態では、領域セグメンテーション部１０７は、領域ブロックを４個備える。領域ブロックＲＢは、逆畳込み層と、アップサンプリング層と、結合層とを備える。なお、図６以降の図では、逆畳込み層を「Ｄｅｃｏｎｖ．」と記載し、結合層を「Ｃｏｎｃａｔ」と記載する。本実施形態では、領域ブロックＲＢは、逆畳込み層が２層と、アップサンプリング層と、結合層とを、この順にデータを処理するように備える。領域ブロックの結合層は、アップサンプリング層により抽出された特徴マップと、撮像画像特徴マップ抽出部１０４の撮像ブロック及び距離画像特徴マップ抽出部１０５の距離ブロックによってそれぞれ抽出された特徴マップとの結合を行う。

領域セグメンテーション部１０７は、さらに、領域ブロックの下流側において、領域ドロップアウトブロックＲＢＤ（以下、「領域ＤＯブロックＲＢＤ」とも呼ぶ）を備える。領域ＤＯブロックＲＢＤは、逆畳込み層と、ドロップアウト層とを備える。本実施形態では、領域ＤＯブロックＲＢＤは、逆畳込み層と、ドロップアウト層とを交互に２層ずつ、この順にデータを処理するように備える。領域ＤＯブロックＲＢＤにより抽出された特徴マップは、領域出力部１０９へ出力される。本実施形態はドロップアウト層を備えることにより、過学習を避けることができる。

認識装置１００の物体セグメンテーション部１０８は、連結された特徴マップと、撮像画像から抽出された特徴マップと、距離画像から抽出された特徴マップとを用いて、物体のセグメンテーションに用いる特徴マップを生成する。

本実施形態では、図７に示すように、物体セグメンテーション部１０８は、複数の物体ブロックＢＢ１〜ＢＢ４（以下、単に、「物体ブロックＢＢ」とも呼ぶ）を備える。本実施形態では、物体セグメンテーション部１０８は、物体ブロックＢＢを４個備える。物体ブロックＢＢは、逆畳込み層と、アップサンプリング層と、結合層とを備える。本実施形態では、物体ブロックＢＢは、逆畳込み層が２層と、アップサンプリング層と、結合層とを、この順にデータを処理するよう備える。物体ブロックＢＢの結合層は、アップサンプリング層により抽出された特徴マップと、撮像画像特徴マップ抽出部１０４の撮像ブロック及び距離画像特徴マップ抽出部１０５の距離ブロックによってそれぞれ抽出された特徴マップとの結合を行う。

物体セグメンテーション部１０８は、さらに、物体ブロックの下流側において、物体ドロップアウトブロックＢＢＤ（以下、「物体ＤＯブロックＢＢＤ」とも呼ぶ）を備える。物体ＤＯブロックＢＢＤは、逆畳込み層と、ドロップアウト層とを備える。本実施形態では、物体ＤＯブロックＢＢＤは、逆畳込み層と、ドロップアウト層とを交互に２層ずつ、この順にデータを処理するよう備える。物体ＤＯブロックＢＢＤにより抽出された特徴マップは、物体出力部１１０へ出力される。本実施形態はドロップアウト層を備えることにより、過学習を避けることができる。

そして、認識装置１００の領域出力部１０９は、領域セグメンテーション部１０７により抽出された特徴マップから、画像と領域とを関連付けるセマンティックセグメンテーションを行う。本実施形態では、領域出力部１０９は、シグモイド活性化関数とバイナリクロスエントロピーエラー関数を用いることによって変換を行うことにより、セマンティックセグメンテーションを行う。

認識装置１００の物体出力部１１０は、物体セグメンテーション部１０８により抽出された特徴マップから、画像と物体とを関連付ける物体に関するセマンティックセグメンテーションを行う。本実施形態では、物体出力部１１０は、シグモイド活性化関数とバイナリクロスエントロピーエラー関数を用いることによって変換を行うことにより、セマンティックセグメンテーションを行う。

以上により、撮像画像取得部２１及び距離画像取得部２２によって得られた画像データが、認識装置１００で処理されることにより、撮像画像取得部２１、距離画像取得部２２に撮像された一組の画像に対する認識処理は終了する。なお、認識処理により得られた認識結果は、認識装置１００により車両１０の制御部３０に入力される。上述した処理は、撮像画像取得部２１及び距離画像取得部２２による撮像が続く限り繰り返し行われる。

図８には、撮像画像取得部２１が取得した輝度画像と、セマンティックセグメンテーション後の領域画像及び物体画像との例が示されている。図８では、物体として前方の車両が認識されており、領域として車両が走行可能な領域が認識されている。図８から分かるように、物体の境界と領域の境界が明確に分かれていることが分かる。

本実施形態では、撮像ブロックＳＢにより抽出された特徴マップは、下流側の撮像ブロックＳＢへ出力されるとともに、領域ブロックＲＢ及び物体ブロックＢＢへ出力される。ここで、領域ブロックＲＢの個数をＫとし、ｎを任意の整数（ｎ＝１〜Ｋ）とすると、上流から起算してｎ個目の撮像ブロックＳＢは、ｎ＋１番目の撮像ブロックＳＢへ特徴マップを出力するとともに、上流から起算してＫ−ｎ＋１番目の領域ブロックＲＢ及びＫ−ｎ＋１番目の物体ブロックＢＢへ特徴マップを出力する。ここで、ｎ＋１個目の撮像ブロックＳＢには、ｎ個目の撮像ブロックＳＢのプーリング層から抽出された特徴マップが出力されるが、Ｋ−ｎ＋１番目の領域ブロックＲＢ及びＫ−ｎ＋１番目の物体ブロックＢＢには、ｎ個目の撮像ブロックＳＢのプーリング層の前の畳込み層により抽出された特徴マップが出力される。本実施形態では、領域ブロックの個数は４個であるため、例えば、上流から起算して１個目（ｎ＝１）の撮像ブロックＳＢ１は、２番目の撮像ブロックＳＢ２へ出力するととともに、上流から起算して４番目の領域ブロックＲＢ４及び４番目の物体ブロックＢＢ４へ出力される。

また、本実施形態では、距離ブロックＫＢにより抽出された特徴マップは、下流側の距離ブロックＫＢへ出力されるとともに、領域ブロックＲＢ及び物体ブロックＢＢへ出力される。Ｋを領域ブロックの個数とし、ｎを任意の整数（ｎ＝１〜Ｋ）とすると、上流から起算してｎ個目の距離ブロックＫＢは、ｎ＋１番目の距離ブロックＫＢへ出力するとともに、上流から起算してＫ−ｎ＋１番目の領域ブロックＲＢ及びＫ−ｎ＋１番目の物体ブロックＢＢへ出力する。ここで、ｎ＋１個目の距離ブロックＫＢには、ｎ個目の距離ブロックＫＢのプーリング層から抽出された特徴マップが出力されるが、Ｋ−ｎ＋１番目の領域ブロックＲＢ及びＫ−ｎ＋１番目の物体ブロックＢＢには、ｎ個目の距離ブロックＫＢのプーリング層の前の畳込み層により抽出された特徴マップが出力される。本実施形態では、距離ブロックの個数は４個であるため、例えば、上流から起算して１個目（ｎ＝１）の距離ブロックＫＢ１は、２番目の距離ブロックＫＢ２へ出力するととともに、上流から起算して４番目の領域ブロックＲＢ４及び４番目の物体ブロックＢＢ４へ出力される。

つまり、本実施形態のニューラルネットワークは、特徴マップ連結部１０６により連結された特徴マップに加え、さらに、撮像画像特徴マップ抽出部１０４から抽出された特徴マップや、距離画像特徴マップ抽出部１０５から抽出された特徴マップが、特徴マップ連結部１０６を経ずに、直接、領域セグメンテーション部１０７や物体セグメンテーション部１０８に出力される。このため、一般的なニューラルネットワークでは層が増えるたびに誤差が伝わりにくくなるため、学習の効率が下がり、物体や領域の境界がぼやけるが、本実施形態によれば、ネットワークの出力層である領域セグメンテーション部１０７及び物体セグメンテーション部１０８で、境界の情報の多い入力層である撮像画像特徴マップ抽出部１０４及び距離画像特徴マップ抽出部１０５からの情報を照らし合わせるため、物体の境界がぼやけることなく、精度を向上させることができる。

ここで、本実施形態のニューラルネットワークの構造は、既知の他の構造とは異なる。図９に示すＦｕｓｅＮｅｔを用いた比較例１００Ｙは、本実施形態と比較して、（ｉ）領域セグメンテーション部１０７及び物体セグメンテーション部１０８の代わりにセグメンテーション部１０７Ｙを備え、（ｉｉ）領域出力部１０９及び物体出力部１１０を備える代わりに出力部１０９Ｙを備える点で異なる。この相違点によって、本実施形態のニューラルネットワークの構造は、比較例１００Ｙと比較して、物体や領域の境界がより明確となる。

また、図１０に示すＵ−Ｎｅｔを用いた比較例１００Ｚは、本実施形態と比較して、距離画像入力部１０２、距離画像特徴マップ抽出部１０５、及び物体セグメンテーション部１０８、物体出力部１１０を備えず、領域セグメンテーション部１０７の代わりにセグメンテーション部１０７Ｚを備え、領域出力部１０９の代わりに出力部１０９Ｚを備える点が異なる。この相違点によって、本実施形態のニューラルネットワークの構造は、撮像画像特徴マップ抽出部１０４において撮像画像の特徴マップの抽出に特化しているとともに、距離画像特徴マップ抽出部１０５において距離画像の特徴マップの抽出に特化している点で比較例１００Ｚと異なる。この結果、本実施形態のニューラルネットワークの構造は、比較例１００Ｚと比較して、物体の境界と領域の境界との境界がより明確となる。

Ｂ．変形例
図１１に示す変形例の認識装置１００Ａは、上述の認識装置１００と比較して、さらに、カラー画像をニューラルネットワークに入力するカラー画像入力部１０２Ａと、カラー画像の特徴マップを抽出するカラー画像特徴マップ抽出部１０５Ａと、歩行者のセグメンテーションに用いる特徴マップを生成する歩行者セグメンテーション部１０８Ａと、画像と歩行者とを関連付けるセマンティックセグメンテーションを行う歩行者出力部１１０Ａと、を備える点で異なる。さらに、変形例の認識装置１００Ａは、上述の認識装置１００と比較して、（ｉ）カラー画像特徴マップ抽出部１０５Ａにより抽出された特徴マップが、特徴マップ連結部１０６、領域セグメンテーション部１０７、及び物体セグメンテーション部１０８へ出力されるとともに、（ｉｉ）撮像画像特徴マップ抽出部１０４、距離画像特徴マップ抽出部１０５、及び特徴マップ連結部１０６により抽出された特徴マップが歩行者セグメンテーション部１０８Ａへ出力される点が異なる。

この変形例のように、本開示において入力する画像は、２種類ではなく３種類以上であってもよく、出力する画像は、２種類ではなく３種類以上であってもよい。

本開示は、上述の実施形態および変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する本実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０ 車両、１１ ＣＰＵ、１２ メモリ、２１ 撮像画像取得部、２２ 距離画像取得部、３０ 制御部、１００ 認識装置、１００Ａ 認識装置、１００Ｙ、１００Ｚ 比較例、１０１ 撮像画像入力部、１０２ 距離画像入力部、１０２Ａ カラー画像入力部、１０４ 撮像画像特徴マップ抽出部、１０５ 距離画像特徴マップ抽出部、１０５Ａ カラー画像特徴マップ抽出部、１０６ 特徴マップ連結部、１０７ 領域セグメンテーション部、１０７Ｙ セグメンテーション部、１０８ 物体セグメンテーション部、１０８Ａ 歩行者セグメンテーション部、１０９ 領域出力部、１０９Ｙ 出力部、１１０Ａ 歩行者出力部、１１０ 物体出力部、ＢＢ 物体ブロック、ＢＢＤ 物体ＤＯブロック、ＫＢ 距離ブロック、ＫＢＵ 距離ＵＳブロック、ＲＢ 領域ブロック、ＲＢＤ 領域ＤＯブロック、ＳＢ 撮像ブロック、ＳＢＵ 撮像ＵＳブロック、

Claims (5)

1. 学習済みのニューラルネットワークを用いて、領域と物体とを認識する認識装置（１００）であって、
   前記領域と前記物体とが画像中に含まれる撮像画像の特徴マップを抽出する撮像画像特徴マップ抽出部（１０４）と、
   前記領域と前記物体とが画像中に含まれる距離画像の特徴マップを抽出する距離画像特徴マップ抽出部（１０５）と、
   前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを連結する特徴マップ連結部（１０６）と、
   前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記領域のセグメンテーションに用いる特徴マップを生成する領域セグメンテーション部（１０７）と、
   前記領域のセグメンテーションに用いる特徴マップを用いて、前記画像と前記領域とを関連付けるセマンティックセグメンテーションを行う領域出力部（１０９）と、
   前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記物体のセグメンテーションに用いる特徴マップを生成する物体セグメンテーション部（１０８）と、
   前記物体のセグメンテーションに用いる特徴マップを用いて、前記画像と前記物体とを関連付けるセマンティックセグメンテーションを行う物体出力部（１１０）と、を備え、
   前記撮像画像特徴マップ抽出部と、前記距離画像特徴マップ抽出部と、前記特徴マップ連結部と、前記領域セグメンテーション部と、前記物体セグメンテーション部とは、前記ニューラルネットワークにより構成されている、認識装置。
2. 請求項１に記載の認識装置であって、
   前記ニューラルネットワークは、畳込みニューラルネットワークである、認識装置。
3. 請求項１又は請求項２に記載の認識装置であって、
   前記撮像画像は、輝度画像である、認識装置。
4. 請求項１から請求項３のいずれか１項に記載の認識装置であって、
   前記距離画像は、視差画像である、認識装置。
5. 学習済みニューラルネットワークを用いて、領域と物体とを認識する認識方法であって、
   前記領域と前記物体とが画像中に含まれる撮像画像の特徴マップを抽出する工程と、
   前記領域と前記物体とが画像中に含まれる距離画像の特徴マップを抽出する工程と、
   前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを連結する工程と、
   前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記領域のセグメンテーションに用いる特徴マップを生成する工程と、
   前記領域のセグメンテーションに用いる特徴マップを用いて、前記画像と前記領域とを関連付けるセマンティックセグメンテーションを行う工程と、
   前記連結された特徴マップと、前記撮像画像から抽出された特徴マップと、前記距離画像から抽出された特徴マップとを用いて、前記物体のセグメンテーションに用いる特徴マップを生成する工程と、
   前記物体のセグメンテーションに用いる特徴マップを用いて、前記画像と前記物体とを関連付けるセマンティックセグメンテーションを行う工程と、を備える、認識方法。