JP2019211831A - 物体認識装置 - Google Patents

Abstract

【課題】演算負荷を抑制しつつ、好適に物体認識を行う。【解決手段】物体認識装置（２１０）は、第１の画像データを入力とするニューラルネットワーク（３００）を用いて、第１の物体の暫定位置及びトラッキング優先度を出力する第１出力手段（２１１）と、第１の画像データ、暫定位置及びトラッキング優先度を入力とし、（ｉ）トラッキング優先度が所定の条件を満たす第１の物体については、時系列トラッキング処理を実行して位置及び速度を出力し、（ｉｉ）トラッキング優先度が所定の条件を満たさない第１の物体については、時系列トラッキング処理を実行せずに位置を出力する第２出力手段（２１２）とを備える。ニューラルネットワークは、第２の画像データと、第２の画像データ中の第２の物体の位置及びトラッキング優先度の正解データとを含む教師データを用いて学習された学習済みニューラルネットワークである。【選択図】図１

Description

本発明は、画像データに含まれる物体を認識する物体認識装置の技術分野に関する。

この種の装置として、画像認識を行う際に、認識すべき物体を追跡するトラッキング処理を実行するものが知られている（例えば、特許文献１参照）。

特開平０６−０７５９３５号公報

認識すべき物体には、トラッキング処理を実行すべき物体（即ち、トラッキング処理を実行することで有用な情報を得ることができるもの）と、トラッキング処理を実行すべきでない物体（トラッキング処理を実行しても有用な情報を得ることができないもの）とが存在している。このため、すべての物体に対してトラッキング処理を実行すると、演算負荷が無駄に増加してしまうという技術的問題点がある。上述した特許文献１では、上記のような問題が考慮されておらず、演算負荷を抑制するという点において改善の余地がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、演算負荷を抑制しつつ、好適に物体認識を行うことが可能な物体認識装置を提供することを課題とする。

本発明に係る物体認識装置の一態様では、時系列で入力される第１の画像データに基づいて、前記第１の画像データに含まれる第１の物体を認識する物体認識装置であって、前記第１の画像データを入力とするニューラルネットワークを用いて、前記第１の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第１出力手段と、前記第１の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、（ｉ）前記トラッキング優先度が所定の条件を満たす前記第１の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、（ｉｉ）前記トラッキング優先度が前記所定の条件を満たさない前記第１の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第２出力手段とを備え、前記ニューラルネットワークは、前記第１の画像データとは異なる第２の画像データに基づいて作成された教師データを用いて学習された学習済みニューラルネットワークである。

本実施形態に係る車両の構成を示すブロック図である。 本実施形態に係るニューラルネットワークの構成を示すブロック図である。 本実施形態に係るニューラルネットワークの学習に用いる教師データの作成方法を示すフローチャートである。 本実施形態に係る物体認識部の動作の流れを示すフローチャートである。

以下、図面を参照して物体認識装置の実施形態について説明する。

＜装置構成＞
まず、本実施形態に係る物体認識装置が搭載される車両の全体構成について、図１を参照して説明する。図１は、本実施形態に係る車両の構成を示すブロック図である。

図１に示すように、本実施形態に係る車両１０は、カメラ１００、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２００を備えて構成されている。

カメラ１００は、例えば車両１０の周辺（例えば、進行方向前方の様子）を撮像可能な車載カメラでとして構成されている。カメラ１００が撮像した時系列の画像データは、ＥＣＵ２００に出力される構成となっている。なお、カメラ１００が出力する画像データは、後述する付記における「第１の画像データ」の一具体例である。

ＥＣＵ２００は、車両の各部を制御可能なコントロールユニットとして構成されている。ＥＣＵ２００は、その機能を実現するための処理ブロック又は物理的な処理回路として、物体認識部２１０、プランナ処理部２２０、及び車両制御部２３０を備えて構成されている。

物体認識部２１０は、本実施形態に係る「物体認識装置」の一具体例として機能する部分であり、カメラ１００が撮像した画像データから、画像に含まれる物体の位置、種類、速度等を認識可能に構成されている。物体認識部２１０は、第１認識部２１１及び第２認識部２１２を備えている。

第１認識部２１１は、カメラ１００から出力される画像データを入力とするニューラルネットワーク３００を備えている。ニューラルネットワーク３００の演算結果は、第２認識部２１２に出力される構成となっている。第１認識部２１１は、後述する付記における「第１出力手段」の一具体例である。

ここで、ニューラルネットワーク３００の具体的な構成について、図２を参照して説明する。図２は、本実施形態に係るニューラルネットワークの構成を示すブロック図である。

図２に示すように、ニューラルネットワーク３００は、ニューラルネットワーク主幹部３１０、位置推定用ニューラルネットワーク部３２０、種類検出用ニューラルネットワーク部３３０、及びトラッキング優先度検出用ニューラルネットワーク部３４０を備えている。上述した各部は、それぞれ複数の畳み込みニューラルネットワーク等から構成されている。カメラ１００から出力された画像は、ニューラルネットワーク主幹部３１０に入力され、その後、位置推定用ニューラルネットワーク部３２０、種類検出用ニューラルネットワーク部３３０、及びトラッキング優先度検出用ニューラルネットワーク部３４０の各々から、画像データに含まれる物体の位置（言い換えれば、座標情報）、種類（例えば、車両、歩行者等の属性情報）、及びトラッキング優先度が出力される。

なお、ここでの「トラッキング優先度」とは、物体認識部２１０においてトラッキング処理を行うべきか否かを判定するためのパラメータであり、トラッキング処理を優先的に行うべき物体については高い値、トラッキング処理を優先的に行うべきでない物体については低い値が算出される。トラッキング優先度は、言い換えれば、物体について高精度な認識を行うべきか否かを示すパラメータである。トラッキング優先度は、例えば物体のオクルージョン率（即ち、他の物体による遮蔽割合）やトランケーション率（即ち、撮像範囲外にはみ出している割合）、或いは物体がガードレールや中央分離帯をはさんだ向こう側にあるかどうかの判定、或いは物体が車両１０の走行に与える影響度等に基づいて算出される。

より具体的には、物体のオクルージョン率が高い（即ち、遮蔽さている割合が大きい）場合には、物体が車両１０から見て奥側に存在する可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体のオクルージョン率が低い（即ち、遮蔽されている割合が小さい）場合には、物体が車両１０から見て手前側に存在する可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。オクルージョン率として、たとえば物体のカメラ画像上でのピクセル面積の、他物体による遮蔽率などを用いることができる。教師データのオクルージョン率は、後述する教師データ作成時に、アノテーション作業者による経験則、または物体のモデル情報を元にして物体の真のピクセル面積を推定し、「オクルージョン率＝（物体の真のピクセル面積推定値―カメラ画像上の物体のピクセル面積）／物体の真のピクセル面積推定値」とすることで求められる。教師データのオクルージョン率をニューラルネットワーク３００に学習させることで、第1認識部２１１はルールベースによる判定や人の介在を経由することなく、物体のオクルージョン率を推定することができる。

また、物体のトランケーション率が高い（即ち、画像枠外にはみ出している割合が大きい）場合には、物体が車両１０の正面から外れた位置に存在する可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体のトランケーション率が低い（即ち、画像枠外にはみ出している割合が小さい）場合には、物体が車両１０の正面に近い位置に存在する可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。トランケーション率として、たとえば物体のカメラ画像上でのピクセル面積の、カメラ死角による遮蔽率などを用いることができる。教師データのトランケーション率は、後述する教師データ作成時に、アノテーション作業者による経験則、または物体のモデル情報を元にして、カメラのＦｉｅｌｄ ｏｆ Ｖｉｅｗ（ＦＯＶ）外の領域を含む物体の真のピクセル面積を推定し、「トランケーション率＝（物体の真のピクセル面積推定値―ＦＯＶ内の物体のピクセル面積）／物体の真のピクセル面積推定値」とすることで求められる。教師データのトランケーション率をニューラルネットワーク３００に学習させることで、第1認識部２１１はルールベースによる判定や人の介在を経由することなく、物体のトランケーション率を推定することができる。

また、物体がガードレールや中央分離帯をはさんだ向こう側にある場合には、物体が車両１０の走行に影響を与えない可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体がガードレールや中央分離帯の手前側にある場合には、物体が車両１０の走行に影響を与える可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。後述する教師データの作成時に、アノテーション作業者による目視確認などを元にして、物体がガードレールや中央分離帯を挟んだ向こう側にあるかどうかを判定した結果がタグ付けされる。タグ付された結果をニューラルネットワーク３００に学習させることで、第1認識部２１１は、ルールベースによる判定や人の介在を経由することなく、物体がガードレールや中央分離帯を挟んだ向こう側にあるかどうかを判定することができる。

更に、物体が車両１０の走行に与える影響度が高い（例えば、衝突可能性が高いと判断できるような物体である）場合には、物体に対する認識精度を高めるべきであると判断し、相対的に高い値のトラッキング優先度が算出される。一方、物体が車両１０の走行に与える影響度が低い（例えば、衝突可能性が低いと判断できるような物体である）場合には、物体に対する認識精度を高めなくともよいと判断し、相対的に低い値のトラッキング優先度が算出される。後述する教師データの作成時に、アノテーション作業者が、運転経験に基づいて、普段の運転習慣において追跡している物体であるかどうか、追跡必要のある物体かどうかを経験則に基づいて判定した結果がタグ付けされる。タグ付された結果をニューラルネットワーク３００に学習させることで、第1認識部２１１は、ルールベースによる判定や人の介在を経由することなく、物体をトラッキングすべきかどうかを判定することができる。

図１に戻り、第２認識部２１２は、カメラ１００から出力される画像データ、並びに第１認識部２１１（言い換えれば、ニューラルネットワーク３００）から入力される各種情報に基づいて、物体の位置、物体の種類、物体のインスタンス固有ＩＤ、物体の速度を算出可能に構成されている。第２認識部２１２の算出結果は、プランナ処理部２２０に出力される構成となっている。第２認識部２１２は、後述する付記における「第２出力手段」の一具体例である。

プランナ処理部２２０は、物体認識部２１０の認識結果（即ち、物体の位置、物体の種類、物体の速度）に基づいて、車両１０の走行をどのように制御すべきかを決定する。プランナ処理部２２０は、例えば車両１０と認識された物体との衝突を回避するために、車両の走行経路や走行速度等に関するパラメータを決定する。プランナ処理部２２０において決定されたパラメータは、車両制御部２３０に出力される構成となっている。

車両制御部２３０は、プランナ処理部２２０から入力されるパラメータに基づいて、車両１０の各部を制御する。車両制御部２３０は、例えば車両１０のブレーキアクチュエータを制御して、車両の自動ブレーキ制御を実行したり、車両のステアリングアクチュエータを制御して、車両の自動ステアリング制御を実行したりする。

＜ニューラルネットワークの学習＞
次に、ニューラルネットワーク３００の学習に用いる教師データの作成方法について、図３を参照して説明する。図３は、本実施形態に係るニューラルネットワークの学習に用いる教師データの作成方法を示すフローチャートである。

図３に示すように、教師データを作成する際には、まず教師データの元となる複数の画像データの中から一の画像を選択する（ステップＳ１０１）。なお、ここでの複数の画像データは、後述する付記における「第２の画像データ」の一具体例である。教師データの作成に用いられる複数の画像データは、カメラ１００で撮像される画像データのような時系列の画像データとは異なるものである（即ち、教師データ作成用に別途用意された画像データである）。

続いて、選択した画像に含まれている複数の物体の中から、正解データのタグ付けを行う一の物体を選択する（ステップＳ１０２）。

続いて、選択した物体が含まれる矩形領域であるＢＢＯＸ（バウンディングボックス）のタグ付を行う（ステップＳ１０３）。即ち、物体の位置に関する正解データのタグ付けを行う。

続いて、選択した物体の種類のタグ付けを行う（ステップＳ１０４）。即ち、物体の位置に関する正解データのタグ付けを行う。

続いて、選択した物体のトラッキング優先度のタグ付けを行う（ステップＳ１０４）。即ち、物体のトラッキング優先度に関する正解データのタグ付けを行う。トラッキング優先度の正解データは、すでに説明したように、物体のオクルージョン率、トランケーション率、及び車両１０の走行への影響度等に基づいてタグ付けされる。なお、トラッキング優先度のタグ付けは、作業者の目視による人力アノテーションの他、半自動アノテーション、或いは全自動アノテーション等であってもよい。

物体の位置、種類、トラッキング優先度のタグ付が完了すると、選択した画像に含まれる全ての物体が選択されたか否か（即ち、全ての物体に対するタグ付けが実行されたか否か）を判定する（ステップＳ１０６）。全ての物体が選択されていないと判定された場合（ステップＳ１０６：ＮＯ）、ステップＳ１０２の処理が再び実行される。即ち、画像に含まれる物体のうち、まだ選択されていない物体がタグ付けの対象として選択して、一連の処理が再開される。このように、正解データのタグ付けは、画像中の全ての物体に対して完了するまで、繰り返し実行される。ただし、タグ付けの必要でない物体（例えば、教師データとしての意味が薄い物体等）に関しては、タグ付けが省略されてもよい。

全ての物体が選択されたと判定された場合（ステップＳ１０６：ＹＥＳ）、全ての画像が選択されたか否か（即ち、教師データの作成に利用する複数の画像データの全てに対して正解データのタグ付けが実行されたか否か）を判定する（ステップＳ１０７）。全ての画像が選択されていないと判定された場合（ステップＳ１０７：ＮＯ）、ステップＳ１０１の処理が再び実行される。即ち、教師データの作成に利用する画像のうち、まだ選択されていない画像がタグ付けの対象として選択して、一連の処理が再開される。このように、正解データのタグ付けは、複数の画像データの全てに対して完了するまで、繰り返し実行される。

なお、上述した教師データの作成は、典型的には装置の出荷前に行われ、ニューラルネットワーク３００の学習も装置の出荷前に実行される。ただし、教師データの作成は、装置の出荷後にカメラ１００で撮像された画像データの一部や、外部（例えば、他車両等）から受信した画像データ等を用いて行われてもよい。即ち、ニューラルネットワーク３００に対して、いわゆるオンライン学習が実行されてもよい。

＜物体認識動作＞
次に、学習済みのニューラルネットワーク３００を用いた物体認識動作（即ち、物体認識部２１０の動作）について、図４を参照して説明する。図４は、本実施形態に係る物体認識部の動作の流れを示すフローチャートである。

図４に示すように、物体認識動作時には、まず第１認識部２１１が、ニューラルネットワーク３００を用いて、物体の位置、種類、トラッキング優先度を算出する（ステップＳ２０１）。算出された物体の位置、種類、トラッキング優先度は、それぞれ第２認識部２１２に出力される。本実施形態においては、物体の位置として、物体のＢｏｕｎｄｉｎｇ Ｂｏｘ（ＢＢＯＸ）の位置を示すピクセル座標を算出する。

続いて、第２認識部２１２が、トラッキング優先度に基づいて、トラッキング処理を実行すべき物体のリストＡを作成する（ステップＳ２０２）。リストＡに含む物体（言い換えれば、トラッキング処理を実行すべき物体）は、トラッキング優先度が所定の条件を満たすか否かによって決定する。例えば、画像に含まれる物体のうち、トラッキング優先度が所定閾値Ｂより高いものだけを、リストＡに追加していけばよい。

続いて、リストＡに含まれる物体の中から、ピクセルサイズが大きい順に物体を１つずつ選択する（ステップＳ２０３）。そして、選択した物体に対してトラッキング状態の更新処理（即ち、トラッキング処理）を実行する（ステップＳ２０４）。具体的には、たとえば、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）アルゴリズムにより、ステップＳ２０１で算出された対象物体のＢＢＯＸの内部の特徴点の時系列追跡処理を行う。別の実施形態として、Ｍｅａｎ−ｓｈｉｆｔ法による物体の追跡処理など、その他のトラッキング方法を用いてもよい。

続いて、リストＡの全ての物体が選択されたか否かを判定する（ステップＳ２０５）。即ち、リストＡに含まれる全ての物体に対してトラッキング処理が実行されたか否かを判定する。リストＡの全ての物体が選択されていない場合（ステップＳ２０５：ＮＯ）、選択した物体の数が閾値Ｎ１以上であるか否かを判定する（ステップＳ２０６）。なお、閾値Ｎ１は、トラッキング処理を実行する物体の上限値として設定されているものであり、例えばＥＣＵ２００の演算処理能力等に応じて予め設定されている。

選択した物体の数が閾値Ｎ１以上でない場合（ステップＳ２０６：ＮＯ）、再びステップＳ２０３の処理が実行される。即ち、まだ選択されていない物体のうち、最もピクセルサイズが大きいものがトラッキング処理の対象として選択され、一連の処理が繰り返し実行される。

他方、リストＡの全ての物体が選択されていた場合（ステップＳ２０５：ＹＥＳ）、又は、選択した物体の数が閾値Ｎ１以上である場合（ステップＳ２０６：ＹＥＳ）、トラッキング処理の結果に基づき、トラッキング対象物体の種類、位置、及び速度を出力する（ステップＳ２０７）。即ち、第１認識部２１１の処理結果に、トラッキング処理の結果を加味して、物体に関する情報を出力する。一方、トラッキング非対象物体（即ち、リストＡに含まれなかった物体、又はリストＡに含まれていた物体のうち、トラッキング対象として選択されなかった物体）については、第１認識部２１１の処理結果に基づき、物体の種類及び位置を出力する（ステップＳ２０８）。

なお、リストＡに含まれている全ての物体に対してトラッキング処理を行ったにもかかわらず、演算負荷に余裕がある場合（例えば、トラッキング処理を実行した物体の数が閾値Ｎ１に満たない場合等）には、リストＡに含まれていない物体についてもトラッキング処理を行うようにしてもよい。この場合、リストＡに含まれるためのトラッキング優先度の条件（即ち、所定閾値Ｂ）よりも緩い条件で選別された新たなリストＣに対して、トラッキング処理が実行された物体の総数が適切な値（例えば閾値Ｎ１）となるまで、ステップＳ２０３からステップＳ２０６と同様の処理を実行すればよい。

＜技術的効果＞
次に、本実施形態に係る物体認識部２１０（即ち、物体認識装置）の動作によって得られる技術的効果について説明する。

図１から図４を参照して説明したように、本実施形態に係る物体認識部２１０によれば、トラッキング優先度に基づいて、トラッキング処理を実行するか否かが決定される。具体的には、トラッキング優先度が高い物体にだけトラッキング処理が実行され、トラッキング優先度が低い物体にはトラッキング処理が実行されない。このため、すべての物体に対してトラッキング処理を実行する場合と比較すると、装置の演算負荷を抑制することが可能である。

なお、物体のトラッキング優先度は、例えばルールベースに基づく処理では正確に算出することが難しい。しかるに本実施形態では、上述したように学習済みのニューラルネットワーク３００を用いているため、正確にトラッキング優先度を算出することができる。また、ニューラルネットワーク３００は、時系列ではない画像を用いて学習されているため、例えば時系列の画像データを用いて学習する場合と比べると、効率的な学習を実現することが可能である。

＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。

（付記１）
付記１に記載の物体認識装置は、時系列で入力される第１の画像データに基づいて、前記第１の画像データに含まれる第１の物体を認識する物体認識装置であって、前記第１の画像データを入力とするニューラルネットワークを用いて、前記第１の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第１出力手段と、前記第１の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、（ｉ）前記トラッキング優先度が所定の条件を満たす前記第１の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、（ｉｉ）前記トラッキング優先度が前記所定の条件を満たさない前記第１の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第２出力手段とを備え、前記ニューラルネットワークは、前記第１の画像データとは異なる第２の画像データと、前記第２の画像データに含まれる第２の物体の位置及び前記トラッキング優先度の正解データとを含む教師データを用いて学習された学習済みニューラルネットワークである。

付記１に記載の物体認識装置によれば、トラッキング優先度に基づいてトラッキング処理を実行するか否かが決まるため、不必要なトラッキング処理が抑制される。従って、演算負荷を抑制しつつ、好適に物体の位置や速度を認識することが可能である。

また、トラッキング優先度を求めるためのニューラルネットワークは、時系列で入力される第１の画像データとは異なる第２の画像データと、第２の画像データに含まれる第２の物体の位置及びトラッキング優先度の正解データとを含む教師データを用いて学習されている。これにより、作成コストの比較的小さい教師データによって、高精度にトラッキング優先度を求めることが可能となる。

（付記２）
付記２に記載の物体認識装置では、前記第２の物体の前記トラッキング優先度の正解データは、前記第２の物体が、前記第２の物体よりも手前側に位置する他の物体と重なることで隠れる割合に基づいて決定される。

付記１に記載の物体認識装置によれば、認識対象となっている物体が、他の物体によって遮蔽されている割合（いわゆるオクルージョン（occlusion）率）に基づいて、トラッキング優先度の正解データが決定される。オクルージョン率が比較的大きい物体は、それより手前側に他の物体が存在しているため、トラッキング処理を行って認識すべき優先度が低いと判断できる。一方、オクルージョン率が比較的小さい物体は、それより手前側に他の物体が存在している可能性が低いため（言い換えれば、最も手前側に存在する可能性が高いため）、トラッキング処理を行って認識すべき優先度が高いと判断できる。よって、第２の物体のオクルージョン率に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。

（付記３）
付記３に記載の物体認識装置では、前記第２の物体の前記トラッキング優先度の正解データは、前記第２の物体が、前記第２の画像データの枠外にはみ出ることで隠れる割合に基づいて決定される。

付記１に記載の物体認識装置によれば、認識対象となっている物体が、撮像範囲からはみ出している割合（いわゆるトランケーション（truncation）率）に基づいて、トラッキング優先度の正解データが決定される。トランケーション率が比較的大きい物体は、第２の画像データの撮像範囲外に大きく跨るように存在しているため、トラッキング処理を行って認識すべき優先度が低いと判断できる。一方、トランケーション率が比較的小さい物体は、第２の画像データの撮像範囲に収まっている部分が大きい（言い換えれば、撮像範囲の正面に近い位置に存在しているため）、トラッキング処理を行って認識すべき優先度が高いと判断できる。よって、第２の物体のトランケーション率に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。

（付記４）
付記４に記載の物体認識装置では、前記第２物体の前記トラッキング優先度の正解データは、前記第２の物体が、当該物体認識装置が搭載される車両の走行に与える影響度に基づいて決定される。

例えば、物体認識装置が搭載される車両と同じ車線を走行する他車両、或いは飛び出してくる可能性のある人等、自車両の走行に影響度が大きい物体については、衝突の危険を回避するためにも、相対的に高い精度で認識しておくべきである。よって、第２の物体が車両の走行に与える影響度に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置もまた本発明の技術的範囲に含まれるものである。

１０ 車両
１００ カメラ
２００ ＥＣＵ
２１０ 物体認識部
２１１ 第１認識部
２１２ 第２認識部
２２０ プランナ処理部
２３０ 車両制御部
３００ ニューラルネットワーク
３１０ ニューラルネットワーク主幹部
３２０ 位置推定用ニューラルネットワーク部
３３０ 種類検出用ニューラルネットワーク部
３４０ トラッキング優先度検出用ニューラルネットワーク部

Claims (4)

1. 時系列で入力される第１の画像データに基づいて、前記第１の画像データに含まれる第１の物体を認識する物体認識装置であって、
   前記第１の画像データを入力とするニューラルネットワークを用いて、前記第１の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第１出力手段と、
   前記第１の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、（ｉ）前記トラッキング優先度が所定の条件を満たす前記第１の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、（ｉｉ）前記トラッキング優先度が前記所定の条件を満たさない前記第１の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第２出力手段と
   を備え、
   前記ニューラルネットワークは、前記第１の画像データとは異なる第２の画像データと、前記第２の画像データに含まれる第２の物体の位置及び前記トラッキング優先度の正解データとを含む教師データを用いて学習された学習済みニューラルネットワークである
   ことを特徴とする物体認識装置。
2. 前記第２の物体の前記トラッキング優先度の正解データは、前記第２の物体が、前記第２の物体よりも手前側に位置する他の物体と重なることで隠れる割合に基づいて決定されることを特徴とする請求項１に記載の物体認識装置。
3. 前記第２の物体の前記トラッキング優先度の正解データは、前記第２の物体が、前記第２の画像データの枠外にはみ出ることで隠れる割合に基づいて決定されることを特徴とする請求項１又は２に記載の物体認識装置。
4. 前記第２物体の前記トラッキング優先度の正解データは、前記第２の物体が、当該物体認識装置が搭載される車両の走行に与える影響度に基づいて決定されることを特徴とする請求項１から３のいずれか一項に記載の物体認識装置。

Images