JP2022079954A

JP2022079954A - 物体検出装置

Info

Publication number: JP2022079954A
Application number: JP2020190855A
Authority: JP
Inventors: 将幸山崎; Masayuki Yamazaki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-11-17
Filing date: 2020-11-17
Publication date: 2022-05-27

Abstract

【課題】画像に未知の物体が表されていても、その未知の物体を検出できる物体検出装置を提供する。【解決手段】物体検出装置は、画像をニューラルネットワーク４００に入力することで、ニューラルネットワーク４００により、画像上で何らかの物体が表されている可能性が有る物体候補領域を抽出し、かつ、抽出された物体候補領域に含まれる画素ごとに、何らかの物体が表されている確からしさを表す確信度を算出し、ニューラルネットワーク４００により算出された確信度が所定の閾値以上となる画素の集合を、何らかの物体が表されている物体領域として検出する物体検出部３１を有する。【選択図】図４

Description

本発明は、画像に表された物体を検出する物体検出装置に関する。

画像に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるニューラルネットワークを識別器として用いることで、検出精度を向上する技術が提案されている。このような場合、識別器として用いられるニューラルネットワークは、検出対象となる物体が表された多数の教師画像を用いて予め学習される。しかし、検出対象となる物体によっては、十分な数の教師画像を用意することが難しく、識別器の学習が困難となることがある。そこで、そのような物体が画像に表されている場合でも、検出精度を向上するための技術が提案されている（例えば、特許文献1を参照）。

例えば、特許文献１に開示された物体検出装置は、入力された画像上の複数の領域のそれぞれについて、検出対象となる物体が表されている確信度を求め、その確信度が第１の確信度閾値以上となる第１の領域に検出対象となる物体が表されていると判定する。また、この物体検出装置は、第１の領域に対する、第１の領域において検出対象となる物体が他の物体により隠されている隠れ領域の比率を表す隠れ率を求める。そしてこの物体検出装置は、隠れ率が隠れ率閾値以上となる場合、複数の領域のうち、第１の領域と少なくとも部分的に重なる第２の領域についての確信度が第１の確信度閾値よりも低い第２の確信度閾値以上となる場合に、第２の領域に検出対象となる物体が表されていると判定する。

特開２０２０－５２６９４号公報

上記の技術は、検出対象となる物体が他の物体に対して部分的に隠れているために、検出が難しくなっている場合でも、その検出対象となる物体を精度良く検出することを可能とする。しかし、識別器が適用される状況によっては、検出対象となる物体が未知の物体であることがある。このような場合、識別器を十分に学習することができず、その検出対象となる物体を精度良く検出することが困難なことがある。

そこで、本発明は、画像に未知の物体が表されていても、その未知の物体を検出できる物体検出装置を提供することを目的とする。

一つの実施形態によれば、物体検出装置が提供される。この物体検出装置は、画像をニューラルネットワークに入力することで、ニューラルネットワークにより、画像上で何らかの物体が表されている可能性が有る物体候補領域を抽出し、かつ、抽出された物体候補領域に含まれる画素ごとに、何らかの物体が表されている確からしさを表す確信度を算出し、ニューラルネットワークにより算出された確信度が所定の閾値以上となる画素の集合を、何らかの物体が表されている物体領域として検出する物体検出部を有する。

本発明に係る物体検出装置は、画像に未知の物体が表されていても、その未知の物体を検出できるという効果を奏する。

物体検出装置が実装される車両制御システムの概略構成図である。物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。物体検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。識別器として利用されるＮＮの構造の一例を示す図である。物体検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、物体検出装置について説明する。この物体検出装置は、画像をニューラルネットワーク（以下、単にＮＮと表記することがある）に入力することで、画像に表された物体を検出する。ＮＮは、入力された画像から、何らかの物体が表されている可能性が有る領域を物体候補領域として抽出する。そしてこのＮＮは、物体候補領域に含まれる画素ごとに、何らかの物体が表されている確からしさを表す確信度を算出する。そしてこの物体検出装置は、物体候補領域において、確信度が所定の閾値以上となる画素の集合を、何らかの物体が表されている物体領域として検出する。これにより、この物体検出装置は、画像に未知の物体が表されていても、その物体を検出することを可能とする。

本実施形態において、検出対象となる物体は、識別器が学習される時点で未知である可能性が有る物体を含み、かつ、画像に表される背景と異なる物体である。例えば、画像上に、背景として、道路及びその周囲の空間が表されている場合、検出対象となる物体は、道路上に位置する物体（例えば、人、人以外の動物、車両、何らかの落下物）である。また、画像上に、背景として、所定の建物内の部屋または廊下といった空間が表されている場合、検出対象となる物体は、その空間に元々配置されていない物体、あるいはその空間に侵入した人、人以外の動物あるいは物体である。

以下では、物体検出装置を、車両制御システムに適用した例について説明する。この例では、物体検出装置は、車両に搭載されたカメラにより得られた画像に対して物体検出処理を実行することで、車両の周囲に存在する他の車両といった、予め形状等が分かる物体だけでなく、道路上の落下物といった未知の物体を検出し、その検出結果が車両の自動運転制御に利用される。

図１は、物体検出装置が実装される車両制御システムの概略構成図である。図２は、物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、距離センサ３と、物体検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、距離センサ３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機（図示せず）、他の機器と無線通信するための無線通信端末（図示せず）、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置（図示せず）などを有していてもよい。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、例えば、車両１０の前方を向くように、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両制御システム１は、撮影方向または画角が異なる複数のカメラ２を有していてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ４へ出力する。

距離センサ３は、例えば、LiDARセンサあるいはレーダであり、所定の周期ごとに、各方位について、その方位における、車両１０の周囲に存在する他の物体までの距離を測定する。そして距離センサ３は、所定の周期ごとに、方位ごとの他の物体までの距離を表すセンサ信号を、車内ネットワークを介してＥＣＵ４へ出力する。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２及び距離センサ３と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また通信インターフェース２１は、距離センサ３から受信したセンサ信号をプロセッサ２３へわたす。あるいはまた、通信インターフェース２１は、車内ネットワークを介して受信した、ストレージ装置から読み込んだ地図、GPS受信機からの測位情報などを、プロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される各種処理を実現するためのコンピュータプログラム、物体検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、距離センサ３から受け取ったセンサ信号、物体検出処理で利用されるＮＮを特定するための各種パラメータなどを記憶する。さらに、メモリ２２は、物体検出処理の途中における演算結果を記憶する。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して物体検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、物体検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、運転計画部３２と、車両制御部３３とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３1が、物体検出処理を実行する。

物体検出部３１は、カメラ２から画像が得られる度に、その画像を識別器として利用されるＮＮに入力することで、その画像に表された、車両１０の周囲に存在する物体を検出する。

図４は、識別器として利用されるＮＮの概略構成図である。ＮＮ４００は２ステージで構成される。すなわち、ＮＮ４００は、前段のステージである物体候補領域抽出部４０１と、後段のステージである確信度算出部４０２とを有している。

物体候補領域抽出部４０１は、ＮＮ４００に入力された画像から一つ以上の物体候補領域を抽出する。そのために、物体候補領域抽出部４０１は、画像が入力される入力側から抽出した物体候補領域を出力する出力側へ向けて順に複数の畳み込み層を有するコンボリューショナルニューラルネットワーク（以下、ＣＮＮと表記することがある）として構成される。物体候補領域抽出部４０１は、何れか二つの畳み込み層の間に配置されるプーリング層を一つ以上有してもよく、各畳み込み層よりも出力側に一つ以上の全結合層を有してもよい。具体的に、物体候補領域抽出部４０１は、FASTER-RCNNといった２ステージ構成の物体検出用のＣＮＮにおける、物体候補領域抽出用のステージと同様の構成とすることができる。一つの例として、物体候補領域抽出部４０１は、RetinaNetであってもよい。

確信度算出部４０２は、物体候補領域抽出部４０１により抽出された物体候補領域のそれぞれについて、その物体候補領域に含まれる画素ごとに何らかの物体が表されている確からしさを表す確信度を算出する。そのために、確信度算出部４０２は、物体候補領域が入力される入力側から確信度が出力される出力側へ向けて順に複数の畳み込み層を有するＣＮＮとして構成される。確信度算出部４０２は、何れか二つの畳み込み層の間に配置されるプーリング層を一つ以上有してもよく、各畳み込み層よりも出力側に一つ以上のデコンボリューション層を有してもよい。具体的に、確信度算出部４０２は、目立つ領域を抽出するSaliency Detection用のＮＮと同様の構成とすることができる。あるいは、確信度算出部４０２は、セマンティックセグメンテーション用あるいはインスタンスセグメンテーション用のＮＮと同様の構成としてもよい。一つの例として、確信度算出部４０２は、SalNet、RetinaMaskまたはMaskTrackRCNNであってもよい。

なお、ＮＮ４００を学習する際には、何らかの物体が表されている画素が前景、その他の画素が背景であることを示すアノテーションが行われた複数の教師画像が用いられる。そしてＮＮ４００は、誤差逆伝搬法といった所定の学習手法に従って学習される。

もし仮に、物体検出部３１が利用するＮＮとして、Saliency Detection用のＮＮそのものが用いられたとすると、画像全体が前景か背景かで正規化されてしまい、必ずしも物体が表された領域だけが抽出されることにならない。一方、ＮＮ４００は、上記のような２ステージ構成を有することで、何らかの物体が表されている画素を精度良く検出することができる。

物体検出部３１は、各物体候補領域について、画素ごとに、その画素について算出された確信度を所定の閾値と比較する。そして物体検出部３１は、確信度が所定の閾値以上となる個々の画素に、何らかの物体が表されていると判定し、各物体候補領域について、何らかの物体が表されていると判定された画素の集合となる領域を、検出された物体が表された物体領域とする。

物体検出部３１は、各物体領域を表す情報を運転計画部３２へ出力する。

運転計画部３２は、各画像から検出された物体領域に基づいて、その物体領域に表された物体と車両１０とが衝突しないように、車両１０の現在位置から所定距離（例えば、500m～1km）先までの所定の区間における車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、所定の区間を車両１０が走行する際の各時刻における、車両１０の目標位置の集合として表される。

運転計画部３２は、走行予定経路を生成するために、物体検出部３１により検出された物体を追跡し、現時刻から所定時間先までの期間における、追跡された物体の軌跡を予測する。

例えば、運転計画部３２は、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、カメラ２により得られた最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡する。そのため、運転計画部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして運転計画部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、運転計画部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡してもよい。

運転計画部３２は、追跡中の各物体について、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、その物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。その際、運転計画部３２は、各画像の取得時における、車両１０の位置及び姿勢と、検出された物体までの推定距離と、車両１０からその物体へ向かう方向とにより、各画像の取得時における、検出された物体の位置を推定できる。なお、各画像取得時における車両１０の位置及び姿勢は、カメラ２により得られた画像と地図とを照合することで推定されればよい。また、運転計画部３２は、距離センサ３により得られた、検出された物体が位置する方位について測定された距離を、その物体までの推定距離とすればよい。そして運転計画部３２は、直近の所定期間における一連の鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いた予測処理を実行することで、その物体の所定時間先までの予測軌跡を推定することができる。

運転計画部３２は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となり、かつ、目的地までの走行予定ルートに沿うように、車両１０の走行予定経路を設定する。その際、運転計画部３２は、所定時間先までの各時刻における走行予定経路上の位置に最も近い追跡中の物体までの距離の和の逆数を評価関数として算出し、その評価関数が最小化されるように、動的計画法あるいは最急降下法といった所定の最適化手法に従って走行予定経路を設定すればよい。
なお、運転計画部３２は、複数の走行予定経路を生成してもよい。この場合、運転計画部３２は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３２は、生成した走行予定経路を車両制御部３３へ通知する。

車両制御部３３は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３３は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３３は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３３は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３３は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、物体検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０２の処理が物体検出処理に対応する。

プロセッサ２３の物体検出部３１は、画像をＮＮに入力することで、画像から１以上の物体候補領域を抽出するとともに、抽出された物体候補領域のそれぞれについて、その物体候補領域に含まれる画素ごとに何らかの物体が表されている確からしさを表す確信度を算出する（ステップＳ１０１）。そして物体検出部３１は、物体候補領域のそれぞれについて、確信度が所定の閾値以上となる画素の集合を、何らかの物体が表された物体領域として検出する（ステップＳ１０２）。

プロセッサ２３の運転計画部３２は、検出されている物体を追跡し、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０３）。そしてプロセッサ２３の車両制御部３３は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０４）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この物体検出装置は、画像をＮＮに入力することで、画像に表された物体を検出する。その際、ＮＮは、入力された画像から、何らかの物体が表されている可能性が有る領域を物体候補領域として抽出する。さらに、このＮＮは、物体候補領域に含まれる画素ごとに、何らかの物体が表されている確からしさを表す確信度を算出する。そしてこの物体検出装置は、物体候補領域において、確信度が所定の閾値以上となる画素の集合を、何らかの物体が表されている物体領域として検出する。これにより、この物体検出装置は、画像に未知の物体が表されていても、その未知の物体を検出することができる。

上記の実施形態による物体検出装置は、車両制御システム以外に適用されてもよい。例えば、上記の実施形態による物体検出装置は、屋外または屋内の所定の領域を監視するために設置される監視装置に適用されてもよい。

また、上記の実施形態による、物体検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１車両制御システム
２カメラ
３距離センサ
４電子制御装置（物体検出装置）
２１通信インターフェース
２２メモリ
２３プロセッサ
３１物体検出部
３２運転計画部
３３車両制御部

Claims

画像をニューラルネットワークに入力することで、前記ニューラルネットワークにより前記画像上で何らかの物体が表されている可能性が有る物体候補領域を抽出し、かつ、抽出された前記物体候補領域に含まれる画素ごとに、前記物体が表されている確からしさを表す確信度を算出し、前記ニューラルネットワークにより算出された前記確信度が所定の閾値以上となる画素の集合を、前記物体が表されている物体領域として検出する物体検出部、
を有する物体検出装置。