JP2020067818A - 画像選択装置及び画像選択方法 - Google Patents

Abstract

【課題】識別器の学習用の教師データとして利用するのに適した画像を適切に選択できる画像選択装置を提供する。【解決手段】画像選択装置は、車両１０に搭載された撮像部２から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器にその画像を入力することで、その画像上に表された物体を含む領域を検出する検出部３１と、一連の画像にわたって検出された物体を追跡する追跡部３２と、検出された物体を追跡できた期間が所定期間以上であり、かつ、一連の画像のうちの追跡できた期間中の何れかの画像における、検出された物体を含む領域のサイズが所定のサイズ閾値以上である場合、一連の画像のうち、追跡できた期間の直前の画像または追跡できた期間中において追跡された物体が表されていない画像を選択する選択部３３とを有する。【選択図】図３

Description

本発明は、車両に搭載された撮像部により得られた画像を選択する画像選択装置及び画像選択方法に関する。

従来より、画像に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるディープニューラルネットワーク（以下、単にＤＮＮと呼ぶ）を識別器として用いることで、検出精度を向上する技術が提案されている（例えば、非特許文献１及び２を参照）。

このような技術では、既知の物体が表された多数の画像を教師データとして用いて識別器を学習することで、識別器が入力された画像上に表されたその既知の物体を高精度に検出できるようになる。しかし、特殊なシチュエーションが表された画像のように、教師データに含めることが難しいような画像に対しては、識別器による検出精度は低下する。一方、マルチタスクのＤＮＮにおいて、各タスク間の等分散的な不確かさを考慮して複数の損失関数を重み付けすることで、検出精度を向上する技術が提案されている（例えば、非特許文献３を参照）。

Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年 Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年 Alex Kendall他、「Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics」、CVPR2018、2018年

しかしながら、非特許文献３に記載された技術では、演算量が多く、物体の検出に利用可能な演算リソースが限られている場合、あるいは、リアルタイム性が要求される場合には、その技術を適用することが困難となることがある。また、教師データとして利用可能な画像データを得るために、車両の走行中において車載のカメラにより得られた全ての画像を記録しようとすると、非常に大容量のメモリを車両に搭載するか、無線通信端末を介してサーバなどの車外の機器へ画像を送信し続けることが求められるので好ましくない。そのため、識別器の学習用の教師データとして利用するのに適した画像を適切に選択することが求められている。

そこで、本発明は、識別器の学習用の教師データとして利用するのに適した画像を適切に選択できる画像選択装置を提供することを目的とする。

一つの実施形態によれば、画像選択装置が提供される。この画像選択装置は、車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器にその画像を入力することで、その画像上に表された物体及びその画像上でその物体が含まれる領域を検出する検出部と、一連の画像にわたって検出された物体を追跡する追跡部と、検出された物体を追跡された追跡期間が所定期間以上であり、かつ、一連の画像のうちの追跡期間中の何れかの画像における、検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、一連の画像のうち、追跡期間の直前の画像または追跡期間中において追跡された物体が検出されていない画像を選択する選択部とを有する。

この画像選択装置において、選択部は、追跡期間の最初の画像において検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、追跡期間の直前の画像を選択することが好ましい。

またこの画像選択装置において、識別器は、一連の画像のそれぞれについて、入力された画像上で物体が写っている確からしさを表す確信度をさらに出力し、選択部は、追跡期間の直前の画像または追跡期間中においてその追跡された物体が検出されていない画像においてその追跡された物体についての確信度が所定の確信度閾値以上である場合に限り、その画像を選択することが好ましい。

さらに、この画像選択装置において、識別器は、一連の画像のそれぞれについて、検出された物体の種類をさらに出力し、選択部は、所定のサイズ閾値を検出された物体の種類に応じて設定することが好ましい。

さらにまた、この画像選択装置において、識別器は、一連の画像のそれぞれについて、検出された物体の種類をさらに出力し、選択部は、選択した画像とともに、追跡期間において追跡された物体の種類を記憶することが好ましい。

さらにまた、この画像選択装置において、選択部は、追跡期間中において追跡された物体が検出されていない画像において他の物体が検出されていないか、または追跡された物体が検出されていない画像の前後の画像において検出された他の物体が追跡された物体の所定範囲内に位置していない場合に限り、追跡された物体が検出されていない画像を選択することが好ましい。

本発明の他の形態によれば、画像選択方法が提供される。この画像選択方法は、車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器にその画像を入力することで、その画像上に表された物体及びその画像上でその物体が含まれる領域を検出し、一連の画像にわたって検出された物体を追跡し、検出された物体を追跡できた追跡期間が所定期間以上であり、かつ、一連の画像のうちの追跡期間中の何れかの画像における、検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、一連の画像のうち、追跡期間の直前の画像または追跡期間中において追跡された物体が検出されていない画像を選択する、ことを含む。

本発明のさらに他の形態によれば、画像選択装置が提供される。この画像選択装置は、車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器にその画像を入力することで、その画像上に表された物体を検出する検出部と、一連の画像にわたって前記検出された物体を追跡する追跡部と、検出された物体を追跡された期間が所定期間未満である場合、一連の画像のうちの追跡された期間内の何れかの画像を選択する選択部とを有する。

本発明に係る画像選択装置は、識別器の学習用の教師データとして利用するのに適した画像を適切に選択できるという効果を奏する。

画像選択装置が実装される車両制御システムの概略構成図である。 画像選択装置の一つの実施形態である電子制御装置のハードウェア構成図である。 画像選択処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 画像選択処理の概要の説明図である。 画像選択処理を含む、車両制御処理の動作フローチャートである。 変形例による、画像選択処理の概要の説明図である。

以下、図を参照しつつ、画像選択装置について説明する。この画像選択装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された時系列の一連の画像のそれぞれを、物体検出用に予め学習された識別器に入力することで、それらの画像に表された物体を検出する。そしてこの画像選択装置は、検出された物体を追跡して、追跡できた期間が所定期間以上となり、かつ、一連の画像のうちの追跡できた期間中の何れかの画像における、検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、一連の画像のうち、追跡できた期間の直前の画像または追跡できた期間中においてその追跡された物体が表されていない画像を選択する。これにより、この画像選択装置は、何らかの理由で物体の検出に失敗した可能性が高い画像を選択できる。そして識別器が物体の検出に失敗した画像は、識別器の学習用の教師データとして適している。そのため、この画像選択装置は、識別器の学習用の教師データに適した画像を選択できる。

以下では、画像選択装置を、車両制御システムに適用した例について説明する。この例では、画像選択装置は、車両に搭載されたカメラにより得られた画像に対して画像選択処理を実行することで、画像を選択し、選択した画像を車載の無線通信端末を介して車外のサーバへ送信する。さらに、この画像選択装置は、画像からの物体の検出結果を、車両の運転制御に利用する。

図１は、画像選択装置が実装される車両制御システムの概略構成図である。また図２は、画像選択装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、無線通信端末３と、画像選択装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２及び無線通信端末３とＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク５を介して通信可能に接続される。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。

カメラ２は、画像を生成する度に、その生成した画像を車内ネットワーク５を介してＥＣＵ４へ出力する。

無線通信端末３は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、サーバ１１と接続される通信ネットワーク１２とゲートウェイ（図示せず）などを介して接続される無線基地局１３にアクセスすることで、無線基地局１３及び通信ネットワーク１２を介してサーバ１１と接続される。そして無線通信端末３は、ＥＣＵ４から受け取った画像などを無線信号に含めて、その無線信号を無線基地局１３へ送信することで、その画像などをサーバ１１へ送信する。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、車内通信部の一例であり、ＥＣＵ４を車内ネットワーク５に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク５を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される画像選択処理において使用される各種のデータ、例えば、カメラ２から受信した画像、画像選択処理で利用される識別器を特定するための各種パラメータ、及び、画像選択処理で利用される各種閾値などを記憶する。さらに、メモリ２２は、地図情報などを記憶してもよい。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して画像選択処理を実行する。さらに、プロセッサ２３は、受信した画像から検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、画像選択処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、選択部３３と、運転計画部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３１、追跡部３２及び選択部３３が、画像選択処理を実行する。

物体検出部３１は、カメラ２により生成された、時系列の一連の画像のそれぞれにおいて、その画像に写っている物体を検出して、その物体が含まれる領域を特定する。

例えば、物体検出部３１は、カメラ２から画像を取得する度に、その画像をメモリ２２に記憶するとともに、その画像を識別器に入力することで、入力された画像に表された物体を検出する。物体検出部３１は、そのような識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。物体検出部３１は、そのようなＤＮＮとして、例えば、非特許文献１に記載されたSingle Shot MultiBox Detector（ＳＳＤ）、または、非特許文献２に記載されたFaster R-CNNといった、コンボリューションニューラルネットワーク型のアーキテクチャを持つＤＮＮを用いることができる。この場合、物体検出部３１が画像をＤＮＮタイプの識別器に入力することで、その識別器は、入力された画像上の様々な領域において、検出対象となる物体の種類（例えば、車、人、道路標識）ごとに、その物体がその領域に表されている確からしさを表す確信度を算出し、何れかの種類の物体についての確信度が所定の検出閾値以上となる領域に、その種類の物体が表されていると判定する。そして識別器は、入力された画像上で検出対象となる物体が含まれる領域（例えば、検出対象となる物体の外接矩形、以下、物体領域と呼ぶ）を表す情報、及び、物体領域に表された物体の種類を表す情報を出力する。

あるいは、物体検出部３１は、ＤＮＮ以外の識別器を用いてもよい。例えば、物体検出部３１は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients, ＨＯＧ）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をＳＶＭへ入力することで、そのウィンドウについて確信度を求める。そして物体検出部３１は、確信度が所定の検出閾値以上である場合、そのウィンドウを、検出対象となる物体が表された物体領域とする。

物体検出部３１は、画像から検出された物体領域の位置及び範囲と、検出された物体の種類とを、追跡部３２及び運転計画部３４へ出力する。

追跡部３２は、一連の画像から検出された物体を、所定のトラッキング手法に従って追跡する。
例えば、追跡部３２は、各画像に対してカメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、その画像を鳥瞰画像に変換する。その際、追跡部３２は、画像上での検出された物体領域のサイズに基づいて車両１０からその物体までの距離を推定し、推定した距離に基づいて鳥瞰画像上での検出された物体上の各点の位置を特定してもよい。例えば、検出対象となる物体の種類ごとに、メモリ２２に、車両１０からその物体までの距離が所定の基準距離である場合の画像上のその物体の基準サイズが予め記憶される。そして追跡部３２は、画像上での検出された物体領域のサイズに対する、その検出された物体に対応する基準サイズの比を、基準距離に乗じて得られる距離を、検出された物体までの推定距離とすることができる。そして追跡部３２は、一連の鳥瞰画像に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、各鳥瞰画像間で、検出された物体のうちの同じものを対応付けることで、一連の画像から検出された物体を追跡する。

あるいは、追跡部３２は、オプティカルフローに基づくトラッキング処理に従って、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで、一連の画像から検出された物体を追跡してもよい。

追跡部３２は、一連の画像間で同一物体として対応付けられた物体が表された各画像の物体領域に、他の物体が表された物体領域とは異なるラベルを付すことで、追跡中の物体ごとに、その物体が表された物体領域を識別する。そして追跡部３２は、追跡中の物体のそれぞれについて、その物体に対応するラベル及びそのラベルが付された各画像の物体領域を選択部３３に通知する。さらに追跡部３２は、追跡中の各物体の各鳥瞰画像上の位置といった追跡結果を運転計画部３４へ出力する。

選択部３３は、一連の画像の中から、追跡中の物体のそれぞれについて、その物体が表されているにもかかわらず、その物体の検出に失敗した可能性がある画像を選択する。

本実施形態では、選択部３３は、追跡中の物体のうち、所定期間（例えば、1秒間〜30秒間）以上にわたって追跡できた物体、すなわち、その所定期間以上にわたって連続して得られた画像のそれぞれにおいて検出された物体を選択する。そして選択部３３は、選択した物体に関して、その追跡中の期間に得られた何れかの画像において、その物体が表された物体領域のサイズが所定のサイズ閾値以上である場合、その物体が最初に検出された画像の直前の画像を選択する。なお、物体領域のサイズは、例えば、物体領域の面積、物体領域の幅または高さ、あるいは、物体領域の対角線の長さとすることができる。

検出された物体が画像上である程度のサイズを持っているのであれば、その物体の追跡が開始される直前の画像にも、その物体が写っている可能性がある。そのため、その物体の追跡が開始される直前の画像では、その物体の検出に失敗している可能性がある。そこで、選択部３３は、そのような画像を選択することで、識別器の学習に適した画像を選択することができる。

なお、選択部３３は、検出された物体が表された物体領域のサイズとサイズ閾値とを比較する画像を、追跡が開始された最初の画像とすることが好ましい。追跡が開始された時点で一定以上のサイズで検出された物体が写っている場合、その直前の画像にもそのサイズ程度の物体が写っている可能性が高いので、選択部３３は、物体の検出に失敗した可能性がある画像をより適切に選択できる。

また、サイズ閾値は、検出された物体の種類に応じて設定されることが好ましい。その際、標準的なサイズが大きい物体の種類ほど、サイズ閾値も大きく設定されることが好ましい。例えば、バスまたはトラックといった大型車両についてのサイズ閾値は、普通乗用車についてのサイズ閾値より大きいことが好ましい。同様に、普通乗用車についてのサイズ閾値は、人またはバイクについてのサイズ閾値よりも大きいことが好ましい。この場合、メモリ２２に、物体の種類ごとのサイズ閾値が予め記憶される。そして選択部３３は、着目する追跡中の物体の種類に応じて、メモリ２２からその物体の種類に応じたサイズ閾値を読み込んでその物体が表された物体領域のサイズとの比較に用いればよい。このように、検出された物体の種類に応じてサイズ閾値を設定することで、選択部３３は、その物体について検出に失敗した可能性のある画像をより適切に選択できる。

図４は、画像選択処理の概要の説明図である。図４に示されるように、カメラ２により得られた一連の画像４００−１〜４００−ｎ（ｎは３以上の整数）のうち、画像４００−ｋ〜４００−ｍ（ｋ＞１、かつ、ｋ＜ｍ≦ｎ）において車両が検出されており、かつ、追跡されている（すなわち、画像４００−ｋ〜４００−ｍが得られた期間が追跡期間）。そして画像４００−ｋにおいて、追跡された車両が表された物体領域４１０のサイズがサイズ閾値以上であるとする。この場合、画像４００−(k-1)が選択される。

変形例によれば、選択部３３は、物体検出部３１が使用する識別器により、追跡中の物体が最初に検出された画像の直前の画像上の何れかの領域について求められたその追跡中の物体の種類についての確信度が所定の確信度閾値以上である場合に限り、追跡中の物体が最初に検出された画像の直前の画像を選択してもよい。なお、確信度閾値は、物体が表されていると判定される検出閾値よりも低い値に設定される。このように、追跡中の物体の種類についての確信度がある程度高い領域を含む画像を選択することで、選択部３３は、検出すべき物体が実際には写っていない画像が選択されることを抑制できる。

選択部３３は、選択した画像について、選択したことを表すフラグ（以下、単に選択フラグと呼ぶ）を対応付ける。さらに、選択部３３は、選択した画像について、その選択の根拠となった、追跡中の物体の種類を表す情報を対応付けてもよい。

選択部３３は、メモリ２２に記憶されている画像のうち、カメラ２から取得してから一定期間（例えば、1分〜10分）以上経過し、かつ、選択フラグが対応付けられていない画像をメモリ２２から消去してもよい。

選択部３３は、一定の周期ごと、所定数の画像が選択される度、あるいは、車両１０のエンジンが停止されると、選択フラグが対応付けられた画像をメモリ２２から読み込み、読み込んだ画像を含む画像送信信号を生成する。そして選択部３３は、画像送信信号を、通信インターフェース２１を介して無線通信端末３へ出力することで、その画像送信信号をサーバ１１へ送信する。その際、選択フラグが対応付けられた画像に追跡中の物体の種類を表す情報が対応付けられている場合、選択部３３は、その追跡中の物体の種類を表す情報も画像送信信号に含めてもよい。これにより、選択部３３は、選択された画像において検出に失敗している可能性のある物体の特定を容易化できる。

選択部３３は、選択された画像をサーバ１１へ送信した後、選択された画像をメモリ２２から消去してもよい。

運転計画部３４は、各画像について検出された、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３４は、追跡部３２による追跡結果により得られた追跡中の各物体の軌跡から、各物体の所定時間先までの予測軌跡を推定する。運転計画部３４は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３４は、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３４は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３４は、複数の走行予定経路を生成してもよい。この場合、運転計画部３４は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３４は、生成した走行予定経路を車両制御部３５へ通知する。

車両制御部３５は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、画像選択処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１〜Ｓ１０８の処理が画像選択処理に対応する。

プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像をメモリ２２に記憶する（ステップＳ１０２）。そして物体検出部３１は、その最新の画像から物体を検出し、検出した物体が表された物体領域を求める（ステップＳ１０２）。

プロセッサ２３の追跡部３２は、過去の画像及び最新の画像から検出された物体を追跡する（ステップＳ１０３）。そしてプロセッサ２３の選択部３３は、追跡中の物体のうち、所定期間以上にわたって追跡できた物体が有るか否か判定する（ステップ１０４）。所定期間以上にわたって追跡できた物体が有れば（ステップＳ１０４−Ｙｅｓ）、選択部３３は、その物体が追跡された期間の何れかの画像で、追跡中の物体が含まれる物体領域のサイズが所定のサイズ閾値Th以上となるか否か判定する（ステップＳ１０５）。

何れかの画像において、物体領域のサイズが所定のサイズ閾値Th以上となる場合（ステップＳ１０５−Ｙｅｓ）、選択部３３は、メモリ２２に記憶されている画像のうち、物体が追跡された期間の直前の画像を選択する（ステップＳ１０６）。そして選択部３３は、選択した画像を含む画像送信信号を生成し、生成した画像送信信号を、無線通信端末３を介してサーバ１１へ送信する（ステップＳ１０７）。

ステップＳ１０７の後、ステップＳ１０４にて所定期間以上にわたって追跡できた物体が無い場合（ステップＳ１０４−Ｎｏ）、あるいは、ステップＳ１０５にて物体領域のサイズが所定のサイズ閾値Th以上となる画像が無い場合（ステップＳ１０５−Ｎｏ）、選択部３３は、カメラ２から取得してから所定時間を経過した画像をメモリ２２から消去する（ステップＳ１０８）。

プロセッサ２３の運転計画部３４は、追跡中の物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０９）。そしてプロセッサ２３の車両制御部３５は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１１０）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この画像選択装置は、車両に搭載されたカメラにより生成された、時系列の一連の画像のそれぞれを識別器に入力することで各画像から物体を検出し、検出できた物体を追跡する。そしてこの画像選択装置は、一定期間以上追跡できた物体について、その追跡中の期間の何れかの画像においてその物体が含まれる物体領域のサイズが所定のサイズ閾値以上である場合にその期間の直前の画像を選択する。これにより、この画像選択装置は、追跡された物体が写っているにもかかわらず、検出に失敗した可能性のある画像を選択できる。物体の検出に失敗した画像は、識別器の学習に利用することで識別器による物体の検出精度向上に有用である。したがって、この画像選択装置は、識別器の学習用の教師データとして利用するのに適した画像を適切に選択できる。

変形例によれば、選択部３３は、選択された画像をサーバ１１に送信しなくてもよい。この場合には、例えば、車両１０がメンテナンスされるときなどに、メモリ２２に記憶されているデータ読み出し用の外部の機器が車内ネットワーク５に接続されてもよい。そして選択された画像は、メモリ２２から通信インターフェース２１を介して車内ネットワーク５と接続された外部の機器へ読み出されてもよい。この変形例によれば、画像選択装置は、無線通信の負荷を軽減できる。またこの変形例によれば、無線通信端末３は省略されてもよい。

他の変形例によれば、追跡部３２は、直前に得られた画像まで追跡されていた物体に関して、カメラ２により得られた最新の画像においてその物体が検出されなくても、それ以降に得られた画像において再度その物体と同じ種類の物体が検出されたときに、その同じ種類の物体が、追跡されていた物体と同じであるとして、追跡を継続してもよい。その際、追跡部３２は、追跡中の物体の軌跡に基づいて、Kalman Filterなどを適用してその物体が再度検出された時の画像上でのその物体の位置を予測し、予測した位置と再度検出された物体の位置との差が所定の距離閾値未満である場合に限り、追跡を継続してもよい。この場合には、選択部３３は、物体の追跡が継続されている期間が所定期間以上となり、かつ、その追跡が継続されている期間中の何れかの画像においてその物体が表された物体領域のサイズが所定のサイズ閾値以上である場合に、物体の追跡が継続されている期間中においてその物体が検出されなかった画像を選択してもよい。この場合も、追跡中の物体が検出されなかった画像は、追跡中の物体の検出に失敗している可能性がある。そのため、この変形例においても、選択部３３は、識別器の学習用の教師データとして利用するのに適した画像を選択できる。なお、この場合には、検出された物体が表された物体領域のサイズと所定のサイズ閾値とが比較される画像は、物体が検出されなかった画像の直前または直後の画像であることが好ましい。これにより、選択部３３は、物体の検出に失敗した可能性がある画像をより適切に選択できる。また、この変形例においても、選択部３３は、物体が検出されなかった画像において、追跡中の物体の種類についての確信度が所定の確信度閾値以上である場合に限り、その画像を選択してもよい。

図６は、この変形例による、画像選択処理の概要の説明図である。図６に示されるように、カメラ２により得られた一連の画像６００−１〜６００−ｎ（ｎは３以上の整数）のうち、画像６００−ｋ〜６００−ｍ（ｋ≧１、かつ、ｋ＜ｍ≦ｎ）において物体が検出されており、かつ、追跡されている（すなわち、画像６００−ｋ〜６００−ｍが得られた期間が追跡期間）。そして追跡期間中の画像６００−ｊ（ｋ＜ｊ＜ｍ）において、追跡中の物体が検出されず、かつ、追跡期間中の何れかの画像において追跡中の物体が表された領域のサイズがサイズ閾値以上であるとする。この場合、画像６００−ｊが選択される。

なお、検出された物体の追跡中に、一時的にその物体が他の物体に隠れることがある。このような場合には、画像上にその追跡中の物体が表されていないので、その画像は、識別器の学習に適しているとは限らない。そこで、選択部３３は、物体の追跡が継続されている期間中においてその物体が検出されなかった画像において、他の物体が検出されており、かつ、他の物体が含まれる物体領域の重心が、その画像の直前または直後において追跡された物体が含まれる物体領域の重心から所定範囲内に位置している場合には、その物体が検出されなかった画像を選択しなくてもよい。すなわち、選択部３３は、物体の追跡が継続されている期間中においてその物体が検出されなかった画像において、他の物体が検出されていないか、あるいは、その画像の直前または直後において追跡された物体が含まれる物体領域の重心から所定範囲内に他の物体が含まれる物体領域の重心が位置していない場合に限り、その物体が検出されなかった画像を選択してもよい。

さらに他の変形例によれば、選択部３３は、検出された物体を追跡できた期間が所定期間未満である場合、その期間中に得られた画像の何れかを選択してもよい。これは、追跡できた期間が短い物体は誤検出されたものである可能性があるためである。

また、上記の実施形態または変形例による、画像選択装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 無線通信端末
４ 電子制御装置（画像選択装置）
５ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 選択部
３４ 運転計画部
３５ 車両制御部
１０ 車両
１１ サーバ
１２ 通信ネットワーク
１３ 無線基地局

Claims (8)

1. 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体及び当該画像上で当該物体が含まれる領域を検出する検出部と、
   前記一連の画像にわたって前記検出された物体を追跡する追跡部と、
   前記検出された物体が追跡された追跡期間が所定期間以上であり、かつ、前記一連の画像のうちの前記追跡期間中の何れかの画像における、前記検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、前記一連の画像のうち、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像を選択する選択部と、
   を有する画像選択装置。
2. 前記選択部は、前記追跡期間の最初の画像において前記検出された物体が含まれる領域のサイズが前記所定のサイズ閾値以上である場合、前記追跡期間の直前の画像を選択する、請求項１に記載の画像選択装置。
3. 前記識別器は、前記一連の画像のそれぞれについて、入力された画像上で物体が写っている確からしさを表す確信度をさらに出力し、
   前記選択部は、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像において当該追跡された物体についての前記確信度が所定の確信度閾値以上である場合に限り、当該画像を選択する、請求項１または２に記載の画像選択装置。
4. 前記識別器は、前記一連の画像のそれぞれについて、前記検出された物体の種類をさらに出力し、
   前記選択部は、前記所定のサイズ閾値を前記検出された物体の種類に応じて設定する、請求項１〜３の何れか一項に記載の画像選択装置。
5. 前記識別器は、前記一連の画像のそれぞれについて、前記検出された物体の種類をさらに出力し、
   前記選択部は、前記選択した画像とともに、前記追跡期間において追跡された物体の種類を記憶する、請求項１〜４の何れか一項に記載の画像選択装置。
6. 前記選択部は、前記追跡期間中において当該追跡された物体が検出されていない画像において他の物体が検出されていないか、または当該追跡された物体が検出されていない画像の前後の画像において検出された他の物体が当該追跡された物体の所定範囲内に位置していない場合に限り、当該追跡された物体が検出されていない画像を選択する、請求項１〜５の何れか一項に記載の画像選択装置。
7. 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体及び当該画像上で当該物体が含まれる領域を検出し、
   前記一連の画像にわたって前記検出された物体を追跡し、
   前記検出された物体を追跡された追跡期間が所定期間以上であり、かつ、前記一連の画像のうちの前記追跡期間中の何れかの画像における、前記検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、前記一連の画像のうち、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像を選択する、
   画像選択方法。
8. 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体を検出する検出部と、
   前記一連の画像にわたって前記検出された物体を追跡する追跡部と、
   前記検出された物体が追跡された期間が所定期間未満である場合、前記一連の画像のうちの当該期間内の何れかの画像を選択する選択部と、
   を有する画像選択装置。

Images