JP2023106029A - 車載カメラ装置、車載カメラシステム、および、画像保存方法 - Google Patents

Abstract

【課題】実走行環境下で撮像された画像のなかから、外部環境の誤認識の発生前後の画像を自動的に抽出して保存する車載カメラ装置を提供する。【解決手段】物体を識別する車載カメラ装置であって、自車両の自動制御のフィードバックを受ける制御フィードバック部と、運転者の運転操作情報に基づき誤った自動制御を判定する誤制御判定部と、画像を保存する画像保存部を備え、誤った自動制御と判定された際に画像を保存する車載カメラ装置。【選択図】図３

Description

本発明は、走行中に撮像した画像から、機械学習用の学習データを生成するする車載カメラ装置、車載カメラシステム、および、画像保存方法に関する。

近年、自動運転（ＡＤ、Autonomous Driving）システムや、先進運転支援システム（ＡＤＡＳ、Advanced Driver-Assistance Systems）を搭載した車両が普及しつつある。これらのシステムの実現には、車両の外部環境（他車両、歩行者、自転車、静止障害物、および、それらの位置、速度、移動方向など）を正確に認識する必要がある。そのため、車両の搭載されたカメラの出力データを、画像認識処理を行い、車両の外部環境を認識している。前記画像認識処理には機械学習を用いたものもある。

機械学習は、多様な状況下のデータを学習に用いる。機械学習に用いるデータ（以下「学習データ」と呼ぶ）の多様性を高めれば、それらを機械学習したＡＩネットワークの認識精度を改善することができる。そして、学習データの多様性を高めるための技術として、運転手の手動運転操作に基づき、車載センサの出力データから学習データを取得する、特許文献１の学習データ生成装置が知られている。

特許文献１の要約書には、課題として「手動運転時の運転操作を基づいて、精度の高い自動運転時の運転操作を実現させるための学習データを生成する。」と記載されており、その解決手段として「学習データ生成装置は、各種データを記憶する記憶部と、画像を表示可能な表示部と、車両の走行環境に関する情報を取得する走行環境取得部と、車両の操作に関する入力を取得する操作取得部と、走行環境に関する情報と、操作に関する入力と、を対応付けた学習データを生成する制御部と、を備え、制御部は、走行環境取得部により取得された走行環境に関する情報を表示部に表示させ、その際に操作取得部により取得された操作に関する入力と、表示させた走行環境に関する情報とを対応付けた学習データを生成する。」と記載されている。

特開２０２０－１６０５１３号公報

特許文献１の学習データ生成装置は、要約書の課題欄に「精度の高い自動運転時の運転操作を実現させるための学習データを生成する。」とあるように、精度の高い自動運転の実現を最終目的とするものである。

しかしながら、特許文献１の学習データ生成装置は、同文献の段落００２２に「シミュレータシステム（学習データ生成装置）１は、車両が仮想的に構築された走行環境を走行し、走行中の運転手の運転操作を取得するシステムである。」とあるように、仮想的に構築された所与の走行環境下での運転手の手動運転操作を学習データとする装置でしかなく、実走行環境下で発生する様々な状況での取得データを学習データとするものではないため、シミュレータの設計者や運用者が想定しきれない状況を学習することができず、未学習の状況下では自動運転の精度を十分に担保できない可能性があった。

一方、実走行環境下で生成されるセンサ出力を学習データとすることで学習データ量を増やし、ＡＩネットワークに様々な走行環境を機械学習させる学習方法も考えられる。この場合、膨大な学習データを容易に生成できるが、膨大な学習データの保存に膨大な記憶容量が必要となることや、学習データの正解ラベルを与えるアノテーション作業も膨大となること、更に膨大な学習データの大部分がＡＩネットワークの改善に寄与しない正常認識時の学習データであり、機械学習の大部分が無効な学習となることを考慮すれば、この学習方法も現実的な方法ではなかった。

ここで、実走行環境下で生成した膨大な学習データから、ＡＩネットワークの改善に寄与しない学習データを除外し、改善に寄与する学習データのみを抽出することができれば、ＡＩネットワークの機械学習時の無効な学習を抑制できるが、そのような学習データの抽出方法については、従来具体的な提案がされていなかった。

そこで、本発明は、実走行環境下で撮像された様々な画像の中から、問題のあるＡＩネットワークの改善に寄与する、外部環境の誤認識の発生前後の画像を自動的に抽出して保存する車載カメラ装置、車載カメラシステム、および、画像保存方法を提供することを目的とする。

上記課題を解決するため、本発明の車載カメラ装置は、自車両の自動制御のフィードバックを受ける制御フィードバック部と、運転者の運転操作情報に基づき誤った自動制御を判定する誤制御判定部と、画像を保存する画像保存部を備え、誤った自動制御と判定された際に画像を保存するものとした。

本発明により、実走行環境下で撮像された様々な画像の中から、問題のあるＡＩネットワークの改善に寄与する、外部環境の誤認識の発生前後の画像を自動的に抽出して保存することができる。上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。

自車両に搭載した車載カメラ装置の視野画角を説明する俯瞰図。 各視野領域の相関関係を示す図。 一実施例に係る車載カメラシステムの機能ブロック図。 誤識別発生時の自車両の挙動を説明する俯瞰図。 誤識別の前後の画像の保存処理を説明するフローチャート。 誤追跡発生時の車両の挙動を説明する俯瞰図。 図６Ａの凡例。 誤追跡の前後の画像の保存処理を説明するフローチャート。 誤識別発生時の自車両の挙動を説明する俯瞰図。 誤識別の前後の画像の保存処理を説明するフローチャート。

以下、図１から図７を参照して、本発明の車載カメラ装置１００、および、同装置を備えた車載カメラシステムの実施例を説明する。

本実施例に係る車載カメラ装置１００は、運転者の意に反するＡＤ制御やＡＤＡＳ制御の原因となった画像を、運転者の手動運転操作の内容を踏まえて特定して保存するとともに、保存した画像を用いて外部環境認識用のＡＩネットワークに追加学習させる装置である。また、本実施例に係る車載カメラシステムは、車載カメラ装置１００と、該装置の出力に基づいて自車両を制御する車両制御システム２００と、を備えたシステムである。以下、各々の詳細を順次説明する。

図１は、自車両に搭載した車載カメラ装置１００の視野画角を説明する平面図である。ここに示すように、車載カメラ装置１００は、自車両のフロントガラス内面などに前方を向けて取り付けられており、左撮像部１Ｌと右撮像部１Ｒを内蔵している。左撮像部１Ｌは、車載カメラ装置１００の左側に配された、左画像Ｐ_Ｌを撮像するための撮像部であり、その光軸Ａ_Ｌは自車両の前方を向き、光軸Ａ_Ｌに対して右側により広い右視野Ｖ_Ｒを有する。また、右撮像部１Ｒは、車載カメラ装置１００の右側に配された、右画像Ｐ_Ｒを撮像するための撮像部であり、その光軸Ａ_Ｒは自車両の前方を向き、光軸Ａ_Ｒに対して左側により広い左視野Ｖ_Ｌを有する。

なお、図示するように、右視野Ｖ_Ｒと左視野Ｖ_Ｌは自車両の前方で重複している。以下では、この重複する視野領域を「ステレオ視野領域Ｒ_Ｓ」と呼び、右視野Ｖ_Ｒからステレオ視野領域Ｒ_Ｓを除いた視野領域を「右単眼視野領域Ｒ_Ｒ」と呼び、左視野Ｖ_Ｌからステレオ視野領域Ｒ_Ｓを除いた視野領域を「左単眼視野領域Ｒ_Ｌ」と呼ぶ。

図２は、上記した各視野領域の相関関係を示す図である。上段は左撮像部１Ｌが撮像した左画像Ｐ_Ｌ、中段は右撮像部１Ｒが撮像した右画像Ｐ_Ｒ、下段は左画像Ｐ_Ｌと右画像Ｐ_Ｒを合成した合成画像Ｐ_Ｃである。合成画像Ｐ_Ｃは、図示するように、右単眼視野領域Ｒ_Ｒと、ステレオ視野領域Ｒ_Ｓと、左単眼視野領域Ｒ_Ｌに分けられる。

図３は、本実施例に係る車載カメラシステムの機能ブロック図である。ここに示すように、本実施例の車載カメラシステムは、車載カメラ装置１００と、車両制御システム２００を備えたシステムであり、後述する各センサの出力データを受信するものである。

車載カメラ装置１００は、上記した左撮像部１Ｌと右撮像部１Ｒに加え、ステレオマッチング部２と、単眼検知部３と、単眼測距部４と、テンプレート作成部５と、画像記憶部６と、類似箇所探索部７と、画角特定部８と、ステレオ検知部９と、速度算出部１０と、車両情報入力部１１と、ステレオ測距部１２と、種別識別部１３と、運転者操作入力部１４と、識別履歴記憶部１５と、追跡履歴記憶部１６と、位置履歴記憶部１７と、速度履歴記憶部１８と、誤識別特定部１９と、誤追跡特定部２０と、誤制御判定部２１と、誤認識画像保存部２２と、制御フィードバック部２３と、追加学習部２４と、を備える。また、車載カメラ装置１００は、自車両に搭載される車両速度センサ３１と、車両舵角センサ３２と、ヨーレートセンサ３３と、ステアリングセンサ３４と、アクセルペダルセンサ３５と、ブレーキペダルセンサ３６に接続されており、各センサの出力データを受信する。

なお、車載カメラ装置１００の構成のうち、左撮像部１Ｌと右撮像部１Ｒを除く構成は、具体的には、演算装置、記憶装置、通信装置などのハードウェアを備えたコンピュータである。そして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等の演算装置が、プログラム記録媒体または車外の配布サーバから取得した所定のプログラムを実行することで、ステレオマッチング部２などの各処理部を実現し、また、半導体メモリ等の記憶装置が、識別履歴記憶部１５などの各記憶部を実現するが、以下では、このようなコンピュータ分野の周知技術を適宜省略することとする。

車両制御システム２００は、車載カメラ装置１００、および、上記各センサと接続されており、車載カメラ装置１００の認識結果に応じて、自車両の警報やブレーキやステアリングを、衝突回避や軽減、先行車追従、自車線走行維持などの目的で自動的に制御するシステムである。

＜車載カメラ装置１００の詳細＞
以下、本実施例の車載カメラ装置１００の各部詳細を説明する。

左撮像部１Ｌおよび右撮像部１Ｒは、光を電気信号に変換する撮像センサ（ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等）を備えた単眼カメラである。各撮像センサで電気信号に変換された情報は、さらに各撮像部内で、撮像画像を表す画像データに変換される。左撮像部１Ｌおよび右撮像部１Ｒで撮像した画像は、左画像Ｐ_Ｌおよび右画像Ｐ_Ｒとして、所定周期（例えば１７ｍｓ毎）に、ステレオマッチング部２、単眼検知部３、単眼測距部４、テンプレート作成部５、画像記憶部６、類似箇所探索部７、および、画角特定部８に送信される。

ステレオマッチング部２は、左撮像部１Ｌおよび右撮像部１Ｒから画像データを含むデータを受信し、これを処理することにより視差を演算する。視差とは、複数の撮像部の位置の違いから生じる、同一物体の写る画像座標の差である。視差は、近距離のものは大きく、遠距離のものは小さくなり、視差から距離を算出することが可能である。また、ステレオマッチング部２では、左画像Ｐ_Ｌおよび右画像Ｐ_Ｒの画像データの歪みを補正する。例えば、中心射影や透視投影モデルと言われる、同一の高さで同一の奥行距離の物体が、画像座標の水平に並ぶように画像データの歪を補正する。なお、水平方向に並ぶように補正するのは、左撮像部１Ｌと右撮像部１Ｒが左右方向に並んで配されているためである。補正された左画像Ｐ_Ｌおよび右画像Ｐ_Ｒを用いて、これらの一方を基準となる基準画像データとし、他方を比較対象とする比較画像データとして視差を求める。

視差を求める際は、まず前述の基準画像データと、比較画像データの消失点の垂直座標を合わせる。そして、基準画像データの各座標に対して、比較画像データの同一垂直座標のどの水平座標が同一物体を映しているのかを、例えば、ＳＳＤ（Sum of Squared Difference）や、ＳＡＤ（Sum of Absolute Difference）などの手法で検査する。ただし、ＳＳＤやＳＡＤに限定されず、そのほかの手法でもよい、例えばコーナー特徴点抽出を行い、同一特徴点かを検査する、ＦＡＳＴ（Features from Accelerated Segment Test）やＢＲＩＥＦ（Binary Robust Independent Elementary Features）などの手法を組み合わせて同一物体のマッチングを行ってもよい。

単眼検知部３は、左画像Ｐ_Ｌまたは右画像Ｐ_Ｒに映る特定の立体物を検知する。ここで、特定の立体物とは、適正なＡＤ制御やＡＤＡＳ制御を実現するために検知が必要な物体であり、具体的には、自車両周囲の歩行者、他車両、自転車などである。単眼検知部３での検知は車載カメラから一定の範囲内の立体物を検知対象とする。単眼検知部３による検知結果には、検知物体の写る左画像Ｐ_Ｌまたは右画像Ｐ_Ｒの画像座標の情報を含む。例えば、検知物体を囲む長方形の枠（以下、「単眼検知枠」と呼ぶ）の左上と左下の垂直水平の画像座標として、検知結果を保持する。

ステレオ検知部９は、ステレオマッチング部２で作成した視差画から、同一距離で一定のサイズの範囲の箇所を立体物として検知する。ステレオ検知部９による検知結果には、検知物体の視差画座標情報を含む。例えば、検知物体を囲む長方形の枠（以下、「ステレオ検知枠」と呼ぶ）の左上と左下の垂直水平の画像座標として、検知結果を保持する。

種別識別部１３は、単眼検知部３やステレオ検知部９で検知した物体の種別を、テンプレート画像やパターンや機械学習の辞書などの識別ネットワークを用いて識別する。種別識別部１３で識別した物体の種別が、四輪車、二輪車、歩行者である場合は、それらの移動方向となる物体の前面の向きが、何れの向きなのかも特定し、自車両の前方を横断することが想定される移動体（背景に対して動いている立体物）であるかも識別する。これらの移動体の前面の向きは、車載カメラ装置１００に対しての物体の前面の向きである。本実施例では、直交に近い移動方向に限定して動作する。直交に近い移動方向かは、画角と車載カメラ装置１００に対する物体の前面の向きにより判断する。例えば、車載カメラ装置１００の右側に写る物体の場合、物体の進行する向きの面と側面とが写る。４５°の角度の場合は、前面と側面が４５°の向きで見える場合に直交に近い移動方向の物体と分かる。種別識別部１３は、直交に近い移動方向の物体か否かの判断結果を、速度算出部１０に伝達する。

単眼測距部４は、単眼検知部３で検知された特定の物体の位置を特定し、左撮像部１Ｌまたは右撮像部１Ｒからの距離と方向を求める。例えば、特定された距離と方向は、自車両前方の奥行距離と横方向の横距離の平面上の位置を特定できる座標系で表す。ただし、カメラからの距離であるユーグリッド距離と方向で表す極座標系で表した情報を保持してもよく、奥行と横の２軸との相互変換は三角関数を用いればよい。また、単眼測距部４は、左画像Ｐ_Ｌ、右画像Ｐ_Ｒ、および合成画像Ｐ_Ｃを路面に射影した俯瞰画像を用いて、俯瞰画像の垂直座標と水平座標と、実際の路面に対する俯瞰画像の垂直と水平方向の縮尺から位置を特定する。ただし、位置の特定に俯瞰画像を用いることは必須の構成ではない。カメラの位置と姿勢の外部パラメータと、焦点距離・撮像素子の画素ピッチと光学系の歪の情報を用いて、幾何計算を行うことで特定してもよい。

ステレオ測距部１２は、ステレオ検知部９により検知された物体の位置を特定して距離と方向を特定する。例えば、特定された距離と方向は、自車両前方の奥行距離と横方向の横距離の平面上の位置を特定できる座標系で表す。ただし、カメラからの距離であるユーグリッド距離と方向で表す極座標系で表した情報を保持してもよく、奥行と横の２軸との相互変換は三角関数を用いればよい。また、ステレオ測距部１２は、物体の視差から奥行方向の距離を算出する。ステレオ測距部１２は、算出した物体の視差にばらつきがある場合は、平均や最頻値を用いる。視差のばらつきが大きい際は、特定の外れ値をとる手法を用いてもよい。横距離は、ステレオ検知部９の検知枠の水平画角と奥行距離から、三角関数を用いて求める。

テンプレート作成部５は、撮像画像の１つを選択し、この撮像画像（以下、「検知画像」と呼ぶ）から特定の領域を切り抜いてテンプレート画像とする。具体的にはテンプレート作成部５は、単眼検知部３で検知された物体の単眼検知枠の内部および周辺の画素情報から、類似箇所を探すためのテンプレート画像を作成する。このテンプレート画像は、あらかじめ定められた画像サイズに拡大縮小される。テンプレート画像を拡大縮小する際は、縦横の比率を維持するか、大きく変えないこととする。拡大縮小処理の後に、画素の輝度値自体か、縮小画像内を複数の小領域（以下、「カーネル」とも呼ぶ）に分割し、カーネル内の輝度値の関係を、その画像の特徴として記憶する。画像の特徴は様々な形で抽出され、カーネル内の左右や上下の平均輝度差や、周辺と中央の平均輝度差、輝度の平均や分散など、様々な特徴量が存在するが、本実施の形態ではいずれを用いてもよい。

カメラ画像では物標の周囲には背景が映り込み、画像を切り出しすると背景が混ざる。しかし、背景は時刻により、物標やカメラが動くことで、同じ物標であっても変化する。本発明では同一物体を異なる時刻で探し出したいので、前記特徴量の内、追跡したい物標種別の形状やテクスチャを、カメラ画像を用い機械学習を行い、どこの特徴量をどのような重みで保持して類似箇所を探索すべきか、追跡ネットワークとして記憶しておく。

画像記憶部６は、左画像Ｐ_Ｌおよび右画像Ｐ_Ｒを一定時間、または異なる時刻の左画像Ｐ_Ｌおよび右画像Ｐ_Ｒが一定枚数蓄積されるまで保持する。この保持にはＤＲＡＭ（Dynamic Random Access Memory）などの一時記憶装置が用いられる。保持する記憶装置内の番地と範囲は、あらかじめ複数定めておき、撮像画像毎に転送先の番地を順に変えていき、一巡後は古い画像が記憶された領域を上書きしていくとよい。予め番地が定められているため、保持された画像を読み出す際に番地を通知する必要がない。

類似箇所探索部７は、テンプレート作成部５で作成されたテンプレート画像に類似する箇所を、画像記憶部６に格納される画像の中から探し出す。以下では、類似箇所探索部７がテンプレート画像との類似箇所を探索する画像を「探索対象画像」と呼ぶ。探索対象画像は、単眼検知部３で検知された時刻の画像とは異なる画像である。どの時刻の画像を選択するかは、検知された時刻の画像の前後の時刻に撮像された画像を選ぶことを基本とする。類似箇所は検知された時刻の単眼検知枠座標の近くに存在する可能性が高く、またテンプレート画像に対して、検知物体の向きの変化や、露光変化などによる輝度変化も少ないことが期待されるので、高精度な探索が可能である。

前記探索された結果と単眼検知部３の検知結果と、ステレオ検知部９の検知結果と、単眼測距部４の測距結果と、ステレオ測距部１２の測距結果から、同じ物標が時刻毎にどの位置に居たのか、物標の追跡を行う。この時刻の異なる画像の中で同一の物標を、ある時刻の画像からテンプレート画像を作り、該ある時刻とは異なる時刻の画像の中で類似箇所を探し出し、追跡する処理を、追跡ネットワークによる画像トラッキング処理と呼ぶ。

ただし、撮像間隔が短い場合は、２つ以上前の時刻の画像を探索対象画像に選択してもよい。また、車速に応じて選択する画像を変えてもよい。例えば、車速が閾値以上の場合は、検知された画像の撮像時刻に対して、近い時刻の古い画像を選び、車速が前述の閾値よりも遅い場合は、前述の近い時刻の古い画像よりも更に古い画像を選んでもよい。車両速度が速い場合は、検知された時刻に対して近い時刻の画像であれば、テンプレート画像に対して大きく見え方が変わらず、探索の精度が確保しやすい。また、車速が遅い場合は、検知された時刻に対して、類似箇所を探す画像での検知物体の位置変化が大きくなり、算出速度の精度を向上できる。

画角特定部８は、類似箇所探索部７が特定した類似箇所に写る特定の物体の、カメラの水平画角を特定する。ただし位置とともに高さも特定する場合は、垂直画像も特定する。また、カメラがロール回転する可能性がある場合も、水平と垂直の両方の画角を特定することで、速度を高精度に算出できる。水平画角は、奥行距離と横距離の比率から三角関数で求めればよい。

速度算出部１０は、単眼測距部４またはステレオ測距部１２から測距結果を受け取り、画角特定部８から類似箇所の画角を受け取り、車両情報入力部１１から車両挙動情報を受け取り、検知された特定の物体の速度を算出する。ただし速度算出部１０は、車両情報入力部１１から車両速度を受け取る代わりに、算出した相対的な奥行距離の微分値を車両速度として用いてもよい。これは、奥行距離は精度が良く測距でき、横距離は精度が悪く測距される場合に有用である。また奥行速度を車両速度の代わりに用いると、直交しない横断車両との衝突予測も精度よくできる。

車両情報入力部１１は、自車両の速度を測定する車両速度センサ３１からの自車両速度情報と、操舵輪の舵角を測定する車両舵角センサ３２からの自車両舵角情報と、自車両の旋回速度を測定するヨーレートセンサ３３からの自車両旋回速度が入力される。なお、車両情報入力部１１は、通信ポート（例えばＩＥＥＥ８０２．３）に対応する通信モジュールにより実現されてもよいし、電圧や電流を読み込み可能なＡＤコンバータにより実現されてもよい。

運転者操作入力部１４は、ステアリングを回した角度情報を取得するステアリングセンサ３４と、アクセスペダルの踏込量情報を取得するアクセルペダルセンサ３５と、ブレーキペダルの踏込量情報を取得するブレーキペダルセンサ３６に接続されており、運転者がステアリング、アクセルペダル、ブレーキペダルをそれぞれ、どの程度操作したか、および、いつ操作したかの情報を受信する。

識別履歴記憶部１５は、種別識別部１３で識別した立体物（以下、「物標」と呼ぶ）を、物標の識別子と、物標の時刻とともに記憶する。なお、物標の識別子とは、物標毎に付与されるユニークな符号であり、例えば、１台の車両と３人の歩行者を物標として識別した場合であれば、車両Ａ、歩行者Ａ、歩行者Ｂ、歩行者Ｃ、のような識別子が各物標に付与される。

追跡履歴記憶部１６は、テンプレート作成部５と類似箇所探索部７で、テンプレート画像の作成の成功否、各時刻で類似箇所を探索した際のテンプレート画像、類似箇所の探索結果の成功否、類似箇所として検出された画像を、物標の識別子と時刻とともに記憶する。

位置履歴記憶部１７は、前記探索された結果と単眼検知部３の検知結果と、ステレオ検知部９の検知結果と、単眼測距部４の測距結果と、ステレオ測距部１２の測距結果から、同じ物標が時刻毎にどの位置に居たのか、物標の識別子と時刻とともに記憶する。

速度履歴記憶部１８は、速度算出部１０で算出された速度を、物標の識別子と時刻とともに記憶する。

制御フィードバック部２３は、車両制御システム２００に接続され、車両制御システム２００が制御した車両制御内容と時刻と対象物標識別子、制御判断理由、制御の取りやめ内容、制御取りやめ理由などの制御フィードバック情報を入力する。

誤制御判定部２１は、制御フィードバック部２３から自車両の制御フィードバック情報を受信し、運転者操作入力部１４から運転者操作情報を受信する。また、車両制御システム２００が車載カメラ装置１００の出力の物標情報をもとに車両制御を行い、警報や自動ブレーキを開始した後に、運転者操作により該制御を取りやめたかを判断する。そして、そのような運転操作があった場合に、誤制御判定部２１は、車両制御システム２００による誤制御があったと判定する。なお、誤制御判定部２１の詳細は後述する。

誤識別特定部１９は、誤制御判定部２１によって誤制御と判断された後に、誤制御の対象だった物標の識別結果の内、誤識別の事例を特定する。なお、誤識別特定部１９の詳細は後述する。

誤追跡特定部２０は、誤制御判定部２１によって誤制御と判断された後に、誤制御の対象だった物標の追跡結果の内、誤追跡の事例を特定する。なお、誤追跡特定部２０の詳細は後述する。

誤認識画像保存部２２は、誤識別特定部１９や誤追跡特定部２０で特定された誤識別や誤追跡の前後の画像を抽出して記憶する。

追加学習部２４は、誤認識画像保存部２２に記憶された、誤識別や誤追跡の前後の画像を用いて、外部環境を認識するためのＡＩネットワークを追加学習する。

以下、上記した構成の車載カメラ装置１００による、学習データの生成処理と、生成した学習データを用いた追加学習処理を、具体的な状況を例示しながら説明する。

＜誤認識の一態様である、誤識別の発生状況の一例＞
図４は、車載カメラ装置１００の種別識別部１３で、識別ネットワーク等を利用して外部環境を認識した結果、誤識別が発生した状況の一例を示す俯瞰図である。なお、ここでは、外部環境のサンプリング周期を２００ｍｓとしているが、サンプリング周期はこの例に限定されるものではない。

図４（ａ）は、後述する時刻Ｔ_０より２００ｍｓ前の時刻Ｔ_－１における、自車両の外部環境を例示する俯瞰図である。この時点では、自車両は直線道路を等速走行しており、自車両に取り付けた車載カメラ装置１００は、自車両の前方に立体物を検知していない。

図４（ｂ）は、自動制御（自動減速）を開始した時刻Ｔ_０における、自車両の外部環境を例示する俯瞰図である。この時点で、車載カメラ装置１００は、やや問題ある識別ネットワーク等を利用して撮像画像を処理した結果、実在しない歩行者を誤検知している。そのため、車載カメラ装置１００の検知結果を受信した車両制御システム２００は、実在しない歩行者との接触を防ぐため、自車両の制動系を制御し、自車両を急減速させる。なお、実在しない歩行者を誤検知する状況は、例えば、排気ガス塊を歩行者と誤識別するような状況である。

図４（ｃ）は、時刻Ｔ_０から２００ｍｓを経過した時刻Ｔ_１における、自車両の外部環境を例示する俯瞰図である。この時点で、運転者は、自車両を制動する理由がないのに自動減速が開始されたことから、車載カメラ装置１００で何らかの異常（誤識別）が発生したことに気付く。

図４（ｄ）は、時刻Ｔ_０から４００ｍｓを経過した時刻Ｔ_２における、自車両の外部環境を例示する俯瞰図である。この時点で、前方の安全（前方車両の不在や、周囲歩行者の不在など）を確認した運転者は、減速された速度を減速前の速度に復帰させるべくアクセルペダルを踏み込み、自車両を加速させる。

図４（ｅ）は、時刻Ｔ_０から６００ｍｓを経過した時刻Ｔ_３における、自車両の外部環境を例示する俯瞰図である。この時点で、自車両は、時刻Ｔ_０の時点で誤識別した歩行者の領域に侵入しているが、そこには実際には歩行者が存在しないため、自車両はその領域を無事に通過することができる。

以上から明らかなように、車載カメラ装置１００の識別結果に基づいて車両制御システム２００が自動制御を開始した直後に、運転者がその自動制御に反する手動運転操作を実施し、かつ、識別した立体物との接触が発生しなかった場合は、車載カメラ装置１００で誤識別が発生したと判定することができる。本発明の装置は、誤識別と判断された、時刻Ｔ_０の時点で誤識別した歩行者物標の画像を記憶・追加学習する。

＜誤識別の画像の保存方法と、保存画像を利用した追加学習方法＞
図５は、図４で説明した機序を応用したフローチャートであり、車載カメラ装置１００で誤識別が発生した時刻の画像を保存し、更に、保存した画像に基づいて識別ネットワーク等を追加学習する方法を示すものである。以下、各ステップを順次説明する。

まず、ステップＳ１では、誤制御判定部２１は、制御フィードバック部２３が入手した車両制御システム２００からのデータに基づいて、衝突防止の自動制御が動作したか否かを判定する。衝突防止の自動制御とは、例えば、衝突回避や軽減の自動ブレーキや、衝突警報を鳴らす制御や、障害物を回避するステアリング制御等である。そして、車載カメラ装置１００の出力に基づく自動制御が動作した場合は、ステップＳ２に進み、動作していない場合は、一定時間後にステップＳ１を再度実行する。

次に、ステップＳ２では、誤制御判定部２１は、運転者操作入力部１４が入手したステアリングセンサ３４やアクセルペダル３５などからのデータに基づいて、自動制御に反する手動の運転操作がなされたか否かを判定する。図４で例示したように、検知した立体物との接触防止の自動制御が発動された後に、運転手が自動制御に反する手動操作を実施した場合、運転手は安全を確認したうえで、その手動操作を行っていると考えられるため、車両制御システム２００による衝突回避の自動制御は誤りであったと判定することができる。そこで、本ステップでは、自動制御に反する手動操作が実施された場合はステップＳ３に進み、自動制御に反する手動操作が実施されなかった場合はステップＳ１に戻る。

本ステップで、走行制御システム２００の判断が誤りであったと判定される状況を、具体例を挙げて説明する。

＜＜誤制御の第一例＞＞
車両制御システム２００が物標との衝突を判断し、前記衝突点手前で停車を目標とする自動ブレーキを開始した状況を想定する。この場合、自動ブレーキが開始された後で且つ停車する前に、運転手がやや強い（具体的には、所定の閾値Ｔｈ１と閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）の間の）踏込量でアクセルペダルを踏むと、自動ブレーキの解除を意図した操作として操作を受付け、自動ブレーキ制御を解除する。その結果、図４（ｅ）の例のように、加速しながら前記衝突点前を通過することになる。このように、車両制御システム２００が衝突点前で止まるように自動ブレーキを開始した後に、運転手のアクセルペダル操作で衝突点を通過した場合は、自動制御に反する運転操作が実施されたと判断してステップＳ３に進む。

なお、この例では、アクセスペダルの踏込量が上記の所定範囲内にある場合のみ、その操作を停車制御解除の操作として受け付けたが、これは次の理由による。すなわち、運転者が閾値Ｔｈ２を超えてアクセルペダルを強く踏み込んだ場合は、アクセスペダルをブレーキペダルと誤解して強く踏み込んでいる可能性があり、これを停車制御解除の操作として受け付けるのは不適切と考えられるからである。また、運転者が閾値Ｔｈ１に達しない弱さでアクセルペダルを踏み続けていた場合は、衝突可能性に気付いていない可能性があり、これを停車制御解除の操作として受け付けるのは不適切と考えられるからである。そのため、閾値Ｔｈ１と閾値Ｔｈ２の間の踏込量の場合のみに、自動ブレーキの解除を行い、誤制御として扱うこととしている。

＜＜誤制御の第二例＞＞
車両制御システム２００が物標との衝突を判断し、前記衝突点手前で停車を目標とする自動ブレーキを開始した状況を想定する。この場合、自動ブレーキにより停車した後、あらかじめ定められた時間以内に、運転手がアクセルペダルを踏み再発進を行い、前記衝突点前を通過する。前記時間は例えば0.5秒間等、障害物が衝突点に存在した場合に障害物が退避する時間よりも十分短い時間である。前記障害物が退避する時間は、該障害物の横断速度から考え、衝突点が自車両の左右中央であれば、車幅分だけ該横断速度で移動する時間である。

物標が歩行者等の非車両の場合は、自車両との衝突の可能性のある状況で驚き立ち止まる可能性があるので、前記移動する時間に数秒の立ち止まる時間を加味してもよい。前記のように、車両制御システム２００が衝突点前に停車した後に、運転手のアクセルペダル操作前記短時間で再発進し衝突点を通過した場合は、自動制御に反する運転操作が実施されたと判断してステップＳ３に進む。

＜＜誤制御の第三例＞＞
車両制御システム２００が物標との衝突を判断したが、物標との距離が近く、速やかに自動ブレーキを開始しても、衝突点手前で停車できない場合、車両制御システム２００は衝突軽減をするために自動ブレーキを行う。前記自動ブレーキを開始後に、運転手がアクセルペダルを閾値Ｔｈ１と閾値Ｔｈ２の間の踏込量でアクセルペダルを踏むと、車両制御システム２００は運転手が自動ブレーキの解除を意図したとして自動ブレーキ制御を解除する。前記衝突点手前で停車できない状況下で、運転手がアクセルペダル操作をして、自動ブレーキを解除した場合は、自動制御に反する運転操作が実施されたと判断し、ステップＳ３に進む。

＜＜誤制御の第四例＞＞
車両制御システム２００が物標との衝突を判断して、物標を回避するために、該物標の右か左に自車両を廻り込ませる自動ステアリング操作をして、衝突回避動作を制御する場合もある。この場合、運転手が前記自動ステアリング操作に対して、妨げるようなステアリング操作をした場合も、自動制御に反する運転操作が実施されたと判断し、ステップＳ３に進む。前記のステアリング操作は、例えば、車両制御システム２００が前記自動ステアリング操作で、ステアリングを４５°右回しを目標として制御したのに対して、運転手が左回し方向の力をかけて、４５°よりも十分小さい、例えば２２°程度までしか回らない状態にした場合などである。

ステップＳ３では、誤制御判定部２１は、車両速度センサ３１、車両舵角センサ３２、ヨーレートセンサ３３の出力等に基づいて、自動制御以後の走行軌跡（自車両の位置の軌跡）を算出し、運転操作とともに記憶する。具体的には、運転手の運転操作の結果として、アクセルペダル操作、ブレーキペダル操作、ステアリング操作、車両速度、車両舵角、車両ヨーレートの情報を各種センサから取得し、続くステップＳ４の判断に必要な走行軌跡を算出して推測する。

ステップＳ４では、誤識別特定部１９は、自動制御開始時点の識別結果が正しかったと仮定した場合に、識別した物標との衝突を回避できる走行軌跡を手動運転操作で走行したかを判断することで、誤識別の発生を特定する。具体的には、識別履歴記憶部１５と位置履歴記憶部１７で記憶している識別履歴と位置履歴に対して、ステップＳ３で推測した自車両の軌跡を照らし合わせ、前記識別履歴が歩行者や自転車や車両等の衝突回避を、車両制御システム２００で設定された識別結果の履歴上の位置全てに対して、衝突回避不可な走行であったか否かを判断し、衝突回避不可だと判断された前記履歴上の位置と時刻と物標の識別子を記憶する。そして、１ヶ所でも衝突回避不可の走行軌跡と判断される履歴位置があった場合は、運転者はその位置を安全に通過できると判定したうえでその走行軌跡を選択した（すなわち、車両制御システム２００に本来不要な自動制御を発動させた誤識別があった）と判定し、ステップＳ５に進む。一方、そうでなかった場合は、車両制御システム２００による自動制御は必要であった（すなわち、車両制御システム２００に自動制御を発動させた識別は適切であった）と判定し、ステップＳ１に戻る。

ステップＳ５では、誤識別特定部１９は、誤識別の画像を、画像記憶部６から一時記憶された画像を読み取って誤認識画像保存部２２に保存する。具体的には、前記記憶した履歴上の位置と時刻と物標の識別子に該当する識別画像をメモリに保存し記憶する。これにより、誤認識画像保存部２２に保存する画像を、例えば、多くとも誤識別発生の数枚程度（数百ＫＢ程度のデータ量）に抑制できるため、走行中に撮像した全ての画像を学習データとして保存する場合に比べ、誤認識画像保存部２２の記憶容量を大幅に削減することができる。

ステップＳ６では、追加学習部２４は、ステップＳ５で誤認識画像保存部２２に保存された、誤識別の画像を学習データとして、識別ネットワーク等の追加機械学習を実施する。これにより、追加機械学習の頻度を抑制して演算負荷を軽減しつつ、追加機械学習により識別ネットワーク等の品質向上を図ることができる。本ステップでの追加学習の際には、誤認識画像保存部２２に保存された識別画像をそのまま学習データとして用いて追加学習させても良いし、保存された識別画像を加工した学習データ（例えば、識別画像を拡大または縮小した学習データ、あるいは、識別画像を回転させた学習データ）を学習データとして用いて追加学習させても良い。これにより、誤識別した際の座標と完全一致した画像以外の状況も学習することができ、検知枠のブレが生じてもロバストに誤識別を抑制することができる。

なお、ステップＳ５で識別画像を保存する際には、誤識別の態様を特定するラベルを、識別画像とともに保存することが望ましい。本実施例の車両制御システム２００は、検知した物標の種別（他車両、歩行者、自転車など）に応じて、車両制御を実行するか否かの判断を変えるように設計されているため、物標種別の判断を間違ったことが誤制御要因の候補として考えられる。そこで、識別画像に付されるラベルには、誤識別した識別ネットワークを特定する識別子と、その識別ネットワークが誤識別した物標の種別を記録しておく。

誤識別した識別ネットワークに識別が誤りであったことを学習させるためには、学習データ（画像）とともに、物標をどのように誤識別したかの種別クラス情報も必要である。そのため、ステップＳ５でラベルに種別クラス情報を保存しておくことで、ステップＳ６では、誤識別発生時の画像を用いて、ラベルが特定する問題のある識別ネットワーク等に対してピンポイントで追加の機械学習を実施させることができ、問題のある識別ネットワーク等の改善を図ることができる。また、問題のない識別ネットワーク等を追加学習の対象から除外できるため、正常な識別ネットワーク等の誤学習の発生や、正常な識別ネットワーク等にも不要な追加学習させることによる演算負荷の増大などの弊害を回避することができる。

＜誤認識の一態様である、誤追跡の発生状況の一例＞
図６Ａは、車載カメラ装置１００の類似箇所探索部７で、何らかの問題があるテンプレート画像や追跡ネットワーク等を利用して外部環境を認識した結果、誤追跡が発生した状況の一例を示す俯瞰図であり、図６Ｂは、図６Ａの凡例である。なお、図示する俯瞰図は、例えば、撮像した左画像Ｐ_Ｌと右画像Ｐ_Ｒに対し、所定のアフィンテーブルを用いてアフィン変換した射影画像の経時変化と、自車両位置の経時変化を考慮して作成したものであるが、このような手法による自車両周囲の俯瞰図作成方法は周知技術であるため、その詳細については説明を省略する。

図６Ａ（ａ）～（ｃ）はそれぞれ、後述する時刻Ｔ_０より６００ｍｓ、４００ｍｓ、２００ｍｓ前の時刻Ｔ_－３、Ｔ_－２、Ｔ_－１における、自車両の外部環境を例示する俯瞰図である。これらの時点では、自車両は直線道路を等速走行しており、車載カメラ装置１００は、右歩道を歩く歩行者の移動を、追跡ネットワーク等を利用して追跡している。時刻Ｔ_－３～Ｔ_－１の期間は、車両制御システム２００は、自車両が歩行者と接触しないと判断しているため、これらの時点では、歩行者との接触を回避するための自動制御を実施していない。

図６Ａ（ｄ）は、自動制御（自動減速）を開始した時刻Ｔ_０における、自車両の外部環境を例示する俯瞰図である。この時点で、車載カメラ装置１００は、やや問題あるテンプレート画像や追跡ネットワーク等を利用して撮像画像を処理した結果、実際には歩道上にいる歩行者が、車道に飛び出して来たと誤追跡している。そのため、車載カメラ装置１００の追跡結果を受信した車両制御システム２００は、実在しない路上の歩行者との接触を防ぐため、自車両の制動系を制御し、自車両を急減速させる。なお、実在しない路上の歩行者を誤検知する状況は、例えば、歩行者の進路方向に存在する昇り旗や草木が突風等で揺らぎ、その揺らぎが路上に飛び出した歩行者と誤認されたような状況である。

ここで、図６Ｂを用いて、車載カメラ装置１００が検知した物標（歩行者）の位置の推移と、検知した物標（歩行者）との接触回避制御の開始判定方法を説明する。同図において、ＯＢ_－３、ＯＢ_－２、ＯＢ_－１、ＯＢ_０はそれぞれ、時刻Ｔ_－３、Ｔ_－２、Ｔ_－１、Ｔ_０に検知した物標（歩行者）の位置を示す。なお、位置ＯＢ_０は誤検知されたものである。また、ｖ_－１、ｖ_０、ｖ_１はそれぞれ、時刻Ｔ_－３～Ｔ_－２、時刻Ｔ_－２～Ｔ_－１、時刻Ｔ_－１～Ｔ_０の期間の物標（歩行者）の移動ベクトルであり、車載カメラ装置１００で算出された物標（歩行者）の速度ベクトルを各期間の移動量に換算したものである。Ｅ_Ｌ、Ｅ_Ｒは自車進行範囲の左右端であり、自車両の舵角やヨーレートや速度に基づき、自車両が進行すると予測される範囲の左右端を示す。

本実施例の車両制御システム２００は、移動する物標が自車進行範囲を含む所定の接触判定範囲に侵入した場合に、その物標との接触の可能性があると判断し、物標との接触を回避するための制動や操舵などの自動制御を発動する。従って、図６Ｂでは、接触判定範囲内の物標の位置ＯＢ_０を検知した時刻Ｔ_０の時点で、車両制御システム２００は、例えば、自車両を急減速させる自動制御を発動する。なお、上記の自車進行範囲の長さは、自車両が所定期間内（例えば、５秒以内）に走行すると予測される範囲に限定され、仮に物標が存在しても直ちに接触回避制御を実施する必要がないような遠方は、その時点では自車進行範囲に含める必要が無い。また、上記の接触判定範囲の幅は、ＧＮＳＳ（Global Navigation Satellite System）等から知得した走行中道路の種別情報に応じて変化させても良く、例えば、側方からの物標（歩行者や他車両など）の接近の可能性が低い高速道路等では狭く、側方からの物標の接近の可能性が高い一般道路では広くしても良い。

図６Ａ（ｅ）は、時刻Ｔ_０から２００ｍｓを経過した時刻Ｔ_１における、自車両の外部環境を例示する俯瞰図である。この時点で、運転者は、自車両を制動する理由がないのに自動減速が開始されたことから、車載カメラ装置１００で何らかの異常（誤追跡）が発生したことに気付く。そのため、前方の安全（前方車両の不在や、周囲歩行者の不在など）を確認できれば、運転者は、減速された速度を減速前の速度に復帰させるべくアクセルペダルを踏み、自車両を加速させる。その結果、自車両は、誤検知した歩行者の領域に接近するが、その領域には実際には歩行者が存在しないため（実際の歩行者は右歩道上にいるため）、自車両はその領域を無事に通過することができる。

以上から明らかなように、車載カメラ装置１００の追跡結果に基づいて車両制御システム２００が自動制御を開始した直後に、運転者がその自動制御に反する手動運転操作を実施し、かつ、追跡した立体物への接触が発生しなかった場合は、車載カメラ装置１００で誤追跡が発生したと判定することができる。

＜誤識別の発生前後の画像の保存方法と、保存画像を利用した追加学習方法＞
図７は、図６Ａで説明した機序を応用したフローチャートであり、車載カメラ装置１００で誤追跡が発生した時刻の前後の画像を保存し、更に、保存した画像に基づいてテンプレート画像や追跡ネットワーク等を追加学習する方法を示すものである。以下、各ステップを順次説明する。なお、図５と図７の処理は並列して実施することができ、また、以下においては、図５のフローチャートとの共通点については、必要に応じて重複説明を省略する。

まず、ステップＳ１では、誤制御判定部２１は、制御フィードバック部２３が入手した車両制御システム２００からのデータに基づいて、衝突防止の自動制御が動作したか否かを判定する。

次に、ステップＳ２では、誤制御判定部２１は、運転者操作入力部１４が入手したステアリングセンサ３４やアクセルペダル３５などからのデータに基づいて、自動制御に反する手動の運転操作がなされたか否かを判定する。図６Ａで説明したように、追跡中の物標との接触防止の自動制御が発動された後に、運転手が自動制御に反する手動操作を実施した場合、運転手は安全を確認したうえで、その操作を行っていると考えられるため、車両制御システム２００による接触防止の自動制御は誤りであったと判定することができる。

ステップＳ３では、誤制御判定部２１は、車両速度センサ３１、車両舵角センサ３２、ヨーレートセンサ３３の出力等に基づいて、自動制御以後の走行軌跡（自車両の位置の軌跡）を算出し、運転操作とともに記憶する。

ステップＳ４ａでは、誤追跡特定部２０は、自動制御開始時点の追跡結果が正しかったと仮定した場合に、追跡した物標との接触を回避できる走行軌跡を手動運転操作で走行したかを判断することで、誤追跡の発生を特定する。

ステップＳ５ａでは、誤追跡特定部２０は、誤追跡の発生前後の画像（例えば、自動制御開始時刻の前後１秒間の画像）を、画像記憶部６から読み取って誤認識画像保存部２２に保存する。

ステップＳ６ａでは、追加学習部２４は、ステップＳ５ａで誤認識画像保存部２２に保存された、誤追跡の発生前後の画像を学習データとして、テンプレート画像や追跡ネットワーク等の追加機械学習を実施する。これにより、追加機械学習の頻度を抑制して演算負荷を軽減しつつ、追加機械学習によりテンプレート画像や追跡ネットワーク等の品質向上を図ることができる。

図７のステップＳ５ａにおいても、図５のステップＳ５に倣い、誤追跡の態様を特定するラベルを、識別画像とともに保存することが望ましい。これにより、図５で説明したと同様の作用により、改善の必要なテンプレート画像や追跡ネットワーク等に対してのみ、ステップＳ６ａでの追加学習を実行できるので、図５と同様の種々効果を得ることができる。

なお、ステップＳ４ａで誤追跡発生と特定された箇所の近くには、テンプレートと同一の物体や、前記誤追跡箇所の前の画像に映る同一の物体が存在している可能性があるので、誤追跡箇所の前と後の画像は、追跡して検知枠をつけた領域を広げて画像を記憶することで、前記同一の物体の写る箇所も含めた画像を記憶でき、追加学習の際に正しく追跡すべき箇所を適切に追加学習することができる。

図８は時刻Ｔ_０で識別され自車の制御が発動された物標について、歩行者が移動することも加味した、誤識別発生時の自車両の挙動と誤制御・誤識別と判定する方法を説明する俯瞰図である。図８（ｃ）の歩行者予測範囲は、図８（ｂ）で歩行者を識別してからの経過時間に、歩行者の移動速度を掛け合わせ、歩行者の存在しうる予測範囲を示すものである。前記歩行者の移動速度は、歩行者らしい速度を予め設定した速度で、平均的な歩行速度を想定すればよく、例えば時速５ｋｍと設定すると良い。図８の凡例の歩行者存在半径は、歩行者予測範囲の半径を示すもので、歩行者を識別してからの経過時間Ｔと前記歩行者の移動速度Ｖ_Ｐを掛け合わせた長さＬである。

図８の例では、時刻Ｔ_０で識別された物標は時刻Ｔ_３で、歩行者存在予測範囲を自車が覆っているので、時刻Ｔ_０で識別された物標は誤識別であったと判断される。本発明では自動制御がなされた際の衝突判定された各時刻の検知・識別物標に対して、前記歩行者予測範囲と自車範囲の重複度により誤識別した時刻の物標を特定する。

図９は歩行者が移動することも加味した、誤識別の前後の画像の保存処理を説明するフローチャートである。なお、図５との共通点は重複説明を省略している。図９のステップＳ７は、ステップＳ３の次に実施される処理であり、自動制御以後の歩行者の予測範囲を推定する処理である。前記歩行者存在半径を、歩行者識別してからの経過時間Ｔと前記歩行者の移動速度Ｖ_Ｐから求めて、前記歩行者存在範囲を特定する。

その後のステップＳ４ｂは、識別物標を避ける手動操作か判断する処理で、ステップＳ３で検証した走行軌跡と、ステップＳ７で推定した歩行者予測範囲から、識別物標を避ける手動操作がなされたか判定する。自車の走行軌跡で車両が歩行者予測範囲を覆った場合、その歩行者の識別物標を避ける手動操作はなされなかったと判断する。

このように、歩行者の移動を加味することで、誤識別の判定を歩行者移動により誤るリスクを低減し、誤識別箇所の追加学習の効果を高めることができる。

＜本実施例の効果＞
以上で説明した本実施例によれば、実走行環境下で撮像された様々な画像のなかから、問題のあるＡＩネットワークの改善に寄与する、外部環境の誤認識の発生前後の画像を自動的に抽出して保存することができる。これにより、本実施例の車載カメラ装置は、外部と連携することなく、自動的に抽出して保存した画像を学習データとすることで、問題のあるＡＩネットワークに追加学習を実行させ、そのＡＩネットワークの品質を改善することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、半導体メモリカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００…車載カメラ装置
１Ｌ…左撮像部
１Ｒ…右撮像部
２…ステレオマッチング部
３…単眼検知部
４…単眼測距部
５…テンプレート作成部
６…画像記憶部
７…類似箇所探索部
８…画角特定部
９…ステレオ検知部
１０…速度算出部
１１…車両情報入力部
１２…ステレオ測距部
１３…種別識別部
１４…運転者操作入力部
１５…識別履歴記憶部
１６…追跡履歴記憶部
１７…位置履歴記憶部
１８…速度履歴記憶部
１９…誤識別特定部
２０…誤追跡特定部
２１…誤制御特定部
２２…誤認識画像保存部
２３…制御フィードバック部
２４…追加学習部
２００…車両制御システム

Claims (11)

1. 物体を識別する車載カメラ装置であって、
   自車両の自動制御のフィードバックを受ける制御フィードバック部と、
   運転者の運転操作情報に基づき誤った自動制御を判定する誤制御判定部と、
   画像を保存する画像保存部を備え、
   誤った自動制御と判定された際に画像を保存することを特徴とする車載カメラ装置。
2. 請求項１に記載の車載カメラ装置において、
   さらに、前記誤った自動制御が物体の種別の識別を誤った誤識別に起因することを特定する誤識別特定部を備え、
   誤った自動制御後に自車両が走行する領域に位置する物体の画像を保存することを特徴とする車載カメラ装置。
3. 請求項２に記載の車載カメラ装置において、
   前記画像に誤識別を示すラベルを付けて保存することを特徴とする車載カメラ装置。
4. 請求項２に記載の車載カメラ装置において、
   識別ネットワークが識別した種別を誤識別画像とともに記憶する車載カメラ装置。
5. 請求項２に記載の車載カメラ装置において、
   歩行者予測範囲が自車進行軌跡の車両に覆われた識別物標を誤識別画像として記憶する車載カメラ装置。
6. 請求項１に記載の車載カメラ装置において、
   さらに、前記誤った自動制御が物体の追跡を誤った誤追跡に起因することを特定する誤追跡特定部を備え、
   誤った自動制御後に自車両が走行する領域に位置する物体の画像を保存することを特徴とする車載カメラ装置。
7. 請求項６に記載の車載カメラ装置において、
   前記画像に誤追跡を示すラベルを付けて保存することを特徴とする車載カメラ装置。
8. 請求項６に記載の車載カメラ装置において、
   さらに、物体を追跡する際に利用するテンプレート画像を作成するテンプレート作成部を備え、
   誤追跡と判定した物体軌跡の画像と、該物体軌跡の追跡に用いたテンプレート画像の双方を保存することを特徴とする車載カメラ装置。
9. 請求項１に記載の車載カメラ装置において、
   自車両の外部環境を認識するネットワークを複数有しており、
   前記画像保存部に保存した画像には、何れのネットワークの機械学習で用いる画像であるかを示すラベルが付されていることを特徴とする車載カメラ装置。
10. 請求項１に記載の車載カメラ装置と、
    前記自車両のブレーキを制御する車両制御システムと、
    を有する車載カメラシステムであって、
    前記車両制御システムは、前記車載カメラシステムの出力に基づいてブレーキを制御することを特徴とする車載カメラシステム。
11. 物体を識別するネットワークの学習に利用する画像を保存する画像保存方法であって、
    自車両の自動制御のフィードバックを受ける制御フィードバック処理と、
    運転者の運転操作情報に基づき誤った自動制御を判定する誤制御判定処理と、
    誤った自動制御と判定された際に画像を保存する画像保存処理を備えることを特徴とする画像保存方法。

Images