JP2014059729A - 物体検出・識別装置及びその方法とその物体検出・識別に用いられる辞書データ生成方法 - Google Patents

Abstract

【課題】認識性能が高い辞書データを、人手をかけずに効率良く構築する。
【解決手段】網羅的に収集した複数地点のカメラ映像及び、映像データ取得時の時刻データ、位置データ、気象データ等の異種データを相互利用し、物体識別の辞書データを作成することにより、設置場所が異なる物体検出装置に共通的に適用可能な辞書データを生成する。さらに、物体検出装置を運用しながら新たに収集した映像を用いて辞書データを更新することで、継続的な認識性能向上を実現する。
【選択図】 図８

Description

本発明の実施形態は、連続映像から車両等の物体を検出し、検出物体の同一性を識別する物体検出・識別装置及びその方法と、その物体検出・識別それぞれの精度を向上させるための辞書データ生成方法に関する。

従来の道路状況監視装置にあっては、監視カメラで撮影された道路上のモニタ映像から車両を逐次検出し、個々の車両の移動状況を観測することで、道路の混雑状況を把握している。しかしながら、時事刻々と変化する映像から、道路の混雑状況を逐次把握して渋滞の経緯を判別することは極めて煩雑である。このような煩雑な監視については、道路上の車両のみならず、様々な環境下における物体の検出・識別する物体検出・識別装置でも同様である。

そこで、連続映像それぞれの中から車両等の物体を検出し、映像間の検出物体をリアルタイムで同定して、自動的に物体の移動状況を認識する装置が要望されている。このような装置の実現のためには、物体認識機能を実現するにあたり、（１）学習に用いる映像データ収集、（２）映像データの選別、（３）映像データへのラベル付け、（４）映像データにおける認識対象物の位置の教示が必要である。

しかしながら、従来では、認識対象物に関して入手できる映像データの量と種類が少ない上に、教示作業に手間がかかるため、学習に用いる映像のサンプル数が少なくなり、学習が不十分で性能が低下し易いという問題があった。特に、物体検出装置を実フィールドで運用した場合、認識性能が低下する映像パターンが出現する度に、学習の映像データを追加し再学習する必要があった。さらに、現状では上記のような処理を人手で行い、辞書データを作成せざるを得ず、その煩雑な作業が実用化の障害となっている。

尚、従来の物体検出装置には、別地点のカメラ映像を相互利用して画像群の選別を行い、その選別画像に基づいて識別器の辞書を更新する機能を構築するものが提案されている（例えば、特許文献１）。

特開２０１１−６０２２１号公報

以上のように、従来の物体検出・識別装置では、認識対象物に関して学習に用いる映像のサンプル数が少ないため、学習が不十分で性能が低下し易い。特に、認識性能が低下する映像パターンが出現する度に、学習の映像データを追加し再学習する必要がある。さらには、取得した映像の処理を人手で行って辞書データを作成せざるを得ず、その煩雑な作業が実用化の障害となっている。

本実施形態は上記の問題を解決するためになされたもので、人手をかけずに網羅的な映像データ収集から認識性能が高く共通的に使える辞書を構築することができ、これによって物体の検出・識別精度を向上させることのできる物体検出・識別装置及びその方法と辞書データ生成方法を提供することを目的とする。

上記の課題を解決するために、本実施形態に係る物体検出・識別装置は、ネットワークを介して複数地点のカメラの映像データを大量かつ網羅的に収集する。収集した大量の映像データを用いて辞書データを作成し、高い認識性能を実現させる。複数地点の映像データから辞書データを作成することで、監視場所が異なる物体検出に適用可能な共通的な辞書データを作成できる。さらに、装置を運用しながら新たに収集した映像データを用いて辞書データを更新することにより、継続的に物体の認識性能を向上させる。収集した映像データに対して、同時に収集した時刻データ、ＧＰＳ（Global Positioning System：衛星測位システム）センサの位置データ、気象データなどの異種データ情報を利用し、時間帯・気象条件・道路の混雑状況など条件別に映像データを自動的に分類・ラベル付けし、学習が必要な特定の条件にマッチした映像データを用いて辞書データの性能を強化する態様とする。

実施形態の車両検出・認識装置を備えた道路監視システムの概要構成を示すブロック図である。 上記実施形態の車両検出・認識装置の概要構成を示すブロック図である。 上記実施形態の車両検出・認識装置の処理手順を示す機能ブロック図である。 上記実施形態において、探索窓のサーチによる車両検出方法を説明するための画像の一例を示す図である。 上記実施形態において、映像データを収集・学習し識別器生成装置の辞書を構築する処理手順を示す機能ブロック図である。 上記実施形態において、映像データに道路の交通状況推定結果をラベル情報として付与する処理の流れを示す概念図である。 上記実施形態において、映像データを自動選別し辞書を構築までの処理手順を示す機能ブロック図である。 上記実施形態において、車両領域を自動検出する仕組みを示す概念図である。 上記実施形態において、学習における認識対象物（車両）の教示方法を説明するための画像の一例を示す図である。 上記実施形態において、作成した辞書と過去の辞書の比較に基づく更新の処理の流れを示す概念図である。

以下、図面を参照して本実施形態に係る車両検出・認識装置を説明する。

図１は、実施形態の車両検出装置を備えた道路監視システムの概要構成を示すブロック図である。図１において、道路監視システム１０は、大別すると、ｎ（ｎは自然数）台のカメラ１１−１〜１１−ｎと、ｍ（ｍは自然数）個の車両検出装置１２−１〜１２−ｍと、情報掲示装置１３−１、１３−２と、情報提示装置１４とを備えている。

カメラ１１−１〜１１−ｎは、動画撮影用のいわゆるディジタルビデオカメラであり、それぞれ道路脇あるいは道路の上方の所定位置に設置され、監視対象とする道路の画像を撮影する。各カメラ１１−１〜１１−ｎで撮影された画像データは、フレーム単位で出力され、車両検出装置１２−１〜１２−ｍのうちのいずれか対応する車両検出装置１２−Ｘ（１≦Ｘ≦ｍ）に送られる。この場合において、カメラ１１−１〜１１−ｎは、それぞれ道路ＲＤ（及び道路ＲＤ上を走行している車両Ｃ１、Ｃ２）を含む所定の領域を撮影するために、高さ、俯角及び回転角等の撮影条件に対応づけて設置されている。

各車両検出装置１２−１〜１２−ｍは、各カメラ１１−１〜１１−ｎに対して一対一あるいは多対一で設けられ、予め対応づけられたカメラの撮影画像から車両を検出し、当該車両に関する情報（車種、車両区分等）、あるいは、当該車両の状態（走行状態等）に関する情報を作成して、情報提示装置１４に出力する。

情報掲示装置１３−１、１３−２は、電光掲示板や大型ＬＥＤディスプレイなどとして構成されており、各種情報を表示する。

情報提示装置１４は、車両検出装置１２−１〜１２−ｍから出力される車両の状態に関する情報に基づいて、車両に正常運行をさせるための情報を情報掲示装置１３−１、１３−２や、路車間通信装置等を介して道路上の車両Ｃ１、Ｃ２に提示する。

ＧＰＳセンサ１５は、道路ＲＤを走行する車両のカー・ナビゲーション装置に搭載され、ＧＰＳ衛星からの信号を受信して位置情報を計算する。このＧＰＳセンサ１５は、例えば携帯電話機等の通信端末に接続され、当該通信端末の専用ソフトにより、指示された時点の位置情報を、公共回線（ネットワーク）を経由してセンタサーバに位置情報を送信する。

次に車両検出装置の構成について説明する。但し、車両検出装置１２−１〜１２−ｍは、同様の構成であるので、車両検出装置１２−１を例として説明する。

図２は、車両検出装置１２−１の概要構成を示すブロック図である。図２において、車両検出装置１２−１は、大別すると、制御部２１と、通信インタフェース部２２と、記憶部２３とを備え、さらにデータ蓄積用として外部記憶装置２４を備えている。

制御部２１は、車両検出装置１２−１全体を制御するもので、図示しないＭＰＵ（Micro Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成される。

通信インタフェース部２２は、予め対応づけられたカメラ１１−１、１１−２及び情報提示装置１４との間で通信を行う。

記憶部２３は、制御部２１が制御を行うための制御プログラム等を不揮発的に記憶するＲＯＭと、ワークエリアとして用いられるとともに各種データを一時的に蓄えるＲＡＭと、設定データ等を更新可能に不揮発的に記憶するフラッシュＲＯＭと、画像データを記憶するＶＲＡＭ等を備えている。

外部記憶装置２４は、ＨＤＤ（Hard Disc Drive）あるいはＳＳＤ（Solid State Drive）等の大容量記憶装置を備えている。

また、車両検出装置１２−１〜１２−ｍは、カメラ１１−１〜１１−ｎとともに道路ＲＤ付近に設置され、映像信号の入出力を行うための無線通信ユニットあるいはケーブルを介して対応するカメラ１１−１〜１１−ｎに接続されている。尚、図２においては、車両検出装置１２−１〜１２−ｍとカメラ１１−１〜１１−ｎとを別個の装置として構成したが、これに限るものではなく、両者を一体に構成することも可能である。

図３は、車両検出装置１２−１〜１２−ｍの処理手順を示す機能ブロック図、図４は、上車両検出装置１２−１〜１２−ｍにおいて、探索窓のサーチによる車両検出方法を説明するための画像の一例を示す図である。

図３において、車両検出装置１２−１〜１２−ｍは、それぞれ、入力画像取込部３１と、探索窓設定部３２と、高次特徴量算出部３３と、識別処理部３４と、車両判別部３５とを備えている。

入力画像取込部３１は、有線ネットワークあるいは無線ネットワークを介して対応するカメラ１１−１〜１１−ｎから画像データを取り込む。探索窓設定部３２は、図４に示すように、入力画像取込部３１で取り込んだ画像データに対して所定の画面領域（図では左上）に車両検出用の探索窓を設定し、その探索窓をＸ軸方向、Ｙ軸方向に順次移動させて、画面領域全体をサーチし、その車両検出結果を高次特徴量算出部３３に送る。高次特徴量算出部３３は、探索窓設定部３２で設定した探索窓内の高次特徴量を算出する。識別処理部３４は、高次特徴量算出部３３で算出した探索窓内の高次特徴量と識別処理部３４の辞書データの類似性を示す尤度を算出する。車両判別部３５は、識別処理部３４で算出した尤度に基づいて探索窓内の画像が車両か背景か判定する。

次に実施形態の動作を説明する。

図５は、上記識別処理部３４に用いられる識別器生成装置の実施形態の処理手順を示す機能ブロック図である。

図５において、異種データ受信部４１は、別途、ネットワークを介して受信・収集される複数地点のカメラ映像に対して、時刻データ、ＧＰＳセンサの位置データ、気象データなどの異種データを収集して、映像データとの関連付けを行って記録・管理する。映像内容推定部４２は、時刻情報、ＧＰＳセンサの位置情報、気象情報などの異種データを基に、設置位置が既知のカメラ映像の内容を推定し、その推定結果をラベル結果として映像データに付加する。映像データ選別部４３は、映像データと映像の内容推定結果、すなわちラベル情報に基づいてカテゴリーに分類した後、識別器生成装置の学習に必要な映像データを選別する。

対象物自動検出部４４は、認識対象物に関する知識が不要な単純な非パターン認識系アルゴリズム及びパターン認識系アルゴリズムを適用し、ラベル付けされた映像から車両領域を自動的に切り出す。この車両領域は、学習における教示データとして用いられる。特徴抽出部４５は、対象物自動検出部４４で切り出した領域から高次特徴量を抽出する。具体的には、教示データから複数種類の高次特徴量を抽出し、ラベル情報に基づいて有効と考えられる高次特徴量の順位付けを行う。学習部４６は、特徴抽出部４５で抽出されたラベル付き高次特徴量を基に学習し、最も高い性能を示す高次特徴量を選択する。辞書構築部４７は、学習部４６の学習結果に基づき辞書データを生成する。

ここで、複数地点の映像から辞書を構築しており、設置場所の異なる所定物体検出装置に共通的に組み込むことが可能である。１回の学習で人間が期待するような認識性能を有する辞書を構築することは困難なため、所定物体検出装置を運用した後も、映像データ及び異種データを収集し継続的な性能改善を図る。

図６は映像データに道路ＲＣの交通状況推定結果をラベル情報として付与する処理の流れを示す概念図、図７は、映像データを自動選別し辞書を構築までの処理手順を示す機能ブロック図、図８は、車両領域を自動検出する仕組みを示す概念図、図９は、学習における認識対象物（車両）の教示方法を説明するための画像の一例を示す図、図１０は、作成した辞書と過去の辞書の比較に基づく更新の処理の流れを示す概念図である。

図５において、異種データ受信部４１にて、ネットワークを介して複数地点のカメラ映像が受信・収集され、時刻データ、ＧＰＳセンサの位置データ、気象データなど、映像データとの関連付けを行う異種データが収集されると、映像内容推定部４２により、時刻情報、ＧＰＳセンサの位置情報、気象情報などを基に、設置位置が既知のカメラ映像の内容が推定される。

例えば、図６に示す様に、道路を走行する車両Ａ１，Ａ２にはそれぞれＧＰＳセンサが搭載されており、車両毎にＧＰＳセンサによって緯度・経度の時系列情報を取得し、各時系列情報から位置データを換算して得ることができる。そこで、各車両Ａ１，Ａ２で得られる位置データを携帯電話機等の通信端末Ｂ１，Ｂ２から公共回線Ｃを介してセンタサーバＤに送信する。これにより、センタサーバＤは、各車両Ａ１，Ａ２の位置データの変化から走行速度を推定することができる。

センタサーバＤでは、一定期間に走行する複数台の車両情報に基づいて渋滞などの道路状況を推定する。この推定によって得られた交通状況データは、公共回線Ｃを介して車両Ａ１，Ａ２の通信端末Ｂ１，Ｂ２に通知される。また、上記交通状況データは、通信回線Ｃを介して識別器生成装置Ｅに通知され、通知内容に応じて時刻、天候、道路状況（渋滞等）のラベルがカメラ映像に付加される。

一方、映像データ選別部４３では、図７に示す様に、例えば３台のカメラの映像データについて、時刻、気象、ＧＰＳ情報などのラベルに基づいて異種データ別のデータ自動選別（図７ではカメラ３が選別条件に合致していないので不採用とする）を実行し（Ｓ１）、明るさ等の画質補正を行い（Ｓ２）、学習プロセス（Ｓ３）に移行する。学習プロセス（Ｓ３）では、選別された映像データから認識対象を自動的に検出し（Ｓ３１）、高次特徴量を検出し（Ｓ３２）、検出結果の是非を判断して認識対象の自動検出、高次特徴量抽出を繰り返して学習する。特に問題が生じなければ識別器用の辞書に登録する（Ｓ４）。

このように、映像データ選別部４３では、入力映像の内容推定結果に基づいて識別器生成装置の学習に必要な映像データを選別する。さらに、映像の内容を推定した結果をラベル情報として映像データに付与する。

上記識別器用の辞書の作成は、図８に示す様に行われる。すなわち、スタート段階で、対象物自動検出部４４で、認識対象物に関する知識が不要な単純な非パターン認識系のアルゴリズムにより、標準的な映像（直線状の道路を車両が走行している）１から物体（車両）領域（図中の枠表示部）を自動的に切り出し、その物体領域から特徴抽出部４５により高次特徴量１を抽出して、図９に示す様に、学習における教示データを作成し、この教示データに基づいて学習部４６により認識用辞書１を学習させて、辞書構築部４７により学習結果に基づき辞書データをアップグレードする。

続いて、途中段階として、対象物自動検出部４４で、パターン認識系アルゴリズムにより任意のカメラ映像（カーブの道路を車両が走行している）の任意のフレーム画像２から認識用辞書１を参照して物体（車両）領域を自動的に切り出し、その物体領域から特徴抽出部４５により高次特徴量２を抽出して学習部４６により認識用辞書１を学習させ、辞書構築部４７により学習結果に基づき辞書データをアップグレードすることで認識用辞書２を生成する。

最終的に、対象物自動検出部４４で、パターン認識系アルゴリズムにより先のカメラ映像の任意のフレーム画像３から認識用辞書２を参照して物体（車両）領域を自動的に切り出し、その物体領域から特徴抽出部４５により高次特徴量３を抽出して学習部４６により認識用辞書２を学習させ、辞書構築部４７により学習結果に基づき辞書データをアップグレードすることで認識用辞書３を生成する。これにより、辞書データが最良な方向に更新されるため、物体認識性能を高めることができる。

なお、途中段階は１回に限らず、Ｎ（Ｎは２以上の自然数）段階とすると、さらに認識性能を向上させることができる。

ところで、複数地点の映像から辞書を構築しており、設置場所の異なる物体検出装置に共通的に組み込むことが可能である。１回の学習で人間が期待するような認識性能を有する辞書を構築することは困難なため、物体検出装置を運用した後も、映像データ及び異種データを収集し継続的な性能改善を図る。

但し、学習データの質が悪い場合には、かえって認識性能が低下することが考えられる。そこで、辞書構築部４７において、学習部４６により複数地点で収集した映像から認識性能が高く、共通的に適用可能な辞書を構築し、図１０に示す様に、学習による改善を図る前と図った後の辞書の性能を比較し、性能の向上を確認した上で辞書を更新するとよい。

本実施形態の識別器生成装置及び物体検出装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の識別器生成装置及び所定物体検出装置で実行される各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の識別器生成装置あるいは所定物体検出装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の識別器生成装置あるいは物体検出装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の識別器生成装置あるいは物体検出装置で実行される制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

尚、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Ｃ、Ｃ１、Ｃ２…車両、１０…道路監視システム、１１−１〜１１−ｎ…カメラ、１２−１〜１２−ｍ…車両検出装置、１３…情報掲示装置、１４…情報提示装置、１５−１〜１５−ｋ…ＧＰＳセンサ、２１…制御部、２２…通信インタフェース部、２３…記憶部、２４…外部記憶装置、３１…入力画像取込部、３２…探索窓設定部、３３…高次特徴量算出部、３４…識別処理部、３５…車両判別部、４１…異種データ受信部、４２…映像内容推定部、４３…映像データ選別部、４４…対象物自動検出部、４５…特徴抽出部、４６…学習部、４７…辞書構築部、ＳＷ…探索窓、ＰＬ…探索窓の左上の点、ＰＲ…探索窓の右下の点。

Claims (11)

1. 異なる場所に設置した複数台のカメラの映像データそれぞれの撮影状況に関連する異種データを受信する異種データ受信手段と、
   前記異種データを基に映像内容を推定する映像内容推定手段と、
   前記映像の内容の推定結果に基づいて映像データを選別し学習に用いる映像を準備する映像データ選別手段と、
   前記学習に用いる映像の中から認識対象物を切り出して教示データを自動生成する対象物自動検出手段と、
   前記教示データに含まれる対象物の認識に必要な特徴データを抽出する特徴抽出手段と、
   前記教示データと特徴データに基づいて認識対象のパターンを学習する学習手段と、
   前記学習結果に基づいて辞書データを生成する辞書構築手段と、
   を具備し、
   前記辞書データを参照することで前記映像データに写る物体を自動的に検出し識別する物体検出・識別装置。
2. 前記異種データは、前記映像データ取得時の時刻データ、位置データ、気象データの少なくともいずれかである請求項１に記載の物体検出・識別装置。
3. 前記異種データ受信手段は、前記映像データと異種データを受信・統合し、映像データと異種データの情報とを関連付けて記録・管理する手段を有する請求項１に記載の物体検出・識別装置。
4. 前記映像内容推定手段は、受信した異種データの属性情報や時系列解析結果によりカメラ映像の内容を推定する手段と、推定結果により前記映像データをラベル付けする手段を有する請求項１に記載の物体検出・識別装置。
5. 前記映像データ選別手段は、前記ラベル付けした映像データに対してラベル情報に基づいてカテゴリーに分類した後、学習に必要なデータのみ選別する手段を有する請求項４に記載の物体検出・識別装置。
6. 前記対象物自動検出手段は、前記ラベル付けした学習映像に対して、非パターン認識系アルゴリズム及びパターン認識系アルゴリズムを組み合わせて学習映像から対象物体を切り出すことで学習に必要なラベル付き教示データを自動生成する請求項５に記載の物体検出・識別装置。
7. 前記特徴抽出手段は、前記教示データから複数種類の高次特徴量を抽出し、ラベル情報に基づいて有効と考えられる高次特徴量の順位付けを行う手段を有する請求項６に記載の物体検出・識別装置。
8. 前記学習手段は、前記ラベル付き高次特徴量を基に学習する手段及び最も高い性能を示す高次特徴量を選択する手段を有する請求項７に記載の物体検出・識別装置。
9. 前記辞書構築手段は、前記学習手段により複数地点で収集した映像から、認識性能が高く、共通的に適用可能な辞書を構築する手段を備える請求項１に記載の物体検出・識別装置。
10. 異なる場所に設置した複数台のカメラの映像データそれぞれの撮影状況に関連する異種データを受信し、
    前記異種データを基に映像内容を推定し、
    前記映像の内容の推定結果に基づいて映像データを選別して学習に用いる映像を準備し、
    前記学習に用いる映像の中から認識対象物を切り出して教示データを自動生成し、
    前記教示データに含まれる対象物の認識に必要な特徴データを抽出し、
    前記教示データと特徴データに基づいて認識対象のパターンを学習し、
    前記学習の結果に基づいて辞書データを生成し、
    前記辞書データを参照して前記映像データに写る物体を自動的に検出し認識する物体検出・識別方法。
11. 異なる場所に設置した複数台のカメラの映像データそれぞれの撮影状況に関連する異種データを受信し、
    前記異種データを基に映像内容を推定し、
    前記映像の内容の推定結果に基づいて映像データを選別して学習に用いる映像を準備し、
    前記学習に用いる映像の中から認識対象物を切り出して教示データを自動生成し、
    前記教示データに含まれる対象物の認識に必要な特徴データを抽出し、
    前記教示データと特徴データに基づいて認識対象のパターンを学習し、
    前記学習の結果に基づいて辞書データを生成する辞書データ生成方法。

Images