JP2016009379A - 対象物検出装置及び要素選択装置 - Google Patents

Abstract

【課題】 処理負荷の低減を図ることができる対象物検出装置、及び要素選択装置を提案する。
【解決手段】 観測データ（カメラの画像やＬｉｄａｒの測距点の集合）から特定の対象物（歩行者や車両）を識別器により識別する処理において、当該処理において高精度な識別が可能となる２値化特徴の生成のための閾値を決定する。この閾値の数に応じて要素ごとに２値化特徴の次元数が定まるが、識別性能の高い要素については、２値化特徴の次元数が減少することとなり、マッチング時に内積計算回数を減らせ、処理負荷の低減が可能である。
【選択図】図１１

Description

本発明は、対象物検出装置及び要素選択装置に関する。

従来、車両に搭載されたカメラやＬｉｄａｒなどのセンサで取得された情報（観測データ）から、車両外部の歩行者や他の車両などの対象物を識別する技術が提案されている。このような対象物を識別する技術の一例として、予め作成された識別器（モデル）により、観測データをマッチングする方法がある。

識別器は予め学習データとしてＰｏｓデータ（識別対象のデータ）とＮｅｇデータ（識別対象以外のデータ）を用いて学習を行うことで作成することができ、特徴量の形で表されることが一般的である。

特徴量とは、入力されたデータを変換して得られる物体の特徴を表すパラメータであって、代表的な特徴量としてＨｏＧやＳＩＦＴが挙げられる。この入力データを特徴量に変換したものと識別器との内積計算（高次元のベクトル演算）を、画像の注目位置を変更しながら実施し、各位置で類似度を計算する。その後、各注目画素位置で計算された類似度を閾値処理することで対象物体を識別することが可能となる。

識別器を用いることによって高い精度での対象物の識別が可能となるが、高次元の内積計算をする必要があるため処理負荷が高くなり、処理時間が長くなってしまいやすい。このような課題を解決するためには、内積計算を行う特徴次元を圧縮することが考えられる。

例えば、入力のパターンの特徴量をその要素のベクトルに分解し、それぞれの特徴ベクトルについて各々判別分析によって得られる判別行列を予め用意する。その判別行列によって規定される判別空間に観測データから生成した各特徴ベクトルを射影して次元を圧縮した後に、得られた特徴ベクトルを合わせて、再度判別行列によって再度射影することによって、特徴ベクトルの次元を圧縮する方法が提案されている（特許文献１参照）。これにより、特徴量の次元をＳ次元からＴ次元（Ｓ＞Ｔ）に圧縮することができる。

特開２００９−１４０５１３号公報

特許文献１の技術では、特徴量計算の際、予め１度Ｓ次元の特徴量を計算した後、Ｔ次元に次元圧縮する。そのため、次元圧縮された特徴量と識別器との内積計算については高速化が可能であるものの、そもそも次元圧縮された特徴量を算出する段階においてメモリ使用量増加や処理時間の増加という問題が発生してしまう。

本発明の目的は、処理負荷の低減を図ることができる対象物検出装置及び要素選択装置を提案することである。

請求項１に記載の発明は、特徴量取得手段（１１、Ｓ４２）と、２値化手段（１１、Ｓ４５）と、検出手段（１１、Ｓ４６、Ｓ４７）とを備える対象物検出装置である。
特徴量取得手段は、観測手段（３）により取得されるデータであって対象物の存在により変化する観測データから取得可能な特徴量の複数の要素を観測データから取得する。

２値化手段は、特徴量取得手段により取得された複数の特徴量の要素に基づいて、その特徴量の各要素について所定の閾値を基準として２値（一例として、「０」又は「１」で示される値）化された２値化特徴量を算出する。

検出手段は、２値化手段により算出された複数の２値化特徴量と、予め準備された対象物モデルと、の類似度合に基づいて対象物を検出する。
そして上記２値化手段は、各要素に対して予めそれぞれ定められた閾値を用いて特徴量の要素の２値化を行うことを特徴とする。

このように構成された対象物検出装置は、観測手段により取得された観測データから取得された特徴量を２値化した値を用いて対象物の検出処理を実行する。そのため、観測データの全域から取得した２値化していない特徴量と対象物モデルとの類似度合に基づき対象物を検出する場合と比較すると、内積計算の高速化や、特徴量を浮動小数点ではなく２値で表せることによる処理時のメモリ使用量の低減など、処理負荷の低減を図ることができる。

請求項７に記載の発明は、要素選択手段（１１、Ｓ３−Ｓ８）を備える要素選択装置である。要素選択手段は、観測手段（３）により取得されるデータであって対象物の存在により変化する観測データから取得可能な特徴量の複数の要素のうちいずれか１つ以上を用いて、観測データと予め準備された対象物モデルとの類似度合に基づいて観測データから対象物を検出する検出手段（１１、Ｓ２５、Ｓ２６）において用いられる上記複数の要素を選択する。

この要素選択手段は、上記複数の要素それぞれについて、観測データが上記対象物の存在する観測データであるか否かの識別に当該要素が有用であると判定された要素を特徴量の複数の要素の中から選択することを特徴とする。

このように構成された要素選択装置は、観測データが上記対象物の存在する観測データであるか否かの識別に当該要素が有用であると判定された要素を選択する。検出手段はその要素のみを用いて対象物の検出処理を実行する。そのため、全ての特徴量の要素を観測データから取得して、その特徴量と対象物モデルとの類似度合に基づき対象物を検出する場合と比較すると、有用である要素を用いて高精度での検出処理が可能となると共に、処理の高速化や処理におけるメモリ使用量の低減などを図ることができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

障害物検出システムの全体構成を示すブロック図である。 特徴量選別処理の処理手順を説明するフローチャートである。 特徴量の算出方法を説明する図である。 ＨｏＧ特徴のヒストグラムの一例である。 ＰｏｓデータとＮｅｇデータに基づく投票数ヒストグラムの一例である。 投票数ヒストグラムの差分をとった状態を示す図である。 ＰｏｓデータとＮｅｇデータに基づく投票数ヒストグラムの一例である。 物体識別処理の処理手順を説明するフローチャートである。 閾値算出処理の処理手順を説明するフローチャートである。 ＰｏｓデータとＮｅｇデータの投票数ヒストグラムに基づく閾値決定方法及び各要素の２値化後の特徴量の要素について説明する図である。 ２値化による物体識別処理の処理手順を説明するフローチャートである。 変形例の特徴量選別方法を説明する図である。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
（１−１）障害物検出システムの構成
本実施形態の障害物検出システム１は自動車等の車両に搭載されて用いられるシステムであって、図１に示すように、車載カメラ３と、表示手段５と、対象物検出装置７と、を備えている。この障害物検出システム１は、車載カメラ３にて撮影された撮像画像から車両周辺の人や物などの検出すべき対象物（以下、単に対象物と記載する）を検出し、検出された対象物を表示手段５に表示させることができる。

車載カメラ３は、車両周辺を撮影する撮影装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。車載カメラ３は、所定の時間間隔（一例として１００ｍｓ）で車両の進行方向を中心とした車両周辺を撮影し、撮影した撮像画像を対象物検出装置７に出力する。

表示手段５は、画像を表示する液晶ディスプレイ又はヘッドアップディスプレイを有し、対象物検出装置７から入力される信号に従って画像を表示する。例えば、車両と衝突する可能性の高い対象物を検出したときに警告画面を表示する。

対象物検出装置７は、車載カメラ３にて撮影された撮像画像を取得し、画像処理により所定の対象物を検出する。また検出された対象物と車両が衝突するか否かを予測する。
この対象物検出装置７は、ＣＰＵ１１と、ＣＰＵ１１が実行するプログラム等を記憶するＲＯＭ１３と、ＣＰＵ１１によるプログラム実行時に作業領域として使用されるＲＡＭ１５と、フラッシュメモリやＥＥＰＲＯＭ等の不揮発性メモリ１７などを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。

ＣＰＵ１１は、公知技術であるＨｏＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔ）と呼ばれるエッジの勾配強度及び勾配方向を基に計算される特徴量を用いて撮像画像から対象物を検出する処理を行う。この特徴量は画像における所定の単位領域（後述する単位画像５３）ごとに算出されるものであり、単位領域ごとに複数の要素からなる特徴量として表すことができる。以降、この単位領域ごとに算出される複数の要素の集合をＨｏＧ特徴と記載する。

不揮発性メモリ１７には、車載カメラ３にて撮影された撮像画像から対象物を検出する際に実行するマッチング処理に用いるモデルである識別器の情報と、対象物に応じて設定される、撮像画像から取得すべき特徴量の情報と、が記憶されている。

識別器とは、対象物についての典型的なＨｏＧ特徴を表すデータであり、事前に撮影した多数の対象物の撮像画像に基づいて作成されたものである。また不揮発性メモリ１７には、ＣＰＵ１１による処理に用いられる様々なデータが記憶される。

（１−２）ＣＰＵ１１による処理
本実施形態の対象物検出装置７のＣＰＵ１１は、特徴量選別処理と、物体識別処理と、を実行する。

（１−２−１）特徴量選別処理
対象物検出装置７のＣＰＵ１１が実行する特徴量選別処理について、図２に示すフローチャートに基づいて説明する。この処理は、複数の要素からなるＨｏＧ特徴の中から、後述する物体識別処理において対象物の検出に用いる要素を選別する処理である。ＨｏＧ特徴は複数の要素を含む多次元情報であるため、その次元数を低減することで処理負荷の低減を図る。

Ｓ１では、ＣＰＵ１１は学習データの入力を行う。学習データとは複数の画像データであり、共通の対象物を撮影した撮像画像のデータであるＰｏｓ（Ｐｏｓｉｔｉｖｅ）データ、及び、共通の対象物以外を撮影した撮像画像のデータであるＮｅｇ（Ｎｅｇａｔｉｖｅ）データ、のいずれかに分類される。学習データは、Ｐｏｓデータ、Ｎｅｇデータのそれぞれについて異なるデータを多数含む。

Ｓ２では、ＣＰＵ１１は、入力した学習データそれぞれに対して特徴量の算出を行う。本実施形態においてはＨｏＧ特徴としてｋ次元（本実施形態では９次元）の情報を算出する。なお以下の説明において、ｋとはＨｏＧ特徴の次元数であり、ＨｏＧ特徴に含まれる特徴量の数を指すものとする。以下に、特徴量の算出方法を説明する。

学習データの入力画像は、図３（ａ）、（ｂ）に示すように、基本画像５１をＱ×Ｒの複数の画素からなる矩形領域（Ｑ、Ｒは自然数）単位に分割してなる単位画像５３である。本実施形態では、４×４画素からなる矩形領域を単位画像５３とする。

そしてこのような単位画像５３に対して、以下の式（１）〜（４）に従い、画像を構成する画素ごとに、輝度の勾配強度Ｅ及び勾配方向θを算出する。なお、下記式において、Ｉ（ｘ、ｙ）とは、画像の水平方向の座標をｘ、鉛直方向の座標をｙとしたときの画素（ｘ、ｙ）における輝度値を表すものとする。

そして各単位画像５３について、その画像の各画素から得られる勾配強度Ｅ（ｘ、ｙ）を、予め定めた勾配方向（０°〜１８０°を２０°毎のｋ（ｋ＝９）方向に分割したそれぞれの方向）をビンとして、図４に示すようにヒストグラム化する。このヒストグラムがＨｏＧ特徴を示しており、このＨｏＧ特徴はｋ個の特徴量Ｈ（ａ）（ａは１〜９の整数）を有している。なお本実施形態では、ヒストグラムの投票値を単位画像５３ごとに正規化し、投票値のとり得る範囲を０〜１とした正規化特徴量を使用する。

なお、上記のＨｏＧ特徴の算出法はあくまで一例であり、投票値をＥではなく１とするなど、様々な計算方法でＨｏＧ特徴を求めることができる。また、上記のＥ，θは輝度から算出したが、これに限られるものではない。例えば、Ｉを画素のＲ，Ｇ，Ｂとし、それぞれで式（１）〜（４）を実施し、その中でＥが最大となる値を、その画素の最終的なＥ，θの値として採用してもよい。

全ての学習データについてＨｏＧ特徴の算出が終了すると、処理がＳ３に移行する。１つの学習データからは、基本画像５１に含まれる単位画像５３の数のＨｏＧ特徴が算出される。

続くＳ３〜Ｓ８では、Ｓ２にて算出した複数の学習データそれぞれにて求められた、特徴量を構成するｋ種類の要素Ｈ（ａ）のうち、いずれか１種類について、その要素Ｈ（ａ）が対象物の検出に用いるべき要素（即ち、対象物の存在する撮像画像のデータであるか否かの識別に有用である要素）であるか否かを判断する。そして、ｋ種類の要素の判定が終了するまでＳ３〜Ｓ８を繰りかえす。

Ｓ３では、ＣＰＵ１１は、投票数ヒストグラムを作成する。ここでは、Ｓ２にて算出した複数の学習データのＨｏＧ特徴に基づいて、ｋ種類の特徴量の要素のうちのいずれか１種類の要素Ｈ（ａ）について注目し、横軸を要素の投票値（大きさ）Ｈ（ａ）、縦軸をデータ数（データの出現頻度）とし、ＰｏｓデータとＮｅｇデータでそれぞれヒストグラムＤ（Ｐｏｓ），Ｄ（Ｎｅｇ）を作成する。図５（ａ）、（ｂ）は、それぞれ要素Ｈ（１）、要素Ｈ（２）の投票数ヒストグラムの例である。

なお、上述した横軸、縦軸が本発明における一方の軸、他方の軸の例である。縦軸と横軸は入れ替わってもよい。以下の説明で登場するヒストグラムにおいても同様である。
Ｓ４では、ＣＰＵ１１は、Ｓ３にて作成した投票数ヒストグラムＤ（Ｐｏｓ），Ｄ（Ｎｅｇ）の差分Ｄ（Ｄｉｆｆ）を以下の式にて算出する。

Ｄ（Ｄｉｆｆ）＝｜Ｄ（Ｐｏｓ）−Ｄ（Ｎｅｇ）｜
算出されたＤ（Ｄｉｆｆ）の例を図６（ａ）、（ｂ）に示す。Ｄ（Ｄｉｆｆ）を算出した後、処理がＳ５に移行する。

Ｓ５では、ＣＰＵ１１は、投票数の閾値計算を行う。ここでは、図６（ａ）、（ｂ）に示すように、Ｓ４にて算出したＤ（Ｄｉｆｆ）が所定の第１閾値以下の投票数Ｔｈ_ｉｊ（ｉ：特徴量番号（ｉ＝１，…，ｋ）、ｊ＝１，…，Ｎ）の総数である閾値数Ｎを取得する。本実施形態では第１閾値は０であり、第１閾値以下となったＤ（Ｄｉｆｆ）の数、即ち値が０となったＤ（Ｄｉｆｆ）の投票数Ｔｈ_ｉｊの数をカウントする。

なお、２つのヒストグラムの交点がビン上で生じているとは限らず、必ず０になるビンが存在するとは限らないため、第１閾値は０でなくともよい。但し、なるべく０に近い値とすることが好ましい。

Ｓ６では、ＣＰＵ１１は、Ｓ５にて算出した閾値数Ｎが所定の第２閾値以下であるか否かを判定する。閾値数Ｎが小さいほど、その要素Ｈ（ａ）が、撮像画像のデータが対象物の存在する観測データであるか否かの識別において有用であると考えられる。その理由を以下に説明する。

Ｐｏｓデータを表す上で共通ではない要素（例えば、歩行者識別における「服の模様」、「背景」など）における投票数ヒストグラムは、図７に示すように投票数の分布がＰｏｓデータ、Ｎｅｇデータに関らず散在している。

つまり、Ｐｏｓデータ及びＮｅｇデータの投票数の分布は収束せず偏りが少なく特徴的ではないため、対象物の検出に有効な要素とはならない。この場合にＤ（Ｐｏｓ），Ｄ（Ｎｅｇ）の差分をとると、Ｄ（Ｐｏｓ），Ｄ（Ｎｅｇ）の交差する点が多いことから閾値数Ｎは大きな値となる。よって、閾値数Ｎが小さいほどその要素Ｈ（ａ）が有用であると判断できる。

なお第１閾値が０でない場合は、Ｄ（Ｐｏｓ）とＤ（Ｎｅｇ）が第１閾値以下に接近すれば閾値数Ｎは増大する。Ｄ（Ｐｏｓ）とＤ（Ｎｅｇ）が接近した投票数の数（閾値数Ｎ）が多ければ、ＰｏｓデータとＮｅｇデータの投票数ヒストグラムの特徴に差が少なく、有用ではないと判断できる。

一方、図５（ａ）、（ｂ）のように、Ｐｏｓデータ及びＮｅｇデータの両方又は一方が収束している場合、図７（ａ）では閾値数Ｎ＝１、図７（ｂ）では閾値数Ｎ＝２となるように、その要素Ｈ（ａ）の閾値数Ｎは小さくなる。

このような理由により、閾値数Ｎが所定の第２閾値より小さければ、その要素Ｈ（ａ）はＰｏｓ，Ｎｅｇの識別に有効であり、対象物の検出に適するものと判断できる。一方、閾値数Ｎが所定の閾値より大きければ、その要素は対象物の検出（画像データが対象物の存在する画像データであるか否かの識別）に適するものではないと判断できる。

そこで、Ｓ６において、閾値数Ｎが所定の第２閾値以下であれば（Ｓ６：ＹＥＳ）、処理がＳ７に移行して、当該要素Ｈ（ａ）を対象物の検出に使用する要素として設定する。その後、処理がＳ９に移行する。

一方、閾値数Ｎが所定の第２閾値を超えていれば（Ｓ６：ＮＯ）、処理がＳ８に移行して、当該要素Ｈ（ａ）を、特徴量を構成する要素のうち対象物の検出に使用しない要素として設定する。その後、処理がＳ９に移行する。

Ｓ９では、ＣＰＵ１１は、全ての要素Ｈ（ａ）について、Ｓ７又はＳ８の設定が終了したか否かを判断する。全ての要素Ｈ（ａ）について終了していなければ（Ｓ９：ＮＯ）、処理がＳ３に戻り、閾値数Ｎの閾値判定による使用及び不使用の判定が行われていない要素Ｈ（ａ）に対して、Ｓ３〜Ｓ８の処理を実行する。一方、全ての要素Ｈ（ａ）について終了していれば（Ｓ９：ＹＥＳ）、本処理を終了する。

以上の処理により、後述する物体識別処理にて用いられる要素を物体識別処理の前に予め決定することができる。以降、この決定された１つ以上の要素を選別特徴量とも記載する。加えて、識別器も選別特徴量で表されることになる。

ところで、本実施形態においては検出すべき対象物は、歩行者又は車両、というように１つだけではなく、複数種類であってもよい。その場合には、本処理は対象物ごとに実行され、対象物ごとに異なる選別特徴量が設定される。

（１−２−２）物体識別処理
対象物検出装置７のＣＰＵ１１が実行する物体識別処理について、図８に示すフローチャートに基づいて説明する。この処理では、車載カメラ３にて撮影された撮像画像から、車両又は歩行者を検出する。この処理は、対象物検出装置７の起動中、所定の周期（例えば１００ｍｓ）にて実行される。

Ｓ２１では、ＣＰＵ１１は車載カメラ３にて撮影された撮像画像のデータを取得する。
Ｓ２２では、ＣＰＵ１１は、検出すべき対象物を選択する。選択を行う基準は特に限定されないが、例えば、本処理を繰り返すごとに、又は所定の周期で、選択される対象物が自動的に切り替わるように構成されていてもよいし、予め運転者が行った入力操作に基づいて１種類又は複数種類の対象物を選択する構成であってもよい。

Ｓ２３では、ＣＰＵ１１は、Ｓ２２にて事前に求められている、選択された対象物に対応する選別特徴量の情報を取得する。
Ｓ２４では、ＣＰＵ１１は、Ｓ２１にて取得した撮像画像から選別特徴量を算出する。ここでは撮像画像全体を対象として、特徴量選別処理で使用すべき要素として決定された要素を算出する。

特徴量の算出方法は図２のＳ２にて実行した特徴量の算出方法と同様であるが、選別特徴量以外の要素については算出しない。仮に、対象物が歩行者である場合には要素Ｈ（１），Ｈ（５），Ｈ（９）のみを算出すると設定されていた場合には、それ以外の要素については算出せず、ＨｏＧ特徴は従来の（画像データから取得可能な最大の）９次元ではなく、３次元のデータとなる。

Ｓ２５では、ＣＰＵ１１は内積計算を行う。ここでは、撮像画像から、選択された対象物に対応する識別器の領域と同じサイズの領域を切り出し、切り出す位置を少しずつずらしながら、切り出した画像の選別特徴量と、識別器の選別特徴量と、の内積計算を行う。

Ｓ２６では、ＣＰＵ１１は、内積計算の結果を閾値処理することにより、対象物を検出する。即ちＳ２５、Ｓ２６では対象物の識別器と撮像画像を内積計算によるマッチングを行い、類似度合が大きいときに対象物であると判定する。

Ｓ２７では、ＣＰＵ１１は、検出結果を出力する。具体的には表示手段５に対して検出した対象物の情報を表示させることが考えられる。表示内容は特に限定されず、車両と対象物の位置関係を示す鳥瞰図を表示したり、衝突の危険がある場合にその報知を行ったりすることが考えられる。Ｓ２７の後、本処理を終了する。

（１−３）効果
本実施形態の障害物検出システム１において、対象物検出装置７のＣＰＵ１１（本発明における要素選択手段及び検出手段の一例）は、車載カメラ３にて撮影された撮像画像のデータ（本発明における観測データの一例）から取得可能な特徴量であって複数の要素からなるＨｏＧ特徴のうち、１つ以上の要素を含む選別特徴量を撮像画像のデータから取得する。このときＣＰＵ１１は、複数の特徴量の要素のうち対象物に応じて予め定められた要素のみを選別特徴量として撮像画像のデータから取得する。

そしてＣＰＵ１１は、取得した選別特徴量と、予め準備された識別器（本発明における対象物モデルの一例）と、の類似度合（一致度合）に基づいて対象物を検出する。ここで、選別特徴量とは、対象物の存在する撮像画像のデータであるか否かの識別に当該要素が有用であると判定された要素である。

このように構成された対象物検出装置７は、撮像画像から取得可能な特徴量の中から、予め定められた選別特徴量を用いて対象物の検出処理を実行するため、内積計算によりマッチングを行うときや撮像画像から特徴量を算出するときに、処理の高速化や処理におけるメモリ使用量の低減を図ることができる。

また本実施形態においては、選別特徴量として取得する特徴量は、横軸を要素の投票値（大きさ）、縦軸をデータ数（データの出現頻度）とし、各々が共通の対象物を観測した複数の異なる学習データから取得されたＰｏｓデータのヒストグラムであるＤ（Ｐｏｓ）（本発明における第１のヒストグラムの一例）と、各々が上記対象物以外を観測した複数の異なる学習データから取得されたＮｅｇデータのヒストグラムであるＤ（Ｎｅｇ）（本発明における第２のヒストグラムの一例）と、の差分が所定の第１閾値以下であるビンの数が所定の第２閾値以下であるものである。

即ち、本実施形態の対象物検出装置７は、対象物の識別性能が高いと考えられる要素のみを各処理に用いているため、撮像画像から対象物を高い精度で検出することができる。
なお、本実施形態においてはＰｏｓデータ、Ｎｅｇデータそれぞれについてヒストグラムを作成する構成を例示したが、Ｐｏｓデータから取得された特徴量の要素に対するデータ数の分布と、Ｎｅｇデータから取得された特徴量の要素に対するデータ数の分布と、の差異に基づいて、当該対象物において識別に有用な特徴量の要素か否かが判定されたものであれば、必ずしもヒストグラムを用いて判定されていなくともよい。Ｐｏｓデータ及びＮｅｇデータの少なくともいずれか一方の特徴量の要素の分布に偏りや収束が見られれば、その特徴量は識別性能が高いと判断することができる。

また本実施形態の対象物検出装置７は、複数の識別器によって複数の対象物を検出可能であり、ＣＰＵ１１が選別特徴量として取得する要素は対象物ごとに設定されている。
よって本実施形態の対象物検出装置７は、複数の対象物を検出可能であって、対象物に応じて適切な選別特徴量を用いることができる。

［第２実施形態］
（２−１）障害物検出システムの構成
本実施形態の障害物検出システムは、第１実施形態の障害物検出システム１と同様のハードウェア構成を有する一方で、対象物検出装置７のＣＰＵ１１による処理が相違するため、その点について説明する。

本実施形態の障害物検出システムが解決しようとする課題を説明する。観測データにおける歩行者や車両などの検出に識別器（モデル）を使用する方法において、これら識別器と観測データから生成される特徴量は主に浮動小数点の値で表される場合がある。このとき、識別処理の際に行う内積計算では「浮動小数点×浮動小数点」の処理を非常に多くの回数行う必要があり、この処理に多くの処理時間を要するという問題がある。

そこで、識別器と特徴量それぞれを「０」又は「１」で近似する「２値化（バイナリ化）」を行うことで、低メモリ化、及び、内積演算をビット演算で行うことによる内積計算処理の高速化を図る。しかしながら、特徴量を２値化するときの閾値を、特徴量の各要素で画一的に設定すると適切な閾値とならない恐れがある。本実施形態では、特徴量を２値化するときの閾値として識別に適した値を求める。

（２−２）ＣＰＵ１１による処理
対象物検出装置７のＣＰＵ１１は、閾値算出処理と、物体識別処理と、を実行する。
（２−２−１）閾値算出処理
対象物検出装置７のＣＰＵ１１が実行する閾値算出処理について、図９に示すフローチャートに基づいて説明する。この処理は、複数の要素により構成されるＨｏＧ特徴の各要素について、適切な閾値の数と値を算出する処理である。

Ｓ３１では、ＣＰＵ１１は、学習データの入力を行い、Ｓ３２では、入力した学習データに対して特徴量の算出を行う。このＳ３１、Ｓ３２処理は、上述したＳ１、Ｓ２の処理と同様である。

Ｓ３３，Ｓ３４は、上述したＳ３，Ｓ４の処理と同様に、ＣＰＵ１１は投票数ヒストグラムを作成して差分を算出する。図１０（ａ）、（ｂ）に要素Ｈ（１）、要素Ｈ（２）の投票数ヒストグラムの例を示す。差分をとったときに０となる点は図１０（ａ）においてはＴｈ_１１の１点、図１０（ｂ）においてはＴｈ_２１、Ｔｈ_２２の２点である。この要素の投票数（大きさ）Ｔｈ_ｉｊが、２値化処理における閾値となる。

Ｓ３５では、ＣＰＵ１１は、投票数の閾値算出を行う。ここではＳ３４にて算出した差分が所定の閾値（本実施形態では０）以下となるときに、その点の要素の投票数（大きさ）閾値として算出する。

Ｓ３６では、ＣＰＵ１１は、全ての要素Ｈ（ａ）について、投票数の閾値算出処理が終了したか否かを判断する。全ての要素について算出処理が終了していなければ（Ｓ３６：ＮＯ）、処理がＳ３３に戻り、投票数の閾値処理が行われていない特徴量に対して、Ｓ３３〜Ｓ３５の処理を実行する。一方、全ての要素について算出処理が終了していれば（Ｓ３６：ＹＥＳ）、本処理を終了する。

（２−２−２）物体識別処理
対象物検出装置７のＣＰＵ１１が実行する物体識別処理について、図１１に示すフローチャートに基づいて説明する。この処理では、車載カメラ３にて撮影された撮像画像から、車両又は歩行者を検出する。この処理は、対象物検出装置７の起動中、所定の周期（例えば１００ｍｓ）にて実行される。

Ｓ４１では、ＣＰＵ１１は車載カメラ３にて撮影された撮像画像のデータを取得する。
Ｓ４２では、ＣＰＵ１１は、Ｓ４１にて取得した撮像画像に対し、Ｓ２と同様の特徴量算出を行う。

Ｓ４３では、ＣＰＵ１１は、検出すべき対象物を選択する。この処理は、Ｓ２２と同様の処理である。
Ｓ４４では、ＣＰＵ１１は、Ｓ４３にて選択された対象物に対応する、２値化処理時の閾値情報（閾値の数、閾値の値）を取得する。この閾値情報は、事前に予め実施した閾値算出処理で求められた情報である。

Ｓ４５では、ＣＰＵ１１は、Ｓ４２にて算出した要素に対し、Ｓ４４で取得した閾値情報に基づいて２値化処理を行う。
２値化処理の方法を説明する。図１０（ａ）において、要素Ｈ（１）がＴｈ_１１未満の投票数の場合はＮｅｇデータとの類似性が高く、Ｔｈ_１１を超える投票数の場合はＰｏｓデータとの類似性が高いと判定できる。ここで、閾値は上述したようにＴｈ_１１の１つである。

この閾値を基準として要素Ｈ（１）について閾値処理を行うと、上記閾値未満であれば「０」、上記閾値以上であれば「１」と２値化して表すことができる。図１０（ａ）の例では、Ｈ（１）が閾値以上であり、２値化後のＨ（１）は「１」となり、１次元の２値特徴量で表される。

一方、図１０（ｂ）においては、要素Ｈ（２）がＴｈ_２１未満の投票数の場合はＮｅｇデータとの類似性が高く、Ｔｈ_２１以上かつＴｈ_２２未満の投票数の場合はＰｏｓデータとの類似性が高く、Ｔｈ_２２以上の場合はＮｅｇデータとの類似性が高い。

この場合は、閾値がＴｈ_２１，Ｔｈ_２２の２つとなるため、２回の閾値処理によって２値化を実現できる。各閾値について、特徴量Ｈ（２）が当該閾値未満であれば「０」とし、当該閾値以上であれば「１」として順に表すと、特徴量Ｈ（２）がＴｈ_２１未満であれば「００」、Ｔｈ_２１以上Ｔｈ_２２未満であれば「１０」、Ｔｈ_２２以上であれば「１１」というように、２次元の２値特徴量で表される。図１０（ｂ）の例では、２値化後のＨ（２）は「１０」となる
なお閾値が３つ以上である場合も同様に、閾値の数に応じて２値化特徴の次元数が増えることとなる。

Ｓ４６では、ＣＰＵ１１は内積計算を行う。ここでは、撮像画像から、選択された対象物に対応する識別器の領域と同じサイズの領域を切り出し、切り出す位置を少しずつずらしながら、切り出した画像を２値化した特徴量と、識別器と、の内積計算を行う。なお、ここで用いられる識別器は、閾値算出処理にて算出された閾値情報に基づいて２値化された特徴量を用いて学習して生成された識別器である。

Ｓ４７では、ＣＰＵ１１は、内積計算の結果を閾値処理することにより、対象物を検出する。Ｓ４８では、ＣＰＵ１１は、検出結果を出力する。このＳ４７、Ｓ４８の処理は、Ｓ２６、Ｓ２７と同様の処理である。Ｓ４８の後、本処理を終了する。

（２−３）効果
本実施形態の障害物検出システム１において、対象物検出装置７のＣＰＵ１１（本発明における特徴量取得手段、２値化手段、検出手段の一例）は、車載カメラ３にて撮影された撮像画像のデータから取得可能なＨｏＧ特徴を撮像画像のデータから取得する。そして、ＣＰＵ１１は取得されたＨｏＧ特徴に基づいて、複数の要素について所定の閾値を基準として２値化された要素（本発明における２値化特徴量の一例）を算出する。このときＣＰＵ１１は、複数の要素に対して予め定められた閾値を用いて特徴量の２値化を行う。

そしてＣＰＵ１１は、複数の２値化された特徴量と、予め準備された識別器と、の類似度合に基づいて対象物を検出する。
よって本実施形態の対象物検出装置７は、撮像画像から取得された特徴量を２値化した値を用いて対象物の検出処理を実行するため、内積計算がビット演算で処理できるため、処理の高速化やメモリ使用量の低減を図ることができる。

また本実施形態においては、特徴量を２値化するために用いる閾値は、横軸を要素の投票値（大きさ）、縦軸をデータ数（データの出現頻度）としたヒストグラムにおいて、各々が共通の対象物を観測した複数の異なる学習データから取得されたＰｏｓデータのヒストグラムであるＤ（Ｐｏｓ）（本発明における第１のヒストグラムの一例）と、各々が上記対象物以外を観測した複数の異なる学習データから取得されたＮｅｇデータのヒストグラムであるＤ（Ｎｅｇ）（本発明における第２のヒストグラムの一例）と、の差分が所定の閾値以下であるビンに対応する特徴量に基づく値である。

即ち、本実施形態の対象物検出装置７は、２値化処理の閾値を対象物の識別性能が高くなる値としているため、撮像画像から対象物を高い精度で検出することができる。
また本実施形態の対象物検出装置７は、複数の識別器によって複数の対象物を検出可能であり、ＣＰＵ１１が特徴量を２値化する際に基準とする各要素の閾値は対象物ごとに設定されている。また、各要素で次元数も異なる。

よって本実施形態の対象物検出装置７は、複数の対象物を検出可能であって、対象物に応じて各要素で良好な識別性能を発揮する適切な閾値を用いることができる。
［変形例］
以上本発明の実施形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記各実施形態においては、図２にて説明した特徴量選別処理、及び図８にて説明した閾値算出処理を対象物検出装置７にて実行する構成を例示したが、これらの処理は対象物検出装置７にて実行されず、他の情報処理装置にて予め実行されるものであってもよい。つまり、対象物検出装置７は、選別特徴量や閾値情報を予め有しているか外部から取得して物体識別処理を実行する構成であってもよい。

また上記各実施形態においては、観測データとして撮像画像データを用いる構成を例示したが、装置外部を観測可能な観測手段により取得されるデータであって対象物の存在により情報が変化するデータ（画像や測距点の集合）であれば、それ以外のデータを用いることもできる。例えば、レーザレーダ―（Ｌｉｄａｒ）やレーダー（Ｒａｄａｒ）などのセンサで取得される、車両外部の存在する対象までの距離を測定できるデータ（測距点の集合データ）を用いることができる。

また、第１実施形態と第２実施形態とを組み合わせた構成としてもよい。即ち、検出すべき対象物ごとに選別特徴量が設定されており、撮像画像から選別特徴量が取得されると共に、その取得した特徴量それぞれを２値化して対象物の検出を行うように構成されていてもよい。

また上記各実施形態では、ＨｏＧ特徴を構成する要素を特徴量として利用する構成を例示したが、ＨｏＧ特徴以外の手法で特徴量を求めてもよい。例えば、ＳＩＦＴ特徴を利用することが考えられる。

また上記第１実施形態では、Ｐｏｓデータ及びＮｅｇデータの投票数ヒストグラムを用いて特徴量の選別を行う構成を例示したが、投票数ヒストグラムを正規分布などで近似（定式化）し、その平均値μ_Ｐｏｓ、μ_Ｎｅｇ及び、分散値σ^２ _Ｐｏｓ， σ^２ _Ｎｅｇとの関係から、その特徴量の識別性能を判定してもよい。

具体的には、図１２（ａ）〜（ｃ）に示すように、投票数ヒストグラムを下記（５）式で示す正規分布に近似したときに、下記（６）式で示す条件１、及び、下記（７）式で示す条件２、を共に満たさない場合には、その特徴量は識別性能が低いと判定し、対象物の検出において使用しない特徴量と判断する。

なお条件１は、平均値の差が所定の閾値以上大きいことであり、条件２は、Ｐｏｓデータ及びＮｅｇデータの分布の分散値が共に大きいことである。下記式中のα及びβは予め定められた閾値である。

図１２（ａ），（ｂ）に示す特徴量の要素Ｈ（１）、Ｈ（２）の場合は、いずれの条件も満たすため識別性能の高い特徴量と判断される。一方、図１２（ｃ）に示す要素Ｈ（３）の場合は、条件２を満たさないため使用しない要素と判定される。

１…障害物検出システム、３…車載カメラ、７…対象物検出装置、１１…ＣＰＵ。

Claims (10)

1. 観測手段（３）により取得されるデータであって対象物の存在により変化する観測データから取得可能な特徴量の複数の要素を、前記観測データから取得する特徴量取得手段（１１、Ｓ４２）と、
   前記特徴量取得手段により取得された前記複数の要素に基づいて、前記特徴量の各要素について所定の閾値を基準として２値化された２値化特徴量を算出する２値化手段（１１、Ｓ４５）と、
   前記２値化手段により算出された複数の前記２値化特徴量と、予め準備された対象物モデルと、の類似度合に基づいて前記対象物を検出する検出手段（１１、Ｓ４６、Ｓ４７）と、を備え、
   前記２値化手段は、前記特徴量の各要素に対して予め定められた閾値を用いて前記特徴量の２値化を行う
   ことを特徴とする対象物検出装置。
2. 前記２値化手段が前記特徴量の要素を２値化するために用いる閾値は、一方の軸を要素の投票値、他方の軸をデータ数としたヒストグラムにおいて、各々が共通の前記対象物を観測した複数の異なる前記観測データから取得された第１のヒストグラムと、各々が前記対象物以外を観測した複数の異なる前記観測データから取得された第２のヒストグラムと、の差分が所定の閾値以下であるビンに対応する前記特徴量の要素の値である
   ことを特徴とする請求項１に記載の対象物検出装置。
3. 前記２値化手段において、ヒストグラムの差分の閾値は前記特徴量の要素ごとに異なる
   ことを特徴とする請求項２に記載の対象物検出装置。
4. 前記２値化手段において、前記特徴量の各要素を２値化するために用いる閾値の数に応じて、前記特徴量の要素ごとに２値化後の特徴量の次元数が異なる
   ことを特徴とする請求項２又は請求項３に記載の対象物検出装置。
5. 前記２値化手段において、前記特徴量の各要素を２値化するために用いる閾値の数が０の場合は、当該要素については前記検出手段による前記対象物の検出に使用しない
   ことを特徴とする請求項２から請求項４のいずれか１項に記載の対象物検出装置。
6. 前記検出手段は、複数の前記対象物モデルによって複数の前記対象物を検出可能であり、
   前記２値化手段が２値化する際に基準とする前記複数の各要素の前記閾値は、前記対象物ごとに設定されている
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の対象物検出装置。
7. 観測手段（３）により取得されるデータであって対象物の存在により変化する観測データから取得可能な特徴量の複数の要素のうちのいずれか１つ以上を用いて、前記観測データと予め準備された対象物モデルとの類似度合に基づいて前記観測データから前記対象物を検出する検出手段（１１、Ｓ２５、Ｓ２６）において用いられる前記複数の要素を選択する要素選択手段（１１、Ｓ３−Ｓ８）を備え、
   前記要素選択手段は、前記複数の要素それぞれについて、前記観測データが前記対象物の存在する観測データであるか否かの識別に当該要素が有用であると判定された要素を前記特徴量の複数の要素の中から選択する
   ことを特徴とする要素選択装置。
8. 前記要素選択手段により選択された前記要素は、一方の軸を要素の投票値、他方の軸をデータ数としたヒストグラムにおいて、各々が共通の前記対象物を観測した複数の異なる前記観測データから取得された当該要素から作成した第１のヒストグラムと、各々が前記対象物以外を観測した複数の異なる前記観測データから取得された当該要素から作成した第２のヒストグラムと、の差分が所定の第１閾値以下であるビンの数が所定の第２閾値以下であるものである
   ことを特徴とする請求項７に記載の要素選択装置。
9. 前記要素選択手段により選択された前記要素は、各々が共通の前記対象物を観測した複数の異なる前記観測データから取得された当該要素に対するデータ数の分布と、各々が前記対象物以外を観測した複数の異なる前記観測データから取得された当該要素に対するデータ数の分布と、の差異に基づいて前記識別に有用である要素か否かが判定された結果、有用である要素として判定されたものである
   ことを特徴とする請求項７に記載の要素選択装置。
10. 観測手段（３）により取得されるデータであって対象物の存在により変化する観測データから取得可能な特徴量を構成する複数の要素のうち、請求項７〜請求項９のいずれか１項に記載の要素選択装置の備える要素選択手段により選択された１つ以上の要素を用いて、前記観測データと予め準備された対象物モデルとの類似度合に基づいて前記観測データから前記対象物を検出する検出手段（１１、Ｓ２５、Ｓ２６）を備え、
    前記検出手段は、複数の前記対象物モデルによって複数の前記対象物を検出可能であり、
    前記要素選択手段により選択された前記要素は、前記対象物ごとに選択されている
    ことを特徴とする対象物検出装置。