JP2014146267A - 歩行者検出装置、運転支援装置 - Google Patents

Abstract

【課題】歩行者と車両の判別精度を向上可能な歩行者検出装置を提供する。
【解決手段】撮影手段が撮影した画像データから歩行者を検出する歩行者検出装置であって、前記画像データに歩行者認識処理を施し、歩行者が存在すると認識された歩行者認識領域を特定する歩行者認識手段と、前記歩行者認識領域を基準にして人工物の探索領域を設定する探索領域設定手段と、前記探索領域に人工物認識処理を施す人工物認識手段と、前記人工物認識手段が前記人工物を認識できるか否かに応じて、前記歩行者認識手段による歩行者が存在するという認識結果の採否を決定する採否決定手段と、を有する。
【選択図】図２

Description

本発明は、撮影手段が撮影した画像データから歩行者を検出する歩行者検出装置等に関する。

カメラなどで撮影した歩行者を画像処理により認識して運転者を支援する歩行者検出装置が知られている。歩行者検出装置は、車室内の表示装置に歩行者を強調表示したり警報音で運転者に歩行者の接近を知らせたりする運転支援に利用される。歩行者を認識する手法としては種々のパターン認識が用いられることが多い。しかし、パターン認識では１００％の認識率を達成することが困難であるとされている。例えば、歩行者でないものを歩行者であると誤検知したり、歩行者が存在するのに検出できない場合がある（以下、これらを区別せずに誤認識という）。前者では運転支援の信頼性が低下してしまうし、後者では運転支援が遅れてしまう。このため、従来から歩行者の認識精度を向上させる技術が考案されている（例えば、特許文献１、２参照）。

特許文献１には、推定された歩行者の移動方向に応じた形状の歩行者の標準パターンを選択して、画像データと照合することで認識精度を向上させる歩行者認識方法が開示されている。特許文献２には、パターンマッチングとニューラルネットの異なる認識手法の結果を用いて歩行者か否かを最終判断する歩行者認識方法が開示されている。

しかしながら、これらの手法による認識精度の向上では車両の一部を歩行者と認識してしまう態様の誤認識を低減しにくい場合がある。これは、パターン認識では画像の特徴量のみで歩行者か否かを処理するため、車両の一部の特徴量と歩行者の特徴量が同等になる場合があり、車両の一部を歩行者と認識してしまうためである。

このような不都合に対し、車両のような人工物と歩行者とを区別して抽出する技術が考案されている（例えば、特許文献３参照。）。特許文献３には、２値化対象物の下端部を含む探索領域を設定する探索領域において水平エッジを検出し、水平エッジの長さにより人工物と人工物以外を区別する車両周辺監視装置が開示されている。

特開２００９−２３７８９７号公報 特開２００７−５８７５１号公報 特開２００６−１８５４３４号公報

しかしながら、特許文献３のように単に長い水平エッジを人工物と判別するだけでは、長い水平エッジが含まれない画像では人工物を歩行者と誤認識するおそれがある。また、他車両の手前に歩行者が存在する場合に、長い水平エッジが人工物の見誤りと判定され、歩行者が存在するのに歩行者を検出できない誤認識が生じるという問題がある。

本発明は、上記課題に鑑み、歩行者と車両の判別精度を向上可能な歩行者検出装置を提供することを目的とする。

本発明は、撮影手段が撮影した画像データから歩行者を検出する歩行者検出装置であって、前記画像データに歩行者認識処理を施し、歩行者が存在すると認識された歩行者認識領域を特定する歩行者認識手段と、前記歩行者認識領域を基準にして人工物の探索領域を設定する探索領域設定手段と、前記探索領域に人工物認識処理を施す人工物認識手段と、前記人工物認識手段が前記人工物を認識できるか否かに応じて、前記歩行者認識手段による歩行者が存在するという認識結果の採否を決定する採否決定手段と、を有することを特徴とする。

歩行者と車両の判別精度を向上可能な歩行者検出装置を提供することができる。

歩行者の誤認識の一例を示す図である。 歩行者の認識手順を説明する図の一例である。 歩行者検出装置の概略構成図の一例である。 歩行者検出装置の機能ブロック図の一例である。 ＨＯＧによる特徴ベクトルの作成手順を示すフローチャート図の一例である。 特徴ベクトルの作成手順を模式的に説明する図の一例である。 特徴ベクトルの作成手順を模式的に説明する図の一例である。 採否決定部が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である。 歩行者検出装置の機能ブロック図の一例である（実施例２）。 歩行者を誤認識した場合の歩行者スコアと車両スコアを示す図である。 歩行者と車両が重なって撮影される場合の車両スコアを示す図の一例である。 採否決定部が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である（実施例２）。 歩行者検出装置の機能ブロック図の一例である（実施例３）。 枠間距離を説明する図の一例である。 実験的に求められた歩行者スコアと車両スコアの時間的な推移を示す図の一例である。 採否決定部が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である（実施例３）。

以下、本発明を実施するための形態について図面を参照しながら説明する。しかしながら、本発明の技術的範囲が、本実施の形態に限定されるものではない。

図１は歩行者の誤認識の一例を説明する図である。図１（ａ）には自車両から撮影された先行車両の側面を含む後部が撮影されている。自車両の歩行者検出装置がこの画像から歩行者を認識した場合、図１（ｂ）のような領域（先行車両の左側面）を、歩行者でないのに歩行者と誤認識する場合がある。このように、先行車両の側面が一部に撮影される場合、先行車両の端部などが歩行者の特徴量と似てしまい誤認識されることが多い。

図１（ｃ）は同じく２台の先行車両の後部が撮影されている。歩行者検出装置がこの画像から歩行者を認識した場合、図１（ｄ）のように、２台の先行車両の側面で挟まれた領域を歩行者と誤認識する場合がある。このように側面に囲まれた又は側面と接した背景が歩行者の特徴量と似てしまい誤認識されることが多い。

〔本実施例の歩行者認識の概略〕
そこで、本実施例の歩行者認識装置は以下のような手法で車両のような人工物を歩行者と誤認識することを低減する。
(i) 図２は本実施例における歩行者の認識手順を説明する図の一例である。図２（ａ）では先行車両の後方が撮影されているが、実際には図１に示したように種々の向きや台数の先行車両が撮影される。図１にて説明したように車両の端部を含む領域が歩行者と誤認識されやすいため、例えば右端部が歩行者であると誤認識されたものとする。以下、歩行者が存在すると認識された領域を「歩行者認識領域」という。
(ii) 歩行者検出装置は歩行者認識領域を重心又は中心で左右に分割する。図２（ｂ）に示すように、分割された左領域は車両を含む面積が大きく、分割された右領域は車両を含まない面積が大きい。つまり、車両の端部で歩行者が認識された場合の歩行者認識領域では、分割された左右の領域の一方が車両以外の部分を多く含むようになる。
(iii) 歩行者検出装置は、図２（ｃ）に示すように距離情報を利用して、分割された左右の領域のどちらに車両が含まれているかを推定する。距離情報はステレオカメラなどにより取得されている。自車両から見て車両が含まれている領域の距離情報は近く、反対側の領域は背景や路面が映っているため距離情報が遠い。図２（ｃ）の例では左側の領域に車両が含まれていると推定される。
(iv) 歩行者検出装置は、図２（ｄ）に示すように距離情報が近い側に車両探索領域を設定し、車両モデルを用いた車両認識を行う。歩行者でない車両の端部を歩行者と誤認識していた場合、歩行者認識領域が端部の可能性が高いので、車両が存在すると認識される可能性が高いと考えられる。自車両が走行中であれば先行車両の端部にいきなり歩行者が出現することは少ないので、実際に存在する歩行者を歩行者と認識していた場合、車両が存在すると認識される可能性は低い（歩行者が検出された当初は歩行者と先行車両が離れている）。したがって、歩行者認識領域の近くの探索領域から車両が認識されるか否かにより、歩行者の認識結果の採否を判断できる（以下、このように歩行者認識領域を基準に車両を認識して歩行者の認識結果の採否を判定することを採否判定という。）。

特に、歩行者は向きや移動などで形状が変化しやすいのに対し、車両は形状変化が少ないためパターン認識に適しているという特徴があり、車両探索領域で車両が認識される場合の認識精度は高いことが期待できる。したがって、歩行者認識領域の近くの探索領域から車両が認識されるか否かにより、歩行者の認識結果の採否を判断することで、歩行者が存在しないのに歩行者であると誤認識することを低減できる。また、歩行者が存在するのに検出できないおそれも比較的低い。

図１で示した画像（及び、図１０に示す種々の画像）において、実際に、図２の方法で採否判定することで、歩行者検出装置は歩行者が含まれない歩行者認識領域を歩行者であると誤認識することを排除できた。

〔構成例〕
図３は、歩行者検出装置の概略構成図の一例を示す。歩行者検出装置１００はＣＡＮ（Controller Area Network)などの車載ネットワークを介して接続されたカメラセンサ１１、運転支援ＥＣＵ（Electronic Control Unit）１２、及び、ブレーキＥＣＵ１３、を有している。また、運転支援ＥＣＵ１２にはディスプレイ１４が、ブレーキＥＣＵ１３にはブレーキＡＣＴ１５、メータパネル１６及びブザー１７が、車載ネットワークや専用線を介して通信可能に接続されている。

カメラセンサ１１及び各ＥＣＵはマイコン、電源、ワイヤーハーネスのインタフェースなどを搭載した情報処理装置である。マイコンは、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発メモリ、Ｉ／Ｏ、及び、ＣＡＮ通信装置等を備えた公知の構成を有する。また、図示されている各ＥＣＵと各ＥＣＵが有する機能の対応は固定ではなく、例えばカメラセンサ１１が運転支援ＥＣＵの機能を備えること（又はその逆）なども可能であり、図示する構成は一例に過ぎない。

カメラセンサ１１は、単眼カメラでもステレオカメラでもよいが、好ましくはステレオカメラである。カメラセンサ１１は、例えば、光軸を車両前方に向けてルームミラーに配置される。前方に限らず後方や側方に配置されていてもよい。ステレオカメラの場合、予め用意されているキャリブレーションデータを用いて各カメラが撮像したフレーム（画像データ）にレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等を取り除く前処理が行われる。これにより２つのカメラのフレームは視差に相当する違いのみを有するようになる。ステレオカメラは、左右の画像データの相関をブロックマッチングなどの手法により評価して、同一の対象物が撮影された画素に生じている視差やレンズの焦点距離ｆなどを用いて、画素毎に距離情報を算出する。また、単眼カメラの場合、周期的に撮影される複数の画像データにオプティカルフロー処理を施し、同じ撮影物の移動量を監視して、距離情報を推定する。

なお、夜間に歩行者認識を認識するため、前照灯は近赤外光を含む光を照射し、カメラセンサ１１の画像素子は近赤外光の光（波長）に感度を有している。

また、カメラセンサ１１はＨＯＧ（(Histograms of Oriented Gradients)、Joint HOG、ＣＰＦ（Co-occurrence Probability Features）、CoHOG (Co-occurrence Histograms of Oriented Gradients)、などのパターン認識で歩行者及び先行車両を認識する。歩行者又は先行車両として認識された画素の距離情報により、歩行者及び先行車両までの距離を特定できる。カメラセンサ１１は、１秒間に所定数（３０〜６０個）の画像を撮影することを繰り返すので、フレーム毎に歩行者又は先行車両の距離が得られる。したがって、フレーム間で歩行者や先行車両との距離の変化を監視することで相対速度が得られる。また、歩行者や先行車両の横位置（車幅方向の中央）は認識結果から明らかになっている。

カメラセンサ１１は例えばＮＴＳＣ、ＰＡＬ（Phase Alternating Line）やＳＥＣＡＭ（順次式カラーメモリ）などのアナログ信号で画像データを出力し、運転支援ＥＣＵ１２はＧＶＩＦ（Gigabit Video Interface）、ＨＤＭＩやＤＶＩなどのデジタル信号に変換してディスプレイ１４に画像データを出力する。なお、接続のための線は有線でも無線でもよい。

ディスプレイ１４は、例えばフラットパネルディスプレイ（液晶、有機ＥＬなど）である。ディスプレイ１４としては、ナビゲーション装置が道路地図やＡＶ機器の操作画面を表示するためセンタークラスターやダッシュボードに配置されたものがある。また、ディスプレイ投影型のディスプレイ（例えば、ＨＵＤ（Head Up Display）、プロジェクタ）を用いてもよい。

また、カメラセンサ１１は画像データに加え、各画素の距離情報、歩行者や先行車が認識された場合の歩行者又は車両の識別情報、画像データにおける歩行者又は先行車の位置情報（例えば外接矩形の頂点、重心位置）等を運転支援ＥＣＵ１２に出力する。

運転支援ＥＣＵ１２は、歩行者が認識された歩行者認識領域に対し歩行者の認識結果の採否判定を行う。詳しくは後述する。また、運転支援ＥＣＵ１２は歩行者や車両が認識された画像データの領域に、歩行者枠や車両枠を合成してディスプレイ１４に出力する。

また、運転支援ＥＣＵ１２は、先行車両の認識結果に対して一般的な運転支援を行う。例えば、歩行者や車両とのＴＴＣ（Time To Collision）を算出して、ＴＴＣが閾値未満になるとブレーキＥＣＵ等に作動要求する。このような作動要求はプリクラッシュセーフティシステム（以下、ＰＣＳという）として知られている。ＰＣＳの各運転支援の内容の一例は以下のようになる。
警報：ブザーやメータパネルによる注意喚起
ＰＢ（プリクラッシュブレーキ）：運転者がブレーキペダルを踏み込まなくても行われる制動。軽い制動又は衝突回避のための急制動がある。
ＰＢＡ（プリクラッシュブレーキアシスト）：運転者がブレーキペダルを踏み込んだ場合に加圧助勢する
ＰＳＢ（プリクラッシュシートベルト）：シートベルトを自動的に巻き上げる
自動操舵回避：運転者が操舵しなくても障害物を避ける方向へステアリングを操舵する
操舵回避支援：運転者の操舵量を大きくする
運転支援ＥＣＵ１２は、例えば、衝突のおそれがある段階では、警報やＰＢ（軽い制動）を行う作動要求をブレーキＥＣＵ等に出力する。そして、衝突が不可避になると、ＰＳＢ、ＰＢ（急制動）、ＰＢＡ、操舵回避支援、自動操舵回避、などの作動要求をブレーキＥＣＵ等に出力する。

ブレーキＥＣＵ１３は作動要求に応じてブレーキＡＣＴ１５を制御したり、メータパネル１６に警告ランプを点灯したり、ブザー１７を吹鳴したりする。

図４は、歩行者検出装置１００の機能ブロック図の一例を示す。歩行者検出装置１００は、歩行者認識部２１、車両認識部２２、採否決定部２３、車両方向判定部２４、及び、探索領域設定部２５を有する。上記の説明では歩行者認識部２１と車両認識部２２はカメラセンサ１１が、採否決定部２３、車両方向判定部２４、及び、探索領域設定部２５は運転支援ＥＣＵ１２が有するが、歩行者検出装置１００が有していれば、各機能がどこに存在するかは制限されない。

歩行者認識部２１は画像データから歩行者を認識する。車両認識部２２は画像データから車両を認識する。採否決定部２３は、歩行者認識部２１の歩行者の認識結果の採否を決定する。車両方向判定部２４は歩行者が存在すると判定された歩行者認識領域を左右に分割した場合に、車両が撮影されているのが右領域か左領域かを判定する。探索領域設定部２５は、歩行者認識領域を基準に、車両が撮影されていると推定された右領域か左領域に車両の探索領域を設定する。

〔歩行者認識、車両認識〕
図５は、ＨＯＧによる特徴ベクトルの作成手順を示すフローチャート図の一例であり、図６、７は特徴ベクトルの作成手順を模式的に説明する図の一例である。以下では、主に歩行者の認識を例に説明するが、車両の認識も同様でよい。
S10：まず、歩行者の探索領域を設定する。歩行者の探索領域のサイズや形状は予め決定されている。歩行者認識部２１は各画素の水平方向、垂直方向のエッジ強度を算出する。
水平方向エッジ強度fx＝画素値I(x+1,y)−I(x-1,y）
垂直方向エッジ強度fy＝画素値I(x,y+1)−I(x,y-1）
S20：歩行者認識部２１は、画素毎に、水平方向及び垂直方向のエッジ強度から画素全体のエッジ強度を算出する。
画素全体のエッジ強度ｍ＝√（fx²＋fy²）
S30：歩行者認識部２１は画素毎に、水平方向のエッジ強度と垂直方向のエッジ強度からエッジの勾配方向を算出する。
θ＝arctan（fy/fx）
これにより、図６（ａ）に矢印に示す勾配方向θ及び各画素のエッジ強度ｍが画素毎に求められる。
S40：次いで、勾配方向を9方向に仕分ける。9方向なので0〜19°を0°に仕分け、20〜39°を20°に仕分け、以下20°単位に勾配方向を仕分ける。
S50：歩行者認識部２１は、画像データを所定サイズのセルに分割する。セルのサイズは歩行者や車両の認識に最適化すればよいが、一例として「１セル＝６画素×６画素」とする。よって、図６（ａ）に示すように、1つのセルに36個の画素が含まれる。
S60：セル毎に、勾配方向のビンにエッジ強度を加算して9次元の特徴ベクトルを作成する。図６（ｂ）は１つのセルについて作成される9次元の特徴ベクトルの一例を示す。9方向のビンにエッジ強度が加算されるので、1つのセルで９次元の特徴ベクトルが得られる。
S70：所定数のセルを１つのブロックとして、１セルずつ移動しながら、ブロック内の特徴ベクトルを連結して特徴ベクトルを作成する。このブロックサイズも歩行者や車両の認識に対し最適化すればよいが、一例として「１ブロック＝３セル×３セル」とする。図7（ａ）はブロックの分割例を示している。１つのブロックには、３×３の9個のセルが入っているので、１ブロックの特徴ベクトルの次元数は「３×３×９＝８１次元」となる（図7（ｂ））。
S80：次に、ブロック毎に特徴ベクトルの大きさが１となるように正規化する。
S90：正規化された全ブロックの特徴ベクトルを連結する。

最終的な次元数は「ブロック数×８１」となる。ブロック数は歩行者探索領域のサイズによって変わりうる。

このようにして歩行者の探索領域の特徴ベクトルが得られれば、適切な識別装置に特徴ベクトルを入力することで、歩行者か否かが判定される。例えば、車両メーカ等は、予め教師画像（標準テンプレート）の特徴ベクトルを作成しておく。上記のように歩行者は形状が変化するので、正面向き、横向き、服装の違いなどいくつかの典型的な標準画像を用意しておき、これらの特徴ベクトルをＨＯＧなどで作成しておく。車両の走行時には、撮影された画像データの探索領域から算出した特徴ベクトルと標準画像の特徴ベクトルの類似度を算出する。類似度は、Bhattacharyya距離、ユークリッド距離、マハラノビス距離などにより算出される。本実施例では、類似度をスコア（０以上の実数）として表すこととし、このスコアが閾値以上の場合に歩行者又は車両であると判定する。スコアは特許請求の範囲の「確度」に相当する。

また、例えばＳＶＭ（Support Vector Machine）やＢｏｏｓｔなどの機械学習を利用してもよい。車両メーカなどは歩行者が含まれるサンプル画像と含まれない画像を識別関数に与え、歩行者が含まれる画像に対し高い値ができるように識別関数の係数を作成させておく。車両の走行時に撮影された画像データから算出した特徴ベクトルをＳＶＭやＢｏｏｓｔに入力すると、歩行者認識領域に歩行者が含まれるか否かが判定される。この場合、算出された特徴ベクトルに対しＳＶＭやＢｏｏｓｔの識別関数が出力した値をスコアとする。

〔歩行者の認識結果の採否〕
図８は、採否決定部２３が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である。

歩行者認識部２１は上記のように画像データに対し歩行者の認識処理を施す（Ｓ１１０）。次に、採否決定部２３は、歩行者の認識結果を取得して、歩行者が存在するという認識結果の採否を判定する。

このため、まず、車両方向判定部２４に車両方向を判定させる（Ｓ１２０）。車両方向判定部２４は、歩行者認識領域の重心などを中心に左右に分割して、左領域と右領域の距離情報を比較する。例えば距離情報の平均を比較してもよいし、距離情報をいくつかのビンに分けて最頻度の値を比較してもよい。より近い距離情報が多く含まれる右又は左の領域が車両方向と判定される。

次に、採否決定部２３は探索領域設定部２５に車両を認識するための探索領域を設定させる（Ｓ１３０）。車両の探索領域の水平方向の端部は、歩行者認識領域を左右に分割した際の中央線である。または、距離情報の分布に応じて探索領域の水平方向の端部を決定してもよい。例えば、歩行者認識領域の同じ水平位置の距離情報を累積したヒストグラムを作成し、急激に距離情報が変化する位置を探索領域の水平方向の端部とする。

車両の探索領域のサイズは車両モデルによって一意又はいくつかに決まっているので、水平方向の端部の位置が決まれば探索領域の全体の位置が決まる。

次に、車両認識部２２は探索領域において車両の認識を実行する（Ｓ１４０）。

採否決定部２３は、車両の認識結果を取得して、車両の認識が成功したか（車両が認識できたか）否かを判定する（Ｓ１５０）。

車両の認識が成功しない場合（Ｓ１５０のＮｏ）、採否決定部２３は歩行者認識部２１の認識結果が正しいとして歩行者の認識結果を採用する（Ｓ１７０）。この認識結果により運転支援ＥＣＵ１２はＴＴＣ等を算出するので、歩行者に対するより正確な運転支援が可能になる。

車両の認識が成功した場合（Ｓ１５０のＹｅｓ）、歩行者は車両の端部が誤認識されたものと推定して、採否決定部２３は歩行者認識部２１の認識結果を棄却する（Ｓ１６０）。つまり、歩行者認識部２１が認識した歩行者は存在しないものと判定する。

以上説明したように、本実施例の歩行者検出装置１００によれば、車両の一部を歩行者と誤認識することを低減できる。また、探索領域に限定して車両を認識するため、車両を探索するための処理コストがかからない。また、実際に存在する歩行者を歩行者でないと認識する可能性も低い。

歩行者が道路を横断する場合などに歩行者と車両が重なって撮影される場合がある。人工構造物を認識して車両を認識する従来技術では、歩行者の横幅よりも車両の方が長いため車両の両端が直線成分として認識される場合がある。このため、歩行者と車両が重なって撮影される場合に歩行者を認識できない場合があった。

そこで、本実施例では歩行者と車両が重なって撮影される場合の歩行者スコアと車両スコアの特性を利用して、歩行者と車両が重なって撮影されていても歩行者を認識可能な歩行者検出装置１００について説明する。

図９は、本実施例の歩行者検出装置１００の機能ブロック図の一例を示す。また、本実施例において、図４において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の歩行者認識部２１は、歩行者が存在するという認識結果の場合に歩行者スコアを出力する。歩行者スコアは、実施例１で説明した特徴ベクトルの類似度そのもの、又は、ＳＶＭなどの識別装置が特徴ベクトルから算出する値そのものでもよいし、例えばある範囲内に入るように加工したものでもよい。同じ画像から算出されても、スコアは識別装置のチューニングなどにより変化しうるものである。同様に、車両認識部２２は車両が存在するという認識結果の場合に車両スコアを出力する。採否決定部２３は、歩行者スコアと車両スコアとを比較して歩行者が存在するという認識結果の採否を判定する。

図１０は、歩行者を誤認識した場合の歩行者スコアと車両スコアの一例を示す図である。図１０の歩行者スコアは全て車両の一部が歩行者であると誤認識された場合の値である。そして、歩行者検出装置１００が実施例１と同様に歩行者認識領域を基準に車両の探索領域を設定して車両を認識した場合の車両スコアが対応づけて示されている。また、「スコア差＝車両スコア−歩行者スコア」が対応づけて示されている。

スコア差を見ると全てが正値であり、最小でも"１"であることがわかる。つまり、車両スコア＞歩行者スコア＋αが成立する。

図１１は、歩行者と車両が重なって撮影される場合の車両スコアを示す図の一例である。図１１（ａ）では車両スコアは０．３８２、図１１（ｂ）では０．０８３である。つまり、歩行者と車両が重なって撮影された車両の車両スコアは、車両だけで認識される場合よりも小さい値となる。また、図１０のどのスコア差と比較しても、図１１の車両スコアの方が小さい。したがって、以下が成り立っている。
歩行者と車両が重なって撮影される場合の車両スコア＜車両単体の車両スコア
歩行者と車両が重なって撮影される場合の車両スコア＜スコア差
これらの車両スコアの特性は、歩行者と車両が重なって撮影される場合の車両スコアは小さいので、歩行者スコアにオフセットαを加えても、なお、車両スコアの方が大きい場合、歩行者の誤認識であると推定してよいことを意味する。逆に、歩行者スコアにオフセットαを加えたが車両スコアの方が小さい場合（歩行者スコア＋オフセットα＞車両スコア）、歩行者と車両が重なって撮影されている可能性があり、歩行者の認識結果が正しいと判定すべきことを意味する。よって、歩行者の認識精度を低下させることなく車両の一部を歩行者と誤認識することを防止できる。

オフセットαは、図１０のように歩行者が誤検出された（歩行者でないものが歩行者と認識された）場合の歩行者スコアと、探索領域の設定により検出された車両スコアの差から統計的に求める。好ましくは、全ての実験結果の歩行者スコアと車両スコアの差の最小値である。最小値のオフセットαが小さくなりすぎる場合には、例えば、例えば９５％程度の画像において、歩行者スコア＋オフセットα＜車両スコアとなるオフセットαを決定する。以下、本実施例ではオフセットα＝"１"として説明する。

〔歩行者の認識結果の採否〕
図１２は、採否決定部２３が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である。

歩行者認識部２１は上記のように画像データに対し歩行者の認識処理を施す（Ｓ１１２）。この時、歩行者スコアを出力する。

採否決定部２３は、歩行者の認識結果を取得して、歩行者が存在するという認識結果が正しいか否かを判定する。このため、まず、車両方向判定部２４に車両方向を判定させる（Ｓ１２０）。車両方向判定部２４は、歩行者認識領域の重心などを中心に左右に分割して、左領域と右領域の距離情報を比較する。例えば距離情報の平均を比較してもよいし、距離情報をいくつかのビンに分けて最頻度の値を比較してもよい。より近い距離情報が多く含まれる右又は左の領域が車両方向と判定される。

次に、採否決定部２３は探索領域設定部２５に車両を認識するための探索領域を設定させる（Ｓ１３０）。車両の探索領域の水平方向の端部は、歩行者認識領域を左右に分割した際の中央線である。車両の探索領域のサイズは車両モデルによって決まっているので、水平方向の端部の位置が決まれば全体の位置が決まる。

次に、車両認識部２２は探索領域において車両の認識を実行する（Ｓ１４２）。この時、車両スコアを出力する。

採否決定部２３は、車両の認識結果を取得して、「歩行者スコア＋オフセットα」が車両スコアより小さいか否かを判定する（Ｓ１５２）。

「歩行者スコア＋オフセットα」が車両スコアより小さい場合（Ｓ１５２のＹｅｓ）、車両スコアが充分に高いので、採否決定部２３は歩行者認識部２１の認識結果を棄却する（Ｓ１６０）。つまり、歩行者認識部２１が認識した歩行者は存在しないものと判定する。

「歩行者スコア＋オフセットα」が車両スコアより小さくない場合（Ｓ１５２のＮｏ）、車両スコアが小さいので、採否決定部２３は歩行者と車両が重なって撮影されていると推定して、歩行者認識部２１の認識結果が正しいとして歩行者の認識結果を採用する（Ｓ１７０）。この認識結果により運転支援ＥＣＵ１２はＴＴＣ等を算出するので、歩行者に対するより正確な運転支援が可能になる。

図１０の歩行者スコア、車両スコア及びスコア差を本実施例に適用すると、全ての場合でＳ１５２でＹｅｓと判定され、歩行者でないものを歩行者と誤認識することを防止できることがわかる。また、図１１の車両スコアとオフセットα＝"１"を本実施例に適用すると、図１１（ａ）（ｂ）いずれでもＳ１４２でＮｏと判定され、車両と重なった歩行者を歩行者であると認識できる。

したがって、本実施例によれば、歩行者と車両が重なって撮影される場合でも、車両スコアと歩行者スコアを利用して歩行者の認識精度を向上させることができる。すなわち、図１０にて説明したように、車両の認識結果を利用して歩行者の認識結果を棄却するので、車両の一部を歩行者と誤認識することを抑制できる。また、図１１を例に説明したように、歩行者と重なった場合に低くなる車両スコアによって認識結果を採用しているので、歩行者の認識性能を低下させることもない。

実施例２では、歩行者と車両が重なって撮影された車両の車両スコアは、車両だけで認識される場合よりも小さい値となるという知見の元、「歩行者スコア＋オフセットα」と車両スコアを比較した。

本実施例では、さらに、車両に対する歩行者の画像上の位置により歩行者スコアと車両スコアが変動するという知見を利用して歩行者の認識精度を向上させる歩行者検出装置１００について説明する。

〔枠間距離〕
図１３は、本実施例の歩行者検出装置１００の機能ブロック図の一例を示す。また、本実施例において、図９において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例では枠間距離検出部２６を有している。枠間距離検出部２６は、歩行者認識領域と車両認識枠の枠間距離を検出する。

図１４は、枠間距離を説明する図の一例である。図１４（ａ）は図２で説明したように車両の端部から歩行者が誤認識された場合の探索領域の設定例を示す図である。探索領域設定部２５は、距離情報が近い方向に探索領域を設定する。車両は探索領域内で認識されるので、車両認識枠は探索領域内に特定される。

図１４（ｂ）は車両の中央から歩行者が誤認識された場合の探索領域の設定例を示す図である。この場合、距離情報に明確な差異が認められないので、探索領域設定部２５は歩行者が車両と重なっていると推定して、歩行者認識領域の重心を基準に左右に探索領域を設定する。歩行者認識領域の重心から車両の探索領域の左右の端までの距離Mは、図１４（ａ）の探索領域の半分程度である。こうすることで、車両の全体が含まれるように探索領域を設定できる。

枠間距離検出部２６は、図１４（ａ）（ｂ）において、歩行者認識領域の左右方向の中央（図の□）と、車両認識枠の左右方向の中央（図の△）との距離を画素数などで検出する。図１４（ａ）では車幅の半分程度の距離となり、図１４（ｂ）ではほぼゼロになる。

〔車両と歩行者の相対位置によるスコア変化〕
車両認識部２２は、図１４（ａ）（ｂ）のように設定された探索領域から車両を認識するが、車両と歩行者の相対位置によって車両の認識精度（車両スコア）及び歩行者の認識精度（歩行者スコア）が変化する。

図１５（ａ）は実験的に求められた歩行者スコアと車両スコアの時間的な推移を示す図の一例である。この実験では自車両と他車両の間を歩行者が通過しており、通過中の画像データから歩行者と車両の認識を行っている。横軸は時間（画像データのフレーム番号）、縦軸は歩行者スコア（□）と車両スコア（△）である。

歩行者と車両の相対位置は、図１４（ａ）に近い状態から図１４（ｂ）に近い状態を経て、図１４（ａ）の状態（車両に対する歩行者の位置は図１４（ａ）の反対側）に時間と共に変わっていく。例えば、３フレーム程度までは歩行者と車両は重複せず、４〜６フレーム程度では歩行者と車両が重複を開始し、７〜１０フレーム程度では完全に重複し、１１〜１４フレーム程度では歩行者と車両の重複が終わり始め、１５〜１６フレームでは歩行者と車両は重複していない。

歩行者スコアを見ると、５フレーム前後と１５フレームで一時的に減少するがそれ以外は比較的高い値を維持する。車両スコアは７〜１０で極度に低くなり、７より手前で徐々に減少し１０以降で徐々に増大している。この実験結果から、車両の中央付近よりも端付近に歩行者が存在する場合に誤認識する可能性が高いことが分かる（歩行者スコア＜車領スコアとなっているため歩行者を検出しにくい）。したがって、歩行者を認識するためのオフセットαとしては以下のように設定すべきことになる。
・車両と歩行者が完全に重複している場合：オフセットαは小さくてよい
・車両と歩行者の一部が重複している場合：車両スコアを超えるためにオフセットαを大きくする必要がある
・車両と歩行者が重複していない場合 ：車両スコアを超えるためにオフセットαを若干大きくする必要がある
車両メーカ等はこのような知見に基づきオフセットαを決定しておく。採否決定部２３はオフセットテーブル２３０を有している。車両と歩行者の重複の程度は枠間距離に対応するので、オフセットテーブル２３０には、枠間距離に応じて実験的に定められているオフセットαが登録されている。

図１５（ｂ）はオフセットテーブルの一例を示す図である。図１５（ｂ）では車幅に対する枠間距離の比を取ることで、車幅の違いに対する枠間距離のロバスト性の向上を図っている。図１５（ａ）にて説明したように、オフセットαは以下のように決定される。
・枠間距離が小さい場合（例えば、０．４以下）、オフセットαは小さくてよい（例えば０〜０．２とする）。
・枠間距離が中程度の場合（例えば、０．５くらい＝車両の端部）、オフセットαは大きくすることが好ましい（図１５のスコア差は、フレーム３で１強、フレーム４で約１、フレーム１５で２強なので、例えば１〜１．５程度とする。）
・枠間距離が大きい場合（例えば、０．６以上）、オフセットαは中程度とする（例えば、０．３〜０．９とする）。

図１６は、採否決定部２３が歩行者の認識結果を採否判定する手順を示すフローチャート図の一例である。ステップＳ１１２〜Ｓ１４２までの処理は実施例２と同様である。

Ｓ１４４において採否決定部２３は枠間距離検出部２６に、歩行者認識部２１が歩行者を認識した歩行者認識領域と、車両認識部２２が車両を認識した車両認識枠との枠間距離を検出させる（Ｓ１４４）。

次に、採否決定部２３はオフセットテーブル２３０を参照して枠間距離と車両認識枠の横幅に基づきオフセットαを決定する（Ｓ１４６）。

以降は実施例２と同様であり、採否決定部２３は、車両の認識結果を取得して、「歩行者スコア＋オフセットα」が車両スコアより小さいか否かを判定する（Ｓ１５２）。

「歩行者スコア＋オフセットα」が車両スコアより小さい場合（Ｓ１５２のＹｅｓ）、車両スコアが充分に高いので、採否決定部２３は歩行者認識部２１の認識結果を棄却する（Ｓ１６０）。つまり、歩行者認識部２１が認識した歩行者は存在しないものと判定する。

「歩行者スコア＋オフセットα」が車両スコアより小さくない場合（Ｓ１５２のＮｏ）、車両スコアが小さいので、採否決定部２３は歩行者と車両が重なって撮影されていると推定して、歩行者認識部２１の認識結果が正しいとして歩行者の認識結果を採用する（Ｓ１７０）。例えば、車両の端部に歩行者が存在する場合、オフセットαが大きいので認識結果を正しいと判定でき、歩行者の認識結果を採用できる。

本実施例によれば、実施例２の効果に加え、車両の中央付近よりも端付近に歩行者が存在する場合に誤認識する可能性が高いという知見に基づき、枠間距離に応じてオフセットαを変更することができる。歩行者が存在するが歩行者スコアが低くなる状況でオフセットαを大きくできるので、歩行者が存在するのに検出できない誤認識を抑制できる。

１１ カメラセンサ
１２ 運転支援ＥＣＵ
１４ ディスプレイ
２１ 歩行者認識部
２２ 車両認識部
２３ 採否決定部
２４ 車両方向判定部
２５ 探索領域設定部
２６ 枠間距離検出部
１００ 歩行者検出装置

Claims (7)

1. 撮影手段が撮影した画像データから歩行者を検出する歩行者検出装置であって、
   前記画像データに歩行者認識処理を施し、歩行者が存在すると認識された歩行者認識領域の特定及び歩行者であることの確度を示す歩行者スコアの算出を行う歩行者認識手段と、
   前記歩行者認識領域を基準にして人工物の探索領域を設定する探索領域設定手段と、
   前記探索領域に人工物認識処理を施し、前記人工物であることの確度を示す人工物スコアを算出する人工物認識手段と、
   前記歩行者スコアが前記人工物スコアよりも閾値以上低いか否かに応じて、前記歩行者認識手段による歩行者が存在するという認識結果の採否を決定する採否決定手段と、
   を有することを特徴とする歩行者検出装置。
2. 前記歩行者認識領域と、前記人工物認識手段が前記人工物が存在すると特定した人工物認識領域との領域間距離を検出する領域間距離検出手段を有し、
   前記採否決定手段は、前記領域間距離に応じて前記閾値を変更し、前記歩行者スコアが前記人工物スコアよりも前記閾値以上低いか否かに応じて、前記歩行者認識手段による歩行者が存在するという認識結果の採否を決定する、
   ことを特徴とする請求項１記載の歩行者検出装置。
3. 前記領域間距離に応じた前記閾値が登録された閾値登録テーブル、を有し、
   前記閾値登録テーブルには、前記人工物認識領域の水平方向の端部に前記歩行者認識領域が存在する状況の前記領域間距離に対し、最も大きい前記閾値が登録されている、
   ことを特徴とする請求項２記載の歩行者検出装置。
4. 撮影手段が撮影した画像データから歩行者を検出する歩行者検出装置であって、
   前記画像データに歩行者認識処理を施し、歩行者が存在すると認識された歩行者認識領域を特定する歩行者認識手段と、
   前記歩行者認識領域を基準にして人工物の探索領域を設定する探索領域設定手段と、
   前記探索領域に人工物認識処理を施す人工物認識手段と、
   前記人工物認識手段が前記人工物を認識できるか否かに応じて、前記歩行者認識手段による歩行者が存在するという認識結果の採否を決定する採否決定手段と、
   を有することを特徴とする歩行者検出装置。
5. 前記画像データには画素毎に距離情報が含まれており、
   前記歩行者認識領域を水平方向の中央から左右に領域を分割し、左側領域の画素の距離情報と右側領域の画素の距離情報とを比較して前記人工物が前記歩行者認識領域の右側又は左側のどちらに存在するかを推定する人工物方向推定手段を有し、
   前記探索領域設定手段は、前記人工物方向推定手段が前記人工物が存在すると推定した前記歩行者認識領域の右側又は左側に前記探索領域を設定する、
   ことを特徴とする請求項１〜４いずれか１項記載の歩行者検出装置。
6. 前記人工物は他車両である、ことを特徴とする請求項１〜５いずれか１項記載の歩行者検出装置。
7. 請求項１〜６いずれか１項記載の歩行者検出装置と、
   歩行者の検出結果に応じて運転支援を行う運転支援手段と、
   を有する運転支援装置。

Images