JP2015118671A - 歩行者検出方法および歩行者検出装置 - Google Patents

Abstract

【課題】カメラによって得られた画像から、迅速かつ高精度に撮像されている歩行者を識別し、人以外の物体が撮像されたものを人であると誤って検出しない検出方法及び検出装置を提供する。
【解決手段】画像から抽出した矩形領域に対して特徴量を算出して識別器で識別することで、歩行者画像を含む可能性を判定する。歩行者画像を含む可能性のある領域を候補領域をして、縦中心線によって左側領域と右側領域の二つに分割し、左側領域の特徴量の補助データと、右側領域の特徴量の補助データを作成する。補助データを識別器で識別し、補助データにも同様に歩行者画像が含まれると判定された場合に、候補領域に歩行者画像が含まれると判定する。
【選択図】図２

Description

本発明は、処理対象の画像に撮像されている歩行者を検出する検出方法と、検出装置に関する。特に、車両に搭載されているカメラによって得られた画像から、迅速かつ高精度に撮像されている歩行者を識別し、人以外の物体が撮像されたものを人であると誤って検出しない検出方法及び検出装置に関する。

車両の安全性は年々向上しているが、歩行者との接触を回避したり、あるいは接触の程度を極力軽減するといった安全技術の向上は、現在も強く求められている。安全性を向上させる対策の一つとして、車両の回りに存在する歩行者を車両側が認識し、接触に至る可能性がある場合には運転者に注意を促したり車両に自動的にブレーキをかけたりすることで、危険を予め回避する技術が注目されている。

目視以外の方法で歩行者を検出する手段として、従来から、ミリ波レーダー、カメラ、ステレオカメラ等が知られている。従来は、検出精度を高めるために、これらの複数の検出手段を組み合わせて用いていることが多く、装置全体が高価なものとなる傾向があった。特許文献１には、遠赤外線カメラで撮像した画像から、歩行者像を含む可能性がある候補領域を抽出する技術が開示されている。特許文献１には、歩行者の体の部位ごとの遠赤外線強度を記憶した歩行者モデルと、画像から切り出された領域とを比較して歩行者を検出している。また特許文献２には、識別の対象となる画像を複数の領域に分割してＨＯＧ特徴量（勾配方向ヒストグラム特徴量：Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を算出し、更に特徴相関ベクトルを算出することで、隣接する領域についての共起性を表した高次の画像特徴を用いて物体形状を表現する技術が開示されている。特許文献３には、対称性を有する物体を画像から識別するための、識別用画像の対称性を算出する対称性フィルタと、選択的に使用される第１の識別器及び第２の識別器とを備えている識別装置が開示されている。

種々の特徴量を用いることで画像から歩行者を認識する精度を向上させることができるが、一方で処理内容が複雑になり、処理するデータ量もまた膨大になる。画像処理の精度を維持しつつ歩行者の迅速な検出を行うためには、高速なデータ処理が可能な撮像手段やコンピュータを用いる必要があり、装置全体が高価となるという問題点があった。

特許第４７９３６３８号公報 特開２０１１−５３９５３号公報 特開２０１３−２３５１３７号公報

本発明は上記問題点を鑑みてなされたものであって、画像から歩行者を検出する高い精度と高速な処理速度を有すると同時に、より安価に装置を構成することが可能な歩行者検出方法および歩行者検出装置を提供することを解決すべき課題としてなされたものである。

請求項１にかかる発明は、取得した画像の中に撮像されている歩行者を検出する歩行者検出方法に関する。本発明の歩行者検出方法は、画像の中に複数の矩形領域を設定し、複数の矩形領域の画素データ配列を抽出する矩形領域抽出工程と、抽出した画素データ配列に基づいて、矩形領域に対応する特徴量のデータ配列を算出する特徴量算出工程と、この特徴量のデータ配列を用いて、識別器により矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた矩形領域を候補領域として選択する候補領域判定工程と、を備えている。さらに本発明の歩行者検出方法は、選択した候補領域を縦中心線によって左側領域と右側領域の二つに分割し、左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、且つ右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する補助特徴量作成工程と、左側特徴量の補助データと右側特徴量の補助データとを識別器によって識別し、左側特徴量の補助データが歩行者画像を含む可能性があり、且つ右側特徴量の補助データが歩行者画像を含む可能性がある場合に、候補領域に歩行者が撮像されていると判定する歩行者判定工程を備えている。歩行者が撮像されていると判定された候補領域は、歩行者検出領域として出力工程で出力される。

本発明の歩行者検出方法においては、候補領域の左側特徴量の補助データが、左側領域に対応する特徴量のデータ配列を縦中心線に対して線対称となるように複製し、複製前の左側の特徴量のデータ配列に結合することで作成されている。また候補領域の右側特徴量の補助データが、右側領域に対応する特徴量のデータ配列を縦中心線に対して線対称となるように複製し、複製前の右側の特徴量のデータ配列に結合することで作成されている。

発明者らは、鋭意検討した結果、正面から見た歩行者の左右対称性（左右独立して歩行者としての特徴を有する特性）を利用することのできる新たな特徴量を創出して本発明をなすに至った。歩行者全体の画像が候補領域に正しく捉えられている場合、左右折り返した特徴量もそれぞれ歩行者の特徴量を強く有する可能性が高い。しかしながら歩行者以外の物体でありながら偶然歩行者の特徴量が識別された背景や、候補領域の中心からずれた歩行者は、領域の右側と左側の両方で歩行者としての特徴を示すことは稀である。この知見に基づいて、画像の右側の特徴量と左側の特徴量とをそれぞれ別個に縦中心線から線対称となるように折り返して複製した補助データを二個作成し、この補助データのそれぞれに識別器を適用して歩行者画像の識別を行い、歩行者が撮像されている可能性を判定する工程を実行することによれば、画像の中から歩行者以外のものを誤検出する可能性を低減することが可能となる。

本発明の歩行者検出方法においては、矩形領域の画素データ配列に基づいて算出される特徴量がＨＯＧ特徴量であり、候補領域判定工程で用いられる前記識別器と、歩行者判定工程で用いられる識別器とが、同一の学習データを使用する識別器であることが好ましい。

本発明はまた、画像の中に撮像されている歩行者を検出する歩行者検出装置を提供する。本発明の歩行者検出装置は、画像を撮像するカメラと、撮像された画像の中に複数の矩形領域を設定して、複数の矩形領域の画素データを抽出する矩形領域抽出部と、抽出された画素データ配列に基づいて、矩形領域に対応する特徴量のデータ配列を算出する特徴量算出部と、を備えている。さらに本発明の歩行者検出装置は、第一の識別器を備えており、この第一の識別器に算出された特徴量のデータ配列を入力して識別処理を行うことで、矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた矩形領域を候補領域として出力する候補領域判定部と、出力された候補領域の特徴量のデータ配列を、矩形領域の縦中心線から左側領域と右側領域の二つに分割し、左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを出力する補助特徴量作成部を備えている。これに加えて本発明の歩行者検出装置は、第二の識別器を備えており、左側特徴量の補助データと右側特徴量の補助データとをそれぞれこの第二の識別器に入力して識別処理を行うことでそれぞれの補助データに歩行者画像が含まれる可能性を判定し、左側特徴量の補助データが歩行者画像を含む可能性があり、且つ右側特徴量の補助データが歩行者画像を含む可能性がある場合には、候補領域に歩行者が撮像されていると判定する歩行者判定部を備えている。歩行者が撮像されていると判定された前記候補領域は、出力部によって歩行者検出領域として出力される。

本発明の歩行者検出装置の補助特徴量作成部は、左側特徴量の補助データを、左側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製し、複製前の特徴量のデータ配列に結合することで作成する。また右側特徴量の補助データを、矩形領域の右側に対応する特徴量のデータ配列を縦中心線に対して線対称となるように複製し、複製前の特徴量のデータ配列に結合することで作成することを特徴とする。

本発明の歩行者検出装置においては、矩形領域の画素データ配列に基づいて算出される特徴量がＨＯＧ特徴量であり、候補領域判定部で用いられる第一の識別器と、歩行者判定部で用いられる第二の識別器とが同一の学習データを使用する識別器であることが好ましい。

本発明に係る歩行者検出方法及び歩行者検出装置によれば、歩行者像が含まれる可能性のある候補領域について、算出された特徴量のデータ配列を検出に用いることに加えて、この特徴量を画像の左右で分割し、縦中心線から線対称となるように折り返して複製し、複製前のデータ配列と結合することで作成した新たな特徴量のデータ配列を補助データとして用いて識別器による判定を行うことによって、より高精度に歩行者を検出することが可能となる。

本発明に係る歩行者検出方法及び歩行者検出装置において、算出される特徴量は一種類であり、この特徴量を再配列して新たな補助データによる判定を行うことが可能となっている。このため、特徴量の算出処理に要する時間が短縮されており、迅速に歩行者を検出することが可能である。

本発明に係る歩行者検出方法及び歩行者検出装置は、特徴量の算出処理の負荷が従来よりも少ないために高速なコンピュータ資源を必要としない。このため、歩行者検出装置全体を安価に構成することが可能である。

本発明に係る歩行者検出方法および歩行者検出装置は、歩行者以外の物体を画像から誤検出する誤検出率を特に低減することができる。ここで、「歩行者以外の物体を画像から誤検出する誤検出率」と「画像の中の歩行者が検出できない未検出率」とは二律背反性を有しているが、誤検出率を低減することによって、歩行者検出の判定のしきい値を下げることができ、歩行者検出の検出率を向上させることが可能となる。

特徴量としてＨＯＧ特徴量を用いる場合、画像を撮像するカメラとして通常の単眼の可視光カメラを用いることが可能である。これにより、小型であり、安価であり、しかも耐久性に優れた歩行者検出装置を提供することが可能となる。

本発明の実施形態に従った歩行者検出装置の構成を模式的に示すブロック図である。 本発明の実施形態に従った歩行者検出装置で実行される歩行者検出処理の一例を示すフローチャートである。 本発明の実施形態に従った、識別器を用いる矩形領域の画像の判定方法の手順を模式的に示す図である。 本発明の歩行者検出装置の矩形領域抽出部が可視光画像に設定する矩形領域の一例を示す図である。 図５（ａ）は、画像から抽出された矩形領域の一例を示す図面代用写真であり、図５（ｂ）は、図５（ａ）の候補領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図５（ｃ）は、図５（ａ）の左側特徴量の補助データを模式的に示した図であり、図５（ｄ）は、図５（ａ）の右側特徴量の補助データを模式的に示した図である。 図６（ａ）は、実施例において歩行者検出領域として出力された矩形領域を示す画像であり、図６（ｂ）は、歩行者検出領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図６（ｃ）は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図６（ｄ）は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。 図７（ａ）は、実施例において候補領域となったが歩行者が撮像されていないと判定された矩形領域を示す画像であり、図７（ｂ）は、候補領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図７（ｃ）は、候補領域の左側特徴量の補助データを模式的に示した図であり、図７（ｄ）は、候補領域の右側特徴量の補助データを模式的に示した図である。 図８（ａ）は、実施例において歩行者検出領域として出力された矩形領域を示す画像であり、図８（ｂ）は、歩行者検出領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図８（ｃ）は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図８（ｄ）は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。 図９（ａ）は、実施例において候補領域となったが歩行者が撮像されていないと判定された矩形領域を示す画像であり、図９（ｂ）は、歩行者検出領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図であり、図９（ｃ）は、歩行者検出領域の左側特徴量の補助データを模式的に示した図であり、図９（ｄ）は、歩行者検出領域の右側特徴量の補助データを模式的に示した図である。

以下、図面を参照しつつ、本発明に係る歩行者検出装置と歩行者検出方法を車両に搭載した車両用歩行者検出装置に適用した場合の実施形態について説明する。

（歩行者検出装置の構成）
図１は、本発明の実施形態である歩行者検出装置１０の構成を模式的に示すブロック図である。本実施形態の歩行者検出装置１０は、カメラ１１及びコンピュータ１２を備えている。本実施形態で使用されるカメラ１１は、車両に搭載可能な単眼の小型可視光カメラであり、一定の時間間隔で画像を撮像してその画像データをコンピュータ１２に送信する。

コンピュータ１２は、演算処理部２１、記憶部２２、及び入出力部２３を備えている。このうち入出力部２３は、カメラ１１の他、使用者に歩行者の存在を音、画像、音声等で報知する報知手段１４あるいは車両制御手段１３といった外部機器との間で通信可能な入出力インターフェース機能を備えている。入出力部２３は、カメラ１１から受信した画像データを演算処理部２１に送信する。

コンピュータ１２の演算処理部２１は、ＣＰＵとメモリとを備えている。また演算処理部２１は、前処理部３１、矩形領域抽出部３２、特徴量算出部３３、候補領域判定部３４、補助特徴量作成部３５、及び歩行者判定部３６を、演算処理部２１内のメモリに実行可能に記憶されているプログラムの形態で含むか、もしくはモジュール化されてハードウェアと一体化された形態で含んでいる。演算処理部２１のそれぞれの構成要素は、ＣＰＵでデータを演算処理することで、画像から歩行者を検出する。

コンピュータ１２の記憶部２２は、カメラ１１から送信された画像データの他、加工された画像データや演算処理部２１で歩行者画像の判定に用いられる識別器のデータを記憶することができる。

（歩行者検出方法）
図２に、歩行者検出装置１０を用いた歩行者検出処理の一例を示すフローチャートを示す。以下、このフローチャートを参照しつつ、カメラ１１で撮像された画像データから歩行者を検出する方法を説明する。

工程Ｓ１で、歩行者検出装置１０のコンピュータ１２は、カメラ１１が撮像した可視光画像を取り込む。画像のデータは、画素ごとの輝度、色度を表すデータ配列としてコンピュータ１２に送信され、入出力部２３を経由して演算処理部２１の前処理部３１に入力される。前処理部３１は、入力された画像のトリミング、平滑化、ノイズ除去等の処理を行って、歩行者の検出に適した画像を出力するが、これらの前処理は入力された画像の内容により省略が可能であり、必須ではない。カメラから入力された画像が処理に適したデータ品質を既に備えている場合、画像のデータを矩形領域抽出部３２に直接入力することも可能である。

工程Ｓ２で、矩形領域抽出部３２は、画像の中に複数の矩形領域を設定し、この複数の矩形領域から画素データ配列を抽出する。図４に、矩形領域抽出部３２が画像に設定した矩形領域Ｒによるデータ抽出の一例を示す。図４に示した矩形領域の設定例では、予め縦と横の大きさを画素数によって定義した矩形領域Ｒを画像の左下隅に設定し、右方向に等間隔で移動させてスキャンし、画素データを切り出す。水平方向（右方向）への一回あたりの移動量は矩形領域Ｒの横の長さよりも短く設定されており、移動毎に矩形領域Ｒの画素データ配列を抽出することで、隣り合う矩形領域同士で一部が重複したデータ配列が抽出されることとなる。矩形領域Ｒが画像の右下隅に到達した時点で、矩形領域を予め規定された画素数で上方向に移動させて、再び左側端部から右方向に等間隔でスキャンを行う。垂直方向（上方向）への一回当たりの移動量は、矩形領域Ｒの縦方向の長さよりも短く設定されており、垂直方向の隣り合う領域同士で一部が重複したデータ配列が抽出されることとなる。スキャンによって抽出された領域画像のデータは、画素データの配列として一時保存することができる。また領域のインテグラルイメージを一時保存して、以下の特徴量の算出に使用することができる。

車両に搭載したカメラから撮像した画像の場合、歩行者が撮像される領域は、路面からの高さと高い相関を有する。そこで、画像から水平線と路肩の白線を検出して路面の位置を特定し、路面から一定の高さ（例えば高さ約２．５ｍまで）を特に細かい間隔でスキャンすることで、より歩行者の検出される可能性を高めることができる。また、歩行者が撮像されない可能性が高い領域（例えば空中など）のスキャンの間隔を粗くすることで、より高速な処理を可能とすることができる。

工程Ｓ３で、特徴量算出部３３は、抽出した画素データ配列から特徴量を算出する。本実施形態では、特徴量としてＨＯＧ特徴量を用いている。ＨＯＧ特徴量は、抽出された矩形領域の画像をより小さな単位領域に分割して単位領域内の輝度の勾配強度と勾配方向を計算し、さらに勾配強度を勾配方向ごとのヒストグラム化することで得られる特徴ベクトルである。ＨＯＧ特徴量は、近傍セル内の情報から正規化を行うため、照明の明暗の変化に対して頑健な特徴量であることが知られている。図５（ａ）に、画像から抽出された矩形領域の一例を示す図面代用写真を示し、図５（ｂ）に、図５（ａ）の矩形領域から算出したＨＯＧ特徴量のベクトルデータを二次元の線図として模式的に示した図を示す。図５（ｂ）のなかで輝度の勾配強度が大きい場合、領域内の線分は太く表示されている。

工程Ｓ４で、候補領域判定部３４は、算出された特徴量のデータ配列を第一の識別器に入力して識別処理を行う。そして矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた矩形領域を候補領域として選択し、出力する。本実施形態では、工程Ｓ３で算出された矩形領域のＨＯＧ特徴量を用いて識別処理を行い、得られた判別値の値を判定することで、矩形領域が歩行者画像を含むかどうかの可能性を判定する。ここで使用される第一の識別器は、予め歩行者が撮像されている複数のサンプル画像と、歩行者以外の事象が撮像されている複数のサンプル画像と、これらのサンプル画像がそれぞれ歩行者画像であるか否かを示す教師信号からなる学習データを用い、Ａｄａｂｏｏｓｔによって学習を行った識別器である。ここで、Ａｄａｂｏｏｓｔとは弱識別器を結合する事によってより高い識別率をもつ強識別器を構成する統計的手法であり、本実施形態の識別器は、多数（一例として、５０００サンプル以上）の画像による学習によって歩行者画像についての高い識別率を有するに至った識別器である。

図３を参照して、本実施形態の識別器の構成と、第一の識別器による処理の内容を説明する。矩形領域の中の単位領域ごとのＨＯＧ特徴量は、識別器の複数の弱識別器で識別され、それぞれの学習データに基づいて重み付け演算されることにより、判定値Ｈ（ｘ）が算出される。本実施形態の識別器では、個々の弱識別器ｈ_Ｔ（ｘ）（ここでＴ＝２０〜３００）によって識別を行っており、識別結果を線形結合して算出される判定値Ｈ（ｘ）の精度を高めている。出力される判定値は、歩行者画像が含まれている可能性と正の相関を有している。

工程Ｓ５において、候補領域判定部３４は、算出された判定値Ｈ（ｘ）と予め規定したしきい値である閾値λとを比較する。判定値Ｈ（ｘ）が閾値λよりも大きい場合、候補領域判定部３４は、矩形領域が歩行者画像を含む可能性のある候補領域であると判定し、この候補領域のデータを補助特徴量作成部３５に入力する。判定値Ｈ（ｘ）が閾値λ以下である場合、候補領域判定部３４は、矩形領域が歩行者画像を含まない領域であると判定する。その後、歩行者検出方法の処理は、工程Ｓ１０でスキャンの必要性を確認した後、新たな矩形領域からデータを切り出すための、指定処理工程Ｓ１１に移る。

工程Ｓ６において、補助特徴量作成部３５は、候補領域判定部３４から入力された候補領域のデータから、補助データの作成を行う。補助特徴量作成部３５は、入力された候補領域を縦中心線によって左側領域と右側領域の二つに分割し、左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する。ここで、左側特徴量の補助データは、左側領域に対応する特徴量のデータ配列を、画像の縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列と結合することで作成される。また右側特徴量の補助データは、右側領域に対応する特徴量のデータ配列を画像の縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列に結合することで作成される。

作成された左側特徴量の補助データは、候補領域の左半分のＨＯＧ特徴量を縦中心線で折り返して左右対称に配置したデータ配列となる。同様に、右側特徴量の補助データは、候補領域の右半分のＨＯＧ特徴量を縦中心線で折り返して左右対称に配置したデータ配列となる。図５（ｃ）に、図５（ａ）の矩形領域の左側から作成した左側特徴量の補助データを模式的に示し、図５（ｄ）に、図５（ａ）の矩形領域の右側から作成した右側特徴量の補助データを模式的に示す。

工程Ｓ７において、歩行者判定部３６は、工程Ｓ６で作成された左側特徴量の補助データと右側特徴量の補助データのそれぞれについて、第二の識別器を用いた識別処理を行い、その処理結果に基づいて歩行者画像が含まれているか否かを判定する。本実施形態において、歩行者判定部３６は、第一の識別器と同じ学習データを用いて学習を行った第二の識別器を用いて、左側特徴量の補助データと右側特徴量の補助データについて識別処理を行い、それぞれの判定値Ｈ（ｘ）を出力する。

工程Ｓ８において、歩行者判定部３６が、左側特徴量の補助データと右側特徴量の補助データの判定値Ｈ（ｘ）を用いて、候補領域に歩行者画像が含まれているか否かを判定する条件の一例を以下に説明する。本実施形態では、判定用のしきい値として、「閾値２」と「閾値３」の二段階の値を設定する。ここで、（閾値３）＞（閾値２）とする。歩行者判定部３６は、左側特徴量の補助データの判定値Ｈ（ｘ）もしくは右側特徴量の補助データの判定値Ｈ（ｘ）のいずれか一方でも閾値２以下である場合には、候補領域に歩行者画像が含まれていないと判定する。さらに、歩行者判定部３６は、左側特徴量の補助データの判定値Ｈ（ｘ）が閾値３以下であり、且つ右側特徴量の補助データの判定値Ｈ（ｘ）が閾値３以下であった場合には、歩行者画像が含まれていないと判定する。このような判定により、歩行者判定部３６は、候補領域に歩行者が撮像されているか否かを高精度に判定することができる。言い換えれば、歩行者判定部３６は、左側特徴量の補助データと右側特徴量の補助データの判定値Ｈ（ｘ）の両方が閾値２より大であり、これに加えていずれか一方の判定値Ｈ（ｘ）が閾値３より大である場合に、候補領域に歩行者が撮像されていると判定する。

歩行者判定部３６は、歩行者が撮像されていると判定した候補領域を、歩行者検出領域として入出力部２３に出力する。候補領域に歩行者画像が含まれておらず、歩行者が撮像されていないと判定された場合、処理は工程Ｓ１０に進み、スキャンを終了するか否かを判定する。そしてスキャンが継続される場合には処理は工程Ｓ１１に進み、他の矩形領域のスキャンが開始される。

工程Ｓ９において、入出力部は車両制御手段１３と歩行者情報を報知手段１４に出力する。車両制御部１３は、歩行者検出領域の情報に加えて、車両の走行速度、方向指示器の状態、さらにはレーダーの情報等を一元管理して、車両が歩行者との接触する可能性があるか否かを判定し、必要に応じて車両の走行状態を変更することができる。また報知手段１４は、表示装置への歩行者位置の表示、ブザーによる警告、音声案内等によって運転者への注意喚起を行うことができる。

同一の学習データを学習した第一の識別器と第二の識別器を用いる歩行者検出処理について説明したが、本実施形態においては、第一の学習器と第二の学習器が同一の学習器であり、候補領域判定部と歩行者判定部とがこの同一の識別器を用いて歩行者検出処理を行うことが可能である。

本実施形態の歩行者検出装置１０及び歩行者検出方法は、特徴量を算出して識別器により歩行者が撮像されている可能性があると認められた候補画像について、更に左側特徴量の補助データと右側特徴量の補助データという新たな指標を定めて歩行者の検出を行うことにより、歩行者ではない像を歩行者の撮像であると識別する誤検出を低減することができる。

以下、本発明の実施形態に係ると歩行者検出装置１０及び歩行者検出方法を用いた具体的な画像処理の実施例について、図面を参照しつつ説明する。本実施例では、候補領域判定部３４が候補領域のＨＯＧ特徴量の識別結果を判定するためのしきい値である閾値λを３００とし、歩行者領域判定部３６が補助データの識別結果を判定する閾値２を１００とし、閾値３を２００とした場合の歩行者検出結果を示す。

図６（ａ）は、撮像された画像から抽出された矩形領域の一例を示す図面代用写真である。図６（ａ）には歩行者画像が含まれることが目視により容易に確認できる。図６（ｂ）は、図６（ａ）の矩形領域に対応するＨＯＧ特徴量のデータ配列を二次元データとして可視化して模式的に示した図である。候補領域判定部３４の識別器によって算出されたデータ配列の判定値Ｈ（ｘ）は、図６（ａ）の下部に「スコア」と表示したように３６０である。このスコア（判定値Ｈ（ｘ））が閾値λの値を超えているために、候補領域判定部３４によってこの矩形領域は候補領域であると判定されている。図６（ｃ）は、図６（ａ）の左側特徴量の補助データを模式的に示した図であり、歩行者判定部３６の識別器によって算出されたこのデータ配列の判定値Ｈ（ｘ）は３２１である。図６（ｄ）は、図６（ａ）の右側特徴量の補助データを模式的に示した図であり、歩行者判定部３６の識別器によって算出されたこのデータ配列の判定値Ｈ（ｘ）は２８５である。左側特徴量の補助データと右側特徴量の補助データの判定値の両方が閾値２と閾値３の二つのしきい値を超えていることから、歩行者判定部３６はこの候補領域に歩行者が撮像されていると正しく判定し、歩行者検出領域であると認定して歩行者情報を出力している。

図７（ａ）は、撮像された画像から抽出された他の矩形領域の他の例を示す図面代用写真である。図７（ａ）には歩行者が撮影されておらず、他の車両の画像が含まれることが目視により容易に確認できる。図７（ｂ）は、図７（ａ）の矩形領域に対応するＨＯＧ特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値Ｈ（ｘ）は３０４であり、閾値λの値を超えているために、候補領域判定部３４によってこの矩形領域は候補領域であると判定されている。図７（ｃ）は、図７（ａ）の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値Ｈ（ｘ）は２１３である。図７（ｄ）は、図７（ａ）の右側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値Ｈ（ｘ）は−２０である。右側特徴量の補助データの判定値が閾値２を下回ったことから、歩行者判定部３６はこの候補領域には歩行者画像が含まれないと判定して、この領域に対する歩行者の検出処理を中止している。

図８（ａ）は、撮像された画像から抽出された矩形領域の他の例を示す図面代用写真である。図８（ａ）には歩行者画像が含まれることが目視により容易に確認できる。図６（ｂ）は、図８（ａ）の矩形領域に対応するＨＯＧ特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値Ｈ（ｘ）は４１９であり、閾値λの値を超えているために、候補領域判定部３４によってこの矩形領域は候補領域であると判定されている。図８（ｃ）は、図８（ａ）の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値Ｈ（ｘ）は３４５である。図８（ｄ）は、図８（ａ）の右側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値Ｈ（ｘ）は２７６である。左側特徴量の補助データと右側特徴量の補助データの判定値の両方が閾値２と閾値３の二つのしきい値を超えていることから、歩行者判定部３６はこの候補領域に歩行者が撮像されていると正しく判定し、歩行者検出領域であると認定して歩行者情報を出力している。

図９（ａ）は、図８（ａ）と同一の画像の隣り合う矩形領域で抽出された画像を示す図面代用写真である。図９（ａ）には歩行者画像が含まれるが、左下の歩行者画像が一部途切れていることが目視により確認できる。図９（ｂ）は、図９（ａ）の矩形領域に対応するＨＯＧ特徴量を模式的に示した図であるが、この時算出されたデータ配列の判定値Ｈ（ｘ）は３１１であり、閾値λの値を超えているために、候補領域判定部３４によってこの矩形領域は候補領域であると判定されている。図９（ｃ）は、図９（ａ）の左側特徴量の補助データを模式的に示した図であり、このデータ配列の判定値Ｈ（ｘ）は１８７であり、閾値２は上回っているが閾値３を下回っている。歩行者判定部３６は、図９（ｄ）に示す右側特徴量の補助データを使用してさらなる判定を行っているが、右側特徴量の補助データの判定値Ｈ（ｘ）は１５１であって、左側特徴量の補助データと同様に閾値２は上回っているが閾値３を下回っているため、歩行者判定部３６はこの候補領域に歩行者画像が含まれないと判定して、この領域に対する歩行者の検出処理を中止している。

以上述べてきたとおり、本発明の歩行者検出装置１０と歩行者検出方法では、歩行者全体が画像の候補領域の中に正しく捉えられている場合、非常に精度高く検出することが可能である。図９（ａ）に示した画像のように歩行者の全身が撮像されなかった場合に識別が困難となる可能性は、矩形領域で抽出する間隔を細かくすることにより容易に解決される。一つの特徴量から補助データを作成し、この補助データに対して識別を行うことで歩行者以外のものを誤検出する可能性を排除するという本発明の独自の構成によって、従来知られている他の技術を用いて誤検出を排除するよりも演算処理の負荷は低減されており、矩形領域で抽出する間隔を細かくしても全体として検出に係る処理時間は短縮される。

本実施例で説明した歩行者検出装置と歩行者検出方法の構成は、適宜変更が可能である。例えば、検出のための画像の特徴量としては、ＨＯＧ特徴量のほかＪｏｉｎｔ ＨＯＧ特徴量その他の特徴量を用いることが可能である。識別器の学習データの蓄積方法としてはＲｅａｌ−Ａｄａｂｏｏｓｔ等の代替的な手法によって精度を高めることができる。また識別器の種類や判定方法についても、他の代替手段、代替方法を利用することが可能である。コンピュータ１２のハードウェア、ソフトウェアの構成についても、歩行者検出装置が搭載されるプラットフォームの仕様に合わせて、適宜変更が可能である。

本発明に係る歩行者検出装置と歩行者検出方法は、車両用カメラに好適に搭載されるほか、防犯カメラ等にも適用可能である。

１０ 歩行者検出装置
１１ カメラ
１２ コンピュータ
１３ 車両制御手段
１４ 報知手段
２１ 演算処理部
２２ 記憶部
２３ 入出力部
３１ 前処理部
３２ 矩形領域抽出部
３３ 特徴量算出部
３４ 候補領域判定部
３５ 補助特徴量作成部
３６ 歩行者判定部
Ｒ 矩形領域

Claims (4)

1. 画像の中に撮像されている歩行者を検出する歩行者検出方法であって、
   前記画像の中に複数の矩形領域を設定して、当該複数の矩形領域の画素データ配列を抽出する矩形領域抽出工程と、
   抽出した前記画素データ配列に基づいて、前記矩形領域に対応する特徴量のデータ配列を算出する特徴量算出工程と、
   前記特徴量のデータ配列を用いて、識別器により前記矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた前記矩形領域を候補領域として選択する候補領域判定工程と、
   選択した前記候補領域を縦中心線によって左側領域と右側領域の二つに分割し、前記左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、且つ前記右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する特徴量補助データ作成工程と、
   前記左側特徴量の補助データと前記右側特徴量の補助データとを識別器により識別し、前記左側特徴量の補助データが歩行者画像を含む可能性があり且つ前記右側特徴量の補助データが歩行者画像を含む可能性がある場合に、前記候補領域に歩行者が撮像されていると判定する歩行者判定工程と、
   歩行者が撮像されていると判定された前記候補領域を、歩行者検出領域として出力する出力工程と、
   を備えており、
   前記候補領域の前記左側特徴量の補助データは、前記左側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列と結合することで作成されており、且つ前記右側特徴量の補助データは、前記右側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列に結合することで作成されていることを特徴とする歩行者検出方法。
2. 前記矩形領域の前記画素データ配列に基づいて算出される特徴量がＨＯＧ特徴量であり、
   前記候補領域判定工程で用いられる前記識別器と、前記歩行者判定工程で用いられる前記識別器とが、同一の学習データを使用する識別器であることを特徴とする請求項１記載の歩行者検出方法。
3. 画像の中に撮像されている歩行者を検出する歩行者検出装置であって、
   画像を撮像するカメラと、
   撮像された前記画像の中に複数の矩形領域を設定して、当該複数の矩形領域の画素データを抽出する矩形領域抽出部と、
   抽出された前記画素データ配列に基づいて、前記矩形領域に対応する特徴量のデータ配列を算出する特徴量算出部と、
   第一の識別器を備えており、当該第一の識別器に前記特徴量のデータ配列を入力して識別処理を行うことで前記矩形領域が歩行者画像を含む可能性を判定し、歩行者画像を含む可能性が認められた前記矩形領域を候補領域として出力する候補領域判定部と、
   選択された前記候補領域を縦中心線によって左側領域と右側領域の二つに分割し、前記左側領域に対応する特徴量のデータ配列から左側特徴量の補助データを作成し、且つ前記右側領域に対応する特徴量のデータ配列から右側特徴量の補助データを作成する補助特徴量作成部と、
   第二の識別器を備えており、前記左側特徴量の補助データと前記右側特徴量の補助データとをそれぞれ前記第二の識別器に入力して識別処理を行うことで前記補助データに歩行者画像が含まれる可能性を判定し、前記左側特徴量の補助データに歩行者画像が含まれる可能性が認められ、且つ前記右側特徴量の補助データに歩行者画像が含まれる可能性が認められる場合に、前記候補領域に歩行者が撮像されていると判定する歩行者判定部と、
   歩行者が撮像されていると判定された前記候補領域を、歩行者検出領域として出力する出力部と、
   を備えており、
   前記候補領域の前記左側特徴量の補助データは、前記左側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の前記特徴量のデータ配列に結合することで作成されており、且つ前記右側特徴量の補助データは、前記右側領域に対応する特徴量のデータ配列を前記縦中心線に対して線対称となるように複製して複製前の特徴量のデータ配列に結合することで作成されていることを特徴とする歩行者検出装置。
4. 前記矩形領域の前記画素データ配列に基づいて算出される特徴量がＨＯＧ特徴量であり、
   前記候補領域判定部で用いられる前記第一の識別器と、前記歩行者判定部で用いられる前記第二の識別器とが、同一の学習データを使用する識別器であることを特徴とする請求項３記載の歩行者検出装置。