JP2013232080A - 対象物識別装置 - Google Patents

Abstract

【課題】異なる識別対象を撮像画像から識別する画像処理の処理負荷を低減するための技術を提供する。
【解決手段】対象物識別装置１において、パーツ識別器１３が、識別対象を部分的に表す複数種類のパーツを、撮像画像において識別する。そして、歩行者識別器１４が、パーツ識別器１３による複数種類のパーツの識別結果のうち、歩行者を部分的に表す複数のパーツの識別結果に基づいて、歩行者を識別する。また、特定車両識別器１５が、パーツ識別器１３による複数種類のパーツの識別結果のうち、特定車両及びその乗員を部分的に表す複数のパーツの識別結果に基づいて、特定車両及びその乗員を識別する。複数種類のパーツには、歩行者と、特定車両及びその乗員と、に共通する部分を表す共通パーツが含まれ、共通パーツは、歩行者識別器１４及び特定車両識別器１５の両方により用いられる。
【選択図】図１

Description

本発明は、撮像画像から識別対象を識別するための画像処理の技術に関する。

従来、自動車に搭載された車載カメラによる撮像画像から、自動車の走行方向前方に存在する歩行者等の識別対象を識別するための技術が提案されている。例えば特許文献１に記載の対象物識別装置は、撮像画像において歩行者を識別するための構成として、歩行者を識別するための識別器だけでなく、歩行者と誤って識別されやすい複数種類の障害物（例えば自転車や電柱）を識別するための複数の識別器を備える。そして、これら複数の識別器による識別結果に基づいて、歩行者を識別する。

特開２０１０−２２４７８７号公報

ところで、例えば歩行者と自転車（自転車の乗員）といったように、異なる識別対象を撮像画像において識別する場合、識別対象ごとにそれぞれ独立して画像処理を実行するため、画像処理の処理負荷が大きいという問題があった。

本発明は、こうした問題にかんがみてなされたものであり、異なる識別対象を撮像画像から識別する画像処理の処理負荷を低減するための技術を提供することを目的としている。

本発明の対象物識別装置は、パーツ識別手段（１３）と、第１の対象物識別手段（１４）と、第２の対象物識別手段（１５）と、を備える。パーツ識別手段は、識別対象を部分的に表す複数種類のパーツを、撮像画像において識別する。

第１の対象物識別手段は、パーツ識別手段による複数種類のパーツの識別結果のうち、第１の識別対象を部分的に表す複数のパーツの識別結果に基づいて、第１の識別対象を識別する。また、第２の対象物識別手段は、パーツ識別手段による複数種類のパーツの識別結果のうち、第２の識別対象を部分的に表す複数のパーツの識別結果に基づいて、第２の識別対象を識別する。

そして、複数種類のパーツには、第１の識別対象及び第２の識別対象に共通する部分を表す共通パーツが含まれており、共通パーツは、第１の対象物識別手段及び第２の対象物識別手段の両方により用いられる。

このような対象物識別装置によれば、撮像画像において共通パーツを識別するための処理を、第１の識別対象を識別する場合と第２の識別対象を識別する場合とで共通にすることができる。したがって、異なる識別対象を撮像画像から識別する画像処理の処理負荷を低減することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

実施形態の対象物識別装置の構成を示すブロック図である。 車載カメラによる撮像画像の一例を示す図である。 歩行者と特定車両及びその乗員との識別に用いられる識別器を示す図である。 対象物識別装置で実行される処理を示すフローチャートである。 パーツの基準位置関係の一例を示す図である。 車載表示装置により表示される加工画像の一例を示す図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．構成］
図１に示す対象物識別装置１は、自動車に搭載され、車載カメラ２及び車載表示装置３のそれぞれと通信可能に接続されている。車載カメラ２は、自動車の走行方向前方を撮像するカメラ（本実施形態では単眼カメラ）であり、撮像画像を対象物識別装置１へ出力する。対象物識別装置１は、車載カメラ２から入力した撮像画像において歩行者などの識別対象を識別し、撮像画像において識別対象が強調された画像（加工画像）を生成して車載表示装置３へ出力する。車載表示装置３は、対象物識別装置１から入力した加工画像を、自動車の運転者が視認できるように表示する。

対象物識別装置１は、色変換部１１と、特徴量算出部１２と、パーツ識別器１３と、歩行者識別器１４と、特定車両識別器１５と、加工画像生成部１６と、を備える。
色変換部１１は、撮像画像を表す画像データに対して、色変換（グレースケール変換）処理を行う。本実施形態では、車載カメラ２は、撮像画像を表す画像データとして、各画素がＲＧＢ値で表現された画像データを生成する。色変換部１１は、車載カメラ２から入力した撮像画像を表す画像データを、輝度値で表現された画像データに変換する。具体的には、下記の式（１）に従い、画像を構成する画素ごとに、入力画素値（ＲＧＢ値）を輝度値Ｉに変換する。

特徴量算出部１２は、色変換部１１により色変換処理が行われた後の画像データに対して、特徴量を算出する。具体的には、下記の式（２）〜（５）に従い、画像を構成する画素ごとに、勾配強度Ｇ及び勾配方向θを算出する。これらの値は、複数画素からなる領域の特徴量をＨＯＧ（Histograms of Oriented Gradients）と呼ばれる手法で表現するために用いられる。なお、下記式（４），（５）において、Ｉ（ｘ，ｙ）は、画像における位置が（ｘ，ｙ）の画素の輝度値を表す。

そして、特徴量算出部１２は、画像を複数の画素からなるブロック（例えばＭ１×Ｎ１画素分の矩形領域）単位に分割し、各ブロックの特徴量を算出する。本実施形態では、４×４画素を１ブロックとして画像を複数のブロックに分割する。そして、ブロックごとに、輝度の勾配強度を勾配方向ごと（複数に区分された角度範囲別）にヒストグラム化した特徴ベクトルであるＨＯＧ特徴量を算出する。勾配強度は画像のコントラスト等に依存するため、ブロック内の勾配強度の総和で割ることにより正規化を行ってもよい。なお、このようなＨＯＧ特徴量の算出方法自体は周知である。

パーツ識別器１３は、識別対象を部分的に表す複数種類のパーツを、撮像画像において識別し、その識別結果を出力する。具体的には、パーツ識別器１３は、頭識別器１３１と、右肩識別器１３２と、左肩識別器１３３と、股下識別器１３４と、右足識別器１３５と、左足識別器１３６と、車輪識別器１３７と、を備える。

頭識別器１３１は、人間の頭部を、歩行者又は特定車両の乗員、の頭部として識別する。ここで、特定車両とは、典型的には自転車であるが、オートバイ（自動二輪車）などの他の二輪車や、三輪車、車椅子なども含まれる。一方、自動車などのように、乗員が車両の内部に乗車するものは除外される。つまり、特定車両とは、乗員の上半身が露出した形で乗車するタイプの車両を意味する。

図２に示すように、自動車が走行する道路を横向きに横断中の特定車両（図２の例では自転車）及びその乗員は、撮像画像における見え方を歩行者と比較すると、上半身の見え方は類似し、下半身の一部が足であるか車輪（後輪）であるかという点で相違する。具体的には、図３にも示すように、特定車両及びその乗員は、歩行者と比較すると、歩行者でいう左右の足先の一方（図３の例では左側の足先）に、特定車両の車輪（後輪）が位置するように見える。そこで、本実施形態では、このような撮像画像上の見え方の特徴に着目し、後述するように、見え方が類似するパーツを、歩行者の識別と特定車両及びその乗員の識別とで共通のパーツとして用いる。

右肩識別器１３２は、人間の右側の肩部を、歩行者又は特定車両の乗員の右側の肩部として識別する。ここで、右側の肩部とは、撮像画像において右側に位置する肩部を意味する。つまり、その人間の実際の右肩である必要はない。同様に、左肩識別器１３３は、人間の左側の肩部を、歩行者又は特定車両の乗員の左側の肩部として識別する。

股下識別器１３４は、人間の股下部を、歩行者又は特定車両の乗員の股下部として識別する。右足識別器１３５は、人間の右側の足先部（撮像画像において右側に位置する足先部）を、歩行者又は特定車両の乗員の右側の足先部として識別する。同様に、左足識別器１３６は、人間の左側の足先部を、歩行者又は特定車両の乗員の左側の足先部として識別する。車輪識別器１３７は、特定車両の車輪を識別する。なお、これらのパーツは、人間の姿勢が変化しても特徴が変化しにくい部分として選択されたものである。

歩行者識別器１４は、歩行者を部分的に表す６つのパーツの識別結果に基づいて、撮像画像において歩行者を識別する。具体的には、歩行者識別器１４は、頭識別器１３１と、右肩識別器１３２と、左肩識別器１３３と、股下識別器１３４と、右足識別器１３５と、左足識別器１３６と、の識別結果を入力する。そして、これらの識別結果に基づいて、歩行者を識別する。

特定車両識別器１５は、特定車両及びその乗員を部分的に表す６つのパーツの識別結果に基づいて、撮像画像において特定車両及びその乗員を識別する。具体的には、特定車両識別器１５は、右向車両識別器１５１と、左向車両識別器１５２と、を備える。

右向車両識別器１５１は、頭識別器１３１と、右肩識別器１３２と、左肩識別器１３３と、股下識別器１３４と、右足識別器１３５と、車輪識別器１３７と、の識別結果を入力する。そして、これらの識別結果に基づいて、撮像画像において右向きに走行している状態の特定車両及びその乗員を識別する。つまり、歩行者識別器１４と比較すると、左足識別器１３６の識別結果に代えて車輪識別器１３７の識別結果を用いる点で異なる。

図２に示すように、歩行者と、右向きに走行している状態の特定車両及びその乗員と、の撮像画像における大きな違いは、上半身に対して左下の部分（点線で示す矩形領域）である。具体的には、歩行者の場合、左下の部分には左側の足先部が表れるが、特定車両及びその乗員の場合には特定車両の車輪（後輪）が表れる。つまり、図３に示すように、歩行者を識別するための識別器１３１〜１３６のうち、識別器１３１〜１３５を、右向きに走行している状態の特定車両及びその乗員を識別するために流用することができる。

なお、左向きに走行している状態の特定車両及びその乗員については、車輪の位置が左右逆になる。具体的には、特定車両及びその乗員に対応する領域における右下の部分に、特定車両の車輪（後輪）が位置する。つまり、歩行者を識別するための識別器１３１〜１３６のうち、識別器１３１〜１３４，１３６を、左向きに走行している状態の特定車両及びその乗員を識別するために流用することができる。

左向車両識別器１５２は、頭識別器１３１と、右肩識別器１３２と、左肩識別器１３３と、股下識別器１３４と、左足識別器１３６と、車輪識別器１３７と、の識別結果を入力する。そして、これらの識別結果に基づいて、撮像画像において左向きに走行している状態の特定車両及びその乗員を識別する。つまり、右向車両識別器１５１とは左右対称の状態を識別する。このため、歩行者識別器１４と比較すると、右足識別器１３５の識別結果に代えて車輪識別器１３７の識別結果を用いる点で異なる。

加工画像生成部１６は、歩行者識別器１４及び特定車両識別器１５により識別された識別対象が撮像画像において強調された加工画像を生成し、生成した画像を車載表示装置３へ出力する。

［２．処理］
次に、歩行者と特定車両及びその乗員とを撮像画像において識別するために対象物識別装置１で実行される処理について、図４のフローチャートを用いて説明する。

対象物識別装置１は、まず、前述した色変換部１１による処理として、車載カメラ２から入力した撮像画像を表す画像データをグレースケール化して、輝度値で表現された画像データを生成する（Ｓ１０１）。

続いて、対象物識別装置１は、前述した特徴量算出部１２による処理として、輝度値で表現された画像データに対して、特徴量を算出する（Ｓ１０２）。具体的には、画像を構成する画素ごとに、勾配強度Ｇ及び勾配方向θを算出し、画像を複数に区分した各ブロックの特徴量を算出する。

続いて、対象物識別装置１は、前述したパーツ識別器１３及び歩行者識別器１４による処理として、撮像画像において歩行者を識別する処理を行う（Ｓ１０３）。まず、頭識別器１３１による処理として、撮像画像において人間の頭部を識別する。具体的には、撮像画像において、Ｍ２×Ｎ２ブロック（例えば４×４ブロック）分のサイズのセルを、ブロック単位で走査する。そして、各セル位置（注目位置）において、頭部の基準ＨＯＧ特徴量との類似度を表す値を算出する。頭部の基準ＨＯＧ特徴量は、頭部を表すＨＯＧ特徴量としてあらかじめ記憶されている。つまり、頭部の基準ＨＯＧ特徴量（Ｍ２×Ｎ２ブロック分の基準ＨＯＧ特徴量）をテンプレートとして、撮像画像においてテンプレートの位置（セル位置）を順にずらしながら、各セル位置におけるテンプレートとの類似度を算出する周知のテンプレートマッチングの処理を行う。各セル位置で算出された類似度は、そのセル位置の領域に人間の頭部が存在する可能性の高さを示す。

また、頭識別器１３１による処理と同様に、右肩識別器１３２、左肩識別器１３３、股下識別器１３４、右足識別器１３５及び左足識別器１３６による処理を行う。つまり、撮像画像において人間の右側の肩部、左側の肩部、股下部、右側の足先部及び左側の足先部について、それぞれのテンプレートを用いて、各セル位置におけるテンプレートとの類似度を算出する。各セル位置で算出された各パーツの類似度は、そのセル位置の領域に各パーツが存在する可能性の高さを示す。

このような算出処理により、各セル位置において、頭部、右側の肩部、左側の肩部、股下部、右側の足先部及び左側の足先部の６つのパーツの類似度（識別結果）が算出される。そして、これらの類似度に基づいて、撮像画像において歩行者を識別する。

具体的には、図５に示すように、頭部、右側の肩部、左側の肩部、股下部、右側の足先部及び左側の足先部の６つのパーツの基準位置関係（相対的な位置関係）が、事前に教師データを用いて学習されている。このため、頭部の類似度がしきい値Ｔ１以上のセル（人間の頭部が存在する可能性の高い領域）について、基準位置関係に基づいて他のパーツのセル位置を特定することで、それら６つのパーツの類似度を統合した統合類似度を算出することができる。算出された統合類似度は、特定された６つのセル位置を包含する矩形領域に歩行者が存在する可能性の高さを示す。統合類似度は、例えば、６つの類似度の平均値として算出してもよく、また、６つの類似度の性質等に応じて重み付けした重み付け平均値として算出してもよい。なお、頭部の類似度がしきい値Ｔ１以上のセルが１つも存在しなければ、統合類似度は１つも算出されない。

続いて、対象物識別装置１は、算出された統合類似度（歩行者類似度）について、しきい値Ｔ２以上であるか否かを判定する（Ｓ１０４）。対象物識別装置１は、１つ以上の統合類似度について、しきい値Ｔ２以上であると判定した場合には（Ｓ１０４：ＹＥＳ）、その統合類似度を算出した６つのセル位置を包含する矩形領域に歩行者が存在すると判定する（Ｓ１０５）。その後、対象物識別装置１は、処理をＳ１０６へ移行させる。一方、対象物識別装置１は、しきい値Ｔ２以上の統合類似度が存在しないと判定した場合には（Ｓ１０４：ＮＯ）、Ｓ１０５の処理を行わずに、処理をＳ１０６へ移行させる。

Ｓ１０６では、前述したパーツ識別器１３、及び特定車両識別器１５による処理として、撮像画像において右向きに走行している状態の特定車両及びその乗員を識別する処理を行う。具体的には、前述したＳ１０３と同様の手法で、頭識別器１３１、右肩識別器１３２、左肩識別器１３３、股下識別器１３４、右足識別器１３５及び車輪識別器１３７による処理を行う。つまり、撮像画像において人間の頭部、右側の肩部、左側の肩部、股下部、右側の足先部及び車輪について、それぞれのテンプレートを用いて、各セル位置におけるテンプレートとの類似度を算出する。

このような算出処理により、各セル位置において、頭部、右側の肩部、左側の肩部、股下部、右側の足先部及び車輪の６つのパーツの類似度（識別結果）が算出される。そして、これらの類似度に基づいて、撮像画像において右向きに走行している状態の特定車両及びその乗員を識別する。

具体的には、前述したＳ１０３と同様、頭部の類似度がしきい値Ｔ３（しきい値Ｔ１と同じ値でもよい。）以上のセルについて、基準位置関係に基づいて特定される６つのパーツの類似度を統合した統合類似度を算出する。ただし、Ｓ１０３で算出する統合類似度とは、左側の足先部を車輪に置き換えた点以外は共通するため、これらのパーツの類似度を入れ替えることで簡易的に算出することができる。算出された統合類似度は、特定された６つのセル位置を包含する矩形領域に、右向きに走行している状態の特定車両及びその乗員が存在する可能性の高さを示す。

続いて、対象物識別装置１は、算出された統合類似度（右向き特定車両類似度）について、しきい値Ｔ４以上であるか否かを判定する（Ｓ１０７）。対象物識別装置１は、１つ以上の統合類似度について、しきい値Ｔ４以上であると判定した場合には（Ｓ１０７：ＹＥＳ）、その統合類似度を算出した６つのセル位置を包含する矩形領域に、右向きに走行している状態の特定車両及びその乗員が存在すると判定する（Ｓ１０８）。

続いて、存在すると判定した（撮像画像において識別された）各特定車両について、その特定車両の位置と、特定車両の走行方向（右方向）と、に基づいて、自動車の前方道路（走行予定経路）へ近づいている状態であるか否かを判定する（Ｓ１０９）。例えば、左向きに走行している状態の特定車両については、撮像画像における左側に存在する場合には、前方道路へ近づいていると判定し、撮像画像における右側に存在する場合には、前方道路から遠ざかっていると判定する。右向きに走行している状態の特定車両については、左向きに走行している状態の特定車両とは逆に判定する。その後、対象物識別装置１は、処理をＳ１１０へ移行させる。

一方、対象物識別装置１は、しきい値Ｔ４以上の統合類似度が存在しないと判定した場合には（Ｓ１０７：ＮＯ）、Ｓ１０８及びＳ１０９の処理を行わずに、処理をＳ１１０へ移行させる。

Ｓ１１０では、前述したパーツ識別器１３、及び特定車両識別器１５による処理として、撮像画像において左向きに走行している状態の特定車両及びその乗員を識別する処理を行う。具体的には、前述したＳ１０６と同様の手法で、頭識別器１３１、右肩識別器１３２、左肩識別器１３３、股下識別器１３４、左足識別器１３６及び車輪識別器１３７による処理を行う。つまり、撮像画像において人間の頭部、右側の肩部、左側の肩部、股下部、左側の足先部及び車輪について、それぞれのテンプレートを用いて、各セル位置におけるテンプレートとの類似度を算出する。

このような算出処理により、各セル位置において、頭部、右側の肩部、左側の肩部、股下部、左側の足先部及び車輪の６つのパーツの類似度（識別結果）が算出される。そして、これらの類似度に基づいて、撮像画像において左向きに走行している状態の特定車両及びその乗員を識別する。

具体的には、前述したＳ１０３と同様、頭部の類似度がしきい値Ｔ５（しきい値Ｔ１と同じ値でもよい。）以上のセルについて、基準位置関係に基づいて特定される６つのパーツの類似度を統合した統合類似度を算出する。ただし、Ｓ１０３で算出する統合類似度とは、右側の足先部を車輪に置き換えた点以外は共通するため、これらのパーツの類似度を入れ替えることで簡易的に算出することができる。算出された統合類似度は、特定された６つのセル位置を包含する矩形領域に、左向きに走行している状態の特定車両及びその乗員が存在する可能性の高さを示す。

続いて、対象物識別装置１は、算出された統合類似度（左向き特定車両類似度）について、しきい値Ｔ６以上であるか否かを判定する（Ｓ１１１）。対象物識別装置１は、１つ以上の統合類似度について、しきい値Ｔ６以上であると判定した場合には（Ｓ１１１：ＹＥＳ）、その統合類似度を算出した６つのセル位置を包含する矩形領域に、左向きに走行している状態の特定車両及びその乗員が存在すると判定する（Ｓ１１２）。

続いて、存在すると判定した（撮像画像において識別された）各特定車両について、その特定車両の位置と、特定車両の走行方向（左方向）と、に基づいて、自動車の前方道路（走行予定経路）へ近づいている状態であるか否かを判定する（Ｓ１１３）。例えば、特定車両が撮像画像における右側に存在する場合には、前方道路へ近づいていると判定し、撮像画像における左側に存在する場合には、前方道路から遠ざかっていると判定する。その後、対象物識別装置１は、処理をＳ１１４へ移行させる。

一方、対象物識別装置１は、しきい値Ｔ６以上の統合類似度が存在しないと判定した場合には（Ｓ１１１：ＮＯ）、Ｓ１１２及びＳ１１３の処理を行わずに、処理をＳ１１４へ移行させる。

Ｓ１１４において、対象物識別装置１は、加工画像生成部１６による処理として、撮像画像において、歩行者が存在すると判定した矩形領域と、特定車両及びその乗員が存在すると判定した矩形領域と、が強調された加工画像を生成し、車載表示装置３へ出力する。その後、図４の処理を終了する。その結果、対象物識別装置１から出力された加工画像が、車載表示装置３により表示される。

具体的には、例えば図６に示す加工画像において、識別対象（歩行者や特定車両及びその乗員）が存在する領域には、矩形の枠３１，３２が付加されている。特に、特定車両及びその乗員が存在すると判定された領域については、前方道路３３へ近づいている場合と、前方道路３３から遠ざかっている場合と、で枠の太さが異なる。この例では、前方道路３３へ近づいている特定車両を示す枠３２は、前方道路３３から遠ざかっている特定車両を示す３１と比較して、太く表示されている。つまり、識別対象が危険度ごとに差別化されている。

［３．効果］
以上説明したように、本実施形態の対象物識別装置１では、パーツ識別器１３が、識別対象を部分的に表す複数種類のパーツを、撮像画像において識別する。そして、歩行者識別器１４が、パーツ識別器１３による複数種類のパーツの識別結果のうち、歩行者を部分的に表す複数のパーツの識別結果に基づいて、歩行者を識別する。また、特定車両識別器１５が、パーツ識別器１３による複数種類のパーツの識別結果のうち、特定車両及びその乗員を部分的に表す複数のパーツの識別結果に基づいて、特定車両及びその乗員を識別する。複数種類のパーツには、歩行者と、特定車両及びその乗員と、に共通する部分を表す共通パーツが含まれ、共通パーツは、歩行者識別器１４及び特定車両識別器１５の両方により用いられる。

このような対象物識別装置１によれば、撮像画像において共通パーツを識別するための処理を、歩行者を識別する場合と、特定車両及びその乗員を識別する場合と、で共通にすることができる。したがって、異なる識別対象を撮像画像から識別する画像処理の処理負荷（計算コスト）を低減することができる。

具体的には、共通パーツには、歩行者及び乗員の上半身の一部を表すパーツが含まれ、歩行者識別器１４は、共通パーツの識別結果と、歩行者の足の一部を表す足パーツの識別結果と、に基づいて、歩行者を識別する。また、特定車両識別器１５は、共通パーツの識別結果と、特定車両の車輪の少なくとも一部を表す車輪パーツの識別結果と、に基づいて、特定車両及びその乗員を識別する。このため、足と車輪とを区別することで歩行者と特定車両の乗員とを区別することができる。

また、複数種類のパーツには、歩行者の２本の足を別々に表す右側の足パーツ及び左側の足パーツが含まれる。そして、歩行者識別器１４は、右側の足パーツの識別結果と、左側の足パーツの識別結果と、に基づいて、歩行者を識別する。また、特定車両識別器１５は、右側の足パーツ及び左側の足パーツのうちいずれか一方の識別結果と、車輪パーツの識別結果と、に基づいて、特定車両及びその乗員を識別する。このため、一方の足パーツについても共通パーツとして用いることができる。

具体的には、特定車両識別器１５は、右側の足パーツの識別結果と、車輪パーツの識別結果と、に基づいて、右方向を向いた特定車両及びその乗員を識別する。また、特定車両識別器１５は、左側の足パーツの識別結果と、車輪パーツの識別結果と、に基づいて、左方向を向いた（逆向きの）特定車両及びその乗員を識別する。このため、特定車両及びその乗員を、その走行方向に関係なく識別する構成と比較して、識別精度を向上させることができる。

また、撮像画像は、対象物識別装置１が搭載された自動車の走行方向前方を撮像した画像である。そして、加工画像生成部１６が、特定車両識別器１５により識別された特定車両の位置及び向きに基づいて、自動車の走行予定経路へ近づく場合と、走行予定経路から遠ざかる場合と、を区別して報知するための処理を行う。つまり、特定車両の行動を予測した表示を行う。このため、複数の特定車両が撮像画像内に存在する場合にも、特に注意すべき特定車両を自動車の運転者に知らせることができる。

なお、パーツ識別器１３がパーツ識別手段の一例に相当し、歩行者識別器１４が第１の対象物識別手段の一例に相当し、特定車両識別器１５が第２の対象物識別手段の一例に相当し、加工画像生成部１６が報知処理手段の一例に相当する。また、歩行者が第１の識別対象の一例に相当し、特定車両及びその乗員が第２の識別対象の一例に相当し、自動車が移動体の一例に相当する。

［４．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

上記実施形態では、歩行者を識別する処理（Ｓ１０３〜Ｓ１０５）、右向きの特定車両及びその乗員を識別する処理（Ｓ１０６〜Ｓ１０９）、及び、左向きの特定車両及びその乗員を識別する処理（Ｓ１０６〜Ｓ１０９）、を独立して行うようにしているが（図４）、これに限定されるものではない。例えば、ある部分領域においてある識別対象が識別されなかった場合に、他の識別対象を識別する処理を行う一方、いったん識別対象が識別された場合には、その部分領域については他の識別対象を識別する処理を行わないようにしてもよい。具体的には、まず歩行者を識別する処理を行い、歩行者が識別されなかった場合に、その左右の足パーツの一方にそれぞれ車輪パーツを適用し、それぞれの類似度を算出する。その結果、左右で車輪の類似度の大きい方を足パーツの類似度と置換し、６つのパーツの類似度を統合した統合類似度を算出する。そして、算出した統合類似度がしきい値以上の場合に、その統合類似度を算出した６つのセル位置を包含する矩形領域に特定車両及びその乗員が存在すると判定する。このようにすれば、歩行者が識別された部分領域で特定車両及びその乗員を識別する処理を行わないため、処理負荷を低減することができる。

上記実施形態では、頭部の類似度がしきい値Ｔ１以上のセルについて、基準位置関係に基づいて他のパーツのセル位置を特定し、それら６つのパーツの類似度を統合した統合類似度を算出するようにしているが（Ｓ１０３等）、これに限定されるものではない。例えば、統合類似度を算出するか否かの基準とするパーツは、頭部以外のパーツでもよい。また例えば、基準とするパーツの類似度がしきい値以上であるか否かに関係なく（しきい値による足切りを行わず）、撮像画像において基準位置関係にあるすべての組合せについて、統合類似度を算出してもよい。ただし、上記実施形態のように、基準とするパーツの類似度がしきい値未満である場合に足切りを行う構成によれば、不要な算出処理が行われにくくなるため、処理負荷を低減することができる。

上記実施形態では、特定車両が撮像画像における左側及び右側のいずれに存在するかに基づいて、前方道路へ近づいているか前方道路から遠ざかっているかを判定するようにしているが（Ｓ１０９）、これに限定されるものではない。例えば、周知の白線認識処理により撮像画像における道路領域を特定し、その道路領域に近づいているか遠ざかっているかを判定してもよい。このようにすれば、例えばカーブした道路における判定精度を向上させることができる。

上記実施形態では、特定車両及びその乗員が、前方道路へ近づいている場合と、前方道路から遠ざかっている場合と、で枠の太さを異ならせることで視覚的に区別できるようにしているが（図６）、これに限定されるものではない。例えば、枠の色、線の種類（点線等）、表示態様（点滅等）で区別できるようにしてもよい。

上記実施形態では、歩行者と、特定車両及びその乗員と、をそれぞれ６つのパーツに基づいて識別する構成を例示したが、パーツの数や、パーツとする部分など、上記実施形態に限定されるものではない。例えば、歩行者の両足を１つのパーツとして識別してもよい。このようにしても、両足であるか車輪であるかの違いにより、歩行者と特定車両とを判別することができる。

上記実施形態では、車載カメラ２から入力した撮像画像を表す画像データ（各画素がＲＧＢ値で表現された画像データ）を、輝度値で表現された画像データに変換するようにしているが、これに限定されるものではない。例えば、車載カメラ２が輝度値で表現された画像データを生成する構成としてもよい。このようにすれば、色変換部１１（グレースケール変換処理）を省略することができる。

上記実施形態では、自動車の走行方向前方を撮像した撮像画像から識別対象を識別するようにしているが、これに限定されるものではなく、例えば、自動車の側方や後方を撮像した撮像画像から識別対象を識別してもよい。また、自動車以外の移動体で撮像した撮像画像から識別対象を識別してもよい。

上記実施形態で例示した対象物識別装置１の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、前述した処理（プログラム）を実行するコンピュータ装置（例えばマイコン）により対象物識別装置１の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。

上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、対象物識別装置、対象物識別方法、対象物識別装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。

１…対象物識別装置、２…車載カメラ、１３…パーツ識別器、１４…歩行者識別器、１５…特定車両識別器、１６…加工画像生成部、１３１…頭識別器、１３２…右肩識別器、１３３…左肩識別器、１３４…股下識別器、１３５…右足識別器、１３６…左足識別器、１３７…車輪識別器、１５１…右向車両識別器、１５２…左向車両識別器

Claims (5)

1. 識別対象を部分的に表す複数種類のパーツを、撮像画像において識別するパーツ識別手段（１３）と、
   前記パーツ識別手段による前記複数種類のパーツの識別結果のうち、第１の識別対象を部分的に表す複数のパーツの識別結果に基づいて、前記第１の識別対象を識別する第１の対象物識別手段（１４）と、
   前記パーツ識別手段による前記複数種類のパーツの識別結果のうち、第２の識別対象を部分的に表す複数のパーツの識別結果に基づいて、前記第２の識別対象を識別する第２の対象物識別手段（１５）と、
   前記複数種類のパーツには、前記第１の識別対象及び前記第２の識別対象に共通する部分を表す共通パーツが含まれ、
   前記共通パーツは、前記第１の対象物識別手段及び前記第２の対象物識別手段の両方により用いられる
   ことを特徴とする対象物識別装置。
2. 請求項１に記載の対象物識別装置であって、
   前記第１の識別対象は、歩行者であり、
   前記第２の識別対象は、特定車両及びその乗員であり、
   前記共通パーツには、前記歩行者及び前記乗員の上半身の少なくとも一部を表すパーツが含まれ、
   前記第１の対象物識別手段は、前記共通パーツの識別結果と、前記歩行者の足の少なくとも一部を表す足パーツの識別結果と、に基づいて、前記歩行者を識別し、
   前記第２の対象物識別手段は、前記共通パーツの識別結果と、前記特定車両の車輪の少なくとも一部を表す車輪パーツの識別結果と、に基づいて、前記特定車両及びその乗員を識別する
   ことを特徴とする対象物識別装置。
3. 請求項２に記載の対象物識別装置であって、
   前記複数種類のパーツには、前記歩行者の２本の足を別々に表す第１の足パーツ及び第２の足パーツが含まれ、
   前記第１の対象物識別手段は、前記第１の足パーツの識別結果と、前記第２の足パーツの識別結果と、に基づいて、前記歩行者を識別し、
   前記第２の対象物識別手段は、前記第１の足パーツ及び前記第２の足パーツのうちいずれか一方の識別結果と、前記車輪パーツの識別結果と、に基づいて、前記特定車両及びその乗員を識別する
   ことを特徴とする対象物識別装置。
4. 請求項３に記載の対象物識別装置であって、
   前記第２の対象物識別手段は、
   前記第１の足パーツの識別結果と、前記車輪パーツの識別結果と、に基づいて、第１の方向を向いた前記特定車両及びその乗員を識別し、
   前記第２の足パーツの識別結果と、前記車輪パーツの識別結果と、に基づいて、前記第１の方向とは逆向きの第２の方向を向いた前記特定車両及びその乗員を識別する
   ことを特徴とする対象物識別装置。
5. 請求項４に記載の対象物識別装置であって、
   前記撮像画像は、当該対象物識別装置が搭載された移動体の走行方向前方を撮像した画像であり、
   前記第２の対象物識別手段により識別された前記特定車両の位置及び向きに基づいて、前記移動体の走行予定経路へ近づく場合と、前記走行予定経路から遠ざかる場合と、を区別して報知するための処理を行う報知処理手段（１６）を更に備える
   ことを特徴とする対象物識別装置。