JP2021081789A

JP2021081789A - 物体識別装置

Info

Publication number: JP2021081789A
Application number: JP2019206342A
Authority: JP
Inventors: 都堀田; Miyako Hotta; 堀田　　都; 郭介牛場; Hideyuki Ushiba
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2021-05-27
Anticipated expiration: 2039-11-14
Also published as: WO2021095455A1; JP7373972B2

Abstract

【課題】静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることのできる物体識別装置を提供する。【解決手段】カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の距離分布を示す距離の分散を算出する物体距離情報算出部3と、前記距離分布を示す距離の分散に基づき前記物体の種別を識別する物体識別部4とを有する。【選択図】図１

Description

本発明は、画像から物体の種別を識別する物体識別装置に関する。

自動車の安全支援や自動運転の実現のため、画像センサにより周囲（例えば前方）の物体を識別する機能が求められている。例えば、衝突回避のため、検知した対象ごとに適切なタイミングでブレーキをかけるためには、歩行者や二輪車など、速度の異なる対象を種別ごとに識別し、それぞれに適したブレーキ制御をおこなう必要がある。

対象の種別を識別する手法として、大量の特定物体の画像を学習させて作成した識別器を用いる方法が一般に用いられる。しかし、この手法では、画像上の見かけの特徴パターンを学習するため、物体の形状の類似した対象を正確に識別することが困難であった。

このような特性から、従来の画像による認識では、例えば、歩行中の人（以降、歩行者）と、自転車やバイクなど二輪車に乗った人（以降、二輪車）の識別が困難であった。

そのため、オプティカルフロー算出による速度で歩行者と二輪車などの対象物の種別を識別する方式が従来用いられている。

例えば、特許文献１に開示されている画像認識装置では、「被写体のテンプレートを格納している辞書を複数備えている辞書群と、画像中のオプティカルフローベクトルを抽出して、同ベクトルが類似する画素点を抽出することにより、移動体領域を抽出し、その移動速度に基づいて、前記辞書群中から被写体認識のために利用する辞書を選択する辞書選択手段と、抽出した前記移動体領域と、前記辞書選択手段で選択した辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、を備えている」との記載がある。

この特許文献１には、前述のように、画像から算出したオプティカルフローに基づき対象物の速度を算出して、対象物を認識する方法が開示されている。

特許第４６９２３４４号公報

しかし、特許文献１等に所載の従来手法では、対象物が静止している場合に速度が求まらずに識別ができないという問題や、速度を求めるために複数フレームを必要とするため、識別に時間遅れが発生するという問題があった。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることのできる物体識別装置を提供することにある。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。

本発明の物体識別装置は、画像から物体の種別を識別する物体識別装置であって、画像から物体が存在する物体領域を検出する物体検出部と、前記物体領域の距離分布を算出する物体距離情報算出部と、前記距離分布に基づき前記物体の種別を識別する物体識別部とを有することを特徴とする。

本発明によれば、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明による物体識別装置の第一の実施例の構成を示すブロック図である。カメラから取得した画像の例を示す図である。図２の画像から検出した歩行者および二輪車の物体領域を示す図である。距離計測部で歩行者の物体領域に対して取得した距離情報の例を説明する図である。距離計測部で二輪車の物体領域に対して取得した距離情報の例を説明する図である。歩行者領域の距離情報が計測されている状況を側面から示す図である。二輪車領域の距離情報が計測されている状況を側面から示す図である。歩行者領域の距離情報を、横軸を距離とした頻度分布で表した図である。二輪車領域の距離情報を、横軸を距離とした頻度分布で表した図である。歩行者領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。二輪車領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。距離計測部で歩行者の物体領域に対して取得した距離情報の例（第二の実施例）を示す図である。距離計測部で二輪車の物体領域に対して取得した距離情報の例（第二の実施例）を示す図である。本発明による物体識別装置の第三の実施例の構成を示すブロック図である。第三の実施例の物体識別装置による処理の流れを示すフローチャート図である。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

［第一の実施例］
図１は、本発明による物体識別装置の第一の実施例の構成を示すブロック図である。

図１に示す物体識別装置10は、例えば図示しない車両に搭載され、画像取得手段としてのカメラ9から取得した画像（車両周囲を撮像した画像）から、物体が存在する領域（以降、物体領域）を検出する物体検出部1と、検出した物体領域から、少なくとも二点以上の距離情報を取得する距離計測部2と、取得された距離情報から、距離分布などの統計情報を算出する物体距離情報算出部3と、算出した距離分布から、検知対象である物体の種別を識別する物体識別部4とを有する。

なお、物体識別装置10は、CPU（Central Processing Unit）等のプロセッサ、ROM(Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等のメモリ等を備えるコンピュータとして構成されている。物体識別装置10の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。

第一の実施例の構成要素について順に説明する。

物体検出部1は、カメラ9から取得した画像から、物体領域を検出する手段である。この処理は、画像中から一塊の剛体領域を検出する処理であり、様々な手段を用いることができる。例えば画像を取得するカメラとしてステレオカメラを用いる場合、視差により画像上の距離を求めることができる。画像上で隣り合って距離の近い領域をグルーピングすることで物体領域を求めることができる。

距離計測部2は、物体検出部1で求めた物体領域の距離を計測する手段である。例えばステレオカメラを用いる場合、視差により物体領域の距離を求めることができる。

物体距離情報算出部3は、距離計測部2で計測した距離に基づき、物体領域の距離情報を算出する手段である。この手段は、物体領域内で取得した、複数点で計測した距離情報から、物体の奥行き方向の形状の判断基準となる距離情報を算出する手段である。

奥行き方向の形状の判断基準となる距離情報には、例として物体領域内の距離分布を示す距離の分散がある。距離の分散が小さいと、物体の奥行き方向の形状の凹凸が小さく、物体領域が平面的であるということができる。これに対して、距離の分散が大きいと、物体の奥行き方向の形状の凹凸が大きく、物体領域が平面的でないということができる。つまり、物体領域の距離の分散の大きさによって、検知対象である物体の奥行方向の形状の違いを検知できる。

物体識別部4は、物体距離情報算出部3で算出した物体領域の距離情報に基づき、あらかじめ設定したしきい値により、物体の種別を識別する手段である。距離情報として距離の分散を用いる場合、あらかじめ設定したしきい値より分散が大きい場合は奥行き方向の凹凸のある物体、あらかじめ設定したしきい値より分散が小さい場合は奥行き方向の凹凸が少なく平面的な物体とする。

本実施例による物体識別装置10の実際の処理の流れを具体例を用いて説明する。本実施例では、画像取得手段としてステレオカメラを用い、取得した画像の位置に対応する距離が取得できる例を示す。

図２は、カメラから取得した画像の例を示す図である。図２の画像21中に、歩行者22と二輪車23が存在する。

物体検出部1では、画像21中から物体領域を検出する。物体検出部1の実現手段には様々な方法があるが、例えば画像取得手段としてステレオカメラを用いている場合、ステレオカメラから取得できる視差を用いて画面中の距離情報を取得し、距離の近い領域をグルーピングすることで物体領域を抽出することができる。図３に、図２の画像21から検出した歩行者22および二輪車23の物体領域31、32を示す。なお、物体領域31、32は、図３に示すように矩形であってもよいし、視差や距離から得られる不定形の領域であってもよい。計算処理を容易にするため、一般には矩形として扱われている。

距離計測部2は、物体検出部1で検出した物体領域内の距離情報を取得する手段である。図４に、距離計測部2で歩行者22の物体領域31（以降、歩行者領域31という場合がある）に対して取得した距離情報の例を、図５に、距離計測部2で二輪車23の物体領域32（以降、二輪車領域32という場合がある）に対して取得した距離情報の例を示す。図４の41に示すのは、図３の歩行者領域31に対する距離情報であり、図５の51に示すのは、図３の二輪車領域32に対する距離情報である。41や51中に示すセルは、画像中の画素や複数画素群であり、セル中の数値がその位置の対象のカメラからの距離を示している。ここでは、例としてメートル単位の距離の値を示す。歩行者領域31に対応する距離情報41、二輪車領域32に対応する距離情報51それぞれで、縦17セル、横8セルの136セルの位置で距離が計測されている。距離情報41中の43や44の領域は、歩行者領域31において、歩行者が存在する領域に相当し、28.9m等の距離が計測されている。これに対し、距離情報41中の47に示す領域は、背景の領域であるため、43で計測された距離より遠い70.0m等の距離が計測されている。同様に、距離情報51中の52や53に示す領域は、二輪車領域32において、二輪車が存在する領域に相当し、二輪車に乗っている人の上半身部分の52の領域では28.9m程度の距離、下部の二輪車の前部分の53の領域では28.0m程度の距離が計測されている。また、距離情報51中の54に示す領域は、背景領域であり、70.0m等の距離が計測されている。

歩行者領域31の距離情報41、二輪車領域32の距離情報51が計測されている状況を側面から示したのが、図６Ａおよび図６Ｂである。図６Ａ中、61が歩行者であり、図４の31や41を撮影したカメラを67とする。ここで、62と63がそれぞれ図４における領域43と領域44の計測距離を示す。歩行者61の場合、顔付近の距離62と、歩行中で後ろに引いている足の距離63では、距離に差は発生するが、後方に引いている足の領域69は図４の破線で示す領域49に示すセル6個分の範囲であり、歩行者領域全体から見て、6÷136≒4.4％であり、相対的に狭い範囲である。

これに対し、図６Ｂ中、64が二輪車であり、図５の32や51を撮影したカメラを67とする。ここで、65と66がそれぞれ図５における52と53の領域の計測距離を示す。二輪車64の場合、二輪車に乗っている人の顔付近の領域52を計測している距離65と、二輪車の前輪部である領域53を計測している距離66では距離に差があり、また、二輪車の車輪や籠の部分など、カメラ67からの距離が近い領域68は図５の破線で示す領域58に示すセル28個分の範囲であり、二輪車領域全体から見て、28÷136=20.6％であり、相対的に広い範囲で、距離の異なる領域が計測される。

物体距離情報算出部3では、距離計測部2で取得した距離情報に基づき、物体領域の奥行きの特徴を示す距離情報を算出する手段である。奥行きの特徴を示す距離情報の例として、物体領域の距離の分散を求める例で説明する。

図７は、図４の41に示す歩行者領域の距離情報を、横軸を距離とした頻度分布で表したものである。縦軸は画素数である。歩行者領域31の距離情報41全体の距離分布は、広い範囲で分布している。これは、図４の41の歩行者領域の距離情報中には、47に示すように背景の領域や、48に示すように視差が取得できず値が0となる領域も混在することによる。図７の例では、距離は0mから70mに分布している。

分散を算出する際には、41に示す歩行者領域の距離情報すべてで分散を求めても良いが、41の距離情報には、物体領域以外の背景の距離や、距離が正確に求まらなかった無効な距離が含まれるため、物体領域中で対象物体（41の場合は歩行者）の距離として確からしい計測距離のみを対象に分散を求めることで、より正確に対象物体の奥行き距離情報を算出できると考えられる。物体領域から物体自体を計測した距離を抽出するため、例えば下記のような方法を採る。

まず、識別対象の物体の奥行きの大きさにより、物体の距離範囲のしきい値を設定する。本実施例で対象とする歩行者と二輪車の奥行きは、最大2m程度で、誤差を考慮しても3m程度と設定できる。物体領域の物体の距離分布のピーク位置の前後1.5mの範囲が物体の距離範囲とすると、その範囲を超えて計測された距離は、背景の距離もしくは計測に失敗した無効な距離等として扱うことができる。物体自体の距離で分散を算出する方法を、図７の歩行者領域の距離分布を例に採り説明する。図７に示す距離分布で、頻度最大の距離の位置を71に示す。図４の41の歩行者領域の距離情報でピークとなる距離を歩行者領域の代表距離と考え、71のピーク距離（代表距離）を基準とし、前後の一定の範囲に含まれる距離のみを対象として分散を算出するものとする。代表距離は28.9mであるので、その前後1.5mの範囲である27.3m〜30.4mの範囲の計測値のみを採用して分散を算出する。図７中、74に示す距離範囲が、ピーク距離71を中心とした前後1.5mの、歩行者領域を計測したと考えられる距離範囲である。これに対して、74以下の距離範囲72と、74以上の距離範囲73は、背景の距離、もしくは計測できない無効な距離と考えられる距離範囲である。すなわち、物体距離情報算出部3は、物体領域のピーク距離（代表距離）71から距離差の大きい距離範囲72、73の距離情報は除外して、距離分布を示す距離の分散を算出する。

同様に、図８は、図５の51に示す二輪車領域の距離情報を、横軸を距離とした頻度分布で表したものである。図８に示す距離分布で、頻度最大の距離の位置を81に示す。図５の51の二輪車領域の距離情報でピークとなる距離を二輪車領域の代表距離と考え、81のピーク距離（代表距離）を基準とし、前後の一定の範囲に含まれる距離のみを対象として分散を算出するものとする。代表距離は28.9mであるので、その前後1.5mの範囲である27.3m〜30.4mの範囲の計測値のみを採用して分散を算出する。図８中、85に示す距離範囲が、ピーク距離81を中心とした前後1.5mの、二輪車領域を計測したと考えられる距離範囲である。これに対して、85以下の距離範囲83と、85以上の距離範囲84は、背景の距離もしくは計測できない無効な距離と考えられる距離範囲である。すなわち、物体距離情報算出部3は、物体領域のピーク距離（代表距離）81から距離差の大きい距離範囲83、84の距離情報は除外して、距離分布を示す距離の分散を算出する。

図９Ａおよび図９Ｂは、上記の方法に基づき、歩行者領域および二輪車領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。

図７の74の範囲に含まれる距離のみを抽出した距離情報を、図９Ａの91に、図８の85の範囲に含まれる距離のみを抽出した距離情報を図９Ｂの92に示す。このように背景情報や無効な距離情報を除外した距離情報のみでそれぞれ分散を算出すると、図９Ａの91の分散は0.0008、図９Ｂの92の分散は0.19となる。歩行者領域の分散が二輪車領域の分散よりも小さい理由は、91の歩行者領域の距離分布は、図７の71に示すように距離分布に高いピークがあり、歩行者領域は奥行き方向に凹凸（形状変化）が小さいことに起因する。これに対し、二輪車領域の分散が歩行者領域の分散に比べて大きいのは、92の二輪車領域の距離分布は、図８の81に示すピークが歩行者領域に比べて低く、82に示すピークから近い距離でも距離計測がされていることに起因する。これは、図５の58に示す二輪車の前輪やカゴ部分が、二輪車に乗っている人の体領域よりもカメラ側から見て近くに計測されていることに起因する。

物体識別部4は、物体距離情報算出部3で算出した距離情報から、物体の種別を識別する手段である。具体的には、物体距離情報算出部3で算出した分散の値を、物体領域の奥行きの凹凸の大きさを示す指標とし、あらかじめ設定したしきい値に基づき、分散がしきい値よりも大きい場合には奥行き方向の形状の凹凸が大きい二輪車、分散がしきい値よりも小さい場合には奥行き方向の形状の凹凸が小さい歩行者として判定をする処理を行う。しきい値は、評価実験等により適切に定めた値とする。

例として、分散のしきい値を0.01とし、これを超えるものを二輪車、超えないものを歩行者とすると、図９Ａの91の歩行者の分散は0.0008でしきい値を超えないため、歩行者、図９Ｂの92の二輪車の分散は0.19でしきい値を超えるため、二輪車と判定する。

以上が、本発明による物体識別装置10の第一の実施例である。以上で説明したように、本実施例の物体識別装置10は、カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の距離分布を示す距離の分散を算出する物体距離情報算出部3と、前記距離分布を示す距離の分散に基づき前記物体の種別を識別する物体識別部4とを有する。また、前記物体識別部4は、前記物体領域の距離の分散の大きさにより、検知対象である前記物体の奥行方向の形状の違いを検知して、前記物体の種別を識別する。

これにより、輪郭のみで対象となる物体の種別を識別できない場合に、物体の奥行き方向の凹凸情報を距離情報を使って判定することで、物体の種別を精度よく識別可能である。

このように、本実施例によれば、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。

［第二の実施例］
第二の実施例では、図１の物体識別装置10において、物体距離情報算出部3で算出する距離情報として、物体の複数の部分、具体的には物体の上部と下部の距離差を求める例を説明する。

第二の実施例では、前方、後方から見た場合の歩行者と二輪車の奥行き方向の凹凸特徴が、図６Ａおよび図６Ｂに示すように、歩行者の場合は上部（距離62）も下部（距離63）も大きな差がないのに対し、二輪車の場合は上部（距離65）に比べて下部の二輪車の前輪やカゴの部分（距離66）がカメラから見て近い距離になる特徴を利用し、前述した距離分布を基に、物体領域の上部と下部の距離の差を距離情報として算出し、識別に用いる。

前述した第一の実施例と同様にして、物体検出部1では、カメラ9から取得した画像から、物体領域を検出し、距離計測部2では、物体検出部1で求めた物体領域の距離を計測する。

図１０Ａおよび図１０Ｂは、図３の31の歩行者領域と、図３の32の二輪車領域について、距離計測部２で計測した距離情報を示したものである。図１０Ａの101に示すのが歩行者領域31に対して取得した距離情報の例で、図１０Ｂの102に示すのが二輪車領域32に対して取得した距離情報の例である。

物体距離情報算出部3は、距離計測部2で取得した距離情報（図１０Ａの101および図１０Ｂの102）に基づき、物体領域の奥行きの特徴を示す距離情報（換言すれば、物体の奥行き方向の形状の判断基準となる距離情報）を算出するが、本実施例の物体距離情報算出部3では、奥行きの特徴を示す距離情報として、図１０Ａの101に示す歩行者の物体領域31の距離情報（距離分布）に対し、上半分の領域103と下半分の領域104に分けて、それぞれで距離の平均値を算出する。図１０Ａに示す例では、縦17セルのうち、下端のセルから8セル分の領域を下半分の領域104とし、その上側の8セル分の領域（換言すれば、上端から2〜9番目までの8セル分の領域）を上半分の領域103としている。

物体識別部4は、物体距離情報算出部3で算出した距離情報から、物体の種別を識別するが、本実施例の物体識別部4では、物体距離情報算出部3で算出した距離（平均値）を、物体領域の奥行きの凹凸の大きさを示す指標とし、あらかじめ設定したしきい値に基づき、上半分の領域103と下半分の領域104との差分（距離の差）があらかじめ設定したしきい値を超えた場合には、下部に二輪車領域がある（奥行き方向の形状の凹凸が大きい）二輪車と判定し、差分（距離の差）があらかじめ設定したしきい値を超えない場合は、上部と下部の距離に差がない（奥行き方向の形状の凹凸が小さい）歩行者として判定する。

図１０Ｂの102の二輪車の物体領域32の距離情報（距離分布）についても同様に、物体距離情報算出部3にて、上半分の領域105と下半分の領域106に分けて、それぞれで距離の平均値を算出し、物体識別部4にて、上半分の領域105の距離平均値と下半分の領域106の距離平均値の差により、二輪車と歩行者を判定する。

歩行者領域31の距離情報101の上半分領域103と下半分領域104の平均値を算出すると、それぞれ28.9m、28.9mとなり、上半分領域103と下半分領域104の距離平均値の差は0mとなる。二輪車領域32の距離情報102の上半分領域105と下半分領域106の平均値を算出すると、それぞれ28.8mと28.5mとなり、上半分領域105と下半分領域106の距離平均値の差は0.3mである。物体識別部4にて、二輪車と歩行者を識別するしきい値を0.2mとすると、図１０Ａの歩行者領域31の距離情報101の上下の距離差はしきい値を超えないので歩行者、図１０Ｂの二輪車領域32の距離情報102の上下の距離差はしきい値を超えるので二輪車と、それぞれ判定することができる。

以上の例では、ステレオカメラの視差を用い、図１０Ａおよび図１０Ｂのように物体領域全面で距離情報が得られる例で説明した。また、上半分と下半分の距離の平均値の差分を取る例で説明したが、必ずしもこれに限るものでなく、例えば、距離差が出やすい上半分の中央部の一部の領域と、下半分の中央部の一部の領域との平均値の差を取る方法でも同様の効果が得られる。また、必ずしも全面で距離情報が得られる前提でなく、例えばレーザセンサなどにより物体領域上の限られた点のみでしか距離が計測できない場合でも、本実施例を適用することができる。例えば、図１０Ａに示す距離情報101の上部の領域103のうち一か所以上の距離と、下部の領域104のうち一か所以上の距離とを計測することができれば、一か所しか得られない場合は上部と下部の代表距離として上下の差分を取ることで、歩行者か二輪車かの判定をすることができる。つまり、物体領域の一部を構成する所定の大きさの複数の部分領域（一つまたは複数の画素を含む領域）の距離（平均値もしくは代表距離）の差を取ることで、歩行者か二輪車かといった物体の種別を識別することができる。

以上で説明したように、本第二の実施例の物体識別装置10では、前記物体識別部4は、前記物体領域の一部を構成する複数の部分領域の距離の差、具体的には前記物体領域の上半分領域と下半分領域の距離の差により、前記物体の種別を識別する。

これにより、本実施例においても、上述した第一の実施例と同様に、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。

［第三の実施例］
図１１は、本発明による物体識別装置の第三の実施例の構成を示すブロック図である。第三の実施例は、図１のブロック図に物体認識部5を追加した構成である。

物体認識部5は、機械学習などであらかじめ複数の種別の物体の特徴を学習しておき、認識処理により対象の物体の種別を判定する処理である。機械学習で学習するのは、物体の輪郭やテクスチャなどの見かけの特徴（二次元的な画像上の特徴）であるため、形状の類似した物体の認識・識別が困難な場合が発生する。

本第三の実施例では、物体認識部5で、対象の物体の形状のみでは識別が困難な種別に識別した場合に、本実施例による物体識別装置10を用いて対象の種別を絞り込む例について説明する。例として、物体認識部5では、物体を車両、歩行者、二輪車、その他（背景）の4種別に識別する例を説明する。これら4種別の物体のうち、歩行者と二輪車は見かけの特徴が似ており、物体認識部5では識別が困難とする。本第三の実施例では、物体認識部5で車両、歩行者もしくは二輪車、背景の3種別に対象を絞り込み、歩行者もしくは二輪車と識別された場合に、本実施例による物体識別装置10を用いて歩行者と二輪車を識別する。また、この実施例では、距離情報として物体領域の距離の分散を算出する例（第一の実施例を併せて参照）で説明する。

図１２は、第三の実施例の物体識別装置10による処理の流れを示すフローチャート図である。

S121では、図２に示すようにカメラ9から画像を取得する。

S122では、図３に示すように物体検出部1により画像から物体領域を検出する。

S123では、検出した物体（物体領域）の参照カウンタiを初期値の0とする。

S124では、物体認識部5でi番目の物体（以降、物体i）の認識処理を行う。このS124では、前述のように、画像上の見かけの特徴から、物体iがあらかじめ作成した車両/歩行者/二輪車/その他（背景）の4種別のうちどの種別の物体であるかを認識する。

S125では、S124の認識処理で物体iの種別が歩行者もしくは二輪車に認識されたか否かを判定する。物体iの種別が歩行者もしくは二輪車と認識された場合にはS127に進み、本実施例による物体識別装置10による識別処理を実施する。物体iの種別が歩行者・二輪車以外の種別と認識された場合は、S126の処理に進む。

なお、本実施例では、物体iの種別が歩行者もしくは二輪車に認識されたか否かを判定しているが、例えば、物体iの種別が（歩行者や二輪車以外の）車両もしくはその他（背景）に認識されたか否かを判定し、物体iの種別が車両もしくはその他（背景）と認識された場合は、S126の処理に進み、物体iの種別が車両・その他（背景）以外の種別と認識された場合はS127に進み、本実施例による物体識別装置10による識別処理を実施してもよい。

S126では、S124の認識処理で物体iの種別が車両、その他（背景）と認識された場合は、認識された種別（物体i認識結果）をそのまま物体iの種別として採用し、S12bの処理に進む。

S127では、物体距離情報算出部3で、距離計測部2で取得した距離情報に基づき、物体の距離情報として物体i（歩行者もしくは二輪車）の物体領域の距離の分散を算出する。

S128では、物体識別部4で、S127で算出した物体iの物体領域の距離の分散の値があらかじめ設定したしきい値以上か否かを判定する。分散がしきい値以上の場合はS129に進み、分散がしきい値未満の場合はS12aに進む。

S129では、物体iの距離の分散の値がしきい値以上の場合には、第一の実施例で述べたように物体の奥行き方向の形状の凹凸が大きいことから、物体iを二輪車と判定する。

S12aでは、物体iの距離の分散の値がしきい値を超えない場合には、第一の実施例で述べたように物体の奥行き方向の形状の凹凸が小さいことから、物体iを歩行者と判定する。

S12bでは、物体（物体領域）の参照カウンタiをインクリメントする。

S12cでは、参照カウンタiが立体物候補領域数最大値（物体数）を超えたか否かを判定する。超えていない場合は未処理の立体物候補領域があるとし、S125の処理に進む。超えている場合は本処理を終了する。

以上が第三の実施例の物体識別装置10による処理の流れである。機械学習による認識と、本実施例による、物体の奥行距離特徴を使った識別を組み合わせることで、輪郭やテクスチャなどの見かけの特徴で識別が困難で、かつ奥行き情報を使うことで識別可能な歩行者と二輪車の識別を可能とする。

また、本実施例（上述した第一および第二の実施例も同様）では、歩行者と二輪車の例を用いたが、前述のように、正面や背面からの見かけの形状が似ているが、奥行きの形状が異なる対象であれば、同様に本実施例を適用可能である。例えば、二輪車のみでなく、三輪車、リキシャと歩行者の識別にも適用可能である。また、人間と牛や馬等の識別にも適用可能である。また、見かけの特徴が類似した車両の種別（車種など）ごとの識別にも本実施例を適用可能である。

以上で説明したように、本第三の実施例の物体識別装置10は、カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の前記画像上の特徴から前記物体の種別を認識する物体認識部5と、前記物体認識部5で認識した物体のうち所定の物体（例えば、歩行者もしくは二輪車）を含むまたは所定の物体（例えば、車両もしくは背景）を含まない前記物体領域の距離分布を算出する物体距離情報算出部3と、前記物体距離情報算出部3で算出した前記距離分布に基づき前記物体領域の前記物体の種別を識別する物体識別部4とを有する。

これにより、例えば機械学習による二次元的な認識と、物体の奥行距離特徴を使った三次元的な識別を組み合わせることで、物体の種別を迅速かつ精度よく識別可能である。

このように、本実施例においても、上述した第一および第二の実施例と同様に、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

1 物体検出部
2 距離計測部
3 物体距離情報算出部
4 物体識別部
5 物体認識部（第三の実施例）
10 物体識別装置
31 物体領域（歩行者領域）
32 物体領域（二輪車領域）

Claims

画像から物体の種別を識別する物体識別装置であって、
画像から物体が存在する物体領域を検出する物体検出部と、
前記物体領域の距離分布を算出する物体距離情報算出部と、
前記距離分布に基づき前記物体の種別を識別する物体識別部とを有することを特徴とする物体識別装置。
請求項１に記載の物体識別装置において、
前記画像上の特徴から前記物体の種別を認識する物体認識部を有し、
前記物体距離情報算出部は、前記物体認識部で認識した物体のうち所定の物体を含むまたは所定の物体を含まない前記物体領域の距離分布を算出し、
前記物体識別部は、前記物体距離情報算出部で算出した前記距離分布に基づき前記物体領域の前記物体の種別を識別することを特徴とする物体識別装置。
請求項１に記載の物体識別装置において、
前記物体識別部は、前記物体領域の距離の分散の大きさにより、検知対象である前記物体の奥行方向の形状の違いを検知して、前記物体の種別を識別することを特徴とする物体識別装置。
請求項１に記載の物体識別装置において、
前記物体識別部は、前記物体領域の一部を構成する複数の部分領域の距離の差により、前記物体の種別を識別することを特徴とする物体識別装置。
請求項４に記載の物体識別装置において、
前記物体識別部は、前記物体領域の上半分領域と下半分領域の距離の差により、前記物体の種別を識別することを特徴とする物体識別装置。
請求項１に記載の物体識別装置において、
前記物体距離情報算出部は、前記物体領域の代表距離から距離差の大きい距離情報は除外して前記距離分布を算出することを特徴とする物体識別装置。