JP2018169811A - 対象物判定装置および対象物判定プログラム - Google Patents

Abstract

【課題】画像認識の結果と測距データとを融合して対象物を判定することにより、該判定を高速かつ高精度に行うことができる対象物判定装置および対象物判定プログラムを提供する。
【解決手段】対象物判定装置は、カメラで取得した画像から算出された画認スコアと、測距センサで取得された測距値とを対応付ける。その測距値をグループ化してオブジェクトを生成し、そのオブジェクトの測距値および画認スコアをオブジェクトテーブルに記憶する。そして、オブジェクトテーブルの値から算出した測距尤度βと画像認識尤度αとマッチ率γとに基づいて、オブジェクトが人物か物体かを認識する。カメラから取得した画像の画認スコアと測距センサから取得した測距値とを融合して、オブジェクトが人物か物体かを認識するので、その認識処理を高速、かつ、高精度に行うことができる。
【選択図】図５

Description

本発明は、画像認識の結果と測距データとを融合して対象物を判定する対象物判定装置および対象物判定プログラムに関するものである。

対象物の判定に際し、画像処理の負荷を軽減するために、対象物を撮影した画像だけでなく、対象物までの距離を加味して判定する技術が知られている。特許文献１の車載用物体検知装置１００は、自車と物体との相対距離を計測する計測装置１と、自車の前方画像を撮像する画像取込装置２とを備え、物体の距離と前方画像とに基づいて前方画像内に画像処理領域を設定し、該画像処理領域内の画像に対して画像処理を実行することによって物体から処理候補を選定する。そして、その処理候補の距離と前方画像とに基づいて前方画像内に画像処理領域を設定し、該画像処理領域の画像に対して画像処理を実行することによって、処理候補が予め設定された所定の立体物であるかを判定する。この車載用物体検知装置１００によれば、画像処理の負荷を軽減しつつ非立体物に対する誤検知を低減できる。

特開２００９−２７６２００号公報

しかしながら、上記特許文献１では、対象物の判定に、該対象物までの距離データを使用するものの、その距離データは画像処理の領域設定に使用されるのみであり、対象物の判定はすべて画像処理によって行われる。よって、依然として画像処理の負荷は大きく、その処理時間も長いままであるという問題点があった。

本発明は、上述した問題点を解決するためになされたものであり、画像認識の結果と測距データとを融合して対象物を判定することにより、該判定を高速かつ高精度に行うことができる対象物判定装置および対象物判定プログラムを提供することを目的としている。

この目的を達成するために本発明の対象物判定装置は、画像を撮影する撮影手段と、対象物までの距離を測距する測距手段と、前記撮影手段により撮影された画像中の前記対象物について画像認識を実行する画像認識手段と、その画像認識手段による画像認識の結果を、前記測距手段により測距された測距データに対応付けする画認対応付手段と、所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化手段と、そのグループ化手段によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出手段と、前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出手段と、そのマッチ率算出手段により算出されたマッチ率と、前記尤度算出手段により算出された尤度とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定する判定手段とを備えている。

また本発明の対象物判定プログラムは、画像を取得する画像取得機能と、対象物までの測距データを取得する測距データ取得機能と、前記画像取得機能により取得された画像中の前記対象物について画像認識を実行する画像認識機能と、その画像認識機能による画像認識の結果を、前記測距データ取得機能により取得された測距データに対応付けする画認対応付機能と、所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化機能と、そのグループ化機能によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出機能と、前記グループ化機能によりグループ化された１の対象物を構成する測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出機能と、そのマッチ率算出機能により算出されたマッチ率と、前記尤度算出機能により算出された尤度とに基づいて、前記グループ化機能によりグループ化された１の対象物が前記所定物であるかを判定する判定機能と、をコンピュータに実現させるものである。

本発明の対象物判定装置および対象物判定プログラムによれば、測距データに画像認識の結果を対応付ける（融合する）と共に、測距データをグループ化する。このグループ化された測距データと、その測距データに対応付けされた画像認識の結果とに基づいて、対象物が所定物である場合の尤度と、対象物と所定物とのマッチ率とを算出し、該尤度とマッチ率とに基づいて、対象物が所定物であるかを判定する。このように、画像認識の結果と測距データとを融合して対象物を判定するので、該判定を高速かつ高精度に行うことができるという効果がある。

なお、判定手段による判定対象となる所定物を人物とすると共に、グループ化された対象物を判定手段による判定結果に基づいて所定物（人物）とそれ以外とに区別する。そして、位置認識手段により対象物の位置を認識することにより、人とモノとを区別して、その位置を認識することができる。

対象物判定装置の外観を示す模式図である。 対象物判定装置の電気的構成を示すブロック図である。 （ａ）は、画像認識結果テーブルを模式的に表した図であり、（ｂ）は、測距結果テーブルを模式的に表した図であり、（ｃ）は、オブジェクトテーブルを模式的に表した図である。 メイン処理のフローチャートである。 オブジェクト認識処理のフローチャートである。 （ａ）は、カメラから取得された画像における、ベースラインを模式的に示した図であり、（ｂ）は、ベースラインにおける検出窓による走査を模式的に示した図である。 カメラから取得された画像と、画認スコアとを模式的に示した図である。 （ａ）は、ベースラインにおける足元基準線の位置関係を模式的に示した図であり、（ｂ）は、測距値のグループ化を模式的に示した図である。 （ａ）は、オブジェクトの端点間距離と、積分距離とを示した模式図であり、（ｂ）は、オブジェクトの端点間距離に対する尤度分布を示した図であり、（ｃ）は、オブジェクトの積分距離に対する尤度分布を示した図である。 オブジェクトの測距値における、画認スコアを模式的に示した図である。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。まず、図１を参照して、対象物判定装置１の概要について説明する。図１は対象物判定装置１の外観を示す模式図である。対象物判定装置１は、カメラ３で取得した対象物の画像の画像認識結果と、測距センサ４から取得された対象物の測距値（測距データ）とを融合して、対象物が、人物（所定物）か物体（人物以外）かを判定するための装置である。対象物判定装置１は、対象物判定装置１の各部を制御する制御部２と、カメラ３と、測距センサ４と、表示部５とを有する。

カメラ３は、対象物判定装置１における周辺環境の画像を取得するための装置である。また、カメラ３の視野角は１２０度とされ、カメラ３から取得される画像の大きさは、水平方向に１２８０ピクセル（ｐｘ）、垂直方向に７２０ピクセルとされる（図７参照）。カメラ３から取得された画像が、制御部２へ送信される。

測距センサ４は、カメラ３の下部に配設され、レーザ光を全方位（３６０度）に対して照射し、その散乱光を測定することで、対象物判定装置１における周辺環境に存在する対象物との距離を検出するための装置である。測距センサ４は、角度０．２５度毎に検出された対象物との距離を、その角度に対応付けて制御部２へ送信する。また、測距センサ４は１００ｍ先の対象物まで検出可能とされ、周辺環境に対象物が存在していない場合は、測距センサ４の検出可能距離である１００ｍの値を制御部２へ送信する。以下、測距センサ４から取得された、対象物との距離および角度のことを「測距値」（測距データ）と称す。

表示部５は、人物かどうかの判定結果等の表示およびユーザからの対象物判定装置１への指示を入力するための装置であり、人物か物体かの認識結果等を表示するためのＬＣＤ１１と、ユーザからの指示を制御部２へ入力するタッチパネル１２とを有して構成され（図２参照）、対象物判定装置１の上部に設けられる。

次に図２，図３を参照して、対象物判定装置１の電気的構成について説明する。図２は、対象物判定装置１の電気的構成を示すブロック図である。制御部２は、ＣＰＵ６と、ハードディスクドライブ（ＨＤＤ）７と、ＲＡＭ７とを有し、これらはバスライン９を介して入出力ポート１０にそれぞれ接続されている。入出力ポート１０には、カメラ３と、測距センサ４と、表示部５とがそれぞれ接続されている。

ＣＰＵ６は、バスライン９により接続された各部を制御する演算装置である。ＨＤＤ７は、ＣＰＵ６により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、制御プログラム６ａが記憶される。ＣＰＵ６によって制御プログラム６ａが実行されると、図４のメイン処理が実行される。

ＲＡＭ８は、ＣＰＵ６が制御プログラム７ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、画像認識結果テーブル８ａと、測距結果テーブル８ｂと、オブジェクトテーブル８ｃと、測距尤度メモリ８ｄと、マッチ率メモリ８ｅと、画像認識尤度メモリ８ｆとがそれぞれ設けられる。画像認識結果テーブル８ａは、カメラ３から取得された画像から、水平位置毎およびベースライン（図６（ａ）参照）毎に算出された、画認スコアが記憶されるデータテーブルである。図３（ａ）を参照して、画像認識結果テーブル８ａを説明する。

図３（ａ）は、画像認識結果テーブル８ａを模式的に表した図である。画像認識結果テーブル８ａには、カメラ３から取得された画像における水平方向を、１ピクセル毎に分割した、水平位置Ｌ１〜Ｌ１２８０（図７参照）と、画像の水平方向における上下に設定されたベースラインＢＬ１〜ＢＬ１６（図６（ａ）参照）とに対応した、画像認識処理の結果による人物らしさを示すスコア（以下「画認スコア」と略す）が記憶される。なお、図３（ａ）における「ベースライン１」が図７におけるベースラインＢＬ１に対応し、「ベースライン２」がベースラインＢＬ２に対応し、「ベースライン１６」がベースラインＢＬ１６に対応する。以下、水平位置Ｌ１〜Ｌ１２８０を区別しない場合は「水平位置Ｌｎ」と略し、ベースラインＢＬ１〜ＢＬ１６を区別しない場合は「ベースラインＢＬｍ」と略す。

画像認識結果テーブル８ａに記憶される画認スコアは、人物らしさが高い順に「３」，「２」，「１」，「０」とされる。図７で後述するが、画像認識結果テーブル８ａには、画像におけるベースラインＢＬｍ毎の画像認識の結果、人物らしさが高いと判定された水平位置Ｌｎに対しては「３」が記憶され、人物らしさが中程度であると判定された水平位置Ｌｎに対しては「２」が記憶され、人物らしさが低いと判定された水平位置Ｌｎに対しては「１」が記憶される。また、人物ではないと判定された水平位置Ｌｎに対しては「０」が記憶される。なお、画認スコアは０〜３の４段階で表される構成としたが、これに限られるものではなく、４段階以上で表されても良いし、４段階以下で表されても良い。

図２に戻る。測距結果テーブル８ｂは、測距センサ４から取得された測距値と、その測距値に該当する画認スコアとが記憶されるデータテーブルである。図３（ｂ）を参照して、測距結果テーブル８ｂを説明する。

図３（ｂ）は、測距結果テーブル８ｂを模式的に表した図である。測距結果テーブル８ｂは、測距値メモリ８ｂ１と、画像認識結果メモリ８ｂ２とが対応付けられて記憶される。測距値メモリ８ｂ１は、測距センサ４から取得された測距値が記憶されるメモリである。図３（ｂ）に示す通り、測距値メモリ８ｂ１には（角度，距離）の形式で表された測距値が記憶される。画像認識結果メモリ８ｂ２には、測距値メモリ８ｂ１の測距値に近似する、画像認識結果テーブル８ａのベースラインＢＬｍ及び水平位置Ｌｎにおける画認スコアが取得され、記憶される。

図２に戻る。オブジェクトテーブル８ｃは、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値に基づいてグループ化されたオブジェクト毎の、測距値および画認スコアと、そのオブジェクトに対する人物か物体かの認識（判定）結果とが記憶されるデータテーブルである。図３（ｃ）を参照して、オブジェクトテーブル８ｃを説明する。

図３（ｃ）は、オブジェクトテーブル８ｃを模式的に表した図である。オブジェクトテーブル８ｃは、グループ化されたオブジェクト毎に、測距値メモリ８ｃ１と、画像認識結果メモリ８ｃ２と、認識結果メモリ８ｃ３とが対応付けられて記憶される。測距値メモリ８ｃ１は、測距結果テーブル８ｂから取得された、そのオブジェクトを構成する測距値が記憶されるメモリである。画像認識結果メモリ８ｃ２は、測距結果テーブル８ｂから取得された、測距値メモリ８ｃ１の測距値に対応する画認スコアが記憶されるメモリである。認識結果メモリ８ｃ３は、オブジェクトに対する認識結果（人物または物体）が記憶されるメモリである。

図２に戻る。測距尤度メモリ８ｄは、オブジェクトを構成する測距値間の距離から算出される、そのオブジェクトの形状による人物らしさを示す測距尤度βが記憶されるメモリである。マッチ率メモリ８ｅは、オブジェクトを構成する測距値において、人物と判定された画認スコア「１」以上の測距値の割合から算出される、そのオブジェクトの人物らしさを示すマッチ率γが記憶されるメモリである。

画像認識尤度メモリ８ｆは、オブジェクトを構成する測距値のうち、人物と判定された画認スコアが「１」以上である、測距値における画認スコアの平均値から算出される、そのオブジェクトの人物らしさを示す画像認識尤度（画像尤度）αが記憶されるメモリである。

次に図４〜図１０を参照して、制御部２のＣＰＵ６で実行される処理について説明する。メイン処理は、対象物判定装置１の電源投入直後に実行される。

図４は、メイン処理のフローチャートである。メイン処理はまず、カメラ３から画像を取得する（Ｓ１）。Ｓ１の処理の後、カメラ３から取得した画像に対して、ベースラインＢＬｍ毎に画像認識を行い、その認識結果を画像認識結果テーブル８ａに記憶する（Ｓ２）。Ｓ２の処理について、図６，図７を参照して説明する。

図６（ａ）は、カメラ３から取得された画像における、ベースラインＢＬｍを模式的に示した図であり、図６（ｂ）は、ベースラインＢＬｍにおける検出窓Ｗの走査を模式的に示した図である。図７は、カメラ３から取得された画像と、画認スコアとを模式的に示した図である。Ｓ２の処理はまず、カメラ３から取得された画像に対して、ベースラインＢＬ１〜ＢＬ１６を設定する。ベースラインＢＬｍとは、画像からの対象物の位置の検出および画認スコアの算出に用いられる、画像内の基準位置を表した基準線のことである。

図６（ａ）に示す通り、ベースラインＢＬｍはそれぞれ、画像内の下部に設けられ、カメラ３と画像内の人物および物体との基準位置を表す水平方向の基準線（以下「足元基準線」と称す）と、画像の上部に設けられ、その足元基準線に位置する人物の頭頂部の位置を表す、水平方向の基準線（以下「頭部基準線」と称す）との２組の基準線で構成される。画像の最も外側に位置する、最下部の足元基準線および最上部の頭部基準線の組がベースラインＢＬ１とされ、ベースラインＢＬ１の内側における、最下部の足元基準線および最上部の頭部基準線の組がベースラインＢＬ２とされる。以下同様に、ベースラインＢＬ３，ＢＬ４，・・・，ベースラインＢＬ１６とされる（ベースラインＢＬ５以降は図示せず）。

ベースラインＢＬ１の足元基準線の位置は、カメラ３から１０ｍ離れた位置に設けられ、ベースラインＢＬ２の足元基準線の位置は、ベースラインＢＬ１から５ｍ離れた位置に設けられる。同様に、ベースラインＢＬ３〜ＢＬ１６は、ベースラインＢＬ２〜ＢＬ１５からベースラインＢＬ１から５ｍ離れた位置に設けられる。ベースラインＢＬｍの頭部基準線の位置は、足元基準線の高さの位置に設けられる。

なお、ベースラインは、ベースラインＢＬｍの１６組で構成されるとしたが、必ずしもこれに限られるものではなく、対象物判定装置１の処理速度等に応じて、１６組以上で構成されても良いし、１６組以下で構成されても良い。また、足元基準線は、画像内における５ｍ毎の位置に設けられる構成としたが、５ｍ以上毎でも良いし、５ｍ以下毎でも良い。さらに頭部基準線は、該当する足元基準線から高さ１．８ｍの位置を表す位置に設けられると構成としたが、１．８ｍ以上でも良いし、１．８ｍ以下でも良い。

Ｓ２の処理は次に、各ベースラインＢＬｍの足元基準線と頭部基準線との距離を高さとし、そのベースラインＢＬｍの基準線間に一定距離（例えば、０．６ｍ）を幅とする検出窓Ｗをそれぞれ作成する。そして各検出窓Ｗを、ベースラインＢＬｍに沿って水平方向に走査させ（図６（ｂ））、その検出窓Ｗ内の画像に対して画像認識処理を行う。その画像認識処理の結果に基づいて判定された、画像の水平方向１ピクセル毎に画認スコアを、画像認識結果テーブル８ａの該当するメモリ領域に記憶する。なお、画像認識処理は既知の技術が適宜適用され、一例としては、検出窓Ｗから取得されたCoHOGやMRCoHOG等による特徴記述と、予めＨＤＤ７に記憶された学習データとを照合させることで、画認スコアを算出することが挙げられる。

図７を用いて、画像認識結果テーブル８ａに記憶される画認スコアについて説明する。画認スコアは、画像における水平方向１ピクセル毎の位置である、水平位置Ｌｎ毎に算出される。なお、画認スコアが「３」と判定された水平位置Ｌｎは、横方向の網線で表され、画認スコアが「２」と判定された水平位置Ｌｎは、縦方向の網線で表され、画認スコアが「１」と判定された水平位置Ｌｎはドットで表される。一方、人物ではない画認スコアが「０」と判定された水平位置Ｌｎには、網線またはドットが付されない。また、図７は説明のため、水平位置Ｌｎの幅を拡大して表しているが、実際には水平位置Ｌｎの幅は１ピクセルであるので、画像には水平位置Ｌ１〜Ｌ１２８０の１２８０個の水平位置が存在する。

図７に示す通り、水平位置Ｌｎのうち、人物の顔等、人物の特徴とされる要素が多いものに対しては、人物らしさが高い画認スコアが「３」又は「２」と判定される。また、水平位置Ｌｎのうち、手の一部等、人物の特徴とされる要素が少ないものに対しては、画認スコアが「１」と判定される。一方、人物ではない水平位置Ｌｎには、画認スコアが「０」と判定される。

このように、予め設定されたベースラインＢＬｍ毎に設定された検出窓Ｗを水平方向に走査させながら、検出窓Ｗ内の画像を画像認識処理し、得られた水平位置Ｌｎ毎の画認スコアが画像認識結果テーブル８ａに記憶される。よって、検出される人物や物体の大きさに応じて、検出窓Ｗの大きさを変化させながら画像認識を行う等の複雑な処理をすることなく、画認スコアを取得できるので、対象物判定装置１の処理負荷を軽減することができる。またベースラインＢＬｍの頭部基準線は、それぞれ該当する足元基準線に位置する人物の頭頂部の位置に基づいて設定されているので、人物の頭頂部より高い領域に対する不要な画像認識処理を防ぐことができる。

図４に戻る。Ｓ２の処理の後、測距センサ４から測距値を取得し、測距結果テーブル８ｂの測距値メモリ８ｂ１に保存する（Ｓ３）。Ｓ３の処理の後、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値に近似する画認スコアを、画像認識結果テーブル８ａから取得し、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に保存する（Ｓ４）。そして、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値をグループ化して、オブジェクトに分割し、そのオブジェクト毎の測距結果テーブル８ｂの測距値メモリ８ｂ１および画像認識結果メモリ８ｂ２の値を、オブジェクトテーブル８ｃに保存する（Ｓ５）。

図７，図８を参照して、Ｓ４，Ｓ５の処理について説明する。Ｓ４の処理はまず、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における角度に近似する、水平位置Ｌｎを取得する。ここで、画像における水平位置Ｌｎの角度について図７を用いて説明する。

図７に示す通り、画像の水平方向は１２８０ピクセルとされ、カメラ３の視野角は１２０度とされるので、水平位置Ｌｎの１つ当たりの角度は、０．０９３５度（＝１２０度／１２８０ピクセル）とされる。画像の中心位置は９０度とされるので、水平位置Ｌ１の角度は１５０度であり、水平位置Ｌ２の角度は１５０．０９３５度となる。このように定義された水平位置Ｌｎの角度から、測距値メモリ８ｂ１の測距値における角度に最も近似する水平位置Ｌｎを取得する。

Ｓ４の処理は次に、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における距離に近似するベースラインＢＬｍを取得する。ここで図８（ａ）を用いて、ベースラインＢＬｍの取得処理について説明する。

図８（ａ）は、ベースラインＢＬｍにおける、足元基準線の位置関係を模式的に示した図である。図中の黒塗りの四角形は、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値ＭＰを表す。上述した通り、ベースラインＢＬｍの足元基準線はそれぞれ、画像内におけるカメラ３から一定距離の位置に設けられる。具体的には、ベースラインＢＬ１の足元基準線は、カメラ３から１０ｍの位置に設けられ、ベースラインＢＬ２の足元基準線は、カメラ３から１５ｍの位置に設けられる。ここで画像認識結果テーブル８ａに記憶される画認スコアは、このベースラインＢＬｍの位置に基づいて判定されるので、ベースラインＢＬｍ前後に存在する対象物に対する、人物らしさを示すものである。

そこで、ベースラインＢＬｍに基づいた領域Ａ１〜Ａ１６を設ける。具体的には、カメラ３からベースラインＢＬ１までの領域がベースラインＢＬ１に基づく領域Ａ１とされ、ベースラインＢＬ１〜ＢＬ３の領域がベースラインＢＬ２に基づく領域Ａ２とされ、ベースラインＢＬ１４〜ＢＬ１６の領域がベースラインＢＬ１５に基づく領域Ａ１５とされ、ベースラインＢＬ１５以降の領域がベースラインＢＬ１６に基づく領域Ａ１６とされる（領域Ａ５以降は図示せず）。

そして、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における距離に該当する、領域Ａ１〜Ａ１６を取得し、その領域Ａ１〜Ａ１６に該当するベースラインＢＬｍを取得する。そして、取得されたベースラインＢＬｍと、先に取得した測距値メモリ８ｂ１の測距値における角度に最も近似する水平位置Ｌｎとで、画像認識結果テーブル８ａを検索し、一致する画認スコアを、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶する。この処理により、カメラ３から取得された画認スコアと、カメラ３とは異なる装置である測距センサ４から取得された測距値とを融合する（対応付ける）ことができる。

なお、図８（ａ）に示す通り、領域Ａ２〜Ａ１６においては、同一の領域が２つの領域Ａ２〜Ａ１６に含まれる（例えば、領域Ａ２におけるベースラインＢＬ２〜ＢＬ３の領域と、領域Ａ３におけるベースラインＢＬ２〜ＢＬ３の領域）。従って、測距値メモリ８ｂ１の測距値における距離によっては、２つの領域Ａ２〜Ａ１６が該当するので、画像認識結果テーブル８ａから２つの画認スコアが取得される場合がある。かかる場合には、取得された画認スコアのうち、画認スコアが高い方が測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶される。これにより、同一の水平位置Ｌｎにおいて、より人物らしいと判定された、ベースラインＢＬｍにおける画認スコアを、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶することができる。

図４に戻る。Ｓ４の処理の後、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値を、人物か物体かの認識処理の単位であるオブジェクトとしてグループ化し、オブジェクト毎の測距値と画像認識結果とをオブジェクトテーブル８ｃに記憶する（Ｓ５）。図８（ｂ）を参照して、かかるグループ化処理について説明する。

図８（ｂ）は、測距値のグループ化を模式的に示した図である。図８（ｂ）に示す通り、対象物が存在している位置では、該当する測距センサ４で検出される一連の測距値において、その隣接する測距値間の距離が近くなる。そこで隣接する測距値間の距離差が０．１ｍ以下である場合は、同一の対象物であると判断して、その隣接する測距値をオブジェクトとしてグループ化する。また、対象物が存在していない場合等、隣接する測距値間の差が０．１ｍ以下である測距値が１０個連続して検出される場合は、その１０個の測距値毎に別オブジェクトとしてグループ化する。

図８（ｂ）で例示すると、隣接する測距値間の距離差が０．１ｍ以内となった一連の測距値が、それぞれオブジェクトＪ２，Ｊ４，Ｊ５，Ｊ７，Ｊ９，Ｊ１６にグループ化される。一方、対象物が存在していない測距値が連続する測距値は、それぞれオブジェクトＪ１，Ｊ３，Ｊ６，Ｊ８，Ｊ１０〜Ｊ１５，Ｊ１７とグループ化される。特にオブジェクトＪ１０〜Ｊ１５においては、人物等が存在しない測距値が１０個以上連続するので、その測距値が１０個毎にグループ化され、オブジェクトＪ１０〜Ｊ１５とされる。なお、同一のオブジェクトとしてグループ化される、隣接する測距値間の距離差は０．１ｍとされたが、必ずしもこれに限られるものではなく、０．１ｍ以上でも良いし、０．１ｍ以下でも良い。また、隣接する測距値間の距離差が０．１ｍ以下である測距値が１０個連続した場合に、その１０個の測距値毎に別オブジェクトとしてグループ化したが、必ずしもこれに限られるものではなく、連続する測距値の個数は１０個以上でも良いし、１０個以下でも良い。

そして、グループ化されたオブジェクトを構成する、測距結果テーブル８ｂの測距値メモリ８ｂ１の値と画像認識結果メモリ８ｂ２の値とが、そのオブジェクト毎にオブジェクトテーブル８ｃへ記憶される。Ｓ６以降の処理では、オブジェクトテーブル８ｃに記憶されたオブジェクト毎に、人物か物体かが認識（判定）される。

図４に戻る。Ｓ６の処理の後、カウンタ変数ｉに１を設定する（Ｓ６）。そして、オブジェクトテーブル８ｃに記憶されるｉ番目（即ち図３（ｃ）におけるＮｏ．ｉ）のオブジェクトの形状による人物らしさを示す測距尤度βを算出し、測距尤度メモリ８ｄに保存する（Ｓ７）。図９を参照して、Ｓ７における測距尤度の算出処理を説明する。

図９（ａ）は、オブジェクトの端点間距離ｄ１と、積分距離ｄ２とを示した模式図であり、図９（ｂ）は、オブジェクトの端点間距離ｄ１に対する尤度分布を示した図であり、図９（ｃ）は、オブジェクトの積分距離ｄ２に対する尤度分布を示した図である。Ｓ７の処理ではまず、ｉ番目のオブジェクトに対するオブジェクトテーブル８ｃの測距値メモリ８ｃ１の値から、ｉ番目のオブジェクトの両端の測距値を取得し、その２点間距離、即ち端点間距離ｄ１を算出する。次にｉ番目のオブジェクトに対するオブジェクトテーブル８ｃの測距値メモリ８ｃ１の値から、隣接する測距値間の距離を、全て加算した積分距離ｄ２を算出する。

そして、図９（ｂ）のオブジェクトの端点間距離ｄ１に対する尤度分布から、算出された端点間距離ｄ１に該当する尤度β１を取得し、図９（ｃ）のオブジェクトの積分距離ｄ２に対する尤度分布から、算出された積分距離ｄ２に該当する尤度β２を取得する。そして、尤度β１，β２から、測距尤度βは以下の数式１によって算出される。

図９（ｂ），（ｃ）及び数式１で示す通り、本実施形態においては、端点間距離ｄ１と積分距離ｄ２とが一定の関係であれば、測距尤度βの値は大きくなる。そして、この測距尤度βの値が大きい程、そのオブジェクトは人物らしさが高いと判断することができる。これは人物の胴体は一般的に楕円であり、楕円の長径（即ち端点間距離ｄ１）と、楕円の円周（即ち積分距離ｄ２）との組み合わせと、人物らしさとの関係性が定まっているからである。そこで、端点間距離ｄ１に対する人物らしさを示す尤度分布と、積分距離ｄ２に対する人物らしさを示す尤度分布とをあらかじめ設定し、それらの尤度分布と、オブジェクトから算出された端点間距離ｄ１及び積分距離ｄ２とから、尤度β１，β２を取得し、それらを乗算する。これにより、オブジェクトを構成する測距値から、オブジェクトの形状による人物らしさを示す測距尤度βが算出される。このように算出された測距尤度βが、測距尤度メモリ８ｄに記憶される。

図４に戻る。Ｓ７の処理の後、オブジェクトテーブル８ｃに記憶されるｉ番目のオブジェクトにおける、マッチ率γを算出し、マッチ率メモリ８ｅに保存する（Ｓ８）。マッチ率γとは、オブジェクトを構成する測距値において、画認スコアが「１」以上である測距値の割合を表す値である。ここで、オブジェクトを構成する測距値における画認スコア即ち、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数をＮｈ，画像認識結果メモリ８ｃ２の値が「０」である測距値の数をＮｌｏとすると、マッチ率γは数式２によって算出される。

ここで図１０を参照して、マッチ率について説明する。図１０は、オブジェクトＪ７（図８（ｂ））の測距値における、画認スコアを模式的に示した図である。画認スコアが「０」の測距値は三角形で表し、画認スコアが「１」以上の測距値は丸で表す。図１０に示す通り、オブジェクトＪ７は、その両端部と一部の測距値において、画認スコアが「０」であり、それ以外の測距値は画認スコアが「１」以上である。そして、画認スコアが「０」の測距値の数は６，画認スコアが「１」以上の測距値の数は２２であるので、オブジェクトＪ７に対するマッチ率は「０．７８５」となる。即ちマッチ率γが高いオブジェクトは、画認スコアが「１」以上である測距値の数が多いので、そのオブジェクトが人物である可能性が高いと判断することができる。

図４に戻る。Ｓ８の処理の後、オブジェクトテーブル８ｃに記憶されるｉ番目のオブジェクトにおける画像認識尤度αを算出し、画像認識尤度メモリ８ｆ保存する（Ｓ９）。画像認識尤度αとは、オブジェクトを構成する測距値のうち、画像認識結果メモリ８ｃ２の値が「１」以上の測距値における画認スコアの平均値である。画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数をＮｈ，画像認識結果メモリ８ｃ２の値が「１」以上である測距値の、画像認識結果メモリ８ｃ２の値をＳｋとすると、画像認識尤度αは数式３によって算出される。

即ち、画像認識尤度αが高いオブジェクトは、画認スコアが「２」又は「３」である測距値が多いので、そのオブジェクトが人物らしいオブジェクトであると判断することができる。

Ｓ９の処理の後、後述のＳ１０のオブジェクト認識処理を行い、その後、カウンタ変数ｉに１を加算する（Ｓ１１）。Ｓ１１の処理の後、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数より大きいかを確認する（Ｓ１２）。

Ｓ１２の処理において、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数以下の場合は（Ｓ１２：Ｎｏ）、オブジェクトテーブル８ｃに記憶されるオブジェクトの全て対して、Ｓ１０のオブジェクト認識処理が行われていないので、Ｓ７以下の処理を繰り返す。一方、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数より大きい場合は（Ｓ１２：Ｙｅｓ）、オブジェクトテーブル８ｃに記憶されるオブジェクトの全て対してＳ１０のオブジェクト認識処理が行われたので、再度Ｓ１の処理を繰り返す。

次に図５を参照して、Ｓ１０のオブジェクト認識処理を説明する。オブジェクト認識処理は、Ｓ７〜Ｓ９の処理で算出された画像認識尤度α，測距尤度β，マッチ率γに基づいて、該当するオブジェクトが人物か、物体かを認識（判定）するための処理である。

図５はオブジェクト認識処理を示すフローチャートである。オブジェクト認識処理はまず、画像認識尤度メモリ８ｆの値、即ち画像認識尤度αが２より大きいかを確認する（Ｓ２０）。Ｓ２０の処理において、画像認識尤度メモリ８ｆの値が２より大きい場合は（Ｓ２０：Ｙｅｓ）、測距尤度メモリ８ｄの値とマッチ率メモリ８ｅの値との乗算値Ｈを算出する（Ｓ２１）。即ち乗算値Ｈは、測距尤度βとマッチ率γとから数式４で算出される。

Ｓ２１の処理の後、乗算値Ｈの値が０．８以上かを確認する（Ｓ２２）。乗算値Ｈが０．８以上の場合は（Ｓ２２：Ｙｅｓ）、ｉ番目のオブジェクトは「人物」と認識する（Ｓ２３）。一方で、乗算値Ｈの値が０．８より小さい場合は（Ｓ２２：Ｙｅｓ）、ｉ番目のオブジェクトは「物体」と認識する（Ｓ２４）。

具体的にＳ２０の処理において、画像認識尤度メモリ８ｆの値が２より大きいと判断されたｉ番目のオブジェクトは画像認識尤度αが高く、画像認識処理において人物である可能性が高いオブジェクトと判断される。そこで本実施形態においては、測距尤度βと、マッチ率γとの乗算値Ｈによって人物か物体かを認識する。これにより、測距尤度βによってオブジェクトの形状に基づきつつも、マッチ率γによってオブジェクトの画認スコアをも考慮に入れた人物か物体かの認識が可能となる。なお、乗算値Ｈと比較される値を０．８としたが、必ずしもこれに限られるものではなく、０．８以上でも良いし、０．８以下でも良い。

一方、Ｓ２０の処理において、画像認識尤度メモリ８ｆの値が２以下の場合は（Ｓ２０：Ｎｏ）、画像認識尤度メモリ８ｆの値と測距尤度メモリ８ｄの値とマッチ率メモリ８ｅの値ととの乗算値Ｈを算出する（Ｓ２５）。即ち乗算値Ｈは、画像認識尤度αと測距尤度βとマッチ率γとから数式５で算出される。

Ｓ２５の処理の後、乗算値Ｈの値が１．８以上かを確認する（Ｓ２６）。乗算値Ｈが１．８以上の場合は（Ｓ２６：Ｙｅｓ）、ｉ番目のオブジェクトは「人物」と認識する（Ｓ２７）。一方で、乗算値Ｈの値が１．８より小さい場合は（Ｓ２６：Ｙｅｓ）、ｉ番目のオブジェクトは「物体」と認識する（Ｓ２８）。

具体的にＳ２０の処理において、画像認識尤度メモリ８ｆの値が２以下のｉ番目のオブジェクトは、画像認識尤度αが低く、画像認識処理において人物である可能性が低いオブジェクトと判断される。かかる場合には、画像認識尤度αと測距尤度βとマッチ率γとの乗算値Ｈによって人物か物体かを認識する。これにより乗算値Ｈには、Ｓ２１の処理による乗算値Ｈに加え、画像認識尤度αも含まれるので、より高精度な人物か物体かの認識が可能となる。なお、乗算値Ｈと比較される値を１．８としたが、必ずしもこれに限られるものではなく、１．８以上でも良いし、１．８以下でも良い。

Ｓ２３，Ｓ２４，Ｓ２７，Ｓ２８の処理の後、Ｓ２３，Ｓ２４，Ｓ２７，Ｓ２８の処理による認識結果をオブジェクトテーブル８ｃの認識結果メモリ８ｃ３に保存する（Ｓ２９）。Ｓ２９の処理の後、オブジェクト認識処理を終了し、図４のメイン処理へ戻る。

対象物判定装置１は、オブジェクトテーブル８ｃの認識結果メモリ８ｃ３に記憶された値に基づき、検出された対象物が人物か物体かを認識する。即ち、検出されたある対象物の位置を、オブジェクトテーブル８ｃの測距値メモリ８ｃ１の値を参照して、オブジェクトを検索し、該当するオブジェクトの認識結果メモリ８ｃ３の値を取得することで、人物か物体かが認識される。よって、対象物が人物か物体かを区別して、その対象物の位置を認識することができる。

以上説明した通り、本実施形態における対象物判定装置１によれば、カメラ３から取得した画像に対して、ベースラインＢＬｍ毎および水平位置Ｌｎ毎に算出された画認スコアと、測距センサ４から取得された測距値とが対応付けられて測距結果テーブル８ｂに記憶される。その測距結果テーブル８ｂに記憶された測距値をグループ化することでオブジェクトを生成し、そのオブジェクトに該当する測距値および画認スコアがオブジェクトテーブル８ｃに記憶される。そして、オブジェクトテーブル８ｃの値から算出された測距尤度βと、画像認識尤度αと、マッチ率γとに基づき、そのオブジェクトが人物か、物体かが認識される。このように、カメラ３から取得した画像に対する画認スコアと、カメラ３とは異なる装置である測距センサ４から取得された測距値とを融合して、オブジェクトが人物か、物体かが認識されるので、その認識処理を高速かつ高精度に行うことができる。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

上記実施形態において、制御プログラム７ａを、対象物判定装置１で実行する構成とした。しかし、必ずしもこれに限られるものではなく、制御プログラム７ａを、パーソナル・コンピュータやスマートフォン、タブレット端末等に記憶して、制御プログラム７ａを実行する構成としても良い。また、対象物判定装置１をユーザに追従して自律走行を行う移動体に搭載し、その自律走行の走行経路の算出等に、対象物判定装置１による人物か物体かの認識結果を用いる構成としても良い。

上記実施形態において、図４のメイン処理ではマッチ率γを、数式２によって算出される構成とした。しかし、必ずしもこれに限られるものではなく、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数に応じて、マッチ率γを０又は１のいずれかとする構成としても良い。例えば、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数が、オブジェクトの測距値の７０％を占める場合はマッチ率γに１を設定し，７０％より小さい場合は０を設定する。

上記実施形態において、図４のメイン処理では、図９（ｂ），（ｃ）の尤度分布から、端点間距離ｄ１，積分距離ｄ２に該当する尤度β１，尤度β２を取得する構成とした。しかし、必ずしもこれに限られるものではなく、端点間距離ｄ１，積分距離ｄ２の値に応じて、尤度β１，尤度β２を０又は１のいずれかとする構成としても良い。例えば、端点間距離ｄ１が０．４ｍ〜０．８ｍの範囲に含まれる場合は、尤度β１に１を設定し、それ以外の範囲である場合は、尤度β１に０を設定する。また、積分距離ｄ２が０．６ｍ〜１．２ｍの範囲に含まれる場合は、尤度β２に１を設定し、それ以外の範囲である場合は、尤度β２に０を設定する。

上記実施形態において、オブジェクト認識処理（図５）において、測距尤度βとマッチ率γとの乗算値Ｈ、または画像認識尤度αと測距尤度βと測距尤度βとマッチ率γとの乗算値Ｈによって、人物か物体かを認識する構成とした。しかし、必ずしもこれに限られるものではなく、画像認識尤度αとマッチ率γとの乗算値Ｈによって、人物か物体かを認識しても良い。その際は、人物か物体かを認識する乗算値Ｈの値を、適宜設定すれば良い。

また、画像認識尤度αと測距尤度βとのそれぞれに対して重み係数を乗じた上で、乗算値Ｈを算出する構成としても良い。その場合、重み係数は固定値であっても良いし、マッチ率γの値に応じて、画像認識尤度αと測距尤度βとの重み係数の値を変更する構成としても良い。

１ 対象物判定装置
３ カメラ（撮影手段）
４ 測距センサ（測距手段）
７ａ 制御プログラム（対象物判定プログラム）
８ｃ オブジェクトテーブル（位置認識手段の一部）
ｄ１ 端点間距離
ｄ２ 積分距離
Ｓ２ 画像認識手段
Ｓ４ 画認対応付手段
Ｓ５ グループ化手段
Ｓ７ 尤度算出手段の一部、測距尤度算出手段
Ｓ８ マッチ率算出手段
Ｓ９ 尤度算出手段の一部、画像尤度算出手段
Ｓ２０〜Ｓ２８ 判定手段
Ｓ２９ 位置認識手段の一部
α 画像認識尤度（画像尤度）
β 測距尤度
γ マッチ率

Claims (10)

1. 画像を撮影する撮影手段と、
   対象物までの距離を測距する測距手段と、
   前記撮影手段により撮影された画像中の前記対象物について画像認識を実行する画像認識手段と、
   その画像認識手段による画像認識の結果を、前記測距手段により測距された測距データに対応付けする画認対応付手段と、
   所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化手段と、
   そのグループ化手段によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出手段と、
   前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出手段と、
   そのマッチ率算出手段により算出されたマッチ率と、前記尤度算出手段により算出された尤度とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定する判定手段とを備えていることを特徴とする対象物判定装置。
2. 前記尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データに基づいて前記所定物の測距尤度を算出する測距尤度算出手段を備え、
   前記判定手段は、その測距尤度算出手段により算出された測距尤度と、前記マッチ率算出手段により算出されたマッチ率とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定するものであることを特徴とする請求項１記載の対象物判定装置。
3. 前記測距尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データの端点間距離と積分距離とに基づいて前記所定物の測距尤度を算出するものであることを特徴とする請求項２記載の対象物判定装置。
4. 前記尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物の画像尤度を算出する画像尤度算出手段を備え、
   前記判定手段は、その画像尤度算出手段により算出された画像尤度と、前記測距尤度算出手段により算出された測距尤度と、前記マッチ率算出手段により算出されたマッチ率とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定するものであることを特徴とする請求項２又は３に記載の対象物判定装置。
5. 前記判定手段は、前記尤度算出手段により算出された尤度が所定の閾値以上である場合には、前記マッチ率算出手段により算出されたマッチ率に関わらず、前記グループ化手段によりグループ化された１の対象物が前記所定物であると判定するものであることを特徴とする請求項１から４のいずれかに記載の対象物判定装置。
6. 前記グループ化手段は、前記測距手段により測距された測距データのうち、隣り合う測距データが所定距離内にある場合に、それらの測距データを１の対象物としてグループ化するものであることを特徴とする請求項１から５のいずれかに記載の対象物判定装置。
7. 前記画認対応付手段は、１の測距データに対応する画像認識の結果が２以上ある場合、その２以上の画像認識の結果のうち、前記所定物としての認識度の最も高い画像認識の結果を前記測距データに対応付けするものであることを特徴とする請求項１から６のいずれかに記載の対象物判定装置。
8. 前記グループ化手段によりグループ化された対象物を、前記判定手段による判定結果に基づいて前記所定物とそれ以外とに区別して、その対象物の位置を認識する位置認識手段を備えていることを特徴とする請求項１から７のいずれかに記載の対象物判定装置。
9. 前記判定手段による判定対象となる所定物は人物であることを特徴とする請求項１から８のいずれかに記載の対象物判定装置。
10. 画像を取得する画像取得機能と、
    対象物までの測距データを取得する測距データ取得機能と、
    前記画像取得機能により取得された画像中の前記対象物について画像認識を実行する画像認識機能と、
    その画像認識機能による画像認識の結果を、前記測距データ取得機能により取得された測距データに対応付けする画認対応付機能と、
    所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化機能と、
    そのグループ化機能によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出機能と、
    前記グループ化機能によりグループ化された１の対象物を構成する測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出機能と、
    そのマッチ率算出機能により算出されたマッチ率と、前記尤度算出機能により算出された尤度とに基づいて、前記グループ化機能によりグループ化された１の対象物が前記所定物であるかを判定する判定機能と、をコンピュータに実現させることを特徴とする対象物判定プログラム。

Images