JP2019215238A - 物体検知プログラム、物体検知装置、および、物体検知システム - Google Patents

Abstract

【課題】撮像された画像に含まれる物体の追跡を精度よく行う。【解決手段】物体検知装置４０は、以下の物体検知処理を装置に実行する。物体検知処理は、第１位置から時系列で撮像された撮像情報を取得すること、および、前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体を含む複数の物体を検知することを含む。物体検知処理は、前記第１位置と実質的に同一の第２位置から、前記第１物体までの距離および前記第２物体までの距離を含む距離情報を繰り返し取得することを含む。さらに、そのような処理は、前記撮像情報において前記第１物体および前記第２物体が互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて、前記第１物体と前記第２物体とを区別することを含む。物体検知プログラムは、物体検知装置４０に上記処理を実行させる。【選択図】図３

Description

本開示は、物体検知プログラム、物体検知装置、および、物体検知システムに関する。

撮像装置によって撮像された画像に含まれる物体を検知し、検知された物体を追跡（トラッキング）する装置およびシステムが知られている（例えば、特許文献１参照）。

特開２０１６−０２４５３４号公報

このような装置において、物体の追跡精度を向上することが有益である。

したがって、上記の点に着目してなされた本発明の目的は、撮像された画像に含まれる物体の追跡精度を向上することにある。

本開示の一実施形態に係る物体検知プログラムは、処理を物体検知装置に実行させる。物体検知装置に実行させる処理は、第１位置から時系列で撮像された撮像情報を取得すること、および、前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体を含む複数の物体を検知することを含む。物体検知装置に実行させる処理は、前記第１位置と実質的に同一の第２位置から前記第１物体までの距離および前記第２物体までの距離を含む距離情報を繰り返し取得することを含む。さらに、物体検知装置に実行させる処理は、前記撮像情報において前記第１物体および前記第２物体が互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて、前記第１物体と前記第２物体とを区別することを含む。

本開示の一実施形態に係る物体検知装置は、上記物体検知プログラムを実行する。

本開示の一実施形態に係る物体検知システムは、撮像装置と、測距装置と、物体検知装置とを含む。測距装置は、前記撮像装置と実質的に同一の位置に配置される。前記物体検知装置は、時系列で撮像された撮像情報を前記撮像装置から取得し、前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体を含む複数の物体を検知する処理を実行する。前記物体検知装置は、前記第１物体までの距離および前記第２物体までの距離を含む距離情報を前記測距装置から繰り返し取得する処理を実行する。さらに、前記物体検知装置は、前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて前記第１物体と前記第２物体とを区別する処理を実行する。

本発明の実施形態によれば、撮像された画像に含まれる物体の追跡を精度よく行うことができる。

本開示の一実施形態に係る物体検知システムの概略構成を示す図である。 図１の物体検知システムを搭載した車両の一例を示す図である。 歩行者がすれ違うときの物体検知装置の処理の一例を示すフローチャートである。 カメラの撮像領域内を２人の歩行者が移動する様子を説明する上面図である。 図４の場合の撮像画像を示す図である。 撮像情報において２人の歩行者が所定の間隔となった状態を示す図である。 撮像情報において２人の歩行者が部分的に重なった場合を示す図である。 撮像情報において２人の歩行者がすれ違った後の状態を示す図である。

近年、自動車分野で、自動ブレーキなどの運転支援システムの実用化、および、自動運転の実現等に向けた研究開発が進められている。そのような自動車のシステムには、一つ以上の撮像装置および／または測距装置を用いて、走行の障害となりうる物体を検知するものがある。一方、歩行者の急な飛び出し等に対応するため、歩行者等の時系列での位置を追跡（トラッキング）し、歩行者等の行動を予測できることが有益である。歩行者等の行動を予測することができれば、事前に危険を予測し、自動車を減速または停止等させることが可能になる。

周辺の物体をトラッキングするためには、周辺環境に存在する物体を認識する必要が有る。物体認識は、撮像装置により取得した画像情報から、歩行者、自転車または車両などの特徴を抽出することにより行うことができる。認識された物体は、時系列で取得される画像情報を順次認識処理することによりトラッキングをすることができる。しかし、画像情報中には、複数の物体が存在することが有る。画像情報において、複数の物体がすれ違い、または、交差により位置的に重複すると、すれ違いまたは交差の前後で物体の混同または取り違いが生じうる。すれ違いおよび交差に強いトラッキング情報が得られれば、歩行者等の行動を予測するために大いに役立つものと考えられる。なお、本願において、移動体どうしが画像情報上で接近し、重複し、離れることを「すれ違い」と呼び、移動体と静止物とが画像情報上で、接近し、重複し、離れることを「交差」と呼ぶ。

以下に、本開示の一例としての実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

図１に示すように、本開示の一実施形態に係る物体検知システム１０は、撮像装置２０と、測距装置３０と、物体検知装置４０とを含んで構成される。撮像装置２０、測距装置３０および物体検知装置４０は、一例として図２に示すように車両５０に配置することができる。物体検知システム１０は、車両５０の周辺環境に存在する物体を検知し、その物体をトラッキングする装置である。以下に、物体検知システム１０を構成する各構成要素について説明する。

（撮像装置）
撮像装置２０は、車両５０の周辺環境の画像を時系列で撮像する。ここで、「時系列で」は、連続的にまたは一定間隔をおいて繰返すことを意味する。「時系列で撮像する」は、動画像を撮像することを含む。撮像装置２０は、例えば、赤外線カメラ（ＩＲ（InfraRed）カメラ）または可視光領域の波長の光を撮像する一般的な可視光カメラとすることができる。撮像装置２０は、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及び、ＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。撮像装置２０は、撮像素子により撮像した撮像画像を撮像情報として出力する。ＩＲカメラを用いる場合、撮像情報は検出される赤外線の２次元強度分布を画像化したＩＲ画像を含む。一般的な可視光カメラを使用する場合、撮像情報は、Ｒ（赤色）、Ｇ（緑色）Ｂ（青色）の画素を含むカラー画像を含む。以下において、撮像情報は、撮像画像を含む。撮像情報は、撮像画像を加工して得られた情報を含んでよい。

撮像装置２０としては、ＩＲカメラおよび可視光カメラに限られない。例えば、撮像装置２０として、遠赤外線カメラ（ＦＩＲ(Far InfraRed）カメラ）を採用することができる。物体から放射される遠赤外線を用いて撮像を行う遠赤外線カメラは、太陽光が届かない夜間でも撮像可能なので、夜間の物体検知のために使用することができる。遠赤外線は、温度に応じて物体から放出される波長約４μｍから１ｍｍの電磁波である。遠赤外線カメラは、例えば８μｍから１４μｍ程度の波長帯域の光を検出するカメラが使用できる。ＦＩＲカメラを用いる場合、撮像素子としては、量子型赤外線撮像素子、または、熱型赤外線撮像素子等を用いることができる。熱型赤外線撮像素子には、マイクロボロメータ型の検出素子が含まれる。

撮像装置２０は、車両５０の所定の位置（第１位置）に配置される。撮像装置２０は、車両５０の移動とともに移動可能であるといえる。撮像装置２０は、例えば、車室内のルームミラーの近くに配置することができる。この場合、撮像装置２０は、ウインドシールド越しに車両５０の前方を撮像する。撮像装置２０の配置される位置は、ルームミラーの近くに限られない。撮像装置２０は、車室内のダッシュボード上、または、フロントバンパー、または、フロントグリル等に取付けることができる。撮像装置２０は、光軸Ｏ₁を車両５０の前方に向けて配置される。撮像装置２０は、物体検知装置４０と、有線または無線通信手段により接続される。

（測距装置）
測距装置３０は、検出範囲に存在する物体までの距離を計測して距離情報を出力する装置である。距離情報は、「Depth情報」とも呼ぶことが有る。測距装置３０は、検出範囲に存在する物体までの距離を時系列に繰り返し計測することができる。測距装置３０が出力する距離情報には、物体の距離情報に加え、物体の方位位置、相対速度等の情報を含むことができる。

測距装置３０には、ＬＩＤＡＲ（Light Detection and Ranging）、ミリ波レーダー、レーザーレーダー、超音波センサ、ステレオカメラ、単眼カメラが含まれる。測距装置３０としては、これらの装置の何れか一つ以上を採用しうる。ＬＩＤＡＲ，ミリ波レーダー、レーザーレーダーは、パルス状の電磁波（赤外線、ミリ波等）を走査して散乱光を測定する走査型の装置が含まれる。これらの測距装置３０は、照射された電磁波が、物体で反射され検出されるまでにかかる時間（time-of-flight）により、物体の各反射点までの距離を算出することができる。このため、これらの測距装置３０は、電磁波放射装置と電磁波検出装置とを備える。ＬＩＤＡＲ，ミリ波レーダー、レーザーレーダーは、走査型に限られず、フラッシュ型の装置であってもよい。フラッシュ型の装置は、車両周辺に電磁波を一斉に拡散照射し、その反射波を検出して３次元の距離情報を算出する。超音波センサは、送波器により超音波を検出範囲に発振し、その反射波を受波器で受信することにより、物体の有無および物体までの距離を検出する。ステレオカメラは、平行等位に配置した複数のカメラを用いて物体を撮像し、カメラにより撮像される画像の視差から、三角測量の原理で距離を算出する。単眼カメラによる距離測定技術は、１台のカメラを用いて複数視点の画像を撮像し距離を算出するＳｆＭ（Structure from Motion）技術を含むが、これに限られない。測距装置３０は、上記のものに限られず、距離測定をすることができる種々の装置を採用しうる。

測距装置３０は、撮像装置２０の位置に対して相対的に固定された位置（第２位置）に、撮像装置２０に近接して配置される。車両５０に搭載される測距装置３０は、車両５０の移動とともに移動可能ということができる。測距装置３０の位置と撮像装置２０との位置は、実質的に同一の位置であるということができる。実質的に同一の位置とは、物体検知システム１０が検知する物体までの距離に対して、撮像装置２０と測距装置３０との間の距離が、十分小さいことを意味する。例えば、物体検知システム１０が検知する物体までの平均的な距離に対して、撮像装置２０と測距装置３０との間の距離が、１０分の１以下であれば、十分小さいということができる。また、撮像装置２０と測距装置３０とが、接して配置されているとき、撮像装置２０と測距装置３０との位置は、実質的に同一ということができる。あるいは、車両の場合、撮像装置２０と測距装置３０との間の距離が３０ｃｍ以内であれば、撮像装置２０と測距装置３０との位置は、実質的に同一ということができる。例えば、撮像装置２０が車室内のルームミラーの近くに配置される場合、測距装置３０は、車室内で撮像装置２０に接して配置してよい。また、測距装置３０は撮像装置２０と一体として構成することもできる。

測距装置３０は、測距装置３０の基準軸である光軸Ｏ₂が、撮像装置２０の光軸Ｏ₁と平行になるように配置されてよい。測距装置３０の物体までの距離測定が可能な測定範囲と、撮像装置２０の撮像範囲とは、少なくとも部分的に重複する。測距装置３０と撮像装置２０とが一体として構成される場合、測距装置３０の光軸Ｏ₂と撮像装置２０の光軸Ｏ₁とは、一致してよい。

測距装置３０は、物体検知装置４０と、有線または無線通信手段により接続される。測距装置３０は、常時繰り返し距離を計測して、距離情報を物体検知装置４０に送信してよい。測距装置３０は、物体検知装置４０からの指示を受けた所定の期間のみ、繰り返し距離の計測を行い、距離情報を物体検知装置４０に送信してよい。

（物体検知装置）
物体検知装置４０は、撮像装置２０から取得される撮像情報、および、測距装置３０から取得される距離情報に基づいて、周辺環境に存在する物体を検知し、トラッキングする装置である。周辺環境は、車両５０の前方の領域を含む。本開示における物体は、移動体および静止物を含む。本開示における物体は、無生物および生物を含む。生物には人が含まれる。例えば、物体は、歩行者、自転車、自動二輪車、自動車、道路上の障害物等を含む。

物体検知装置４０は、ダッシュボードの中、車室内、および、ラゲッジルーム等を含む種々の場所に配置することができる。物体検知装置４０は、一つまたは複数のプロセッサと、入出力用のインタフェースを含んで構成される。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）、および、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。物体検知装置４０は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかを含んでよい。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。物体検知装置４０は、さらに、二次記憶装置を含んでよい。二次記憶装置は、半導体メモリ、磁気メモリ、および光メモリ等の何れか一つ以上を用いて構成されてよい。

物体検知装置４０は、撮像情報取得部４１、距離情報取得部４２、撮像情報処理部４３、トラッキング処理部４４、および、出力部４５の各機能ブロックを含む。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。複数の機能ブロックの機能は、統合したり、組み変えたりすることが可能である。以下に、各機能ブロックについて説明する。

撮像情報取得部４１は、撮像装置２０から撮像情報を取得する。このため、物体検知装置４０は、画像情報を入力するための物理コネクタおよび無線通信機の少なくとも何れかを有する。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。無線通信機は、少なくとも１つのアンテナを含む。撮像情報取得部４１は、取得した撮像情報に対して、歪み補正、明度調整、コントラスト調整、ガンマ補正等の一般的な画像処理で行われる各種の処理を行ってもよい。撮像情報取得部４１は、取得した撮像情報を撮像情報処理部４３に送信する。

距離情報取得部４２は、測距装置３０から距離情報を取得する。このため、物体検知装置４０は、距離情報を入力するための物理コネクタおよび無線通信機の少なくとも何れかを有する。距離情報取得部４２は、測距装置３０から距離情報を距離と方位により示される極座標系の情報として受信した場合、直交座標系の情報に変換してよい。この場合、直交座標系の情報は、車両５０の前方を向いたときの左右方向をｘ軸、上下方向をｙ方向とするｘｙ座標系としうる。そのような座標変換処理は、トラッキング処理部４４で行っても良い。距離情報取得部４２は、取得した距離情報をトラッキング処理部４４に送信する。

撮像情報処理部４３は、撮像情報に含まれる撮像画像から物体を検知する。物体の検知は、公知の種々の方法で行うことができる。例えば、物体の検知方法は、物体の形状認識による方法、テンプレートマッチングによる方法、検知対象の画像から特徴量を算出しマッチングに利用する方法等を含む。物体の形状認識は、画像から背景差分または動き検出等の方法により物体を抽出し、この物体の形状が目的とする物体の形状と一致するか否かを判断することを含む。テンプレートマッチングは、検知対象の物体のテンプレートを用意し画像上でスライドさせ、画像全体の中にテンプレートの画像との類似度が高い部分画像が存在するか探索するものである。特徴量を用いる方法は、画像からパターンを認識するのに有用な特徴を数値化した特徴量を抽出し、認識対象の物体の検出に使用するものである。特徴量は、Ｈａａｒ−ｌｉｋｅ特徴量、ＳＩＦＴ(Scale-Invariant Feature Transform)特徴量、等多くの特徴量から選択される。この方法では、認識対象の物体の特徴量のパターンと画像とのマッチングにより、画像中の物体の検知が行われる。この認識方法では、予め多数の学習用の画像から特徴量を算出し、その結果をコンピュータに学習させることができる。学習した結果に基づいて、識別器が認識対象物を認識する。特徴量を用いた物体の検知には、ディープラーニングを利用することができる。

撮像情報処理部４３は、撮像画像に含まれる複数の物体を同時に認識することができる。撮像情報処理部４３は、物体を認識すると、撮像画像内での物体の占める領域を検出する。撮像情報処理部４３は、撮像情報取得部４１から時系列で取得した撮像情報に含まれる撮像画像に基づいて、検出した物体が移動体であるか否かを判定する。移動体の判定は、例えば、オプティカルフロー法を用いて行うことができる。オプティカルフロー法は、ブロックマッチング法、勾配法およびLucas-Kanade（ＬＫ）法を含む。撮像情報処理部４３は、撮像画像に加え、検知した物体の種別、撮像画像における物体の占める領域の座標、移動体または静止物の何れであるか、等を含む物体情報をトラッキング処理部４４に送信する。物体の種別は、歩行者、自転車、自動二輪車、自動車、道路上の障害物等を含む。物体が移動体であるとき、物体情報は、撮像画像上での移動方向および移動速度を含むことができる。物体情報は、撮像画像を加工して得られるので、撮像情報に含まれる。

トラッキング処理部４４は、撮像情報処理部４３から撮像情報を受信する。トラッキング処理部４４は、距離情報取得部４２から距離情報を受信する。トラッキング処理部４４は、撮像情報と距離情報とに基づいて、撮像情報処理部４３で検知された物体のトラッキングを行う。トラッキングとは物体の画像上での移動を追跡することを意味する。トラッキング処理部４４は、トラッキングを行っている間、トラッキング対象の撮像画像における物体の占める領域の座標を把握する。

トラッキングは、複数の物体が撮像画像上で重複しないとき、撮像情報のみに基づいて行うことができる。トラッキングは、トラッキング対象の物体を、時系列で取得される撮像画像のフレームごとに逐次探索することにより行うことができる。トラッキングを行う方法には、領域ベースの物体追跡手法と、特徴点ベースの物体追跡手法とが含まれる。領域ベースの物体追跡手法には、更新テンプレートマッチング、アクティブ探索法、Mean-shift法、パーティクルフィルタ等が含まれる。特徴点ベースの物体追跡手法には、ＫＬＴ（Kanade-Lucas-Tomasi）法、SURF Tracking等が含まれる。

トラッキング対象となる複数の物体のうち、少なくとも一つは移動体である。トラッキング処理部４４は、撮像画像から検知された移動体の全てをトラッキング対象としてよい。トラッキング処理部４４は、移動体ではない物体をトラッキングしなくてよい。トラッキング処理部４４は、移動体でない物体を移動体と交差する前後および交差中のみトラッキングしてよい。トラッキング処理部４４は、移動体でない物体を、物体の種別に基づいてトラッキングするか否か判定してよい。

トラッキング処理部４４がトラッキング処理を行う間、２つ以上の物体が撮像画像においてすれ違う、または、交差することがある。２つ以上の物体が撮像画像上で重なり合うと、その時点の画像から２つ以上の物体を別々の物体として識別できなくなることがある。このため、トラッキング中の物体が撮像画像上で重なり合うと、その前後で追跡している物体がすり替わることがある。このようなことを避けるため、トラッキング処理部４４は、撮像情報に加えて距離情報を利用する。

トラッキング処理部４４は、２つ以上の物体が互いに近づいて、少なくとも部分的に重複した場合、距離情報取得部４２を介して取得した距離情報に基づいて、２つ以上の物体を区別する。このようにすることによって、重なり合う２つ以上の物体を、距離を用いて区別することができる。

トラッキング処理部４４は、種々の方法で距離情報取得部４２から送信される距離情報をトラッキングに使用することができる。例えば、トラッキング処理部４４は、次の３つの態様で距離情報を使用することができる。
（１）撮像画像上で２つ以上の物体が重複したとき距離情報の使用を開始する。
（２）撮像画像上で２つ以上の物体の間隔が所定値以下となったとき距離情報を使用する。
（３）トラッキングを行っている間距離情報常時使用する。
以下に、各場合について説明する。

（１）撮像画像上で２つ以上の物体が重複したとき距離情報の使用を開始する場合
トラッキング処理部４４は、２つ以上の物体が互いに近づいて、撮像画像上で互いに重複しない状態から、部分的に重複した状態に変化したときに、距離情報を取得して、取得した距離情報に基づいて、２つ以上の物体を区別してよい。撮像画像上で、部分的に重複した状態に変化したときに距離を測定すれば、２つ以上の物体は撮像画像上で一部のみが重複した状態であり、互いに区別できる状態にある可能性が高い。このとき、２つ以上の物体の距離情報を取得することにより、それら２つ以上の物体をすれ違いの後に区別することができる。なお、距離情報は、厳密に２つ以上の物体が互いに近づいて、部分的に重複した状態に変化したときでなくてよい。距離情報は、２つ以上の物体が互いに近づいて、部分的に重複した状態に変化したときに、最も近いタイミングで取得した距離情報を採用することができる。トラッキング処理部４４は、距離情報が必要となったとき初めて距離情報をトラッキングに利用することにより、常時距離情報を使用する場合と比べて、処理にかかる負荷を低減することができる。

（２）撮像画像上で２つ以上の物体の間隔が所定値以下となったとき距離情報を使用する場合
トラッキング処理部４４は、撮像画像上で複数の物体が互いに近づいて所定の間隔以下になったとき、距離情報の使用を開始してよい。複数の物体の間隔は、例えば、撮像画像上で２つの物体が占める領域のうち、最も近接している部分の間隔とすることができる。複数の物体の間隔は、例えば、撮像画像の１画素の縦又は横の長さを単位として表すことができる。複数の物体の間隔はこれに限れず、種々の方法で規定することができる。撮像画像上で複数の物体が互いに近づいて所定の間隔以下になったとき、距離情報の取得を開始することにより、複数の物体が重複する前から物体に対して距離を対応づけることができるので、複数の物体がすれ違う前後で確実に物体を区別することができる。

（３）トラッキングを行っている間距離情報常時使用する場合
距離情報取得部４２は、トラッキング処理部４４がトラッキングを行っている間、トラッキング対象の物体の距離情報を時系列で取得してよい。トラッキング対象の物体の距離情報を時系列で取得することによって、トラッキング処理部４４は、物体がすれ違う前の各物体の挙動をより正確に把握することができる。各物体のより正確な挙動を把握することによって、物体の動きをより正確に予測することが可能になる。これによって、トラッキング処理部４４は、より正確に物体を区別することができる。

上記（１）および（２）の場合、測距装置３０は、トラッキング処理部４４からの制御により、必要な場合だけ距離測定を行ってよい。また、距離情報取得部４２は、トラッキング処理部４４からの制御により、必要な場合だけ測距装置３０から距離情報を取得してよい。（１）の場合、距離情報取得部４２は、撮像画像上で２つ以上の物体が互いに近づいて、少なくとも部分的に重複したとき距離情報の取得を開始してよい。（２）の場合、距離情報取得部４２は、撮像画像上で２つ以上の物体が互いに近づいて、当該２つの物体の間隔が所定の間隔以下になったとき距離情報の取得を開始してよい。何れの場合も、測距装置３０は、距離情報取得部４２が距離情報を取得するときのみ、距離の測定を行ってよい。距離情報取得部４２は、必要な場合のみ距離情報を取得するので、物体検知装置４０全体の処理負荷を低減することができる。他の実施形態では、測距装置３０は常時繰り返し距離測定を行ってよい。また、距離情報取得部４２は、常時測距装置３０からの距離情報を取得してよい。

前述のように、測距装置３０の光軸Ｏ₂と撮像装置２０の光軸Ｏ₁とは、一致してよい。また、撮像情報取得部４１が取得する撮像情報と、距離情報取得部４２が取得する距離情報とは、それぞれにおける物体の位置を、互いに座標軸が一致する２次元座標で表すようにすることができる。そうすることによって、トラッキング処理部４４は、撮像情報と距離情報との間で座標系を一致させるための変換処理を行わないでよい。言い換えれば、トラッキング処理部４４は、撮像画像上の座標に距離情報を対応付けるための変換処理を行わなくてよい。変換処理を行わないことにより、トラッキング処理部４４の処理に係る負荷を低減するとともに、トラッキング処理に遅延が発生する可能性を低減することができる。

出力部４５は、トラッキング処理部４４によるトラッキング処理の結果を、車両５０の他の制御装置等に出力する。他の制御装置としては、例えば、衝突予防のための電子制御装置（ＥＣＵ：Electronic Control Unit）を含む。例えば、衝突予防のための電子制御装置は、危険が予測される場合、車両５０の制動装置を制御して車両５０を減速させること、音声による警告を発すること、および／または、表示装置に警告を表示させること等が可能に構成されうる。出力部４５は、物理コネクタまたは無線通信機を有して電子制御装置と通信可能に構成されてよい。出力部４５は、電子制御装置と通信をするため、車両５０のネットワークに接続されてよい。車両のネットワークは、ＣＡＮ（Controller Area Network）（登録商標）、ＬＩＮ（Local Interconnect Network）、車載Ｅｔｈｅｒｎｅｔ（登録商標）等の規格に準拠したネットワークを含む。

（トラッキング処理のフロー）
次に、図３のフローチャートを用いて、歩行者がすれ違う際の物体検知装置４０の行う処理の一例を説明する。図３のフローチャートの処理は、物体検知装置４０のメモリに記憶される物体検知プログラムによって実行されうる。物体検知装置４０は、非一時的なコンピュータ可読媒体に記録された物体検知プログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

図４は、前進中の車両５０に搭載された物体検知装置４０の撮像情報取得部４１が撮像情報を取得するときの撮像装置２０の前方の状況の一例を示す上面図である。この例では、角度範囲Ａで表される撮像範囲に第１歩行者６１（第１物体）と第１歩行者６１とは異なる第２歩行者６２（第２物体）とが存在している。さらに、撮像範囲には電信柱などの静止物６３（物体）が存在している。第１歩行者６１は、第２歩行者６２よりも、撮像装置２０から離れて位置する。第１歩行者６１は、撮像装置２０の撮像範囲内で、左から右方向に移動する。第２歩行者６２は、第１歩行者６１よりも、撮像装置２０の近くに位置する。第２歩行者６２は、撮像装置２０の撮像範囲内で、右から左方向に移動する。図４において、矢印は移動方向を示すために付加したものである。

まず、撮像情報取得部４１が撮像装置２０から時系列で撮像された撮像情報を、順次取得する（ステップＳ０１）。撮像情報取得部４１は、取得した撮像情報を撮像情報処理部４３に送信する。撮像情報処理部４３は、取得した撮像情報に基づいて、第１歩行者６１、第２歩行者６２および静止物６３等の物体を検知する（ステップＳ０２）。撮像情報処理部４３は、歩行者だけでなく、自転車、自動二輪車、自動車等についても検出しうる。図５は、撮像情報に含まれる撮像画像の一例を示す。図５には、撮像情報処理部４３が検知した第１歩行者６１および第２歩行者６２が含まれる。図５中の矢印は説明のために付加したものであり、第１歩行者６１および第２歩行者６２の移動方向を示す。

一例として、撮像情報処理部４３は、撮像画像に含まれる第１歩行者６１および第２歩行者６２の占める領域を矩形状の枠内の領域として検出することができる。第１歩行者６１および第２歩行者６２の占める領域を表す枠を、検出枠６４，６５とよぶ。例えば、検出枠６４は、第１歩行者６１が包含される最小の矩形形状の枠とすることができる。

撮像情報処理部４３は、撮像情報取得部４１から時系列で取得した撮像情報に基づいて、第１歩行者６１および第２歩行者６２が移動体であるか否かを判定する（ステップＳ０３）。この場合移動体は、車両５０に対して相対的に移動している物体であることを意味するものではない。移動体は、背景の道路等に対して移動している物体であることを意味する。さらに、撮像情報処理部４３は、第１歩行者６１および第２歩行者６２の撮像画像上での移動方向および移動速度を算出する。

撮像情報処理部４３は、撮像画像に加え、検出した第１歩行者６１および第２歩行者６２についての物体情報を含む撮像情報をトラッキング処理部４４に送信する。物体情報は、物体の種別である「歩行者」および「移動体」とその撮像画像上で占める領域の座標、移動の方向と移動速度等の情報を含む。撮像画像上で占める領域の座標は、検出枠６４，６５の座標情報を含んでよい。以下に、撮像画像上で占める領域の座標を単に「撮像画像上での位置」ということがある。

トラッキング処理部４４は、撮像情報処理部４３で検知された物体のうち移動体をトラッキングする（ステップＳ０４）。トラッキング処理部４４は、移動体である第１歩行者６１および第２歩行者６２をトラッキングする。図５に示すように、第１歩行者６１の撮像画像上で占める領域と、第２歩行者６２の撮像画像上で占める領域との間に重複が無い場合、トラッキングは撮像情報のみに基づいて行うことができる。トラッキング処理部４４は、移動体以外の静止物を、トラッキングしなくてよい。しかし、トラッキング処理部４４は、状況に応じて移動体以外の物体をトラッキングしてよい。例えば、歩行者、自転車または自動車等と識別される物体が停止状態にあるとき、撮像情報処理部４３により、それらは静止物と判定される。しかし、これらの物体は、静止状態から移動を開始する可能性が有るので、トラッキングの対象としてよい。また、撮像画像上で、静止物と移動体とが互いに接近するとき、または、静止物と移動体とが重複するとき、当該静止物をトラッキングの対象としてよい。

さらに、トラッキング処理部４４は、第１歩行者６１および第２歩行者６２の撮像画像上での位置および移動方向に基づいて、第１歩行者６１および第２歩行者６２が、撮像画像上で互いにすれ違う方向に移動しているか否かを判定する（ステップＳ０５）。互いにすれ違う方向は、撮像画像上で互いに近づく方向である。トラッキング処理部４４は、第１歩行者６１と第２歩行者６２とが、互いに近づいて、図６に示すように、撮像画像上で所定の間隔Ｄ以下になったとき（ステップＳ０６:Ｙｅｓ）、ステップＳ０７の処理に進む。トラッキング処理部４４は、第１歩行者６１と第２歩行者６２との間の間隔が所定の間隔Ｄを超えるとき（ステップＳ０６：Ｎｏ）、ステップＳ０４に戻り、撮像情報のみに基づくトラッキングを継続する。撮像画像における第１歩行者６１と第２歩行者６２との間の間隔は、種々の方法で算出しうる。例えば、撮像画像における第１歩行者６１と第２歩行者６２との間の間隔は、検出枠６４と検出枠６５との間の間隔として算出してよい。

なお、トラッキング処理部４４は、第１歩行者６１と第２歩行者６２とが撮像画像上で所定の間隔Ｄ以下になったときではなく、第１歩行者６１と第２歩行者６２とが互いに近づいて、少なくとも部分的に重複したとき、ステップＳ０７に進んでよい。第１歩行者６１と第２歩行者６２とが重複したときは、例えば、検出枠６４と検出枠６５とが重なったときとして判定してよい。

第１歩行者６１と第２歩行者６２とが、互いに近づいて、撮像画像上で所定の間隔Ｄ以下になったとき（ステップＳ０６:Ｙｅｓ）、トラッキング処理部４４は、距離情報取得部４２を介して測距装置３０からの距離情報の取得を開始する（ステップＳ０７）。距離情報は、測距装置３０の位置から第１歩行者６１および第２歩行者６２までの距離情報を含む。トラッキング処理部４４は、距離情報を直交座標系の多数の点または領域の距離として取得することができる。トラッキング処理部４４は、必要な場合、距離情報の座標系を撮像画像の座標系に変換することができる。距離情報の座標系は、予め撮像画像の座標系と一致するように調整されてよい。トラッキング処理部４４は、撮像情報処理部４３から取得した撮像情報中の物体情報に含まれる第１歩行者６１および第２歩行者６２の撮像画像上の位置と、距離情報とから、第１歩行者６１および第２歩行者６２までの距離を決定することができる。トラッキング処理部４４は、第１歩行者６１および第２歩行者６２に対応付けて距離情報を記憶する。距離情報は、所定の時間間隔で繰り返し取得され、更新される。

測距装置３０は、トラッキング処理部４４が距離情報を必要とするか否かに関わらず、常に繰り返し距離を測定して距離情報取得部４２に送信してよい。この場合、トラッキング処理部４４は、ステップＳ０７以降で必要となった場合のみ、取得した距離情報を使用する。あるいは、トラッキング処理部４４は、ステップＳ０１〜Ｓ０６の処理を実行する距離情報を必要としない期間において、距離情報取得部４２を介して測距装置３０による距離の測定を停止させてよい。この場合、トラッキング処理部４４は、撮像情報において第１歩行者６１と第２歩行者６２とが互いに近づいて所定の間隔Ｄ以下になったとき、距離情報取得部４２を介して測距装置３０による距離の測定を起動させ、距離情報の取得を開始してよい。または、トラッキング処理部４４は、撮像情報において第１歩行者６１と第２歩行者６２とが互いに近づいて少なくとも部分的に重複したとき、距離情報取得部４２を介して測距装置３０による距離の測定を起動させ、距離情報の取得を開始してよい。

トラッキング処理部４４は、ステップＳ０７の後、撮像情報と距離情報との双方に基づいて、第１歩行者６１および第２歩行者６２のトラッキングを行う（ステップＳ０８）。図７は、第１歩行者６１と第２歩行者６２とが、互いに近づいて撮像画像上で一部分が重なった状態となったところを示す図である。矢印および距離の情報は、説明のために付与したものである。トラッキング処理部４４は、図７の状態になる前の第１歩行者６１と第２歩行者６２との間の間隔が撮像画像において所定の間隔Ｄ以下となったときに、距離情報を取得し第１歩行者６１および第２歩行者６２に関連付けて記憶している。図７において、例えば、第１歩行者６１までの距離は５０ｍである。また、第２歩行者６２までの距離は４０ｍである。

図７の状態の後に、撮像画像において第１歩行者６１と第２歩行者６２とが重複した後再び離れると、画像情報のみでは離れた後の第１歩行者６１と第２歩行者６２との区別がつかないことがある。例えば、第１歩行者６１および第２歩行者６２が、撮像画像上ですれ違った後、図８のように離れたとき、左方向から来た第１歩行者６１が、そのまま右方向に進んだのか、あるいは、折り返して元の方向に戻ったのか分からないことがある。第２歩行者６２についても、右方向から来てそのまま左方向に進んだのか、それとも、折り返して元の方向に戻ったのか分からないことがある。しかしながら、本開示の物体検知装置４０によれば、トラッキング処理部４４が第１歩行者６１および第２歩行者６２の距離情報を有するので、撮像画像上で重複する前の距離情報に基づいて、第１歩行者６１および第２歩行者６２を区別することができる。例えば、図８において、４０ｍの距離に位置する歩行者は３０ｍの距離に位置する歩行者よりも１０ｍ遠くに位置する。そのため、４０ｍの距離に位置する歩行者を第１歩行者６１と判定することができる。また、図８において、３０ｍの距離に位置する歩行者を第２歩行者６２と判定することができる。

上述の例では、第１歩行者６１および第２歩行者６２のすれ違いの前後で、第１歩行者６１の方が遠くに位置しているという距離の関係は変わらないものとした。しかし、トラッキング処理部４４は、距離情報を時系列情報として取得し、撮像画像上で重複する前の距離情報の時系列での変化から、撮像画像上で重複して離れた後の距離を推定して物体の判別に利用してよい。また、物体検知装置４０は、車両５０から速度情報を取得可能に構成されてよい。物体検知装置４０は、速度情報を用いてすれ違い後の物体までの距離をより精度良く推定することができる。

撮像画像上で第１歩行者６１と第２歩行者６２との間の間隔が、所定値以上になったとき、トラッキング処理部４４は距離情報の使用を停止してよい。その後、トラッキング処理部４４は、再び、撮像情報のみに基づいてトラッキングを行ってよい。

トラッキング処理部４４によるトラッキング処理が終了した後、物体検知装置４０が処理の終了を示す信号を受信したとき（ステップＳ０９：Ｙｅｓ）、物体検知装置４０は処理を終了する。物体検知装置４０は、例えば、車両５０のアクセサリ電源（ＡＣＣ電源）がオフになったことを示す信号を受信したとき、処理を終了させてよい。処理の終了は、トラッキング処理（ステップＳ０８）の後に限られず、任意のタイミングで割り込み処理されてよい。物体検知装置４０は、処理を終了しないとき（ステップＳ０９）、ステップＳ０１に戻り上述の処理を繰り返す。

以上説明したように、本開示の物体検知装置４０は、複数の物体が撮像画像において少なくとも部分的に重複したとき、距離情報に基づいて複数の物体を区別するので、撮像された画像に含まれる物体の追跡を精度よく行うことができる。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１物体は、第２物体と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

本開示の物体検知プログラム、物体検知装置、および、物体検知システムは、車両に搭載されるものとして説明してきたが、これに限られない。本開示の物体検知プログラム、物体検知装置、および、物体検知システムは、船舶、ドローン等の飛行体、駐車場およびビル等の監視用のシステム、等種々の用途に適用しうる。

１０ 物体検知システム
２０ 撮像装置
３０ 測距装置
４０ 物体検知装置
４１ 撮像情報取得部
４２ 距離情報取得部
４３ 撮像情報処理部
４４ トラッキング処理部
４５ 出力部
５０ 車両
６１ 第１歩行者（第１物体）
６２ 第２歩行者（第２物体）
６３ 静止物（物体）

Claims (14)

1. 第１位置から時系列で撮像された撮像情報を取得し、
   前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体を含む複数の物体を検知し、
   前記第１位置と実質的に同一の第２位置から前記第１物体までの距離および前記第２物体までの距離を含む距離情報を繰り返し取得し、
   前記撮像情報において前記第１物体および前記第２物体が互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて、前記第１物体と前記第２物体とを区別する、
   処理を物体検知装置に実行させる物体検知プログラム。
2. 前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて、前記第１物体と前記第２物体とが互いに重複しない状態から部分的に重複した状態に変化したときに前記距離情報を取得し、該取得された距離情報に基づいて、前記第１物体と前記第２物体とを区別する、
   処理を物体検知装置に実行させる請求項１に記載の物体検知プログラム。
3. 前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて所定の間隔以下になったとき前記距離情報の取得を開始する、
   処理を物体検知装置に実行させる請求項１又は２に記載の物体検知プログラム。
4. 前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて、少なくとも部分的に重複したとき前記距離情報の取得を開始する、
   処理を物体検知装置に実行させる請求項１又は２に記載の物体検知プログラム。
5. 前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて少なくとも部分的に重複した後離れた場合、前記距離情報に基づいて前記第１物体と前記第２物体とを区別する、
   請求項１乃至４いずれか１項に記載の物体検知プログラム。
6. 前記撮像情報は、可視光カメラ、ＩＲカメラ、ＦＩＲカメラのいずれかから得られた情報を含む、
   請求項１乃至５いずれか１項に記載の物体検知プログラム。
7. 前記距離情報は、ＬＩＤＡＲ、ミリ波レーダー、レーザーレーダー、ステレオカメラ、単眼カメラ、超音波センサのいずれかから得られた情報を含む、
   請求項１乃至６いずれか１項に記載の物体検知プログラム。
8. 第１位置から時系列で撮像された撮像情報を取得し、
   前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体をトラッキングし、
   前記第１位置と実質的に同一の第２位置から前記第１物体までの距離および前記第２物体までの距離を含む距離情報を繰り返し取得し、
   前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて前記第１物体と前記第２物体とをトラッキングする、
   処理を物体検知装置に実行させる物体検知プログラム。
9. 前記撮像情報における物体の位置および前記距離情報における物体の位置を、互いに座標軸が一致する２次元座標で表す、
   請求項１乃至８いずれか１項に記載の物体検知プログラム。
10. 前記基第１位置および前記第２位置は、時間ともに移動可能である請求項１乃至９のいずれか１項に記載の物体検知プログラム。
11. 前記第１物体および前記第２物体の双方または何れか一方は移動体である請求項１乃至１０のいずれか１項に記載の物体検知プログラム。
12. 請求項１乃至１１いずれか１項に記載の物体検知プログラムを実行する物体検知装置。
13. 撮像装置と、
    前記撮像装置と実質的に同一の位置に配置された測距装置と、
    時系列で撮像された撮像情報を前記撮像装置から取得し、前記撮像情報に基づいて第１物体および前記第１物体とは異なる第２物体を含む複数の物体を検知し、前記第１物体までの距離および前記第２物体までの距離を含む距離情報を前記測距装置から繰り返し取得し、前記撮像情報において前記第１物体と前記第２物体とが互いに近づいて少なくとも部分的に重複した場合、前記距離情報に基づいて前記第１物体と前記第２物体とを区別する処理を実行する物体検知装置と、
    を備える物体検知システム。
14. 前記撮像装置と前記測距装置とは、光軸が一致している、
    請求項１３に記載の物体検知システム。

Images