JP2023131274A - 物体位置検出装置 - Google Patents

Abstract

【課題】床面の高さが様々に変化する地形でも、物体の誤検出を抑制しつつ、路側監視カメラにより撮像された画像から、実世界における物体の位置を精度よく算出することができる物体位置検出装置を提供する。【解決手段】物体情報マップデータから、物体の画像内の位置に対応する画像領域の座標変換式を取得して、物体の画像内の位置を実世界座標の位置に変換し、物体情報マップデータから、物体の画像内の位置及び物体種別に対応する画像領域のサイズの制限情報及び存在の可能性情報を取得して、物体の誤検出の有無を判定し、誤検出が無い物体の実世界座標の位置を外部に配信する物体位置検出装置。【選択図】図１

Description

この本願は、物体位置検出装置に関するものである。

特定領域での自動運転の実現のため、領域内の物体を検知して車両、人、ダイナミックマップ等に物体情報を配信する路側機を路上に設置することが検討されている。路側機には、カメラ、ＬｉＤＡＲ等のセンサが搭載されており、センサの検知情報に対して各種の処理を行って、物体を検出し、検出した物体の実世界における位置情報を算出し配信する。

ここで、カメラで撮像した画像から検出した物体の位置を算出するためには、カメラのキャリブレーションを行い、５点アルゴリズム等でカメラの位置及び向き等の較正パラメータの算出を行う必要がある。

例えば、特許文献１においては、複数センサ間の相対位置及び姿勢を算出することで複数センサの較正を簡易に行うことと、ＬｉＤＡＲ等のセンサによって得られる距離情報を使用し、床面の高さ情報を補正することで物体位置の算出精度を向上させることが提案されている。

特開２０２１－１１７０８７号公報

しかし、上記のような方法で正しく較正が行われたとしても、画像処理における物体の誤検知（存在しない物体を検出する）、物体の未検出（存在する物体を検出できない）を完全に防ぐことはできず、一定の確率で誤って検出された物体情報が配信される。

例えば、検出対象の物体が存在し得ない画像の領域に、物体が誤検出されたり、カメラからの距離を考えると、通常あり得ないサイズの物体が誤検出されたりする。

また、距離情報が得られない単眼カメラのみを使用する場合には、通常、同一平面を仮定して、画像内の物体位置から実世界における位置への変換が行われるため、床面の高さが様々に変化する地形では位置算出精度が悪化する。

そこで、床面の高さが様々に変化する地形でも、物体の誤検出を抑制しつつ、路側監視カメラにより撮像された画像から、実世界における物体の位置を精度よく算出することができる物体位置検出装置を提供することを目的とする。

本願に係る物体位置検出装置は、
路側に設置され、道路状況を監視する路側監視カメラから画像を取得する画像取得部と、
前記画像に含まれる物体及び物体種別を検出する物体検出部と、
画像内の位置から実世界座標の位置への座標変換式と、前記物体種別ごとの画像上でのサイズの制限情報と、前記物体種別ごとの物体の存在の可能性情報とが、分割された画像領域ごとに設定された物体情報マップデータを記憶したマップ記憶部と、
前記物体情報マップデータから、検出された前記物体の画像内の位置に対応する前記画像領域の前記座標変換式を取得し、取得した前記座標変換式を用いて、検出された前記物体の画像内の位置を前記実世界座標の位置に変換する物体位置算出部と、
前記物体情報マップデータから、検出された前記物体の画像内の位置及び検出された前記物体種別に対応する前記画像領域の前記サイズの制限情報及び前記物体の存在の可能性情報を取得し、取得した情報及び検出された前記物体の画像上のサイズに基づいて、前記物体の誤検出の有無を判定する誤検出判定部と、
誤検出が無いと判定された前記物体の前記実世界座標の位置及び前記物体種別を外部に配信する位置出力部と、
を備えたものである。

本願に係る物体位置検出装置によれば、物体情報マップデータから、検出された物体の画像内の位置に対応する画像領域の座標変換式を取得し、取得した座標変換式を用いて、検出された物体の画像内の位置が実世界座標の位置に変換される。よって、各画像領域において、床面の高さが様々に変わるような地形についても、各画像領域の床面の高さに対応した座標変換式を用いて、精度よく位置変換を行うことができる。また、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する画像領域のサイズの制限情報及び物体の存在の可能性情報を取得し、取得した情報、及び検出された物体の画像上のサイズに基づいて、物体の誤検出の有無が判定される。よって、各画像領域の各物体種別の物体の存在の可能性情報を用いているので、物体が存在する可能性がない画像領域において、物体が誤検出されることを抑制できる。また、各画像領域の各物体種別のサイズの制限情報を用いているので、路側監視カメラから各画像領域の物体までの距離、及び物体種別を考えると、通常あり得ないサイズの物体が誤検出されることを抑制できる。よって、床面の高さが様々に変化する地形でも、物体の誤検出を抑制しつつ、路側監視カメラにより撮像された画像から、実世界における物体の位置を精度よく算出することができる。

実施の形態１に係る物体位置検出装置の概略構成図である。 実施の形態１に係る物体位置検出装置の概略ハードウェア構成図である。 実施の形態１に係る路側監視カメラにより撮像される実世界の床面の範囲を説明するための図である。 実施の形態１に係る路側監視カメラにより撮像された画像を説明するための図である。 実施の形態１に係る物体情報マップデータの設定を説明するための図である。 実施の形態１に係る座標変換式の作成及び設定を説明するための図である。 実施の形態１に係る物体位置検出装置の処理を説明するためのフローチャートである。 実施の形態２に係る物体位置検出装置の概略構成図である。 実施の形態２に係る画像の切り出しを説明するための図である。 実施の形態２に係る物体位置検出装置の処理を説明するためのフローチャートである。 実施の形態３に係る物体位置検出装置の概略構成図である。 実施の形態３に係る物体位置検出装置の処理を説明するためのフローチャートである。

１．実施の形態１
実施の形態１に係る物体位置検出装置１について図面を参照して説明する。図１に、物体位置検出装置１及び物体位置検出システム１０の概略構成図を示す。

物体位置検出システム１０は、物体位置検出装置１及び路側監視カメラ５０を備えている。路側監視カメラ５０は、路側に設置され、道路状況を監視する監視カメラである。例えば、路側監視カメラ５０は、路側機に設けられる。路側監視カメラ５０により撮像された画像データは、物体位置検出装置１に入力される。路側監視カメラ５０と物体位置検出装置１との間は、無線通信又は有線通信によりデータ通信可能に接続されている。

物体位置検出装置１は、画像取得部３１、物体検出部３２、マップ記憶部３３、物体位置算出部３４、誤検出判定部３５、及び位置出力部３６等の機能部を備えている。物体位置検出装置１の各機能は、物体位置検出装置１が備えた処理回路により実現される。具体的には、図２に示すように、物体位置検出装置１は、ＣＰＵ（Central Processing Unit）等の演算処理装置９０、記憶装置９１、演算処理装置９０に外部の信号を入出力する入出力装置９２等を備えている。

演算処理装置９０として、ＡＳＩＣ（Application Specific Integrated Circuit）、ＩＣ（Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、各種のＡＩ（Artificial Intelligence）チップ、各種の論理回路、及び各種の信号処理回路等が備えられてもよい。また、演算処理装置９０として、同じ種類のもの又は異なる種類のものが複数備えられ、各処理が分担して実行されてもよい。記憶装置９１として、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ハードディスク等の各種の記憶装置が用いられる。

入出力装置９２には、通信装置、Ａ／Ｄ変換器、入出力ポート、駆動回路等が備えられる。入出力装置９２は、路側監視カメラ５０、外部装置５１、ユーザインターフェイス装置５２等に接続され、これらの装置と通信を行う。

そして、物体位置検出装置１が備える各機能部３１から３６等の各機能は、演算処理装置９０が、記憶装置９１に記憶されたソフトウェア（プログラム）を実行し、記憶装置９１及び入出力装置９２等の物体位置検出装置１の他のハードウェアと協働することにより実現される。なお、各機能部３１から３６等が用いる設定データは、ＥＥＰＲＯＭ等の記憶装置９１に記憶されている。マップ記憶部３３は、ＥＥＰＲＯＭ等の記憶装置９１に設けられている。

＜路側監視カメラ５０＞
図３に、路側監視カメラ５０により撮像される実世界の床面の範囲を平面視したときのイメージ図を示し、図４に、図３の例において、路側監視カメラ５０に撮像された画像のイメージ図を示す。路側監視カメラ５０は、路面から一定の高さ（例えば、数ｍ）に設置され、一定の床面の範囲を撮像できるように、カメラの向きが設定されている。

ここで、床面は、路面、地面、建物の床面等の上方を向いている面であり、車両等の物体がその上に位置する面である。

路側監視カメラ５０は、例えば、数ｆｐｓ～３０ｆｐｓ（frame per second）で撮像し、撮像した画像を、有線通信又は無線通信の各種の通信手段を用いて、物体位置検出装置１（画像取得部３１）に送信する。路側監視カメラ５０は、通信装置を一体に又は別体に備えている。

＜画像取得部３１＞
画像取得部３１は、路側監視カメラ５０から画像を取得する。画像取得部３１は、有線通信又は無線通信の各種の通信手段を介して、路側監視カメラ５０から画像を取得する。物体位置検出装置１は、路側監視カメラ５０の近くに配置されなくてもよく、遠隔地に配置され、ネットワーク網を介して路側監視カメラ５０と通信を行ってもよい。

＜物体検出部３２＞
物体検出部３２は、画像に含まれる物体及び物体種別を検出する。例えば、物体検出部３２は、画像に対して、公知の各種の画像処理を行って、物体及びその物体の種別の検出を行う。例えば、画像処理には、パターンマッチング、ニューラルネットワークなどを用いた公知の技術が用いられる。画像に複数の物体が含まれる場合は、複数の物体及びその物体種別が検出され、各物体について後述する処理が実施される。

本実施の形態では、検出対象の物体種別は、車両の自動運転などの道路交通システムの運用に必要になる物体種別（例えば、車両、人等）に設定されている。物体検出部３２は、画像に含まれる検出対象の物体種別の物体のみを検出する。検出可能な物体種別及び検出精度は、物体検出部３２で用いられる画像処理のアルゴリズム及びモデルに依存する。検出精度がよい場合は、より詳細な情報、例えば、車両の種類、人の種類、他の物体種別などが検出されてもよい。

パターンマッチング、ニューラルネットワークなどを用いた物体検出アルゴリズム（＝物体検出モデル）に入力される画像の解像度及び値域は固定されることが一般的なため（（例えば（高さ、幅、チャンネル数）＝（６０８、６０８、３）のサイズで、値域は０～１など））、取得した画像は物体検出モデルの入力に合うよう、縮小及び規格化等の前処理が行われた後、物体検出モデルに入力される。

物体検出部３２は、検出した物体が存在する画像上の領域（以下、存在領域と称す）を検出する。例えば、物体の存在領域は、図４に示すように、矩形の領域で検出される。なお、物体の存在領域は、物体の外郭線で検出されたり、ピクセル単位で検出されたり、他の方式で検出されてもよい。

物体検出部３２は、物体の存在領域の任意の代表位置を、物体の画像上の位置として設定する。例えば、物体の存在領域の中心位置、物体の床面上の位置に対応する物体の下端の中心位置などが、物体の位置として設定される。

＜マップ記憶部３３＞
マップ記憶部３３は、物体情報マップデータを記憶している。マップ記憶部３３は、記憶装置９１に設けられている。図５に示すように、物体情報マップデータには、画像の範囲が複数の領域に分割された画像領域ごとに、画像内の位置から実世界座標の位置への座標変換式と、物体種別ごとの画像上でのサイズの制限情報と、物体種別ごとの物体の存在の可能性情報とが設定されている。図５には、４つの画像領域について、データの設定例を示している。

例えば、図５に示すように、画像の全領域が、格子状に区切られ、複数の画像領域が設定されている。図５の例では、均等に区切られているが、任意の画像領域の分割パターンが設定されてもよい。例えば、遠方になるに従って、区画線の区切り間隔が狭められてもよい。或いは、道路の形状、同一平面上にある床面の領域の形状、又は床面の種別に合わせて画像領域の区画線が設定されてもよい。また、ピクセル単位で画像領域が設定されてもよい。

各画像領域に設定される座標変換式は、画像上の位置（例えば、ピクセル位置(ｘ、ｙ)）から実世界座標の位置（(緯度、経度、高さ)）に変換する変換式である。例えば、座標変換式は、床面上の位置を相互に変換する変換式とされる。

図６は、座標変換式の作成及び設定を説明するための図である。座標変換式は、画像上のピクセル位置と実世界座標の位置とが１対１に対応づけられるものであればよい。例えば、画像上の４点の位置と、それに対応するＧＰＳで取得した実世界座標の４点の位置との射影変換により座標変換式が作成される。例えば、図６の左図の４つの丸の位置と、右図の４つの丸の位置との射影変換、図６の左図の４つの三角の位置と、右図の４つの三角の位置との写像変換。

射影変換では、４点の位置が同一平面状にあることを仮定して変換が行われる。画像の全領域に対応する実世界の領域内において、同一平面になる床面の領域が複数存在する場合は、同一面になる複数の床面の領域のそれぞれに対応して複数の座標変換式が作成され、複数の座標変換式から、画像領域ごとに位置が対応する座標変換式が選択されて、予め設定される。

すなわち、画像領域ごとの座標変換式は、実世界座標において床面が同一平面上にある画像領域の間では、同じ座標変換式に設定されており、実世界座標において床面が同一平面上にない画像領域の間では、異なる座標変換式に設定されている。

この構成によれば、床面の高さ、傾きが様々に変わるような地形についても、精度よく位置変換を行うことができる。また、同一平面上にある床面ごとに座標変換式を作成すればよいので、各画像領域の座標変換式の設定工数を低減できる。

物体情報マップデータの各画像領域に、物体種別ごとの画像上でのサイズの制限情報が設定される。本実施の形態では、物体種別は、車両の自動運転などの道路交通システムに必要になる物体種別であり、例えば、車両、人が用いられる。なお、物体検出部３２の物体検出精度がよい場合は、より詳細な情報、例えば、車両の種類、人の種類、他の物体種別などが制限情報の設定に用いられもよい。

画面上での各物体種別のサイズの制限情報は、画面上の物体の存在領域のサイズ（横幅及び高さ、ピクセル数等）の上限値及び下限値の情報である。すなわち、実世界における車両及び人の大きさの取り得る範囲は、ある程度決まっており（例えば、車両の全長は３ｍ以下、１ｍ以上であり、人の高さは２ｍ以下、５０ｃｍ以上であるなど）、路側監視カメラ５０からの距離が長くなるほど画像上のサイズは小さくなる（おおよそ距離の逆数に比例する）。そこで、画像領域ごとの各物体種別のサイズの制限情報は、実世界座標において路側監視カメラから画像領域の物体までの距離が長くなるに従って、サイズの上限値及び下限値が小さくなるように予め設定されている。後述するように、制限を超えた物体は、誤検出されたと判定できる。

物体情報マップデータの各画像領域に、物体種別ごとの物体の存在の可能性情報が設定されている。物体の存在の可能性情報は、各画像領域に、各物体種別の物体が存在する可能性が有るか無いかの情報である。例えば、空、壁面などの床面以外が映っている領域では、床面上の物体が存在する可能性が低いので、当該領域で車両などの検出対象の物体種別が検出された場合は、誤検出の可能性が高い。耕作地など、通常、車両が走行できない床面が映っている領域では、車両が存在する可能性が低い。一方、路面が映っている領域では、車両、人が存在する可能性が高い。そこで、画像領域ごとの各物体種別の物体の存在の可能性情報は、実世界座標において画像領域に各物体種別の物体が位置できる床面があるか否かに応じて予め設定されている。各物体種別について、実世界座標において物体が位置できる床面がある場合は、物体の存在の可能性があると予め設定され、実世界座標において物体が位置できる床面がない場合は、物体の存在の可能性がないと予め設定されている。

記憶装置９１に記憶された物体情報マップデータは、外部から書き換え可能であることが望ましい。これにより、工事などにより、道路形状が変化したり、建物、壁面などの構造物の形状が変化したりした場合に、各画像領域の座標変換式、サイズの制限情報、及び物体の存在の可能性情報を変更することができ、検出精度を維持できる。

＜物体位置算出部３４＞
物体位置算出部３４は、物体情報マップデータから、検出された物体の画像内の位置に対応する画像領域の座標変換式を取得し、取得した座標変換式を用いて、検出された物体の画像内の位置を実世界座標の位置に変換する。本実施の形態では、上述したように、画面上の物体の存在領域の代表位置が、物体の画像上の位置として設定されている。

＜誤検出判定部３５＞
誤検出判定部３５は、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する画像領域のサイズの制限情報及び物体の存在の可能性情報を取得し、取得した制限情報及び可能性情報、及び検出された物体の画像上のサイズに基づいて、物体の誤検出の有無を判定する。

本実施の形態では、誤検出判定部３５は、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する画像領域のサイズの制限情報（上限値及び下限値）の情報を取得する。そして、誤検出判定部３５は、画面上の物体の存在領域のサイズ（面積、ピクセル数）が、制限情報（上限値及び下限値）の範囲内であるか否を判定し、範囲内である場合は、制限情報については物体の誤検出が無いと判定し、範囲外である場合は、制限情報については物体の誤検出が有ると判定する。

本実施の形態では、誤検出判定部３５は、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する物体の存在の可能性情報を取得する。そして、誤検出判定部３５は、取得した情報が物体の存在の可能性が有るという情報である場合は、可能性情報については物体の誤検出が無いと判定し、取得した情報が物体の存在の可能性が無いという情報である場合は、可能性情報については物体の誤検出が有ると判定する。

そして、誤検出判定部３５は、制限情報及び可能性情報の一方又は双方について、物体の誤検出が有ると判定した場合は、最終的に、誤検出が有ると判定し、制限情報及び可能性情報の双方について、物体の誤検出が無いと判定した場合は、最終的に、誤検出が無いと判定する。

＜位置出力部３６＞
位置出力部３６は、誤検出が無いと判定された物体の実世界座標の位置及び物体種別を外部に配信する。

位置出力部３６は、路側監視カメラ５０により撮像される実世界の領域の近くに存在する自動運転車両、交通管制システムなどの外部装置５１に、無線通信又は有線通信により、誤検出が無い物体の情報を配信する。

なお、位置出力部３６は、誤検出が有ると判定された物体の情報を、外部に配信しなくてもよいし、誤検出の可能性が有ることの情報とともに、物体の情報を外部に配信してもよい。

＜フローチャート＞
以上で説明した物体位置検出装置１の処理を、図７のフローチャートのように構成できる。図７の処理は、例えば、路側監視カメラ５０から画像データを取得するごとに実行される。

ステップＳ０１で、上述したように、路側監視カメラ５０から画像を取得する。ステップＳ０２で、上述したように、物体検出部３２は、画像に含まれる物体及び物体種別を検出する。ステップＳ０３で、上述したように、物体位置算出部３４は、マップ記憶部３３に記憶された物体情報マップデータから、検出された物体の画像内の位置に対応する画像領域の座標変換式を取得し、取得した座標変換式を用いて、検出された物体の画像内の位置を実世界座標の位置に変換する。

そして、ステップＳ０４で、上述したように、誤検出判定部３５は、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する画像領域のサイズの制限情報を取得し、画面上の物体の存在領域のサイズが、制限情報の範囲内であるか否を判定し、範囲内である場合は、ステップＳ０５に進み、範囲外である場合は、ステップＳ０７に進む。

ステップＳ０５で、上述したように、誤検出判定部３５は、物体情報マップデータから、検出された物体の画像内の位置及び検出された物体種別に対応する物体の存在の可能性情報を取得し、取得した情報が物体の存在の可能性が有るという情報である場合は、ステップＳ０６に進み、取得した情報が物体の存在の可能性が無いという情報である場合は、ステップＳ０７に進む。

ステップＳ０６で、誤検出判定部３５は、検出した物体に誤検出が無いと判定し、ステップＳ０７で、検出した物体に誤検出が有ると判定する。

ステップＳ０８で、上述したように、位置出力部３６は、誤検出が無いと判定された物体の実世界座標の位置及び物体種別を外部に配信する。

以上の構成により、物体の誤検知を抑えつつ、床面高さ及び傾きが様々に変化するような地形においても、物体の実世界における位置を精度良く算出し、外部に配信することができる。

２．実施の形態２
実施の形態２に係る物体位置検出装置１について図面を参照して説明する。上記の実施の形態１と同様の構成部分は説明を省略する。本実施の形態に係る物体位置検出装置１の基本の構成は実施の形態１と同様であるが、画像補正部３７が備えられている点が実施の形態１と異なる。図８に、物体位置検出装置１及び物体位置検出システム１０の概略構成図を示す。

本実施の形態では、物体位置検出装置１は、更に画像補正部３７を備えている。画像補正部３７は、画像取得部３１が取得した画像の一部の領域を切り出す。そして、物体検出部３２は、切り出された画像の領域に含まれる物体及び物体種別を検出する。

この構成によれば、取得した画像から、処理が必要な領域を切り出して、処理を行うことができるので、処理負荷を低減できる。

本実施の形態では、画像補正部３７は、物体情報マップデータから、各画像領域の物体の存在の可能性情報を取得し、物体の存在の可能性情報に物体の存在の可能性があると設定された画像領域を網羅する矩形の切り出し領域を設定する。そして、画像補正部３７は、画像取得部３１が取得した画像から、矩形の切り出し領域を切り出す。

図９に画像の切り出しの例を示す。太枠線で囲った領域の外側は、物体の存在の可能性が無いと設定された領域である。よって、太枠線の外側の領域は、物体を検出する必要がなく、太枠線の内側の領域を切り出す構成が考えられる。物体の存在の可能性があると設定された画像領域が網羅されれば、任意のサイズの矩形の切り出し領域が設定されてもよいが、例えば、網羅できる最小サイズの矩形の切り出し領域が設定されればよい。物体情報マップデータは、工事などの環境状況に応じて書き換えることが想定されているため、切り出す領域は、物体情報マップデータの更新のたびに変更されてよい。

前述のように、一般的にニューラルネットワーク等を使用した物体検出モデルは、入力の画像サイズが固定されており入力画像の縮小といった処理をする必要があるため、本実施の形態の構成とすることにより、検知が必要な領域に合わせて物体検出モデルに入力する画像領域を変更でき、画像縮小による解像度の劣化をできるだけ抑えることができ、物体の認識性能の向上が期待できる。

＜フローチャート＞
図１０のフローチャートを用いて、本実施の形態に係る物体位置検出装置１の処理を説明する。実施の形態１の図７のフローチャートに対してステップＳ１２の処理が追加されており、ステップＳ１１、Ｓ１３からＳ１９の処理は、図７のステップＳ０１からＳ０８の処理と同様であるので説明を省略する。

ステップＳ１２で、上述したように、画像補正部３７は、物体情報マップデータから、各画像領域の物体の存在の可能性情報を取得し、物体の存在の可能性情報に物体の存在の可能性があると設定された画像領域を網羅する矩形の切り出し領域を設定する。そして、画像補正部３７は、画像取得部３１が取得した画像から、矩形の切り出し領域を切り出す。そして、ステップＳ１３で、物体検出部３２は、切り出された画像に含まれる物体及び物体種別を検出する。

３．実施の形態３
実施の形態３に係る物体位置検出装置１について図面を参照して説明する。上記の実施の形態１又は２と同様の構成部分は説明を省略する。本実施の形態に係る物体位置検出装置１の基本の構成は実施の形態２と同様であるが、モデル選択部３８が備えられている点が実施の形態１と異なる。図１１に、物体位置検出装置１及び物体位置検出システム１０の概略構成図を示す。

モデル選択部３８は、画像補正部３７により切り出された画像のサイズに応じて、物体検出部３２において物体の検出に使用される物体検出モデルを選択する。

一般的に、物体検出モデルは、入力される画像サイズが大きいほど演算量が大きく、計算に時間がかかるという性質がある。物体検出モデルに入力できる入力画像サイズは固定されていることが一般的なため、画像補正部３７から出力された画像サイズが、物体検出モデルに規定された入力画像サイズよりも小さい場合、画像に対し拡大等の処理が行われて、物体検出モデルに入力される。この場合、モデルの検知性能の向上は期待できないが、処理する計算量は増えているため、冗長な計算がされることとなる。

そのため、画像補正部３７で切り出した画像サイズが、物体検出部３２で使用する物体検出モデルに規定された入力画像サイズよりも小さい場合には、モデル選択部３８は、切り出した画像サイズ以下の入力画像サイズが規定された物体検出モデルに切り替える。これにより、計算量的に画像サイズに応じた最適なモデルを使用することが可能となり、演算に必要な計算リソース及び消費電力の抑制が期待できる。

＜フローチャート＞
図１２のフローチャートを用いて、本実施の形態に係る物体位置検出装置１の処理を説明する。実施の形態２の図１２のフローチャートに対してステップＳ２３の処理が追加されており、ステップＳ２１、Ｓ２４からＳ３０の処理は、図７のステップＳ０１からＳ０８の処理と同様であり、ステップＳ２２の処理は、図１０のステップＳ１２の処理と同様であるので説明を省略する。

ステップＳ２２で、画像補正部３７は、物体情報マップデータから、各画像領域の物体の存在の可能性情報を取得し、物体の存在の可能性情報に物体の存在の可能性があると設定された画像領域を網羅する矩形の切り出し領域を設定する。そして、画像補正部３７は、画像取得部３１が取得した画像から、矩形の切り出し領域を切り出す。

そして、ステップＳ２３で、モデル選択部３８は、画像補正部３７により切り出された画像のサイズに応じて、物体検出部３２において物体の検出に使用される物体検出モデルを選択する。そして、ステップＳ２４で、物体検出部３２は、モデル選択部３８により選択された物体検出モデルを用いて、切り出された画像に含まれる物体及び物体種別を検出する。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１ 物体位置検出装置、３１ 画像取得部、３２ 物体検出部、３３ マップ記憶部、３４ 物体位置算出部、３５ 誤検出判定部、３６ 位置出力部、３７ 画像補正部、３８ モデル選択部、５０ 路側監視カメラ

Claims (8)

1. 路側に設置され、道路状況を監視する路側監視カメラから画像を取得する画像取得部と、
   前記画像に含まれる物体及び物体種別を検出する物体検出部と、
   画像内の位置から実世界座標の位置への座標変換式と、前記物体種別ごとの画像上でのサイズの制限情報と、前記物体種別ごとの物体の存在の可能性情報とが、分割された画像領域ごとに設定された物体情報マップデータを記憶したマップ記憶部と、
   前記物体情報マップデータから、検出された前記物体の画像内の位置に対応する前記画像領域の前記座標変換式を取得し、取得した前記座標変換式を用いて、検出された前記物体の画像内の位置を前記実世界座標の位置に変換する物体位置算出部と、
   前記物体情報マップデータから、検出された前記物体の画像内の位置及び検出された前記物体種別に対応する前記画像領域の前記サイズの制限情報及び前記物体の存在の可能性情報を取得し、取得した情報及び検出された前記物体の画像上のサイズに基づいて、前記物体の誤検出の有無を判定する誤検出判定部と、
   誤検出が無いと判定された前記物体の前記実世界座標の位置及び前記物体種別を外部に配信する位置出力部と、
   を備えた物体位置検出装置。
2. 前記画像領域ごとの各前記物体種別の前記サイズの制限情報は、前記実世界座標において前記路側監視カメラから前記画像領域の物体までの距離が長くなるに従って、サイズの上限値及び下限値が小さくなるように予め設定されている請求項１に記載の物体位置検出装置。
3. 前記画像領域ごとの各前記物体種別の前記存在の可能性情報は、前記実世界座標において前記画像領域に各前記物体種別の物体が位置できる床面があるか否かに応じて予め設定されている請求項１又は２に記載の物体位置検出装置。
4. 前記画像領域ごとの前記座標変換式は、前記実世界座標において床面が同一平面上にある前記画像領域の間では、同じ前記座標変換式に予め設定されており、前記実世界座標において床面が同一平面上にない前記画像領域の間では、異なる前記座標変換式に予め設定されている請求項１から３のいずれか一項に記載の物体位置検出装置。
5. 前記物体検出部は、前記画像に含まれる、検出対象の物体種別の物体を検出し、
   前記検出対象の物体種別は、道路交通システムの運用に必要になる物体種別に予め設定されている請求項１から４のいずれか一項に記載の物体位置検出装置。
6. 前記画像取得部が取得した前記画像の一部の領域を切り出す画像補正部を備え、
   前記物体検出部は、切り出された画像の領域に含まれる前記物体及び前記物体種別を検出する請求項１から５のいずれか一項に記載の物体位置検出装置。
7. 前記画像補正部は、前記物体情報マップデータから、各前記画像領域の前記物体の存在の可能性情報を取得し、前記画像から、前記物体の存在の可能性情報に物体の存在の可能性があると設定された前記画像領域を網羅する矩形の領域を切り出す請求項６に記載の物体位置検出装置。
8. 切り出された画像のサイズに応じて、前記物体検出部において物体の検出に使用される物体検出モデルを選択するモデル選択部を備えた請求項６又は７に記載の物体位置検出装置。

Images