JP2022176839A - 観察装置 - Google Patents

Abstract

【課題】距離の推定精度を向上させる。【解決手段】観察装置１０は撮像部１７と記憶部１８と取得部１９と制御部２０とを有する。撮像部１７は画像を生成する。記憶部１８は距離情報を記憶する。距離情報は画像位置と距離に関する情報との関係である。取得部１９は移動体の空間位置に関する位置情報を取得する。制御部２０は実測距離と推定距離との距離ズレが第１の閾値以上である場合実測距離を用いて距離情報を補正する。実測距離は位置情報に対応する。推定距離を画像における移動体の画像位置及び距離情報に基づいて取得する。【選択図】図２

Description

本発明は、観察装置に関するものである。

カメラのように所定の領域の撮像により画像を生成するセンサが知られている。画像からは多様な情報が生成され得る。例えば、道路等の地面に対する取付姿勢とともに、地面上の被写体像の画像内の位置に基づいて、被写体像に相当する被写体までの実空間における距離を算出することが提案されている（特許文献１参照）。

特開平０３－２７３５００号公報

例えば、画像を生成するカメラを路側に設置する観察装置に適用することが検討されている。観察装置では、使用開始前に、観察装置から所定距離毎に配置したマーカを用いたキャリブレーションを行うことにより、カメラが撮影した画像上の位置に対する、距離情報が校正され得る。しかし、従来のキャリブレーションでは、起伏などの地面の形状や、経年による取付姿勢の変化に起因する距離情報のずれを校正することが難しく、距離の推定精度が低い場合があった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、距離の推定精度を向上させる観察装置を提供することにある。

上述した諸課題を解決すべく、第１の観点による観察装置は、
所定の領域の観察対象までの距離を推定する観察装置であって、
前記所定の領域を含む空間の撮像により画像を生成する撮像部と、
前記撮像部が撮像する画像上の画像位置と、前記距離に関する情報との関係である距離情報を記憶する記憶部と、
移動体から、該移動体の空間位置に関する位置情報を取得する取得部と、
前記位置情報に対応する実測距離と、前記画像における前記移動体の画像位置及び前記距離情報に基づいて取得される推定距離との距離ズレが第１の閾値以上である場合、前記実測距離を用いて前記距離情報を補正する制御部と、を備える。

上記のように構成された本開示に係る観察装置によれば、距離の推定精度が向上する。

図１は、一実施形態に係る観察装置を備える通信システムの構成例を示す図である。 図１の観察装置の概略構成を示すブロック図である。 図１の観察装置の固定状態を示す状態図である。 実路面と仮想平面とのズレにより距離ズレが生じることを説明する状態図である。 図２の制御部が実行する初期設定モードにおける補正処理を説明するための第１のフローチャートである。 図２の制御部が実行する初期設定モードにおける補正処理を説明するための第２のフローチャートである。 図２の制御部が実行する通常モードにおける補正処理を説明するための第１のフローチャートである。 図２の制御部が実行する通常モードにおける補正処理を説明するための第２のフローチャートである。 複数の実測距離の中で、新たに算出される距離ズレに対応する実測距離との差が最小でない実測距離を用いて、内包画像位置に対応する距離情報を補正した場合の、補正後の距離情報に基づいて推定される距離を示す図である。 複数の実測距離の中で、新たに算出される距離ズレに対応する実測距離との差が最小である実測距離を用いて、内包画像位置に対応する距離情報を補正した場合の、補正後の距離情報に基づいて推定される距離を示す図である。

以下、本開示を適用した観察装置の実施形態について、図面を参照して説明する。

図１は、一実施形態に係る観察装置１０を備える通信システム１１の構成例を示す。通信システム１１は、例えば、高度道路交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の安全運転支援通信システムである。安全運転支援通信システムは、安全運転支援システムと呼ばれたり、安全運転支援無線システムと呼ばれたりする。

観察装置１０は、所定の領域における路上の車両、物体、人等の観察対象を観察する装置であってよい。観察装置１０は、例えば路側機、監視カメラ装置等である。本実施形態において、観察装置１０は、路側機であって、複数の道路１２（車道）が交差する交差点の近くに配置されて、路面を観察してよい。観察装置１０は、交差点以外の路側に配置されてよい。

通信システム１１では、観察装置１０と、道路１２を走る自動車等の移動体１３とが、互いに無線通信を行ってよい。複数の移動体１３は、互いに無線通信を行ってよい。通信システム１１では、歩行者１４が所持する電子機器を含んで無線通信を行ってよい。電子機器は、例えば、スマートフォン等の携帯端末装置である。

観察装置１０は、移動体１３の運転者の安全運転を支援するための支援情報を、移動体１３に通知してよい。支援情報は、観察する路上に存在する観察対象に関する情報を含んでよい。観察対象に関する情報は、観察対象の存否、存在する観察対象の種類、観察装置１０までの距離、速度、及び進行方向を含んでよい。支援情報は、信号機１５の点灯に関する情報、道路規制に関する情報、観察装置１０が配置されている交差点の形状（道路１２の形状）等を示す道路線形情報を含んでよい。支援情報は、他の移動体１３から通知される情報を含んでよい。観察装置１０は、支援情報を歩行者１４が所持する電子機器に通知してよい。

移動体１３は、実空間における移動体１３の空間位置を、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の測位装置を用いて、検出する。移動体１３の空間位置は、ワールド座標系の位置であってよい。ワールド座標系は、ＧＮＳＳにおいて定められた三次元空間において設定された座標系である。

移動体１３は、移動体１３の空間位置に関する位置情報を少なくとも含む移動体情報を、例えば定期的に観察装置１０等に送信してよい。空間位置に関する位置情報は、空間位置そのものだけでなく、空間位置を特定可能な他の情報であってよい。移動体情報は、更に、速度、ウィンカーに関する情報等を含んでよい。

移動体１３は、搭載している電子機器によって、観察装置１０等から通知される各種情報を取得してよい。移動体１３が搭載する電子機器は、例えばカーナビゲーションシステム等である。移動体１３が搭載する電子機器は、観察装置１０から通知される支援情報に基づいて、警告等の通知を運転者に行うことによって、運転者の安全運転を支援してよい。運転者への通知は、進行する交差点近傍の他の移動体１３等の観察対象の種類、位置、速度、進行方向等、及び交差点近傍の横断歩道１６の歩行者１４の存在であってよい。

上記のように、通信システム１１は、移動体１３の運転者の安全運転を支援してよい。移動体１３は、自動車に限定されない。例えば、移動体１３は、自動二輪車、バス、路面電車、自転車を含み得る。

以下に、観察装置１０の詳細について説明する。観察装置１０は、所定の領域の観察対象までの距離を推定する。ここで、観察装置１０が推定する距離とは、後述するように観察装置１０が取得する画像上の画像位置と、観察対象までの距離に関する情報との関係を示す情報に基づいて取得される距離である。観察対象までの距離は、実空間における任意の原点からの距離であってよい。任意の原点は、例えば、３次元の実空間を鉛直上方から見た、観察装置１０の位置における路面である。

図２に示すように、観察装置１０は、撮像部１７、記憶部１８、通信部（取得部）１９、及び制御部２０を含んで構成される。観察装置１０は、更に、ネットワークＩＦ２１を含んでよい。

撮像部１７は、前述の所定の領域を含む空間を撮像することにより画像を生成する。撮像部１７は、例えば、単眼カメラである。単眼カメラは、可視光カメラ、ＦＩＲカメラであってよい。撮像部１７は、例えば、３０ｆｐｓ等の所定のフレームレートで画像を生成してよい。

撮像部１７には、カメラ座標系が定められていてよい。カメラ座標系は、撮像部１７における任意の位置を原点とし、当該原点を通る互いに垂直な３軸を座標軸とする三次元座標系であってよい。カメラ座標系の原点は、例えば、撮像部１７の検出軸と撮像素子の交点である。カメラ座標系は、例えば、光軸を座標軸に含む。光軸は、撮像素子の検出範囲の中心を通ってよい。

図３に示すように、観察装置１０は、例えば、観察対象の道路１２が交差する交差点付近の信号装置、電柱、街灯等の、屋外において道路１２を含む光景を撮像可能な高さを有する構造物２２に固定されてよい。構造物２２に対する撮像部１７の位置及び姿勢は、事前に定められてよい。

撮像部１７の位置は、観察装置１０の周囲に定められる周囲空間座標系において基準となる位置に対するカメラ座標系の原点を意味する。撮像部１７の姿勢は、周囲空間座標系の座標軸に対するカメラ座標系の座標軸の傾きを意味する。周囲空間座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。

撮像部１７の位置及び姿勢は、撮像部１７の光軸ｏｘが道路１２の路面に交差するように定められてよい。撮像部１７の位置及び姿勢は、撮像部１７の検出範囲が観察装置１０に対して定められる所定の領域を含むように、定められてよい。

図２において、記憶部１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１８は、制御部２０を機能させる多様なプログラム、および制御部２０が用いる多様な情報を記憶してよい。

記憶部１８は、距離情報を記憶する。距離情報は、撮像部１７が撮像する画像上の画像位置と、観察対象までの距離に関する情報との関係を示す情報である。画像上の画像位置は、具体的には、撮像部１７から取得する画像を構成する画素が路面又は床面上の物体を示す場合の、当該画素の二次元の画像座標系における座標であってよい。観察対象までの距離に関する情報は、具体的には、周囲空間座標系における任意に定められる原点からの距離であってよい。周囲空間座標系における原点は、３次元の実空間を鉛直上方から見た、観察装置１０の位置における路面である。

距離情報は、画像上の画像位置からの距離に関する情報への変換式又は変換表であってよい。変換式又は変換表は、撮像部１７における撮像素子及び光学系の特性、道路１２に対する撮像部１７の位置及び姿勢に基づいて予め作成されてよく、更に路面に配置したターゲット等を用いてキャリブレーションされてよい。

記憶部１８は、ワールド座標系における周囲空間座標系の原点位置を記憶してよい。記憶部１８は、ワールド座標系における周囲空間座標系の姿勢を記憶してよい。周囲空間座標系の姿勢は、周囲空間座標系の座標軸の、ワールド座標系の座標軸からの傾きである。ワールド座標系における周囲空間座標系の原点位置及び姿勢は、観察装置１０の設置時に測定されて、例えば、入力機器を用いて入力することにより記憶部１８に格納されてよい。

通信部１９は、制御部２０によって制御されて移動体１３と無線通信を行ってよい。通信部１９は、通信回路と、アンテナとで構成されてよい。アンテナは例えば無指向性のアンテナであってよい。通信部１９は、例えばＩＴＳに割り当てられている７００ＭＨｚ帯を使用して無線通信を行ってよい。また、通信部１９は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いて無線通信を行ってよい。

通信部１９は、アンテナで受信した信号に対して増幅処理などの各種処理を行い、処理後の受信信号を制御部２０に出力してよい。通信部１９は、例えば、移動体１３から、当該移動体１３の空間位置に関する情報を取得する。制御部２０は、入力される受信信号に対して各種処理を行って、当該受信信号に含まれる情報を取得してよい。通信部１９は、制御部２０から取得する情報に対して増幅処理などの各種処理を行って、処理後の送信信号をアンテナから無線送信してよい。

制御部２０は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２０は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

制御部２０は、撮像部１７から取得する画像に基づいて、所定の領域における観察対象の存否を判別してよい。制御部２０は、具体的には、画像に対するパターンマッチング、深層学習等の公知の画像認識により、観察対象の被写体に対応する被写体像を検出する。制御部２０は、被写体像の検出により、観察対象の存否を判別してよい。

制御部２０は、観察対象が存在する場合、撮像部１７の観察結果に基づいて観察対象の種類を識別してよい。制御部２０は、具体的には、被写体像の検出とともに画像認識により観察対象の種類を識別する。

制御部２０は、観察対象が存在する場合、画像に基づいて観察対象の存在する位置までの推定距離を取得してよい。推定距離の取得は、例えば、制御部２０による算出である。制御部２０は、具体的には、検出された被写体像の路面に接地する部分の画素の二次元座標系における画像位置を、距離情報を用いて、周囲空間座標系への変換を行うことにより、観察対象までの推定距離を算出してよい。

制御部２０は、検出時点が連続する複数の検出信号に基づいて、検出した観察対象の速度及び進行方向を識別してよい。

制御部２０は、少なくとも１つの観察対象が存在する場合、観察対象の種類、推定距離、速度、及び進行方向を含む支援情報を生成してよい。制御部２０は、生成した支援情報を、観察装置１０の周囲の移動体１３に通知するように、通信部１９を制御してよい。

制御部２０は、移動体１３から移動体情報を取得する場合、以下に説明する、距離情報の補正を行ってよい。距離情報の補正において、制御部２０は、移動体情報に含まれる、移動体１３の位置情報を抜出してよい。制御部２０は、移動体１３の位置情報に基づいて、移動体１３の実測距離を算出する。具体的には、制御部２０は、まずワールド座標系における座標に相当する移動体１３の位置情報を、ワールド座標系における周囲空間座標系の原点位置及び姿勢に基づいて、周囲空間座標系の位置情報に変換する。次に、制御部２０は、周囲空間座標系の原点から、周囲空間座標系における移動体１３の位置までの距離を実測距離として算出する。

更に、制御部２０は、移動体情報と略同時期の画像から、上記の観察対象の存否判別及び種類の識別により、移動体１３の被写体像を検出してよい。移動体情報と略同時期の画像とは、例えば、所定のフレームレートで連続的に撮像される画像の中で、移動体１３において空間位置を検出した時点に最も近接する時点で撮像された画像である。ただし、移動体情報と略同時期の画像は、厳密には、移動体１３において空間位置を検出した時点に最も近接する時点で撮像された画像に限定されなくてよい。移動体情報と略同時期の画像は、例えば、移動体情報と同時期に取得する画像等のように、移動体１３において空間位置を検出した時点に最も近接する時点で撮像された画像に見なし得る画像であってよい。

制御部２０は、検出した被写体像に対応する移動体１３の推定距離を画像に基づいて算出する。制御部２０は、算出した実測距離と、算出した推定距離とを対応付けてよい。単一の画像に移動体１３の単一の被写体像が検出された場合、算出された推定距離が算出された実測距離に対応付けられてよい。単一の画像に移動体１３の複数の被写体像が検出された場合、対応付け並びに距離情報の補正の停止、又は実測距離との差が最も小さい推定距離が実測距離に対応付けられてよい。

制御部２０は、互いに対応付けられた実測距離と推定距離との差分である距離ズレを算出する。制御部２０は、距離ズレを第１の閾値と比較する。第１の閾値は、支援情報として推定距離を含める場合に許容される誤差である。第１の閾値は、観察装置１０が観察する道路１２の制限速度等によって、手動又は自動で設定されてよい。

制御部２０は、算出された距離ズレと、距離ズレを算出させた実測距離と、距離ズレを算出させた推定距離に対応する画像位置とを対応付けて、記憶部１８に記憶させてよい。

図４に示すように、単眼カメラの画像を用いた推定距離の算出では、実空間における道路１２等の路面が単一の仮想平面ｖｐを形成していると仮定して、対応関係が定められている。画像位置は、観察装置１０の方向に対応している。観察装置１０から、各画像位置に対応する各方向へ延びる直線と、仮想平面ｖｐとの交点が推定距離に対応する。また、観察装置１０から、各画像位置に対応する各方向へ延びる直線と実際の道路１２の実路面ｒｐとの交点が実測距離に対応する。実際の道路１２の実路面ｒｐの鉛直方向の高さが仮想平面ｖｐの高さと異なっていると、推定距離及び実測距離の間に距離ズレが生じる。

例えば、仮想平面ｖｐ及び実路面ｒｐの鉛直方向高さが同じである第１の方向ｄｒ１に対して推定距離ｄｉｓ＿ｖ１及び実測距離ｄｉｓ＿ｒ１は同じであり、距離ズレはゼロである。例えば、仮想平面ｖｐ及び実路面ｒｐの鉛直方向高さが同じである第２の方向ｄｒ２に対して推定距離ｄｉｓ＿ｖ２及び実測距離ｄｉｓ＿ｒ２は同じであり、距離ズレはゼロである。例えば、仮想平面ｖｐ及び実路面ｒｐの鉛直方向高さが異なる第３の方向ｄｒ３に対して推定距離ｄｉｓ＿ｖ３及び実測距離ｄｉｓ＿ｒ３は異なり、距離ズレΔｄｉｓ３は第１の閾値以上である。例えば、仮想平面ｖｐ及び実路面ｒｐの鉛直方向高さが異なる第４の方向ｄｒ４に対して推定距離ｄｉｓ＿ｖ４及び実測距離ｄｉｓ＿ｒ４は異なり、距離ズレΔｄｉｓ４は第１の閾値以上である。例えば、仮想平面ｖｐ及び実路面ｒｐの鉛直方向高さが異なる第５の方向ｄｒ５に対して推定距離ｄｉｓ＿ｖ５及び実測距離ｄｉｓ＿ｒ５は異なり、距離ズレΔｄｉｓ５は第１の閾値以上である。

制御部２０は、推定距離を取得した地点における距離ズレが第１の閾値以上である場合、実測距離を用いて、距離情報を補正する。距離情報が変換表である場合、変換表における推定距離を取得した地点に対応する画像上の画像位置に対応する距離に関する情報を、実測距離に置換することにより補正してよい。例えば、制御部２０は、第２の方向ｄｒ２に対応する距離ズレΔｄｉｓ２が算出された場合、第２の方向ｄｒ２に対応する画像上の画像位置の、変換表における距離に関する情報を実測距離の値に置換する。距離情報が変換式である場合、推定距離を算出させた画像位置においては、実測距離が算出されるように変換式が補正されてよい。

制御部２０は、距離ズレが新たに算出される場合、記憶部１８に記憶されている実測距離に対応付けられた画像位置が、新たに算出される距離ズレに対応する画像位置と異なるか否かを判別してよい。距離ズレに対応する画像位置は、距離ズレの算出に用いた推定距離を算出させる画像位置である。制御部２０は、画像位置が異なる場合、新たに算出される距離ズレ及び格納済みの実測距離に対応する距離ズレの少なくとも一方が第１の閾値以上であるか否かを判別してよい。

制御部２０は、少なくとも一方が第１の閾値以上である場合、互いに異なる２つの画像位置の間の内包画像位置に対応する、距離情報における距離に関する情報を、当該２つの画像位置に対応する２つの実測距離を用いて補正してよい。内包画像位置は、互いに異なる２つの画像位置の間の画像上の位置である。すなわち、２つの画像位置に対応する周囲空間座標系の座標の間の地点の、撮像部１７が取得する画像上の位置である。具体的には、制御部２０は、距離情報における、内包画像位置に対応する距離に関する情報を、２つの画像位置に対応する２つの実測距離の差及び２つの推定距離の差、当該２つの実測距離の中でより短い実測距離、並びに当該短い実測距離及び内包画像位置に対応する推定距離の差に基づいて補正してよい。

例えば、第２の方向ｄｒ２に対応する画像位置と第３の方向ｄｒ３に対応する画像位置との２つの位置に挟まれる内包画像位置についての、距離情報で定義される距離に関する情報を、第２の方向ｄｒ２と第３の方向ｄｒ３に対応する２つの実測距離を用いて補正する。内包画像位置についての距離に関する情報は、第２の方向ｄｒ２に対応する画像位置と、第３の方向ｄｒ３に対応する画像位置がそれぞれ実測距離と一致するように、配分されてよい。例えば複数の内包画像位置の画像における距離（例えば画素間の距離）に応じて、それぞれの内包画像位置についての距離に関する情報を設定してよい。

例えば、制御部２０は、第２の方向ｄｒ２に対応する実測距離を記憶部１８に記憶後、第３の方向ｄｒ３に対応する距離ズレΔｄｉｓ３が算出される場合、第２の方向ｄｒ２から第３の方向ｄｒ３に挟まれる任意の方向に対応する、距離情報における距離に関する情報ｄｉｓ＿ｖｘを（１）式を用いて算出した補正距離ｃｄｉｓ＿ｖｘに置換する。

距離情報が変換表である場合、第１の方向ｄｒ１から第２の方向ｄｒ２に挟まれる任意の複数の方向に対応する画像位置の、変換表における距離に関する情報を、上記式による補正距離ｃｄｉｓ＿ｖｘに置換することにより補正してよい。または、距離情報が変換式である場合、第１の方向ｄｒ１から第２の方向ｄｒ２に挟まれる範囲において元の変換式に、（１）式を組み込むことにより元の変換式を補正してよい。

制御部２０は、記憶部１８に複数の実測距離が記憶され且つ距離ズレが新たに算出される場合、複数の実測距離の中で、新たに算出される距離ズレに対応する実測距離との差が最小である実測距離を用いて、前述の内包画像位置に対応する距離情報を補正してよい。

例えば、制御部２０は、実測距離ｄｉｓ＿ｒ２、ｄｉｓ＿ｒ３を記憶部１８に記憶後、距離ズレΔｄｉｓ４が新たに算出される場合、距離ズレΔｄｉｓ４に対応する実測距離ｄｉｓ＿ｒ４との差が最小となる、実測距離ｄｉｓ＿ｒ３を用いて、第３の方向ｄｒ３及び第４の方向ｄｒ４に挟まれる任意の方向に対応する画像位置の距離情報を補正する。

制御部２０は、距離ズレが第１の閾値未満である複数の画像位置がある場合、第１の閾値以上である距離ズレに対応付けられた画像位置に最も近い画像位置を用いて、内包画像位置に対応する距離情報を補正してよい。

例えば、制御部２０は、実測距離ｄｉｓ＿ｒ１、ｄｉｓ＿ｒ２を記憶部１８に記憶後、距離ズレΔｄｉｓ３が新たに算出される場合、距離ズレΔｄｉｓ４に対応する画像位置に最も近い画像位置である第２の方向ｄｒ２に対応する実測距離ｄｉｓ＿ｒ２を用いて、第２の方向ｄｒ２及び第３の方向ｄｒ３に挟まれる任意の方向に対応する画像位置の距離情報を補正する。

制御部２０は、距離ズレが第２の閾値以上である場合、距離情報を補正せずに、観察装置１０の異常であることを警告する警告情報を生成してよい。第２の閾値は、第１の閾値より大きくてよい。制御部２０は、警告情報を、観察装置１０を保守するユーザのサーバに送信するように、ネットワークＩＦ２１を制御してよい。

制御部２０は、動作モードを、少なくとも初期設定モード（初期設定）又は通常モードに切替え可能であってよい。制御部２０は、初期設定モード又は通常モードのいずれかにおいて、上述の距離情報の補正を行ってよい。制御部２０は、観察装置１０の設置時に、例えば入力機器を用いた入力により初期設定モードに切替えられてよい。制御部２０は、後述する初期設定モードの終了後に通常モードに切替えられてよい。

制御部２０は、初期設定モードにおいて、上述の距離情報の補正を行ってよい。制御部２０は、初期設定モードにおいて、単一の画像に移動体１３の単一の被写体像が検出された場合に距離情報の補正を行ってよい。制御部２０は、初期設定モードにおいて、単一の画像に移動体１３の複数の被写体像が検出された場合、対応付け並びに距離情報の補正を行わなくてよい。制御部２０は、初期設定モードにおいて、距離ズレが第２の閾値以上である場合、警告情報の生成を行わず、距離情報を補正してよい。

制御部２０は、初期設定モードにおいて距離情報が十分に修正された場合、初期設定モードを終了して通常モードに移行してよい。距離情報が十分に修正された条件は、例えば、１０台の移動体１３から移動体情報を取得したこと、言換えると、移動中の１０台の移動体１３それぞれから、複数回の移動体情報を取得したことであってよい。

ネットワークＩＦ２１は、外部ネットワークに接続する通信モジュールを含んでよい。観察装置１０は、ネットワークＩＦ２１を介して外部ネットワークに接続され、例えば、外部サーバと情報を通信してよい。

次に、本実施形態において制御部２０が実行する、初期設定モードにおける補正処理について、図５、６のフローチャートを用いて説明する。初期設定モードにおける補正処理は、観察装置１０の設置後に、入力機器を用いて動作モードを切替えることにより開始する。

ステップＳ１００において、制御部２０は、移動体情報を取得しているか否かを判別する。取得していない場合、プロセスはステップＳ１００に戻る。取得している場合、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部２０は、ステップＳ１００において取得したと判別した移動体情報から位置情報を抜出す。抜出し後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部２０は、ステップＳ１０１において抜出した位置情報に基づいて実測距離を算出する。実測距離の算出後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、制御部２０は、ステップＳ１００において取得したと判別した移動体情報と略同時期の画像から移動体１３の被写体像を検出する。被写体像の検出後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部２０は、ステップＳ１０３において複数の移動体１３の被写体像が検出されたか否かを判別する。複数の移動体１３の被写体像が検出された場合、プロセスはステップＳ１００に戻る。複数の移動体１３の被写体像が検出されず単一の移動体１３の被写体像が検出された場合、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、制御部２０は、ステップＳ１０３において検出した被写体像の画像位置から、記憶部１８に記憶された距離情報を用いて、推定距離を算出する。推定距離の算出後、プロセスはステップＳ１０６に進む。なお、初期設定モード開始時点において、記憶部１８には観察装置１０が観察する路面が平坦である前提で生成された距離情報が記憶されているものとする。

ステップＳ１０６では、制御部２０は、ステップＳ１０２において算出された実測距離と、ステップＳ１０５において算出された推定距離との差分として、距離ズレを算出する。距離ズレの算出後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、制御部２０は、ステップＳ１０２において算出された実測距離、ステップＳ１０５において算出された推定距離を算出させた画像位置、及びステップＳ１０６において算出した距離ズレを対応付ける。更に、制御部２０は、互いに対応付けて、実測距離、画像位置、及び距離ズレを記憶部１８に記憶させる。対応付け及び記憶の終了後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、制御部２０は、ステップＳ１０６において算出した距離ズレが第１の閾値以上であるか否かを判別する。第１の閾値以上である場合、プロセスはステップＳ１０９に進む。第１の閾値以上でない場合、プロセスはステップＳ１１０に進む。

ステップＳ１０９では、制御部２０は、特定の画像位置に対応する、距離情報における距離に関する情報をステップＳ１０２において算出した実測距離に基づいて補正する。特定の画像位置は、ステップＳ１０３において検出した移動体１３の被写体像の画像位置である。距離情報の補正後、プロセスはステップＳ１１０に進む。

ステップＳ１１０では、制御部２０は、記憶部１８に記憶されている画像位置が、ステップＳ１０７において対応付けが行われた画像位置と異なるか否かを判別する。異なる場合、プロセスはステップＳ１１１に進む。同じである場合、プロセスはステップＳ１１６に進む。

ステップＳ１１１では、制御部２０は、ステップＳ１０７において対応付けが行われた画像位置と異なる、記憶部１８に記憶されている画像位置が複数であるか否かを判別する。単一である場合、プロセスはステップＳ１１２に進む。複数である場合、プロセスはステップＳ１１３に進む。

ステップＳ１１２では、制御部２０は、記憶部１８に記憶されている実測距離に対応付けられた画像位置を、ステップＳ１０７において対応付けが行われた画像位置に対応付ける。対応付け後、プロセスはステップＳ１１４に進む。

ステップＳ１１３では、制御部２０は、記憶部１８に記憶された複数の実測距離の中で、ステップＳ１０７において算出された実測距離との差が最小である実測距離に対応付けられた画像位置を、ステップＳ１０７において対応付けが行われた画像位置に対応付ける。対応付け後、プロセスはステップＳ１１４に進む。

ステップＳ１１４では、制御部２０は、ステップＳ１１２及びステップＳ１１３のいずれかにおいて対応付けられた画像位置それぞれに対応する距離ズレの少なくとも一方が第１の閾値以上であるか否かを判別する。少なくとも一方の距離ズレが第１の閾値以上である場合、プロセスはステップＳ１１５に進む。両方の距離ズレが第１の閾値以上でない場合、プロセスはステップＳ１１６に進む。

ステップＳ１１５では、制御部２０は、画像位置の特定の範囲に対応する、距離情報における距離に関する情報を、ステップＳ１１２又はステップＳ１１３において対応付けられた画像位置それぞれに対応する実測距離に基づいて補正する。画像位置の特定の範囲は、ステップＳ１１２又はステップＳ１１３において対応付けられた画像位置に挟まれる範囲である。距離情報の補正後、プロセスはステップＳ１１６に進む。

ステップＳ１１６では、制御部２０は、１０台の移動体１３から移動体情報を取得済みであるか否かを判別する。取得していない場合、プロセスはステップＳ１００に戻る。取得している場合、初期設定モードにおける補正処理は終了する。

次に、本実施形態において制御部２０が実行する、通常モードにおける補正処理について、図７、８のフローチャートを用いて説明する。通常モードにおける補正処理は、初期設定モードの終了後、移動体情報を取得する場合開始する。

ステップＳ２００において、制御部２０は、新規に取得した移動体情報から位置情報を抜出す。抜出し後、プロセスはステップＳ２０１に進む。

ステップＳ２０１、Ｓ２０２では、制御部２０は、初期設定モードにおける補正処理のステップＳ１０２、Ｓ１０３と同じ制御を行う。ステップＳ２０２における被写体像の検出後、プロセスはステップＳ２０３に進む。

ステップＳ２０３では、制御部２０は、ステップＳ２０２において検出した被写体像の画像位置から、記憶部１８に記憶された距離情報を用いて、推定距離を算出する。推定距離の算出後、プロセスはステップＳ２０４に進む。

ステップＳ２０４では、制御部２０は、ステップＳ２０２において複数の移動体１３の被写体像が検出されたか否かを判別する。複数の移動体１３の被写体像が検出されず単一の移動体１３の被写体像が検出された場合、プロセスはステップＳ２０５に進む。複数の移動体１３の被写体像が検出された場合、プロセスはステップＳ２０６に進む。

ステップＳ２０５では、制御部２０は、ステップＳ２０１において算出された実測距離、及びステップＳ２０３において算出された推定距離を対応付ける。対応付け後、プロセスはステップＳ２０７に進む。

ステップＳ２０６では、制御部２０は、ステップＳ２０２において検出した移動体１３の複数の被写体像それぞれに対してステップＳ２０３において算出された推定距離の中で、ステップＳ２０１において算出された実測距離との差が最小となる推定距離を当該実測距離と対応付ける。対応付け後、プロセスはステップＳ２０７に進む。

ステップＳ２０７では、制御部２０は、ステップＳ２０５又はステップＳ２０６において対応付けられた実測距離及び推定距離の差分として、距離ズレを算出する。更に、制御部２０は、ステップＳ２０１において算出した実測距離、ステップＳ２０５又はＳ２０６において当該実測距離に対応付けられた推定距離を算出させた画像位置、及び算出した距離ズレを互いに対応付けて記憶部１８に記憶させる。距離ズレの算出及び記憶後、プロセスはステップＳ２０８に進む。

ステップＳ２０８では、制御部２０は、ステップＳ２０７において算出した距離ズレが第２の閾値以上であるか否かを判別する。第２の閾値以上である場合、プロセスはステップＳ２０９に進む。第２の閾値以上でない場合、プロセスはステップＳ２１０に進む。

ステップＳ２０９では、制御部２０は、警告情報を生成する。更に、制御部２０は、生成した警告情報を外部サーバに送信するように、ネットワークＩＦ２１を制御する。聖性及び送信後、通常モードにおける補正処理は終了する。

ステップＳ２１０では、制御部２０は、ステップＳ２０７において算出した距離ズレが第１の閾値以上であるか否かを判別する。第１の閾値以上である場合、プロセスはステップＳ２１１に進む。第１の閾値以上でない場合、プロセスはステップＳ２１２に進む。

ステップＳ２１１では、制御部２０は、特定の画像位置に対応する、距離情報における距離に関する情報をステップＳ２０１において算出した実測距離に基づいて補正する。特定の画像位置は、ステップＳ２０２において検出した移動体１３の被写体像の画像位置である。距離情報の補正後、プロセスはステップＳ２１２に進む。

ステップＳ２１２では、制御部２０は、記憶部１８に記憶されている画像位置が、ステップＳ２０５又はステップＳ２０６において対応付けが行われた画像位置と異なるか否かを判別する。同じである場合、プロセスはステップＳ２１３に進む。異なる場合、通常モードにおける補正処理は終了する。

ステップＳ２１３では、制御部２０は、ステップＳ２０５又はステップＳ２０６において対応付けが行われた画像位置と異なる、記憶部１８に記憶されている画像位置が複数であるか否かを判別する。単一である場合、プロセスはステップＳ２１４に進む。複数である場合、プロセスはステップＳ２１５に進む。

ステップＳ２１４では、制御部２０は、記憶部１８に記憶されている実測距離に対応付けられた画像位置を、ステップＳ２０５又はステップＳ２０６において対応付けが行われた画像位置に対応付ける。対応付け後、プロセスはステップＳ２１６に進む。

ステップＳ２１５では、制御部２０は、記憶部１８に記憶された複数の実測距離の中で、ステップＳ２０５又はＳ２０６において算出された実測距離との差が最小である実測距離に対応付けられた画像位置を、ステップＳ２０５又はＳ２０６において対応付けが行われた画像位置に対応付ける。対応付け後、プロセスはステップＳ２１６に進む。

ステップＳ２１６では、制御部２０は、ステップＳ２１４及びステップＳ２１５のいずれかにおいて対応付けられた画像位置それぞれに対応する距離ズレの少なくとも一方が第１の閾値以上であるか否かを判別する。少なくとも一方の距離ズレが第１の閾値以上である場合、プロセスはステップＳ２１７に進む。両方の距離ズレが第１の閾値以上でない場合、通常モードにおける補正処理は終了する。

ステップＳ２１６では、制御部２０は、画像位置の特定の範囲に対応する、距離情報における距離に関する情報を、ステップＳ２１４又はステップＳ２１５において対応付けられた画像位置それぞれに対応する実測距離に基づいて補正する。
画像位置の特定の範囲は、ステップＳ２１４又はステップＳ２１５において対応付けられた画像位置に挟まれる範囲である。距離情報の補正後、通常モードにおける補正処理は終了する。

以上のような構成の本実施形態の観察装置１０は、撮像部１７が撮像する画像上の画像位置と距離に関する情報との関係である距離情報を記憶する記憶部１８と、移動体１３から当該移動体１３の空間位置に関する位置情報を取得する通信部（取得部）１９と、位置情報に対応する実測距離と画像における移動体１３の画像位置及び距離情報に基づいて推定される推定距離との距離ズレが第１の閾値以上である場合実測距離を用いて距離情報を補正する制御部２０とを備える。このような構成により、観察装置１０は、実路面ｒｐの勾配等による鉛直方向における形状の違いを校正し得る。したがって、観察装置１０は、距離の推定精度を向上し得る。

また、本実施形態の観察装置１０は、互いに異なる２つの画像位置における、少なくとも一方の距離ズレが第１の閾値以上である場合、２つの画像位置の間の内包画像位置に対応する距離情報を、２つの画像位置に対応する２つの実測距離を用いて補正する。このような構成により、観察装置１０は、算出された２つの実測距離にそれぞれ対応する２つの画像位置だけでなく、当該２つの画像位置に挟まれる領域に対しても、実路面ｒｐの形状の違いを校正し得る。したがって、観察装置１０は、距離の推定精度を広い範囲で向上し得る。

また、本実施形態の観察装置１０は、距離ズレが第１の閾値未満である画像位置の中で、距離ズレが前記第１の閾値以上である画像位置に最も近い画像位置を用いて、内包画像位置に対応する距離情報を補正する。距離ズレが第１の閾値未満である画像位置に対応する距離情報を、距離ズレが第１の閾値以上である別の画像位置に対応する実測距離で補正すると、距離ズレが第１の閾値未満である画像位置から算出される距離の推定精度は低下する。このような事象に対して、上述の構成を有する観察装置１０は、距離ズレが第１の閾値以上である別の画像位置に対応する実測距離で補正される内包画像位置の範囲から、距離ズレが第１の閾値未満である画像位置を減少させ得る。したがって、観察装置１０は、距離の推定精度が低下する範囲を低減させ得る。

また、本実施形態の観察装置１０は、記憶部１８に複数の実測距離が記憶され且つ距離ズレが新たに算出される場合、複数の実測距離の中で、新たに算出される距離ズレに対応する実測距離との差が最小である実測距離を用いて、前述の内包画像位置に対応する距離情報を補正する。例えば、図９に示すように、実路面ｒｐに対して、８か所の実測距離ｄｉｓ＿ｒが算出される場合、実測距離が短い順番に並べて、１か所おきの２か所の実測距離で距離情報を補正すると、実路面ｒｐとの距離ズレが比較的大きな第１の仮想平面ｖｐ１に基づいて距離が推定される。一方で、上記構成を有する観察装置１０は、図１０に示すように、第１の仮想平面ｖｐ１よりも実路面ｒｐとの距離ズレが小さな第２の仮想平面ｖｐ２に基づいて距離を推定し得る。したがって、観察装置１０は、距離の推定精度をより向上し得る。

また、本実施形態の観察装置１０は、画像に移動体１３の複数の像が含まれる場合、移動体１３の複数の像それぞれに対応する推定距離の中で、実測距離との差が最も小さい推定距離と当該実測距離とに基づいて、距離情報を補正する。このような構成により、観察装置１０は、画像から移動体１３の複数の被写体像が検出される場合に、いずれの被写体像を用いて距離情報を補正するかを適切に定め得る。したがって、観察装置１０は、画像から移動体１３の複数の被写体像が検出される場合においても、距離情報を補正し得る。

また、本実施形態の観察装置１０は、距離ズレが第１の閾値より大きな第２の閾値以上である場合、観察装置１０の異常であることを警告する警告情報を生成する。このような構成により、観察装置１０では、観察装置１０そのものの異常又は観察装置１０の取付異常と想定される状態が警告され得る。

また、本実施形態の観察装置１０は、初期設定中に距離ズレが前記第２の閾値以上である場合、警告情報の生成を停止し、距離情報を補正する。初期設定における距離情報の補正に際し、距離ズレは比較的大きくなることがある。このような事象に対して、観察装置１０は、初期設定中においては観察装置１０の異常であることの判別を行わないので、不必要な警告を防止し得る。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示において「第１」、「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の方向は、第２の方向と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 観察装置
１１ 通信システム
１２ 道路
１３ 移動体
１４ 歩行者
１５ 信号機
１６ 横断歩道
１７ 撮像部
１８ 記憶部
１９ 取得部
２０ 制御部
２１ 通信部
２２ 構造物
ｄｒ１ 第１の方向
ｄｒ２ 第２の方向
ｄｒ３ 第３の方向
ｄｒ４ 第４の方向
ｒｐ 実路面
ｏｘ 光軸
ｖｐ 仮想平面

Claims (9)

1. 所定の領域の観察対象までの距離を推定する観察装置であって、
   前記所定の領域を含む空間の撮像により画像を生成する撮像部と、
   前記撮像部が撮像する画像上の画像位置と、前記距離に関する情報との関係である距離情報を記憶する記憶部と、
   移動体から、該移動体の空間位置に関する位置情報を取得する取得部と、
   前記位置情報に対応する実測距離と、前記画像における前記移動体の画像位置及び前記距離情報に基づいて取得される推定距離との距離ズレが第１の閾値以上である場合、前記実測距離を用いて前記距離情報を補正する制御部と、を備える
   観察装置。
2. 請求項１に記載の観察装置において、
   前記制御部は、前記推定距離に対応する前記画像位置に対応する前記距離に関する情報を、前記実測距離によって補正することで、前記距離情報を補正する
   観察装置。
3. 請求項１又は２に記載の観察装置において、
   前記制御部は、互いに異なる２つの前記画像位置における、少なくとも一方の前記距離ズレが前記第１の閾値以上である場合、前記２つの画像位置の間の内包画像位置に対応する前記距離情報を、前記２つの画像位置に対応する２つの前記実測距離を用いて補正する
   観察装置。
4. 請求項３に記載の観察装置において、
   前記制御部は、前記内包画像位置に対応する推定距離を、前記２つの画像位置に対応する２つの実測距離の差及び２つの推定距離の差と、該２つの実測距離の中でより短い実測距離と、該短い実測距離及び前記内包画像位置に対応する推定距離の差とに基づいて補正を行う
   観察装置。
5. 請求項４に記載の観察装置において、
   前記制御部は、前記実測距離が取得された位置に対応する２つの画像位置についての前記距離に関する情報を、前記実測距離と一致させ、
   複数の前記内包画像位置についての前記距離に関する情報を、前記画像における各々の前記内包画像位置の距離に応じて設定する、
   観察装置。
6. 請求項３から５のいずれか１項に記載の観察装置において、
   前記制御部は、前記距離ズレが前記第１の閾値未満である前記画像位置の中で、前記距離ズレが前記第１の閾値以上である前記画像位置に最も近い画像位置を用いて、前記内包画像位置に対応する距離情報を補正する
   観察装置。
7. 請求項１から６のいずれか１項に記載の観察装置において、
   前記制御部は、前記画像に前記移動体の複数の像が含まれる場合、前記移動体の複数の像それぞれに対応する前記推定距離の中で、前記実測距離との差が最も小さい前記推定距離と該実測距離とに基づいて、前記距離情報を補正する
   観察装置。
8. 請求項１から７のいずれか１項に記載の観察装置において、
   前記制御部は、前記距離ズレが第１の閾値より大きな第２の閾値以上である場合、前記観察装置の異常であることを警告する警告情報を生成する
   観察装置。
9. 請求項８に記載の観察装置において、
   制御部は、
   動作モードを初期設定モード及び通常モードに切替え可能であり、
   前記初期設定モードの場合に前記距離ズレが前記第２の閾値以上であるとき前記警告情報の生成を行わずに前記距離情報を補正し、前記通常モードの場合に前記距離ズレが前記第２の閾値以上であるとき、前記警告情報の生成を行う
   観察装置。

Images