JP2017058274A - 計測装置、方法及びプログラム - Google Patents

計測装置、方法及びプログラム Download PDF

Info

Publication number
JP2017058274A
JP2017058274A JP2015183874A JP2015183874A JP2017058274A JP 2017058274 A JP2017058274 A JP 2017058274A JP 2015183874 A JP2015183874 A JP 2015183874A JP 2015183874 A JP2015183874 A JP 2015183874A JP 2017058274 A JP2017058274 A JP 2017058274A
Authority
JP
Japan
Prior art keywords
moving body
unit
information
images
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015183874A
Other languages
English (en)
Other versions
JP6499047B2 (ja
Inventor
豪 田崎
Takeshi Tazaki
豪 田崎
学 西山
Manabu Nishiyama
学 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015183874A priority Critical patent/JP6499047B2/ja
Priority to US15/257,221 priority patent/US10650535B2/en
Publication of JP2017058274A publication Critical patent/JP2017058274A/ja
Application granted granted Critical
Publication of JP6499047B2 publication Critical patent/JP6499047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

【課題】時系列で撮像された複数の画像内に移動体が存在する場合であっても、3次元計測の精度の悪化を抑える。
【解決手段】実施形態の計測装置は、第1取得部と、第2取得部と、第3取得部と、特定部と、第1推定部と、探索部と、計測部と、を備える。第1取得部は、時系列で撮像された複数の画像を取得する。第2取得部は、移動体の第1位置情報及び第1向き情報を取得する。第3取得部は、他の移動体の第2位置情報を含む他移動体情報を取得する。特定部は、第1位置情報、第1向き情報、及び他移動体情報に基づいて、複数の画像に対し、他の移動体の移動体領域を特定する。第1推定部は、複数の画像に基づいて、撮像部の位置及び姿勢を推定する。探索部は、複数の画像それぞれの移動体領域以外の非移動体領域間で、対応点の組を複数探索する。計測部は、撮像部の位置及び姿勢と複数の対応点の組とに基づいて3次元計測を行う。
【選択図】図1

Description

本発明の実施形態は、計測装置、方法及びプログラムに関する。
従来から、走行する車両などの移動体に設置されたカメラにより時系列で撮像された複数の画像、及び当該移動体の移動量を用いて、3次元計測を行う技術が知られている。
特開2014−142241号公報
しかしながら、上述したような従来技術では、撮像された画像内に他の移動体が存在する場合、当該他の移動体の移動の結果、画像間での当該他の移動体の位置にズレが生じるため、3次元計測の精度が悪くなってしまう。
本発明が解決しようとする課題は、時系列で撮像された複数の画像内に移動体が存在する場合であっても、3次元計測の精度の悪化を抑えることができる計測装置、方法及びプログラムを提供することを目的とする。
実施形態の計測装置は、第1取得部と、第2取得部と、第3取得部と、特定部と、第1推定部と、探索部と、計測部と、を備える。第1取得部は、移動体に搭載された撮像部により時系列で撮像された複数の画像を取得する。第2取得部は、前記移動体の位置を示す第1位置情報、及び前記移動体の向きを示す第1向き情報を取得する。第3取得部は、前記移動体の周囲を移動する他の移動体の位置を示す第2位置情報を含む他移動体情報を取得する。特定部は、前記第1位置情報、前記第1向き情報、及び前記他移動体情報に基づいて、前記複数の画像それぞれに対し、前記他の移動体が存在する移動体領域を特定する。第1推定部は、前記複数の画像に基づいて、前記撮像部の位置及び姿勢を推定する。探索部は、前記複数の画像それぞれの前記移動体領域以外の非移動体領域間で、対応点の組を複数探索する。計測部は、前記撮像部の位置及び姿勢と前記複数の対応点の組とに基づいて3次元計測を行う。
本実施形態の計測装置及び移動体の構成例を示す図。 本実施形態の移動体の例を示す模式図。 本実施形態のモデル情報の例を示す図。 本実施形態の画像の例を示す図。 本実施形態の移動体領域の特定例を示す説明図。 本実施形態の移動体領域の特定例を示す説明図。 本実施形態の移動体領域の特定例を示す説明図。 本実施形態の特徴点の追跡手法の例を示す説明図。 本実施形態の特徴点の追跡手法の例を示す説明図。 本実施形態の対応点の探索手法の例を示す説明図。 本実施形態の3次元点の抽出手法の例を示す説明図。 本実施形態の空間の分割手法の例を示す説明図。 本実施形態の代表点の選択手法の例を示す説明図。 本実施形態の移動面の推定手法の例を示す説明図。 本実施形態の障害物の検出手法例を示す説明図。 本実施形態の処理例を示すフローチャート。 本実施形態の比較例を示す説明図。 本実施形態の効果例を示す説明図。 本実施形態の計測装置のハードウェア構成例を示す図。
以下、添付図面を参照しながら、実施形態を詳細に説明する。
図1は、本実施形態の計測装置10の構成、及び当該計測装置10を搭載する移動体1の構成の一例を示す図であり、図2は、本実施形態の移動体1の一例を示す模式図である。図1に示すように、計測装置10は、撮像部5及び方位センサ6を備える移動体1に搭載され、第1取得部11と、第2取得部13と、第3取得部15と、特定部17と、第1推定部18と、探索部19と、計測部21と、第2推定部23と、検出部25と、出力部27と、を備える。
本実施形態では、移動体1が、路面を移動面として移動する自動車などの車両である場合を例に取り説明するが、これに限定されるものではない。移動体1は、例えば、水面を移動面として移動する船舶や、床面を移動面として移動するロボットなど、移動面を移動可能な物体であればどのようなものであってもよい。
撮像部5は、例えば、画像センサやカメラなどにより実現できる。撮像部5は、移動体1の周囲(例えば、移動体1の進行方向)を時系列で撮像し、撮像した複数の画像を計測装置10に出力する。
方位センサ6は、移動体1の向きを検知し、検知した移動体1の向きを示す第1位置情報を計測装置10に出力する。
第1取得部11、第2取得部13、第3取得部15、特定部17、第1推定部18、探索部19、計測部21、第2推定部23、検出部25、及び出力部27は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。なお、計測装置10は、チップ(集積回路)として実現してもよいし、通常のコンピュータとして実現してもよい。
第1取得部11は、撮像部5から、時系列で撮像された複数の画像を取得する。
第2取得部13は、移動体1の位置を示す第1位置情報、及び移動体1の向きを示す第1向き情報を逐次取得する。例えば、第2取得部13は、GPS(Global Positioning System)衛星などから第1位置情報を取得し、方位センサ6から第1向き情報を取得する。但し、第1位置情報及び第1向き情報の取得方法は、これに限定されるものではない。
第3取得部15は、移動体1の周囲を移動する他の移動体の位置を示す第2位置情報を含む他移動体情報を取得する。なお、他移動体情報は、他の移動体の速度を示す速度情報、他の移動体の形状を抽象化したモデルを示すモデル情報、他の移動体の色及び模様の少なくともいずれかを示すテクスチャ情報、及び他の移動体の向きを示す第2向き情報の少なくともいずれかを更に含んでいてもよい。モデル情報は、図3に示すように、少なくとも他の移動体の幅、高さ、及び奥行の長さの少なくともいずれかを示していればよい。この場合、モデル情報は、他の移動体の形状を直方体に抽象化したモデルを示す。但し、モデル情報は、他の移動体の幅、高さ、及び奥行の長さのいずれかの長さを定数倍した立方体のモデルを示すようにしてもよいし、他の移動体の幅、高さ、及び奥行の長さのいずれかの長さから車の一般的な縦横比率により他の辺の長さを推定した直方体のモデルを示すようにしてもよい。
例えば、第3取得部15は、移動体1の周囲を移動する他の移動体と車車間通信(例えば、IEEE802.21p規格の無線通信)を行うことにより、当該他の移動体から他移動体情報を逐次取得する。この場合、他の移動体は、GPS衛星などから第2位置情報を取得して、他移動体情報に含め、移動体1(計測装置10)に送信する。また、他の移動体は、自身の速度を検出して速度情報を生成し、他移動体情報に含めてもよい。また、他の移動体は、自身のモデル情報やテクスチャ情報を予め保持していれば、これらを他移動体情報に含めてもよい。また、他の移動体は、自身に搭載された方位センサから第2向き情報を取得して、他移動体情報に含めてもよい。
また例えば、第3取得部15は、移動体1の周囲の路肩に存在する監視装置と路車間通信(例えば、IEEE802.21p規格の無線通信)を行うことにより、当該監視装置から移動体1の周囲を移動する他の移動体の他移動体情報を逐次取得してもよい。監視装置は、例えば、監視カメラなどが挙げられるが、これに限定されるものではない。この場合、監視装置は、移動体1の周囲を移動する他の移動体を撮像し、撮像した画像を用いて、第2位置情報を算出して、他移動体情報に含め、移動体1(計測装置10)に送信する。なお、監視装置は、第2位置情報の算出にGPS衛星などから取得した監視装置の位置情報を用いてもよい。また監視装置は、撮像した画像を用いて、モデル情報、テクスチャ情報、及び第2向き情報を算出して、他移動体情報に含めてもよい。
特定部17は、第2取得部13により取得された第1位置情報及び第1向き情報、並びに第3取得部15により取得された他移動体情報に基づいて、第1取得部11により取得された複数の画像それぞれに対し、他の移動体が存在する移動体領域を特定する。
具体的には、特定部17は、他移動体情報に含まれる速度情報が示す速度が第1閾値以上であれば、他の移動体が移動中であると判断する。なお、他移動体情報に速度情報が含まれない場合、特定部17は、今回の他移動体情報に含まれる第2位置情報が示す位置と前回の他移動体情報に含まれる第2位置情報が示す位置との差分、及び他移動体情報の取得間隔から、他移動体情報の速度を算出すればよい。
そして特定部17は、他の移動体が移動中であると判断した場合、第2取得部13により取得された第1位置情報及び第1向き情報、並びに第3取得部15により取得された他移動体情報の第2位置情報に基づいて、第1取得部11により取得された画像上での他の移動体の位置を特定する。なお、特定部17は、移動体1の位置及び向き、並びに他の移動体の位置が分かるため、移動体1の撮像部5により撮像された画像上での移動体1と他の移動体との位置関係を特定でき、当該画像上での他の移動体の位置を特定できる。また、第1位置情報、第1向き情報、他移動体情報、及び画像は、略同一時刻に取得されているものとする。
更に特定部17は、画像上で特定した他の移動体の位置に基づいて、当該画像上で当該他の移動体が存在する移動体領域を特定する。
具体的には、特定部17は、特定した他の移動体の位置に基づく予め定められた大きさの領域を移動体領域に特定する。例えば、特定部17は、特定した他の移動体の位置を中心とした予め定められた画素数の領域を移動体領域に特定する。なお、移動体領域の形状は、矩形や円などどのような形状であってもよい。
また、特定部17は、特定した他の移動体の位置に基づく当該他の移動体と移動体1との距離に応じた大きさの領域を移動体領域に特定してもよい。例えば、特定部17は、図4に示すように、他の移動体31、32の位置(中心位置)を特定した場合、図5に示すように、他の移動体31の位置を中心とした移動体領域41、他の移動体32の位置を中心とした移動体領域42を特定してもよい。図4及び図5に示す例では、他の移動体31よりも他の移動体32の方が、移動体1との距離が長い(遠い)ため、移動体領域41よりも移動体領域42の方が、大きさ(画素数)が小さくなっている。なお、移動体1と他の移動体との距離は、第1位置情報及び第2位置情報から求められる。
また、特定部17は、特定した他の移動体の位置に基づく当該他の移動体のモデルに応じた領域を移動体領域に特定してもよいし、更に、他の移動体の向きに応じた領域を移動体領域に特定してもよいし、更に、他の移動体と移動体1との距離に応じた領域を移動体領域に特定してもよい。例えば、特定部17は、図4に示すように、他の移動体31、32の位置(中心位置)を特定した場合、図6に示すように、他の移動体31の位置を中心とした移動体領域51、他の移動体32の位置を中心とした移動体領域52を特定してもよい。
図6に示す例では、移動体領域51は、他の移動体31のモデル、向き、及び移動体1との距離に応じた領域となっており、具体的には、3次元空間上で他の移動体31のモデル及び向きを設定して他の移動体31の位置が中心となるように投影された領域となっている。同様に、移動体領域52は、他の移動体32のモデル、向き、及び移動体1との距離に応じた領域となっており、具体的には、3次元空間上で他の移動体32のモデル及び向きを設定して他の移動体32の位置が中心となるように投影された領域となっている。なお、他の移動体のモデルはモデル情報、他の移動体の向きは第2向き情報から求められる。
また、移動体領域を、他の移動体31のモデル、及び移動体1との距離に応じた領域とする場合、モデルの奥行きを画像上に投影した長さを矩形の水平方向の長さ、モデルの高さを画像上に投影した矩形の高さ方向の長さとして投影すればよい。
また、特定部17は、特定した他の移動体の位置に基づく当該他の移動体のテクスチャ情報に応じた領域を移動体領域に特定してもよい。例えば、特定部17は、図4に示すように、他の移動体31、32の位置(中心位置)を特定した場合、図7に示すように、他の移動体31の移動体領域61、他の移動体32の移動体領域62を特定してもよい。
図7に示す例では、移動体領域61は、他の移動体31のテクスチャ情報に応じた領域となっており、具体的には、他の移動体31の位置付近でテクスチャ情報が示す色と同一又は類似する色を持つ領域となっている。同様に、移動体領域62は、他の移動体32のテクスチャ情報に応じた領域となっており、具体的には、他の移動体32の位置付近でテクスチャ情報が示す色と同一又は類似する色を持つ領域となっている。
第1推定部18は、第1取得部11により取得された複数の画像に基づいて、撮像部5の位置及び姿勢を推定する。具体的には、第1推定部18は、複数の画像それぞれから特徴点を抽出し、当該複数の画像間で当該特徴点を追跡して、撮像部5の位置及び姿勢を推定する。但し、本実施形態では、第1推定部18は、複数の画像それぞれの移動体領域以外の非移動体領域から特徴点を抽出し、当該複数の画像間で当該特徴点を追跡して、撮像部5の位置及び姿勢を推定する。
例えば、図8に示す時刻t−1の時点で撮像された画像及び図9に示す時刻tの時点で撮像された画像の例の場合、第1推定部18は、移動体領域74以外の非移動体領域から特徴点を抽出し、図8に示す画像から抽出した特徴点を図9に示す画像上で追跡する。この場合、第1推定部18は、図8に示す画像から抽出した特徴点71、72、73それぞれを、図9に示す画像から抽出した特徴点81、82、83として追跡し、画像上での各特徴点の時系列での対応を求める。そして第1推定部18は、求めた各特徴点の時系列での対応(姿勢回転R及び並進移動T)から、前回の撮像部5の位置及び姿勢からの相対的な撮像部5の位置及び姿勢(現在の撮像部5の位置及び姿勢)をエピポーラ幾何で求める。
なお、特徴点は、画像中の輝度差の大きい点(例えば、横方向での輝度差が大きく、かつ縦方向での輝度差が大きい点)とすることができ、例えば、Harrisコーナーディテクタなどの公知の抽出手法で抽出できる。
なお本実施形態では、特徴点の追跡の一例として、特徴点同士を対応付ける手法を記載しているが、特徴点をある画素周囲の領域ととらえ、領域と領域とで画素を対応付けたり、領域と特徴点とで画素を対応付けることも特徴点の追跡に含まれる。
探索部19は、第1取得部11により取得された複数の画像それぞれの非移動体領域間で、対応点の組を複数探索する。具体的には、探索部19は、前回撮像された画像上の非移動体領域に探索点を配置し、今回撮像された画像上で当該探索点に対応する対応点を探索し、対応点の組とする。
なお、前回撮像された画像上の非移動体領域に対する探索点の配置は、非移動体領域のエッジ部分全体に配置するようにしてもよいし、非移動体領域全体に均等に配置するようにしてもよい。また、探索部19は、第1推定部18により推定された撮像部5の位置及び姿勢から、今回撮像された画像上で探索点が観測されうる範囲を特定できるため、当該特定した範囲を探索して、探索点の対応点を探索する。具体的には、探索点は、図10に示すように、エピポーラ線(図10では、矢印で図示)上で観測されうるため、探索部19は、エピポーラ線上で探索点に対応する対応点を探索する。
本実施形態では、前回撮像された画像上に探索点を配置し、今回撮像された画像上で当該探索点に対応する対応点を探索する例について説明したが、今回撮像された画像上に探索点を配置し、前回撮像された画像上で当該探索点に対応する対応点を探索するようにしてもよい。
計測部21は、第1推定部18により推定された撮像部5の位置及び姿勢と探索部19により探索された複数の対応点の組とに基づいて3次元計測を行い、3次元点を得る。具体的には、計測部21は、第1推定部18により推定された撮像部5の位置及び姿勢と探索部19により探索された複数の対応点の組とを用いて、三角測量の原理などを利用した3次元計測を行うことで、対応点それぞれの奥行を復元し、3次元点を得る。
第2推定部23は、計測部21により得られた3次元点群に基づいて、移動体1が移動する移動面を推定する。移動面の推定には、例えば、公知技術であるRANSACによる平面検出手法などを用いればよい。具体的には、計測部21により得られた3次元点群のうち第2閾値以下の高さにある3点を1組としてランダムで複数回取得し、3点で構成される平面と第3閾値距離内に存在する他の3次元点の個数が最も多い平面を移動面として推定すればよい。
なお、以下の手法を用いれば高精度に移動面を推定することが可能である。
第2推定部23は、第1推定部18により推定された撮像部5の姿勢(移動体1の姿勢)の時系列変化に基づいて、第4閾値を設定する。具体的には、第2推定部23は、撮像部5の姿勢の時系列変化が大きくなるほど、値が小さくなるように第4閾値を設定する。詳細には、第2推定部23は、撮像部5の姿勢の時系列変化を示す値を単調減少関数に適用して求めた値を第4閾値に設定する。
例えば、単調減少関数がy=−ax+b(a、bは、任意の変数とする)であるとする。この場合、第2推定部23は、現時刻tの移動体1の撮像部5の姿勢を示す値と、現時刻tからP時間前の撮像部5の姿勢の算出時刻t−Pの移動体1の撮像部5の姿勢を示す値と、の差分の絶対値を算出し、算出した差分の絶対値を単調減少関数のxに代入して求めたyの値を第4閾値に設定する。
なお、算出時刻t−Pは、前回の撮像部5の姿勢の算出時刻であることが好ましいが、これに限定されず、前回以前の撮像部5の姿勢の算出時刻であればよい。また、差分の絶対値としては、例えば、Roll,Pitch,Yawそれぞれの差分の絶対値の合計値などが挙げられるが、これに限定されるものではない。
第2推定部23は、計測部21により得られた3次元点群のうち移動体1の移動方向での移動体1からの距離が、設定した第4閾値以下の複数の3次元点を抽出する。
図11は、本実施形態の3次元点の抽出手法の一例を示す説明図であり、計測部21により得られた3次元点群101をyz平面で表している。なお、移動体1の移動方向は、z軸方向(詳細には、+z方向)となる。図11に示す例の場合、第2推定部23は、3次元点群101のうち、z座標の値が設定した第4閾値T以下の複数の3次元点102を抽出する。
第2推定部23は、抽出した複数の3次元点が位置する空間を、移動体1の移動方向で複数の分割空間に分割する。
図12は、本実施形態の空間の分割手法の一例を示す説明図であり、3次元点群101及び複数の3次元点102をyz平面で表している。図12に示す例の場合、第2推定部23は、抽出した複数の3次元点102が取り得るz座標の最小値L及び最大値Uを特定し、z座標の値がL以上U以下となる1つの空間をz軸方向でk(k≧2)等分し、k個のブロック空間に分割する。なお、図12では、U=Tである場合を例示しているが、Uの値はU≦Tの関係が成り立てばよい。
第2推定部23は、分割した分割空間毎に、当該分割空間に含まれる3次元点の中から代表点を選択する。具体的には、第2推定部23は、分割空間に含まれる3次元点のうち鉛直方向で最下点にある3次元点を、代表点に選択する。
図13は、本実施形態の代表点の選択手法の一例を示す説明図であり、複数の3次元点102及び分割されたブロック空間をyz平面で表している。図13に示す例の場合、第2推定部23は、各ブロック空間において、y座標の値が最大となる3次元点を代表点に選択しており、第1ブロック空間においては、3次元点103−1を代表点に選択しており、第kブロック空間においては、3次元点103−kを代表点に選択している。
第2推定部23は、選択した複数の代表点を近似する面を、移動体1が移動する移動面に推定する。
図14は、本実施形態の移動面の推定手法の一例を示す説明図であり、分割されたブロック空間及び選択したk個の代表点103をyz平面で表している。図14に示す例の場合、第2推定部23は、選択したk個の代表点103を近似する面104(但し、図14に示すyz平面上では、直線で表される)を、移動体1が移動する移動面に推定する。
検出部25は、計測部21により得られた3次元点群と第2推定部23により推定された移動面とに基づいて、障害物を検出する。具体的には、検出部25は、計測部21により得られた3次元点群のうち移動面上に存在しない3次元点を障害物として検出する。
図15は、本実施形態の検出部25の障害物の検出手法の一例を示す説明図であり、計測部21により得られた3次元点群101及び第2推定部23により推定された移動面104をyz平面で表している。図15に示す例の場合、検出部25は、3次元点群101に含まれる3次元点毎に、移動面104とのy軸方向での距離dを算出し、距離dが誤差以上となる3次元点を、障害物を構成する3次元点として検出する。ここで、誤差とは、計測部21による3次元計測の計測誤差である。
出力部27は、検出部25の検出結果に基づく出力を行う。例えば、検出した障害物の位置を移動体1に備えられたスピーカ(図示省略)から音声出力させたり、検出した障害物の位置を第1取得部11により取得された画像上に示して、移動体1に備えられたディスプレイで表示出力させたりする。
図16は、本実施形態の処理の手順の流れの一例を示すフローチャートである。
まず、第1取得部11は、撮像部5から、時系列で撮像された画像を逐次取得し、第2取得部13は、第1位置情報、及び第1向き情報を逐次取得する(ステップS101)。
続いて、第3取得部15は、移動体1の周囲を移動する他の移動体の他移動体情報を取得する(ステップS103)。
続いて、特定部17は、第2取得部13により取得された第1位置情報及び第1向き情報、並びに第3取得部15により取得された他移動体情報に基づいて、第1取得部11により取得された画像に対し、他の移動体が存在する移動体領域を特定する(ステップS105)。
続いて、第1推定部18は、撮像部5の位置及び姿勢を推定するため、第1取得部11により取得された複数の画像それぞれの非移動体領域から特徴点を抽出し、十分な特徴点を抽出できていれば(ステップS107でYes)、複数の画像間で当該特徴点を追跡(トラッキング)して(ステップS109)、撮像部5の位置及び姿勢を推定する(ステップS111)。
なお、十分な特徴点を抽出できていなかったり(ステップS107でNo)、撮像部5の位置及び姿勢の推定に失敗した場合(ステップS113でNo)、処理は終了となる。
続いて、撮像部5の位置及び姿勢の推定に成功した場合(ステップS113でYes)、探索部19は、第1取得部11により取得された複数の画像それぞれの非移動体領域間で、対応点の組を複数探索する(ステップS114)。
続いて、計測部21は、第1推定部18により推定された撮像部5の位置及び姿勢と探索部19により探索された複数の対応点の組とに基づいて3次元計測を行い、3次元点を得る(ステップS115)。
続いて、第2推定部23は、計測部21により得られた3次元点群に基づいて、移動体1が移動する移動面を推定する(ステップS117)。
続いて、検出部25は、計測部21により得られた3次元点群と第2推定部23により推定された移動面とに基づいて、障害物を検出する(ステップS119)。
続いて、出力部27は、検出部25の検出結果に基づく出力を行う(ステップS121)。
図17に示すように、移動中の他の移動体200に対して、画像上で対応点の組を探索してしまうと、前回撮像された時点での他の移動体200上の探索点201の位置と今回撮像された時点での他の移動体200の対応点202の位置とがズレてしまう。このため、探索点201と対応点202との組を対応点の組として3次元計測を行ってしまうと、三角測量の原理上、3次元点(詳細には、奥行き)を精度よく求めることはできない。
一方、図18に示すように、物体などの移動しない非移動体210に対して、画像上で対応点の組を探索しても、前回撮像された時点での非移動体210上の探索点211の位置と今回撮像された時点での非移動体210の対応点211の位置とにズレはほぼ生じない。このため、探索点211と対応点211との組を対応点の組として3次元計測を行った場合、三角測量の原理上、3次元点(詳細には、奥行き)を精度よく求めることができる。
本実施形態では、複数の画像間での対応点の組の探索を移動体領域以外の非移動体領域で行うため、移動体(他の移動体)を除外して対応点の組を探索することができるので、3次元計測の精度の悪化を抑えることができる。
このように本実施形態によれば、3次元計測の精度の悪化を抑えることができるため、このようにして得られた3次元点を用いて障害物検出を行えば、障害物の検出精度を向上させることができ、例えば、高さが10cm程度の微小な障害物であっても正しく検出することが可能となる。
また本実施形態によれば、移動体の姿勢の変化が大きいほど閾値の値を小さくし、移動体の姿勢の変化が大きくなってもその影響により3次元計測精度が悪くなりにくい、移動体から近い部分の3次元点を用いて移動体の移動面を推定するようにしているため、移動面の推定精度を向上させることもできる。
このように本実施形態によれば、移動面の推定精度も向上させることができるため、このようにして推定された移動面を用いて障害物検出を行えば、障害物の検出精度をより向上させることができる。
また本実施形態によれば、撮像部5の位置及び姿勢を推定する際にも非移動体領域から特徴点を抽出するため、追跡する特徴点の位置にズレはほぼ生じず、撮像部5の位置及び姿勢の推定精度の悪化も抑えることができる。
(変形例)
なお、上記実施形態では、移動面との距離(高さ方向での距離)が誤差以上となる3次元点を、障害物を構成する3次元点として検出する例について説明したが、移動面との距離(高さ方向での距離)が誤差以上かつ第5閾値以下となる3次元点を、障害物を構成する3次元点として検出するようにしてもよい。この場合、第5閾値を、移動体1の車高程度の高さ(距離)とすれば、信号機や歩道橋などが障害物として誤検出されてしまうことを防止できる。
(ハードウェア構成)
図19は、実施形態及び変形例の計測装置のハードウェア構成の一例を示す図である。図19に示すように、実施形態及び変形例の計測装置は、CPUなどの制御装置901と、ROMやRAMなどの主記憶装置902と、HDDやSSDなどの補助記憶装置903と、ディスプレイなどの表示装置904と、キーボードやマウスなどの入力装置905と、通信インタフェースなどの通信装置906と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
実施形態及び変形例の計測装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
また、実施形態及び変形例の計測装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、実施形態及び変形例の計測装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、実施形態及び変形例の計測装置で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。
実施形態及び変形例の計測装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、CPUがROMやHDDなどからプログラムをRAM上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
本発明は、上記実施形態及び変形例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態及び変形例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、上記実施形態及び変形例に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせても良い。
例えば、実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
以上のように、上記実施形態及び変形例によれば、時系列で撮像された複数の画像内に移動体が存在する場合であっても、3次元計測の精度の悪化を抑えることができる。
1 移動体
5 撮像部
6 方位センサ
10 計測装置
11 第1取得部
13 第2取得部
15 第3取得部
17 特定部
18 第1推定部
19 探索部
21 計測部
23 第2推定部
25 検出部
27 出力部

Claims (14)

  1. 移動体に搭載された撮像部により時系列で撮像された複数の画像を取得する第1取得部と、
    前記移動体の位置を示す第1位置情報、及び前記移動体の向きを示す第1向き情報を取得する第2取得部と、
    前記移動体の周囲を移動する他の移動体の位置を示す第2位置情報を含む他移動体情報を取得する第3取得部と、
    前記第1位置情報、前記第1向き情報、及び前記他移動体情報に基づいて、前記複数の画像それぞれに対し、前記他の移動体が存在する移動体領域を特定する特定部と、
    前記複数の画像に基づいて、前記撮像部の位置及び姿勢を推定する第1推定部と、
    前記複数の画像それぞれの前記移動体領域以外の非移動体領域間で、対応点の組を複数探索する探索部と、
    前記撮像部の位置及び姿勢と前記複数の対応点の組とに基づいて3次元計測を行う計測部と、
    を備える計測装置。
  2. 前記第1推定部は、前記複数の画像それぞれから特徴点を抽出し、前記複数の画像間で当該特徴点を追跡して、前記撮像部の位置及び姿勢を推定する請求項1に記載の計測装置。
  3. 前記第1推定部は、前記複数の画像それぞれの前記非移動体領域から特徴点を抽出し、前記複数の画像間で当該特徴点を追跡して、前記撮像部の位置及び姿勢を推定する請求項2に記載の計測装置。
  4. 前記非移動体領域は、前記他の移動体の位置に基づく予め定められた大きさの領域である請求項1〜3のいずれか1つに記載の計測装置。
  5. 前記非移動体領域は、前記他の移動体の位置に基づく前記他の移動体と前記移動体との距離に応じた大きさの領域である請求項1〜3のいずれか1つに記載の計測装置。
  6. 前記他移動体情報は、前記他の移動体の形状を抽象化したモデルを示すモデル情報を更に含み、
    前記非移動体領域は、前記他の移動体の位置に基づく前記他の移動体のモデルに応じた領域である請求項1〜5のいずれか1つに記載の計測装置。
  7. 前記他移動体情報は、前記他の移動体の向きを示す第2向き情報を更に含み、
    前記非移動体領域は、前記他の移動体の位置に基づく前記他の移動体の向きに更に応じた領域である請求項6に記載の計測装置。
  8. 前記他移動体情報は、前記他の移動体の色及び模様の少なくともいずれかを示すテクスチャ情報を更に含み、
    前記非移動体領域は、前記他の移動体の位置に基づく前記他の移動体の前記テクスチャ情報に応じた領域である請求項1〜5のいずれか1つに記載の計測装置。
  9. 前記計測部は、前記3次元計測を行って、3次元点群を得、
    前記3次元点群に基づいて、前記移動体が移動する移動面を推定する第2推定部と、
    前記3次元点群と前記移動面とに基づいて、障害物を検出する検出部と、を更に備える請求項1〜8のいずれか1つに記載の計測装置。
  10. 前記検出部は、前記3次元点群のうち前記移動面上に存在しない3次元点を前記障害物として検出する請求項9に記載の計測装置。
  11. 前記第3取得部は、前記他の移動体から前記他移動体情報を取得する請求項1〜10のいずれか1つに記載の計測装置。
  12. 前記第3取得部は、前記移動体及び前記他の移動体を監視する監視装置から前記他移動体情報を取得する請求項1〜10のいずれか1つに記載の計測装置。
  13. 移動体に搭載された撮像部により時系列で撮像された複数の画像を取得する第1取得ステップと、
    前記移動体の位置を示す第1位置情報、及び前記移動体の向きを示す第1向き情報を取得する第2取得ステップと、
    前記移動体の周囲を移動する他の移動体の位置を示す第2位置情報を含む他移動体情報を取得する第3取得ステップと、
    前記第1位置情報、前記第1向き情報、及び前記他移動体情報に基づいて、前記複数の画像それぞれに対し、前記他の移動体が存在する移動体領域を特定する特定ステップと、
    前記複数の画像に基づいて、前記撮像部の位置及び姿勢を推定する推定ステップと、
    前記複数の画像それぞれの前記移動体領域以外の非移動体領域間で、対応点の組を複数探索する探索ステップと、
    前記撮像部の位置及び姿勢と前記複数の対応点の組とに基づいて3次元計測を行う計測ステップと、
    を含む計測方法。
  14. 移動体に搭載された撮像部により時系列で撮像された複数の画像を取得する第1取得ステップと、
    前記移動体の位置を示す第1位置情報、及び前記移動体の向きを示す第1向き情報を取得する第2取得ステップと、
    前記移動体の周囲を移動する他の移動体の位置を示す第2位置情報を含む他移動体情報を取得する第3取得ステップと、
    前記第1位置情報、前記第1向き情報、及び前記他移動体情報に基づいて、前記複数の画像それぞれに対し、前記他の移動体が存在する移動体領域を特定する特定ステップと、
    前記複数の画像に基づいて、前記撮像部の位置及び姿勢を推定する推定ステップと、
    前記複数の画像それぞれの前記移動体領域以外の非移動体領域間で、対応点の組を複数探索する探索ステップと、
    前記撮像部の位置及び姿勢と前記複数の対応点の組とに基づいて3次元計測を行う計測ステップと、
    をコンピュータに実行させるためのプログラム。
JP2015183874A 2015-09-17 2015-09-17 計測装置、方法及びプログラム Active JP6499047B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015183874A JP6499047B2 (ja) 2015-09-17 2015-09-17 計測装置、方法及びプログラム
US15/257,221 US10650535B2 (en) 2015-09-17 2016-09-06 Measurement device and measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015183874A JP6499047B2 (ja) 2015-09-17 2015-09-17 計測装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017058274A true JP2017058274A (ja) 2017-03-23
JP6499047B2 JP6499047B2 (ja) 2019-04-10

Family

ID=58282757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015183874A Active JP6499047B2 (ja) 2015-09-17 2015-09-17 計測装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US10650535B2 (ja)
JP (1) JP6499047B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180442A1 (ja) * 2017-03-31 2018-10-04 オリンパス株式会社 検査支援装置、検査支援方法及びプログラム
WO2019098318A1 (ja) * 2017-11-20 2019-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元点群データ生成方法、位置推定方法、三次元点群データ生成装置、および、位置推定装置
JP2021009702A (ja) * 2020-08-31 2021-01-28 鹿島建設株式会社 検査支援装置、検査支援方法及びプログラム
US11346670B2 (en) * 2017-06-05 2022-05-31 Hitachi Astemo, Ltd. Position estimating device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139748A1 (ja) * 2015-03-03 2016-09-09 パイオニア株式会社 経路探索装置、制御方法、プログラム及び記憶媒体
WO2018229550A1 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
GB201813740D0 (en) * 2018-08-23 2018-10-10 Ethersec Ind Ltd Method of apparatus for volumetric video analytics
CN114308972B (zh) * 2021-12-23 2022-12-20 临沂矿业集团有限责任公司 一种智能采矿移动式除尘装置及控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356845A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011253241A (ja) * 2010-05-31 2011-12-15 Toyota Motor Corp 物体検出装置
JP2014142241A (ja) * 2013-01-23 2014-08-07 Denso Corp 3次元位置推定装置、車両制御装置、および3次元位置推定方法
US20150161456A1 (en) * 2013-12-11 2015-06-11 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle
JP2015158418A (ja) * 2014-02-24 2015-09-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP4374850B2 (ja) 2002-12-24 2009-12-02 アイシン精機株式会社 移動体周辺監視装置
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
KR101653832B1 (ko) 2009-09-19 2016-09-05 삼성전자주식회사 가시광 통신을 수행하는 이동 단말기의 이동성을 지원하기 위한 장치 및 방법
JP5802279B2 (ja) * 2011-11-22 2015-10-28 株式会社日立製作所 自律移動システム
JP2013134609A (ja) 2011-12-26 2013-07-08 Toyota Central R&D Labs Inc 縁石検出装置及びプログラム
JP5832341B2 (ja) * 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
US9921069B2 (en) * 2012-04-05 2018-03-20 Hitachi, Ltd. Map data creation device, autonomous movement system and autonomous movement control device
RU2576315C1 (ru) * 2012-07-27 2016-02-27 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
KR102263731B1 (ko) * 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
US20160291154A1 (en) * 2015-04-01 2016-10-06 Vayavision, Ltd. Apparatus for acquiring 3-dimensional maps of a scene
PL411827A1 (pl) * 2015-04-02 2016-10-10 Politechnika Poznańska System do estymacji rozmiarów obiektu i sposób estymacji rozmiarów obiektu z wykorzystaniem modeli trójwymiarowych

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356845A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011253241A (ja) * 2010-05-31 2011-12-15 Toyota Motor Corp 物体検出装置
JP2014142241A (ja) * 2013-01-23 2014-08-07 Denso Corp 3次元位置推定装置、車両制御装置、および3次元位置推定方法
US20150161456A1 (en) * 2013-12-11 2015-06-11 Parrot Method for angle calibration of the position of a video camera on board an automotive vehicle
JP2015158418A (ja) * 2014-02-24 2015-09-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180442A1 (ja) * 2017-03-31 2018-10-04 オリンパス株式会社 検査支援装置、検査支援方法及びプログラム
JP2018172847A (ja) * 2017-03-31 2018-11-08 オリンパス株式会社 検査支援装置、検査支援方法及びプログラム
US11346670B2 (en) * 2017-06-05 2022-05-31 Hitachi Astemo, Ltd. Position estimating device
WO2019098318A1 (ja) * 2017-11-20 2019-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元点群データ生成方法、位置推定方法、三次元点群データ生成装置、および、位置推定装置
JPWO2019098318A1 (ja) * 2017-11-20 2020-11-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元点群データ生成方法、位置推定方法、三次元点群データ生成装置、および、位置推定装置
JP7325332B2 (ja) 2017-11-20 2023-08-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元点群データ生成方法、および、三次元点群データ生成装置
JP2021009702A (ja) * 2020-08-31 2021-01-28 鹿島建設株式会社 検査支援装置、検査支援方法及びプログラム

Also Published As

Publication number Publication date
US10650535B2 (en) 2020-05-12
JP6499047B2 (ja) 2019-04-10
US20170084048A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6499047B2 (ja) 計測装置、方法及びプログラム
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10762643B2 (en) Method for evaluating image data of a vehicle camera
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10957068B2 (en) Information processing apparatus and method of controlling the same
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20130215270A1 (en) Object detection apparatus
JP5587930B2 (ja) 距離算出装置及び距離算出方法
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
KR101551026B1 (ko) 차량 검출 방법
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
US10861185B2 (en) Information processing apparatus and method of controlling the same
JP2010085240A (ja) 車両用画像処理装置
WO2015125300A1 (ja) 自己位置算出装置及び自己位置算出方法
WO2015125296A1 (ja) 自己位置算出装置及び自己位置算出方法
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
JPWO2017057052A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6396499B2 (ja) 三次元情報の規模測定
JP5107154B2 (ja) 運動推定装置
JP6699323B2 (ja) 電車設備の三次元計測装置及び三次元計測方法
JP2014238409A (ja) 距離算出装置及び距離算出方法
JP2010145219A (ja) 運動推定装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190314

R151 Written notification of patent or utility model registration

Ref document number: 6499047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151