JP2019184267A - 位置計測方法、位置計測装置及び位置計測システム - Google Patents

位置計測方法、位置計測装置及び位置計測システム Download PDF

Info

Publication number
JP2019184267A
JP2019184267A JP2018071264A JP2018071264A JP2019184267A JP 2019184267 A JP2019184267 A JP 2019184267A JP 2018071264 A JP2018071264 A JP 2018071264A JP 2018071264 A JP2018071264 A JP 2018071264A JP 2019184267 A JP2019184267 A JP 2019184267A
Authority
JP
Japan
Prior art keywords
target
points
azimuth
time
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018071264A
Other languages
English (en)
Other versions
JP6775541B2 (ja
Inventor
陽一 小野村
Yoichi Onomura
陽一 小野村
山根 章弘
Akihiro Yamane
章弘 山根
晃敏 阪口
Akitoshi Sakaguchi
晃敏 阪口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018071264A priority Critical patent/JP6775541B2/ja
Priority to US16/371,700 priority patent/US10949981B2/en
Publication of JP2019184267A publication Critical patent/JP2019184267A/ja
Application granted granted Critical
Publication of JP6775541B2 publication Critical patent/JP6775541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

【課題】移動体から捕捉した目標の位置を、外部信号に依らずに良好な精度で計測する。【解決手段】航空機10に搭載された光学カメラ12により自機位置Fa、Fbの各々から目標Tの画像を取得し、取得した画像に基づいて、自機位置Fa、Fbの各々から見た目標Tの方位ψa、ψbを計測し、計測された2つの方位ψa、ψbを、2つの自機位置Fa、Fbにおける画像の取得時刻の差異を解消するように補正し、補正した2つの方位ψa、ψbに基づいて、目標の推定位置Pb’を算出する。【選択図】図4

Description

本発明は、移動体の位置を計測する技術に関する。
従来、例えば飛しょう体などの目標の位置を移動体から計測する手法としては、レーダーを用いるものが一般的である。しかし、レーダーは電波を発するため、移動体の位置を他者に探知されやすいという問題がある。また、光学カメラの焦点調節により距離を計測する手法も考えられるが、この手法では、被写体が比較的遠方の場合や被写界深度が深い光学カメラを用いた場合に、計測誤差が大きくなってしまう。
そこで、例えば特許文献1に記載の技術では、時間経過による移動体の位置の差を利用して異なる2箇所から目標方位を計測し、この2つの方位の交点として目標の位置を求めている。同様の考え方として、複数の移動体により異なる方向から目標を捉えてその位置を求める手法も考えられる。
また、特許文献2に記載の技術では、機体に搭載したステレオカメラを使用して目標までの距離を測定している。この手法であれば、電波の放出を必要とせずに、目標の位置を計測することができる。
特開2002−188914号公報 特許第4328551号公報
しかしながら、上記特許文献1に記載の技術では、単機の移動体で目標の位置を計測できるものの、単純に2つの方位の交点として目標の位置を求めただけでは、目標が移動している場合に誤差が大きくなってしまう。複数の移動体で同様の手法を採ったときでも、GPS(Global Positioning System)信号等による時刻合わせができない場合には、時刻のずれによる計測誤差を生じてしまう。
また、上記特許文献2に記載の技術では、ステレオカメラを構成する2つのカメラ間の距離が、移動体の機体規模によって制限される。そのため、例えば航空機から遥か遠方の目標を捉えるときなどは、2つのカメラ間の距離に対して目標までの測定距離が遥かに長くなる結果、距離方向の計測誤差が大きくなってしまう。
本発明は、上記課題を解決するためになされたもので、移動体から捕捉した目標の位置を、外部信号に依らずに良好な精度で計測することを目的とするものである。
上記目的を達成するために、請求項1に記載の発明は、移動体に搭載した撮像手段を用い、互いに異なる複数の地点から目標を捕捉してその位置を計測する位置計測方法であって、
前記撮像手段により前記複数の地点の各々から前記目標の画像を取得し、
取得した前記目標の画像に基づいて、前記複数の地点の各々から見た前記目標の方位、及び前記複数の地点の各々から前記目標までの距離の少なくとも一方を計測し、
計測した複数の方位又は複数の距離を、前記複数の地点における前記画像の取得時刻の差異を解消するように補正し、
補正した前記複数の方位又は前記複数の距離に基づいて、前記目標の推定位置を算出する、
ことを特徴とする。
請求項2に記載の発明は、請求項1に記載の位置計測方法において、
1つの移動体が、
2つの地点から前記目標の画像を順次取得する工程と、
取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位を計測する工程と、
先に取得した一方の画像に基づく一方の方位を、前記2つの地点における画像の取得時刻の差異に基づいて補正して、前記一方の方位に対応する一方の地点から見たときの、他方の地点で取得した他方の画像の取得時刻における前記目標の推定方位を算出する工程と、
計測した他方の方位と前記推定方位とに基づいて、前記他方の画像の取得時刻における前記目標の推定位置を算出する工程と、
を実行する、
ことを特徴とする。
請求項3に記載の発明は、請求項2に記載の位置計測方法において、
前記推定方位を算出する工程では、
前記一方の地点で微小時間の間に取得した複数の画像から求めた前記目標の方位角速度に基づいて、一方の画像の取得時刻から他方の画像の取得時刻までの間の前記一方の方位の方位変化量を算出し、
計測した一方の方位に前記方位変化量を加算して前記推定方位を算出する、
ことを特徴とする。
請求項4に記載の発明は、位置計測装置であって、
前記1つの移動体に搭載され、
前記撮像手段と、
請求項2又は3に記載の位置計測方法における各工程を実行する実行手段と、を備える、
ことを特徴とする。
請求項5に記載の発明は、請求項1に記載の位置計測方法において、
2つの移動体が、
2つの地点から前記目標の画像を前記撮像手段により個別に取得する工程と、
取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位、及び前記2つの地点の各々から前記目標までの距離を計測することで、前記2つの地点の各々で求めた前記目標の位置を取得する工程と、
取得した前記目標の位置を、前記目標の推定位置を算出する算出手段に送信する工程と、
を実行し、
前記算出手段が、
前記目標の位置を受信した時刻に基づいて、前記2つの地点での画像の取得時刻を算出する工程と、
前記2つの地点で求めた前記目標の位置の中間位置を前記目標の推定位置として算出するとともに、前記2つの地点での画像の取得時刻の中間時刻を前記中間位置に対応する時刻として算出する工程と、
を実行する、
ことを特徴とする。
請求項6に記載の発明は、請求項5に記載の位置計測方法において、
前記撮像手段がステレオカメラである、
ことを特徴とする。
請求項7に記載の発明は、請求項1に記載の位置計測方法において、
2つの移動体が、
2つの地点から前記目標の画像を個別に取得する工程と、
取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位及び方位角速度を計測する工程と、
計測した前記目標の方位及び方位角速度を、前記目標の推定位置を算出する算出手段に送信する工程と、
を実行し、
前記算出手段が、
受信した前記目標の方位及び方位角速度と、前記2つの移動体から当該算出手段までの信号の伝送時間とに基づいて、前記2つの地点から見た前記目標の方位を、当該算出手段が前記目標の方位及び方位角速度を受信した時刻におけるものに補正する工程と、
補正した前記2つの地点から見た前記目標の方位に基づいて、前記目標の推定位置を算出する工程と、
を実行する、
ことを特徴とする。
請求項8に記載の発明は、位置計測システムであって、
請求項5〜7のいずれか一項に記載の前記2つの移動体と、
前記2つの移動体の各々と信号を送受信可能な前記算出手段と、
を備える、
ことを特徴とする。
本発明によれば、移動体に搭載された撮像手段により複数の地点の各々から目標の画像が取得され、取得された画像に基づいて、複数の地点の各々から見た目標の方位、及び複数の地点の各々から目標までの距離の少なくとも一方が計測される。そして、計測された複数の方位又は複数の距離が、複数の地点における画像の取得時刻の差異を解消するように補正され、補正された複数の方位又は複数の距離に基づいて、目標の推定位置が算出される。
したがって、移動体から捕捉した目標の位置を、外部信号に依らずに良好な精度で計測することができる。
第1実施形態における航空機の機能構成を示すブロック図である。 第1実施形態における位置計測方法のフローチャートである。 第1実施形態における位置計測方法を説明するための図である。 第1実施形態における位置計測方法を説明するための図である。 第2実施形態における位置計測システムの機能構成を示すブロック図である。 第2実施形態における位置計測方法のフローチャートである。 第2実施形態における位置計測方法を説明するための図である。 第2実施形態における位置計測方法を説明するための図である。 第3実施形態における位置計測システムの機能構成を示すブロック図である。 第3実施形態における位置計測方法のフローチャートである。 第3実施形態における位置計測方法を説明するための図である。
以下、本発明の実施形態について、図面を参照して説明する。
[1.第1実施形態]
まず、本発明の第1実施形態について説明する。
第1実施形態では、本発明を適用した単機の航空機10のみで、移動する目標T(図3等参照)を捕捉してその位置計測が行われる。
<1−1.航空機の構成>
第1実施形態における航空機10の構成について説明する。
図1は、航空機10の機能構成を示すブロック図である。
図1に示すように、航空機10は、図示しない飛行機構のほか、光学カメラ12と、位置センサ14と、記憶部16と、制御部18とを備えている。本発明に係る位置計測装置は、このうちの光学カメラ12と、位置センサ14と、制御部18とを備えて構成されている。
光学カメラ12は、機外の画像情報を取得可能な撮像手段であり、本実施形態においては、目標T(図3等参照)の画像を取得するためのものである。また、光学カメラ12は、その向きを自由に変更できるように設置された、所定のシャッタースピードを有する高速カメラである。
位置センサ14は、高度を含む自機(航空機10)の位置情報を取得するセンサであり、本実施形態では、外部からの電波による情報を必要としない慣性航法装置などである。この位置センサ14は、制御部18からの制御指令に基づいて自機の位置情報を取得し、取得した位置情報を制御部18に出力する。
記憶部16は、航空機10の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部16は、位置計測プログラム160を予め記憶している。
位置計測プログラム160は、後述の位置計測処理を制御部18に実行させるためのプログラムである。
制御部18は、航空機10の各部を中央制御する。具体的に、制御部18は、図示しない飛行機構を駆動制御して航空機10の飛行を制御したり、光学カメラ12や位置センサ14の動作を制御したりするほか、記憶部16に記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行する。また、制御部18は、経過した時間を計数して時刻を取得できるものである。
<1−2.位置計測方法>
続いて、航空機10により目標Tの位置を計測する位置計測方法について説明する。
図2は、この位置計測方法のフローチャートであり、図3及び図4は、この位置計測方法を説明するための図である。
本実施形態の位置計測方法では、飛行(移動)する目標Tの画像を光学カメラ12により取得し、この画像情報に基づいて目標Tの位置(つまり、航空機10からの目標Tの方位と距離)を計測する。これが行われる位置計測処理は、制御部18が記憶部16から位置計測プログラム160を読み出して展開することで実行される。
図2に示すように、位置計測処理が実行されると、まず制御部18は、或る時刻Taにおける航空機10の自機位置Faから見た実際の目標Tの方位ψaを算出する(ステップS1)。
具体的に、制御部18は、図3に示すように、位置センサ14により、時刻Taにおける自機の位置情報(高度含む)を取得して自機位置Faを求める。また、光学カメラ12により時刻Taにおける目標Tの画像を撮像し、この画像情報と撮像方位とに基づいて、時刻Taにおいて自機位置Faから目標Tの位置Paを見た方位ψaを算出する。
なお、「方位」とは、方角(水平面内での方向)だけでなく鉛直方向の向きも含むものとする。
次に、制御部18は、時刻Taから微小時間ΔTが経過した時刻Ta+ΔTにおいて自機位置Faから見た実際の目標Tの方位ψa’を算出する(ステップS2)。
このステップでは、制御部18は、ΔTがごく微小な時間であることから、時刻Ta+ΔTにおける航空機10の自機位置を、時刻Taにおける自機位置Faと等しいと見做したうえで、それ以外はステップS1と同様にして目標Tの方位ψa’を算出する。すなわち、制御部18は、時刻Ta+ΔTにおける目標Tの画像を光学カメラ12により撮像し、この画像情報と撮像方位とに基づいて、時刻Ta+ΔTにおいて自機位置Faから目標Tの位置Pa’を見た方位ψa’を求める。
次に、制御部18は、時刻Taにおける自機位置Faから見た、時刻Tbにおける目標Tの推定方位ψb’を算出する(ステップS3)。ここで、時刻Tbとは、ΔTよりも十分に大きな所定時間が時刻Taから経過した時刻であって、後述のステップS4において実際に目標Tの画像からその方位ψbが算出される時刻である。
このステップでは、まず制御部18は、ステップS1、S2で取得した目標Tの方位ψa、ψa’を用い、時刻Taから時刻Tbまでの目標Tの方位変化量Δψを以下の式1により算出する。
Δψ=(Tb−Ta)×(ψa’−ψa)/ΔT ・・・式1
つまり、時刻Taから時刻Tbまでの時間に方位角速度ωを乗じることで方位変化量Δψを算出する。
そして、図4に示すように、制御部18は、以下の式2のように、時刻Taにおける目標Tの実際の方位ψaに方位変化量Δψを加算することで、自機位置Faから見た時刻Tbにおける目標Tの推定方位ψb’を求める。
ψb’=ψa+Δψ ・・・式2
次に、制御部18は、時刻Tbにおける航空機10の自機位置Fbから見た実際の目標Tの方位ψbを算出する(ステップS4)。
このステップでは、制御部18は、ステップS1と同様にして目標Tの方位ψbを算出する。すなわち、制御部18は、位置センサ14により、時刻Tbにおける自機の位置情報(高度含む)を取得して自機位置Fbを求める。また、光学カメラ12により時刻Tbにおける目標Tの画像を撮像し、この画像情報と撮像方位とに基づいて、時刻Tbにおいて自機位置Fbから実際の目標Tの位置Pbを見た方位ψbを算出する。
次に、制御部18は、時刻Tbにおける目標Tの推定方位ψb’と実際の方位ψbとに基づいて、時刻Tbにおける目標Tの推定位置Pb’を算出する(ステップS5)。
具体的に、制御部18は、ステップS3で求めた目標Tの推定方位ψb’と、ステップS4で求めた実際の目標Tの方位ψbとの交点として、時刻Tbにおける目標Tの推定位置Pb’を算出する。
こうして、目標Tの推定位置Pb’が取得される。
この取得過程では、実際の方位ψa、ψbを計測(すなわち画像を取得)した時刻Ta、Tbの差異に基づく目標Tの方位のずれを解消するように方位ψaを補正し、この補正で算出した推定方位ψb’を用いて目標Tの推定位置Pb’を算出している。そのため、単純に方位ψa、ψbの交点として目標Tの位置を算出した場合に比べ、実際の目標Tの位置Pbとの誤差を小さくすることができる。
次に、制御部18は、位置計測処理を終了させるか否かを判定し(ステップS6)、例えばパイロットの終了操作を受けるなどして位置計測処理を終了させると判定した場合には(ステップS6;Yes)、位置計測処理を終了させる。
一方、位置計測処理を終了させないと判定した場合には(ステップS6;No)、制御部18は、上述のステップS1へ処理を移行する。そして、位置計測処理を終了させると判定されるまで、時刻Ta、Tbを例えばその間隔を一定としつつ順次変化させながら、連続的に目標Tの推定位置Pb’が算出される。
以上のように、本第1実施形態によれば、航空機10に搭載された光学カメラ12により自機位置Fa、Fbの各々から目標Tの画像が取得され、取得された画像に基づいて、自機位置Fa、Fbの各々から見た目標Tの方位ψa、ψbが計測される。そして、計測された2つの方位ψa、ψbが、2つの自機位置Fa、Fbにおける画像の取得時刻(計測時刻Ta、Tb)の差異を解消するように補正され、補正された2つの方位ψa、ψbに基づいて、目標の推定位置Pb’が算出される。
したがって、航空機10から捕捉した目標Tの位置を、外部信号に依らずに良好な精度で計測することができる。
[2.第2実施形態]
続いて、本発明の第2実施形態について説明する。
第2実施形態は、複数の航空機20と地上局30からなる位置計測システム2により目標Tの位置計測が行われる点で、上記第1実施形態と異なる。
なお、上記第1実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。
<2−1.位置計測システムの構成>
まず、第2実施形態における位置計測システム2の構成について説明する。
図5は、位置計測システム2の機能構成を示すブロック図である。
この図に示すように、位置計測システム2は、複数(本実施形態では2機)の航空機20(20C、20D)と、地上局30とから構成されている。
各航空機20は、上記第1実施形態における位置センサ14、記憶部16及び制御部18と同様に構成された位置センサ24、記憶部26及び制御部28を備えているほか、ステレオカメラ22と送受信機23とを備えている。
ステレオカメラ22は、機外の画像情報を取得可能な撮像手段であり、その向きを自由に変更できるように設置されている。このステレオカメラ22は、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報(つまり、当該ステレオカメラ22からの距離情報)も取得できるものであり、取得した情報を制御部28に出力する。
送受信機23は、地上局30の送受信機33との間でデータリンクを構築しており、互いに各種信号を送受信可能となっている。
地上局30は、各航空機20の送受信機23と各種信号を送受信可能な送受信機33と、当該地上局30の各部を中央制御する制御装置38とを備えている。
<2−2.位置計測方法>
続いて、位置計測システム2により目標Tの位置を計測する位置計測方法について説明する。
図6は、この位置計測方法のフローチャートであり、図7及び図8は、この位置計測方法を説明するための図である。
本実施形態の位置計測方法では、飛行(移動)する目標Tを捕捉した2機の航空機20C、20Dの各々がステレオカメラ22により目標Tの位置を計測し、この位置情報とその計測時刻に基づいて、より精度の高い目標Tの位置及びそのときの時刻を、地上局30が算出する。
具体的には、図6に示すように、まず2機の航空機20の各々が、ステレオカメラ22により目標Tの位置を計測し、地上局30へ送信する(ステップS21)。
このステップでは、図7に示すように、一方の航空機20Cが時刻Tcにおいて自機位置Fcから目標Tの位置を計測し、他方の航空機20Dが時刻Tdにおいて自機位置Fdから目標Tの位置を計測する。より詳しくは、各航空機20は、位置センサ14により自機の位置情報(高度含む)を取得し、ステレオカメラ22で取得した画像により自機位置から見た目標Tの方位と目標Tまでの距離を取得する。そして、各航空機20は、取得した自機の位置情報と目標Tの方位及び距離とに基づいて目標Tの位置(座標)を算出し、これを自機位置とともに送受信機23により地上局30へ送信する。
ここで、ステレオカメラ22は、機体規模によって制限されるカメラ間の距離に対して目標Tまでの測定距離が遥かに長くなるため、距離方向の計測誤差が大きい。
そのため、航空機20Cの位置計測では、時刻Tcにおける目標Tの実際の位置Pcに対して距離方向にずれた計測位置Pc’が取得される。同様に、航空機20Dの位置計測では、時刻Td(>Tc)における目標Tの実際の位置Pdに対して距離方向にずれた計測位置Pd’が取得される。
次に、地上局30が、2機の航空機20C、20DにおいてステップS21の位置計測が行われた計測時刻Tc、Tdを算出する(ステップS22)。
この時刻算出は、以下の式3及び式4を用いて行われる。
Tc=Te−ΔTc ・・・式3
Td=Te−ΔTd ・・・式4
ここで、Teは、地上局30が各航空機20から目標Tの位置情報を受信した時刻である(2機で異なっていてもよい)。また、ΔTc、ΔTdは、地上局30と航空機20C、20Dとの間での信号の伝送時間であり、地上局30から発せられた基準信号が各航空機20から返信されるまでの時間を計測することで得られる。
なお、伝送時間ΔTc、ΔTdは、航空機20C、20Dと地上局30との間の距離Rc、Rdを電波の伝搬速度Cで除した値として求めてもよい。距離Rc、Rdは、例えば純慣性航法などのGPS信号に依存しない航法により計測された各航空機20の位置と地上局30の位置から求められる。
次に、地上局30が、各航空機20で計測された目標Tの計測位置とその計測時刻とに基づいて、目標Tの推定位置Pf’とそのときの推定時刻Tf’を算出する(ステップS23)。
具体的には、ステップS21で算出された2つの計測位置Pc’、Pd’に基づいて推定位置Pf’を算出し、ステップS22で算出された2つの計測時刻Tc、Tdに基づいてこの推定位置Pf’に対応する推定時刻Tf’を算出する。
この算出手法は、算出される推定位置Pf’と推定時刻Tf’との対応が確からしいものであれば、特に限定されない。本実施形態では、2つの計測位置Pc’、Pd’を平均した位置(中間位置)を推定位置Pf’とし、同様に2つの計測時刻Tc、Tdを平均した時刻(中間時刻)を推定時刻Tf’としている。あるいは、2つの計測位置Pc’、Pd’との誤差が最小となる位置を推定位置Pf’とし、同様に2つの計測時刻Tc、Tdとの誤差が最小となる時刻を推定時刻Tf’としてもよい。
こうして、目標Tの推定位置Pf’と、これに対応する推定時刻Tf’が取得される。
得られた推定位置Pf’及び推定時刻Tf’は、時刻の補正が適切に加えられているため、実際との誤差がより小さい良好な精度のものとなっている。
すなわち、実際の目標Tの位置や計測位置Pc’、Pd’と時刻との関係を図8(a)に示すものと仮定した場合、これを時刻補正することなく、単純に地上局30が位置情報を受信した時刻Teでの値としてその中間位置(例えば平均値)を目標Tの推定位置Pe’としてしまうと、各航空機20から地上局30への信号送信に要するタイムラグが考慮されない。そのため、図7及び図8(b)に示すように、この推定位置Pe’(=Pf’)は、その時刻Teでの実際の位置Peとの誤差が大きくなる可能性が高い。
これに対し、本実施形態では、図8(c)に示すように、地上局30が位置情報を受信した時刻Teから計測時刻Tc、Tdを求め、その中間時刻を推定時刻Tf’としたうえで、このときの位置を計測位置Pc’、Pd’の中間位置である推定位置Pf’としている。このように、各航空機20から地上局30への信号送信に要するタイムラグを考慮し、計測時刻Tc、Td(すなわち画像の取得時刻)の差異を解消するように、推定位置Pf’に対応する時刻を適切に補正することで、より実際との誤差が小さい良好な精度の推定位置Pf’及び推定時刻Tf’を求めることができる。
なお、図8の例では、2つの計測位置Pc’、Pd’が実際の位置に対して両側(上側と下側)に分かれている場合について説明したが、これらが実際の位置に対して同じ側に振れている場合であっても同様の効果を得ることができる。また、目標Tの速度や速度変化が大きい場合には時刻のずれが大きくなりやすいため、本実施形態の手法が特に有用である。
次に、地上局30の制御装置38が、目標Tの位置計測を終了させるか否かを判定し(ステップS24)、例えば操作員の終了操作を受けるなどして位置計測を終了させると判定した場合には(ステップS24;Yes)、位置計測を終了させ、各航空機20にその旨の指令信号を送信する。
一方、位置計測を終了させないと判定された場合には(ステップS24;No)、上述のステップS21へ処理が移行される。そして、位置計測を終了させると判定されるまで、連続的に目標Tの推定位置Pf’とそのときの推定時刻Tf’が算出される。
以上のように、本第2実施形態によれば、各航空機20に搭載されたステレオカメラ22により自機位置Fc、Fdの各々から目標Tの画像が取得され、取得された画像に基づいて、自機位置Fc、Fdの各々から見た目標Tの方位及び目標Tまでの距離が計測される。そして、計測された距離ひいては目標Tの位置とその時刻との対応が、画像の取得時刻(計測時刻Tc、Td)の差異を解消するように補正され、補正された位置及び時刻に基づいて、目標Tの推定位置Pf’及び推定時刻Tf’が算出される。
したがって、2機の航空機20C、20Dから捕捉した目標Tの位置を、外部信号に依らずに良好な精度で計測することができる。
[3.第3実施形態]
続いて、本発明の第3実施形態について説明する。
第3実施形態は、位置計測システムにおける複数の航空機が、ステレオカメラではなく光学カメラを用いて目標方位を求めて目標Tの位置計測を行う点で、上記第2実施形態と異なる。
なお、上記第2実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。
<3−1.位置計測システムの構成>
まず、第3実施形態における位置計測システム4の構成について説明する。
図9は、位置計測システム4の機能構成を示すブロック図である。
この図に示すように、位置計測システム4は、複数(本実施形態では2機)の航空機40(40G、40H)と、地上局50とから構成されている。
各航空機40は、上記第1実施形態における光学カメラ12、位置センサ14、記憶部16及び制御部18と同様に構成された光学カメラ42、位置センサ44、記憶部46及び制御部48を備えているほか、上記第2実施形態における送受信機23と同様に構成された送受信機43を備えている。
地上局50は、各航空機40の送受信機43と各種信号を送受信可能な送受信機53と、当該地上局50の各部を中央制御する制御装置58とを備えている。
<3−2.位置計測方法>
続いて、位置計測システム4により目標Tの位置を計測する位置計測方法について説明する。
図10は、この位置計測方法のフローチャートであり、図11は、この位置計測方法を説明するための図である。
本実施形態の位置計測方法では、飛行(移動)する目標Tの画像を2機の航空機40の各々が光学カメラ42により取得し、この画像情報に基づいて、地上局50が目標Tの位置を算出する。
具体的には、図10に示すように、まず2機の航空機40の各々が、各機から見た目標Tの方位及び方位角速度を光学カメラ42で取得した画像により計測し、地上局50へ送信する(ステップS31)。
より詳しくは、図11に示すように、一方の航空機40Gが時刻Tgにおいて自機位置Fgから目標Tの位置Pgを見た方位ψgを計測し、他方の航空機40Hが時刻Th(>Tg)において自機位置Fhから目標Tの位置Phを見た方位ψhを計測する。また、各航空機40は、微小時間ΔTが経過したときの方位も計測し、その方位差をΔTで除した方位角速度ωg、ωhを算出する。各航空機40での方位及び方位角速度の具体的な求め方は、上記第1実施形態と同様である。そして、各航空機40は、計測した方位と方位角速度を自機位置ととともに送受信機23により地上局50へ送信する。
次に、地上局50が、2機の航空機40G、40Hから情報を受信した時刻Tjにおける当該2機の航空機40G、40Hから見た目標Tの推定方位ψg’、ψh’を算出する(ステップS32)。
この方位算出は、以下の式5及び式6を用いて行われる。
ψg’=ψg+ωg×ΔTg ・・・式5
ψh’=ψh+ωh×ΔTh ・・・式6
ここで、ΔTg、ΔThは、地上局50と航空機40G、40Hとの間での信号の伝送時間であり、地上局50から発せられた基準信号が各航空機40から返信されるまでの時間を計測することで得られる。なお、伝送時間ΔTg、ΔThは、航空機40G、40Hと地上局50との間の距離Rg、Rhを電波の伝搬速度Cで除した値として求めてもよい。距離Rg、Rhは、例えば純慣性航法などのGPS信号に依存しない航法により計測された各航空機40の位置と地上局50の位置から求められる。
次に、地上局50は、目標Tの推定方位ψg’、ψh’に基づいて、時刻Tjにおける目標Tの推定位置Pj’を算出する(ステップS33)。
具体的に、地上局50は、ステップS32で求めた2つの推定方位ψg’、ψh’の交点として、各航空機40から情報を受信した時刻Tjにおける目標Tの推定位置Pj’を算出する。
こうして、目標Tの推定位置Pj’が取得される。
得られた推定位置Pj’は、方位の補正が適切に加えられているため、実際との誤差がより小さい良好な精度のものとなっている。
すなわち、各航空機40で計測した目標Tの計測方位ψg、ψhの単純な交点としてではなく、各航空機40から地上局50への信号送信に要するタイムラグを考慮し、この間の方位変化を加えた推定方位ψg’、ψh’の交点として、目標Tの推定位置Pj’を求めている。このように、各航空機40から地上局50への信号送信に要するタイムラグを考慮し、計測時刻Tg、Th(すなわち画像の取得時刻)の差異を解消するように目標Tの方位を適切に補正することで、より実際との誤差が小さい良好な精度の推定位置Pj’を求めることができる。
次に、地上局50の制御装置58が、目標Tの位置計測を終了させるか否かを判定し(ステップS34)、例えば操作員の終了操作を受けるなどして位置計測を終了させると判定した場合には(ステップS34;Yes)、位置計測を終了させ、各航空機40にその旨の指令信号を送信する。
一方、位置計測を終了させないと判定された場合には(ステップS34;No)、上述のステップS31へ処理が移行される。そして、位置計測を終了させると判定されるまで、連続的に目標Tの推定位置Pj’が算出される。
以上のように、本第3実施形態によれば、各航空機40に搭載された光学カメラ42により自機位置Fg、Fhの各々から目標Tの画像が取得され、取得された画像に基づいて、自機位置Fg、Fhの各々から見た目標Tの方位ψg、ψhが計測される。そして、計測された方位ψg、ψhが、画像の取得時刻(計測時刻Tg、Th)の差異を解消するように補正され、補正された推定方位ψg’、ψh’に基づいて、目標Tの推定位置Pj’が算出される。
したがって、2機の航空機40G、40Hから捕捉した目標Tの位置を、外部信号に依らずに良好な精度で計測することができる。
[4.変形例]
本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、上記第2、第3実施形態では、地上局が2機の航空機から計測情報等を受信して目標Tの位置を算出することとしたが、少なくとも各航空機が目標Tの画像を取得すればよく、これ以外の計算等は地上局と各航空機のいずれが行ってもよい。
さらに言えば、目標Tの位置の計算を行うものは地上局でなくともよく、例えば、2機の航空機のいずれか一方であってもよい。この場合、地上局は特に必要ない。
また、本発明に係る移動体は、航空機に限定されず、例えば船舶や車両などであってもよいし、また有人及び無人のいずれであってもよい。
2、4 位置計測システム
10、20、40 航空機
12、42 光学カメラ
22 ステレオカメラ
23、43 送受信機
30、50 地上局
33、53 送受信機
Fa、Fb、Fc、Fd、Fg、Fh 自機位置
Pb’、Pf’、Pj’ 目標の推定位置
T 目標
Ta、Tb、Tc、Td、Tg、Th 計測時刻
Tf 推定時刻
Tj 受信時刻
ΔT 微小時間
ΔTc、ΔTd、ΔTg、ΔTh 伝送時間
Δψ 方位変化量
ψa、ψb、ψg、ψh 計測方位
ψb’、ψg’、ψh’ 推定方位
ωg 方位角速度

Claims (8)

  1. 移動体に搭載した撮像手段を用い、互いに異なる複数の地点から目標を捕捉してその位置を計測する位置計測方法であって、
    前記撮像手段により前記複数の地点の各々から前記目標の画像を取得し、
    取得した前記目標の画像に基づいて、前記複数の地点の各々から見た前記目標の方位、及び前記複数の地点の各々から前記目標までの距離の少なくとも一方を計測し、
    計測した複数の方位又は複数の距離を、前記複数の地点における前記画像の取得時刻の差異を解消するように補正し、
    補正した前記複数の方位又は前記複数の距離に基づいて、前記目標の推定位置を算出する、
    ことを特徴とする位置計測方法。
  2. 1つの移動体が、
    2つの地点から前記目標の画像を順次取得する工程と、
    取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位を計測する工程と、
    先に取得した一方の画像に基づく一方の方位を、前記2つの地点における画像の取得時刻の差異に基づいて補正して、前記一方の方位に対応する一方の地点から見たときの、他方の地点で取得した他方の画像の取得時刻における前記目標の推定方位を算出する工程と、
    計測した他方の方位と前記推定方位とに基づいて、前記他方の画像の取得時刻における前記目標の推定位置を算出する工程と、
    を実行する、
    ことを特徴とする請求項1に記載の位置計測方法。
  3. 前記推定方位を算出する工程では、
    前記一方の地点で微小時間の間に取得した複数の画像から求めた前記目標の方位角速度に基づいて、一方の画像の取得時刻から他方の画像の取得時刻までの間の前記一方の方位の方位変化量を算出し、
    計測した一方の方位に前記方位変化量を加算して前記推定方位を算出する、
    ことを特徴とする請求項2に記載の位置計測方法。
  4. 前記1つの移動体に搭載され、
    前記撮像手段と、
    請求項2又は3に記載の位置計測方法における各工程を実行する実行手段と、を備える、
    ことを特徴とする位置計測装置。
  5. 2つの移動体が、
    2つの地点から前記目標の画像を前記撮像手段により個別に取得する工程と、
    取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位、及び前記2つの地点の各々から前記目標までの距離を計測することで、前記2つの地点の各々で求めた前記目標の位置を取得する工程と、
    取得した前記目標の位置を、前記目標の推定位置を算出する算出手段に送信する工程と、
    を実行し、
    前記算出手段が、
    前記目標の位置を受信した時刻に基づいて、前記2つの地点での画像の取得時刻を算出する工程と、
    前記2つの地点で求めた前記目標の位置の中間位置を前記目標の推定位置として算出するとともに、前記2つの地点での画像の取得時刻の中間時刻を前記中間位置に対応する時刻として算出する工程と、
    を実行する、
    ことを特徴とする請求項1に記載の位置計測方法。
  6. 前記撮像手段がステレオカメラである、
    ことを特徴とする請求項5に記載の位置計測方法。
  7. 2つの移動体が、
    2つの地点から前記目標の画像を個別に取得する工程と、
    取得した前記目標の画像に基づいて、前記2つの地点の各々から見た前記目標の方位及び方位角速度を計測する工程と、
    計測した前記目標の方位及び方位角速度を、前記目標の推定位置を算出する算出手段に送信する工程と、
    を実行し、
    前記算出手段が、
    受信した前記目標の方位及び方位角速度と、前記2つの移動体から当該算出手段までの信号の伝送時間とに基づいて、前記2つの地点から見た前記目標の方位を、当該算出手段が前記目標の方位及び方位角速度を受信した時刻におけるものに補正する工程と、
    補正した前記2つの地点から見た前記目標の方位に基づいて、前記目標の推定位置を算出する工程と、
    を実行する、
    ことを特徴とする請求項1に記載の位置計測方法。
  8. 請求項5〜7のいずれか一項に記載の前記2つの移動体と、
    前記2つの移動体の各々と信号を送受信可能な前記算出手段と、
    を備える、
    ことを特徴とする位置計測システム。
JP2018071264A 2018-04-03 2018-04-03 位置計測方法及び位置計測システム Active JP6775541B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018071264A JP6775541B2 (ja) 2018-04-03 2018-04-03 位置計測方法及び位置計測システム
US16/371,700 US10949981B2 (en) 2018-04-03 2019-04-01 Position measuring method, position measuring apparatus, and position measuring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018071264A JP6775541B2 (ja) 2018-04-03 2018-04-03 位置計測方法及び位置計測システム

Publications (2)

Publication Number Publication Date
JP2019184267A true JP2019184267A (ja) 2019-10-24
JP6775541B2 JP6775541B2 (ja) 2020-10-28

Family

ID=68054543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018071264A Active JP6775541B2 (ja) 2018-04-03 2018-04-03 位置計測方法及び位置計測システム

Country Status (2)

Country Link
US (1) US10949981B2 (ja)
JP (1) JP6775541B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11696092B2 (en) 2020-01-31 2023-07-04 Juniper Networks, Inc. Multi-wireless device location determination
US11422224B2 (en) 2020-01-31 2022-08-23 Juniper Networks, Inc. Location determination based on phase differences
US11582710B2 (en) * 2020-01-31 2023-02-14 Juniper Networks, Inc. Guided alignment of wireless device orientation
US11778418B2 (en) 2020-01-31 2023-10-03 Juniper Networks, Inc. Aligned multi-wireless device location determination

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06213669A (ja) * 1993-01-19 1994-08-05 Mitsubishi Precision Co Ltd 移動体における慣性基準装置座標系の設定値較正方法
JP2015102352A (ja) * 2013-11-21 2015-06-04 富士重工業株式会社 位置特定方法およびプログラム
US20160110701A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, product, and system for unmanned vehicles in retail environments
JP2017053687A (ja) * 2015-09-08 2017-03-16 富士重工業株式会社 飛翔体位置算出システム、飛翔体位置算出方法及び飛翔体位置算出プログラム
JP2018044867A (ja) * 2016-09-15 2018-03-22 株式会社Subaru ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168591B2 (ja) 2000-12-20 2008-10-22 三菱電機株式会社 赤外線撮像装置
JP4328551B2 (ja) 2003-03-05 2009-09-09 富士重工業株式会社 撮像姿勢制御装置
US9842278B2 (en) * 2015-11-29 2017-12-12 Tend Insights, Inc. Image analysis and orientation correction for target object detection and validation
WO2018090205A1 (en) * 2016-11-15 2018-05-24 SZ DJI Technology Co., Ltd. Method and system for image-based object detection and corresponding movement adjustment maneuvers
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06213669A (ja) * 1993-01-19 1994-08-05 Mitsubishi Precision Co Ltd 移動体における慣性基準装置座標系の設定値較正方法
JP2015102352A (ja) * 2013-11-21 2015-06-04 富士重工業株式会社 位置特定方法およびプログラム
US20160110701A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, product, and system for unmanned vehicles in retail environments
JP2017053687A (ja) * 2015-09-08 2017-03-16 富士重工業株式会社 飛翔体位置算出システム、飛翔体位置算出方法及び飛翔体位置算出プログラム
JP2018044867A (ja) * 2016-09-15 2018-03-22 株式会社Subaru ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム

Also Published As

Publication number Publication date
US20190304103A1 (en) 2019-10-03
JP6775541B2 (ja) 2020-10-28
US10949981B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
US10371530B2 (en) Systems and methods for using a global positioning system velocity in visual-inertial odometry
US20240069574A1 (en) Distributed localization systems and methods and self-localizing apparatus
JP6775541B2 (ja) 位置計測方法及び位置計測システム
US9772185B2 (en) Measuring system and method for determining new points
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
EP2818958A2 (en) Flying vehicle guiding system and flying vehicle guiding method
KR20140002051A (ko) 무인 항공기를 제어하기 위한 시스템 및 방법
JP2012112738A (ja) 追尾装置及び追尾方法
US11086020B2 (en) Position measurement system for movable body
CN114935339A (zh) 一种无人机作业导航定位系统与方法
KR20150041898A (ko) Gps/ins 위치 정보 보정 장치 및 방법
US20230083021A1 (en) Surveying data processor, surveying data processing method, and surveying data processing program
JP2009118375A (ja) 航空写真撮影装置、航空写真撮影システムおよび航空写真の画像補正方法
JP5998881B2 (ja) 追尾装置および追尾方法
JP2013148524A (ja) 測位システム
JP2010043961A (ja) 三次元画像計測システム
KR102149494B1 (ko) 드론을 이용한 구조물 검사 시스템 및 검사 방법
KR101725689B1 (ko) 차량 위치 결정 방법 및 장치
JPWO2019087778A1 (ja) 移動体の姿勢センサ装置
JP7333565B1 (ja) 飛行体および飛行体の制御方法
WO2023073834A1 (ja) 移動体、通信システム、および制御方法
RU2713250C1 (ru) Устройство определения местоположения цели посредством коррекции по звезде, предназначенное для установки на подвижном носителе
JP2020115140A (ja) 移動体の位置計測システム
US10234874B2 (en) Autonomous vehicle control system
KR20150134127A (ko) Slam 시스템을 위한 레이더 신호 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6775541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250