JP2010122970A - 目標物位置特定装置および目標物位置特定方法 - Google Patents

目標物位置特定装置および目標物位置特定方法 Download PDF

Info

Publication number
JP2010122970A
JP2010122970A JP2008296954A JP2008296954A JP2010122970A JP 2010122970 A JP2010122970 A JP 2010122970A JP 2008296954 A JP2008296954 A JP 2008296954A JP 2008296954 A JP2008296954 A JP 2008296954A JP 2010122970 A JP2010122970 A JP 2010122970A
Authority
JP
Japan
Prior art keywords
video
information
target
flight information
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008296954A
Other languages
English (en)
Other versions
JP4975003B2 (ja
Inventor
Atsushi Nakagawa
敦之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008296954A priority Critical patent/JP4975003B2/ja
Publication of JP2010122970A publication Critical patent/JP2010122970A/ja
Application granted granted Critical
Publication of JP4975003B2 publication Critical patent/JP4975003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】機上で撮影した映像の3次元処理を機上で行うには重量および動作環境の点で問題があり、また撮影した被災地点の空間的な位置を簡単に特定できる目標物位置特定装置を得る必要があった。
【解決手段】ヘリコプタに搭載した送信局100と地上の受信局200で構成され、送信局は、映像入力装置111で撮影した映像を地上に送信すると共に、ヘリコプタのフライト情報、および機上の操作者が入力装置132で指定した目標物の座標情報と指定した時点の時刻情報のデータを地上に送信し、受信局は受信した時刻情報をキーに映像解析装置230で過去の撮影映像から3次元モデルを生成し、指定された目標物の3次元位置を特定するようにした。
【選択図】図1

Description

この発明は、災害が発生している目標物などを空中から撮影し、その目標物の位置を正確に特定することができる目標物位置特定装置および目標物位置特定方法に関するものである。
従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、その撮影映像から災害の程度や緊急対策が必要な箇所の有無の確認を行っている。また、火災が発生して直ちに消火活動を行わなければならないような場合は、撮影映像から火災現場の地点を特定して消防車両などを急行させている。このようなシステムはヘリテレシステムと称され、ヘリコプタ側に搭載された送信局と地上側に設置された受信局とで構成される。
このようにヘリコプタによって空中から災害現場を撮影し、その撮影映像の位置を正確に表示する方法として、撮影映像を地上に送信すると同時に、ヘリコプタの位置情報とテレビカメラの方向及び機体の姿勢情報から撮影位置の3次元的特定処理を行い、地上で受信した撮影位置データに対応する属性データ(住所や建物名など)を電子地図から抽出して、この属性データを文字データとして地上で受信した撮影映像に付加して表示装置に表示することにより、ヘリコプタからの撮影映像への位置情報を表示するようにしたものがある。(特許文献1参照)
また地面の3次元的形状を認識する地形認識装置および地形認識方法として、ステレオ画像を用いて最新の地勢データを計算する手法も知られている。(特許文献2参照)
特開2004−226190公報 特開2004−151883公報
従来の特許文献1に記載されたものは、ヘリコプタから地上に伝送された撮影映像およびフライト情報と、電子地図に蓄積された地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定しており、三次元な地勢データをあらかじめ作成しておく必要がある。このため、地勢データが存在しない地域では利用できなく、また任意の位置を指定することは出来ないという課題があった。また、地震や土砂崩れなどにより地形が変形した場合に、被災直後は変形を加味した最新の地勢データは入手できないため、正確な位置の特定ができないという課題があった。
さらに被災情報を収集してシステムに登録する作業にあたっては、情報が限られている地上の会議室ではなく、被災現場上空で作業をしているヘリコプタで行うことが望ましい。しかしながら、上記の空撮映像から三次元(3D)モデルを生成する方法では、三次元モデルの生成に多くの演算が必要であるため、演算部の高速化、大型化が必要である。ところが、ヘリコプタに搭載する機材は、温度特性、耐振動性、電波特性などの厳しい条件が求められる。また運用上の面でも、ヘリコプタの機内は設置スペースが限られており、積載重量にも制限があるため、機材は小型で軽量なものが望ましい。そのため、ヘリコプタの機内に三次元モデルを生成する高速な演算部を設置することは困難である。その結果、機上で被災情報の三次元情報を登録することは困難である、という課題があった。
また、三次元情報の登録を地上側で行う場合にも、ヘリコプタと地上の受信局間のデー
タ伝送路は一般に大量のデータ伝送には向いておらず、三次元モデルの生成に必要な静止画を地上ではリアルタイムに入手できないため、地上で三次元情報を登録することもできない、という課題があった。
この発明は、上記のような課題を解決するためになされたものであり、機上で被災地点などの目標物の位置を指定し、地上で三次元モデムを生成して目標物の空間的な位置を特定できる目標物位置特定装置および目標物位置特定方法を得ることを目的とするものである。
この発明の目標物位置特定装置は、空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、送信局には、映像を撮影して出力する映像入力装置と、映像入力装置で撮影した映像を表示する映像表示装置と、空中移動体のフライト情報を取得するフライト情報取得装置と、映像入力装置で撮影した映像から目標物を指定する入力装置と、フライト情報、入力装置により指定した目標物の座標情報および指定した時点の時刻情報を処理する信号処理装置と、映像入力装置で撮影した映像、信号処理装置で処理されたフライト情報、座標情報および時刻情報を受信局に送信する送信装置とを備え、受信局には、送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、受信した時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定する映像解析装置とを備えたものである。
この発明の目標物位置特定方法は、空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の空中移動体の位置、姿勢、テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と指定した時点の時刻情報を地上に送信し、地上で受信した撮影映像と時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定するようにしたものである。
この発明によれば、撮影映像を3次元モデルとして処理するのに、空中移動体側と地上側とで分割して行い、計算量の多い処理を地上側で行うことにより、空中移動体側の装置の処理量を減らすことができる。その結果空中移動体側の装置を簡易なものにでき、小型で軽量化できる。さらに、空中移動体側の映像画面中で指定した目標物の位置を、地上側で3次元位置として特定することができるので、あらかじめ地表面の起伏についての高度情報を含む三次元な地勢データが蓄積された電子地図を用意する必要もないし、映像中の任意の点を目標物として指定することもできる。
実施の形態1.
以下、この発明の実施の形態1における目標物位置特定装置を図に基づいて説明する。図1はこの発明の実施の形態1を示すシステム構成図、図2はこの発明の実施形態1の動作を説明するフロー図である。
図1において、目標物位置特定装置は、ヘリコプタや飛行機などの空中移動体に搭載される送信局100と地上に設置される受信局200とで構成される。なお以下の説明では空中移動体としてヘリコプタを使用した場合について説明する。
ヘリコプタに搭載される送信局100は、空中から災害現場などを撮影し、その撮影映像を地上の受信局200に伝送するもので、現場の映像を撮影するテレビカメラとその映像信号を出力する手段からなる映像入力装置111と、撮影時のヘリコプタのフライト情
報を取得するフライト情報取得装置112と、映像やフライト情報を処理する信号処理装置120と、映像入力装置111で撮影した映像を表示する映像表示装置131と、撮影映像から目標物を指定する入力装置132と、映像入力装置111で撮影した映像とフライト情報取得装置112で取得したフライト情報等のデータとを受信局200に送信する送信装置140とからなる。
さらに信号処理装置120は、映像入力装置111からの映像とフライト情報取得装置112からのフライト情報を分岐して、それぞれ蓄積、出力する情報管理部121と、入力装置132で指定された映像上での目標物の表示位置をピクセル座標値で取得すると共に指定した時点の時刻情報を取得する目標物情報取得部122とからなる。
なお映像入力装置111のテレビカメラはヘリコプタに搭載したジンバル機構に支持され、フライト情報取得装置112によってカメラの向き、傾き、ズームの情報は勿論のこと、ヘリコプタの位置や姿勢および時刻の情報がフライト情報として取得される。
送信装置140は、情報管理部121で得られたフライト情報と目標物座標取得部122で得られた目標物のピクセル座標値の座標情報および目標物を指定した時点の時刻情報とをデータとして受信局200に送信するものである。
地上に設置される受信局200は、送信装置140から伝送された映像信号とデータとを受信する受信装置210と、受信装置210で受信した映像とデータとを蓄積する情報管理部221と、情報管理部221に蓄積された映像から目標物の空間的な位置を特定する映像解析装置230とからなる。さらに映像解析装置230は、受信装置210で受信したデータから目標物の空間的な位置を演算する位置特定部231と、目標物の位置の特定に利用する三次元の擬似映像である3次元モデルを生成する3Dモデル生成部232とからなる。
次に図1に示す目標物位置特定装置における目標物位置特定方法を図2に基づいて説明する。図2に示すフロー図において、初めに、映像とフライト情報の伝送手順について説明する。
図2のステップS21は、送信局100において、映像入力装置111のテレビカメラが災害現場などにおける時々刻々の映像を撮影して信号処理装置120の情報管理部121に出力し、映像を蓄積する。
ステップS22は、フライト情報取得装置112が映像と同期して送信局100を搭載したヘリコプタにおける時々刻々のフライト情報を取得して、信号処理装置120の情報管理部121に出力し、フライト情報を蓄積する。ここでフライト情報とは、ヘリコプタの位置および姿勢、映像入力装置111のカメラの向き、傾き、ズーム、および時刻の情報である。
ステップS23は、信号処理装置120の情報管理部121は入力された映像を、映像表示装置131に出力し、映像表示装置131は映像入力装置111が撮影した時々刻々の映像を画面に表示する。
ステップS24は、映像入力装置111が撮影した時々刻々の映像を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140から受信局200に送信する。また、フライト情報取得装置112が取得したフライト情報を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140は映像の送信と同期して時々刻々のフライト情報を受信局200に送信する。このようにして送信局100から受信局200に対して、映像信号と、映像信号に同期してフライト情報が送信される。
次に、ステップS25は、受信局200において、送信局100の送信装置140から送信された映像とフライト情報などのデータとを受信装置210で受信する。
ステップS26は、受信装置210で受信した映像およびフライト情報を情報管理部221に蓄積する。映像とフライト情報は受信時にも同期がとれており、情報管理部221に蓄積する際には、映像とフライト情報は時刻などの情報をキーに、関連付けて蓄積する。
上記のように映像とフライト情報が同期して伝送され、蓄積されている状態で、機上の映像表示装置131で被災地点を確認した際に、その位置情報を地上で取得するための方法について説明する。
送信局100において、操作者は映像表示装置131に表示された映像中で火災や倒壊などを確認すると、入力装置132によって映像中で火災や倒壊などの建物の目標物を指定することができる。
ステップS27は、入力装置132により映像表示装置131に表示された映像中の画枠内で目標物を指定する。この目標物を指定する方法としてはマウスでクリックする、タッチパネルでタッチする、カメラを操作して目標物が映像中の中心等に来るようにして目標物をロックするなどで行うことができる。
ステップS28は、入力装置132で指定された目標物の表示位置をピクセル座標値で得た座標情報と目標物が指定された時点の時刻情報を信号処理装置120の目標物情報取得部122で取得し蓄積する。
ステップS29は、信号処理装置120の目標物情報取得部122で取得した、目標物の座標情報と目標物が指定された時点の時刻情報を、送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
次に受信局200で受信した撮影映像とフライト情報および目標物の座標情報と時刻情報に基づき目標物を特定する動作を説明する。
ステップS31は、受信局200において、送信装置140から送信された目標物の座標情報と時刻情報を受信装置210が受信する。
ステップS32は、受信装置210が目標物の座標情報と時刻情報を受信すると、これらの情報を映像解析装置230の位置特定部231に出力し、映像解析装置230の位置特定部231は受信した座標情報と時刻情報を3Dモデル生成部232に出力する。3Dモデル生成部232は、位置特定部231から出力された時刻情報を基に、送信局100で目標物を指定した時刻に対応したフライト情報を情報管理部221から取得する。
ステップS33は、3Dモデル生成部232が時刻情報をキーとして、情報管理部221に蓄積されている過去の映像から目標物を指定した時刻前後の時刻に対応する静止画を生成する。
ステップS34は、3Dモデル生成部232が、生成した静止画とフライト情報をソースとして、撮影映像の3次元モデルを生成する。こうして3Dモデル生成部232は、目標物を指定した時刻での3次元モデルを生成することになる。
ここで、静止画から3次元モデルを生成するので、静止画中の任意の点は、3次元モデル中の点に一意に対応づけることができる。また、3次元モデルの生成に使用した静止画に関しては、撮影時刻のフライト情報から撮影範囲が地表上のどこと対応するか、を計算することができるので、それを元に作成した3次元モデルも実空間中の位置を計算することができる。つまり、3次元モデル中の点を実空間の位置(緯度、経度、高度)に一意に対応付ける事ができる。
よって、ステップS35は、3Dモデル生成部232が、機上から目標物の位置を画像中のピクセル座標値で指定して送信された座標情報を取得しているから、この座標情報をステップS34で生成した3次元モデルに表示(例えば目標物に×印を付すなど)することで、目標物の位置を特定できる。こうして、地上側で撮影映像の3次元モデルに目標物の空間的な位置情報を取得することができる。
一般的に3次元処理には、映像からの画像フレームの抽出、画像解析による目標物の特定、画像同士のマッチング演算、3D基礎データとの照らし合わせ、など多くの処理が必要であるが、この発明の実施の形態1では、ヘリコプタ側の送信局では、映像、フライト情報、座標情報、時刻情報を地上の受信局に送り、これらのデータを用いる3次元処理を地上の受信局で行い、計算量の多い処理を地上側で実施しているから、ヘリコプタ側の装置の処理を減らして小型で軽量化できる。さらに、ヘリコプタ側の映像画面中で目標物の位置を任意に指定でき、地上側で3次元モデルの映像に目標物の位置として簡単に特定することができる。
実施の形態2.
次にこの発明の実施の形態2における目標物位置特定方法について説明する。上記した実施の形態1のステップS24において、信号処理装置120の情報管理部121は、フライト情報取得装置112が取得したフライト情報を蓄積し圧縮を行う。さらに情報管理部121はあらかじめ設定された所定の送信周期、または都度入力されるユーザの送信命令をトリガーとして圧縮したフライト情報を映像とは非同期に送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
このようにすることで、データの伝送頻度を下げることができる他、フライト情報を圧縮して送信することができるのでデータ送信装置で伝送されるデータ量を削減できる。
実施の形態3.
次にこの発明の実施の形態3における目標物位置特定装置について説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態3の発明では、映像とデータを別々にして送信するようにしたものである。
図3はこの発明の実施の形態3における目標物位置特定装置のシステム構成図である。送信装置140は、映像入力装置111で撮影した映像を受信局200に送信する映像送信装置141と、フライト情報取得装置112で取得したフライト情報等のデータを受信局200に送信するデータ送信装置142とで構成している。また受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、データ送信装置142から伝送されたデータを受信するデータ受信装置212とで構成している。その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
次にこの発明の実施の形態3における目標物位置特定方法について説明する。上記した実施の形態1のステップS24において、映像入力装置111が撮影した時々刻々の映像を信号処理装置120の情報管理部121から映像送信装置141に出力し、データ送信装置142は映像の送信と同期して時々刻々のフライト情報を受信局200に送信するようにする。
ステップS25においては、送信局100の映像送信装置141から送信された映像を映像受信装置211で受信し、また送信局100のデータ送信装置142から送信されたフライト情報などのデータをデータ受信装置212で受信するようにする。
ステップS26においては、映像受信装置211で受信した映像およびデータ受信装置212で受信したフライト情報を情報管理部221に蓄積するようにする。ここで、データ受信装置212で受信したフライト情報には送信局100でフライト情報を取得した時刻(=送信局100で映像を撮影した時刻)が含まれているので、時刻情報をキーにして、映像受信装置211で受信した映像およびデータ受信装置212で受信したフライト情報の同期を取ることができる。このようにして、情報管理部221に蓄積する際には、映像とフライト情報は時刻情報をキーに、関連付けて蓄積する。
その他のステップにおける動作は実施の形態1と同じにつき説明を省略する。このよう
にすることで、映像とフライト情報を別々の送信装置で送信することができる。
実施の形態4.
次にこの発明の実施の形態4における目標物位置特定装置を図に基づいて説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態4の発明では、データを映像信号に多重して送信するようにしたものである。
図4はこの発明の実施の形態4における目標物位置特定装置のシステム構成図である。送信局100において、送信装置140は、映像入力装置111で撮影した映像信号上にフライト情報、時刻情報、座標情報のデータを多重化するデータ多重装置143と、データ多重装置143でデータが多重された多重化信号を受信局200に送信する映像送信装置141とから構成する。
受信局200において、受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、映像受信装置211で受信した多重化信号から映像信号とデータを分離し、映像信号とフライト情報は情報管理部221に、座標情報と時刻情報のデータは映像解析装置230に出力するデータ取得装置213とから構成する。
その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
次に図4の動作について説明する。送信局100においては、信号処理装置120の情報管理部121は、映像入力装置111から入力された映像と、フライト情報取得装置112から入力されたフライト情報とを、それぞれデータ多重装置143に出力する。また入力装置132によって映像中で指定した目標物のピクセル座標値を信号処理装置120の目標物情報取得部122に出力する。信号処理装置120の目標物情報取得部122は、目標物の座標情報と目標物が指定された時点の時刻情報とをデータ多重装置143に出力する。データ多重装置143は映像信号のブランクエリアにバーコードを書き込むなどして、映像信号上にフライト情報、座標情報および時刻情報のデータを多重化し、映像送信装置141に出力する。映像送信装置141は多重化された映像信号とデータ信号を受信局200に送信する。
受信局200においては、映像受信装置211は、送信局100から送信された映像信号とデータ信号の多重化信号を受信するとデータ取得装置213に出力する。データ取得装置213は映像信号から、多重されたフライト情報、座標情報および時刻情報のデータを取得して、映像とフライト情報とを情報管理部221に蓄積する。またデータ取得装置213で得られた座標情報および時刻情報を映像解析装置230に出力し、映像解析装置230は送信局100で目標物を指定した時刻に対応した3次元モデルを作成する。この3次元モデルの生成および目標物の位置特定は実施の形態1の図2で説明した方法と同じであるので説明を省略する。
以上により、この実施の形態4の発明はデータ送信装置を設置することなく、送信局100にデータ多重装置143を設けて、フライト情報などのデータを映像信号に多重して送信するようにしたので、データ送信用の伝送路を不要とすることができる。一方、受信局200ではデータ取得装置213で映像とデータを分離し、地上で3次元モデルを生成すると共に、目標物の空間的な位置情報を取得することができる。
実施の形態5.
次にこの発明の実施の形態5における目標物位置特定装置を図に基づいて説明する。
上記した実施の形態3では、映像とデータを別々にして送信する場合について述べたが、実施の形態5の発明はこれらデータをヘリコプタに一般的に備えられている音声通話用
の連絡用無線装置145から送信するようにしたものである。
図5はこの発明の実施の形態5における目標物位置特定装置のシステム構成図で、送信局100の送信装置140は、データ送信装置142の代わりに、信号処理装置120からのフライト情報と座標情報および時刻情報のデータを音声信号に変換する変換装置144と、この変換装置144で変換した音声信号を送信する連絡用無線装置145を設けている。一方、受信局200の受信装置210は、データ受信装置212の代わりに、音声信号を受信する連絡用無線装置215と、この連絡用無線装置215で受信した音声信号をデータに変換する変換装置214とを設けている。その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
次に図5の動作について説明する。送信局100においては、信号処理装置120の情報管理部121は、フライト情報取得装置112から入力されたフライト情報を変換装置144に出力する。また信号処理装置120の目標物情報取得部122は、入力装置132によって映像中で指定した目標物のピクセル座標値の座標情報と目標物が指定された時点の時刻情報とを変換装置144に出力する。変換装置144はフライト情報および座標情報と時刻情報を音声信号に変換して連絡用無線機145を介して受信局200に送信する。
受信局200においては、連絡用無線機215は、受信した音声信号を変換装置214に出力する。変換装置214は音声信号からフライト情報および座標情報と時刻情報を取得し、フライト情報は情報管理部221に蓄積する。一方座標情報と時刻情報は映像解析装置230の位置特定部231に出力し、映像解析装置230は送信局100で目標物を指定した時刻に対応した3次元モデルを作成する。この3次元モデルの生成および目標物の位置特定は実施の形態1の図2で説明した方法と同じであるので説明を省略する。
以上により、この実施の形態5の発明はデータ送信装置を設置することなく、元々備え付けられている連絡用無線装置で、フライト情報および座標情報と時刻情報のデータを送信でき、地上で目標物の空間的な位置情報を取得することができる。そのため送信局100に、データ送信用の送信装置を不要とすることができ、また受信局200にデータ受信用の受信装置を不要とすることができる。
実施の形態6.
次にこの発明の実施の形態6における目標物位置特定装置について説明する。
上記した実施の形態1〜5では、現在の映像と現在のフライト情報を送信する場合について述べたが、実施の形態6の発明は、過去の映像と過去のフライト情報を再生して送信するようにしたものである。
図1の信号処理装置120の情報管理部121は、現在の映像とフライト情報を出力する代わりに、あらかじめ蓄積した映像とフライト情報を再生して、映像表示装置131と送信装置140に出力する。この際に、座標情報および時刻情報は記録時のものを出力する。このようにすることで、例えば、空中と地上との無線の不感帯で撮影した場合にも、蓄積した情報を後で再生して利用することができる。
なお、座標情報および時刻情報は、映像表示装置131で表示される過去の映像に対して入力装置132により指定されたものを送信装置140に出力するようにしてもよい。その際に、時刻は、記録時の時刻でもよいし、再生時の時刻でもよい。映像、フライト情報、目標物を指定した際の時刻のすべてがそろっていればよい。
なお以上の実施形態ではヘリコプタに搭載した送信局と地上の受信局との間は無線で直接電波を送受信する場合について説明したが、ヘリコプタに搭載した送信局と地上の受信局との間は通信衛星を介して電波を送受信するようにしてもよい。
この発明の実施の形態1および実施の形態2を示すシステム構成図である。 この発明の実施の形態1における動作を説明するためのフロー図である。 この発明の実施の形態3を示すシステム構成図である。 この発明の実施の形態4を示すシステム構成図である。 この発明の実施の形態5を示すシステム構成図である。
符号の説明
100:送信局 111:映像入力装置
112:フライト情報取得装置 120:信号処理装置
121:情報管理部 122:目標物情報取得部
130:送信装置 131:映像表示装置
132:入力装置 140:送信装置
141:映像送信装置 142:データ送信装置
143:データ多重装置 144:変換装置
145:連絡用無線装置
200:受信局 210:受信装置
211:映像受信装置 212:データ受信装置
213:データ取得装置 214:変換装置
215:連絡用無線装置 221:情報管理部
230:映像解析装置 231:位置特定部
232:3Dモデル生成部。

Claims (9)

  1. 空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、
    前記送信局には、映像を撮影して出力する映像入力装置と、
    前記映像入力装置で撮影した映像を表示する映像表示装置と、
    前記空中移動体のフライト情報を取得するフライト情報取得装置と、
    前記映像入力装置で撮影した映像から目標物を指定する入力装置と、
    前記フライト情報、前記入力装置により指定した目標物の座標情報および前記指定した時点の時刻情報を処理する信号処理装置と、
    前記映像入力装置で撮影した映像、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信する送信装置とを備え、
    前記受信局には、前記送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、
    受信した時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定する映像解析装置とを備えた目標物位置特定装置。
  2. 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信するデータ送信装置とを有し、
    前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記データ送信装置で送信されたフライト情報、座標情報および時刻情報を受信するデータ受信装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
  3. 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、映像信号に前記信号処理装置で処理されたフライト情報、座標情報、時刻情報のデータを多重化するデータ多重装置とを有し、このデータ多重装置からの信号を前記映像送信装置から前記受信局に送信するようにし、
    前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記映像受信装置で受信した映像信号から多重データを取得するデータ取得装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
  4. 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を音声信号に変換して受信局に送信する連絡用無線装置とを有し、
    前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記送信局側の連絡用無線装置から送信されるフライト情報、座標情報および時刻情報を受信する連絡用無線装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。
  5. 前記信号処理装置はフライト情報、座標情報および時刻情報を蓄積して、前記映像とは非同期に前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
  6. 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理されたフライト情報、座標情報および時刻情報とを蓄積し、蓄積された過去の映像、フライト情報、座標情報および時刻情報を前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
  7. 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理された
    フライト情報とを蓄積し、蓄積された過去の映像を前記映像表示装置および前記送信装置に出力し、蓄積された過去のフライト情報を前記送信装置に出力する情報管理部を有し、前記映像表示装置に表示された過去の映像から入力された前記座標情報および時刻情報が前記送信装置により送信されることを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
  8. 前記フライト情報は、前記空中移動体の位置、姿勢および前記映像入力装置のカメラの向き、傾き、ズーム、および時刻の情報であることを特徴とする請求項1乃至請求項7のいずれか1項に記載の目標物位置特定装置。
  9. 空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の前記空中移動体の位置、姿勢、前記テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と前記指定した時点の時刻情報を地上に送信し、地上で受信した前記撮影映像と前記時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定するようにした目標物位置特定方法。
JP2008296954A 2008-11-20 2008-11-20 目標物位置特定装置および目標物位置特定方法 Active JP4975003B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008296954A JP4975003B2 (ja) 2008-11-20 2008-11-20 目標物位置特定装置および目標物位置特定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008296954A JP4975003B2 (ja) 2008-11-20 2008-11-20 目標物位置特定装置および目標物位置特定方法

Publications (2)

Publication Number Publication Date
JP2010122970A true JP2010122970A (ja) 2010-06-03
JP4975003B2 JP4975003B2 (ja) 2012-07-11

Family

ID=42324245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008296954A Active JP4975003B2 (ja) 2008-11-20 2008-11-20 目標物位置特定装置および目標物位置特定方法

Country Status (1)

Country Link
JP (1) JP4975003B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012189866A (ja) * 2011-03-11 2012-10-04 Mitsubishi Electric Corp 映像撮影位置特定装置及びこれを用いた映像表示システム
JP2019041340A (ja) * 2017-08-28 2019-03-14 株式会社Dapリアライズ 多重映像配信システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331831A (ja) * 1998-05-15 1999-11-30 Mitsubishi Electric Corp 画像上の位置判読装置
JP2001025002A (ja) * 1999-07-07 2001-01-26 Mitsubishi Electric Corp 遠隔撮影システム、撮影装置及び遠隔撮影方法
JP2001292444A (ja) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp 撮影システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331831A (ja) * 1998-05-15 1999-11-30 Mitsubishi Electric Corp 画像上の位置判読装置
JP2001025002A (ja) * 1999-07-07 2001-01-26 Mitsubishi Electric Corp 遠隔撮影システム、撮影装置及び遠隔撮影方法
JP2001292444A (ja) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp 撮影システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012189866A (ja) * 2011-03-11 2012-10-04 Mitsubishi Electric Corp 映像撮影位置特定装置及びこれを用いた映像表示システム
JP2019041340A (ja) * 2017-08-28 2019-03-14 株式会社Dapリアライズ 多重映像配信システム

Also Published As

Publication number Publication date
JP4975003B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
CN106454209B (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
US20220191434A1 (en) Surveillance system with fixed camera and temporary cameras
JP4763610B2 (ja) ビデオオンデマンド方法及び装置
US8692885B2 (en) Method and apparatus for capture and distribution of broadband data
EP3629309A2 (en) Drone real-time interactive communications system
WO2018205844A1 (zh) 视频监控装置、监控服务器及系统
WO2009113755A1 (en) Monitoring system using unmanned air vehicle with wimax communication
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
CN110910502A (zh) 一种无人机三维建模系统
CN108259827A (zh) 一种实现安防的方法、装置、ar设备及系统
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
EP4398183A1 (en) Image stitching method and system based on multiple unmanned aerial vehicles
US20190387153A1 (en) Imaging resolution and transmission system
JP4975003B2 (ja) 目標物位置特定装置および目標物位置特定方法
KR101473984B1 (ko) 모바일 단말을 이용한 현장 정보 수집 시스템
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
KR102340527B1 (ko) 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법
JP2003316259A (ja) 撮影映像処理方法及び撮影映像処理システム
CN107566685B (zh) 一种图像数据处理方法及电子设备
JP2007241085A (ja) 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法
CN114286045A (zh) 一种三维信息获取的方法和装置
KR102181809B1 (ko) 시설물 점검 장치 및 방법
KR101323099B1 (ko) 모자이크 영상 생성 장치
EP4398586A1 (en) Visualization method and system for various data collected by sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250