JP2010122970A - 目標物位置特定装置および目標物位置特定方法 - Google Patents
目標物位置特定装置および目標物位置特定方法 Download PDFInfo
- Publication number
- JP2010122970A JP2010122970A JP2008296954A JP2008296954A JP2010122970A JP 2010122970 A JP2010122970 A JP 2010122970A JP 2008296954 A JP2008296954 A JP 2008296954A JP 2008296954 A JP2008296954 A JP 2008296954A JP 2010122970 A JP2010122970 A JP 2010122970A
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- target
- flight information
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】ヘリコプタに搭載した送信局100と地上の受信局200で構成され、送信局は、映像入力装置111で撮影した映像を地上に送信すると共に、ヘリコプタのフライト情報、および機上の操作者が入力装置132で指定した目標物の座標情報と指定した時点の時刻情報のデータを地上に送信し、受信局は受信した時刻情報をキーに映像解析装置230で過去の撮影映像から3次元モデルを生成し、指定された目標物の3次元位置を特定するようにした。
【選択図】図1
Description
また地面の3次元的形状を認識する地形認識装置および地形認識方法として、ステレオ画像を用いて最新の地勢データを計算する手法も知られている。(特許文献2参照)
タ伝送路は一般に大量のデータ伝送には向いておらず、三次元モデルの生成に必要な静止画を地上ではリアルタイムに入手できないため、地上で三次元情報を登録することもできない、という課題があった。
以下、この発明の実施の形態1における目標物位置特定装置を図に基づいて説明する。図1はこの発明の実施の形態1を示すシステム構成図、図2はこの発明の実施形態1の動作を説明するフロー図である。
図1において、目標物位置特定装置は、ヘリコプタや飛行機などの空中移動体に搭載される送信局100と地上に設置される受信局200とで構成される。なお以下の説明では空中移動体としてヘリコプタを使用した場合について説明する。
報を取得するフライト情報取得装置112と、映像やフライト情報を処理する信号処理装置120と、映像入力装置111で撮影した映像を表示する映像表示装置131と、撮影映像から目標物を指定する入力装置132と、映像入力装置111で撮影した映像とフライト情報取得装置112で取得したフライト情報等のデータとを受信局200に送信する送信装置140とからなる。
なお映像入力装置111のテレビカメラはヘリコプタに搭載したジンバル機構に支持され、フライト情報取得装置112によってカメラの向き、傾き、ズームの情報は勿論のこと、ヘリコプタの位置や姿勢および時刻の情報がフライト情報として取得される。
送信装置140は、情報管理部121で得られたフライト情報と目標物座標取得部122で得られた目標物のピクセル座標値の座標情報および目標物を指定した時点の時刻情報とをデータとして受信局200に送信するものである。
図2のステップS21は、送信局100において、映像入力装置111のテレビカメラが災害現場などにおける時々刻々の映像を撮影して信号処理装置120の情報管理部121に出力し、映像を蓄積する。
ステップS22は、フライト情報取得装置112が映像と同期して送信局100を搭載したヘリコプタにおける時々刻々のフライト情報を取得して、信号処理装置120の情報管理部121に出力し、フライト情報を蓄積する。ここでフライト情報とは、ヘリコプタの位置および姿勢、映像入力装置111のカメラの向き、傾き、ズーム、および時刻の情報である。
ステップS24は、映像入力装置111が撮影した時々刻々の映像を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140から受信局200に送信する。また、フライト情報取得装置112が取得したフライト情報を信号処理装置120の情報管理部121から送信装置140に出力し、送信装置140は映像の送信と同期して時々刻々のフライト情報を受信局200に送信する。このようにして送信局100から受信局200に対して、映像信号と、映像信号に同期してフライト情報が送信される。
ステップS26は、受信装置210で受信した映像およびフライト情報を情報管理部221に蓄積する。映像とフライト情報は受信時にも同期がとれており、情報管理部221に蓄積する際には、映像とフライト情報は時刻などの情報をキーに、関連付けて蓄積する。
送信局100において、操作者は映像表示装置131に表示された映像中で火災や倒壊などを確認すると、入力装置132によって映像中で火災や倒壊などの建物の目標物を指定することができる。
ステップS27は、入力装置132により映像表示装置131に表示された映像中の画枠内で目標物を指定する。この目標物を指定する方法としてはマウスでクリックする、タッチパネルでタッチする、カメラを操作して目標物が映像中の中心等に来るようにして目標物をロックするなどで行うことができる。
ステップS28は、入力装置132で指定された目標物の表示位置をピクセル座標値で得た座標情報と目標物が指定された時点の時刻情報を信号処理装置120の目標物情報取得部122で取得し蓄積する。
ステップS29は、信号処理装置120の目標物情報取得部122で取得した、目標物の座標情報と目標物が指定された時点の時刻情報を、送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
ステップS31は、受信局200において、送信装置140から送信された目標物の座標情報と時刻情報を受信装置210が受信する。
ステップS32は、受信装置210が目標物の座標情報と時刻情報を受信すると、これらの情報を映像解析装置230の位置特定部231に出力し、映像解析装置230の位置特定部231は受信した座標情報と時刻情報を3Dモデル生成部232に出力する。3Dモデル生成部232は、位置特定部231から出力された時刻情報を基に、送信局100で目標物を指定した時刻に対応したフライト情報を情報管理部221から取得する。
ステップS34は、3Dモデル生成部232が、生成した静止画とフライト情報をソースとして、撮影映像の3次元モデルを生成する。こうして3Dモデル生成部232は、目標物を指定した時刻での3次元モデルを生成することになる。
よって、ステップS35は、3Dモデル生成部232が、機上から目標物の位置を画像中のピクセル座標値で指定して送信された座標情報を取得しているから、この座標情報をステップS34で生成した3次元モデルに表示(例えば目標物に×印を付すなど)することで、目標物の位置を特定できる。こうして、地上側で撮影映像の3次元モデルに目標物の空間的な位置情報を取得することができる。
次にこの発明の実施の形態2における目標物位置特定方法について説明する。上記した実施の形態1のステップS24において、信号処理装置120の情報管理部121は、フライト情報取得装置112が取得したフライト情報を蓄積し圧縮を行う。さらに情報管理部121はあらかじめ設定された所定の送信周期、または都度入力されるユーザの送信命令をトリガーとして圧縮したフライト情報を映像とは非同期に送信装置140に出力し、送信装置140から受信局200に目標物の座標情報と時刻情報を送信する。
このようにすることで、データの伝送頻度を下げることができる他、フライト情報を圧縮して送信することができるのでデータ送信装置で伝送されるデータ量を削減できる。
次にこの発明の実施の形態3における目標物位置特定装置について説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態3の発明では、映像とデータを別々にして送信するようにしたものである。
図3はこの発明の実施の形態3における目標物位置特定装置のシステム構成図である。送信装置140は、映像入力装置111で撮影した映像を受信局200に送信する映像送信装置141と、フライト情報取得装置112で取得したフライト情報等のデータを受信局200に送信するデータ送信装置142とで構成している。また受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、データ送信装置142から伝送されたデータを受信するデータ受信装置212とで構成している。その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
ステップS25においては、送信局100の映像送信装置141から送信された映像を映像受信装置211で受信し、また送信局100のデータ送信装置142から送信されたフライト情報などのデータをデータ受信装置212で受信するようにする。
その他のステップにおける動作は実施の形態1と同じにつき説明を省略する。このよう
にすることで、映像とフライト情報を別々の送信装置で送信することができる。
次にこの発明の実施の形態4における目標物位置特定装置を図に基づいて説明する。上記した実施の形態1では、映像とデータを送信装置140で送信する場合について述べたが、実施の形態4の発明では、データを映像信号に多重して送信するようにしたものである。
受信局200において、受信装置210は、映像送信装置141から伝送された映像信号を受信する映像受信装置211と、映像受信装置211で受信した多重化信号から映像信号とデータを分離し、映像信号とフライト情報は情報管理部221に、座標情報と時刻情報のデータは映像解析装置230に出力するデータ取得装置213とから構成する。
その他の構成は図1と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
次にこの発明の実施の形態5における目標物位置特定装置を図に基づいて説明する。
上記した実施の形態3では、映像とデータを別々にして送信する場合について述べたが、実施の形態5の発明はこれらデータをヘリコプタに一般的に備えられている音声通話用
の連絡用無線装置145から送信するようにしたものである。
次にこの発明の実施の形態6における目標物位置特定装置について説明する。
上記した実施の形態1〜5では、現在の映像と現在のフライト情報を送信する場合について述べたが、実施の形態6の発明は、過去の映像と過去のフライト情報を再生して送信するようにしたものである。
図1の信号処理装置120の情報管理部121は、現在の映像とフライト情報を出力する代わりに、あらかじめ蓄積した映像とフライト情報を再生して、映像表示装置131と送信装置140に出力する。この際に、座標情報および時刻情報は記録時のものを出力する。このようにすることで、例えば、空中と地上との無線の不感帯で撮影した場合にも、蓄積した情報を後で再生して利用することができる。
なお、座標情報および時刻情報は、映像表示装置131で表示される過去の映像に対して入力装置132により指定されたものを送信装置140に出力するようにしてもよい。その際に、時刻は、記録時の時刻でもよいし、再生時の時刻でもよい。映像、フライト情報、目標物を指定した際の時刻のすべてがそろっていればよい。
112:フライト情報取得装置 120:信号処理装置
121:情報管理部 122:目標物情報取得部
130:送信装置 131:映像表示装置
132:入力装置 140:送信装置
141:映像送信装置 142:データ送信装置
143:データ多重装置 144:変換装置
145:連絡用無線装置
200:受信局 210:受信装置
211:映像受信装置 212:データ受信装置
213:データ取得装置 214:変換装置
215:連絡用無線装置 221:情報管理部
230:映像解析装置 231:位置特定部
232:3Dモデル生成部。
Claims (9)
- 空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、
前記送信局には、映像を撮影して出力する映像入力装置と、
前記映像入力装置で撮影した映像を表示する映像表示装置と、
前記空中移動体のフライト情報を取得するフライト情報取得装置と、
前記映像入力装置で撮影した映像から目標物を指定する入力装置と、
前記フライト情報、前記入力装置により指定した目標物の座標情報および前記指定した時点の時刻情報を処理する信号処理装置と、
前記映像入力装置で撮影した映像、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信する送信装置とを備え、
前記受信局には、前記送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、
受信した時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定する映像解析装置とを備えた目標物位置特定装置。 - 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信するデータ送信装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記データ送信装置で送信されたフライト情報、座標情報および時刻情報を受信するデータ受信装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。 - 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、映像信号に前記信号処理装置で処理されたフライト情報、座標情報、時刻情報のデータを多重化するデータ多重装置とを有し、このデータ多重装置からの信号を前記映像送信装置から前記受信局に送信するようにし、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記映像受信装置で受信した映像信号から多重データを取得するデータ取得装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。 - 前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を音声信号に変換して受信局に送信する連絡用無線装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記送信局側の連絡用無線装置から送信されるフライト情報、座標情報および時刻情報を受信する連絡用無線装置とを有することを特徴とする請求項1に記載の目標物位置特定装置。 - 前記信号処理装置はフライト情報、座標情報および時刻情報を蓄積して、前記映像とは非同期に前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
- 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理されたフライト情報、座標情報および時刻情報とを蓄積し、蓄積された過去の映像、フライト情報、座標情報および時刻情報を前記送信装置に出力する情報管理部を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。
- 前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理された
フライト情報とを蓄積し、蓄積された過去の映像を前記映像表示装置および前記送信装置に出力し、蓄積された過去のフライト情報を前記送信装置に出力する情報管理部を有し、前記映像表示装置に表示された過去の映像から入力された前記座標情報および時刻情報が前記送信装置により送信されることを特徴とする請求項1乃至請求項4のいずれか1項に記載の目標物位置特定装置。 - 前記フライト情報は、前記空中移動体の位置、姿勢および前記映像入力装置のカメラの向き、傾き、ズーム、および時刻の情報であることを特徴とする請求項1乃至請求項7のいずれか1項に記載の目標物位置特定装置。
- 空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の前記空中移動体の位置、姿勢、前記テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と前記指定した時点の時刻情報を地上に送信し、地上で受信した前記撮影映像と前記時刻情報をキーに過去の映像およびフライト情報を用いて3次元モデルを生成し、受信した目標物の座標情報の3次元位置を特定するようにした目標物位置特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008296954A JP4975003B2 (ja) | 2008-11-20 | 2008-11-20 | 目標物位置特定装置および目標物位置特定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008296954A JP4975003B2 (ja) | 2008-11-20 | 2008-11-20 | 目標物位置特定装置および目標物位置特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010122970A true JP2010122970A (ja) | 2010-06-03 |
JP4975003B2 JP4975003B2 (ja) | 2012-07-11 |
Family
ID=42324245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008296954A Active JP4975003B2 (ja) | 2008-11-20 | 2008-11-20 | 目標物位置特定装置および目標物位置特定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4975003B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012189866A (ja) * | 2011-03-11 | 2012-10-04 | Mitsubishi Electric Corp | 映像撮影位置特定装置及びこれを用いた映像表示システム |
JP2019041340A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社Dapリアライズ | 多重映像配信システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331831A (ja) * | 1998-05-15 | 1999-11-30 | Mitsubishi Electric Corp | 画像上の位置判読装置 |
JP2001025002A (ja) * | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | 遠隔撮影システム、撮影装置及び遠隔撮影方法 |
JP2001292444A (ja) * | 2000-04-10 | 2001-10-19 | Mitsubishi Electric Corp | 撮影システム |
-
2008
- 2008-11-20 JP JP2008296954A patent/JP4975003B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331831A (ja) * | 1998-05-15 | 1999-11-30 | Mitsubishi Electric Corp | 画像上の位置判読装置 |
JP2001025002A (ja) * | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | 遠隔撮影システム、撮影装置及び遠隔撮影方法 |
JP2001292444A (ja) * | 2000-04-10 | 2001-10-19 | Mitsubishi Electric Corp | 撮影システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012189866A (ja) * | 2011-03-11 | 2012-10-04 | Mitsubishi Electric Corp | 映像撮影位置特定装置及びこれを用いた映像表示システム |
JP2019041340A (ja) * | 2017-08-28 | 2019-03-14 | 株式会社Dapリアライズ | 多重映像配信システム |
Also Published As
Publication number | Publication date |
---|---|
JP4975003B2 (ja) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106454209B (zh) | 基于时空信息融合技术的无人机应急快反数据链系统及方法 | |
US20220191434A1 (en) | Surveillance system with fixed camera and temporary cameras | |
JP4763610B2 (ja) | ビデオオンデマンド方法及び装置 | |
US8692885B2 (en) | Method and apparatus for capture and distribution of broadband data | |
EP3629309A2 (en) | Drone real-time interactive communications system | |
WO2018205844A1 (zh) | 视频监控装置、监控服务器及系统 | |
WO2009113755A1 (en) | Monitoring system using unmanned air vehicle with wimax communication | |
JP7109395B2 (ja) | 作業支援システム、作業支援装置、及び作業支援方法 | |
CN114140528A (zh) | 数据标注方法、装置、计算机设备及存储介质 | |
CN110910502A (zh) | 一种无人机三维建模系统 | |
CN108259827A (zh) | 一种实现安防的方法、装置、ar设备及系统 | |
CN109766006B (zh) | 虚拟现实场景的显示方法、装置及设备 | |
EP4398183A1 (en) | Image stitching method and system based on multiple unmanned aerial vehicles | |
US20190387153A1 (en) | Imaging resolution and transmission system | |
JP4975003B2 (ja) | 目標物位置特定装置および目標物位置特定方法 | |
KR101473984B1 (ko) | 모바일 단말을 이용한 현장 정보 수집 시스템 | |
JP5864371B2 (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
KR102340527B1 (ko) | 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 | |
JP2003316259A (ja) | 撮影映像処理方法及び撮影映像処理システム | |
CN107566685B (zh) | 一种图像数据处理方法及电子设备 | |
JP2007241085A (ja) | 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法 | |
CN114286045A (zh) | 一种三维信息获取的方法和装置 | |
KR102181809B1 (ko) | 시설물 점검 장치 및 방법 | |
KR101323099B1 (ko) | 모자이크 영상 생성 장치 | |
EP4398586A1 (en) | Visualization method and system for various data collected by sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120410 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |