JP2014099695A - 移動体観測装置 - Google Patents

移動体観測装置 Download PDF

Info

Publication number
JP2014099695A
JP2014099695A JP2012249301A JP2012249301A JP2014099695A JP 2014099695 A JP2014099695 A JP 2014099695A JP 2012249301 A JP2012249301 A JP 2012249301A JP 2012249301 A JP2012249301 A JP 2012249301A JP 2014099695 A JP2014099695 A JP 2014099695A
Authority
JP
Japan
Prior art keywords
image
moving body
frame
moving
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012249301A
Other languages
English (en)
Inventor
Hisashi Takado
寿士 高堂
Tadashi Aoki
正 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012249301A priority Critical patent/JP2014099695A/ja
Publication of JP2014099695A publication Critical patent/JP2014099695A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】移動体の誤検出を低減することにより、誤検出結果を保存する無駄を低減し、限りある画像保存容量の中でより長時間の観測を可能にすると共に、観測者の負担を軽減することを課題とする。
【解決手段】移動体観測装置は、複数フレームの画像を撮像する撮像装置(10)と、前記撮像装置を任意の方向に駆動可能な駆動装置(11)と、前記撮像装置により撮像された複数フレームの画像を基に移動体を検出する移動体検出部(122)と、前記移動体検出部により移動体が検出されると、前記検出された移動体が含まれるフレームの画像を保存する画像保存装置(13)とを有し、前記駆動装置は、前記撮像装置を既知の物体動作に追尾させるように駆動することを特徴とする。
【選択図】図1

Description

本発明は、移動体観測装置に関する。
天体観測の分野においては、望遠鏡を追尾させつつ撮影し、画像処理によって、静止軌道上のスペースデブリを検出する技術が特許文献1に開示されている。
特開2002−220098号公報
天体観測において流星やスペースデブリ等、高速で移動する物体を観測する場合、動画観測が必要となっている。その場合、特許文献1のように動画を全て保存し、後から移動体の検出を行う移動体観測装置では、保存できる画像容量に限りがあるため、観測時間に制限が生じていた。また、天体観測では恒星の日周運動が存在するため、撮像装置を固定したまま移動体を検出する方法では、恒星の日周運動による移動も検出してしまい、所望の流星やスペースデブリ以外の誤検出が増え、画像量が増えるという課題が生じていた。
本発明の目的は、移動体の誤検出を低減することにより、誤検出結果を保存する無駄を低減し、限りある画像保存容量の中でより長時間の観測を可能にすると共に、観測者の負担を軽減することである。
本発明の移動体観測装置は、複数フレームの画像を撮像する撮像装置と、前記撮像装置を任意の方向に駆動可能な駆動装置と、前記撮像装置により撮像された複数フレームの画像を基に移動体を検出する移動体検出部と、前記移動体検出部により移動体が検出されると、前記検出された移動体が含まれるフレームの画像を保存する画像保存装置とを有し、前記駆動装置は、前記撮像装置を既知の物体動作に追尾させるように駆動することを特徴とする。
移動体の誤検出を低減することにより、誤検出結果を保存する無駄を低減し、限りある画像保存容量の中でより長時間の観測を可能にすると共に、観測者の負担を軽減することができる。
移動体観測装置の構成例を示す図である。 恒星撮影の画像例を示す図である。 移動体観測装置の構成例を示す図である。 移動体観測装置の構成例を示す図である。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る移動体観測装置の構成の一例を示す図である。移動体観測装置は、撮像装置10、駆動装置11、画像処理装置12及び画像保存装置13を有する。画像処理装置12は、画像入力部120、一時記憶部121、移動体検出部122、制御部123、及び画像出力部124を有する。撮像装置10は、複数フレームの画像を撮像する。撮像装置10は、被写体光を電気信号(画像信号)に変換する。撮像装置10にはCCDイメージセンサやCMOSイメージセンサなどを用いることができる。撮像装置10は、所定の撮像時間(例えば16.6ミリ秒)おきに定期的に画像を出力することが可能である。図示していないが、移動体観測装置は、撮像装置10に被写体の光を集光する光学系を持っていてもよく、例えばレンズや天体望遠鏡等を用いることができる。駆動装置11は、例えば撮像装置10を備えつける架台及び電動モータを有し、撮像装置10を任意の方向に駆動可能である。駆動装置11は、例えば赤道儀などを用いることができる。画像入力部120は、撮像装置10で変換された電気信号(画像信号)に対して、各種信号処理を行う。例えば、画像入力部120は、電気信号がアナログ信号の場合、アナログ信号をデジタル信号に変換する。一時記憶部121は、画像入力部120からの入力信号を画像フレーム毎に一時記憶する。一時記憶部121は、数十フレームから数百フレームを一時記憶することができ、一時記憶部121の容量を超えるデータが入力された場合は、過去のデータから順に上書きする。例えば、一時記憶部121は、DRAM(dynamic random access memory)等の半導体メモリを用いることができる。
移動体検出部122は、一時記憶部121に記憶された複数フレームの画像を基に、移動体を検出する。移動体検出のアルゴリズムとしては、例えば、2つのフレーム画像間の差分をとり、差分値が閾値を超えたら移動体が検出されたと判定するといった方法を用いることができる。移動体検出部122は、移動体を検出した結果を制御部123に出力する。例えば、移動体検出部122は、FPGA(Field-Programmable Gate Array)内の機能ブロックとして実装することで用いることができる。制御部123は、移動体検出部122の移動体検出結果を入力し、画像出力部124に制御信号を出力する。例えば、制御部123は、FPGA(Field-Programmable Gate Array)内の機能ブロックとして実装することで用いることができる。画像出力部124は、制御部123の制御に基づいて、一時記憶部121に記憶された画像を画像保存装置13に出力する。画像保存装置13は、画像出力部124から出力された画像情報やその他の情報を保存する。具体的には、画像保存装置13は、移動体検出部122により移動体が検出されると、その検出された移動体が含まれるフレームの画像を保存する。画像保存装置13は、不揮発性であればよく、ハードディスク(HDD)やフラッシュメモリドライブ(SSD)などを用いることができる。また、画像保存装置13は、ネットワーク上のサーバであって、画像処理装置12とネットワークで接続される形態でもよい。
次に、撮像装置10を備え付けた駆動装置11を既知の動作を行う物体に追尾させる方法について説明する。本実施形態では、天体観測を行う場合、既知の動作として、地上から恒星を観測した時の日周運動を考える。図2(a)は、駆動装置11を用いず、撮像装置10を固定して動画撮像した場合のフレーム毎の画像を示している。図中の星印は、着目する恒星を表す。恒星の日周運動により、恒星の位置が移動している。駆動装置11は、赤道儀を用いる。赤道儀は、赤径軸と赤緯軸に沿って動くことができ、モータを備えることで、自動で動かすことが可能である。赤径軸に沿った方向に日周運動と同じ速度で撮像装置10を動かすことで、動画像撮像時には、恒星の動きをキャンセルすることができる。図2(b)は、駆動装置11を日周運動に合わせて動かしながら動画撮像した場合のフレーム毎の画像を示している。図2(b)では、恒星(星印)が移動しないように見える。本実施形態では、駆動装置11として赤道儀を例示したが、日周運動に追尾することができれば、経緯台などの鉛直方向と水平方向の2軸で動作する駆動装置11でもよい。駆動装置11は、撮像装置10を既知の物体動作(恒星の日周運動)に追尾させるように駆動する。
次に、移動体の検出から画像出力までの動作を説明する。駆動装置11と撮像装置10を用いて、既知の動きをする物体を追尾した状態で撮影された画像は、撮像装置10から画像処理装置12に出力される。移動体検出部122は、一時記憶部121から数フレームの画像を取得し、フレーム間差分処理を行うなどして移動体を検出する。この際に、既知の動きをする物体は、駆動装置11の追尾により、画像上では静止した状態であるので、移動体として誤検出されることを防止できる。移動体検出部122は、移動体を検出した場合、検出信号を制御部123に出力する。制御部123は、検出信号が入力されると、検出フレームからn(nは自然数)フレーム前までの画像を一時記憶部121から画像出力部124に出力するように制御する。画像出力部124は、nフレーム前から検出フレームまでの画像を画像保存装置13に出力する。移動体検出部121は、移動体が検出されなくなった場合、検出終了信号を制御部123に出力する。制御部123は、検出終了信号を入力すると、一時記憶部121に検出終了フレームからm(mは自然数)フレーム後までの画像を画像出力部124に出力するように指示を出す。画像出力部124は、検出終了フレームからmフレーム後までの画像を画像保存装置13に出力する。制御部123は、ユーザ入力部(不図示)の入力も受け付けられるようになっており、検出フレームからnフレーム前と検出終了フレームからmフレーム後のnとmの値はユーザ入力部から設定できる。移動体の検出以前と検出以後のフレームを記録する理由について説明する。物体が流星などの発光体の場合、移動体検出部122で検出される以前や検出終了後にも、移動体検出部122では検出できない微弱な発光現象が起きている場合がある。したがって、検出以前と検出以後のフレームも記録することが必要である。
画像保存装置13は、画像データを、バイナリデータ形式で専用フォーマットのRAW画像で保存する。画像データは、画像データ領域とヘッダとを有する。ヘッダは、フレーム番号、撮影位置等を含む。フレーム番号は、撮像開始からのフレームカウント数など、その画像がいつ撮像された画像かを識別できる情報であればよい。撮影位置は、移動体観測装置が設置されている位置を情報として含む。例えば、撮影位置は、設置位置の緯度経度で表される。画像データは、例えば横1920画素×縦1280画素の16ビットのバイナリデータである。画像保存装置13は、移動体検出部122が移動体を検出したフレームよりnフレーム前のフレームから、移動体検出部122が移動体の検出を終了したフレームからmフレーム後のフレームまでの画像を保存し、その他のフレームの画像を保存しない。これにより、画像保存装置13に保存する画像の容量を削減することができる。
このように、既知の動きをする物体を追尾しながら移動体の検出を行うことで、既知の動きをする物体を、移動体と誤検出してしまうことを抑制できる。その結果として、真の検出対象である移動体の検出精度を上げることができる。そして、誤検出結果を保存する無駄を低減できるので、画像保存容量制限に起因する撮影時間の制限を緩和できる。さらに、ユーザの観測負担を軽減することができる。
(第2の実施形態)
本発明の第2の実施形態では、第1の実施形態に加え、時刻計測装置を加えた例について説明する。本実施形態は、時刻計測装置を加えることで、画像フレームに時刻を付加して画像を出力することができる。連続記録している場合は、記録開始時刻とフレームレートがわかれば、自動的に記録された時刻を知ることができるが、第1の実施形態のように、記録可能時間を延ばすため移動体を検出した場合のみ画像を保存すると、いつ移動体が検出されたのか分からなくなる。そのため、時刻計測装置を加え、画像フレームに時刻情報を付加することで、移動体の検出時刻を確実に記録することが可能となる。
図3は、本発明の第2の実施形態に係る移動体観測装置の構成例を示す図である。本実施形態(図3)は、第1の実施形態(図1)に対して、時刻計測装置14を追加したものである。以下、本実施形態が第1の実施形態と異なる点を説明する。時刻計測装置14は、電波時計モジュールやGPSモジュール等を用いることができ、時刻情報を出力する。画像処理装置12は、制御部123が時刻計測装置14を制御し、時刻計測装置14で計測された時刻情報を取得する。取得された時刻情報は、画像処理装置12内の一時記憶部121に記憶された後、画像出力部124で、画像データのヘッダに時刻情報として付加される。時刻情報は、テキストデータでもバイナリデータでもよい。画像保存装置13は、フレームの画像を対応する時刻情報と共に保存する。このように、時刻情報を画像データに付加することで、画像データを解析する際に単位時間当たりの移動体の出現頻度を知ることができる。
(第3の実施形態)
本発明の第3の実施形態では、第1の実施形態に加え、画像表示装置を加えた例について説明する。図4は、本発明の第3の実施形態に係る移動体観測装置の構成例を示す図である。本実施形態(図4)は、第1の実施形態(図1)に対して、画像表示装置15を追加したものである。以下、本実施形態が第1の実施形態と異なる点を説明する。本実施形態は、画像表示装置15を加えることで、ユーザが観測途中でも動画を確認しながら観測を行うことができ、利便性が高まる。画像表示装置15は、動画像を表示する機能を備えており、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いることができる。移動体検出部122で検出されたnフレーム前の画像から、移動体検出部122で検出終了後のmフレーム後の画像までを一時記憶部121から、画像出力部124に出力するのは第1の実施形態と同様である。ここでは、画像出力部124は、画像保存装置13に画像を出力する機能に加え、画像表示装置15に画像を出力するためのフォーマット変換の機能を有する。画像出力部124は、画像をDVI出力やHDMI出力などの出力形式に変換した後、画像表示装置15に出力する。画像表示装置15は、画像保存装置13に保存しない画像は表示せず、画像保存装置13に保存する画像のみ表示する。すなわち、画像表示装置15は、移動体検出部122により検出された移動体が含まれるフレームの画像を表示する。これにより、ユーザは移動体検出時の画像をリアルタイムで確認することができる。
(第4の実施形態)
本発明の第4の実施形態では、第3の実施形態と同様に、画像表示装置15を有する例を説明する。本実施形態に係る移動体観測装置の構成は図4と同じである。本実施形態は、画像表示方法が第3の実施形態と異なるので、それについて以下で述べる。別の画像表示方法として、画像出力部124は、移動体が検出された場合とされない場合に関わらず、一時記憶部121に記憶された画像をDVI出力やHDMI出力にフォーマット変換した後、画像表示装置15に出力する。画像出力部124は、移動体検出部122で検出された画像フレームに対して、「移動体検出」などの文字を画像中に挿入して、画像表示装置15に出力する。画像表示装置15は、撮像装置10により撮像され複数フレームの画像を表示する際に、移動体検出部122により検出された移動体が含まれるフレームについては移動体が検出されたフレームであることを示す情報を表示する。これにより、ユーザは、常時撮影画像をモニタリングしつつ、移動体が検出されたことを確認することができる。
以上のように、第1〜第4の実施形態によれば、駆動装置11を設けることにより、移動体の誤検出を低減することができる。移動体の誤検出を低減することにより、誤検出結果を保存する無駄を低減し、限りある画像保存容量の中でより長時間の観測を可能にすると共に、観測者の負担を軽減することができる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
10 撮像装置、11 駆動装置、122 移動体検出部、13 画像保存装置

Claims (9)

  1. 複数フレームの画像を撮像する撮像装置と、
    前記撮像装置を任意の方向に駆動可能な駆動装置と、
    前記撮像装置により撮像された複数フレームの画像を基に移動体を検出する移動体検出部と、
    前記移動体検出部により移動体が検出されると、前記検出された移動体が含まれるフレームの画像を保存する画像保存装置とを有し、
    前記駆動装置は、前記撮像装置を既知の物体動作に追尾させるように駆動することを特徴とする移動体観測装置。
  2. 前記画像保存装置は、前記移動体検出部が移動体を検出したフレームよりn(nは自然数)フレーム前のフレームから、前記移動体検出部が移動体の検出を終了したフレームからm(mは自然数)フレーム後のフレームまでの画像を保存し、その他のフレームの画像を保存しないことを特徴とする請求項1記載の移動体観測装置。
  3. 前記既知の物体動作は恒星の日周運動であり、前記駆動装置は、前記撮像装置を前記恒星の日周運動に追尾させるように駆動することを特徴とする請求項1又は2記載の移動体観測装置。
  4. さらに、時刻情報を出力する時刻計測装置を有し、
    前記画像保存装置は、前記フレームの画像を対応する前記時刻情報と共に保存することを特徴とする請求項1〜3のいずれか1項に記載の移動体観測装置。
  5. さらに、前記移動体検出部により検出された移動体が含まれるフレームの画像を表示する画像表示装置を有することを特徴とする請求項1〜4のいずれか1項に記載の移動体観測装置。
  6. さらに、前記撮像装置により撮像され複数フレームの画像を表示する際に、前記移動体検出部により検出された移動体が含まれるフレームについては前記移動体が検出されたフレームであることを示す情報を表示する画像表示装置を有することを特徴とする請求項1〜4のいずれか1項に記載の移動体観測装置。
  7. 前記撮像装置は、天体望遠鏡を有することを特徴とする請求項1〜6のいずれか1項に記載の移動体観測装置。
  8. 前記駆動装置は、赤道儀を有することを特徴とする請求項1〜7のいずれか1項に記載の移動体観測装置。
  9. 前記駆動装置は、経緯台を有することを特徴とする請求項1〜7のいずれか1項に記載の移動体観測装置。
JP2012249301A 2012-11-13 2012-11-13 移動体観測装置 Pending JP2014099695A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012249301A JP2014099695A (ja) 2012-11-13 2012-11-13 移動体観測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012249301A JP2014099695A (ja) 2012-11-13 2012-11-13 移動体観測装置

Publications (1)

Publication Number Publication Date
JP2014099695A true JP2014099695A (ja) 2014-05-29

Family

ID=50941384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012249301A Pending JP2014099695A (ja) 2012-11-13 2012-11-13 移動体観測装置

Country Status (1)

Country Link
JP (1) JP2014099695A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018142496A1 (ja) * 2017-02-01 2019-11-07 株式会社日立製作所 三次元計測装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018142496A1 (ja) * 2017-02-01 2019-11-07 株式会社日立製作所 三次元計測装置
US11132810B2 (en) 2017-02-01 2021-09-28 Hitachi, Ltd. Three-dimensional measurement apparatus

Similar Documents

Publication Publication Date Title
US10911680B2 (en) Method and system of geolocation and attitude correction for mobile rolling shutter cameras
EP3606032B1 (en) Method and camera system combining views from plurality of cameras
CN104126299A (zh) 视频图像稳定化
US20160050349A1 (en) Panoramic video
JP6332037B2 (ja) 画像処理装置および方法、並びにプログラム
US9699381B2 (en) Digital photographing motion compensation system and method
US20240161503A1 (en) Information processing apparatus, information processing method, program, and imaging system
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
US20220188973A1 (en) Systems and methods for synthetic augmentation of cameras using neural networks
BR112020014077A2 (pt) visor montado na cabeça, método realizado por um visor montado na cabeça, programa de computador, e, meio de armazenamento legível por computador.
KR101118926B1 (ko) 주, 야간 겸용 이동물체 관측시스템
JP2017092839A5 (ja)
JP2014099695A (ja) 移動体観測装置
KR101286741B1 (ko) 모바일 매핑 시스템 및 이의 제어 방법
US11115604B2 (en) Camera apparatus for generating machine vision data and related methods
JP6414954B2 (ja) 道路画像管理システム
US20150022662A1 (en) Method and apparatus for aerial surveillance
US11563908B2 (en) Image acquisition techniques with reduced noise using single photon avalanche diodes
US11881129B2 (en) Systems and methods for adding persistence to single photon avalanche diode imagery
US9842402B1 (en) Detecting foreground regions in panoramic video frames
US9824455B1 (en) Detecting foreground regions in video frames
US10638045B2 (en) Image processing apparatus, image pickup system and moving apparatus
JP7089364B2 (ja) 撮影システム
RU2526890C1 (ru) Устройство селекции подвижных целей
US10477104B1 (en) Image sensor selection in a multiple image sensor device