JP2010124399A

JP2010124399A - 空中移動体からの自動追尾撮影装置

Info

Publication number: JP2010124399A
Application number: JP2008298252A
Authority: JP
Inventors: Ritsu Nomura; 立野村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-11-21
Filing date: 2008-11-21
Publication date: 2010-06-03
Anticipated expiration: 2028-11-21
Also published as: JP4896116B2

Abstract

【課題】空中移動体からの自動追尾撮影機能の精度向上を図る。
【解決手段】自機の姿勢を計算する自機姿勢取込機能１４と、カメラからの映像を取り込む映像取込機能１１と、カメラの撮影方向の情報を取り込むカメラ姿勢取込機能１３と、カメラの撮影方向を制御するカメラ制御機能１７と、映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能１２と、カメラ姿勢取込機能からのカメラ姿勢情報と自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能にカメラの撮影方向を制御させるカメラ方向演算機能１６と、目標物の位置座標を補正する機能を有する座標再計算機能３１と、を備え、座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える。
【選択図】図２

Description

この発明は空中移動体に搭載される自動追尾撮影装置に関し、例えば航空機やヘリコプタなどの空中移動体を用いて災害対策や救難活動等を行う場合、空中移動体搭載のカメラによって目標物を撮影する際、その空中移動体の空中での位置や姿勢や動作にかかわりなく、指定した目標物を自動的に継続して撮影する場合等に使用される空中移動体からの自動追尾撮影装置に関するものである。

空中移動体に搭載される従来の自動追尾撮影装置は、撮影場所の緯度経度情報に基づく座標指定による追尾方式と、カメラ撮影映像の画像解析処理による追尾方式、の２つに分かれている。
前者の座標指定による追尾方式はあらかじめ撮影対象物の緯度経度情報を当該装置に登録しておき、１秒毎にGPSやジャイロなどで収集される空中移動体の空中での位置情報と
空中での姿勢情報を元に対象物緯度経度にカメラを向け続ける方式である。
後者の画像解析処理による追尾方式は撮影した画像上の中心に目標物を捕捉することで目標物の形状を把握し、画像解析によって、続いて撮影した画像上からその対象物の形状を抽出することによってカメラの向きを調整する方式である。
前者の座標指定方式の追尾方式は、事前に目標物の位置がわかっており、当該目標物があまり移動しない場合での利用が有効である。画像解析方式の追尾方式は、目標物の位置が不明もしくは常に移動中である場合に必要とされる。
ヘリコプタ等の空中移動体の空中の位置情報や空中の姿勢情報は、GPSやジャイロ等の機器により利用可能となっており、これら機器の精度は年々向上の一途を辿っている。自動追尾装置においてもこれらの機器の有効利用が必須である。

特開２００６−１２１２６１号公報（図及びその説明）

前記座標指定の追尾方式では、従来は緯度経度情報のみの指定またはそれに加えて標高情報のみの指定が主であった。そのため、指定する座標と実際に撮影したい目標物の位置に誤差が生じる場合があり正しい追尾が難しいという問題があった、
また、たとえばビルの屋上、等の撮影場所の指定についてはその高さ情報を推定することは困難であった。
また、空中移動体の位置によっては正しく目標物をカメラで捉えられない状況も発生する。目標位置補正のために緯度経度情報を手動で再設定することは一般には困難であり、他の方式での位置補正機能が求められる。
特許文献１では、目標物位置精度向上のために、手動でカメラの向きを変更する操作に応じて目標位置を修正する方式が提案されている。本方式はカメラ光軸線上にあり前回目標位置との最短距離をとる点を次の目標位置として指定する方式であるが、これは最初の目標位置がある程度の精度をもった位置情報として指定されていなければ正しい目標位置を捕捉することは難しい方式である。
また、従来方式では事前の位置座標の指定が必要であるが、実際は必ずしもあらかじめ対象物の位置座標が判っている状況ばかりではない。そういった状況の場合はカメラで目標物を撮影した状況で位置座標を特定する必要があるが、特定された位置座標は本来の目標物の位置とはずれが発生する場合が往々にしてあり、そのため追尾機能の開始が困難となっていた。

この発明は、前述のような実情に鑑みてなされたもので、空撮中のある地点での撮影時カメラ方向と次の地点での撮影時のカメラ方向とを用いて、目標物の位置座標を計算すると共に、計算した目標物の位置座標を補正することで空中移動体からの自動追尾撮影機能の精度向上を図ることを目的とするものである。

この発明に係る空中移動体からの自動追尾撮影装置は、自機の姿勢を計算する自機姿勢取込機能と、カメラからの映像を取り込む映像取込機能と、カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、カメラの撮影方向を制御するカメラ制御機能と、前記映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、前記カメラ姿勢取込機能からのカメラ姿勢情報と前記自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、前記目標物の位置座標を補正する機能を有する座標再計算機能と、を備え、前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加えるものである。

この発明は、自機の姿勢を計算する自機姿勢取込機能と、カメラからの映像を取り込む映像取込機能と、カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、カメラの撮影方向を制御するカメラ制御機能と、前記映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、前記カメラ姿勢取込機能からのカメラ姿勢情報と前記自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、前記目標物の位置座標を補正する機能を有する座標再計算機能と、を備え、前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加えるので、空中移動体からの自動追尾撮影機能の精度向上を図ること効果がある。

実施の形態１．
以下、この発明の実施の形態１を図１〜図７により説明する。図１は自動追尾装置とその周辺機器との関係の事例を概略的示す図、図２は自動追尾装置の内部の機能および各機能の相関関係を図式的に例示する図、図３は空中移動体が動きまわるワールド座標系を例示する図、図４は空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を例示する図、図５はカメラの座標系の考え方とパン角、チルト角を例示する図、図６は空中移動体の位置と目標物の位置とを模式図として例示する図、図７は座標再演算機能の具体的な処理内容をフローチャートで例示する図である。本実施の形態１は、空撮中のある地点での撮影時カメラ方向と次の地点での撮影時のカメラ方向とを用いて、目標物の位置座標を計算するものであり、また、ビューワからの指定を可能とすることで、目標物の把握を簡単にし、事前の位置座標情報が無くても追尾対象物の位置の把握とその補正を実現するものであり、最初に指定した座標と本来の目標物の座標にずれが生じていた場合においても、ごく短い期間で直ちにその修正を可能とするものである。

図１において、ヘリコプタ等の空中移動体100に搭載のカメラ１は、空中移動体がヘリコプタの場合はその先頭の下方などに艤装されている。以下、空中移動体100がヘリコプタ（以下、「ヘリ」と略記する）の場合を事例として説明する。

空中移動体であるヘリ100に搭載されている自動追尾装置２は、カメラ１から映像情報およびカメラ撮影方向角度情報（カメラ撮影の方向およびカメラ撮影の角度の情報（具体的には図５に例示のパン、図５に例示のチルト角度の情報）を受信するインタフェースを有し当該インタフェースによってカメラ１の前記各情報の出力端に接続されている。
また、自動追尾装置２は、カメラ１に対してカメラの撮影方向を制御するための信号を送信するインタフェースを有している。
さらに、自動追尾装置２は、ヘリ100に搭載のGPSアンテナ３およびヘリ100に搭載のジャイロ４に接続され、GPSアンテナ３からGPS情報を受信し、ジャイロ４からヘリ機体の空中での姿勢情報を受信する。

ヘリ100に搭載の映像表示装置５は、カメラ１で撮影した映像を表示するビューワである。

ポインティングデバイス６は、ビューワ５に表示されている映像上で追尾対象物を指し示すために用いられる。

ヘリ100に搭載のキーボード７は、目標物の位置座標を入力するために用いられる。

コントローラ８は、手動でカメラの方向を操作するために用いられる。

図２に例示してあるように、自動追尾装置２は、その主要機能として、映像取込機能１１、映像位置表示機能１２、カメラ姿勢取込機能１３、自機姿勢入力機能１４、座標入力機能１５、カメラ方向演算機能１６、カメラ制御機能１７、位置特定機能１８、および座標再計算機能１９を有している。

映像取込機能１１は、カメラ１から送信される映像を映像位置表示機能１２に逐次送信する。

映像位置表示機能１２は、カメラ１から送信される映像をビューワ５に逐次表示する。

カメラ１の姿勢情報は、カメラ姿勢取込機能１３に送信される。カメラ１の姿勢情報は、具体的には、パン角α（図５参照）、チルト角β（図５参照）を指す。

自機姿勢入力機能１４は、GPSアンテナ３およびジャイロ４からの情報を取り込み、自機の姿勢を算出する。GPSアンテナ３からの情報は、具体的には位置情報（緯度θ、経度λ、高度H）からなり、ジャイロ４からの情報は、ヘリ機体100のピッチ角φ（図４参照）、ヘリ機体100のロール角ω（図４参照）、ヘリ機体100のヨー角κ（図４参照）からなる。

座標入力機能１５は、キーボード７により入力された目標物座標（緯度、経度）を取得し、カメラ方向演算機能１６に渡す。

カメラ方向演算機能１６は、カメラ１の方向を指定された目標物座標に向けるために、カメラ姿勢取込機能１３および自機姿勢入力機能１４の各々の入力を元に新しいカメラ方向を計算し、その方向に向くようにカメラ制御機能１７を自動的に操作する。

カメラ制御機能１７は、カメラ１に対して信号を出し、カメラ１は、カメラ方向演算機能１６で導出された目標の方向にカメラを向けることになる。カメラ方向演算機能１６はカメラ姿勢取込機能１３および自機姿勢入力機能１４からの入力信号が届き次第、カメラ方向を再計算し、カメラ制御機能１７に対して制御情報を送信することで、カメラを継続して再導出された目標の方向に向けることが可能となる。これを座標指定方式自動追尾機能と呼ぶ。

ヘリが目標物に近づくにつれ、目標として指定した位置座標と実際の目標物の位置のずれが顕著になってくると考えられる。その場合、例えばコントローラ８を用いてカメラ方向を手動で正しい目標物を撮影するように回転させる。その情報が位置特定機能１８に渡される。

位置特定機能１８はその情報を座標再計算機能１９に渡す。これをきっかけとして目標物の位置座標の補正が行われる。

ここでは、空中移動体からのカメラ制御の基本的考え方を示す。

空中移動体が動きまわるワールド座標系を図３に例示してある。また、空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を図４に示す。また、カメラの座標系の考え方とパン角、チルト角を図５に示す。

空中移動体であるヘリ100の現在位置の緯度経度情報を(θ0, λ0, h0)であらわす。また座標指定方式で指定された目標物座標は(θ1, λ1, h1)とする。なおこれ以降の角度の単位はすべてラジアンとする。現在位置から目標物までの方向ベクトル(△x, △y, △ｈ)を求めるためには、緯度経度座標系から平面直角座標系に変換してやる必要がある。これには、http：//vldb.Gsi.go.jp/sokuchi/surveycalc/algorithm/bl2xy/bl2xy.htmに記載された方式があるが、近似的には、以下のような方法も可能である。

△x = a(λ1-λ0)cos(θ1) ・・・・・・・・・・・(1-a) 但し、aは地球の半径。
△y = a(θ1-θ0) ・・・・・・・・・・・・・・・(1-b)
△z = h1 - h0 ・・・・・・・・・・・・・・・・(1-c)

ワールド座標からプラットフォーム座標に変換するための回転行列は、ロール回転、ピッチ回転、ヨー回転、の３種類に対して、それぞれ、

であり、ワールド座標で示した前述の方向ベクトル(△x, △y, △h)のプラットフォーム座標(u,v,w)への変換は、逆回転をかければよいので、以下の式で可能である。

また、カメラのパン回転、チルト回転の回転行列は、

となる。カメラの基準方向を、ヘリ進行方向C0とすると、パン回転およびチルト回転によるカメラ方向ベクトルC1は、

であらわされる。このC1は（３）式の（u,v,w）に等しいため、これを用いて、方向ベクトル（u,v,w）にカメラを向けるためのパン角度、チルト角度は、

で基本的に計算可能である。
カメラ方向演算機能１６は、指定された目標物の位置座標と、自機姿勢入力機能１４から送られた現在位置情報およびジャイロ４から送られてきたヘリ機体姿勢情報を基にして、前記パン角α、チルト角βを算出し、これら算出されたパン角α、チルト角βをカメラ制御機能１７に逐次送信することでカメラの撮影方向の制御を行う。

次に前述の基本的考え方を用いた、撮影位置補正方法の実現方式の事例を説明する。

空中移動体100は位置S0に居る時に目標物４２の位置をT0と想定して追尾撮影を行っている。そのときのカメラ光軸ベクトルを４３で示す。
空中移動体100が位置S1に移動したときに、目標物４２とカメラ光軸ベクトル４３とのずれが発生するため、ポインティングデバイス６によって目標物４２の位置を修正する。このときにカメラ光軸ベクトルは４４であらわされる。
座標再計算機能１９は、新しい目標物の位置T1を、カメラ光軸ベクトル４３とカメラ光軸ベクトル４４との最短距離を示す線分４５とカメラ光軸ベクトル４４との交点とする。

空中移動体100の位置S0のワールド座標を(0, 0, 0)とし、T0のワールド座標を(Tx, Ty,Tz)とする。したがって、カメラ光軸ベクトル４３のベクトルは(dx, dy, dz)=(Tx, Ty, Tz)で示される。また、空中移動体100が移動した後のワールド座標S1を(Sx, Sy, Sz)とする。また、カメラ光軸ベクトル４４のワールド座標でのベクトルをC=(Cx, Cy, Cz)とする。

カメラ光軸ベクトル４３を示す直線の方程式は、

カメラ光軸ベクトル４４を示す直線の方程式は、

したがって、線分４５は、

であらわされる。線分４５とカメラ光軸ベクトル４３とが直交することから、

同じく、線分４５とカメラ光軸ベクトル４４とが直交することから、

この２式を連立方程式とした時、そのqの値からT1の座標が求められる。具体的には、

座標再計算機能１９の具体的な処理内容を図７に示す。

ステップＳＴ５１において、座標再計算機能１９、自機姿勢入力機能１４からカメラ方向演算機能１６を経由して、移動体の位置情報と姿勢情報を取得する。

次にステップＳＴ５２において、カメラ姿勢取込機能１３からカメラ方向演算機能１６を経由して、カメラの姿勢情報を取得する。

次にステップＳＴ５３において、前回の値から今回の位置座標の値を計算する。前回の計算時の位置S0の緯度・経度・高度(θ0, λ0, h0)は取得済みで、その位置をワールド座標系での原点とする。現在位置の緯度・経度・高度(θ1, λ1, h1)がわかると、位置S1のワールド座標(Sx, Sy, Sz)は前記(1-a), (1-b), (1-c)の式より、

Sx = △x = a(λ1-λ0)cos(θ1) 但し、aは地球の半径。
Sy = △y = a(θ1-θ0)
Sz = △z = h1 - h0
で計算できる。

次にステップＳＴ５４において、現在のカメラ角度からカメラ光軸ベクトルC=(Cx, Cy,Cz)を求める。カメラの基準方向をヘリ進行方向C0とすると、その基準方向へのベクトルC0は(1, 0, 0)であらわされる。位置S1に移動した時のカメラのパン角、チルト角をそれぞれα、βとすると、カメラ方向を計算する回転行列は、

であらわされる。
これにより、求める光軸ベクトルは、

となる。これをワールド座標に変換して、

で計算できる。

次にステップＳＴ５５において、qを計算する。ステップＳＴ５３の結果およびステップＳＴ５４の結果から、前記の式(11)を用いて計算する。

次にステップＳＴ５６において、qの値と、式(９)から、目標物４２の位置T1の座標(x, y, z)を求める。

次にステップＳＴ５７において、目標物４２の位置T1の方向を明確にする。直線４３とカメラ光軸ベクトル４４との最短距離は、理論的にはカメラの逆方向の可能性もあるため、それを排除する必要がある。ここではqの値が正ならば、目標物４２の位置T1の方向はカメラの向きと同じ方向と判断し、負の値ならば目標物４２の位置T1の方向はカメラの向きと逆方向と判断できる。もし目標物４２の位置T1の方向がカメラの向きと逆方向ならばその目標物４２の位置T1の座標は廃棄して、処理を停止する。目標物４２の位置T1の方向がカメラの向きと正方向ならばステップＳＴ５８に進む。

ステップＳＴ５８では、T1を新しい目標物の座標としてカメラ方向演算機能１６にT1の値を渡す。

ステップＳＴ５９では、空中移動体100の位置S1の値と目標物４２の位置T1の値とを、次の計算のために保持する。

本機能の実現により、自動追尾装置における目標位置座標の補正が可能になる。本機能では前回の移動体位置と目標物座標からなるベクトルと今回指定時の移動体位置とカメラ方向からなるベクトルの最短距離をとる線分を算出することで、新しい目標位置を、その線分と今回指定時のカメラ方向ベクトルとの交点として求めている。
これにより、最初の目標位置座標が実際とずれている場合でも、短い期間でのカメラ操作によって直ちに目標位置の補正が行われ、有効な自動追尾撮影が可能になる。

なお、本実施の形態１は、前述のように、概念的には、自機の姿勢を計算する自機姿勢取込機能と、カメラからの映像を取り込む映像取込機能と、カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、カメラの撮影方向を制御するカメラ制御機能と、前記映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、前記カメラ姿勢取込機能からのカメラ姿勢情報と前記自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、前記目標物の位置座標を補正する機能を有する座標再計算機能と、を備え、前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える空中移動体からの自動追尾撮影装置である。

また、観点を変えると、本実施の形態１は、前述のように、GPSとジャイロからの情報
より自機の姿勢を計算する自機姿勢取込機能と、カメラからの映像を取り込みフレームごとの画像に変換する映像取込機能と、カメラの撮影方向（パン・チルト・ズーム）の情報を取り込むカメラ姿勢取込機能と、カメラの撮影方向を自由に制御するカメラ制御機能と、撮影追尾対象物の位置を座標値で指定するための座標指定機能と、映像取込機能で取り込んだ画像をディスプレイに表示するための映像位置表示機能と、カメラの方向を直接手動操作して対象物にカメラを向けて指定するジョイスティックと連動した位置特定機能と、カメラ姿勢取込機能からのカメラ姿勢情報と、自機姿勢演算機能からの自機姿勢情報と、座標入力機能からの対象物座標値からカメラ撮影方向を演算しカメラ制御機能に渡すためのカメラ方向演算機能と、位置特定機能からの指示によって目標物の位置座標を補正する機能を有する座標再計算機能と、からなる空中移動体からの自動追尾撮影装置であり、直前に対象物（目標物）を撮影した時の自機位置と目標物の位置ならびに現在の自機位置から目標物の位置座標を新しく再計算することによって目標物の位置に補正を加える機能を有する空中移動体からの自動追尾撮影装置である。

実施の形態２．
以下、この発明の実施の形態２を図８および図９によって説明する。図８は基本的考え方を示す図、図９は座標再演算機能の具体的な他の処理内容をフローチャートで例示する図である。本実施の形態２は、目標物と位置座標が不一致となった場合に、ユーザがビューワ上に表示された映像中の対象物の位置をポインティングデバイスにより指定する操作を行うことにより、そのときの自機姿勢情報及びカメラ姿勢情報から、自動的に座標位置を再計算することにより、対象物座標指定の精度を向上させる機能を有するものである。

前述の実施の形態１の方式では、位置補正のための目標物の再指定はコントローラ８によるカメラ手動操作が主となっていた。しかしカメラ手動操作による目標物の指定は映像中心の照準に目標物が収まるようにカメラを操作する高い技術が必要であった。それを簡単にするために本実施の形態２では、実施の形態１の方式と組み合わせたビューワ５による指定方式を実現する。

先ず、図８を用いて基本的考え方を説明する。

図８において、投影画面６１を映像表示枠とする。そこに、対象物（目標物）６２を含む映像を投影する。画像の中心点をP0=(0,0)とし、対象物６２が投影画面６１上に表示されている場所をP=(u,v)とする。投影画面６１の大きさを縦h、横wとし、レンズの焦点距離をcとすると、画角（縦方向、横方向）は以下のように求まる。

同様に、OからPを結ぶ直線OPの、現在のカメラ方向とのなす角度dθ、dφは、

で計算できる。実際に、本式を(14)式にあてはめると、補正後のカメラ光軸ベクトルが求められる。すなわち、

とすればよい。

次にこの考え方を用いて、実際に補正をかける手順を図９に示す。図９は、図７に対して本実施の形態２の方式による角度補正を適用するためのステップＳＴ７１およびステップＳＴ７２の手順を追加したものである。

ステップＳＴ７１において、ポインティングデバイス６によって対象物の指定が行われたかどうかを実際に確認する。もしポインティングデバイス６による対象物の指定が実施されていた場合は、その位置座標が位置特定機能１８から座標再計算機能１９に送られることにより識別可能である。ポインティングデバイス６による対象物の指定が実施されていたらステップＳＴ７２に進む。ポインティングデバイス６による対象物の指定が実施されていなかったらステップＳＴ５３に進む。

ステップＳＴ７２では、式(16)を用いて補正すべき角度を計算して角度補正を行う。

本機能の実現により、難しいカメラ操作による追尾目標物の再設定をすることなく、画面上に映し出された映像を指定し、位置座標を再演算することが可能となった。

実施の形態３．
以下、この発明の実施の形態３を図１０および図１１によって説明する。図１０はビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第一の操作をフローチャートで例示する図、図１１はビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第二の操作をフローチャートで例示する図である。本実施の形態３は、最初の目標物の位置情報を座標指定機能によって指定することなく、目標物をポインティングデバイスでビューワ上より指定することで、追尾撮影機能を開始すると同時に、自動的に目標物の座標を計算する機能を有するものである。

空中移動体によるカメラ撮影の場合、あらかじめ撮影対象物の位置が判っている場合は少なく、むしろ、飛行開始後に現場近くで識別できる場合が多いと考えられる。この場合、前述の実施の形態２に示してあるように、ビューワ（映像表示装置）５に表示された映像上からポインティングデバイス６によって対象物を指定する方式が求められる。

前述の実施の形態２の方式は、最初に目標物の位置座標を指定して、次に、別の地点から再び目標物を映像上で指定する方式であった。本実施の形態３で示す方式も２回の指定操作が必要となる。

第一の操作では、ビューワ５に表示された映像上からポインティングデバイス６を用いて目標物を指定する。この第一の操作による動作フローをフローチャートにより図１０に例示してある。

図１０において、ステップＳＴ５１において、自機姿勢入力機能１４から位置情報・姿勢情報を取得する。

次にステップＳＴ５２において、カメラ姿勢取込機能１３からカメラの方向情報を取得する。

次にステップＳＴ７２において、前述の実施の形態２の通りに方向情報を補正する。

最後にステップＳＴ８１において、ステップＳＴ７２の結果から、光軸ベクトルを算出する。これは(17)式を用いる。

第二の操作では、第一の操作と同様にビューワ５に表示された映像上でポインティングデバイス６を用いて撮影対象物（目標物）を指定する。この第二の操作による動作フローをフローチャートにより図１１に例示してある。

最初のステップＳＴ５１〜ＳＴ５４は、前述の実施の形態と同一であるが、ステップ８２において、以下の方法で位置座標を算出する。

式(7)において、(tx, ty, tz)の値を、位置S0時点でのカメラ光軸の単位ベクトルC’=(C’x, C’y, C’z)とみなせるため、

としても良い。
これにより、(11)式は、

となる。この(19)式により、qが算出される。
以後のステップＳＴ５６〜ＳＴ５９の処理は前述の実施の形態１，２と同一である。

本発明によって、移動体に搭載したカメラを用いて、撮影目標物影を、移動体の姿勢や位置に依存することなく撮影し続ける自動追尾装置において、目標物指定の誤差を効率よく修正して、速やかに対象物（目標物）の撮影機能を維持することが可能となった。

なお、各図中、同一符合は同一または相当部分を示す。

この発明の実施の形態１を示す図で、自動追尾装置とその周辺機器との関係の事例を概略的示す図である。この発明の実施の形態１を示す図で、自動追尾装置の内部の機能および各機能の相関関係を図式的に例示する図である。この発明の実施の形態１を示す図で、空中移動体が動きまわるワールド座標系を例示する図である。この発明の実施の形態１を示す図で、空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を例示する図である。この発明の実施の形態１を示す図で、カメラの座標系の考え方とパン角、チルト角を例示する図である。この発明の実施の形態１を示す図で、空中移動体の位置と目標物の位置とを模式図として例示する図である。この発明の実施の形態１を示す図で、座標再演算機能の具体的な処理内容をフローチャートで例示する図である。この発明の実施の形態２を示す図で、基本的考え方を示す図である。この発明の実施の形態２を示す図で、座標再演算機能の具体的な他の処理内容をフローチャートで例示する図である。この発明の実施の形態３を示す図で、ビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第一の操作をフローチャートで例示する図である。この発明の実施の形態３を示す図で、ビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第二の操作をフローチャートで例示する図である。

符号の説明

１カメラ、
２自動追尾装置、
３アンテナ、
４ジャイロ、
５ビューワ（映像表示装置）、
６ポインティングデバイス、
７キーボード、
８コントローラ、
１１映像取込機能、
１２映像位置表示機能、
１３カメラ姿勢取込機能、
１４自機姿勢入力機能、
１５座標入力機能、
１６カメラ方向演算機能、
１７カメラ制御機能、
１８位置特定機能、
３１座標再計算機能、４２目標物、
４３カメラ光軸ベクトル（位置S0での位置想定時）、
４４カメラ光軸ベクトル（位置S1での位置修正後）、
４５線分、
100 空中移動体。

Claims

自機の姿勢を計算する自機姿勢取込機能と、
カメラからの映像を取り込む映像取込機能と、
カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、
カメラの撮影方向を制御するカメラ制御機能と、
前記映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、
前記カメラ姿勢取込機能からのカメラ姿勢情報と前記自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、
前記目標物の位置座標を補正する機能を有する座標再計算機能と、
を備え、
前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える
ことを特徴とする空中移動体からの自動追尾撮影装置。
GPSとジャイロからの情報より自機の姿勢を計算する自機姿勢取込機能と、
カメラからの映像を取り込む映像取込機能と、
カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、
カメラの撮影方向を制御するカメラ制御機能と、
撮影追尾対象である目標物の位置を座標値で指定する座標入力機能と、
映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、
前記カメラ姿勢取込機能からのカメラ姿勢情報と、前記自機姿勢演算機能からの自機姿勢情報と、前記座標入力機能からの目標物座標値とから、カメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、
前記目標物の位置座標を補正する機能を有する座標再計算機能と、
を備え、
前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える
ことを特徴とする空中移動体からの自動追尾撮影装置。
請求項１または請求項２に記載の空中移動体からの自動追尾撮影装置において、
前記ビューワ上に表示された映像中の目標物の位置がポインティングデバイスにより指定されると、そのときの前記自機姿勢情報および前記カメラ姿勢情報から、前記座標再計算機能が自動的に前記目標物の位置座標を計算する
ことを特徴とする空中移動体からの自動追尾撮影装置。
請求項３に記載の空中移動体からの自動追尾撮影装置において、
前記ポインティングデバイスで前記目標物の位置が指定されると追尾機能を開始すると共に自動的に前記目標物の位置座標が計算される
ことを特徴とする空中移動体からの自動追尾撮影装置。