JP2017166993A - Arithmetic device, control device, and program - Google Patents
Arithmetic device, control device, and program Download PDFInfo
- Publication number
- JP2017166993A JP2017166993A JP2016052746A JP2016052746A JP2017166993A JP 2017166993 A JP2017166993 A JP 2017166993A JP 2016052746 A JP2016052746 A JP 2016052746A JP 2016052746 A JP2016052746 A JP 2016052746A JP 2017166993 A JP2017166993 A JP 2017166993A
- Authority
- JP
- Japan
- Prior art keywords
- observer
- angular velocity
- sensor
- vector
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置、制御装置およびプログラムに関する。 The present invention relates to an arithmetic device, a control device, and a program for calculating a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object.
人工衛星や航空機などの飛翔体に搭載され、TDI(Time Delay and Integration)型CCD(Charge Coupled Device)のような光学センサにより撮像対象の観測を行う観測器がある。以下、このような観測器が備える光学センサの光電変換素子が撮像対象を向く方向をセンサ視線方向といい、センサ視線方向が撮像対象の表面(以下、撮像表面という)と交差する点をセンサ視点という。TDI型CCDのような光学センサを用いて走査することにより撮像対象の観測を行う場合、CCDの1画素分の走査方向(AT方向:Along Track方向)のベクトルを撮像表面に観測器の光学系で写像した写像ベクトルと、1画素あたりのラインレート(光信号を各画素に蓄積する積分時間)におけるセンサ視点の撮像表面での移動を示す移動ベクトルとを極力一致させることが好ましい。これらのベクトルの間に差がある場合、その差の大きさに応じて撮影画像のMTF(Modulation Transfer Function)が劣化するからである。このため、写像ベクトルおよび移動ベクトルに応じて観測器の角速度や光学センサのラインレートを適切に設定し、観測を行う必要がある。
There is an observation device that is mounted on a flying object such as an artificial satellite or an aircraft and that observes an imaging target using an optical sensor such as a TDI (Time Delay and Integration) type CCD (Charge Coupled Device). Hereinafter, the direction in which the photoelectric conversion element of the optical sensor included in such an observation device faces the imaging target is referred to as a sensor viewing direction, and the point where the sensor viewing direction intersects the surface of the imaging target (hereinafter referred to as the imaging surface) is referred to as the sensor viewpoint. That's it. When observing an imaging target by scanning using an optical sensor such as a TDI type CCD, an optical system of an observer is used on the imaging surface with a vector in the scanning direction (AT direction: Along Track direction) for one pixel of the CCD. It is preferable that the mapping vector mapped in
特許文献1には、走査方向に撮像対象を走査して撮像を行う場合に、光電変換素子毎の受光方向の違いによる画像の鮮鋭度のばらつきを抑える撮像装置が開示されている。特許文献1に記載の撮像装置では、TDI型CCDのブロックごとにGSD(Ground Sampling Distance)に応じた異なるラインレートを設定している。
TDI型CCDのような光学センサにより撮像対象の観測を行う観測器の視野中心のセンサ視線方向を鉛直方向から傾けて観測を行うような場合、光学センサ全体の撮像表面上の写像(以下、フットプリントという)は台形状に歪む。このため、光学センサの手前側と奥側で最適なラインレートが異なり、光学センサ全体で同一のラインレートとした場合には画角端でのMTFが劣化する結果となる。観測器が備える光電変換素子を特許文献1に記載のような構成とした場合、センサの手前側や奥側などの部分ごとに適切なラインレートを設定することで、光学センサ全体で最適なラインレートからの誤差を小さく抑えられる可能性があるが、このような構成とする場合には、駆動回路部分において生じるノイズの影響が大きく、駆動回路が複雑化および大型化するため実現は難しい。
When observation is performed by tilting the sensor line-of-sight direction at the center of the visual field of an observation device that observes an imaging target using an optical sensor such as a TDI type CCD from the vertical direction, a mapping on the imaging surface of the entire optical sensor (hereinafter referred to as foot). Is called a trapezoidal shape. For this reason, the optimum line rate is different between the front side and the back side of the optical sensor, and when the same line rate is set for the entire optical sensor, the MTF at the field angle end deteriorates. When the photoelectric conversion element provided in the observation device is configured as described in
本発明は、上述のような事情に鑑みてなされたもので、光学センサで走査することにより撮像対象を撮像する観測器において、光学センサ全体でラインレートが同一であっても、フットプリントの歪みによる撮影画像のMTF劣化を抑えることを目的とする。 The present invention has been made in view of the above-described circumstances, and in an observation device that captures an imaging target by scanning with an optical sensor, even if the line rate is the same for the entire optical sensor, distortion of the footprint is caused. An object of the present invention is to suppress the MTF deterioration of the captured image due to the above.
上記目的を達成するため、本発明に係る演算装置は、飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置である。演算装置は、法線ベクトル距離演算部と、目標姿勢角速度演算部とを備える。法線ベクトル距離演算部は、観測器の姿勢および観測器の位置に基づいて、観測器から光学センサの光電変換素子が撮像対象を向くセンサ視線方向が撮像対象の表面である撮像表面と交差するセンサ視点までの距離およびセンサ視点における撮像表面の接平面を定義する法線ベクトルを算出する。目標姿勢角速度演算部は、観測器の位置、観測器の速度、観測器の姿勢および光学センサのラインレート、法線ベクトル距離演算部が算出した観測器からセンサ視点までの距離、および、法線ベクトル距離演算部が算出した法線ベクトルに基づいて、光学センサの1画素分の走査方向のベクトルを接平面に観測器の光学系で写像した接平面写像ベクトルと、1画素あたりのラインレートにおけるセンサ視点の接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる目標姿勢角速度を算出する。 In order to achieve the above object, an arithmetic device according to the present invention is an arithmetic device that calculates a target attitude angular velocity of an observer that images an imaging target by being mounted on a flying object and scanning with an optical sensor. The computing device includes a normal vector distance computing unit and a target posture angular velocity computing unit. The normal vector distance calculation unit intersects the imaging surface where the sensor line-of-sight direction, from which the photoelectric conversion element of the optical sensor faces the imaging object, is the surface of the imaging object, based on the attitude of the observer and the position of the observer A normal vector defining the distance to the sensor viewpoint and the tangent plane of the imaging surface at the sensor viewpoint is calculated. The target attitude angular velocity calculator is the position of the observer, the velocity of the observer, the attitude of the observer and the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculator, and the normal Based on the normal vector calculated by the vector distance calculation unit, the vector in the scanning direction of one pixel of the optical sensor is mapped to the tangent plane by the optical system of the observer, and the line rate per pixel A target posture angular velocity at which an error from the tangential plane movement vector indicating the movement of the sensor viewpoint on the tangential plane is minimized with a predetermined calculation accuracy is calculated.
本発明によれば、光学センサで走査することにより撮像対象を撮像する観測器において、光学センサの1画素分の走査方向のベクトルをセンサ視点における撮像表面の接平面に観測器の光学系で写像した接平面写像ベクトルと1画素あたりの光学センサのラインレートにおけるセンサ視点の撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリントの歪みによる撮影画像のMTF劣化を抑えることができる。 According to the present invention, in an observer that images an object to be imaged by scanning with an optical sensor, a vector in the scanning direction for one pixel of the optical sensor is mapped to the tangential plane of the imaging surface at the sensor viewpoint by the optical system of the observer. By calculating a target posture angular velocity at which an error between the tangential plane mapping vector and the movement vector indicating movement on the imaging surface of the sensor viewpoint at the line rate of the optical sensor per pixel is minimized with a predetermined calculation accuracy, Even if the line rate is the same for the entire optical sensor, it is possible to suppress MTF degradation of the captured image due to footprint distortion.
以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。本実施の形態では、光学センサとしてTDI型CCDを使用し、撮像対象として地表面の観測を行う場合の例について説明する。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated in detail with reference to drawings. In addition, the same code | symbol is attached | subjected to the part which is the same or it corresponds in a figure. In this embodiment, an example in which a TDI CCD is used as an optical sensor and the ground surface is observed as an imaging target will be described.
(実施の形態1)
図1は、本発明の実施の形態1に係る観測器のフットプリントの一例を示す図である。観測器1は、人工衛星や航空機等に搭載され、TDI型CCDにより地表面の観測を行う。図1に示すように、観測器1の視野中心のセンサ視線方向を鉛直方向から傾けて観測を行うような場合、観測器1のフットプリント140は台形状に歪む。このため、光学センサの部分によって最適なラインレートが異なり、光学センサ全体で同一のラインレートであって、光学センサの中心(以下、センサ中心という)での視点が直線状に動く場合には画角端でのMTFが劣化する結果となる。
(Embodiment 1)
FIG. 1 is a diagram showing an example of the footprint of an observer according to
図2は、実施の形態1に係る写像ベクトルと移動ベクトルと誤差ベクトルの関係を示す図である。写像ベクトルV1は、CCDの1画素分の走査方向のベクトルを地表面に観測器1の光学系で写像したベクトルである。移動ベクトルV2は、1画素あたりのラインレートにおけるセンサ視点の地表面での移動を示すベクトルである。誤差ベクトルV3は、写像ベクトルV1と移動ベクトルV2との誤差を示すベクトルである。撮影画像のMTFの劣化を低減するためには、誤差ベクトルV3を小さくする必要がある。
FIG. 2 is a diagram illustrating a relationship among the mapping vector, the movement vector, and the error vector according to the first embodiment. The mapping vector V1 is a vector obtained by mapping a vector in the scanning direction for one pixel of the CCD onto the ground surface by the optical system of the
図3は、光学センサ全体で同一のラインレートとし、センサ中心での視点が直線状に動く場合と適切な姿勢角速度で観測器を駆動した場合の例を示す図である。図3(a)は、センサ中心での視点が直線状に動く場合を示す。フットプリント140が台形状であって、センサ中心での視点が直線状に動く場合、光学センサ全体で同一のラインレートとすると、センサ手前とセンサ奥とでは写像ベクトルV1と移動ベクトルV2とが一致しないので、撮影画像のMTFが劣化する。図3(b)は、適切な姿勢角速度で観測器1を駆動した場合を示す。図3(b)に示すように、適切な姿勢角速度で観測器1を駆動することで、移動ベクトルV2の分布を整形できる。その結果、光学センサの視野全体の誤差ベクトルV3は小さくなり、撮影画像のMTFの劣化を低減できる。
FIG. 3 is a diagram illustrating an example of the case where the optical sensor has the same line rate and the viewpoint at the center of the sensor moves linearly and the observer is driven at an appropriate posture angular velocity. FIG. 3A shows a case where the viewpoint at the center of the sensor moves linearly. If the
図4は、実施の形態1に係る制御装置の機能構成例を示す図である。制御装置100は、法線ベクトル距離演算部110および目標姿勢角速度演算部120で構成される演算装置10と、姿勢制御部11とを備える。演算装置10の法線ベクトル距離演算部110は、観測器1から観測器1の姿勢および位置を取得すると、観測器1とセンサ視点との距離(以下、センサ視点距離という)およびセンサ視点における地表面からの法線ベクトル(以下、地表面法線ベクトルという)を算出し、目標姿勢角速度演算部120に送る。
FIG. 4 is a diagram illustrating a functional configuration example of the control device according to the first embodiment. The
目標姿勢角速度演算部120は、観測器1から観測器1の姿勢、位置、速度および光学センサのラインレートを取得し、法線ベクトル距離演算部110からセンサ視点距離および地表面法線ベクトルを受け取ると、これらに基づいて、光学センサの視野全体の撮影画像のMTF劣化を抑える目標姿勢角速度を算出し、姿勢制御部11に送る。姿勢制御部11は、観測器1から姿勢角および姿勢角速度を取得し、目標姿勢角速度演算部120から受け取った目標姿勢角速度に追従するよう観測器1に加えるトルクを演算し、観測器1に出力して観測器1の姿勢を制御する。なお、姿勢制御部11が行う観測器1の姿勢制御については、既存の技術で実現可能であり、ここではその詳細については省略する。観測器1の姿勢、位置、速度、姿勢角および姿勢角速度はリアルタイムに計測または推定された値を用いてもよいし、計画値を用いてもよい。ここで、法線ベクトル距離演算部110がセンサ視点距離および地表面法線ベクトルを算出する方法と目標姿勢角速度演算部120が目標姿勢角速度を算出する方法とについて、図5および図6を用いて説明する。
The target posture angular
図5は、実施の形態1に係る法線ベクトル距離演算部の機能構成例を示す図である。法線ベクトル距離演算部110は、センサ視点演算部111と、距離演算部112と、法線方向演算部113とを備える。法線ベクトル距離演算部110には、観測器1の位置および姿勢が与えられる。センサ視点演算部111は、観測器1の姿勢からセンサ視線方向を算出し、センサ視線方向の半直線と地表面の最も近い交点をセンサ視点とする。センサ視点演算部111は、センサ視点を距離演算部112および法線方向演算部113に送る。距離演算部112は、観測器1の位置とセンサ視点演算部111から受け取ったセンサ視点とに基づいて、センサ視点距離を求める。距離演算部112は、センサ視点距離を目標姿勢角速度演算部120に送る。
FIG. 5 is a diagram illustrating a functional configuration example of the normal vector distance calculation unit according to the first embodiment. The normal vector
法線方向演算部113は、センサ視点演算部111から受け取ったセンサ視点に基づいて、地表面形状から地表面法線ベクトルを求める。例えば地表面が球面上のとき、球の中心からセンサ視点に向かうベクトルが地表面法線ベクトルとなる。また、地表面形状として数値標高モデル(DEM:Digital Elevation Model)を用いる場合は、まず数値標高モデルを用いてセンサ視点を数値的に求め、センサ視点近傍の標高データを用いることで数値的に地表面法線ベクトルを算出する。地表面法線ベクトルは、センサ視点における地表面の接平面(以下、センサ視点接平面という)を定義する。法線方向演算部113は、地表面法線ベクトルを目標姿勢角速度演算部120に送る。
The normal
図6は、実施の形態1に係る目標姿勢角速度演算部の機能構成例を示す図である。目標姿勢角速度演算部120は、線形連立方程式生成部121と、最小二乗解演算部122とを備える。目標姿勢角速度演算部120には、観測器1の位置、速度、姿勢および光学センサのラインレートと、センサ視点距離および地表面法線ベクトルとが与えられる。線形連立方程式生成部121は、観測器1の位置、姿勢および地表面法線ベクトルに基づいて、CCDの1画素分の走査方向のベクトルをセンサ視点接平面に観測器1の光学系で写像した接平面写像ベクトルを求める。接平面写像ベクトルは、写像ベクトルV1をセンサ視点接平面上に射影したベクトルである。演算装置10は観測器1の走査方向を記憶している。線形連立方程式生成部121は、観測器1の位置、速度、姿勢および光学センサのラインレートと、センサ視点距離および地表面法線ベクトルとを用いて、1画素あたりのラインレートにおけるセンサ視点のセンサ視点接平面での移動を示す接平面移動ベクトルを求める。線形連立方程式生成部121は、接平面写像ベクトルおよび接平面移動ベクトルを最小二乗解演算部122に送る。
FIG. 6 is a diagram illustrating a functional configuration example of the target posture angular velocity calculation unit according to the first embodiment. The target posture angular
最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルと接平面移動ベクトルとの誤差が光学センサの視野全体で最小になる姿勢角速度を最小二乗法により求め、それを目標姿勢角速度とする。接平面写像ベクトルおよび接平面移動ベクトルは線形連立方程式で表される。つまり最小二乗解演算部122は、接平面写像ベクトルおよび接平面移動ベクトルを表す線形連立方程式の誤差が光学センサの視野全体で最小になる姿勢角速度を目標姿勢角速度として算出する。接平面移動ベクトルは、姿勢角速度に関して線形なベクトル関数であるため、係数行列の擬似逆行列を用いることで最小二乗解を高速かつ確実に求めることができる。
The least square
以上説明したように実施の形態1の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる視野全体のMTF劣化を抑えることができる。
As described above, according to the
光学センサの全光電変換素子の写像ベクトルV1がフットプリント140を形作るため、写像ベクトルV1をセンサ視点接平面上に射影した接平面写像ベクトルを用いることで、フットプリント140の歪みに応じて目標姿勢角速度が算出できる。これにより、フットプリント140がどのような形状をしている場合においても、光学センサの視野全体にわたって最適な姿勢運動を実現でき、撮像画像全体にわたってMTF劣化を抑えることができる。また、観測器1から各種データを取得する度に光学センサの視野全体の接平面写像ベクトルと接平面移動ベクトルとの誤差を最小にするような目標姿勢角速度を算出するアルゴリズムとなっているから、MTF劣化を最小限に抑えるセンサ視点の軌跡を柔軟に実現することができる。さらに、センサ視点の軌跡を予め計画する必要がないため、いつでもリアルタイムにMTF劣化が小さい観測を開始できる。これにより、災害時など緊急時の地表面の撮像を迅速に行えるようになる。
Since the mapping vector V1 of all the photoelectric conversion elements of the optical sensor forms the
(実施の形態2)
実施の形態2に係る観測器1の制御装置の構成は実施の形態1と同様であるが、実施の形態2では、目標姿勢角速度演算部120における目標姿勢角速度の算出方法が異なる。
実施の形態1における目標姿勢角速度演算部120では、接平面写像ベクトルと接平面移動ベクトルとの誤差を光学センサの視野全体で最小になるように構成した。しかしながら、TDI型CCDによる観測を行う場合には、特定の一方向のMTF劣化が特に重要になる場合もある。そこで、本実施の形態2では、ベクトルの全方向を考慮した誤差ではなくMTF劣化を抑えたい特定の一方向の誤差を最小にする目標姿勢角速度を算出する。具体的な方法は以下の通りである。
(Embodiment 2)
The configuration of the control device of the
The target posture angular
制御装置100の目標姿勢角速度演算部120の最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルおよび接平面移動ベクトルに対して、それぞれMTF劣化を抑えたい方向のベクトルとの内積をとり、その誤差が光学センサの視野全体で最小になる目標姿勢角速度を最小二乗法により求める。このような場合でも、目標姿勢角速度に関して線形連立方程式群が得られるので、最小二乗解は高速かつ確実に求めることができる。その他の構成は、実施の形態1と同様である。
The least square
以上説明したように実施の形態2の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる特定の一方向のMTF劣化を抑えることができる。
As described above, according to the
(実施の形態3)
実施の形態3に係る観測器1の制御装置100の構成は実施の形態1および2と同様であるが、実施の形態3では、目標姿勢角速度演算部120における目標姿勢角速度の算出方法が異なる。実施の形態1および2では光学センサの視野全体または特定の一方向のMTF劣化を抑制する目標姿勢角速度を算出していた。しかしながら、通常の観測において最も重要な点は光学センサの視野中心で観測を行うように設計するのが一般的である。実施の形態1および2では視野中心の光電変換素子での誤差を0にするという保証はできない。そこで、実施の形態3では光学センサの視野中心の光電変換素子での誤差を0にし、かつ、視野全体での誤差を最小にする目標姿勢角速度を算出する。具体的な方法は以下の通りである。
(Embodiment 3)
The configuration of the
制御装置100の目標姿勢角速度演算部120の最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルV1’および接平面移動ベクトルV2’について、まず視野中心の光電変換素子における接平面写像ベクトルV1’および接平面移動ベクトルV2’が等しくなる線形連立方程式を解く。これにより、3自由度を持つ目標姿勢角速度のうち、2自由度が一意に決定される。例えば、角速度表現に1−2−3オイラー角(ロール角、ピッチ角、ヨー角)の時間微分を用いた場合、視野中心における線形連立方程式はヨーレートに依存しない。そのため、ロールレートおよびピッチレートを一意に求めることができる。最小二乗解演算部122は、残りの1自由度で光学センサの視野全体における接平面誤差ベクトルV3’を最小にするような目標姿勢角速度を、最小二乗法により求める。このとき、最小二乗解演算部122は、実施の形態2のように、誤差を小さくしたい方向のベクトルとの内積の誤差を最小にするような目標姿勢角速度を、最小二乗法により求めてもよい。このような場合でも、目標姿勢角速度に関して線形連立方程式群が得られるので、最小二乗解は高速かつ確実に求めることができる。その他の構成は、実施の形態1および2と同様である。
The least square
以上説明したように実施の形態3の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる視野中心のMTF劣化を防止することができ、視野全体または特定の一方向のMTF劣化を抑えることができる。
As described above, according to the
(実施の形態4)
図7は、本発明の実施の形態4に係る制御装置の機能構成例を示す図である。実施の形態4の制御装置100は、実施の形態1から3の制御装置100と演算装置10の機能構成が異なる。実施の形態4の演算装置10は、実施の形態1から3の演算装置10が備える法線ベクトル距離演算部110および目標姿勢角速度演算部120に加え、目標姿勢角演算部130を備える。法線ベクトル距離演算部110は、観測器1から観測器1の姿勢および位置を取得すると、センサ視点距離および地表面法線ベクトルを算出し、目標姿勢角速度演算部120に送る。目標姿勢角速度演算部120は、観測器1から観測器1の姿勢、位置、速度および光学センサのラインレートを取得し、法線ベクトル距離演算部110からセンサ視点距離および地表面法線ベクトルを受け取ると、光学センサの撮影画像のMTF劣化を抑える目標姿勢角速度を算出し、目標姿勢角演算部130に送る。
(Embodiment 4)
FIG. 7 is a diagram illustrating a functional configuration example of the control device according to the fourth embodiment of the present invention. The
目標姿勢角演算部130は、目標姿勢角速度演算部120から目標姿勢角速度を受け取ると、時間積分により次の時刻の目標姿勢角を演算する。時間積分は、例えばEuler法やRunge-Kutta法を用いればよい。目標姿勢角演算部130は、目標姿勢角速度および目標姿勢角を制御装置100の姿勢制御部11に出力する。姿勢制御部11は、観測器1の姿勢角および姿勢角速度をそれぞれ、目標姿勢角演算部130から受け取った目標姿勢角および目標姿勢角速度にする制御を行う。また、目標姿勢角演算部130は、目標姿勢角を法線ベクトル距離演算部110にフィードバックしてもよい。その他の構成は、実施の形態1から3と同様である。
Upon receiving the target posture angular velocity from the target posture angular
以上説明したように実施の形態4の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる撮影画像のMTF劣化を抑えることができる。また、ある時刻における観測器1の位置、速度および姿勢が与えられたときに観測器1がとるべき目標姿勢角および目標姿勢角速度の計画値を高速に得ることができる。さらに、計画値を少ないパラメータで近似する構成にすると、観測器1に転送する情報量を抑えることができ、転送時間の短縮や必要とするメモリを削減できる効果がある。
As described above, according to the
上記の実施の形態では、最小二乗法を用いて、接平面写像ベクトルV1’と接平面移動ベクトルV2’との誤差を示す接平面誤差ベクトルV3’が最小になる目標姿勢角速度を求めたが、これに限らず、例えば、最尤法を用いてもよいし、ニュートン法を用いてもよい。また、写像ベクトルV1と移動ベクトルV2との誤差を示す誤差ベクトルV3が最小になる目標姿勢角速度を求めてもよい。本発明における最小とは、定めた計算精度での最小である。最小二乗法や最尤法を用いた場合は、最小二乗法や最尤法の計算精度での最小である。ニュートン法を用いた場合は、例えば、前回の計算結果との差分が定めた閾値以下に収束したときに最小と判定する。 In the above embodiment, the target attitude angular velocity at which the tangential plane error vector V3 ′ indicating the error between the tangential plane mapping vector V1 ′ and the tangential plane movement vector V2 ′ is minimized is obtained using the least square method. For example, the maximum likelihood method may be used, or the Newton method may be used. Alternatively, a target posture angular velocity at which an error vector V3 indicating an error between the mapping vector V1 and the movement vector V2 is minimized may be obtained. The minimum in the present invention is the minimum with a predetermined calculation accuracy. When the least square method or the maximum likelihood method is used, it is the minimum in the calculation accuracy of the least square method or the maximum likelihood method. When the Newton method is used, for example, the minimum is determined when the difference from the previous calculation result converges below a predetermined threshold.
図8は、本発明の実施の形態に係る演算装置のハードウェア構成の一例を示すブロック図である。演算装置10は、図8に示すように、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36を備える。主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36はいずれも内部バス30を介して制御部31に接続されている。
FIG. 8 is a block diagram showing an example of a hardware configuration of the arithmetic device according to the embodiment of the present invention. As shown in FIG. 8, the
制御部31はCPU(Central Processing Unit)などから構成され、外部記憶部33に記憶されている制御プログラム39に従って、演算装置10の法線ベクトル距離演算部110および目標姿勢角速度演算部120の各処理を実行する。
The
主記憶部32はRAM(Random-Access Memory)などから構成され、外部記憶部33に記憶されている制御プログラム39をロードし、制御部31の作業領域として用いられる。
The
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM、DVD−RWなどの不揮発性メモリから構成され、演算装置10の処理を制御部31に行わせるためのプログラムをあらかじめ記憶し、また、制御部31の指示に従って、このプログラムが記憶するデータを制御部31に供給し、制御部31から供給されたデータを記憶する。
The
操作部34はキーボードおよびマウスなどのポインティングデバイスなどと、キーボードおよびポインティングデバイスなどを内部バス30に接続するインタフェース装置から構成されている。ユーザが演算装置10に情報を入力する場合は、操作部34を介して、入力された情報が制御部31に供給される。
The
表示部35は、CRTまたはLCDなどから構成されている。ユーザが演算装置10に情報を入力する場合は、操作画面を表示する。
The
入出力部36は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部36は観測器1および姿勢制御部11と接続する。入出力部36は、法線ベクトル距離演算部110および目標姿勢角速度演算部120として機能する。
The input /
図4に示す演算装置10の法線ベクトル距離演算部110および目標姿勢角速度演算部120の処理は、制御プログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36などを資源として用いて処理することによって実行する。
In the processing of the normal vector
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。 In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.
制御部31、主記憶部32、外部記憶部33、操作部34、表示部35、入出力部36、内部バス30などから構成される演算装置10の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROMなど)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する演算装置10を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで演算装置10を構成してもよい。
A central part that performs processing of the
また、演算装置10の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
Further, when the functions of the
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して提供することも可能である。例えば、通信ネットワーク上の掲示板(BBS,Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを提供してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、演算装置10の処理を実行できるように構成してもよい。
It is also possible to superimpose a computer program on a carrier wave and provide it via a communication network. For example, a computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program may be provided via the network. And you may comprise so that the process of the
1 観測器、10 演算装置、11 姿勢制御部、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 操作部、35 表示部、36 入出力部、39 制御プログラム、100 制御装置、110 法線ベクトル距離演算部、111 センサ視点演算部、112 距離演算部、113 法線方向演算部、120 目標姿勢角速度演算部、121 線形連立方程式生成部、122 最小二乗解演算部、130 目標姿勢角演算部、140 フットプリント、V1 写像ベクトル、V2 移動ベクトル、V3 誤差ベクトル、V1’ 接平面写像ベクトル、V2’ 接平面移動ベクトル、V3’ 接平面誤差ベクトル。
DESCRIPTION OF
Claims (8)
前記演算装置は、
前記観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部と、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記接平面に前記観測器の光学系で写像した接平面写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる前記目標姿勢角速度を算出する目標姿勢角速度演算部と、
を備える演算装置。 An arithmetic device that calculates a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object,
The arithmetic unit is
Based on the attitude of the observer and the position of the observer, a sensor viewpoint in which a sensor line-of-sight direction in which the photoelectric conversion element of the optical sensor faces the imaging object from the observer intersects an imaging surface that is the surface of the imaging object A normal vector distance calculation unit that calculates a normal vector that defines a distance to and a tangent plane of the imaging surface at the sensor viewpoint;
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculating unit, a tangential plane mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the tangent plane by the optical system of the observer, and one pixel A target posture angular velocity calculation unit that calculates the target posture angular velocity at which an error with a tangential plane movement vector indicating movement on the tangential plane of the sensor viewpoint at the perimeter line rate is minimized with a predetermined calculation accuracy;
An arithmetic device comprising:
前記演算装置は、
前記観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部と、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記撮像表面に前記観測器の光学系で写像した写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる前記目標姿勢角速度を算出する目標姿勢角速度演算部と、
を備える演算装置。 An arithmetic device that calculates a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object,
The arithmetic unit is
Based on the attitude of the observer and the position of the observer, a sensor viewpoint in which a sensor line-of-sight direction in which the photoelectric conversion element of the optical sensor faces the imaging object from the observer intersects an imaging surface that is the surface of the imaging object A normal vector distance calculation unit that calculates a normal vector that defines a distance to and a tangent plane of the imaging surface at the sensor viewpoint;
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculation unit, a mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the imaging surface by the optical system of the observer, and A target posture angular velocity calculation unit that calculates the target posture angular velocity at which an error from a movement vector indicating movement of the sensor viewpoint on the imaging surface at the line rate is minimized with a predetermined calculation accuracy;
An arithmetic device comprising:
前記観測器の姿勢角および姿勢角速度をそれぞれ、前記目標姿勢角および前記目標姿勢角速度にする制御を行う姿勢制御部と、
を備える制御装置。 An arithmetic device according to claim 5;
An attitude control unit for controlling the attitude angle and attitude angular velocity of the observer to the target attitude angle and the target attitude angular velocity, respectively;
A control device comprising:
飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部、ならびに、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記接平面に前記観測器の光学系で写像した接平面写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる前記観測器の目標姿勢角速度を算出する目標姿勢角速度演算部、
として機能させるプログラム。 A photoelectric conversion element of the optical sensor is directed from the observer to the imaging object based on the attitude of the observation apparatus that images the imaging object by mounting the computer on the flying object and scanning with the optical sensor. A normal vector distance calculation unit for calculating a normal vector defining a distance to a sensor viewpoint intersecting with an imaging surface whose sensor line-of-sight direction is the surface of the imaging target, and a tangent plane of the imaging surface at the sensor viewpoint; and
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculating unit, a tangential plane mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the tangent plane by the optical system of the observer, and one pixel A target attitude angular velocity calculation unit for calculating a target attitude angular velocity of the observer that minimizes an error from a tangential plane movement vector indicating movement of the sensor viewpoint on the tangential plane at the perimeter line rate with a predetermined calculation accuracy ,
Program to function as.
飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部、ならびに、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記撮像表面に前記観測器の光学系で写像した写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる前記観測器の目標姿勢角速度を算出する目標姿勢角速度演算部、
として機能させるプログラム。 A photoelectric conversion element of the optical sensor is directed from the observer to the imaging object based on the attitude of the observation apparatus that images the imaging object by mounting the computer on the flying object and scanning with the optical sensor. A normal vector distance calculation unit for calculating a normal vector defining a distance to a sensor viewpoint intersecting with an imaging surface whose sensor line-of-sight direction is the surface of the imaging target, and a tangent plane of the imaging surface at the sensor viewpoint; and
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculation unit, a mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the imaging surface by the optical system of the observer, and A target posture angular velocity calculation unit for calculating a target posture angular velocity of the observer that minimizes an error from a movement vector indicating movement of the sensor viewpoint on the imaging surface at the line rate with a predetermined calculation accuracy;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052746A JP6385380B2 (en) | 2016-03-16 | 2016-03-16 | Arithmetic device, control device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052746A JP6385380B2 (en) | 2016-03-16 | 2016-03-16 | Arithmetic device, control device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017166993A true JP2017166993A (en) | 2017-09-21 |
JP6385380B2 JP6385380B2 (en) | 2018-09-05 |
Family
ID=59913805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052746A Active JP6385380B2 (en) | 2016-03-16 | 2016-03-16 | Arithmetic device, control device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6385380B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955631A (en) * | 2018-10-13 | 2018-12-07 | 北华航天工业学院 | A kind of attitude measurement method of three-component induction coil |
CN110081904A (en) * | 2019-05-15 | 2019-08-02 | 合肥工业大学 | Biplane photosensor arrays push-bench attitude measuring and measurement method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111688952B (en) * | 2020-05-21 | 2021-11-23 | 清华大学 | Satellite attitude control system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3860145B2 (en) * | 2003-07-07 | 2006-12-20 | 三菱電機株式会社 | Observer control device |
JP5288482B2 (en) * | 2009-07-21 | 2013-09-11 | Nec東芝スペースシステム株式会社 | Imaging apparatus, imaging method, imaging circuit, and program |
JP6070505B2 (en) * | 2013-10-18 | 2017-02-01 | 三菱電機株式会社 | Observer control device |
-
2016
- 2016-03-16 JP JP2016052746A patent/JP6385380B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3860145B2 (en) * | 2003-07-07 | 2006-12-20 | 三菱電機株式会社 | Observer control device |
JP5288482B2 (en) * | 2009-07-21 | 2013-09-11 | Nec東芝スペースシステム株式会社 | Imaging apparatus, imaging method, imaging circuit, and program |
JP6070505B2 (en) * | 2013-10-18 | 2017-02-01 | 三菱電機株式会社 | Observer control device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955631A (en) * | 2018-10-13 | 2018-12-07 | 北华航天工业学院 | A kind of attitude measurement method of three-component induction coil |
CN108955631B (en) * | 2018-10-13 | 2020-07-28 | 北华航天工业学院 | Attitude measurement method of three-component induction coil |
CN110081904A (en) * | 2019-05-15 | 2019-08-02 | 合肥工业大学 | Biplane photosensor arrays push-bench attitude measuring and measurement method |
CN110081904B (en) * | 2019-05-15 | 2021-01-29 | 合肥工业大学 | Attitude measuring device and method for double-plane photoelectric sensor array tube push bench |
Also Published As
Publication number | Publication date |
---|---|
JP6385380B2 (en) | 2018-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6768156B2 (en) | Virtually enhanced visual simultaneous positioning and mapping systems and methods | |
US10594941B2 (en) | Method and device of image processing and camera | |
US11222409B2 (en) | Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos | |
CN111800589B (en) | Image processing method, device and system and robot | |
US10104286B1 (en) | Motion de-blurring for panoramic frames | |
CN111161398B (en) | Image generation method, device, equipment and storage medium | |
JP6385380B2 (en) | Arithmetic device, control device and program | |
JP6594170B2 (en) | Image processing apparatus, image processing method, image projection system, and program | |
EP3633606A1 (en) | Information processing device, information processing method, and program | |
CN108076333A (en) | The system and method being fitted for the advanced lens geometry structure of imaging device | |
JP7082713B2 (en) | Rolling Shutter Correction for images / videos using convolutional neural networks in applications for image / video SFM / SLAM | |
WO2019155903A1 (en) | Information processing device and method | |
US10218920B2 (en) | Image processing apparatus and control method for generating an image by viewpoint information | |
WO2020019175A1 (en) | Image processing method and apparatus, and photographing device and unmanned aerial vehicle | |
WO2020121755A1 (en) | Estimation device, training device, estimation method and training method | |
KR20150123789A (en) | Image processor with evaluation layer implementing software and hardware algorithms of different precision | |
US20210256732A1 (en) | Image processing method and unmanned aerial vehicle | |
WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
JP6590614B2 (en) | Observer control device, observer control method, and observer control program | |
US10097772B2 (en) | Image processing device and image processing method | |
JP2015201734A (en) | Image processing system, control method of the same, and program | |
CN110786017A (en) | Distribution image generation method | |
US9165208B1 (en) | Robust ground-plane homography estimation using adaptive feature selection | |
US10701293B2 (en) | Method for compensating for off-axis tilting of a lens | |
CN111480335B (en) | Image processing device, image processing method, program, and projection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6385380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |