JP2017166993A - Arithmetic device, control device, and program - Google Patents

Arithmetic device, control device, and program Download PDF

Info

Publication number
JP2017166993A
JP2017166993A JP2016052746A JP2016052746A JP2017166993A JP 2017166993 A JP2017166993 A JP 2017166993A JP 2016052746 A JP2016052746 A JP 2016052746A JP 2016052746 A JP2016052746 A JP 2016052746A JP 2017166993 A JP2017166993 A JP 2017166993A
Authority
JP
Japan
Prior art keywords
observer
angular velocity
sensor
vector
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016052746A
Other languages
Japanese (ja)
Other versions
JP6385380B2 (en
Inventor
雄太 浅野
yuta Asano
雄太 浅野
岳宏 西山
Takehiro Nishiyama
岳宏 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016052746A priority Critical patent/JP6385380B2/en
Publication of JP2017166993A publication Critical patent/JP2017166993A/en
Application granted granted Critical
Publication of JP6385380B2 publication Critical patent/JP6385380B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To suppress the MTF degradation of a photograph image due to footprint distortion even when line rates are the same in the whole of an optical sensor in an observation device that photographs a photograph object by scanning with the optical sensor.SOLUTION: A normal vector distance computation unit 110 of an arithmetic unit 10 calculates the distance from the observation device 1 to a sensor viewpoint and a normal vector that defines the tangential plane of the ground surface at the sensor viewpoint on the basis of the posture and position of an observation device 1 that photographs a ground surface by scanning with an optical sensor mounted in a flying object. A target posture angular velocity computation unit 120 calculates, on the basis of the position, speed and posture of the observation device 1, a line rate, the distance from the observation device 1 to the viewpoint, and the normal vector, a target posture angular velocity such that an error between a tangential plane mapped vector in which a vector for one pixel of the optical sensor in the scanning direction is mapped to the tangential plane in the optical system of the observation device 1 and a tangential plane movement vector that indicates movement of the sensor viewpoint on the tangential plane at a line rate per pixel is minimal.SELECTED DRAWING: Figure 4

Description

本発明は、飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置、制御装置およびプログラムに関する。   The present invention relates to an arithmetic device, a control device, and a program for calculating a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object.

人工衛星や航空機などの飛翔体に搭載され、TDI(Time Delay and Integration)型CCD(Charge Coupled Device)のような光学センサにより撮像対象の観測を行う観測器がある。以下、このような観測器が備える光学センサの光電変換素子が撮像対象を向く方向をセンサ視線方向といい、センサ視線方向が撮像対象の表面(以下、撮像表面という)と交差する点をセンサ視点という。TDI型CCDのような光学センサを用いて走査することにより撮像対象の観測を行う場合、CCDの1画素分の走査方向(AT方向:Along Track方向)のベクトルを撮像表面に観測器の光学系で写像した写像ベクトルと、1画素あたりのラインレート(光信号を各画素に蓄積する積分時間)におけるセンサ視点の撮像表面での移動を示す移動ベクトルとを極力一致させることが好ましい。これらのベクトルの間に差がある場合、その差の大きさに応じて撮影画像のMTF(Modulation Transfer Function)が劣化するからである。このため、写像ベクトルおよび移動ベクトルに応じて観測器の角速度や光学センサのラインレートを適切に設定し、観測を行う必要がある。   There is an observation device that is mounted on a flying object such as an artificial satellite or an aircraft and that observes an imaging target using an optical sensor such as a TDI (Time Delay and Integration) type CCD (Charge Coupled Device). Hereinafter, the direction in which the photoelectric conversion element of the optical sensor included in such an observation device faces the imaging target is referred to as a sensor viewing direction, and the point where the sensor viewing direction intersects the surface of the imaging target (hereinafter referred to as the imaging surface) is referred to as the sensor viewpoint. That's it. When observing an imaging target by scanning using an optical sensor such as a TDI type CCD, an optical system of an observer is used on the imaging surface with a vector in the scanning direction (AT direction: Along Track direction) for one pixel of the CCD. It is preferable that the mapping vector mapped in step 1 and the movement vector indicating movement on the imaging surface of the sensor viewpoint at the line rate per pixel (integration time for storing the optical signal in each pixel) are matched as much as possible. This is because, when there is a difference between these vectors, the MTF (Modulation Transfer Function) of the captured image is degraded according to the magnitude of the difference. Therefore, it is necessary to perform observation by appropriately setting the angular velocity of the observer and the line rate of the optical sensor according to the mapping vector and the movement vector.

特許文献1には、走査方向に撮像対象を走査して撮像を行う場合に、光電変換素子毎の受光方向の違いによる画像の鮮鋭度のばらつきを抑える撮像装置が開示されている。特許文献1に記載の撮像装置では、TDI型CCDのブロックごとにGSD(Ground Sampling Distance)に応じた異なるラインレートを設定している。   Patent Document 1 discloses an imaging apparatus that suppresses variation in image sharpness due to a difference in a light receiving direction for each photoelectric conversion element when imaging is performed by scanning an imaging target in a scanning direction. In the imaging device described in Patent Document 1, different line rates are set for each block of a TDI type CCD according to GSD (Ground Sampling Distance).

特開2011−24167号公報JP 2011-24167 A

TDI型CCDのような光学センサにより撮像対象の観測を行う観測器の視野中心のセンサ視線方向を鉛直方向から傾けて観測を行うような場合、光学センサ全体の撮像表面上の写像(以下、フットプリントという)は台形状に歪む。このため、光学センサの手前側と奥側で最適なラインレートが異なり、光学センサ全体で同一のラインレートとした場合には画角端でのMTFが劣化する結果となる。観測器が備える光電変換素子を特許文献1に記載のような構成とした場合、センサの手前側や奥側などの部分ごとに適切なラインレートを設定することで、光学センサ全体で最適なラインレートからの誤差を小さく抑えられる可能性があるが、このような構成とする場合には、駆動回路部分において生じるノイズの影響が大きく、駆動回路が複雑化および大型化するため実現は難しい。   When observation is performed by tilting the sensor line-of-sight direction at the center of the visual field of an observation device that observes an imaging target using an optical sensor such as a TDI type CCD from the vertical direction, a mapping on the imaging surface of the entire optical sensor (hereinafter referred to as foot). Is called a trapezoidal shape. For this reason, the optimum line rate is different between the front side and the back side of the optical sensor, and when the same line rate is set for the entire optical sensor, the MTF at the field angle end deteriorates. When the photoelectric conversion element provided in the observation device is configured as described in Patent Document 1, an optimal line rate is set for the entire optical sensor by setting an appropriate line rate for each part such as the front side or the back side of the sensor. There is a possibility that the error from the rate can be kept small. However, in such a configuration, the influence of noise generated in the drive circuit portion is large, and the drive circuit becomes complicated and large, so that it is difficult to realize.

本発明は、上述のような事情に鑑みてなされたもので、光学センサで走査することにより撮像対象を撮像する観測器において、光学センサ全体でラインレートが同一であっても、フットプリントの歪みによる撮影画像のMTF劣化を抑えることを目的とする。   The present invention has been made in view of the above-described circumstances, and in an observation device that captures an imaging target by scanning with an optical sensor, even if the line rate is the same for the entire optical sensor, distortion of the footprint is caused. An object of the present invention is to suppress the MTF deterioration of the captured image due to the above.

上記目的を達成するため、本発明に係る演算装置は、飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置である。演算装置は、法線ベクトル距離演算部と、目標姿勢角速度演算部とを備える。法線ベクトル距離演算部は、観測器の姿勢および観測器の位置に基づいて、観測器から光学センサの光電変換素子が撮像対象を向くセンサ視線方向が撮像対象の表面である撮像表面と交差するセンサ視点までの距離およびセンサ視点における撮像表面の接平面を定義する法線ベクトルを算出する。目標姿勢角速度演算部は、観測器の位置、観測器の速度、観測器の姿勢および光学センサのラインレート、法線ベクトル距離演算部が算出した観測器からセンサ視点までの距離、および、法線ベクトル距離演算部が算出した法線ベクトルに基づいて、光学センサの1画素分の走査方向のベクトルを接平面に観測器の光学系で写像した接平面写像ベクトルと、1画素あたりのラインレートにおけるセンサ視点の接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる目標姿勢角速度を算出する。   In order to achieve the above object, an arithmetic device according to the present invention is an arithmetic device that calculates a target attitude angular velocity of an observer that images an imaging target by being mounted on a flying object and scanning with an optical sensor. The computing device includes a normal vector distance computing unit and a target posture angular velocity computing unit. The normal vector distance calculation unit intersects the imaging surface where the sensor line-of-sight direction, from which the photoelectric conversion element of the optical sensor faces the imaging object, is the surface of the imaging object, based on the attitude of the observer and the position of the observer A normal vector defining the distance to the sensor viewpoint and the tangent plane of the imaging surface at the sensor viewpoint is calculated. The target attitude angular velocity calculator is the position of the observer, the velocity of the observer, the attitude of the observer and the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculator, and the normal Based on the normal vector calculated by the vector distance calculation unit, the vector in the scanning direction of one pixel of the optical sensor is mapped to the tangent plane by the optical system of the observer, and the line rate per pixel A target posture angular velocity at which an error from the tangential plane movement vector indicating the movement of the sensor viewpoint on the tangential plane is minimized with a predetermined calculation accuracy is calculated.

本発明によれば、光学センサで走査することにより撮像対象を撮像する観測器において、光学センサの1画素分の走査方向のベクトルをセンサ視点における撮像表面の接平面に観測器の光学系で写像した接平面写像ベクトルと1画素あたりの光学センサのラインレートにおけるセンサ視点の撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリントの歪みによる撮影画像のMTF劣化を抑えることができる。   According to the present invention, in an observer that images an object to be imaged by scanning with an optical sensor, a vector in the scanning direction for one pixel of the optical sensor is mapped to the tangential plane of the imaging surface at the sensor viewpoint by the optical system of the observer. By calculating a target posture angular velocity at which an error between the tangential plane mapping vector and the movement vector indicating movement on the imaging surface of the sensor viewpoint at the line rate of the optical sensor per pixel is minimized with a predetermined calculation accuracy, Even if the line rate is the same for the entire optical sensor, it is possible to suppress MTF degradation of the captured image due to footprint distortion.

本発明の実施の形態1に係る観測器のフットプリントの一例を示す図である。It is a figure which shows an example of the footprint of the observer based on Embodiment 1 of this invention. 実施の形態1に係る写像ベクトルと移動ベクトルと誤差ベクトルの関係を示す図である。It is a figure which shows the relationship between the mapping vector which concerns on Embodiment 1, a movement vector, and an error vector. 光学センサ全体で同一のラインレートとし、センサ中心での視点が直線状に動く場合と適切な姿勢角速度で観測器を駆動した場合の例を示す図である。It is a figure which shows the example in the case where it is set as the same line rate in the whole optical sensor, and the observer moves by the suitable attitude | position angular velocity when the viewpoint in a sensor center moves linearly. 実施の形態1に係る制御装置の機能構成例を示す図である。FIG. 3 is a diagram illustrating a functional configuration example of a control device according to the first embodiment. 実施の形態1に係る法線ベクトル距離演算部の機能構成例を示す図である。6 is a diagram illustrating a functional configuration example of a normal vector distance calculation unit according to Embodiment 1. FIG. 実施の形態1に係る目標姿勢角速度演算部の機能構成例を示す図である。3 is a diagram illustrating an example of a functional configuration of a target posture angular velocity calculation unit according to Embodiment 1. FIG. 本発明の実施の形態4に係る制御装置の機能構成例を示す図である。It is a figure which shows the function structural example of the control apparatus which concerns on Embodiment 4 of this invention. 本発明の実施の形態に係る演算装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the arithmetic unit which concerns on embodiment of this invention.

以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。本実施の形態では、光学センサとしてTDI型CCDを使用し、撮像対象として地表面の観測を行う場合の例について説明する。   EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated in detail with reference to drawings. In addition, the same code | symbol is attached | subjected to the part which is the same or it corresponds in a figure. In this embodiment, an example in which a TDI CCD is used as an optical sensor and the ground surface is observed as an imaging target will be described.

(実施の形態1)
図1は、本発明の実施の形態1に係る観測器のフットプリントの一例を示す図である。観測器1は、人工衛星や航空機等に搭載され、TDI型CCDにより地表面の観測を行う。図1に示すように、観測器1の視野中心のセンサ視線方向を鉛直方向から傾けて観測を行うような場合、観測器1のフットプリント140は台形状に歪む。このため、光学センサの部分によって最適なラインレートが異なり、光学センサ全体で同一のラインレートであって、光学センサの中心(以下、センサ中心という)での視点が直線状に動く場合には画角端でのMTFが劣化する結果となる。
(Embodiment 1)
FIG. 1 is a diagram showing an example of the footprint of an observer according to Embodiment 1 of the present invention. The observation device 1 is mounted on an artificial satellite, an aircraft, or the like, and observes the ground surface with a TDI type CCD. As shown in FIG. 1, when observation is performed by tilting the sensor line-of-sight direction at the center of the visual field of the observation device 1 from the vertical direction, the footprint 140 of the observation device 1 is distorted into a trapezoidal shape. For this reason, the optimal line rate differs depending on the optical sensor, and the optical sensor has the same line rate, and the viewpoint at the center of the optical sensor (hereinafter referred to as the sensor center) moves linearly. As a result, the MTF at the corner end deteriorates.

図2は、実施の形態1に係る写像ベクトルと移動ベクトルと誤差ベクトルの関係を示す図である。写像ベクトルV1は、CCDの1画素分の走査方向のベクトルを地表面に観測器1の光学系で写像したベクトルである。移動ベクトルV2は、1画素あたりのラインレートにおけるセンサ視点の地表面での移動を示すベクトルである。誤差ベクトルV3は、写像ベクトルV1と移動ベクトルV2との誤差を示すベクトルである。撮影画像のMTFの劣化を低減するためには、誤差ベクトルV3を小さくする必要がある。   FIG. 2 is a diagram illustrating a relationship among the mapping vector, the movement vector, and the error vector according to the first embodiment. The mapping vector V1 is a vector obtained by mapping a vector in the scanning direction for one pixel of the CCD onto the ground surface by the optical system of the observation device 1. The movement vector V2 is a vector indicating the movement of the sensor viewpoint on the ground surface at the line rate per pixel. The error vector V3 is a vector indicating an error between the mapping vector V1 and the movement vector V2. In order to reduce the degradation of the MTF of the captured image, it is necessary to reduce the error vector V3.

図3は、光学センサ全体で同一のラインレートとし、センサ中心での視点が直線状に動く場合と適切な姿勢角速度で観測器を駆動した場合の例を示す図である。図3(a)は、センサ中心での視点が直線状に動く場合を示す。フットプリント140が台形状であって、センサ中心での視点が直線状に動く場合、光学センサ全体で同一のラインレートとすると、センサ手前とセンサ奥とでは写像ベクトルV1と移動ベクトルV2とが一致しないので、撮影画像のMTFが劣化する。図3(b)は、適切な姿勢角速度で観測器1を駆動した場合を示す。図3(b)に示すように、適切な姿勢角速度で観測器1を駆動することで、移動ベクトルV2の分布を整形できる。その結果、光学センサの視野全体の誤差ベクトルV3は小さくなり、撮影画像のMTFの劣化を低減できる。   FIG. 3 is a diagram illustrating an example of the case where the optical sensor has the same line rate and the viewpoint at the center of the sensor moves linearly and the observer is driven at an appropriate posture angular velocity. FIG. 3A shows a case where the viewpoint at the center of the sensor moves linearly. If the footprint 140 is trapezoidal and the viewpoint at the center of the sensor moves in a straight line, the mapping vector V1 and the movement vector V2 match before and behind the sensor, assuming the same line rate for the entire optical sensor. As a result, the MTF of the captured image deteriorates. FIG. 3B shows a case where the observer 1 is driven at an appropriate posture angular velocity. As shown in FIG. 3B, the distribution of the movement vector V2 can be shaped by driving the observer 1 at an appropriate posture angular velocity. As a result, the error vector V3 of the entire field of view of the optical sensor is reduced, and the MTF deterioration of the captured image can be reduced.

図4は、実施の形態1に係る制御装置の機能構成例を示す図である。制御装置100は、法線ベクトル距離演算部110および目標姿勢角速度演算部120で構成される演算装置10と、姿勢制御部11とを備える。演算装置10の法線ベクトル距離演算部110は、観測器1から観測器1の姿勢および位置を取得すると、観測器1とセンサ視点との距離(以下、センサ視点距離という)およびセンサ視点における地表面からの法線ベクトル(以下、地表面法線ベクトルという)を算出し、目標姿勢角速度演算部120に送る。   FIG. 4 is a diagram illustrating a functional configuration example of the control device according to the first embodiment. The control device 100 includes a calculation device 10 including a normal vector distance calculation unit 110 and a target posture angular velocity calculation unit 120, and a posture control unit 11. When the normal vector distance calculation unit 110 of the calculation device 10 acquires the attitude and position of the observation device 1 from the observation device 1, the distance between the observation device 1 and the sensor viewpoint (hereinafter referred to as the sensor viewpoint distance) and the ground at the sensor viewpoint. A normal vector from the surface (hereinafter referred to as a ground surface normal vector) is calculated and sent to the target posture angular velocity calculation unit 120.

目標姿勢角速度演算部120は、観測器1から観測器1の姿勢、位置、速度および光学センサのラインレートを取得し、法線ベクトル距離演算部110からセンサ視点距離および地表面法線ベクトルを受け取ると、これらに基づいて、光学センサの視野全体の撮影画像のMTF劣化を抑える目標姿勢角速度を算出し、姿勢制御部11に送る。姿勢制御部11は、観測器1から姿勢角および姿勢角速度を取得し、目標姿勢角速度演算部120から受け取った目標姿勢角速度に追従するよう観測器1に加えるトルクを演算し、観測器1に出力して観測器1の姿勢を制御する。なお、姿勢制御部11が行う観測器1の姿勢制御については、既存の技術で実現可能であり、ここではその詳細については省略する。観測器1の姿勢、位置、速度、姿勢角および姿勢角速度はリアルタイムに計測または推定された値を用いてもよいし、計画値を用いてもよい。ここで、法線ベクトル距離演算部110がセンサ視点距離および地表面法線ベクトルを算出する方法と目標姿勢角速度演算部120が目標姿勢角速度を算出する方法とについて、図5および図6を用いて説明する。   The target posture angular velocity calculation unit 120 acquires the posture, position, speed, and optical sensor line rate of the observation device 1 from the observer 1, and receives the sensor viewpoint distance and the ground surface normal vector from the normal vector distance calculation unit 110. Based on these, a target posture angular velocity that suppresses MTF deterioration of the captured image of the entire field of view of the optical sensor is calculated and sent to the posture control unit 11. The attitude control unit 11 acquires the attitude angle and attitude angular velocity from the observer 1, calculates the torque applied to the observer 1 so as to follow the target attitude angular velocity received from the target attitude angular velocity calculator 120, and outputs the torque to the observer 1 Then, the attitude of the observer 1 is controlled. Note that the attitude control of the observation device 1 performed by the attitude control unit 11 can be realized by existing techniques, and details thereof are omitted here. As the posture, position, velocity, posture angle, and posture angular velocity of the observation device 1, values measured or estimated in real time may be used, or planned values may be used. Here, a method in which the normal vector distance calculation unit 110 calculates the sensor viewpoint distance and the ground surface normal vector and a method in which the target posture angular velocity calculation unit 120 calculates the target posture angular velocity will be described with reference to FIGS. explain.

図5は、実施の形態1に係る法線ベクトル距離演算部の機能構成例を示す図である。法線ベクトル距離演算部110は、センサ視点演算部111と、距離演算部112と、法線方向演算部113とを備える。法線ベクトル距離演算部110には、観測器1の位置および姿勢が与えられる。センサ視点演算部111は、観測器1の姿勢からセンサ視線方向を算出し、センサ視線方向の半直線と地表面の最も近い交点をセンサ視点とする。センサ視点演算部111は、センサ視点を距離演算部112および法線方向演算部113に送る。距離演算部112は、観測器1の位置とセンサ視点演算部111から受け取ったセンサ視点とに基づいて、センサ視点距離を求める。距離演算部112は、センサ視点距離を目標姿勢角速度演算部120に送る。   FIG. 5 is a diagram illustrating a functional configuration example of the normal vector distance calculation unit according to the first embodiment. The normal vector distance calculation unit 110 includes a sensor viewpoint calculation unit 111, a distance calculation unit 112, and a normal direction calculation unit 113. The normal vector distance calculation unit 110 is given the position and orientation of the observer 1. The sensor viewpoint calculation unit 111 calculates the sensor line-of-sight direction from the attitude of the observation device 1 and sets the closest intersection of the sensor line-of-sight direction half line and the ground surface as the sensor viewpoint. The sensor viewpoint calculation unit 111 sends the sensor viewpoint to the distance calculation unit 112 and the normal direction calculation unit 113. The distance calculation unit 112 calculates a sensor viewpoint distance based on the position of the observation device 1 and the sensor viewpoint received from the sensor viewpoint calculation unit 111. The distance calculation unit 112 sends the sensor viewpoint distance to the target posture angular velocity calculation unit 120.

法線方向演算部113は、センサ視点演算部111から受け取ったセンサ視点に基づいて、地表面形状から地表面法線ベクトルを求める。例えば地表面が球面上のとき、球の中心からセンサ視点に向かうベクトルが地表面法線ベクトルとなる。また、地表面形状として数値標高モデル(DEM:Digital Elevation Model)を用いる場合は、まず数値標高モデルを用いてセンサ視点を数値的に求め、センサ視点近傍の標高データを用いることで数値的に地表面法線ベクトルを算出する。地表面法線ベクトルは、センサ視点における地表面の接平面(以下、センサ視点接平面という)を定義する。法線方向演算部113は、地表面法線ベクトルを目標姿勢角速度演算部120に送る。   The normal direction calculation unit 113 obtains a ground surface normal vector from the ground surface shape based on the sensor viewpoint received from the sensor viewpoint calculation unit 111. For example, when the ground surface is on a spherical surface, the vector from the center of the sphere toward the sensor viewpoint is the ground surface normal vector. When a digital elevation model (DEM) is used as the ground surface shape, the sensor viewpoint is first obtained numerically using the digital elevation model, and the elevation data in the vicinity of the sensor viewpoint is used to numerically calculate the ground surface. Calculate the surface normal vector. The ground surface normal vector defines a tangent plane of the ground surface at the sensor viewpoint (hereinafter referred to as a sensor viewpoint tangent plane). The normal direction calculation unit 113 sends the ground surface normal vector to the target posture angular velocity calculation unit 120.

図6は、実施の形態1に係る目標姿勢角速度演算部の機能構成例を示す図である。目標姿勢角速度演算部120は、線形連立方程式生成部121と、最小二乗解演算部122とを備える。目標姿勢角速度演算部120には、観測器1の位置、速度、姿勢および光学センサのラインレートと、センサ視点距離および地表面法線ベクトルとが与えられる。線形連立方程式生成部121は、観測器1の位置、姿勢および地表面法線ベクトルに基づいて、CCDの1画素分の走査方向のベクトルをセンサ視点接平面に観測器1の光学系で写像した接平面写像ベクトルを求める。接平面写像ベクトルは、写像ベクトルV1をセンサ視点接平面上に射影したベクトルである。演算装置10は観測器1の走査方向を記憶している。線形連立方程式生成部121は、観測器1の位置、速度、姿勢および光学センサのラインレートと、センサ視点距離および地表面法線ベクトルとを用いて、1画素あたりのラインレートにおけるセンサ視点のセンサ視点接平面での移動を示す接平面移動ベクトルを求める。線形連立方程式生成部121は、接平面写像ベクトルおよび接平面移動ベクトルを最小二乗解演算部122に送る。   FIG. 6 is a diagram illustrating a functional configuration example of the target posture angular velocity calculation unit according to the first embodiment. The target posture angular velocity calculation unit 120 includes a linear simultaneous equation generation unit 121 and a least square solution calculation unit 122. The target posture angular velocity calculation unit 120 is provided with the position, velocity, posture and line rate of the optical sensor, the sensor viewpoint distance, and the ground surface normal vector. The linear simultaneous equation generation unit 121 maps the scanning direction vector for one pixel of the CCD to the sensor viewpoint tangent plane by the optical system of the observation device 1 based on the position, posture, and ground surface normal vector of the observation device 1. Find the tangential plane map vector. The tangential plane mapping vector is a vector obtained by projecting the mapping vector V1 onto the sensor viewpoint tangent plane. The arithmetic unit 10 stores the scanning direction of the observer 1. The linear simultaneous equation generation unit 121 uses the sensor 1 position, velocity, orientation, optical sensor line rate, sensor viewpoint distance and ground surface normal vector, and the sensor viewpoint sensor at the line rate per pixel. A tangential plane movement vector indicating movement in the viewpoint tangent plane is obtained. The linear simultaneous equation generation unit 121 sends the tangent plane mapping vector and the tangent plane movement vector to the least square solution calculation unit 122.

最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルと接平面移動ベクトルとの誤差が光学センサの視野全体で最小になる姿勢角速度を最小二乗法により求め、それを目標姿勢角速度とする。接平面写像ベクトルおよび接平面移動ベクトルは線形連立方程式で表される。つまり最小二乗解演算部122は、接平面写像ベクトルおよび接平面移動ベクトルを表す線形連立方程式の誤差が光学センサの視野全体で最小になる姿勢角速度を目標姿勢角速度として算出する。接平面移動ベクトルは、姿勢角速度に関して線形なベクトル関数であるため、係数行列の擬似逆行列を用いることで最小二乗解を高速かつ確実に求めることができる。   The least square solution calculation unit 122 obtains an attitude angular velocity at which an error between the tangential plane mapping vector received from the linear simultaneous equation generation unit 121 and the tangential plane movement vector is minimized in the entire visual field of the optical sensor by the least square method, The target posture angular velocity is used. The tangential plane mapping vector and the tangential plane movement vector are expressed by linear simultaneous equations. In other words, the least square solution calculation unit 122 calculates a posture angular velocity at which the error of the linear simultaneous equations representing the tangential plane mapping vector and the tangential plane movement vector is minimized in the entire visual field of the optical sensor as the target posture angular velocity. Since the tangential plane motion vector is a linear vector function with respect to the attitude angular velocity, the least square solution can be obtained quickly and reliably by using a pseudo inverse matrix of the coefficient matrix.

以上説明したように実施の形態1の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる視野全体のMTF劣化を抑えることができる。   As described above, according to the control device 100 of the first embodiment, the observer 1 that images the ground surface by scanning with the optical sensor calculates the target posture angular velocity according to the distortion of the footprint 140. Even if the line rate is the same for the entire optical sensor, the MTF deterioration of the entire field of view due to the distortion of the footprint 140 can be suppressed.

光学センサの全光電変換素子の写像ベクトルV1がフットプリント140を形作るため、写像ベクトルV1をセンサ視点接平面上に射影した接平面写像ベクトルを用いることで、フットプリント140の歪みに応じて目標姿勢角速度が算出できる。これにより、フットプリント140がどのような形状をしている場合においても、光学センサの視野全体にわたって最適な姿勢運動を実現でき、撮像画像全体にわたってMTF劣化を抑えることができる。また、観測器1から各種データを取得する度に光学センサの視野全体の接平面写像ベクトルと接平面移動ベクトルとの誤差を最小にするような目標姿勢角速度を算出するアルゴリズムとなっているから、MTF劣化を最小限に抑えるセンサ視点の軌跡を柔軟に実現することができる。さらに、センサ視点の軌跡を予め計画する必要がないため、いつでもリアルタイムにMTF劣化が小さい観測を開始できる。これにより、災害時など緊急時の地表面の撮像を迅速に行えるようになる。   Since the mapping vector V1 of all the photoelectric conversion elements of the optical sensor forms the footprint 140, the target posture is determined according to the distortion of the footprint 140 by using the tangential plane mapping vector obtained by projecting the mapping vector V1 onto the sensor viewpoint tangent plane. Angular velocity can be calculated. As a result, regardless of the shape of the footprint 140, optimal posture movement can be realized over the entire visual field of the optical sensor, and MTF deterioration can be suppressed over the entire captured image. In addition, every time various data is acquired from the observation device 1, the algorithm calculates the target posture angular velocity that minimizes the error between the tangential plane mapping vector and the tangential plane movement vector of the entire field of view of the optical sensor. The trajectory of the sensor viewpoint that minimizes the MTF degradation can be flexibly realized. Furthermore, since it is not necessary to plan the trajectory of the sensor viewpoint in advance, observation with small MTF degradation can be started at any time. As a result, the ground surface can be quickly imaged in an emergency such as a disaster.

(実施の形態2)
実施の形態2に係る観測器1の制御装置の構成は実施の形態1と同様であるが、実施の形態2では、目標姿勢角速度演算部120における目標姿勢角速度の算出方法が異なる。
実施の形態1における目標姿勢角速度演算部120では、接平面写像ベクトルと接平面移動ベクトルとの誤差を光学センサの視野全体で最小になるように構成した。しかしながら、TDI型CCDによる観測を行う場合には、特定の一方向のMTF劣化が特に重要になる場合もある。そこで、本実施の形態2では、ベクトルの全方向を考慮した誤差ではなくMTF劣化を抑えたい特定の一方向の誤差を最小にする目標姿勢角速度を算出する。具体的な方法は以下の通りである。
(Embodiment 2)
The configuration of the control device of the observation device 1 according to the second embodiment is the same as that of the first embodiment, but the second embodiment differs in the method for calculating the target posture angular velocity in the target posture angular velocity calculator 120.
The target posture angular velocity calculation unit 120 in the first embodiment is configured such that the error between the tangential plane mapping vector and the tangential plane movement vector is minimized over the entire visual field of the optical sensor. However, when observing with a TDI type CCD, MTF degradation in a specific direction may be particularly important. Therefore, in the second embodiment, a target attitude angular velocity that minimizes an error in a specific direction in which MTF deterioration is to be suppressed is calculated, not an error in consideration of all directions of the vector. A specific method is as follows.

制御装置100の目標姿勢角速度演算部120の最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルおよび接平面移動ベクトルに対して、それぞれMTF劣化を抑えたい方向のベクトルとの内積をとり、その誤差が光学センサの視野全体で最小になる目標姿勢角速度を最小二乗法により求める。このような場合でも、目標姿勢角速度に関して線形連立方程式群が得られるので、最小二乗解は高速かつ確実に求めることができる。その他の構成は、実施の形態1と同様である。   The least square solution calculation unit 122 of the target attitude angular velocity calculation unit 120 of the control device 100 is a vector in a direction in which MTF degradation is to be suppressed with respect to the tangential plane mapping vector and the tangential plane movement vector received from the linear simultaneous equation generation unit 121. The target attitude angular velocity at which the error is minimized in the entire field of view of the optical sensor is obtained by the least square method. Even in such a case, since a group of linear simultaneous equations is obtained with respect to the target posture angular velocity, the least squares solution can be obtained quickly and reliably. Other configurations are the same as those in the first embodiment.

以上説明したように実施の形態2の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる特定の一方向のMTF劣化を抑えることができる。   As described above, according to the control device 100 of the second embodiment, the observer 1 that images the ground surface by scanning with the optical sensor calculates the target posture angular velocity according to the distortion of the footprint 140. Even if the line rate is the same for the entire optical sensor, it is possible to suppress MTF degradation in a specific direction due to distortion of the footprint 140.

(実施の形態3)
実施の形態3に係る観測器1の制御装置100の構成は実施の形態1および2と同様であるが、実施の形態3では、目標姿勢角速度演算部120における目標姿勢角速度の算出方法が異なる。実施の形態1および2では光学センサの視野全体または特定の一方向のMTF劣化を抑制する目標姿勢角速度を算出していた。しかしながら、通常の観測において最も重要な点は光学センサの視野中心で観測を行うように設計するのが一般的である。実施の形態1および2では視野中心の光電変換素子での誤差を0にするという保証はできない。そこで、実施の形態3では光学センサの視野中心の光電変換素子での誤差を0にし、かつ、視野全体での誤差を最小にする目標姿勢角速度を算出する。具体的な方法は以下の通りである。
(Embodiment 3)
The configuration of the control device 100 of the observation device 1 according to the third embodiment is the same as that of the first and second embodiments, but the target posture angular velocity calculation unit 120 differs in the method of calculating the target posture angular velocity in the third embodiment. In the first and second embodiments, the target posture angular velocity that suppresses the entire visual field of the optical sensor or MTF deterioration in one specific direction is calculated. However, the most important point in normal observation is generally designed to perform observation at the center of the visual field of the optical sensor. In Embodiments 1 and 2, it cannot be guaranteed that the error in the photoelectric conversion element at the center of the visual field is zero. Therefore, in the third embodiment, the target attitude angular velocity that minimizes the error in the photoelectric conversion element at the center of the visual field of the optical sensor and minimizes the error in the entire visual field is calculated. A specific method is as follows.

制御装置100の目標姿勢角速度演算部120の最小二乗解演算部122は、線形連立方程式生成部121から受け取った接平面写像ベクトルV1’および接平面移動ベクトルV2’について、まず視野中心の光電変換素子における接平面写像ベクトルV1’および接平面移動ベクトルV2’が等しくなる線形連立方程式を解く。これにより、3自由度を持つ目標姿勢角速度のうち、2自由度が一意に決定される。例えば、角速度表現に1−2−3オイラー角(ロール角、ピッチ角、ヨー角)の時間微分を用いた場合、視野中心における線形連立方程式はヨーレートに依存しない。そのため、ロールレートおよびピッチレートを一意に求めることができる。最小二乗解演算部122は、残りの1自由度で光学センサの視野全体における接平面誤差ベクトルV3’を最小にするような目標姿勢角速度を、最小二乗法により求める。このとき、最小二乗解演算部122は、実施の形態2のように、誤差を小さくしたい方向のベクトルとの内積の誤差を最小にするような目標姿勢角速度を、最小二乗法により求めてもよい。このような場合でも、目標姿勢角速度に関して線形連立方程式群が得られるので、最小二乗解は高速かつ確実に求めることができる。その他の構成は、実施の形態1および2と同様である。   The least square solution calculation unit 122 of the target attitude angular velocity calculation unit 120 of the control apparatus 100 first applies a photoelectric conversion element at the center of the visual field to the tangential plane mapping vector V1 ′ and the tangential plane movement vector V2 ′ received from the linear simultaneous equation generation unit 121. The linear simultaneous equations in which the tangent plane mapping vector V1 ′ and the tangential plane movement vector V2 ′ in FIG. Thereby, 2 degrees of freedom are uniquely determined among the target posture angular velocities having 3 degrees of freedom. For example, when the time differential of 1-2-3 Euler angles (roll angle, pitch angle, yaw angle) is used for the angular velocity expression, the linear simultaneous equations at the center of the visual field do not depend on the yaw rate. Therefore, the roll rate and the pitch rate can be uniquely determined. The least square solution calculation unit 122 obtains a target attitude angular velocity that minimizes the tangential plane error vector V3 'in the entire field of view of the optical sensor with the remaining one degree of freedom by the least square method. At this time, as in the second embodiment, the least square solution calculation unit 122 may obtain the target attitude angular velocity that minimizes the error of the inner product with the vector in the direction in which the error is desired to be reduced by the least square method. . Even in such a case, since a group of linear simultaneous equations is obtained with respect to the target posture angular velocity, the least squares solution can be obtained quickly and reliably. Other configurations are the same as those in the first and second embodiments.

以上説明したように実施の形態3の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる視野中心のMTF劣化を防止することができ、視野全体または特定の一方向のMTF劣化を抑えることができる。   As described above, according to the control device 100 of the third embodiment, the observer 1 that images the ground surface by scanning with the optical sensor calculates the target posture angular velocity according to the distortion of the footprint 140. Even if the line rate is the same for the entire optical sensor, it is possible to prevent MTF degradation at the center of the visual field due to distortion of the footprint 140, and to suppress MTF degradation in the entire visual field or in a specific direction.

(実施の形態4)
図7は、本発明の実施の形態4に係る制御装置の機能構成例を示す図である。実施の形態4の制御装置100は、実施の形態1から3の制御装置100と演算装置10の機能構成が異なる。実施の形態4の演算装置10は、実施の形態1から3の演算装置10が備える法線ベクトル距離演算部110および目標姿勢角速度演算部120に加え、目標姿勢角演算部130を備える。法線ベクトル距離演算部110は、観測器1から観測器1の姿勢および位置を取得すると、センサ視点距離および地表面法線ベクトルを算出し、目標姿勢角速度演算部120に送る。目標姿勢角速度演算部120は、観測器1から観測器1の姿勢、位置、速度および光学センサのラインレートを取得し、法線ベクトル距離演算部110からセンサ視点距離および地表面法線ベクトルを受け取ると、光学センサの撮影画像のMTF劣化を抑える目標姿勢角速度を算出し、目標姿勢角演算部130に送る。
(Embodiment 4)
FIG. 7 is a diagram illustrating a functional configuration example of the control device according to the fourth embodiment of the present invention. The control device 100 according to the fourth embodiment is different from the control device 100 according to the first to third embodiments in the functional configuration of the arithmetic device 10. The arithmetic device 10 according to the fourth embodiment includes a target attitude angle calculator 130 in addition to the normal vector distance calculator 110 and the target attitude angular velocity calculator 120 included in the arithmetic devices 10 according to the first to third embodiments. When the normal vector distance calculation unit 110 acquires the attitude and position of the observer 1 from the observer 1, the normal vector distance calculation unit 110 calculates the sensor viewpoint distance and the ground surface normal vector, and sends them to the target attitude angular velocity calculation unit 120. The target posture angular velocity calculation unit 120 acquires the posture, position, speed, and optical sensor line rate of the observation device 1 from the observer 1, and receives the sensor viewpoint distance and the ground surface normal vector from the normal vector distance calculation unit 110. Then, the target posture angular velocity that suppresses the MTF deterioration of the captured image of the optical sensor is calculated and sent to the target posture angle calculation unit 130.

目標姿勢角演算部130は、目標姿勢角速度演算部120から目標姿勢角速度を受け取ると、時間積分により次の時刻の目標姿勢角を演算する。時間積分は、例えばEuler法やRunge-Kutta法を用いればよい。目標姿勢角演算部130は、目標姿勢角速度および目標姿勢角を制御装置100の姿勢制御部11に出力する。姿勢制御部11は、観測器1の姿勢角および姿勢角速度をそれぞれ、目標姿勢角演算部130から受け取った目標姿勢角および目標姿勢角速度にする制御を行う。また、目標姿勢角演算部130は、目標姿勢角を法線ベクトル距離演算部110にフィードバックしてもよい。その他の構成は、実施の形態1から3と同様である。   Upon receiving the target posture angular velocity from the target posture angular velocity calculating unit 120, the target posture angle calculating unit 130 calculates a target posture angle at the next time by time integration. For the time integration, for example, the Euler method or the Runge-Kutta method may be used. The target posture angle calculation unit 130 outputs the target posture angular velocity and the target posture angle to the posture control unit 11 of the control device 100. The posture control unit 11 controls the posture angle and the posture angular velocity of the observation device 1 to be the target posture angle and the target posture angular velocity received from the target posture angle calculation unit 130, respectively. Further, the target posture angle calculation unit 130 may feed back the target posture angle to the normal vector distance calculation unit 110. Other configurations are the same as those in the first to third embodiments.

以上説明したように実施の形態4の制御装置100によれば、光学センサで走査することにより地表面を撮像する観測器1において、フットプリント140の歪みに応じて目標姿勢角速度を算出することで、光学センサ全体でラインレートが同一であっても、フットプリント140の歪みによる撮影画像のMTF劣化を抑えることができる。また、ある時刻における観測器1の位置、速度および姿勢が与えられたときに観測器1がとるべき目標姿勢角および目標姿勢角速度の計画値を高速に得ることができる。さらに、計画値を少ないパラメータで近似する構成にすると、観測器1に転送する情報量を抑えることができ、転送時間の短縮や必要とするメモリを削減できる効果がある。   As described above, according to the control device 100 of the fourth embodiment, the observer 1 that images the ground surface by scanning with the optical sensor calculates the target posture angular velocity according to the distortion of the footprint 140. Even if the optical sensor has the same line rate, it is possible to suppress the MTF deterioration of the captured image due to the distortion of the footprint 140. In addition, it is possible to obtain the target posture angle and the target posture angular velocity planned values to be taken by the observer 1 at high speed when the position, velocity and attitude of the observer 1 at a certain time are given. Further, when the plan value is approximated with a small number of parameters, the amount of information transferred to the observer 1 can be suppressed, and there is an effect that the transfer time can be shortened and the required memory can be reduced.

上記の実施の形態では、最小二乗法を用いて、接平面写像ベクトルV1’と接平面移動ベクトルV2’との誤差を示す接平面誤差ベクトルV3’が最小になる目標姿勢角速度を求めたが、これに限らず、例えば、最尤法を用いてもよいし、ニュートン法を用いてもよい。また、写像ベクトルV1と移動ベクトルV2との誤差を示す誤差ベクトルV3が最小になる目標姿勢角速度を求めてもよい。本発明における最小とは、定めた計算精度での最小である。最小二乗法や最尤法を用いた場合は、最小二乗法や最尤法の計算精度での最小である。ニュートン法を用いた場合は、例えば、前回の計算結果との差分が定めた閾値以下に収束したときに最小と判定する。   In the above embodiment, the target attitude angular velocity at which the tangential plane error vector V3 ′ indicating the error between the tangential plane mapping vector V1 ′ and the tangential plane movement vector V2 ′ is minimized is obtained using the least square method. For example, the maximum likelihood method may be used, or the Newton method may be used. Alternatively, a target posture angular velocity at which an error vector V3 indicating an error between the mapping vector V1 and the movement vector V2 is minimized may be obtained. The minimum in the present invention is the minimum with a predetermined calculation accuracy. When the least square method or the maximum likelihood method is used, it is the minimum in the calculation accuracy of the least square method or the maximum likelihood method. When the Newton method is used, for example, the minimum is determined when the difference from the previous calculation result converges below a predetermined threshold.

図8は、本発明の実施の形態に係る演算装置のハードウェア構成の一例を示すブロック図である。演算装置10は、図8に示すように、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36を備える。主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36はいずれも内部バス30を介して制御部31に接続されている。   FIG. 8 is a block diagram showing an example of a hardware configuration of the arithmetic device according to the embodiment of the present invention. As shown in FIG. 8, the arithmetic device 10 includes a control unit 31, a main storage unit 32, an external storage unit 33, an operation unit 34, a display unit 35, and an input / output unit 36. The main storage unit 32, the external storage unit 33, the operation unit 34, the display unit 35, and the input / output unit 36 are all connected to the control unit 31 via the internal bus 30.

制御部31はCPU(Central Processing Unit)などから構成され、外部記憶部33に記憶されている制御プログラム39に従って、演算装置10の法線ベクトル距離演算部110および目標姿勢角速度演算部120の各処理を実行する。   The control unit 31 includes a CPU (Central Processing Unit) and the like. Each process of the normal vector distance calculation unit 110 and the target posture angular velocity calculation unit 120 of the calculation device 10 is performed according to a control program 39 stored in the external storage unit 33. Execute.

主記憶部32はRAM(Random-Access Memory)などから構成され、外部記憶部33に記憶されている制御プログラム39をロードし、制御部31の作業領域として用いられる。   The main storage unit 32 is composed of a RAM (Random-Access Memory) or the like, loads a control program 39 stored in the external storage unit 33, and is used as a work area of the control unit 31.

外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM、DVD−RWなどの不揮発性メモリから構成され、演算装置10の処理を制御部31に行わせるためのプログラムをあらかじめ記憶し、また、制御部31の指示に従って、このプログラムが記憶するデータを制御部31に供給し、制御部31から供給されたデータを記憶する。   The external storage unit 33 includes a nonvolatile memory such as a flash memory, a hard disk, a DVD-RAM, and a DVD-RW, and stores in advance a program for causing the control unit 31 to perform the processing of the arithmetic device 10, and also performs control. According to the instruction of the unit 31, the data stored by this program is supplied to the control unit 31, and the data supplied from the control unit 31 is stored.

操作部34はキーボードおよびマウスなどのポインティングデバイスなどと、キーボードおよびポインティングデバイスなどを内部バス30に接続するインタフェース装置から構成されている。ユーザが演算装置10に情報を入力する場合は、操作部34を介して、入力された情報が制御部31に供給される。   The operation unit 34 includes a pointing device such as a keyboard and a mouse, and an interface device that connects the keyboard and the pointing device to the internal bus 30. When the user inputs information to the arithmetic device 10, the input information is supplied to the control unit 31 via the operation unit 34.

表示部35は、CRTまたはLCDなどから構成されている。ユーザが演算装置10に情報を入力する場合は、操作画面を表示する。   The display unit 35 is composed of a CRT or LCD. When the user inputs information to the arithmetic device 10, an operation screen is displayed.

入出力部36は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部36は観測器1および姿勢制御部11と接続する。入出力部36は、法線ベクトル距離演算部110および目標姿勢角速度演算部120として機能する。   The input / output unit 36 includes a serial interface or a parallel interface. The input / output unit 36 is connected to the observer 1 and the attitude control unit 11. The input / output unit 36 functions as a normal vector distance calculation unit 110 and a target posture angular velocity calculation unit 120.

図4に示す演算装置10の法線ベクトル距離演算部110および目標姿勢角速度演算部120の処理は、制御プログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35および入出力部36などを資源として用いて処理することによって実行する。   In the processing of the normal vector distance calculation unit 110 and the target posture angular velocity calculation unit 120 of the calculation device 10 shown in FIG. 4, the control program 39 includes a control unit 31, a main storage unit 32, an external storage unit 33, an operation unit 34, and a display. The processing is executed by using the unit 35 and the input / output unit 36 as resources.

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。   In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.

制御部31、主記憶部32、外部記憶部33、操作部34、表示部35、入出力部36、内部バス30などから構成される演算装置10の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROMなど)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する演算装置10を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで演算装置10を構成してもよい。   A central part that performs processing of the arithmetic device 10 composed of the control unit 31, the main storage unit 32, the external storage unit 33, the operation unit 34, the display unit 35, the input / output unit 36, the internal bus 30, and the like is dedicated. Regardless of the system, it can be realized using a normal computer system. For example, a computer program for executing the above operation is stored and distributed on a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.), and the computer program is installed in the computer. Thus, the arithmetic device 10 that executes the above-described processing may be configured. Further, the computing device 10 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading it by a normal computer system.

また、演算装置10の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。   Further, when the functions of the arithmetic device 10 are realized by sharing of an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program portion is stored in a recording medium or a storage device. May be.

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して提供することも可能である。例えば、通信ネットワーク上の掲示板(BBS,Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを提供してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、演算装置10の処理を実行できるように構成してもよい。   It is also possible to superimpose a computer program on a carrier wave and provide it via a communication network. For example, a computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program may be provided via the network. And you may comprise so that the process of the arithmetic unit 10 can be performed by starting this computer program and performing similarly to another application program under control of OS.

1 観測器、10 演算装置、11 姿勢制御部、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 操作部、35 表示部、36 入出力部、39 制御プログラム、100 制御装置、110 法線ベクトル距離演算部、111 センサ視点演算部、112 距離演算部、113 法線方向演算部、120 目標姿勢角速度演算部、121 線形連立方程式生成部、122 最小二乗解演算部、130 目標姿勢角演算部、140 フットプリント、V1 写像ベクトル、V2 移動ベクトル、V3 誤差ベクトル、V1’ 接平面写像ベクトル、V2’ 接平面移動ベクトル、V3’ 接平面誤差ベクトル。   DESCRIPTION OF SYMBOLS 1 Observation device, 10 arithmetic units, 11 Attitude control part, 30 Internal bus, 31 Control part, 32 Main memory part, 33 External storage part, 34 Operation part, 35 Display part, 36 Input / output part, 39 Control program, 100 Control 110, normal vector distance calculation unit, 111 sensor viewpoint calculation unit, 112 distance calculation unit, 113 normal direction calculation unit, 120 target posture angular velocity calculation unit, 121 linear simultaneous equation generation unit, 122 least squares solution calculation unit, 130 Target posture angle calculation unit, 140 footprint, V1 mapping vector, V2 movement vector, V3 error vector, V1 ′ tangential plane mapping vector, V2 ′ tangential plane movement vector, V3 ′ tangential plane error vector.

Claims (8)

飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置であって、
前記演算装置は、
前記観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部と、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記接平面に前記観測器の光学系で写像した接平面写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる前記目標姿勢角速度を算出する目標姿勢角速度演算部と、
を備える演算装置。
An arithmetic device that calculates a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object,
The arithmetic unit is
Based on the attitude of the observer and the position of the observer, a sensor viewpoint in which a sensor line-of-sight direction in which the photoelectric conversion element of the optical sensor faces the imaging object from the observer intersects an imaging surface that is the surface of the imaging object A normal vector distance calculation unit that calculates a normal vector that defines a distance to and a tangent plane of the imaging surface at the sensor viewpoint;
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculating unit, a tangential plane mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the tangent plane by the optical system of the observer, and one pixel A target posture angular velocity calculation unit that calculates the target posture angular velocity at which an error with a tangential plane movement vector indicating movement on the tangential plane of the sensor viewpoint at the perimeter line rate is minimized with a predetermined calculation accuracy;
An arithmetic device comprising:
前記目標姿勢角速度演算部は、前記接平面写像ベクトルおよび前記接平面移動ベクトルを表す線形連立方程式の誤差の二乗を最小化する姿勢角速度を前記目標姿勢角速度として算出する請求項1に記載の演算装置。   2. The arithmetic device according to claim 1, wherein the target posture angular velocity calculation unit calculates a posture angular velocity that minimizes a square of an error of a linear simultaneous equation representing the tangential plane mapping vector and the tangential plane movement vector as the target posture angular velocity. . 前記目標姿勢角速度演算部は、前記線形連立方程式のうち、前記光学センサの視野中心の前記光電変換素子の前記線形連立方程式の誤差を0にし、かつ、それ以外の前記光電変換素子の前記線形連立方程式の誤差の二乗を最小化する姿勢角速度を前記目標姿勢角速度として算出することを特徴とする請求項2に記載の演算装置。   The target attitude angular velocity calculation unit sets an error of the linear simultaneous equation of the photoelectric conversion element at the center of the visual field of the optical sensor in the linear simultaneous equations to 0, and the linear simultaneous equations of the other photoelectric conversion elements. The computing device according to claim 2, wherein a posture angular velocity that minimizes a square of an error in the equation is calculated as the target posture angular velocity. 飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の目標姿勢角速度を演算する演算装置であって、
前記演算装置は、
前記観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部と、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記撮像表面に前記観測器の光学系で写像した写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる前記目標姿勢角速度を算出する目標姿勢角速度演算部と、
を備える演算装置。
An arithmetic device that calculates a target posture angular velocity of an observer that images an imaging target by scanning with an optical sensor mounted on a flying object,
The arithmetic unit is
Based on the attitude of the observer and the position of the observer, a sensor viewpoint in which a sensor line-of-sight direction in which the photoelectric conversion element of the optical sensor faces the imaging object from the observer intersects an imaging surface that is the surface of the imaging object A normal vector distance calculation unit that calculates a normal vector that defines a distance to and a tangent plane of the imaging surface at the sensor viewpoint;
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculation unit, a mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the imaging surface by the optical system of the observer, and A target posture angular velocity calculation unit that calculates the target posture angular velocity at which an error from a movement vector indicating movement of the sensor viewpoint on the imaging surface at the line rate is minimized with a predetermined calculation accuracy;
An arithmetic device comprising:
前記目標姿勢角速度演算部が算出した前記目標姿勢角速度に基づいて、前記観測器の目標姿勢角を演算する目標姿勢角演算部をさらに備える請求項1から4のいずれか1項に記載の演算装置。   5. The arithmetic device according to claim 1, further comprising a target posture angle calculation unit that calculates a target posture angle of the observer based on the target posture angular velocity calculated by the target posture angular velocity calculation unit. . 請求項5に記載の演算装置と、
前記観測器の姿勢角および姿勢角速度をそれぞれ、前記目標姿勢角および前記目標姿勢角速度にする制御を行う姿勢制御部と、
を備える制御装置。
An arithmetic device according to claim 5;
An attitude control unit for controlling the attitude angle and attitude angular velocity of the observer to the target attitude angle and the target attitude angular velocity, respectively;
A control device comprising:
コンピュータを
飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部、ならびに、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記接平面に前記観測器の光学系で写像した接平面写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記接平面での移動を示す接平面移動ベクトルとの誤差が、定めた計算精度で最小になる前記観測器の目標姿勢角速度を算出する目標姿勢角速度演算部、
として機能させるプログラム。
A photoelectric conversion element of the optical sensor is directed from the observer to the imaging object based on the attitude of the observation apparatus that images the imaging object by mounting the computer on the flying object and scanning with the optical sensor. A normal vector distance calculation unit for calculating a normal vector defining a distance to a sensor viewpoint intersecting with an imaging surface whose sensor line-of-sight direction is the surface of the imaging target, and a tangent plane of the imaging surface at the sensor viewpoint; and
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculating unit, a tangential plane mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the tangent plane by the optical system of the observer, and one pixel A target attitude angular velocity calculation unit for calculating a target attitude angular velocity of the observer that minimizes an error from a tangential plane movement vector indicating movement of the sensor viewpoint on the tangential plane at the perimeter line rate with a predetermined calculation accuracy ,
Program to function as.
コンピュータを
飛翔体に搭載され光学センサで走査することにより撮像対象を撮像する観測器の姿勢および前記観測器の位置に基づいて、前記観測器から前記光学センサの光電変換素子が前記撮像対象を向くセンサ視線方向が前記撮像対象の表面である撮像表面と交差するセンサ視点までの距離および前記センサ視点における前記撮像表面の接平面を定義する法線ベクトルを算出する法線ベクトル距離演算部、ならびに、
前記観測器の位置、前記観測器の速度、前記観測器の姿勢、前記光学センサのラインレート、前記法線ベクトル距離演算部が算出した前記観測器から前記センサ視点までの距離、および、前記法線ベクトル距離演算部が算出した前記法線ベクトルに基づいて、前記光学センサの1画素分の走査方向のベクトルを前記撮像表面に前記観測器の光学系で写像した写像ベクトルと、1画素あたりの前記ラインレートにおける前記センサ視点の前記撮像表面での移動を示す移動ベクトルとの誤差が、定めた計算精度で最小になる前記観測器の目標姿勢角速度を算出する目標姿勢角速度演算部、
として機能させるプログラム。
A photoelectric conversion element of the optical sensor is directed from the observer to the imaging object based on the attitude of the observation apparatus that images the imaging object by mounting the computer on the flying object and scanning with the optical sensor. A normal vector distance calculation unit for calculating a normal vector defining a distance to a sensor viewpoint intersecting with an imaging surface whose sensor line-of-sight direction is the surface of the imaging target, and a tangent plane of the imaging surface at the sensor viewpoint; and
The position of the observer, the speed of the observer, the attitude of the observer, the line rate of the optical sensor, the distance from the observer to the sensor viewpoint calculated by the normal vector distance calculation unit, and the method Based on the normal vector calculated by the line vector distance calculation unit, a mapping vector obtained by mapping a vector in the scanning direction of one pixel of the optical sensor onto the imaging surface by the optical system of the observer, and A target posture angular velocity calculation unit for calculating a target posture angular velocity of the observer that minimizes an error from a movement vector indicating movement of the sensor viewpoint on the imaging surface at the line rate with a predetermined calculation accuracy;
Program to function as.
JP2016052746A 2016-03-16 2016-03-16 Arithmetic device, control device and program Active JP6385380B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016052746A JP6385380B2 (en) 2016-03-16 2016-03-16 Arithmetic device, control device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016052746A JP6385380B2 (en) 2016-03-16 2016-03-16 Arithmetic device, control device and program

Publications (2)

Publication Number Publication Date
JP2017166993A true JP2017166993A (en) 2017-09-21
JP6385380B2 JP6385380B2 (en) 2018-09-05

Family

ID=59913805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016052746A Active JP6385380B2 (en) 2016-03-16 2016-03-16 Arithmetic device, control device and program

Country Status (1)

Country Link
JP (1) JP6385380B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955631A (en) * 2018-10-13 2018-12-07 北华航天工业学院 A kind of attitude measurement method of three-component induction coil
CN110081904A (en) * 2019-05-15 2019-08-02 合肥工业大学 Biplane photosensor arrays push-bench attitude measuring and measurement method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111688952B (en) * 2020-05-21 2021-11-23 清华大学 Satellite attitude control system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3860145B2 (en) * 2003-07-07 2006-12-20 三菱電機株式会社 Observer control device
JP5288482B2 (en) * 2009-07-21 2013-09-11 Nec東芝スペースシステム株式会社 Imaging apparatus, imaging method, imaging circuit, and program
JP6070505B2 (en) * 2013-10-18 2017-02-01 三菱電機株式会社 Observer control device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3860145B2 (en) * 2003-07-07 2006-12-20 三菱電機株式会社 Observer control device
JP5288482B2 (en) * 2009-07-21 2013-09-11 Nec東芝スペースシステム株式会社 Imaging apparatus, imaging method, imaging circuit, and program
JP6070505B2 (en) * 2013-10-18 2017-02-01 三菱電機株式会社 Observer control device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955631A (en) * 2018-10-13 2018-12-07 北华航天工业学院 A kind of attitude measurement method of three-component induction coil
CN108955631B (en) * 2018-10-13 2020-07-28 北华航天工业学院 Attitude measurement method of three-component induction coil
CN110081904A (en) * 2019-05-15 2019-08-02 合肥工业大学 Biplane photosensor arrays push-bench attitude measuring and measurement method
CN110081904B (en) * 2019-05-15 2021-01-29 合肥工业大学 Attitude measuring device and method for double-plane photoelectric sensor array tube push bench

Also Published As

Publication number Publication date
JP6385380B2 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
JP6768156B2 (en) Virtually enhanced visual simultaneous positioning and mapping systems and methods
US10594941B2 (en) Method and device of image processing and camera
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
CN111800589B (en) Image processing method, device and system and robot
US10104286B1 (en) Motion de-blurring for panoramic frames
CN111161398B (en) Image generation method, device, equipment and storage medium
JP6385380B2 (en) Arithmetic device, control device and program
JP6594170B2 (en) Image processing apparatus, image processing method, image projection system, and program
EP3633606A1 (en) Information processing device, information processing method, and program
CN108076333A (en) The system and method being fitted for the advanced lens geometry structure of imaging device
JP7082713B2 (en) Rolling Shutter Correction for images / videos using convolutional neural networks in applications for image / video SFM / SLAM
WO2019155903A1 (en) Information processing device and method
US10218920B2 (en) Image processing apparatus and control method for generating an image by viewpoint information
WO2020019175A1 (en) Image processing method and apparatus, and photographing device and unmanned aerial vehicle
WO2020121755A1 (en) Estimation device, training device, estimation method and training method
KR20150123789A (en) Image processor with evaluation layer implementing software and hardware algorithms of different precision
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
JP6590614B2 (en) Observer control device, observer control method, and observer control program
US10097772B2 (en) Image processing device and image processing method
JP2015201734A (en) Image processing system, control method of the same, and program
CN110786017A (en) Distribution image generation method
US9165208B1 (en) Robust ground-plane homography estimation using adaptive feature selection
US10701293B2 (en) Method for compensating for off-axis tilting of a lens
CN111480335B (en) Image processing device, image processing method, program, and projection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R150 Certificate of patent or registration of utility model

Ref document number: 6385380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250