以下、図面を参照し、本発明の動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラムの実施形態について説明する。移動体は、宇宙機である。なお、宇宙機は、地球の地表上空や、他の天体や物体の表面上空を所定の周回軌道に沿って周回しながら移動する人工衛星であってもよい。また、移動体は、弾道飛行を行うロケットであってもよい。また、移動体は、他の天体や物体を観測するために出向く（さらに地球に帰還してもよい）観測衛星であってもよい。他の天体には、火星や金星などの地球と異なる他の惑星、月やタイタンなどの衛星、イトカワなどの小惑星などが含まれる。また、他の物体には、岩石などが含まれる。また、移動体は、人工衛星や観測衛星に代えて、飛行機、ドローンなどの他の飛翔体であってもよい。
Hereinafter, embodiments of the moving image transmission device, the moving image transmission system, the moving image transmission method, and the program of the present invention will be described with reference to the drawings. The moving body is a spacecraft. The spacecraft may be an artificial satellite that moves while orbiting the surface of the earth or the surface of another celestial body or object along a predetermined orbit. Further, the moving body may be a rocket that performs ballistic flight. In addition, the moving object may be an observation satellite that goes to observe other celestial bodies or objects (and may return to the earth). Other celestial bodies include other planets different from Earth such as Mars and Venus, satellites such as the Moon and Titan, and asteroids such as Itokawa. In addition, other objects include rocks and the like. Further, the moving body may be another flying object such as an airplane or a drone instead of the artificial satellite or the observation satellite.
以下の説明においては、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとする。また、本発明の動画像送信装置を備える動画像伝送システムが、人工衛星に搭載された撮像装置によって撮像された動画像を、地上に設置された無線基地局（以下、「地上局」という）に伝送するシステムとして採用されている場合の一例について説明する。
In the following description, it is assumed that the moving body is an artificial satellite that moves while orbiting in a predetermined orbit over the earth's surface. In addition, the moving image transmission system provided with the moving image transmitting device of the present invention uses a moving image captured by an imaging device mounted on an artificial satellite as a radio base station (hereinafter referred to as "ground station") installed on the ground. An example of the case where the system is used as a transmission system will be described.
＜第１実施形態＞
［動画像伝送システム１の全体構成］
図１は、第１実施形態に係る動画像伝送システムの構成の一例を示す図である。図１に示した動画像伝送システム１は、例えば、人工衛星ＡＳが備える動画像送信装置１００と、地上局ＧＳが備える動画像受信装置２００と、によって構成される。
<First Embodiment>
[Overall configuration of moving image transmission system 1]
FIG. 1 is a diagram showing an example of a configuration of a moving image transmission system according to the first embodiment. The moving image transmission system 1 shown in FIG. 1 is composed of, for example, a moving image transmitting device 100 included in the artificial satellite AS and a moving image receiving device 200 included in the ground station GS.
動画像送信装置１００は、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像の画像データを、アンテナ３０によって地上局ＧＳに送信する。このとき、動画像送信装置１００は、人工衛星ＡＳが備えるセンサ２０により出力された情報に基づいて人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得し、取得した位置や撮像方向の情報に基づいて、撮像装置１０により撮像された動画像の画像データのデータ量を削減させて（圧縮させて）地上局ＧＳに送信する。動画像送信装置１００の構成および動作に関する詳細については後述する。
The moving image transmitting device 100 transmits the image data of the moving image captured by the imaging device 10 mounted on the artificial satellite AS to the ground station GS by the antenna 30. At this time, the moving image transmitting device 100 acquires information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 based on the information output by the sensor 20 included in the artificial satellite AS, and the acquired position and imaging direction. Based on the information in the above, the amount of image data of the moving image captured by the imaging device 10 is reduced (compressed) and transmitted to the ground station GS. Details regarding the configuration and operation of the moving image transmitting device 100 will be described later.
動画像受信装置２００は、地上局ＧＳにおいてアンテナ４０で受信した動画像の画像データ（動画像送信装置１００によりデータ量が削減された状態で送信されてきた動画像の画像データ）から、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の画像データを再現させる。動画像受信装置２００は、再現させた動画像の画像データを、例えば、表示装置５０に表示させる。動画像受信装置２００の構成および動作に関する詳細については後述する。
The moving image receiving device 200 is an artificial satellite from the image data of the moving image received by the antenna 40 in the ground station GS (the image data of the moving image transmitted in a state where the amount of data is reduced by the moving image transmitting device 100). The image data of the moving image captured by the image pickup device 10 mounted on the AS is reproduced. The moving image receiving device 200 causes, for example, the display device 50 to display the image data of the reproduced moving image. Details regarding the configuration and operation of the moving image receiving device 200 will be described later.
撮像装置１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。撮像装置１０は、人工衛星ＡＳの任意の箇所に取り付けられる。撮像装置１０が利用する固体撮像素子には、例えば、入射した電波や、赤外線、可視光などを検出して電気信号に変換した画素信号を出力する画素が、二次元の行列状に配置されている。撮像装置１０は、固体撮像素子が備えるそれぞれの画素が出力した画素信号に基づいて生成した二次元の静止画像の画像データを順次出力することにより、撮像した動画像の画像データを出力する。言い換えれば、撮像装置１０は、生成したそれぞれの静止画像の画像データを、動画像におけるそれぞれのフレームの画像データとして動画像送信装置１００に出力する。
The image pickup device 10 is, for example, a digital camera using a solid-state image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). The image pickup device 10 is attached to an arbitrary position on the artificial satellite AS. In the solid-state image sensor used by the image pickup device 10, for example, pixels that detect incident radio waves, infrared rays, visible light, and the like and output a pixel signal converted into an electric signal are arranged in a two-dimensional matrix. There is. The image pickup device 10 outputs the image data of the captured moving image by sequentially outputting the image data of the two-dimensional still image generated based on the pixel signal output by each pixel included in the solid-state image sensor. In other words, the imaging device 10 outputs the image data of each generated still image to the moving image transmitting device 100 as image data of each frame in the moving image.
センサ２０は、人工衛星ＡＳの位置や撮像装置１０の撮像方向を検出するセンサ群である。センサ２０は、例えば、人工衛星ＡＳの速度を検出する速度センサや、人工衛星ＡＳにおける三軸の加速度を検出する加速度センサ、人工衛星ＡＳにおける三軸のそれぞれの角速度を検出可能な角速度センサやジャイロセンサなどを含む姿勢センサ、ＧＰＳ（Global Positioning System）などの位置センサなど、人工衛星ＡＳの現在の状態を検出するための種々の検出装置を備える。それぞれの検出装置は、人工衛星ＡＳの任意の箇所に取り付けられる。それぞれの検出装置は、検出した結果の情報を、センサ２０が検出して出力したそれぞれの情報として動画像送信装置１００に出力する。動画像送信装置１００は、センサ２０が備えるこれらの検出装置により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置を検出する。また、センサ２０は、例えば、撮像装置１０が取り付けられた可変機構により変えられた向きの制御量の情報を取得する。センサ２０は、取得した可変機構における撮像装置１０の向きの制御量の情報を、センサ２０が検出したそれぞれの情報として動画像送信装置１００に出力する。動画像送信装置１００は、センサ２０により出力された撮像装置１０の向きの制御量の情報に基づいて、撮像装置１０の撮像方向を検出する。なお、人工衛星ＡＳでは、撮像装置１０が任意の箇所に取り付けられている（固定されている）ことも考えられる。この場合、人工衛星ＡＳの姿勢が、撮像装置１０の撮像方向に相当する。このため、動画像送信装置１００は、センサ２０が備える姿勢センサにより出力された人工衛星ＡＳの姿勢の変更量の情報に基づいて人工衛星ＡＳの姿勢を求め、求めた人工衛星ＡＳの姿勢を撮像装置１０の撮像方向として検出するようにしてもよい。
The sensor 20 is a group of sensors that detect the position of the artificial satellite AS and the imaging direction of the imaging device 10. The sensor 20 is, for example, a speed sensor that detects the speed of the artificial satellite AS, an acceleration sensor that detects the acceleration of the three axes of the artificial satellite AS, an angular velocity sensor or a gyro that can detect the angular velocity of each of the three axes of the artificial satellite AS. It is provided with various detection devices for detecting the current state of the artificial satellite AS, such as an attitude sensor including a sensor and a position sensor such as GPS (Global Positioning System). Each detector is attached to any part of the artificial satellite AS. Each detection device outputs the information of the detection result to the moving image transmitting device 100 as each information detected and output by the sensor 20. The moving image transmitting device 100 detects the position of the artificial satellite AS based on the respective information output by these detection devices included in the sensor 20. Further, the sensor 20 acquires, for example, information on the control amount of the direction changed by the variable mechanism to which the image pickup apparatus 10 is attached. The sensor 20 outputs information on the amount of control of the orientation of the imaging device 10 in the acquired variable mechanism to the moving image transmitting device 100 as the respective information detected by the sensor 20. The moving image transmitting device 100 detects the imaging direction of the imaging device 10 based on the information of the control amount of the orientation of the imaging device 10 output by the sensor 20. In the artificial satellite AS, it is conceivable that the image pickup device 10 is attached (fixed) at an arbitrary position. In this case, the posture of the artificial satellite AS corresponds to the imaging direction of the imaging device 10. Therefore, the moving image transmitting device 100 obtains the posture of the artificial satellite AS based on the information of the amount of change in the posture of the artificial satellite AS output by the posture sensor included in the sensor 20, and captures the obtained posture of the artificial satellite AS. It may be detected as the imaging direction of the device 10.
アンテナ３０およびアンテナ４０は、動画像送信装置１００と動画像受信装置２００との間で無線通信をするためのアンテナである。アンテナ３０は、例えば、展開型のフェーズドアレーアンテナである。アンテナ３０は、動画像送信装置１００により出力され、動画像受信装置２００に送信する動画像の画像データを表す無線信号の電波を送出する。アンテナ４０は、例えば、パラボラアンテナである。アンテナ４０は、アンテナ３０により送出された無線信号の電波を受信し、受信した無線信号の電波が表す情報、つまり、動画像送信装置１００により出力された動画像の画像データを、動画像受信装置２００に出力する。
The antenna 30 and the antenna 40 are antennas for wireless communication between the moving image transmitting device 100 and the moving image receiving device 200. The antenna 30 is, for example, a deployable phased array antenna. The antenna 30 transmits a radio wave of a radio signal that is output by the moving image transmitting device 100 and represents the image data of the moving image to be transmitted to the moving image receiving device 200. The antenna 40 is, for example, a parabolic antenna. The antenna 40 receives the radio wave of the radio signal transmitted by the antenna 30, and receives the information represented by the radio wave of the received radio signal, that is, the image data of the moving image output by the moving image transmitting device 100, as a moving image receiving device. Output to 200.
表示装置５０は、動画像受信装置２００により再現されて出力された動画像を表示する。表示装置５０は、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬ（Electroluminescence）表示装置などである。
The display device 50 displays a moving image reproduced and output by the moving image receiving device 200. The display device 50 is, for example, a liquid crystal display (LCD), an organic EL (Electroluminescence) display device, or the like.
［動画像伝送システム１の基本動作］
以下、動画像伝送システム１において動画像を伝送する際の基本的な考え方の動作について説明する。図２は、第１実施形態に係る動画像伝送システム１において人工衛星ＡＳが撮像する範囲の一例を模式的に示す図である。また、図３は、第１実施形態に係る動画像伝送システム１において人工衛星ＡＳが画像データを送信する動作の一例を模式的に示す図である。また、図４は、第１実施形態に係る動画像伝送システム１において地上局ＧＳが画像データを生成する動作の一例を模式的に示す図である。
[Basic operation of moving image transmission system 1]
Hereinafter, the operation of the basic concept when transmitting a moving image in the moving image transmission system 1 will be described. FIG. 2 is a diagram schematically showing an example of a range imaged by the artificial satellite AS in the moving image transmission system 1 according to the first embodiment. Further, FIG. 3 is a diagram schematically showing an example of an operation in which the artificial satellite AS transmits image data in the moving image transmission system 1 according to the first embodiment. Further, FIG. 4 is a diagram schematically showing an example of an operation in which the ground station GS generates image data in the moving image transmission system 1 according to the first embodiment.
人工衛星ＡＳは、一定の速度ｖで地球の上空を移動しながら撮像装置１０により撮像した動画像の画像データを、地上局ＧＳに送信する。図２には、人工衛星ＡＳが搭載する撮像装置１０によって、直下（真下）にある地上の被写体を撮像している場合の撮像範囲の一例を示している。
The artificial satellite AS transmits the image data of the moving image captured by the imaging device 10 to the ground station GS while moving over the earth at a constant speed v. FIG. 2 shows an example of an imaging range when an imaging device 10 mounted on the artificial satellite AS is used to image a subject on the ground directly below (directly below).
図２には、人工衛星ＡＳが、例えば、位置Ｐ１に位置しているときに撮像装置１０が動画像の１枚目のフレーム（以下、「フレームＦ１」という）を撮像し、その後、人工衛星ＡＳが、例えば、位置Ｐ２の位置に移動したときに撮像装置１０が２枚目のフレーム（以下、「フレームＦ２」という）を撮像した状態を示している。このように、撮像装置１０は、人工衛星ＡＳが移動している状態で動画像のそれぞれのフレームを撮像するため、撮像装置１０が撮像したそれぞれのフレームに写される被写体像の範囲（撮像範囲）は、人工衛星ＡＳが移動した分だけ全体的にずれることになる。このため、撮像装置１０によって撮像した動画像のフレームＦ１とフレームＦ２とのそれぞれに写された被写体像は全体が異なることになり、例えば、従来の技術のように、隣接するフレーム間で差がある部分を抽出してデータ量を削減（圧縮）する方法では、撮像装置１０によって撮像した動画像のデータ量を削減（圧縮）することができない。
In FIG. 2, when the artificial satellite AS is located at the position P1, for example, the imaging device 10 images the first frame of the moving image (hereinafter, referred to as “frame F1”), and then the artificial satellite. The AS shows, for example, a state in which the image pickup apparatus 10 images a second frame (hereinafter, referred to as “frame F2”) when the AS moves to the position of the position P2. In this way, since the imaging device 10 captures each frame of the moving image while the artificial satellite AS is moving, the range of the subject image (imaging range) captured in each frame captured by the imaging device 10. ) Will shift as a whole by the amount that the artificial satellite AS has moved. Therefore, the subject images captured in the frame F1 and the frame F2 of the moving image captured by the imaging device 10 are different as a whole, and for example, there is a difference between adjacent frames as in the conventional technique. In the method of extracting a certain part and reducing (compressing) the amount of data, it is not possible to reduce (compress) the amount of data of the moving image captured by the imaging device 10.
そこで、動画像伝送システム１では、動画像送信装置１００が、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報に基づいて、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを処理してから地上局ＧＳに送信する。図３には、動画像送信装置１００が動画像のそれぞれのフレームのデータ量を削減（圧縮）する処理の一例を模式的に示している。なお、以下の説明においては、説明を容易にするため、人工衛星ＡＳの移動方向、および撮像装置１０の撮像方向は一定の方向であるものとする。
Therefore, in the moving image transmission system 1, the moving image transmitting device 100 obtains image data of each frame of the moving image captured by the moving image device 10 based on the information of the position of the artificial satellite AS and the imaging direction of the imaging device 10. Is processed and then transmitted to the ground station GS. FIG. 3 schematically shows an example of a process in which the moving image transmitting device 100 reduces (compresses) the amount of data in each frame of the moving image. In the following description, for the sake of simplicity, the moving direction of the artificial satellite AS and the imaging direction of the imaging device 10 are assumed to be constant directions.
最初に、動画像送信装置１００は、人工衛星ＡＳが位置Ｐ１に位置しているときに撮像装置１０が図３の左側の上段に示した撮像範囲Ｒ１を撮像したフレームＦ１（図３の左側の中段参照）を取得する。そして、動画像送信装置１００は、取得したフレームＦ１に対応する画像データが含まれる伝送データＤ１（図３の左側の下段参照）を動画像受信装置２００に送信する。言い換えれば、動画像送信装置１００は、最初の１つのフレームの画像データは、処理をせずにそのまま動画像受信装置２００に送信する。
First, the moving image transmitting device 100 receives a frame F1 (on the left side of FIG. 3) in which the imaging device 10 images the imaging range R1 shown in the upper left part of FIG. 3 when the artificial satellite AS is located at the position P1. (See middle row) is acquired. Then, the moving image transmitting device 100 transmits the transmission data D1 (see the lower part on the left side of FIG. 3) including the image data corresponding to the acquired frame F1 to the moving image receiving device 200. In other words, the moving image transmitting device 100 transmits the image data of the first frame to the moving image receiving device 200 as it is without processing.
その後、動画像送信装置１００は、人工衛星ＡＳが移動して位置Ｐ２に位置しているときに撮像装置１０が図３の中側の上段に示した撮像範囲Ｒ２を撮像したフレームＦ２（図３の中側の中段参照）を取得する。そして、動画像送信装置１００は、前回取得したフレームＦ１と今回取得したフレームＦ２との差分を抽出する。つまり、動画像送信装置１００は、人工衛星ＡＳの移動に伴ってフレームＦ１とフレームＦ２との間で変化した部分の画像データを抽出する。人工衛星ＡＳの移動に伴ってフレームＦ１とフレームＦ２との間で変化した部分の画像データは、特許請求の範囲における「第３画像データ」の一例である。
After that, the moving image transmitting device 100 captures the frame F2 (FIG. 3) in which the imaging device 10 images the imaging range R2 shown in the upper middle of FIG. 3 when the artificial satellite AS moves and is located at the position P2. (Refer to the middle row on the middle side). Then, the moving image transmitting device 100 extracts the difference between the frame F1 acquired last time and the frame F2 acquired this time. That is, the moving image transmitting device 100 extracts the image data of the portion changed between the frame F1 and the frame F2 due to the movement of the artificial satellite AS. The image data of the portion changed between the frame F1 and the frame F2 due to the movement of the artificial satellite AS is an example of the "third image data" in the claims.
動画像送信装置１００は、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、人工衛星ＡＳの移動量ｍを求めてもよい。人工衛星ＡＳの移動量ｍは、例えば、人工衛星ＡＳの位置の差分や、撮像装置１０の撮像方向の差分から求めることができる。ここで、人工衛星ＡＳは、上述したように一定の速度ｖで地球の上空を移動している。このため、所定の時間ｔの間に人工衛星ＡＳが移動する移動量ｍは、下式（１）により求めることもできる。
The moving image transmitting device 100 may obtain the movement amount m of the artificial satellite AS based on the information of the position of the artificial satellite AS and the imaging direction of the imaging device 10. The movement amount m of the artificial satellite AS can be obtained from, for example, the difference in the position of the artificial satellite AS and the difference in the imaging direction of the imaging device 10. Here, the artificial satellite AS is moving over the earth at a constant velocity v as described above. Therefore, the amount of movement m that the artificial satellite AS moves during the predetermined time t can also be obtained by the following equation (1).
ｍ＝ｖ×Δｔ ・・・（１）
m = v × Δt ・ ・ ・ (1)
また、撮像装置１０は、予め定めたフレームレートでそれぞれのフレームを撮像する。つまり、撮像装置１０が動画像のそれぞれのフレームを撮像する間隔は一定である。そして、上述したように、撮像装置１０が動画像のそれぞれのフレームを撮像する間に人工衛星ＡＳが移動する移動量ｍも一定である。このため、撮像装置１０の撮像方向が一定の方向である場合には、人工衛星ＡＳの移動に伴って撮像装置１０が撮像する動画像における画角の移動量も一定である。言い換えれば、撮像装置１０の撮像方向が一定の方向である場合、動画像における画角の移動量は、人工衛星ＡＳの移動量ｍに相当する。以下の説明においては、動画像における画角の移動量も含めて、「人工衛星ＡＳの移動量ｍ」という。なお、人工衛星ＡＳは、上述したように地球の上空の所定の軌道を周回しながら移動しているが、地球も一定の速度で回転している、つまり、自転している。このため、動画像送信装置１００は、上式（１）から求めた移動量ｍに地球の自転による補正を加えた移動量を、最終的な人工衛星ＡＳの移動量ｍとしてもよい。
Further, the image pickup apparatus 10 images each frame at a predetermined frame rate. That is, the interval at which the imaging device 10 images each frame of the moving image is constant. Then, as described above, the amount of movement m that the artificial satellite AS moves while the imaging device 10 images each frame of the moving image is also constant. Therefore, when the imaging direction of the imaging device 10 is a constant direction, the amount of movement of the angle of view in the moving image captured by the imaging device 10 with the movement of the artificial satellite AS is also constant. In other words, when the imaging direction of the imaging device 10 is a constant direction, the amount of movement of the angle of view in the moving image corresponds to the amount of movement m of the artificial satellite AS. In the following description, it is referred to as "movement amount m of artificial satellite AS" including the movement amount of the angle of view in the moving image. As described above, the artificial satellite AS is moving while orbiting a predetermined orbit over the earth, but the earth is also rotating at a constant speed, that is, it is rotating. Therefore, the moving image transmitting device 100 may use the moving amount m obtained from the above equation (1) plus the correction due to the rotation of the earth as the moving amount m of the final artificial satellite AS.
動画像送信装置１００は、人工衛星ＡＳの移動量ｍに対応した範囲の画像データを、前回取得したフレームＦ１と今回取得したフレームＦ２との差分の画像データとして抽出する。言い換えれば、動画像送信装置１００は、フレームＦ１とフレームＦ２とで被写体像が重複しない部分（以下、「非重複部分」という）の画像データを抽出する。そして、動画像送信装置１００は、抽出した非重複部分の画像データをフレームＦ２に対応する画像データとし、このフレームＦ２に対応する画像データが含まれる伝送データＤ２（図３の中側の下段参照）を動画像受信装置２００に送信する。つまり、動画像送信装置１００は、フレームＦ１とフレームＦ２との間で変化した部分の画像データのみを動画像受信装置２００に送信する。
The moving image transmitting device 100 extracts the image data in the range corresponding to the movement amount m of the artificial satellite AS as the image data of the difference between the frame F1 acquired last time and the frame F2 acquired this time. In other words, the moving image transmitting device 100 extracts image data of a portion where the subject images do not overlap between the frame F1 and the frame F2 (hereinafter, referred to as “non-overlapping portion”). Then, the moving image transmitting device 100 uses the extracted non-overlapping image data as the image data corresponding to the frame F2, and the transmission data D2 including the image data corresponding to the frame F2 (see the lower part in the middle of FIG. 3). ) Is transmitted to the moving image receiving device 200. That is, the moving image transmitting device 100 transmits only the image data of the portion changed between the frame F1 and the frame F2 to the moving image receiving device 200.
さらにその後、動画像送信装置１００は、人工衛星ＡＳが移動して位置Ｐ３に位置しているときに撮像装置１０が図３の右側の上段に示した撮像範囲Ｒ３を撮像したフレームＦ３（図３の右側の中段参照）を取得すると、前回取得したフレームＦ２のときと同様に、フレームＦ２と今回取得したフレームＦ３とにおける非重複部分の画像データを抽出する。そして、動画像送信装置１００は、抽出した非重複部分の画像データがフレームＦ３に対応する画像データとして含まれる伝送データＤ３（図３の右側の下段参照）を動画像受信装置２００に送信する。
After that, the moving image transmitting device 100 captures the frame F3 (FIG. 3) in which the imaging device 10 images the imaging range R3 shown in the upper right part of FIG. 3 when the artificial satellite AS moves and is located at the position P3. When the middle row on the right side of the above is acquired, the image data of the non-overlapping portion in the frame F2 and the frame F3 acquired this time is extracted in the same manner as in the case of the frame F2 acquired last time. Then, the moving image transmitting device 100 transmits the transmission data D3 (see the lower part on the right side of FIG. 3) in which the extracted non-overlapping image data is included as the image data corresponding to the frame F3 to the moving image receiving device 200.
このようにして、動画像送信装置１００は、撮像装置１０から動画像のそれぞれのフレームＦを取得するごとに、前回取得したフレームＦと今回取得したフレームＦとの間で被写体像が重複しない非重複部分の画像データを抽出することによって、それぞれのフレームＦのデータ量を削減（圧縮）させる。そして、動画像送信装置１００は、データ量を削減（圧縮）させたフレームＦに対応する画像データが含まれる伝送データＤを、動画像受信装置２００に送信する。
In this way, each time the moving image transmitting device 100 acquires each frame F of the moving image from the imaging device 10, the subject image does not overlap between the previously acquired frame F and the currently acquired frame F. By extracting the image data of the overlapping portion, the amount of data in each frame F is reduced (compressed). Then, the moving image transmitting device 100 transmits the transmission data D including the image data corresponding to the frame F in which the amount of data is reduced (compressed) to the moving image receiving device 200.
そして、動画像伝送システム１では、動画像受信装置２００が、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームＦの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームＦを再現させる。図４には、動画像受信装置２００が動画像のそれぞれのフレームの画像データを再現させる処理の一例を模式的に示している。
Then, in the moving image transmission system 1, the moving image receiving device 200 is equipped with the artificial satellite AS from the image data of each frame F transmitted with the data amount reduced (compressed) by the moving image transmitting device 100. Each frame F of the moving image captured by the imaging device 10 is reproduced. FIG. 4 schematically shows an example of a process in which the moving image receiving device 200 reproduces the image data of each frame of the moving image.
最初に、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ１（図４の左側の上段参照）を受信すると、受信した伝送データＤ１に含まれるフレームＦ１（図４の左側の下段参照）の画像データを保存する。つまり、動画像受信装置２００は、動画像送信装置１００によりそのまま送信されてきた最初の１つのフレームの画像データは、処理をせずにそのまま保存する。これにより、動画像受信装置２００では、人工衛星ＡＳが位置Ｐ１に位置しているときに撮像範囲Ｒ１（図３の左側の上段参照）を撮像したフレームＦ１（図３の左側の中段参照）が再現される。
First, when the moving image receiving device 200 receives the transmission data D1 (see the upper part on the left side of FIG. 4) transmitted by the moving image transmitting device 100, the moving image receiving device 200 receives the frame F1 (left side of FIG. 4) included in the received transmission data D1. Save the image data (see the bottom row). That is, the moving image receiving device 200 stores the image data of the first frame transmitted as it is by the moving image transmitting device 100 as it is without processing. As a result, in the moving image receiving device 200, the frame F1 (see the middle row on the left side of FIG. 3) that images the imaging range R1 (see the upper row on the left side of FIG. 3) when the artificial satellite AS is located at the position P1 It will be reproduced.
その後、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ２（図４の中側の上段参照）を受信すると、保存しているフレームＦ１から抽出した画像データと、受信した伝送データＤ２に含まれるフレームＦ２に対応する画像データとを合わせた合成フレーム（図４の中側の下段＝フレームＦ２参照）を生成する。なお、動画像受信装置２００が合成するために保存しているフレームＦ１から抽出する画像データは、すでに再現させている撮像装置１０により撮像されたフレームＦ１と、撮像装置１０が次に撮像したフレームＦ２とが重複部分する部分（人工衛星ＡＳの移動量ｍに伴って被写体像が変化していない範囲）の画像データに相当するものである。また、前回再現させたフレームＦ１と今回受信したフレームＦ２に対応する画像データとを合成した合成フレームは、人工衛星ＡＳが移動して位置Ｐ２に位置しているときに撮像装置１０が撮像範囲Ｒ２（図３の中側の上段参照）を撮像したフレームＦ２（図３の中側の中段参照）を再現させたフレームである。動画像受信装置２００は、再現させたフレームＦ２を、再現させたフレームＦ１と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。
After that, when the moving image receiving device 200 receives the transmission data D2 (see the upper part in the middle of FIG. 4) transmitted by the moving image transmitting device 100, the moving image receiving device 200 receives the image data extracted from the stored frame F1. A composite frame (see the lower middle part of FIG. 4 = frame F2) is generated by combining the image data corresponding to the frame F2 included in the transmission data D2. The image data extracted from the frame F1 stored for synthesis by the moving image receiving device 200 includes the frame F1 imaged by the image pickup device 10 already reproduced and the frame imaged next by the image pickup device 10. It corresponds to the image data of the portion overlapping with F2 (the range in which the subject image does not change with the movement amount m of the artificial satellite AS). Further, in the composite frame obtained by synthesizing the frame F1 reproduced last time and the image data corresponding to the frame F2 received this time, the image pickup device 10 moves the image pickup range R2 when the artificial satellite AS moves and is located at the position P2. This is a frame that reproduces the frame F2 (see the middle row on the middle side of FIG. 3) that is an image of (see the upper row on the middle side of FIG. 3). The moving image receiving device 200 stores the reproduced frame F2 as a frame used for reproducing the frame of the next transmitted moving image in the same manner as the reproduced frame F1.
さらにその後、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ３（図４の右側の上段参照）を受信すると、前回再現させたフレームＦ２のときと同様に、保存しているフレームＦ２から抽出した画像データと、受信した伝送データＤ３に含まれるフレームＦ３に対応する画像データとを合わせた合成フレーム（図４の右側の下段＝フレームＦ３参照）を生成する。これにより、動画像受信装置２００は、人工衛星ＡＳが移動して位置Ｐ３に位置しているときに撮像装置１０が撮像範囲Ｒ３（図３の右側の上段参照）を撮像したフレームＦ３（図３の右側の中段参照）を再現させる。動画像受信装置２００は、再現させたフレームＦ３を、再現させたフレームＦ２と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。
After that, when the moving image receiving device 200 receives the transmission data D3 (see the upper part on the right side of FIG. 4) transmitted by the moving image transmitting device 100, the moving image receiving device 200 saves the transmission data D3 as in the case of the previously reproduced frame F2. A composite frame (see the lower part on the right side of FIG. 4 = frame F3) is generated by combining the image data extracted from the existing frame F2 and the image data corresponding to the frame F3 included in the received transmission data D3. As a result, in the moving image receiving device 200, the frame F3 (see the upper part on the right side of FIG. 3) in which the imaging device 10 images the imaging range R3 (see the upper part on the right side of FIG. 3) when the artificial satellite AS moves and is located at the position P3 (FIG. 3). (See the middle row on the right side of) is reproduced. The moving image receiving device 200 saves the reproduced frame F3 as a frame used for reproducing the frame of the next transmitted moving image in the same manner as the reproduced frame F2.
このようにして、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤを受信するごとに、前回生成して保存している合成フレームの画像データに、今回受信した伝送データＤに含まれるそれぞれのフレームＦの画像データを合わせることにより、撮像装置１０により撮像された動画像のそれぞれのフレームＦを再現させる。
In this way, each time the moving image receiving device 200 receives the transmission data D transmitted by the moving image transmitting device 100, the transmission data received this time is added to the image data of the composite frame previously generated and saved. By combining the image data of each frame F included in D, each frame F of the moving image captured by the imaging device 10 is reproduced.
このようにして、動画像伝送システム１では、撮像装置１０により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減（圧縮）させて伝送する。これにより、動画像伝送システム１では、動画像送信装置１００と動画像受信装置２００との間で行う動画像の伝送における負荷を軽減し、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。
In this way, in the moving image transmission system 1, the image data of the first frame in the moving image captured by the imaging device 10 is transmitted as it is without processing, but the image data of the subsequent frames has a data amount. It is reduced (compressed) and transmitted. As a result, in the moving image transmission system 1, the load in the moving image transmission performed between the moving image transmitting device 100 and the moving image receiving device 200 is reduced, and the number of pixels of the imaging device 10 mounted on the artificial satellite AS is increased. Realization can be facilitated.
［動画像送信装置１００の構成および動作］
以下、動画像送信装置１００の構成について説明する。図５は、第１実施形態に係る動画像送信装置１００の構成の一例を示す図である。図５に示した動画像送信装置１００は、例えば、画像取得部１０１と、情報取得部１０２と、位置合わせ部１０３と、差分識別部１０４と、画像データ抽出部１０５と、通信部１０６と、を備える。なお、図５には、動画像送信装置１００に関連する構成要素である撮像装置１０、センサ２０、およびアンテナ３０も併せて示している。
[Configuration and operation of moving image transmitting device 100]
Hereinafter, the configuration of the moving image transmitting device 100 will be described. FIG. 5 is a diagram showing an example of the configuration of the moving image transmitting device 100 according to the first embodiment. The moving image transmitting device 100 shown in FIG. 5 includes, for example, an image acquisition unit 101, an information acquisition unit 102, an alignment unit 103, a difference identification unit 104, an image data extraction unit 105, and a communication unit 106. To be equipped. Note that FIG. 5 also shows an image pickup device 10, a sensor 20, and an antenna 30, which are components related to the moving image transmission device 100.
動画像送信装置１００の構成要素の機能のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納（インストール）されていてもよいし、地上局ＧＳが備えるコンピュータ装置などからアンテナ３０およびアンテナ４０を介した無線通信によってダウンロードされて記憶装置にインストールされてもよい。
Some or all of the functions of the components of the moving image transmitting device 100 are realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software). In addition, some or all of these components are hardware (circuits) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). It may be realized by (including a circuit) or the like, or it may be realized by the cooperation of software and hardware. Further, some or all of these components may be realized by a dedicated LSI. The program (software) may be stored (installed) in advance in a storage device (a storage device including a non-transient storage medium) such as an HDD (Hard Disk Drive) or a flash memory, or is provided in the ground station GS. It may be downloaded from a computer device or the like by wireless communication via the antenna 30 and the antenna 40 and installed in the storage device.
画像取得部１０１は、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを順次取得する。画像取得部１０１は、取得したそれぞれのフレームの画像データを、位置合わせ部１０３に順次出力する。
The image acquisition unit 101 sequentially acquires image data of each frame of the moving image captured by the image pickup device 10. The image acquisition unit 101 sequentially outputs the acquired image data of each frame to the alignment unit 103.
情報取得部１０２は、センサ２０により出力されたそれぞれの情報を取得することにより、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得する。人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報は、後述する動画像送信装置１００の構成要素において撮像装置１０により撮像された動画像を構成する連続した２つのフレーム間のずれを判別するために用いる情報である。人工衛星ＡＳの位置は、例えば、センサ２０が備えるＧＰＳなどの位置センサの出力により得ることができる。また、撮像装置１０の撮像方向は、例えば、センサ２０により出力された、撮像装置１０が取り付けられた可変機構における向きの制御量により得ることができる。情報取得部１０２は、取得した人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を、位置合わせ部１０３に出力する。
The information acquisition unit 102 acquires information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 by acquiring the respective information output by the sensor 20. The information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 determines the deviation between two consecutive frames constituting the moving image captured by the imaging device 10 in the components of the moving image transmitting device 100 described later. Information used for this purpose. The position of the artificial satellite AS can be obtained, for example, by the output of a position sensor such as GPS included in the sensor 20. Further, the imaging direction of the imaging device 10 can be obtained, for example, by the amount of control of the orientation in the variable mechanism to which the imaging device 10 is attached, which is output by the sensor 20. The information acquisition unit 102 outputs the acquired information on the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 to the alignment unit 103.
なお、情報取得部１０２は、取得した人工衛星ＡＳの位置の差分や、撮像装置１０の撮像方向の差分の情報に基づいて、人工衛星ＡＳの移動量や姿勢の変更量を求め、求めた移動量や姿勢の変更量の情報を、位置合わせ部１０３に出力するようにしてもよい。また、情報取得部１０２は、例えば、センサ２０が備える速度センサが検出した人工衛星ＡＳの速度と、撮像装置１０が動画像を撮像するフレームレート（それぞれのフレームを撮像する間隔の時間）との情報を取得し、上式（１）により求めた人工衛星ＡＳの移動量ｍを、位置合わせ部１０３に出力してもよい。このとき、情報取得部１０２は、上式（１）により求めた移動量ｍに地球の自転による補正を加えた移動量を、最終的な人工衛星ＡＳの移動量として位置合わせ部１０３に出力してもよい。また、情報取得部１０２は、例えば、撮像装置１０が取り付けられた可変機構における撮像装置１０の向きの制御量の差分や、センサ２０が備える姿勢センサが検出した人工衛星ＡＳの姿勢（撮像装置１０の撮像方向に相当）の差分を、人工衛星ＡＳの姿勢の変更量をして位置合わせ部１０３に出力してもよい。
The information acquisition unit 102 obtains the movement amount and the change amount of the posture of the artificial satellite AS based on the information of the difference in the position of the acquired artificial satellite AS and the difference in the imaging direction of the imaging device 10, and obtains the movement. Information on the amount and the amount of change in posture may be output to the alignment unit 103. Further, the information acquisition unit 102 determines, for example, the speed of the artificial satellite AS detected by the speed sensor included in the sensor 20 and the frame rate at which the image pickup device 10 captures a moving image (time of the interval at which each frame is captured). The information may be acquired and the movement amount m of the artificial satellite AS obtained by the above equation (1) may be output to the alignment unit 103. At this time, the information acquisition unit 102 outputs to the alignment unit 103 the movement amount obtained by adding the correction due to the rotation of the earth to the movement amount m obtained by the above equation (1) as the movement amount of the final artificial satellite AS. You may. Further, the information acquisition unit 102 may, for example, determine the difference in the amount of control of the orientation of the image pickup device 10 in the variable mechanism to which the image pickup device 10 is attached, or the attitude of the artificial satellite AS detected by the attitude sensor included in the sensor 20 (imaging device 10). The difference (corresponding to the imaging direction of) may be output to the alignment unit 103 by changing the posture of the artificial satellite AS.
位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された動画像を構成する連続した２つのフレームに写された同じ主要被写体の被写体像の位置を合わせる。主要被写体としては、例えば、地球表面に存在する陸地などがある。位置合わせ部１０３における位置合わせの方法としては、例えば、情報取得部１０２により出力された人工衛星ＡＳの位置の差分、および撮像装置１０の撮像方向の差分に基づいて、人工衛星ＡＳの移動量や姿勢の変更量を求め、２つのフレームのうちいずれか一方のフレームを求めた人工衛星ＡＳの移動量や姿勢の変更量の分だけ移動させる手法がある。また、位置合わせ部１０３は、位置合わせの方法として、例えば、パターンマッチングの手法を用いてもよい。この場合、位置合わせ部１０３は、例えば、陸地の形（地形）をパターンマッチングすることにより、２つのフレームの位置合わせをする。位置合わせ部１０３は、主要被写体の位置を合わせた情報、言い換えれば、２つのフレームのずれ量を表す情報を、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、差分識別部１０４に出力する。また、位置合わせ部１０３は、位置合わせを行った２つのフレームの画像データを、差分識別部１０４に出力する。
The alignment unit 103 is composed of two consecutive frames forming a moving image output by the image acquisition unit 101 based on the information of the position of the artificial satellite AS output by the information acquisition unit 102 and the image pickup direction of the image pickup device 10. Align the subject image of the same main subject in. The main subject is, for example, land existing on the surface of the earth. As a method of alignment in the alignment unit 103, for example, the movement amount of the artificial satellite AS or the movement amount of the artificial satellite AS based on the difference in the position of the artificial satellite AS output by the information acquisition unit 102 and the difference in the imaging direction of the imaging device 10 There is a method of obtaining the amount of change in posture and moving one of the two frames by the amount of movement of the artificial satellite AS or the amount of change in posture. Further, the alignment unit 103 may use, for example, a pattern matching method as the alignment method. In this case, the alignment unit 103 aligns the two frames by pattern matching the shape (terrain) of the land, for example. The alignment unit 103 outputs information that aligns the positions of the main subjects, in other words, information that represents the amount of deviation between the two frames, in terms of the position of the artificial satellite AS output by the information acquisition unit 102 and the imaging direction of the imaging device 10. It is output to the difference identification unit 104 together with the information. Further, the alignment unit 103 outputs the image data of the two aligned frames to the difference identification unit 104.
なお、位置合わせ部１０３は、画像取得部１０１により出力された、撮像装置１０により時間的に前に撮像されたフレーム（以下、「前フレーム」という）に写された被写体像と、撮像装置１０により時間的に後に撮像された現在のフレーム（以下、「現在フレーム」という）に写された被写体像との位置を合わせる。このため、位置合わせ部１０３は、例えば、画像取得部１０１により出力された現在フレームよりも少なくとも１つ前の前フレームの画像データを一時的に保存する画像データ保存部（不図示）を備えている。例えば、図３の中側の中段に示した一例では、位置合わせ部１０３が、画像取得部１０１により出力された現在フレームであるフレームＦ２と、フレームＦ２よりも１つ前に画像取得部１０１により出力されて不図示の画像データ保存部に保存されている前フレームであるフレームＦ１とのそれぞれに写された日本の「北海道」と「東北地方の一部」の位置を合わせている。なお、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部１０３において位置合わせに使用しなくなると順次破棄され、新たなフレームの画像データに順次置き換えられる。言い換えれば、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部１０３において次の位置合わせに使用する前フレーム（例えば、画像取得部１０１により現在出力された現在フレーム）の画像データに順次更新される。
The alignment unit 103 includes a subject image output by the image acquisition unit 101 and captured on a frame (hereinafter, referred to as “previous frame”) imaged in time by the image pickup device 10 and the image pickup device 10. Aligns with the subject image captured in the current frame (hereinafter referred to as the "current frame") imaged later in time. Therefore, the alignment unit 103 includes, for example, an image data storage unit (not shown) that temporarily stores the image data of the previous frame at least one before the current frame output by the image acquisition unit 101. There is. For example, in the example shown in the middle of FIG. 3, the alignment unit 103 is the current frame output by the image acquisition unit 101, which is the frame F2, and the image acquisition unit 101 is one before the frame F2. The positions of "Hokkaido" and "a part of the Tohoku region" of Japan, which are output and copied to the frame F1 which is the previous frame stored in the image data storage unit (not shown), are aligned. The image data of the previous frame stored in the image data storage unit (not shown) is sequentially discarded when it is no longer used for alignment in the alignment unit 103, and is sequentially replaced with the image data of a new frame. In other words, the image data of the previous frame stored in the image data storage unit (not shown) is the previous frame used for the next alignment in the alignment unit 103 (for example, the current frame currently output by the image acquisition unit 101). ) Is updated sequentially with the image data.
差分識別部１０４は、位置合わせ部１０３により出力された２つのフレーム（前フレームおよび現在フレーム）の画像データにおける差分を識別する。差分識別部１０４は、位置合わせ部１０３により出力された主要被写体の位置を合わせた情報に基づいて２つのフレームに写された主要被写体の位置が合わされた状態で、現在フレームにおける前フレームからの変化を識別する。つまり、差分識別部１０４は、人工衛星ＡＳが移動したことにより２つのフレーム間でずれた部分（２つのフレームにおける非重複部分）の画像データの範囲を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報を、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、画像データ抽出部１０５に出力する。また、差分識別部１０４は、位置合わせ部１０３により出力された２つのフレームの画像データのうち、現在フレームの画像データを、画像データ抽出部１０５に出力する。
The difference identification unit 104 identifies the difference in the image data of the two frames (previous frame and current frame) output by the alignment unit 103. The difference identification unit 104 changes the position of the main subject in the current frame from the previous frame in a state where the positions of the main subjects captured in the two frames are aligned based on the information output by the alignment unit 103 for aligning the positions of the main subjects. To identify. That is, the difference identification unit 104 identifies the range of image data of the portion shifted between the two frames (non-overlapping portion in the two frames) due to the movement of the artificial satellite AS. The difference identification unit 104 displays information representing the range of image data of the identified non-overlapping portion together with information on the position of the artificial satellite AS output by the alignment unit 103 and the image pickup direction of the image pickup device 10 together with the image data extraction unit 105. Output to. Further, the difference identification unit 104 outputs the image data of the current frame out of the image data of the two frames output by the alignment unit 103 to the image data extraction unit 105.
なお、差分識別部１０４は、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、２つのフレームにおける非重複部分の画像データの範囲を識別する構成であってもよい。この場合、差分識別部１０４は、例えば、２つのフレームの撮像時の人工衛星ＡＳの位置の差分、および撮像装置１０の撮像方向の差分に基づいて求めた人工衛星ＡＳの移動量や姿勢の変更量を、人工衛星ＡＳが移動したことによりずれた２つのフレーム（前フレームおよび現在フレーム）のずれ量とし、このずれ量に対応する画像データの範囲を非重複部分の画像データの範囲として識別する構成であってもよい。差分識別部１０４がこのような構成である場合、差分識別部１０４には位置合わせ部１０３における位置合わせの機能を備えているということもできる。従って、差分識別部１０４がこのような位置合わせの機能を備えている構成である場合、動画像送信装置１００は、位置合わせ部１０３を備えない構成にしてもよい。
The difference identification unit 104 identifies the range of image data of the non-overlapping portion in the two frames based on the information of the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 output by the alignment unit 103. It may be. In this case, the difference identification unit 104 changes the movement amount and the attitude of the artificial satellite AS obtained based on, for example, the difference in the positions of the artificial satellite AS at the time of imaging the two frames and the difference in the imaging direction of the imaging device 10. The amount is defined as the amount of deviation between the two frames (previous frame and current frame) displaced due to the movement of the artificial satellite AS, and the range of image data corresponding to this amount of deviation is identified as the range of image data of the non-overlapping portion. It may be a configuration. When the difference identification unit 104 has such a configuration, it can be said that the difference identification unit 104 has a function of alignment in the alignment unit 103. Therefore, when the difference identification unit 104 is configured to have such an alignment function, the moving image transmitting device 100 may be configured not to include the alignment unit 103.
なお、撮像装置１０が時間的に後に撮像して画像取得部１０１が取得した現在フレームには、人工衛星ＡＳの移動に伴って前フレームからずれた非重複部分の画像データの範囲以外（つまり、２つのフレームにおける重複部分）においても、主要被写体以外の被写体像が異なっていることが考えられる。言い換えれば、連続した２つのフレームにおける重複部分にも、フレーム間で差分（変化）があることが考えられる。例えば、地球表面の雲や、航空機、船舶などは、撮像装置１０が撮像する主要被写体である陸地とは異なる被写体ではあるが、動く被写体であるため、これらの被写体が動いた場合には、２つのフレームの重複部分において差分（変化）があることが考えられる。このため、差分識別部１０４は、重複部分においても、フレーム間の差分（変化）を識別する。なお、差分識別部１０４における重複部分内の差分（変化）の識別は、例えば、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術など、既存の技術を用いて行うことができる。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報に加えて、識別した重複部分の差分（変化）を表す情報も、画像データ抽出部１０５に出力する。
It should be noted that the current frame acquired by the image acquisition unit 101 after the image pickup device 10 images the image later in time is outside the range of the image data of the non-overlapping portion shifted from the previous frame due to the movement of the artificial satellite AS (that is,). It is conceivable that the subject images other than the main subject are different even in the overlapping portion) in the two frames. In other words, it is conceivable that there is a difference (change) between the overlapping portions in two consecutive frames. For example, clouds on the earth's surface, aircraft, ships, etc. are subjects different from the land, which is the main subject imaged by the imaging device 10, but are moving subjects. Therefore, if these subjects move, 2 It is conceivable that there is a difference (change) in the overlapping part of one frame. Therefore, the difference identification unit 104 identifies the difference (change) between frames even in the overlapping portion. The difference (change) in the overlapping portion in the difference identification unit 104 can be identified by, for example, MPEG compression processing or H.A. It can be performed by using an existing technique such as a difference extraction technique adopted in a moving image compression process such as 264 compression process. The difference identification unit 104 outputs to the image data extraction unit 105 information indicating the difference (change) of the identified overlapping portion in addition to the information representing the range of the image data of the identified non-overlapping portion.
なお、差分識別部１０４が重複部分内の差分（変化）を識別する方法は、上述した方法に限定されない。差分識別部１０４は、例えば、ＡＩ（Artificial Intelligence；人工知能）などの機能を用いて地球表面の雲などの部分を判別し、判別した部分の動きを認識してもよい。
The method by which the difference identification unit 104 identifies the difference (change) in the overlapping portion is not limited to the above-mentioned method. For example, the difference identification unit 104 may use a function such as AI (Artificial Intelligence) to discriminate a portion such as a cloud on the surface of the earth and recognize the movement of the discriminated portion.
画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、人工衛星ＡＳが移動したことによりずれた部分（非重複部分）の画像データを抽出する。画像データ抽出部１０５は、抽出した非重複部分の画像データを、現在フレームに対応する画像データとして、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。言い換えれば、画像データ抽出部１０５は、人工衛星ＡＳが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減（圧縮）した画像データを、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。画像データ抽出部１０５は、特許請求の範囲における「データ抽出部」の一例である。また、非重複部分の画像データは、特許請求の範囲における「第３画像データ」の一例である。
The image data extraction unit 105 moves the artificial satellite AS from the image data of the current frame output by the difference identification unit 104 based on the information representing the range of the image data of the non-overlapping portion output by the difference identification unit 104. The image data of the part (non-overlapping part) deviated due to the above is extracted. The image data extraction unit 105 uses the extracted image data of the non-overlapping portion as image data corresponding to the current frame together with information on the position of the artificial satellite AS and the image pickup direction of the image pickup device 10 output by the difference identification unit 104. Output to communication unit 106. In other words, the image data extraction unit 105 captures the position and image of the artificial satellite AS by deleting the part where the image data of the current frame does not change even when the artificial satellite AS moves and reducing (compressing) the amount of data. It is output to the communication unit 106 together with the information on the imaging direction of the device 10. The image data extraction unit 105 is an example of a “data extraction unit” within the scope of claims. Further, the image data of the non-overlapping portion is an example of the "third image data" in the claims.
なお、差分識別部１０４により重複部分の差分（変化）を表す情報が出力されている場合、画像データ抽出部１０５は、差分識別部１０４により出力された現在フレームの画像データから重複部分内で差分（変化）がある画像データも抽出し、抽出した非重複部分の画像データに加えて、抽出した重複部分内で差分（変化）がある画像データ（以下、「重複部分内の画像データ」という）とこの画像データの位置を表す情報とを通信部１０６に出力する。なお、画像データ抽出部１０５が通信部１０６に出力する重複部分内の画像データの位置を表す情報は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報であってもよい。重複部分内の画像データは、特許請求の範囲における「第４画像データ」の一例である。
When the difference identification unit 104 outputs information indicating the difference (change) of the overlapping portion, the image data extraction unit 105 makes a difference within the overlapping portion from the image data of the current frame output by the difference identification unit 104. Image data with (change) is also extracted, and in addition to the extracted image data of the non-overlapping part, image data with a difference (change) in the extracted overlapping part (hereinafter referred to as "image data in the overlapping part"). And the information indicating the position of the image data are output to the communication unit 106. The information indicating the position of the image data in the overlapping portion output by the image data extraction unit 105 to the communication unit 106 may be information representing the difference (change) of the overlapping portion output by the difference identification unit 104. .. The image data in the overlapping portion is an example of the "fourth image data" in the claims.
通信部１０６は、画像データ抽出部１０５により出力された現在フレームに対応する画像データと人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを対応付けて動画像受信装置２００に送信するための伝送データを生成する。なお、画像データ抽出部１０５により重複部分内の画像データとこの画像データの位置を表す情報とが出力されている場合、通信部１０６は、これらデータや情報を含めた伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力し、アンテナ３０に、出力した伝送データに対応する無線信号の電波を動画像受信装置２００に向けて送出させる。通信部１０６は、特許請求の範囲における「送信部」の一例である。
The communication unit 106 transmits the image data corresponding to the current frame output by the image data extraction unit 105 to the moving image receiving device 200 in association with the information on the position of the artificial satellite AS and the image pickup direction of the image pickup device 10. Generate the transmission data of. When the image data extraction unit 105 outputs the image data in the overlapping portion and the information indicating the position of the image data, the communication unit 106 generates the transmission data including these data and the information. Then, the communication unit 106 outputs the generated transmission data to the antenna 30, and causes the antenna 30 to transmit the radio wave of the radio signal corresponding to the output transmission data toward the moving image receiving device 200. The communication unit 106 is an example of a “transmission unit” in the claims.
なお、人工衛星ＡＳと地上局ＧＳとの間の無線通信は、常に良好に行われるとは限らない。例えば、人工衛星ＡＳの位置が、地上に設置された地上局ＧＳから見て地球の反対側である場合には、人工衛星ＡＳにより送出された無線信号の電波を地上局ＧＳにおいて受信することができない。このため、通信部１０６は、例えば、生成した伝送データが地上局ＧＳに送信されるまで一時的に保存する伝送データ保存部（不図示）を備えている。なお、不図示の伝送データ保存部に保存されている伝送データは、対応する無線信号の電波がアンテナ３０を介して送出され、地上局ＧＳによって受信されると順次破棄される。
It should be noted that wireless communication between the artificial satellite AS and the ground station GS is not always performed well. For example, when the position of the artificial satellite AS is on the opposite side of the earth from the ground station GS installed on the ground, the radio signal of the radio signal transmitted by the artificial satellite AS may be received by the ground station GS. Can not. Therefore, the communication unit 106 includes, for example, a transmission data storage unit (not shown) that temporarily stores the generated transmission data until it is transmitted to the ground station GS. The transmission data stored in the transmission data storage unit (not shown) is sequentially discarded when the radio wave of the corresponding radio signal is transmitted via the antenna 30 and received by the ground station GS.
以下、動画像送信装置１００の動作について説明する。図６は、第１実施形態に係る動画像送信装置１００における画像データの送信処理の流れの一例を示すフローチャートである。図６に示したフローチャートの処理は、撮像装置１０が動画像を構成する１つのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに繰り返し実行される。
Hereinafter, the operation of the moving image transmitting device 100 will be described. FIG. 6 is a flowchart showing an example of a flow of image data transmission processing in the moving image transmitting device 100 according to the first embodiment. The processing of the flowchart shown in FIG. 6 is repeatedly executed at predetermined time intervals in which the image pickup apparatus 10 images one frame constituting the moving image, that is, at predetermined time intervals of the frame rate.
なお、以下の説明においては、動画像送信装置１００において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する画像データはすでに動画像受信装置２００に送信済みの状態である、つまり、動画像送信装置１００内に、前フレームの画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図６に示したフローチャートの説明では、動画像送信装置１００が、撮像装置１０により以降に撮像されたフレーム（現在フレーム）の画像データを動画像受信装置２００に送信する場合の動作を説明する。
In the following description, in the moving image transmitting device 100, the image data corresponding to the frame (previous frame) imaged earlier in time by the imaging device 10 has already been transmitted to the moving image receiving device 200. That is, it is assumed that the image data of the previous frame is stored in the moving image transmitting device 100, for example, in an image data storage unit (not shown). Then, in the explanation of the flowchart shown in FIG. 6, the operation when the moving image transmitting device 100 transmits the image data of the frame (current frame) imaged thereafter by the imaging device 10 to the moving image receiving device 200 will be described. To do.
撮像装置１０が時間的に後のフレームを撮像すると、画像取得部１０１は、撮像装置１０により出力された現在フレームの画像データを取得する（ステップＳ１００）。そして、画像取得部１０１は、取得した現在フレームの画像データを、位置合わせ部１０３に出力する。
When the image pickup apparatus 10 images a later frame in time, the image acquisition unit 101 acquires the image data of the current frame output by the image pickup apparatus 10 (step S100). Then, the image acquisition unit 101 outputs the acquired image data of the current frame to the alignment unit 103.
続いて、情報取得部１０２は、センサ２０により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を取得する（ステップＳ１０１）。そして、情報取得部１０２は、取得した人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報を、位置合わせ部１０３に出力する。
Subsequently, the information acquisition unit 102 acquires information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 based on the respective information output by the sensor 20 (step S101). Then, the information acquisition unit 102 outputs the acquired information on the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 to the alignment unit 103.
続いて、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された現在フレームに写された主要被写体と、不図示の画像データ保存部に保存している前フレームに写された同じ主要被写体との位置を合わせる（ステップＳ１０２）。そして、位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、前フレームおよび現在フレームの画像データとを、差分識別部１０４に出力する。また、位置合わせ部１０３は、現在フレームの画像データを、不図示の画像データ保存部に保存（前フレームの更新であってもよい）する。
Subsequently, the alignment unit 103 is mainly copied to the current frame output by the image acquisition unit 101 based on the information on the position of the artificial satellite AS output by the information acquisition unit 102 and the imaging direction of the image pickup device 10. The position of the subject and the same main subject captured in the previous frame stored in the image data storage unit (not shown) are aligned (step S102). Then, the alignment unit 103 includes information on the alignment of the main subject, information on the position of the artificial satellite AS output by the information acquisition unit 102, information on the imaging direction of the imaging device 10, and image data of the previous frame and the current frame. Is output to the difference identification unit 104. Further, the alignment unit 103 saves the image data of the current frame in an image data storage unit (not shown) (may be an update of the previous frame).
続いて、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける差分を識別する（ステップＳ１０３）。より具体的には、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける重複部分内の差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、現在フレームの画像データとを、画像データ抽出部１０５に出力する。
Subsequently, the difference identification unit 104 identifies the difference in the image data between the previous frame and the current frame output by the alignment unit 103 (step S103). More specifically, the difference identification unit 104 identifies the difference between the non-overlapping portions in the image data between the previous frame and the current frame output by the alignment unit 103. Further, the difference identification unit 104 identifies the difference (change) in the overlapping portion in the image data between the previous frame and the current frame output by the alignment unit 103. The difference identification unit 104 includes information indicating the range of image data of the identified non-overlapping portion, information indicating the difference (change) of the identified overlapping portion, and the position and imaging of the artificial satellite AS output by the alignment unit 103. The information on the imaging direction of the device 10 and the image data of the current frame are output to the image data extraction unit 105.
続いて、画像データ抽出部１０５は、差分識別部１０４により出力された情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、動画像受信装置２００に送信する現在フレームの画像データを抽出する（ステップＳ１０４）。より具体的には、画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部１０５は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した現在フレームにおける非重複部分の画像データと、抽出した現在フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、通信部１０６に出力する。
Subsequently, the image data extraction unit 105 transmits the image of the current frame to the moving image receiving device 200 from the image data of the current frame output by the difference identification unit 104 based on the information output by the difference identification unit 104. Data is extracted (step S104). More specifically, the image data extraction unit 105 is based on the information representing the range of the image data of the non-overlapping portion output by the difference identification unit 104, from the image data of the current frame output by the difference identification unit 104. , Extract the image data of the non-overlapping part. Further, the image data extraction unit 105 is based on the information representing the difference (change) of the overlapping portion output by the difference identification unit 104, from the image data of the current frame output by the difference identification unit 104, within the overlapping portion. Extract image data with a difference (change). The image data extraction unit 105 includes image data of the non-overlapping portion in the extracted current frame, information representing the image data and position in the overlapping portion in the extracted current frame, and the artificial satellite AS output by the difference identification unit 104. Information on the position and the imaging direction of the imaging device 10 is output to the communication unit 106.
続いて、通信部１０６は、画像データ抽出部１０５により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とを含む伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、動画像受信装置２００に送信させる（ステップＳ１０５）。
Subsequently, the communication unit 106 includes the image data of the non-overlapping portion in the current frame output by the image data extraction unit 105, the information representing the image data and the position in the overlapping portion in the current frame, the position of the artificial satellite AS, and the position of the artificial satellite AS. Transmission data including information on the imaging direction of the imaging device 10 is generated. Then, the communication unit 106 outputs the generated transmission data to the antenna 30 and causes the moving image receiving device 200 to transmit the generated data (step S105).
このような構成および処理によって、人工衛星ＡＳが備える動画像送信装置１００は、撮像装置１０により撮像された動画像のフレームの画像データのデータ量を削減（圧縮）させて、地上局ＧＳ（より具体的には、動画像受信装置２００）に送信する。
With such a configuration and processing, the moving image transmitting device 100 included in the artificial satellite AS reduces (compresses) the amount of image data of the frame of the moving image captured by the imaging device 10, and the ground station GS (more Specifically, it is transmitted to the moving image receiving device 200).
［動画像受信装置２００の構成および動作］
以下、動画像受信装置２００の構成について説明する。図７は、第１実施形態に係る動画像受信装置２００の構成の一例を示す図である。図７に示した動画像受信装置２００は、例えば、通信部２０１と、画像生成部２０２と、画像保存部２０３と、を備える。なお、図７には、動画像受信装置２００に関連する構成要素であるアンテナ４０および表示装置５０も併せて示している。
[Configuration and operation of moving image receiving device 200]
Hereinafter, the configuration of the moving image receiving device 200 will be described. FIG. 7 is a diagram showing an example of the configuration of the moving image receiving device 200 according to the first embodiment. The moving image receiving device 200 shown in FIG. 7 includes, for example, a communication unit 201, an image generation unit 202, and an image storage unit 203. Note that FIG. 7 also shows the antenna 40 and the display device 50, which are components related to the moving image receiving device 200.
動画像受信装置２００の構成要素の機能のうち一部または全部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納（インストール）されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。
Some or all of the functions of the components of the moving image receiving device 200 are realized by, for example, a hardware processor such as a CPU executing a program (software). In addition, some or all of these components may be realized by hardware such as LSI, ASIC, FPGA, GPU (circuit unit; including circuitry), or by collaboration between software and hardware. It may be realized. Further, some or all of these components may be realized by a dedicated LSI. The program (software) may be stored (installed) in a storage device (a storage device including a non-transient storage medium) such as an HDD or a flash memory in advance, or may be detachable such as a DVD or a CD-ROM. It is stored in a storage medium (non-transient storage medium), and may be installed in the storage device by being attached to the drive device. Further, the program (software) may be downloaded in advance from another computer device via the network and installed in the storage device.
通信部２０１は、アンテナ４０が受信した人工衛星ＡＳにより送出された無線信号の電波が表す伝送データを取得する。そして、通信部２０１は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。通信部２０１は、特許請求の範囲における「受信部」の一例である。
The communication unit 201 acquires the transmission data represented by the radio wave of the radio signal transmitted by the artificial satellite AS received by the antenna 40. Then, the communication unit 201 includes image data of the non-overlapping portion in the current frame included in the acquired transmission data, information representing the image data and the position in the overlapping portion in the current frame, the position of the artificial satellite AS, and the imaging device 10. Each of the information on the imaging direction of the above is output to the image generation unit 202. The communication unit 201 is an example of a "reception unit" in the claims.
画像生成部２０２は、通信部２０１により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とに基づいて、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の現在フレームを再現させた合成フレームを生成する。このとき、画像生成部２０２は、まず、画像保存部２０３に保存されている前フレームを再現させた合成フレーム（以下、「既合成フレーム」という）から、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に応じた重複部分の画像データを抽出する。その後、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する。既合成フレームから通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に応じて抽出した重複部分の画像データは、特許請求の範囲における「抽出画像データ」の一例である。
The image generation unit 202 includes image data of the non-overlapping portion in the current frame output by the communication unit 201, information representing the image data and the position in the overlapping portion in the current frame, the position of the artificial satellite AS, and the image pickup device 10. Based on the information of the imaging direction, a composite frame that reproduces the current frame of the moving image captured by the imaging device 10 mounted on the artificial satellite AS is generated. At this time, the image generation unit 202 first first outputs the artificial satellite AS output by the communication unit 201 from the composite frame (hereinafter, referred to as “already composite frame”) that reproduces the previous frame stored in the image storage unit 203. The image data of the overlapping portion is extracted according to the information of the position of the image and the imaging direction of the imaging device 10. After that, the image generation unit 202 combines the extracted image data with the image data of the non-overlapping portion in the current frame output by the communication unit 201 to generate a composite frame that reproduces the current frame. The image data of the overlapping portion extracted according to the position of the artificial satellite AS and the information of the imaging direction of the imaging device 10 output from the existing composite frame by the communication unit 201 is an example of "extracted image data" in the claims. is there.
さらに、画像生成部２０２は、生成した合成フレームに対して、通信部２０１により出力された現在フレームにおける重複部分内の画像データ、つまり、画像データの差分（変化）を反映させる。このとき、画像生成部２０２は、通信部２０１により出力された重複部分内の画像データの位置の情報が表す位置の画像データに対して、差分（変化）を反映させる。この画像データの差分（変化）を反映させた合成フレームが、現在フレームに対応する最終的な合成フレームである。
Further, the image generation unit 202 reflects the image data in the overlapping portion in the current frame output by the communication unit 201, that is, the difference (change) of the image data with respect to the generated composite frame. At this time, the image generation unit 202 reflects the difference (change) with respect to the image data at the position represented by the position information of the image data in the overlapping portion output by the communication unit 201. The composite frame that reflects the difference (change) in the image data is the final composite frame corresponding to the current frame.
なお、画像生成部２０２における重複部分内の画像データに対する差分（変化）の反映は、既存の技術を用いて行うことができる。つまり、画像生成部２０２は、動画像送信装置１００（より具体的には、差分識別部１０４）が重複部分においてフレーム間の差分（変化）を識別する際に用いた、例えば、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術に対応する技術を用いて、生成した合成フレームに対して重複部分内の画像データの差分（変化）を反映させることができる。なお、画像生成部２０２において重複部分内の画像データに差分（変化）を反映させる方法は、例えば、差分識別部１０４と同様のＡＩなどの機能を用いて行う方法であってもよい。
The difference (change) in the image data in the overlapping portion in the image generation unit 202 can be reflected by using the existing technique. That is, the image generation unit 202 is used by the moving image transmission device 100 (more specifically, the difference identification unit 104) to identify the difference (change) between frames in the overlapping portion, for example, MPEG compression processing or H. The difference (change) of the image data in the overlapping portion can be reflected in the generated composite frame by using the technology corresponding to the difference extraction technology adopted in the moving image compression processing such as 264 compression processing. .. The method of reflecting the difference (change) in the image data in the overlapping portion in the image generation unit 202 may be, for example, a method of using a function such as AI similar to that of the difference identification unit 104.
画像生成部２０２は、生成した現在フレームに対応する合成フレームを、撮像装置１０が撮像した動画像の次のフレームを再現させるために用いる既合成フレームとして、画像保存部２０３に保存させる。また、画像生成部２０２は、生成した現在フレームに対応する合成フレームを、表示装置５０に出力する。これにより、表示装置５０は、画像生成部２０２により再現された動画像における現在フレームを表示する。
The image generation unit 202 stores the composite frame corresponding to the generated current frame in the image storage unit 203 as an existing composite frame used to reproduce the next frame of the moving image captured by the image pickup apparatus 10. Further, the image generation unit 202 outputs a composite frame corresponding to the generated current frame to the display device 50. As a result, the display device 50 displays the current frame in the moving image reproduced by the image generation unit 202.
なお、動画像では、撮像装置１０が撮像する動画像のそれぞれのフレームにおける撮像範囲は同一である。このため、画像生成部２０２が通信部２０１により出力された現在フレームにおける非重複部分の画像データを合わせて生成する現在フレームの合成フレームにおける撮像範囲も、撮像装置１０が撮像する動画像のフレームの撮像範囲Ｒと同一である。このため、画像生成部２０２は、合成フレームを生成する際の処理は、上述したような、画像保存部２０３に保存されている前フレームから抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせる処理に限定されない。例えば、画像生成部２０２は、画像保存部２０３に保存されている前フレームの画像データに通信部２０１により出力された現在フレームにおける非重複部分の画像データを合わせて合成した後、撮像装置１０の撮像範囲に対応する範囲を切り出して、合成フレームを生成してもよい。つまり、画像生成部２０２は、撮像装置１０の撮像範囲よりも大きい範囲の合成フレームを仮に生成してから、撮像装置１０の撮像範囲に対応する範囲を切り出すことにより、撮像装置１０の撮像範囲と同じ範囲の合成フレームを生成してもよい。
In the moving image, the imaging range in each frame of the moving image captured by the imaging device 10 is the same. Therefore, the imaging range in the composite frame of the current frame, which is generated by the image generation unit 202 by combining the image data of the non-overlapping portion in the current frame output by the communication unit 201, is also the frame of the moving image captured by the imaging device 10. It is the same as the imaging range R. Therefore, the image generation unit 202 performs the process of generating the composite frame with the image data extracted from the previous frame stored in the image storage unit 203 and the current output by the communication unit 201 as described above. It is not limited to the process of matching with the image data of the non-overlapping part in the frame. For example, the image generation unit 202 combines the image data of the previous frame stored in the image storage unit 203 with the image data of the non-overlapping portion in the current frame output by the communication unit 201, and then synthesizes the image data of the image pickup device 10. A composite frame may be generated by cutting out a range corresponding to the imaging range. That is, the image generation unit 202 temporarily generates a composite frame having a range larger than the image pickup range of the image pickup device 10, and then cuts out a range corresponding to the image pickup range of the image pickup device 10 to obtain the image pickup range of the image pickup device 10. The same range of composite frames may be generated.
画像保存部２０３は、既合成フレームの画像データを保存する。画像保存部２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などの記憶装置（一過性の記憶装置）を含み、既合成フレームの画像データを一時的に保存する。画像保存部２０３に保存されている既合成フレームの画像データは、画像生成部２０２によって、動画像のフレームの再現に用いられなくなると順次破棄され、画像生成部２０２が生成した新たな合成フレームの画像データに順次置き換えられる。つまり、画像保存部２０３に保存されている既合成フレームの画像データは、画像生成部２０２によって、画像生成部２０２が再現させた現在フレームの画像データに順次更新される。
The image storage unit 203 stores the image data of the already synthesized frame. The image storage unit 203 includes, for example, a storage device (transient storage device) such as a DRAM (Dynamic Random Access Memory), and temporarily stores the image data of the already synthesized frame. The image data of the existing composite frame stored in the image storage unit 203 is sequentially discarded by the image generation unit 202 when it is no longer used for reproducing the frame of the moving image, and the image data of the new composite frame generated by the image generation unit 202 is generated. It is sequentially replaced with image data. That is, the image data of the already synthesized frame stored in the image storage unit 203 is sequentially updated by the image generation unit 202 to the image data of the current frame reproduced by the image generation unit 202.
なお、画像保存部２０３は、例えば、ＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）を備え、画像生成部２０２が生成した既合成フレーム（画像生成部２０２が再現させた現在フレーム）の画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、画像保存部２０３に保存された複数の既合成フレームを表示装置５０に出力することにより、撮像装置１０により撮像された動画像を表示装置５０に繰り返し表示させることができる。
The image storage unit 203 includes, for example, a storage device such as an HDD or a flash memory (a storage device including a non-transient storage medium), and the pre-combined frame generated by the image generation unit 202 (the image generation unit 202 The image data of the reproduced current frame) may be sequentially saved as the image data of each frame constituting the moving image. In this case, by outputting a plurality of pre-combined frames stored in the image storage unit 203 to the display device 50, the moving image captured by the image pickup device 10 can be repeatedly displayed on the display device 50.
以下、動画像受信装置２００の動作について説明する。図８は、第１実施形態に係る動画像受信装置２００における画像データの受信処理の流れの一例を示すフローチャートである。図８に示したフローチャートの処理は、人工衛星ＡＳにより送信された、動画像を構成する１つのフレームに対応する伝送データを受信するごとに繰り返し実行される。なお、人工衛星ＡＳが、それぞれのフレームに対応する伝送データを撮像装置１０が動画像のそれぞれのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに送信してきた場合、図８に示したフローチャートの処理は、撮像装置１０のフレームレートの時間間隔ごとに繰り返し実行される。
Hereinafter, the operation of the moving image receiving device 200 will be described. FIG. 8 is a flowchart showing an example of a flow of image data reception processing in the moving image receiving device 200 according to the first embodiment. The processing of the flowchart shown in FIG. 8 is repeatedly executed every time the transmission data corresponding to one frame constituting the moving image transmitted by the artificial satellite AS is received. The artificial satellite AS transmits the transmission data corresponding to each frame at predetermined time intervals in which the imaging device 10 images each frame of the moving image, that is, at predetermined frame rate time intervals. In this case, the processing of the flowchart shown in FIG. 8 is repeatedly executed at each time interval of the frame rate of the image pickup apparatus 10.
なお、以下の説明においては、動画像受信装置２００において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置２００が備える画像保存部２０３に、前フレームに対応する既合成フレームの画像データが保存されている状態であるものとする。そして、図８に示したフローチャートの説明では、人工衛星ＡＳにより送信された撮像装置１０により以降に撮像されたフレーム（現在フレーム）に対応する伝送データを受信して、現在フレームに対応する合成フレームを生成する場合の動作を説明する。
In the following description, in the moving image receiving device 200, the transmission data corresponding to the frame (previous frame) imaged earlier in time by the imaging device 10 has already been received, that is, the moving image. It is assumed that the image data of the pre-combined frame corresponding to the previous frame is stored in the image storage unit 203 included in the receiving device 200. Then, in the explanation of the flowchart shown in FIG. 8, the transmission data corresponding to the frame (current frame) imaged thereafter by the imaging device 10 transmitted by the artificial satellite AS is received, and the composite frame corresponding to the current frame is received. The operation when generating is described.
アンテナ４０が人工衛星ＡＳにより送信された伝送データの無線信号の電波を受信すると、通信部２０１は、アンテナ４０が受信した無線信号の電波が表す伝送データを取得する（ステップＳ２００）。そして、通信部２０１は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。
When the antenna 40 receives the radio wave of the radio signal of the transmission data transmitted by the artificial satellite AS, the communication unit 201 acquires the transmission data represented by the radio wave of the radio signal received by the antenna 40 (step S200). Then, the communication unit 201 includes image data of the non-overlapping portion in the current frame included in the acquired transmission data, information representing the image data and the position in the overlapping portion in the current frame, the position of the artificial satellite AS, and the imaging device 10. Each of the information on the imaging direction of the above is output to the image generation unit 202.
続いて、画像生成部２０２は、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像保存部２０３に保存されている前フレームに対応する既合成フレームから、重複部分の画像データを抽出する（ステップＳ２０１）。
Subsequently, the image generation unit 202 is already synthesized corresponding to the previous frame stored in the image storage unit 203 based on the information of the position of the artificial satellite AS and the image pickup direction of the image pickup device 10 output by the communication unit 201. Image data of the overlapping portion is extracted from the frame (step S201).
続いて、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する（ステップＳ２０２）。
Subsequently, the image generation unit 202 combines the extracted image data with the image data of the non-overlapping portion of the current frame output by the communication unit 201 to generate a composite frame that reproduces the current frame (step S202). ).
続いて、画像生成部２０２は、生成した合成フレームに含まれる重複部分内の画像データに対して、通信部２０１により出力された現在フレームにおける重複部分内の画像データの差分（変化）を反映させて、最終的な合成フレームを生成する（ステップＳ２０３）。
Subsequently, the image generation unit 202 reflects the difference (change) of the image data in the overlapping portion in the current frame output by the communication unit 201 with respect to the image data in the overlapping portion included in the generated composite frame. To generate the final composite frame (step S203).
続いて、画像生成部２０２は、生成した現在フレームに対応する最終的な合成フレームを、表示装置５０に出力する（ステップＳ２０４）。これにより、表示装置５０は、画像生成部２０２により出力された動画像における最終的な合成フレームを表示する。また、画像生成部２０２は、最終的な合成フレームの画像データを、既合成フレームとして、画像保存部２０３に保存させる。
Subsequently, the image generation unit 202 outputs the final composite frame corresponding to the generated current frame to the display device 50 (step S204). As a result, the display device 50 displays the final composite frame in the moving image output by the image generation unit 202. Further, the image generation unit 202 stores the image data of the final composite frame in the image storage unit 203 as a ready-made frame.
このような構成および処理によって、地上局ＧＳが備える動画像受信装置２００は、人工衛星ＡＳが備える動画像送信装置１００によりデータ量が削減（圧縮）されて送信されてきた現在フレームの画像データから、撮像装置１０により撮像された動画像の現在フレームの画像データを再現させた合成フレームを生成して、表示装置５０に表示させる。
With such a configuration and processing, the moving image receiving device 200 included in the ground station GS is based on the image data of the current frame transmitted by reducing (compressing) the amount of data by the moving image transmitting device 100 included in the artificial satellite AS. , A composite frame that reproduces the image data of the current frame of the moving image captured by the image pickup device 10 is generated and displayed on the display device 50.
上述したように、第１実施形態の動画像伝送システム１では、動画像送信装置１００が、撮像装置１０により撮像された動画像を構成する連続した２つのフレーム間で差分（変化）がある画像データを抽出することにより、動画像のそれぞれのフレームの画像データのデータ量を削減（圧縮）させる。そして、第１実施形態の動画像伝送システム１では、動画像送信装置１００が、データ量を削減（圧縮）させた動画像のそれぞれのフレームの画像データを含む伝送データを動画像受信装置２００に送信する。また、第１実施形態の動画像伝送システム１では、動画像受信装置２００が、保存している既合成フレームの画像データと、受信した伝送データに含まれる動画像のフレームの画像データとを合わせて、撮像装置１０により撮像された動画像のそれぞれのフレームを再現させた新たな合成フレームを生成する。これにより、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。また、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。
As described above, in the moving image transmission system 1 of the first embodiment, the moving image transmitting device 100 has an image in which there is a difference (change) between two consecutive frames constituting the moving image captured by the imaging device 10. By extracting the data, the amount of image data of each frame of the moving image is reduced (compressed). Then, in the moving image transmission system 1 of the first embodiment, the moving image transmitting device 100 transmits the transmission data including the image data of each frame of the moving image whose data amount is reduced (compressed) to the moving image receiving device 200. Send. Further, in the moving image transmission system 1 of the first embodiment, the moving image receiving device 200 combines the image data of the already synthesized frame stored in the moving image receiving device 200 with the image data of the moving image frame included in the received transmission data. Then, a new composite frame that reproduces each frame of the moving image captured by the imaging device 10 is generated. As a result, in the moving image transmission system 1 of the first embodiment, it is possible to reduce the communication load required for transmitting the moving image captured by the imaging device 10 mounted on the artificial satellite AS. Further, in the moving image transmission system 1 of the first embodiment, even when the imaging device 10 mounted on the artificial satellite AS has a high pixel count, the rate at which the communication load required for transmitting the moving image increases is high. It is possible to keep the ratio of the image data included in each frame of the moving image increased by pixelation to be lower than the rate of increase. As a result, in the moving image transmission system 1 of the first embodiment, it is possible to easily realize a high pixel count of the image pickup apparatus 10 mounted on the artificial satellite AS.
＜第２実施形態＞
以下、第２実施形態の動画像伝送システムについて説明する。第１実施形態の動画像伝送システム１では、図２に示したように、人工衛星ＡＳが一定の速度で地球の上空を移動しながら、人工衛星ＡＳが搭載する撮像装置１０によって直下にある地上の被写体の動画像を撮像する場合を想定していた。しかしながら、人工衛星ＡＳが移動する速度は変わらないものの、人工衛星ＡＳが搭載する撮像装置１０によって動画像を撮像する方向（撮像方向）は、必ずしも直下であるとは限らない。例えば、撮像装置１０によって人工衛星ＡＳが移動する方向に対して前方や後方の動画像を撮像することも考えられる。この場合、撮像装置１０が撮像した動画像のそれぞれのフレームに写された被写体像には、歪みが発生していることが考えられる。この撮像装置１０の撮像方向によって発生する被写体像の歪みは、主に地球が球形であることに起因するものである。第２実施形態の動画像伝送システムは、撮像装置１０の撮像方向によって発生する被写体像の歪みを補正する構成を備え、第１実施形態の動画像伝送システム１と同様に、撮像装置１０が撮像した動画像のフレームの画像データのデータ量を削減（圧縮）させて伝送するようにするものである。
<Second Embodiment>
Hereinafter, the moving image transmission system of the second embodiment will be described. In the moving image transmission system 1 of the first embodiment, as shown in FIG. 2, the artificial satellite AS moves over the earth at a constant speed, and is directly under the ground by the imaging device 10 mounted on the artificial satellite AS. It was supposed to capture a moving image of the subject. However, although the speed at which the artificial satellite AS moves does not change, the direction (imaging direction) for capturing a moving image by the imaging device 10 mounted on the artificial satellite AS is not always directly below. For example, it is conceivable that the image pickup device 10 captures moving images in front of or behind the direction in which the artificial satellite AS moves. In this case, it is considered that the subject image captured in each frame of the moving image captured by the imaging device 10 is distorted. The distortion of the subject image generated by the imaging direction of the imaging device 10 is mainly due to the spherical shape of the earth. The moving image transmission system of the second embodiment has a configuration for correcting the distortion of the subject image generated by the imaging direction of the imaging device 10, and is imaged by the imaging device 10 as in the moving image transmission system 1 of the first embodiment. The amount of image data in the frame of the moving image is reduced (compressed) and transmitted.
［第２実施形態の動画像伝送システムの全体構成］
第２実施形態の動画像伝送システムでは、図１に示した動画像伝送システム１の構成において、人工衛星ＡＳが備える動画像送信装置１００と、地上局ＧＳが備える動画像受信装置２００とのそれぞれが、被写体像の歪みを補正する構成要素を備える構成に代わっている。以下の説明においては、第２実施形態の動画像伝送システムを、「動画像伝送システム２」という。また、第２実施形態の動画像伝送システムが備える動画像送信装置を「動画像送信装置１１０」といい、動画像受信装置を「動画像受信装置２１０」という。
[Overall configuration of the moving image transmission system of the second embodiment]
In the moving image transmission system of the second embodiment, in the configuration of the moving image transmission system 1 shown in FIG. 1, the moving image transmitting device 100 included in the artificial satellite AS and the moving image receiving device 200 included in the ground station GS are respectively. However, it has been replaced with a configuration including a component that corrects the distortion of the subject image. In the following description, the moving image transmission system of the second embodiment is referred to as "moving image transmission system 2". Further, the moving image transmitting device included in the moving image transmission system of the second embodiment is referred to as a "moving image transmitting device 110", and the moving image receiving device is referred to as a "moving image receiving device 210".
なお、動画像伝送システム２において動画像送信装置１１０に接続される撮像装置１０、センサ２０、およびアンテナ３０や、動画像受信装置２１０に接続されるアンテナ４０および表示装置５０は、第１実施形態の動画像伝送システム１と同様であるため、詳細な説明は省略する。また、動画像伝送システム２において動画像を伝送する際の基本的な考え方も、フレームに写された被写体像の歪みを補正する以外は、第１実施形態の動画像伝送システム１と同様であるため、詳細な説明は省略する。
In the moving image transmission system 2, the imaging device 10, the sensor 20, and the antenna 30 connected to the moving image transmitting device 110, and the antenna 40 and the display device 50 connected to the moving image receiving device 210 are the first embodiment. Since it is the same as the moving image transmission system 1 of the above, detailed description thereof will be omitted. Further, the basic concept when transmitting a moving image in the moving image transmission system 2 is the same as that of the moving image transmission system 1 of the first embodiment except that the distortion of the subject image projected on the frame is corrected. Therefore, detailed description will be omitted.
動画像送信装置１１０は、第１実施形態の動画像送信装置１００と同様に、人工衛星ＡＳが備え、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像の画像データのデータ量を、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報に基づいて削減させて（圧縮させて）地上局ＧＳに送信する。動画像送信装置１１０では、撮像装置１０により撮像された動画像のそれぞれのフレームに写された被写体像の歪みを補正した画像データを地上局ＧＳに送信する。
Similar to the moving image transmitting device 100 of the first embodiment, the moving image transmitting device 110 is provided with the artificial satellite AS, and the data amount of the image data of the moving image captured by the imaging device 10 mounted on the artificial satellite AS is calculated. It is reduced (compressed) based on the position of the artificial satellite AS and the information of the imaging direction of the imaging device 10 and transmitted to the ground station GS. The moving image transmitting device 110 transmits image data corrected for distortion of the subject image captured in each frame of the moving image captured by the imaging device 10 to the ground station GS.
動画像受信装置２１０は、第１実施形態の動画像受信装置２００と同様に、地上局ＧＳが備え、人工衛星ＡＳ（動画像送信装置１１０）によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の画像データを再現させて、例えば、表示装置５０に表示させる。動画像受信装置２１０では、再現させた動画像のそれぞれのフレームに対して、撮像装置１０により撮像された動画像のそれぞれのフレームに写された被写体像の歪みも再現させる。動画像受信装置２１０の構成および動作に関する詳細については後述する。
Similar to the moving image receiving device 200 of the first embodiment, the moving image receiving device 210 is provided by the ground station GS and has been transmitted in a state where the amount of data is reduced by the artificial satellite AS (moving image transmitting device 110). From the image data of the moving image, the image data of the moving image captured by the imaging device 10 mounted on the artificial satellite AS is reproduced and displayed on the display device 50, for example. The moving image receiving device 210 also reproduces the distortion of the subject image captured in each frame of the moving image captured by the imaging device 10 for each frame of the reproduced moving image. Details regarding the configuration and operation of the moving image receiving device 210 will be described later.
［動画像送信装置１１０の構成および動作］
以下、動画像送信装置１１０の構成について説明する。なお、動画像送信装置１１０が備える構成要素には、第１実施形態の動画像送信装置１００が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像送信装置１１０の構成要素において、第１実施形態の動画像送信装置１００の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。
[Configuration and operation of moving image transmitting device 110]
Hereinafter, the configuration of the moving image transmitting device 110 will be described. The components included in the moving image transmitting device 110 include the same components as those included in the moving image transmitting device 100 of the first embodiment. Therefore, in the following description, in the components of the moving image transmitting device 110, the same components as the components of the moving image transmitting device 100 of the first embodiment are given the same reference numerals, and the respective components are assigned the same reference numerals. The detailed explanation about is omitted.
図９は、第２実施形態に係る動画像伝送システム２が備える動画像送信装置１１０の構成の一例を示す図である。図９に示した動画像送信装置１１０は、例えば、画像取得部１０１と、情報取得部１０２と、歪み補正部１１１と、位置合わせ部１０３と、差分識別部１０４と、画像データ抽出部１０５と、通信部１０６と、を備える。なお、図９にも、動画像送信装置１１０に関連する構成要素である撮像装置１０、センサ２０、およびアンテナ３０も併せて示している。
FIG. 9 is a diagram showing an example of the configuration of the moving image transmitting device 110 included in the moving image transmission system 2 according to the second embodiment. The moving image transmitting device 110 shown in FIG. 9 includes, for example, an image acquisition unit 101, an information acquisition unit 102, a distortion correction unit 111, an alignment unit 103, a difference identification unit 104, and an image data extraction unit 105. , Communication unit 106. Note that FIG. 9 also shows the imaging device 10, the sensor 20, and the antenna 30, which are components related to the moving image transmitting device 110.
画像取得部１０１は、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを順次取得し、取得したそれぞれのフレームの画像データを、歪み補正部１１１に順次出力する。
The image acquisition unit 101 sequentially acquires the image data of each frame of the moving image captured by the image pickup apparatus 10, and sequentially outputs the image data of each acquired frame to the distortion correction unit 111.
情報取得部１０２は、センサ２０により出力されたそれぞれの情報を取得することにより、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得し、取得した人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を、歪み補正部１１１および位置合わせ部１０３に出力する。
The information acquisition unit 102 acquires the position of the artificial satellite AS and the information of the imaging direction of the imaging device 10 by acquiring the respective information output by the sensor 20, and the acquired position of the artificial satellite AS and the imaging device. Information on the imaging direction of 10 is output to the distortion correction unit 111 and the alignment unit 103.
歪み補正部１１１は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。歪み補正部１１１は、被写体像の歪みを補正したそれぞれのフレームの画像データを、位置合わせ部１０３に順次出力する。
The distortion correction unit 111 copies the moving image output by the image acquisition unit 101 into each frame based on the information of the position of the artificial satellite AS output by the information acquisition unit 102 and the image pickup direction of the image pickup device 10. Corrects the distortion of the subject image. The distortion correction unit 111 sequentially outputs the image data of each frame corrected for the distortion of the subject image to the alignment unit 103.
なお、歪み補正部１１１がそれぞれのフレームに写された被写体像の歪みを補正する場合、位置合わせ部１０３に出力するそれぞれのフレームの画像データは、歪みをなくすように補正された画像データとなる。しかし、歪み補正部１１１は、いずれか一方のフレームの歪みを補正する、つまり、一方のフレームに写された被写体像の歪みを他方のフレームＦに写された被写体像の歪みに合わせるように歪み補正をしてもよい。例えば、歪み補正部１１１は、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に写された被写体像の歪みを、撮像装置１０により時間的に後に撮像されたフレーム（現在フレーム）に写された被写体像の歪みに合わせるように歪み補正をしてもよい。また、歪み補正部１１１は、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。
When the distortion correction unit 111 corrects the distortion of the subject image projected on each frame, the image data of each frame output to the alignment unit 103 is the image data corrected so as to eliminate the distortion. .. However, the distortion correction unit 111 corrects the distortion of one of the frames, that is, the distortion of the subject image captured in one frame is distorted so as to match the distortion of the subject image captured in the other frame F. You may make corrections. For example, the distortion correction unit 111 uses the image pickup device 10 to capture the distortion of the subject image captured in the frame (previous frame) imaged earlier in time by the image pickup apparatus 10, and the frame (current frame) imaged later in time by the image pickup device 10. ) May be used for distortion correction so as to match the distortion of the subject image captured in). Further, the distortion correction unit 111 may perform distortion correction so as to match the distortion of the subject image captured in the current frame with the distortion of the subject image captured in the previous frame.
ここで、歪み補正部１１１がフレームに写された被写体像の歪みを補正する方法について説明する。図１０は、第２実施形態に係る動画像伝送システム２において人工衛星ＡＳが撮像する範囲と被写体との位置関係の一例を模式的に示す図である。図１０の左側には、人工衛星ＡＳが移動する方向に対して後方の動画像を撮像装置１０によって撮像する場合の撮像装置１０の撮像範囲と地上の被写体との位置関係の一例を示している。また、図１０の右側には、左側に示した撮像装置１０の撮像範囲と地上の被写体との位置関係において、歪み補正部１１１が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。
Here, a method in which the distortion correction unit 111 corrects the distortion of the subject image projected on the frame will be described. FIG. 10 is a diagram schematically showing an example of the positional relationship between the range imaged by the artificial satellite AS and the subject in the moving image transmission system 2 according to the second embodiment. The left side of FIG. 10 shows an example of the positional relationship between the imaging range of the imaging device 10 and the subject on the ground when the imaging device 10 captures a moving image behind the direction in which the artificial satellite AS moves. .. Further, on the right side of FIG. 10, parameters defined for the distortion correction unit 111 to perform processing for correcting the distortion of the subject image in the positional relationship between the imaging range of the imaging device 10 shown on the left side and the subject on the ground are defined. Shown.
人工衛星ＡＳが一定の速度で地球の上空を移動しながら撮像装置１０により後方の動画像を撮像する場合、撮像装置１０の撮像範囲内に撮像される被写体像は、人工衛星ＡＳ（撮像装置１０）の直下から離れるほど歪みが大きくなる。言い換えれば、撮像装置１０からの距離に応じて被写体像の歪みが変化する。これは、撮像装置１０が斜め方向から被写体を撮像することになるからである。図１０の左側には、人工衛星ＡＳが、例えば、位置Ｐ１に位置しているときに撮像装置１０が動画像の１枚目のフレーム（フレームＦ１）を撮像し、その後、人工衛星ＡＳが、例えば、位置Ｐ２の位置に移動したときに撮像装置１０が２枚目のフレーム（フレームＦ２）を撮像した状態を示している。そして、図１０の左側には、フレームＦ１およびフレームＦ２のそれぞれの撮像範囲内に撮像される被写体の歪みが、撮像装置１０の直下では小さく、撮像装置１０の直下から離れるほど歪みが大きくなる状態を示している。この場合、撮像装置１０により撮像される同じ被写体であっても、フレームＦ１とフレームＦ２とのそれぞれに写された被写体像は、歪みによって異なる形になってしまう。このため、図３を用いて説明した第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法でフレームＦ１とフレームＦ２とにおける重複部分内の差分（変化）を識別すると、重複部分内のほぼ全ての部分に差分（変化）があることになり、重複部分の画像データのデータ量を削減（圧縮）することができなくなってしまう。
When the artificial satellite AS moves over the earth at a constant speed and images a moving image behind the image with the imaging device 10, the subject image captured within the imaging range of the imaging device 10 is the artificial satellite AS (imaging device 10). The farther away from directly below), the greater the distortion. In other words, the distortion of the subject image changes according to the distance from the image pickup apparatus 10. This is because the imaging device 10 images the subject from an oblique direction. On the left side of FIG. 10, when the artificial satellite AS is located at the position P1, for example, the imaging device 10 images the first frame (frame F1) of the moving image, and then the artificial satellite AS displays. For example, it shows a state in which the image pickup apparatus 10 has imaged the second frame (frame F2) when moving to the position of the position P2. On the left side of FIG. 10, the distortion of the subject imaged within the imaging range of the frame F1 and the frame F2 is small directly under the imaging device 10, and the distortion increases as the distance from the imaging device 10 is increased. Is shown. In this case, even if the same subject is captured by the image pickup apparatus 10, the subject images captured by the frame F1 and the frame F2 will have different shapes due to distortion. Therefore, when the difference (change) in the overlapping portion between the frame F1 and the frame F2 is identified by the image data processing method of each frame in the moving image transmission system 1 of the first embodiment described with reference to FIG. Since there is a difference (change) in almost all parts in the overlapping part, it becomes impossible to reduce (compress) the amount of image data in the overlapping part.
このため、動画像送信装置１１０では、歪み補正部１１１が、以降の処理において、第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、それぞれのフレームに写された被写体像の歪みを補正する。言い換えれば、歪み補正部１１１は、それぞれのフレームが、図２に示したような、撮像装置１０によって直下にある地上の被写体を撮像したフレームと同様になるように被写体像の歪みを補正する。
Therefore, in the moving image transmission device 110, the distortion correction unit 111 can perform the same processing as the image data processing method of each frame in the moving image transmission system 1 of the first embodiment in the subsequent processing. As described above, the distortion of the subject image captured in each frame is corrected. In other words, the distortion correction unit 111 corrects the distortion of the subject image so that each frame becomes the same as the frame in which the subject on the ground directly underneath is imaged by the image pickup device 10 as shown in FIG.
歪み補正部１１１における被写体像の歪み補正の処理では、地球の表面を平面の地図に表すための図法である既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。このとき、図１０の右側に示したように、地球の表面を水平線と仮定し、水平線から人工衛星ＡＳまでの距離（いわゆる、人工衛星ＡＳの高度）ｈを定義する。そして、人工衛星ＡＳの位置Ｐを中心として半径が高度ｈの円と水平線とが接する接点の位置を通る垂線を基準とした場合の撮像装置１０の画角を、画角θと定義する。また、垂線と半径が高度ｈの円とが接する接点の位置から、画角θの斜線と円とが交差する接点の位置までの円弧の長さを、撮像装置１０の撮像範囲の距離ｄと定義する。また、垂線と半径が高度ｈの円とが接する接点の位置から、画角θの斜線と水平線とが交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺ｒ（ｄ）と定義する。この縮尺ｒ（ｄ）は、撮像装置１０の撮像範囲における距離に応じた水平線上の被写体の歪み補正量に相当する。
In the distortion correction process of the subject image in the distortion correction unit 111, the magnitude of the distortion of the subject image is obtained by applying the existing azimuthal equidistant projection, which is a projection for representing the surface of the earth on a flat map. At this time, as shown on the right side of FIG. 10, assuming that the surface of the earth is a horizon, the distance h from the horizon to the artificial satellite AS (so-called altitude of the artificial satellite AS) is defined. Then, the angle of view of the image pickup apparatus 10 when the perpendicular line passing through the position of the contact point where the circle having the radius h and the horizon contact with the position P of the artificial satellite AS as the center is defined as the angle of view θ. Further, the length of the arc from the position of the contact point where the perpendicular line and the circle having the radius h intersect to the position of the contact point where the diagonal line of the angle of view θ and the circle intersect is defined as the distance d of the imaging range of the imaging device 10. Define. Further, the length on the horizontal line from the position of the contact point where the perpendicular line and the circle having the radius h meet to the position of the contact point where the diagonal line of the angle of view θ and the horizontal line intersect is the scale r (d) of the subject on the horizontal line. ). This scale r (d) corresponds to the amount of distortion correction of the subject on the horizon according to the distance in the imaging range of the imaging device 10.
上記の定義に基づいて、人工衛星ＡＳの移動方向の被写体像に対する歪み補正量Ａ（ｄ）は、下式（２）で表される。
Based on the above definition, the distortion correction amount A (d) for the subject image in the moving direction of the artificial satellite AS is expressed by the following equation (2).
Ａ（ｄ）＝Ｃ／（２ｈｃｏｓ２（ｄ／２ｈ）） ・・・（２）
A (d) = C / (2hcos 2 (d / 2h)) ... (2)
また、上記の定義に基づいて、人工衛星ＡＳの移動方向に対して垂直、かつ、地球の表面と平行な方向（図１０の紙面に対して手前側および奥側の方向：以下、「垂直方向」という）の被写体像に対する歪み補正量Ｂ（ｄ）は、下式（３）で表される。
Further, based on the above definition, directions perpendicular to the moving direction of the artificial satellite AS and parallel to the surface of the earth (directions on the front side and the back side with respect to the paper surface of FIG. 10: hereinafter, "vertical direction". The distortion correction amount B (d) for the subject image of) is expressed by the following equation (3).
Ｂ（ｄ）＝Ｃ／（２ｈｃｏｓ（ｄ／２ｈ）） ・・・（３）
B (d) = C / (2hcos (d / 2h)) ... (3)
上式（２）および上式（３）において、Ｃは定数（例えば、Ｃ＝１）である。
In the above equations (2) and (3), C is a constant (for example, C = 1).
歪み補正部１１１は、人工衛星ＡＳの移動方向の歪み補正量Ａ（ｄ）と、人工衛星ＡＳの移動方向に対する垂直方向の歪み補正量Ｂ（ｄ）とのそれぞれを、フレームに含まれる画像データごとに求める。そして、歪み補正部１１１は、フレーム内の画像データの位置に応じて求めた歪み補正量Ａ（ｄ）と歪み補正量Ｂ（ｄ）のそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みを補正する。
The distortion correction unit 111 contains image data including the distortion correction amount A (d) in the moving direction of the artificial satellite AS and the distortion correction amount B (d) in the direction perpendicular to the moving direction of the artificial satellite AS in the frame. Ask for each. Then, the distortion correction unit 111 combines the distortion correction amounts of the distortion correction amount A (d) and the distortion correction amount B (d) obtained according to the position of the image data in the frame, and is copied to the frame. Correct the distortion of the subject image.
なお、図１０では、地球の表面が平面であるものとして定義したそれぞれのパラメータに基づいて、人工衛星ＡＳの移動方向および人工衛星ＡＳの移動方向に対する垂直方向のそれぞれの歪み補正量を求めた。しかしながら、地球の上空の所定の軌道を周回する人工衛星ＡＳの高度は高いため、地球の表面は、図１０に示したような平面ではなく、球面である。従って、撮像装置１０が撮像する動画像のそれぞれのフレームに写された被写体像の歪みは、地球の表面が平面である場合よりもさらに大きくなる。
In FIG. 10, each strain correction amount in the moving direction of the artificial satellite AS and in the direction perpendicular to the moving direction of the artificial satellite AS was obtained based on each parameter defined assuming that the surface of the earth is a flat surface. However, since the altitude of the artificial satellite AS orbiting a predetermined orbit over the earth is high, the surface of the earth is not a plane as shown in FIG. 10 but a spherical surface. Therefore, the distortion of the subject image captured in each frame of the moving image captured by the imaging device 10 is further larger than that in the case where the surface of the earth is flat.
このため、動画像送信装置１１０では、歪み補正部１１１が、以降の処理において、第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、地球の表面の球面を平面に補正するように、それぞれのフレームに写された被写体像の歪みをさらに補正する。言い換えれば、歪み補正部１１１は、それぞれのフレームが、図２に示したような、撮像装置１０によって直下にある地上の被写体を撮像したフレームと同様になるように、撮像装置１０の撮像方向に対応する上述した歪み補正と、地球の表面が球面形状であることを加味した歪み補正との２段階で、被写体像の歪みを補正する。
Therefore, in the moving image transmission device 110, the distortion correction unit 111 can perform the same processing as the image data processing method of each frame in the moving image transmission system 1 of the first embodiment in the subsequent processing. As described above, the distortion of the subject image projected on each frame is further corrected so that the spherical surface on the surface of the earth is corrected to a flat surface. In other words, the distortion correction unit 111 directs the distortion correction unit 111 in the imaging direction of the imaging device 10 so that each frame becomes the same as the frame in which the subject on the ground directly below the image is imaged by the imaging device 10 as shown in FIG. The distortion of the subject image is corrected in two steps of the corresponding distortion correction described above and the distortion correction considering that the surface of the earth has a spherical shape.
図１１は、第２実施形態に係る動画像伝送システム２において人工衛星ＡＳが撮像する範囲と被写体との位置関係の別の一例を模式的に示す図である。図１１の左側には、人工衛星ＡＳが移動する方向に対して後方の動画像を撮像装置１０によって撮像する場合の撮像装置１０の撮像範囲と地上の被写体との位置関係の一例を示している。また、図１１の右側には、左側に示した撮像装置１０の撮像範囲と地上の被写体との位置関係において、歪み補正部１１１が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。
FIG. 11 is a diagram schematically showing another example of the positional relationship between the range imaged by the artificial satellite AS and the subject in the moving image transmission system 2 according to the second embodiment. The left side of FIG. 11 shows an example of the positional relationship between the imaging range of the imaging device 10 and the subject on the ground when the imaging device 10 captures a moving image behind the direction in which the artificial satellite AS moves. .. Further, on the right side of FIG. 11, parameters defined for the distortion correction unit 111 to perform processing for correcting the distortion of the subject image in the positional relationship between the imaging range of the imaging device 10 shown on the left side and the subject on the ground are defined. Shown.
この地球の表面が球面である場合における歪み補正部１１１による被写体像の歪み補正の処理でも、既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。この場合では、図１１の右側に示したように、地球の表面を水平線と仮定し、水平線から地球の中心の位置までの距離（いわゆる、地球の半径）Ｒを定義する。そして、地球の中心位置を中心として半径が地球の半径Ｒの円と水平線とが接する接点の位置を通る垂線を基準として、高度ｈの位置に位置する人工衛星ＡＳが備える撮像装置１０の画角θの斜線と半径Ｒの円とが交差する接点の位置までの円弧の長さを、撮像装置１０により撮像される地球の表面の距離ｅと定義する。また、垂線と半径Ｒの円とが接する接点の位置から、地球の中心位置から画角θの斜線と半径Ｒの円とが交差する接点の位置を通って水平線と交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺ｓ（ｅ）と定義する。この縮尺ｓ（ｅ）は、撮像装置１０により撮像される地球の表面の距離に応じた水平線上の被写体の歪み補正量に相当する。
Also in the processing of distortion correction of the subject image by the distortion correction unit 111 when the surface of the earth is a spherical surface, the magnitude of distortion of the subject image is obtained by applying the existing azimuthal equidistant projection method. In this case, as shown on the right side of FIG. 11, the surface of the earth is assumed to be the horizon, and the distance R from the horizon to the position of the center of the earth (so-called radius of the earth) R is defined. Then, the angle of view of the imaging device 10 provided by the artificial satellite AS located at the altitude h is based on the perpendicular line passing through the position of the contact point where the circle whose radius is the radius R of the earth and the horizon are in contact with each other around the center position of the earth. The length of the arc to the position of the contact point where the diagonal line of θ and the circle of radius R intersect is defined as the distance e of the surface of the earth imaged by the imaging device 10. Also, from the position of the point of contact where the perpendicular line and the circle of radius R meet, to the position of the point of contact where the diagonal line of the angle of view θ and the circle of radius R intersect, and the position of the point of contact that intersects the horizontal line. The length on the horizontal line is defined as the scale s (e) of the subject on the horizontal line. This scale s (e) corresponds to the amount of distortion correction of the subject on the horizon according to the distance of the surface of the earth imaged by the imaging device 10.
上記の定義に基づいて、地球の球面形状を加味した人工衛星ＡＳの移動方向の被写体像に対する歪み補正量Ｄ（ｅ）は、下式（４）で表される。
Based on the above definition, the distortion correction amount D (e) for the subject image in the moving direction of the artificial satellite AS in consideration of the spherical shape of the earth is expressed by the following equation (4).
Ｄ（ｅ）＝Ｃ／（２Ｒｃｏｓ２（ｅ／２Ｒ）） ・・・（４）
D (e) = C / (2Rcos 2 (e / 2R)) ... (4)
また、上記の定義に基づいて、地球の球面形状を加味した人工衛星ＡＳの移動方向に対して垂直方向の被写体像に対する歪み補正量Ｅ（ｅ）は、下式（５）で表される。
Further, based on the above definition, the distortion correction amount E (e) for the subject image in the direction perpendicular to the moving direction of the artificial satellite AS in consideration of the spherical shape of the earth is expressed by the following equation (5).
Ｅ（ｅ）＝Ｃ／（２Ｒｃｏｓ（ｅ／２Ｒ）） ・・・（５）
E (e) = C / (2Rcos (e / 2R)) ... (5)
上式（４）および上式（５）においても、Ｃは定数（例えば、Ｃ＝１）である。
Also in the above equations (4) and (5), C is a constant (for example, C = 1).
歪み補正部１１１は、人工衛星ＡＳの移動方向の歪み補正量Ｄ（ｅ）と、人工衛星ＡＳの移動方向に対する垂直方向の歪み補正量Ｅ（ｅ）とのそれぞれを、フレームに含まれる画像データごとにさらに求める。そして、歪み補正部１１１は、フレーム内の画像データの位置に応じて求めた歪み補正量Ａ（ｄ）と歪み補正量Ｂ（ｄ）とを組み合わせて被写体像の歪みを補正したそれぞれのフレームに対して、さらに求めた歪み補正量Ｄ（ｅ）と歪み補正量Ｅ（ｅ）とのそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みをさらに補正する。歪み補正部１１１は、被写体像の歪みを補正したそれぞれのフレーム（以下、「補正フレーム」という）の画像データを、位置合わせ部１０３に順次出力する。
The distortion correction unit 111 contains image data including the distortion correction amount D (e) in the moving direction of the artificial satellite AS and the distortion correction amount E (e) in the direction perpendicular to the moving direction of the artificial satellite AS in the frame. Ask for more each time. Then, the distortion correction unit 111 combines the distortion correction amount A (d) and the distortion correction amount B (d) obtained according to the position of the image data in the frame to correct the distortion of the subject image in each frame. On the other hand, the distortion of the subject image projected on the frame is further corrected by combining the respective distortion correction amounts of the obtained distortion correction amount D (e) and the distortion correction amount E (e). The distortion correction unit 111 sequentially outputs the image data of each frame (hereinafter, referred to as “correction frame”) that has corrected the distortion of the subject image to the alignment unit 103.
なお、歪み補正部１１１は、上述したように、前フレームに写された被写体像の歪みを現在フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部１１１は、前フレームに写された被写体像の現在フレームに写された被写体像に対する歪み補正量を、上式（２）〜上式（５）に基づいてそれぞれ求めてもよい。この場合、歪み補正部１１１による被写体像の歪みの補正は、前フレームに対して行われることになる。言い換えれば、歪み補正部１１１は、現在フレームに対しては被写体像の歪みの補正を行わないことになる。この場合、歪み補正部１１１は、被写体像の歪みの補正を行った現在フレームと、被写体像の歪みの補正を行っていない現在フレーム（つまり、画像取得部１０１により出力されたそのままの現在フレーム）とを、それぞれの補正フレームとして位置合わせ部１０３に出力する。
As described above, the distortion correction unit 111 may perform distortion correction so as to match the distortion of the subject image captured in the previous frame with the distortion of the subject image captured in the current frame. That is, the distortion correction unit 111 may obtain the amount of distortion correction for the subject image captured in the current frame of the subject image captured in the previous frame based on the above equations (2) to (5), respectively. .. In this case, the distortion correction unit 111 corrects the distortion of the subject image with respect to the previous frame. In other words, the distortion correction unit 111 does not correct the distortion of the subject image with respect to the current frame. In this case, the distortion correction unit 111 includes a current frame in which the distortion of the subject image is corrected and a current frame in which the distortion of the subject image is not corrected (that is, the current frame as it is output by the image acquisition unit 101). Is output to the alignment unit 103 as each correction frame.
また、歪み補正部１１１は、上述したように、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部１１１は、上式（２）〜上式（５）に基づいて、現在フレームに写された被写体像の前フレームに写された被写体像に対するそれぞれの歪み補正量を求め、現在フレームに対して被写体像の歪み補正を行ってもよい。この場合、歪み補正部１１１は、被写体像の歪みの補正を行っていない前フレーム（つまり、画像取得部１０１により出力されたそのままの前フレーム）と、被写体像の歪みの補正を行った現在フレームとを、それぞれの補正フレームとして位置合わせ部１０３に出力する。
Further, as described above, the distortion correction unit 111 may perform distortion correction so as to match the distortion of the subject image captured in the current frame with the distortion of the subject image captured in the previous frame. That is, the distortion correction unit 111 obtains the respective distortion correction amounts for the subject image projected on the previous frame of the subject image projected on the current frame based on the above equations (2) to (5), and is currently The distortion of the subject image may be corrected for the frame. In this case, the distortion correction unit 111 includes a front frame in which the distortion of the subject image is not corrected (that is, the front frame as it is output by the image acquisition unit 101) and a current frame in which the distortion of the subject image is corrected. Is output to the alignment unit 103 as each correction frame.
図９に戻って、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、歪み補正部１１１により出力された連続した２つの補正フレーム（前フレームおよび現在フレームのいずれか一方のフレームに対して被写体像の歪み補正が行われていない場合を含む）に写された同じ主要被写体の被写体像の位置を合わせる。位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、位置合わせを行った２つの補正フレームの画像データとを、差分識別部１０４に出力する。
Returning to FIG. 9, the alignment unit 103 has two consecutive units output by the distortion correction unit 111 based on the information on the position of the artificial satellite AS output by the information acquisition unit 102 and the image pickup direction of the image pickup device 10. Aligns the subject image of the same main subject captured in the correction frame (including the case where the distortion correction of the subject image is not performed on either the previous frame or the current frame). The alignment unit 103 includes information on the alignment of the main subject, information on the position of the artificial satellite AS output by the information acquisition unit 102, and information on the imaging direction of the imaging device 10, and two correction frames that have been aligned. The image data is output to the difference identification unit 104.
差分識別部１０４は、位置合わせ部１０３により出力された主要被写体の位置を合わせた情報に基づいて、位置合わせ部１０３により出力された２つの補正フレームに写された主要被写体の位置が合わされた状態で、２つの補正フレームにおける非重複部分および重複部分の画像データの差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、位置合わせ部１０３により出力された２つの補正フレームの画像データのうち、撮像装置１０により時間的に後に撮像されたフレーム（現在フレーム）を補正した補正フレームの画像データを、画像データ抽出部１０５に出力する。
The difference identification unit 104 is in a state in which the positions of the main subjects captured in the two correction frames output by the alignment unit 103 are aligned based on the information of aligning the positions of the main subjects output by the alignment unit 103. In, the difference (change) of the image data of the non-overlapping part and the overlapping part in the two correction frames is identified. The difference identification unit 104 includes information indicating the range of image data of the identified non-overlapping portion, information indicating the difference (change) of the identified overlapping portion, and the position and imaging of the artificial satellite AS output by the alignment unit 103. Of the information on the imaging direction of the device 10 and the image data of the two correction frames output by the alignment unit 103, the image of the correction frame corrected for the frame (current frame) imaged later in time by the imaging device 10. The data is output to the image data extraction unit 105.
画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報や、重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在フレームを補正した補正フレームから、非重複部分の画像データや、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した非重複部分の画像データと、重複部分内の画像データおよびこの画像データの位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、現在フレームを補正した補正フレームに対応する画像データとして、通信部１０６に出力する。つまり、画像データ抽出部１０５は、人工衛星ＡＳが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減（圧縮）した補正フレームの画像データを、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。
The image data extraction unit 105 is output by the difference identification unit 104 based on the information indicating the range of the image data of the non-overlapping portion output by the difference identification unit 104 and the information indicating the difference (change) of the overlapping portion. From the corrected frame in which the current frame is corrected, the image data of the non-overlapping part and the image data having a difference (change) in the overlapping part are extracted. The image data extraction unit 105 includes the extracted image data of the non-overlapping portion, the image data in the overlapping portion, information representing the position of the image data, the position of the artificial satellite AS output by the difference identification unit 104, and an imaging device. The information of the imaging direction of 10 is output to the communication unit 106 as image data corresponding to the correction frame in which the current frame is corrected. That is, the image data extraction unit 105 deletes the portion where the image data of the current frame does not change even when the artificial satellite AS moves, and reduces (compresses) the amount of data to reduce (compress) the image data of the correction frame to the position of the artificial satellite AS. And information on the imaging direction of the imaging device 10, and output to the communication unit 106.
通信部１０６は、画像データ抽出部１０５により出力された現在フレームに対応する補正フレームの画像データおよびこの画像データの情報と、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、動画像受信装置２１０に送信するための伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、アンテナ３０に、出力した伝送データに対応する無線信号の電波を動画像受信装置２１０に向けて送出させる。
The communication unit 106 displays the image data of the correction frame corresponding to the current frame output by the image data extraction unit 105, the information of the image data, and the information of the position of the artificial satellite AS and the image pickup direction of the image pickup device 10 as a moving image. Generates transmission data for transmission to the image receiving device 210. Then, the communication unit 106 outputs the generated transmission data to the antenna 30, and causes the antenna 30 to transmit the radio wave of the radio signal corresponding to the output transmission data toward the moving image receiving device 210.
以下、動画像送信装置１１０の動作について説明する。図１２は、第２実施形態に係る動画像送信装置１１０における画像データの送信処理の流れの一例を示すフローチャートである。図１２に示したフローチャートの処理も、第１実施形態の動画像送信装置１００における画像データの送信処理の流れと同様に、撮像装置１０が動画像を構成する１つのフレームの撮像をする予め定めたフレームレートの時間間隔ごとに繰り返し実行される。なお、図１２に示したフローチャートでは、図６に示した第１実施形態の動画像送信装置１００のフローチャートの処理と同様の処理には同じステップ番号を付与している。
Hereinafter, the operation of the moving image transmitting device 110 will be described. FIG. 12 is a flowchart showing an example of a flow of image data transmission processing in the moving image transmitting device 110 according to the second embodiment. The processing of the flowchart shown in FIG. 12 is also predetermined so that the imaging device 10 captures one frame constituting the moving image in the same manner as the flow of the image data transmission processing in the moving image transmitting device 100 of the first embodiment. It is repeated every time interval of the frame rate. In the flowchart shown in FIG. 12, the same step number is assigned to the same processing as the processing of the flowchart of the moving image transmitting device 100 of the first embodiment shown in FIG.
なお、以下の説明においては、動画像送信装置１１０において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する補正フレームの画像データはすでに動画像受信装置２１０に送信済みの状態である、つまり、動画像送信装置１１０内に、前フレームに対応する補正フレーム（以下、「前補正フレーム」という）の画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図１２に示したフローチャートの説明では、動画像送信装置１１０が、撮像装置１０により以降に撮像されたフレーム（現在フレーム）に対応する補正フレーム（以下、「現在補正フレーム」という）の画像データを動画像受信装置２１０に送信する場合の動作を説明する。
In the following description, in the moving image transmitting device 110, the image data of the correction frame corresponding to the frame (previous frame) imaged earlier in time by the imaging device 10 has already been transmitted to the moving image receiving device 210. That is, in the moving image transmitting device 110, the image data of the correction frame corresponding to the previous frame (hereinafter, referred to as “pre-correction frame”) is stored in, for example, an image data storage unit (not shown). It is assumed that the state is present. Then, in the explanation of the flowchart shown in FIG. 12, the moving image transmitting device 110 is an image of a correction frame (hereinafter, referred to as “current correction frame”) corresponding to a frame (current frame) imaged thereafter by the image pickup device 10. The operation when the data is transmitted to the moving image receiving device 210 will be described.
撮像装置１０が時間的に後のフレームを撮像すると、画像取得部１０１は、撮像装置１０により出力された現在フレームの画像データを取得する（ステップＳ１００）。そして、画像取得部１０１は、取得した現在フレームの画像データを、歪み補正部１１１に出力する。
When the image pickup apparatus 10 images a later frame in time, the image acquisition unit 101 acquires the image data of the current frame output by the image pickup apparatus 10 (step S100). Then, the image acquisition unit 101 outputs the acquired image data of the current frame to the distortion correction unit 111.
続いて、情報取得部１０２は、センサ２０により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を取得する（ステップＳ１０１）。そして、情報取得部１０２は、取得した人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報を、歪み補正部１１１および位置合わせ部１０３に出力する。
Subsequently, the information acquisition unit 102 acquires information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 based on the respective information output by the sensor 20 (step S101). Then, the information acquisition unit 102 outputs the acquired information on the position of the artificial satellite AS and the imaging direction of the imaging device 10 to the distortion correction unit 111 and the alignment unit 103.
続いて、歪み補正部１１１は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された現在フレームに写された被写体像の歪みを補正する（ステップＳ１１１）。歪み補正部１１１は、被写体像の歪みを補正した現在補正フレームの画像データを、位置合わせ部１０３に出力する。
Subsequently, the distortion correction unit 111 is the subject captured in the current frame output by the image acquisition unit 101 based on the information on the position of the artificial satellite AS output by the information acquisition unit 102 and the imaging direction of the image pickup device 10. The distortion of the image is corrected (step S111). The distortion correction unit 111 outputs the image data of the current correction frame that has corrected the distortion of the subject image to the alignment unit 103.
続いて、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、歪み補正部１１１により出力された現在補正フレームに写された主要被写体と、不図示の画像データ保存部に保存している前補正フレームに写された同じ主要被写体との位置を合わせる（ステップＳ１０２）。そして、位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、前補正フレームおよび現在補正フレームの画像データとを、差分識別部１０４に出力する。また、位置合わせ部１０３は、現在補正フレームの画像データを、不図示の画像データ保存部に保存（前補正フレームの更新であってもよい）する。
Subsequently, the alignment unit 103 is copied to the current correction frame output by the distortion correction unit 111 based on the information on the position of the artificial satellite AS and the image pickup direction of the image pickup device 10 output by the information acquisition unit 102. The position of the main subject and the same main subject captured in the pre-correction frame stored in the image data storage unit (not shown) is aligned (step S102). Then, the alignment unit 103 includes information on the alignment of the main subject, information on the position of the artificial satellite AS output by the information acquisition unit 102 and the image pickup direction of the image pickup apparatus 10, and the pre-correction frame and the current correction frame. The image data is output to the difference identification unit 104. Further, the alignment unit 103 saves the image data of the current correction frame in an image data storage unit (not shown) (may be an update of the pre-correction frame).
続いて、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける差分を識別する（ステップＳ１０３）。より具体的には、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける重複部分内の差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、現在補正フレームの画像データとを、画像データ抽出部１０５に出力する。
Subsequently, the difference identification unit 104 identifies the difference in the image data between the pre-correction frame and the current correction frame output by the alignment unit 103 (step S103). More specifically, the difference identification unit 104 identifies the difference between the non-overlapping portions in the image data between the pre-correction frame and the current correction frame output by the alignment unit 103. Further, the difference identification unit 104 identifies the difference (change) in the overlapping portion in the image data between the pre-correction frame and the current correction frame output by the alignment unit 103. The difference identification unit 104 includes information indicating the range of image data of the identified non-overlapping portion, information indicating the difference (change) of the identified overlapping portion, and the position and imaging of the artificial satellite AS output by the alignment unit 103. The information on the imaging direction of the device 10 and the image data of the current correction frame are output to the image data extraction unit 105.
続いて、画像データ抽出部１０５は、差分識別部１０４により出力された情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、動画像受信装置２１０に送信する現在補正フレームの画像データを抽出する（ステップＳ１０４）。より具体的には、画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部１０５は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した現在補正フレームにおける非重複部分の画像データと、抽出した現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、通信部１０６に出力する。
Subsequently, the image data extraction unit 105 transmits the image data of the current correction frame output by the difference identification unit 104 to the moving image receiving device 210 based on the information output by the difference identification unit 104. Image data is extracted (step S104). More specifically, the image data extraction unit 105 is the image data of the current correction frame output by the difference identification unit 104 based on the information representing the range of the image data of the non-overlapping portion output by the difference identification unit 104. The image data of the non-overlapping part is extracted from. Further, the image data extraction unit 105 is within the overlap portion from the image data of the current correction frame output by the difference identification unit 104 based on the information representing the difference (change) of the overlap portion output by the difference identification unit 104. Extract image data with a difference (change) in. The image data extraction unit 105 includes image data of the non-overlapping portion in the extracted current correction frame, information representing the image data and position in the overlapping portion in the extracted current correction frame, and an artificial satellite output by the difference identification unit 104. Information on the position of the AS and the imaging direction of the imaging device 10 is output to the communication unit 106.
続いて、通信部１０６は、画像データ抽出部１０５により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とを含む伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、動画像受信装置２１０に送信させる（ステップＳ１０５）。
Subsequently, the communication unit 106 includes image data of the non-overlapping portion in the current correction frame output by the image data extraction unit 105, image data representing the image data and position in the overlapping portion in the current correction frame, and information indicating the position of the artificial satellite AS. Transmission data including information on the position and the imaging direction of the imaging device 10 is generated. Then, the communication unit 106 outputs the generated transmission data to the antenna 30 and causes the moving image receiving device 210 to transmit the generated data (step S105).
このような構成および処理によって、人工衛星ＡＳが備える動画像送信装置１１０は、撮像装置１０により撮像された動画像のフレームに写された被写体像の歪みを補正する。そして、動画像送信装置１１０は、被写体像の歪みを補正した補正フレームの画像データのデータ量を削減（圧縮）させて、地上局ＧＳ（より具体的には、動画像受信装置２１０）に送信する。
With such a configuration and processing, the moving image transmitting device 110 included in the artificial satellite AS corrects the distortion of the subject image captured in the frame of the moving image captured by the imaging device 10. Then, the moving image transmitting device 110 reduces (compresses) the amount of image data of the correction frame corrected for the distortion of the subject image, and transmits the moving image transmitting device 110 to the ground station GS (more specifically, the moving image receiving device 210). To do.
［動画像受信装置２１０の構成および動作］
以下、動画像受信装置２１０の構成について説明する。なお、動画像受信装置２１０が備える構成要素には、第１実施形態の動画像受信装置２００が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像受信装置２１０の構成要素において、第１実施形態の動画像受信装置２００の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。なお、動画像受信装置２１０が備える第１実施形態の動画像受信装置２００の構成要素と同様の構成要素の動作は、例えば、「前フレーム」を「前補正フレーム」に置き換え、「現在フレーム」を「現在補正フレーム」に置き換えることによって容易に理解することができる。
[Configuration and operation of moving image receiving device 210]
Hereinafter, the configuration of the moving image receiving device 210 will be described. The components included in the moving image receiving device 210 include the same components as those included in the moving image receiving device 200 of the first embodiment. Therefore, in the following description, in the components of the moving image receiving device 210, the same components as the components of the moving image receiving device 200 of the first embodiment are given the same reference numerals, and the respective components are assigned the same reference numerals. The detailed explanation about is omitted. The operation of the same component as the component of the moving image receiving device 200 of the first embodiment included in the moving image receiving device 210 is, for example, replacing the "previous frame" with the "pre-correction frame" and replacing the "pre-correction frame" with the "current frame". Can be easily understood by replacing with "current correction frame".
図１３は、第２実施形態に係る動画像伝送システム２が備える動画像受信装置２１０の構成の一例を示す図である。図１３に示した動画像受信装置２１０は、例えば、通信部２０１と、画像生成部２０２と、画像保存部２０３と、歪み再現部２１１と、を備える。なお、図１３にも、動画像受信装置２１０に関連する構成要素であるアンテナ４０および表示装置５０も併せて示している。
FIG. 13 is a diagram showing an example of the configuration of the moving image receiving device 210 included in the moving image transmission system 2 according to the second embodiment. The moving image receiving device 210 shown in FIG. 13 includes, for example, a communication unit 201, an image generation unit 202, an image storage unit 203, and a distortion reproduction unit 211. Note that FIG. 13 also shows the antenna 40 and the display device 50, which are components related to the moving image receiving device 210.
通信部２０１は、アンテナ４０が受信した人工衛星ＡＳにより送出された無線信号の電波が表す伝送データを取得し、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。
The communication unit 201 acquires the transmission data represented by the radio wave of the radio signal transmitted by the artificial satellite AS received by the antenna 40, and the image data of the non-overlapping portion in the current correction frame included in the acquired transmission data and the current correction. The information representing the image data and the position in the overlapping portion in the frame and the information on the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 are output to the image generation unit 202.
画像生成部２０２は、通信部２０１により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とに基づいて、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の現在補正フレームを再現させた合成フレーム（以下、「合成補正フレーム」という）を生成する。画像生成部２０２は、生成した現在補正フレームに対応する合成補正フレームを、撮像装置１０が撮像した動画像の次のフレームを再現させるために用いる前補正フレームを再現させた合成補正フレーム（以下、「既合成補正フレーム」という）として、画像保存部２０３に保存させる。また、画像生成部２０２は、生成した現在補正フレームに対応する合成補正フレームと、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とのそれぞれを、歪み再現部２１１に出力する。
The image generation unit 202 includes image data of the non-overlapping portion in the current correction frame output by the communication unit 201, information representing the image data and position in the overlapping portion in the current correction frame, and the position and imaging device of the artificial satellite AS. Based on the information of the imaging direction of 10, a composite frame (hereinafter, referred to as “composite correction frame”) that reproduces the current correction frame of the moving image captured by the imaging device 10 mounted on the artificial satellite AS is generated. The image generation unit 202 uses the composite correction frame corresponding to the generated current correction frame to reproduce the pre-correction frame used to reproduce the next frame of the moving image captured by the image pickup apparatus 10 (hereinafter referred to as a composite correction frame). It is stored in the image storage unit 203 as a "composite correction frame"). Further, the image generation unit 202 displays the composite correction frame corresponding to the generated current correction frame and the information on the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 output by the communication unit 201, respectively, as a distortion reproduction unit. Output to 211.
画像保存部２０３は、既合成補正フレームの画像データの保存（更新も含む）をする。
The image storage unit 203 stores (including updates) the image data of the already-combined correction frame.
歪み再現部２１１は、画像生成部２０２により出力された合成補正フレームと、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる。つまり、歪み再現部２１１は、撮像装置１０により撮像された現在フレームに写された被写体像に発生している歪みを再現させる。歪み再現部２１１が合成補正フレームに写された被写体像の歪みを再現させる方法は、動画像送信装置１１０が備える歪み補正部１１１がフレームに写された被写体像の歪みを補正する方法を逆に考えた方法である。このため、例えば、現在フレームに写された被写体像に発生している歪みを再現させるための歪み再現量は、上式（２）〜上式（５）のそれぞれの式で表される歪み補正量と逆の演算を行う式で表すことができる。従って、歪み再現部２１１が合成補正フレームに写された被写体像の歪みを再現させる方法に関する詳細な説明は省略する。歪み再現部２１１は、被写体像の歪みを再現させた合成補正フレーム（以下、「合成再現フレーム」という）を、表示装置５０に出力する。これにより、表示装置５０は、画像生成部２０２により被写体像の歪みが再現された動画像における合成再現フレームを表示する。
The distortion reproduction unit 211 refers to the subject image projected on the composite correction frame based on the composite correction frame output by the image generation unit 202 and the information on the position of the artificial satellite AS and the imaging direction of the imaging device 10. Reproduce the distortion. That is, the distortion reproduction unit 211 reproduces the distortion generated in the subject image captured in the current frame imaged by the image pickup apparatus 10. The method in which the distortion reproduction unit 211 reproduces the distortion of the subject image captured in the composite correction frame is the reverse of the method in which the distortion correction unit 111 included in the moving image transmission device 110 corrects the distortion of the subject image captured in the frame. This is the method I thought about. Therefore, for example, the amount of distortion reproduction for reproducing the distortion occurring in the subject image currently projected on the frame is the distortion correction represented by each of the above equations (2) to (5). It can be expressed by an expression that performs an operation opposite to the quantity. Therefore, detailed description of the method by which the distortion reproduction unit 211 reproduces the distortion of the subject image projected on the composite correction frame will be omitted. The distortion reproduction unit 211 outputs a composite correction frame (hereinafter, referred to as “composite reproduction frame”) that reproduces the distortion of the subject image to the display device 50. As a result, the display device 50 displays the composite reproduction frame in the moving image in which the distortion of the subject image is reproduced by the image generation unit 202.
なお、歪み再現部２１１は、例えば、ＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）（不図示）を備え、被写体像の歪みを再現させた合成再現フレームの画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、不図示の記憶装置に保存された複数の合成再現フレームを表示装置５０に出力することにより、撮像装置１０により撮像された動画像を表示装置５０に繰り返し表示させることができる。
The distortion reproduction unit 211 includes, for example, a storage device (a storage device including a non-transient storage medium) (not shown) such as an HDD or a flash memory, and is a composite reproduction frame that reproduces the distortion of the subject image. The image data may be sequentially saved as image data of each frame constituting the moving image. In this case, by outputting a plurality of composite reproduction frames stored in a storage device (not shown) to the display device 50, the moving image captured by the image pickup device 10 can be repeatedly displayed on the display device 50.
以下、動画像受信装置２１０の動作について説明する。図１４は、第２実施形態に係る動画像受信装置２１０における画像データの受信処理の流れの一例を示すフローチャートである。図１４に示したフローチャートの処理も、第１実施形態の動画像受信装置２００における画像データの受信処理の流れと同様に、人工衛星ＡＳにより送信された、動画像を構成する１つの補正フレームに対応する伝送データを受信するごと（例えば、撮像装置１０のフレームレートの時間間隔ごと）に繰り返し実行される。なお、図１４に示したフローチャートでは、図８に示した第１実施形態の動画像受信装置２００のフローチャートの処理と同様の処理には同じステップ番号を付与している。
Hereinafter, the operation of the moving image receiving device 210 will be described. FIG. 14 is a flowchart showing an example of the flow of image data reception processing in the moving image receiving device 210 according to the second embodiment. The processing of the flowchart shown in FIG. 14 is also the same as the flow of the image data reception processing in the moving image receiving device 200 of the first embodiment, in one correction frame constituting the moving image transmitted by the artificial satellite AS. It is repeatedly executed every time the corresponding transmission data is received (for example, every time interval of the frame rate of the image pickup apparatus 10). In the flowchart shown in FIG. 14, the same step number is assigned to the same processing as the processing of the flowchart of the moving image receiving device 200 of the first embodiment shown in FIG.
なお、以下の説明においては、動画像受信装置２１０において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）を補正した前補正フレームに対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置２１０が備える画像保存部２０３に、前補正フレームに対応する既合成補正フレームの画像データが保存されている状態であるものとする。そして、図１４に示したフローチャートの説明では、人工衛星ＡＳにより送信された撮像装置１０により以降に撮像されたフレームを補正した補正フレーム（現在補正フレーム）に対応する伝送データを受信して、現在補正フレームに対応する合成再現フレームを生成する場合の動作を説明する。
In the following description, in the moving image receiving device 210, the transmission data corresponding to the pre-correction frame obtained by correcting the frame (pre-frame) previously imaged by the image pickup device 10 in time has already been received. That is, it is assumed that the image data of the already-combined correction frame corresponding to the pre-correction frame is stored in the image storage unit 203 included in the moving image receiving device 210. Then, in the explanation of the flowchart shown in FIG. 14, the transmission data corresponding to the correction frame (current correction frame) obtained by correcting the frame imaged thereafter by the image pickup device 10 transmitted by the artificial satellite AS is received, and the present transmission data is present. The operation when generating the composite reproduction frame corresponding to the correction frame will be described.
アンテナ４０が人工衛星ＡＳにより送信された伝送データの無線信号の電波を受信すると、通信部２０１は、アンテナ４０が受信した無線信号の電波が表す伝送データを取得する（ステップＳ２００）。そして、通信部２０１は、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。
When the antenna 40 receives the radio wave of the radio signal of the transmission data transmitted by the artificial satellite AS, the communication unit 201 acquires the transmission data represented by the radio wave of the radio signal received by the antenna 40 (step S200). Then, the communication unit 201 includes image data of the non-overlapping portion in the current correction frame included in the acquired transmission data, information representing the image data and position in the overlapping portion in the current correction frame, and the position and imaging of the artificial satellite AS. Each of the information on the imaging direction of the device 10 is output to the image generation unit 202.
続いて、画像生成部２０２は、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像保存部２０３に保存されている前補正フレームに対応する既合成補正フレームから、重複部分の画像データを抽出する（ステップＳ２０１）。
Subsequently, the image generation unit 202 has already corresponded to the pre-correction frame stored in the image storage unit 203 based on the information of the position of the artificial satellite AS and the image pickup direction of the image pickup device 10 output by the communication unit 201. The image data of the overlapping portion is extracted from the composite correction frame (step S201).
続いて、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在補正フレームにおける非重複部分の画像データとを合わせて、現在補正フレームを再現させた合成補正フレームを生成する（ステップＳ２０２）。
Subsequently, the image generation unit 202 combines the extracted image data with the image data of the non-overlapping portion of the current correction frame output by the communication unit 201 to generate a composite correction frame that reproduces the current correction frame. (Step S202).
続いて、画像生成部２０２は、生成した合成補正フレームに含まれる重複部分内の画像データに対して、通信部２０１により出力された現在補正フレームにおける重複部分内の画像データの差分（変化）を反映させて、最終的な合成補正フレームを生成する（ステップＳ２０３）。そして、画像生成部２０２は、生成した最終的な合成補正フレームと、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とのそれぞれを、歪み再現部２１１に出力する。また、画像生成部２０２は、最終的な合成補正フレームの画像データを、既合成補正フレームとして、画像保存部２０３に保存させる。
Subsequently, the image generation unit 202 calculates the difference (change) of the image data in the overlapping portion in the current correction frame output by the communication unit 201 with respect to the image data in the overlapping portion included in the generated composite correction frame. This is reflected to generate a final composite correction frame (step S203). Then, the image generation unit 202 outputs each of the generated final composite correction frame and the information on the position of the artificial satellite AS and the image pickup direction of the image pickup apparatus 10 output by the communication unit 201 to the distortion reproduction unit 211. To do. Further, the image generation unit 202 stores the image data of the final composite correction frame in the image storage unit 203 as a ready-composite correction frame.
続いて、歪み再現部２１１は、画像生成部２０２により出力された合成補正フレームと、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる（ステップＳ２１３）。
Subsequently, the distortion reproduction unit 211 is a subject image projected on the composite correction frame based on the composite correction frame output by the image generation unit 202 and information on the position of the artificial satellite AS and the imaging direction of the imaging device 10. (Step S213).
続いて、歪み再現部２１１は、被写体像の歪みを再現させた合成再現フレームを、表示装置５０に出力する（ステップＳ２０４）。これにより、表示装置５０は、画像生成部２０２により被写体像の歪みが再現された動画像における合成再現フレームを表示する。
Subsequently, the distortion reproduction unit 211 outputs a composite reproduction frame that reproduces the distortion of the subject image to the display device 50 (step S204). As a result, the display device 50 displays the composite reproduction frame in the moving image in which the distortion of the subject image is reproduced by the image generation unit 202.
このような構成および処理によって、地上局ＧＳが備える動画像受信装置２１０は、人工衛星ＡＳが備える動画像送信装置１１０によりデータ量が削減（圧縮）されて送信されてきた現在補正フレームの画像データから、撮像装置１０により撮像された動画像の現在フレームを再現させた合成再現フレームの画像データを生成して、表示装置５０に表示させる。
With such a configuration and processing, the moving image receiving device 210 included in the ground station GS has the image data of the current correction frame transmitted by reducing (compressing) the amount of data by the moving image transmitting device 110 included in the artificial satellite AS. Therefore, image data of a composite reproduction frame that reproduces the current frame of the moving image captured by the image pickup device 10 is generated and displayed on the display device 50.
上述したように、第２実施形態の動画像伝送システム２では、動画像送信装置１１０が、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。そして、第２実施形態の動画像伝送システム２でも、動画像送信装置１１０が、第１実施形態の動画像送信装置１００と同様に、被写体像の歪みを補正した後の連続した２つの補正フレーム間で差分（変化）がある画像データを抽出することにより、動画像のそれぞれの補正フレームの画像データのデータ量を削減（圧縮）させる。そして、第２実施形態の動画像伝送システム２でも、動画像送信装置１１０が、第１実施形態の動画像受信装置２００と同様に、データ量を削減（圧縮）させた動画像のそれぞれの補正フレームの画像データを含む伝送データを動画像受信装置２１０に送信して、写されている被写体像の歪みが補正された動画像のそれぞれの合成補正フレームを生成する。そして、第２実施形態の動画像伝送システム２では、動画像受信装置２１０が、生成した合成補正フレームに写された被写体像に対して、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像に発生している歪みを再現させる。
As described above, in the moving image transmission system 2 of the second embodiment, the moving image transmitting device 110 corrects the distortion of the subject image captured in each frame constituting the moving image captured by the imaging device 10. .. Then, also in the moving image transmission system 2 of the second embodiment, the moving image transmitting device 110 corrects the distortion of the subject image after the moving image transmitting device 110 corrects the distortion of the subject image, as in the case of the moving image transmitting device 100 of the first embodiment. By extracting the image data having a difference (change) between them, the amount of image data of each correction frame of the moving image is reduced (compressed). Then, also in the moving image transmission system 2 of the second embodiment, the moving image transmitting device 110 corrects each of the moving images in which the amount of data is reduced (compressed), similarly to the moving image receiving device 200 of the first embodiment. The transmission data including the image data of the frame is transmitted to the moving image receiving device 210 to generate a composite correction frame for each moving image in which the distortion of the captured subject image is corrected. Then, in the moving image transmission system 2 of the second embodiment, the moving image receiving device 210 constitutes the moving image captured by the imaging device 10 with respect to the subject image captured in the generated composite correction frame. Reproduces the distortion that occurs in the subject image projected on the frame.
これにより、第２実施形態の動画像伝送システム２では、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像に歪みが発生している場合でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。そして、第２実施形態の動画像伝送システム２でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第２実施形態の動画像伝送システム２でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。
As a result, in the moving image transmission system 2 of the second embodiment, even when the subject image captured in each frame constituting the moving image captured by the imaging device 10 is distorted, the first embodiment Similar to the moving image transmission system 1 of the above, it is possible to reduce the communication load required for transmitting the moving image captured by the imaging device 10 mounted on the artificial satellite AS. Then, the moving image transmission system 2 of the second embodiment also transmits the moving image even when the imaging device 10 mounted on the artificial satellite AS has a higher pixel count, as in the moving image transmission system 1 of the first embodiment. The rate at which the communication load required for this is increased can be suppressed to be lower than the rate at which the image data included in each frame of the moving image is increased due to the increase in the number of pixels. As a result, in the video transmission system 2 of the second embodiment as well as the video transmission system 1 of the first embodiment, it is easy to realize a high pixel count of the image pickup apparatus 10 mounted on the artificial satellite AS. Can be done.
上記に述べたとおり、各実施形態の動画像伝送システムによれば、人工衛星ＡＳが備える撮像装置１０により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減（圧縮）させて伝送する。これにより、各実施形態の動画像伝送システムでは、動画像送信装置と動画像受信装置との間で行う動画像の伝送における負荷を軽減し、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。
As described above, according to the moving image transmission system of each embodiment, the image data of the first frame in the moving image captured by the imaging device 10 included in the artificial satellite AS is transmitted as it is without processing. The image data of the subsequent frames is transmitted with the amount of data reduced (compressed). As a result, in the moving image transmission system of each embodiment, the load in the moving image transmission performed between the moving image transmitting device and the moving image receiving device is reduced, and the number of pixels of the imaging device 10 mounted on the artificial satellite AS is increased. Can be easily realized.
なお、上述したそれぞれの実施形態では、各実施形態の動画像伝送システムを構成する動画像受信装置が、動画像送信装置によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星が搭載する撮像装置が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する構成を説明した。しかし、動画像受信装置は、撮像装置が撮像した動画像のそれぞれのフレームを再現させる以外にも、動画像における種々のフレームを生成する構成にすることもできる。
In each of the above-described embodiments, the moving image receiving device constituting the moving image transmission system of each embodiment is based on the moving image image data transmitted in a state where the amount of data is reduced by the moving image transmitting device. , The configuration of generating a composite frame that reproduces each frame of the moving image captured by the imaging device mounted on the artificial satellite has been described. However, the moving image receiving device may be configured to generate various frames in the moving image in addition to reproducing each frame of the moving image captured by the imaging device.
［動画像受信装置が生成するフレームの一例］
ここで、動画像受信装置が生成する動画像のフレームの一例についていくつか説明する。なお、第１実施形態の動画像伝送システム１を構成する動画像受信装置２００と、第２実施形態の動画像伝送システム２を構成する動画像受信装置２１０とのいずれの動画像受信装置も同様に、動画像における種々のフレームを生成することができる。以下の説明においては、第１実施形態の動画像伝送システム１を構成する動画像受信装置２００が、動画像のフレームを再現させた複数の合成フレームに基づいて、他のフレームを生成するものとして説明する。
[Example of a frame generated by a moving image receiver]
Here, some examples of moving image frames generated by the moving image receiving device will be described. The same applies to any of the moving image receiving devices 200 constituting the moving image transmission system 1 of the first embodiment and the moving image receiving device 210 constituting the moving image transmitting system 2 of the second embodiment. In addition, various frames in the moving image can be generated. In the following description, it is assumed that the moving image receiving device 200 constituting the moving image transmission system 1 of the first embodiment generates another frame based on a plurality of composite frames that reproduce the moving image frame. explain.
図１５は、動画像受信装置２００において再現させたフレームに基づいて他のフレームを生成する動作の一例を模式的に示す図である。図１５には、動画像受信装置２００（より具体的には、画像生成部２０２）が再現させた連続する２つの合成フレームに基づいて、時間的に２つの合成フレームの中間に位置する新たなフレーム（以下、「中間フレーム」という）を生成する処理の一例を模式的に示している。
FIG. 15 is a diagram schematically showing an example of an operation of generating another frame based on the frame reproduced by the moving image receiving device 200. FIG. 15 shows a new composite frame that is temporally located between the two composite frames based on the two consecutive composite frames reproduced by the moving image receiving device 200 (more specifically, the image generation unit 202). An example of the process of generating a frame (hereinafter referred to as "intermediate frame") is schematically shown.
画像生成部２０２は、上述したように、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する（図４参照）。図１５には、動画像送信装置１００により送信された伝送データＤ２（図１５の左側の上段参照）を受信して、撮像装置１０により撮像されたフレームＦ２（図１５の左側の中段参照）再現した状態を示している。また、図１５には、動画像送信装置１００により送信された伝送データＤ３（図１５の右側の上段参照）を受信して、フレームＦ２よりも時間的に後に撮像装置１０により撮像されたフレームＦ３（図１５の右側の中段参照）再現した状態を示している。画像生成部２０２は、上述したように、再現したフレームＦ２とフレームＦ３とのそれぞれの合成フレームの画像データを、画像保存部２０３に保存させる。
As described above, the image generation unit 202 is imaged by the image pickup device 10 mounted on the artificial satellite AS from the image data of each frame transmitted with the data amount reduced (compressed) by the moving image transmission device 100. A composite frame that reproduces each frame of the generated moving image is generated (see FIG. 4). In FIG. 15, the transmission data D2 transmitted by the moving image transmitting device 100 (see the upper part on the left side of FIG. 15) is received, and the frame F2 (see the middle part on the left side of FIG. 15) captured by the imaging device 10 is reproduced. Shows the state of Further, in FIG. 15, the transmission data D3 transmitted by the moving image transmission device 100 (see the upper part on the right side of FIG. 15) is received, and the frame F3 imaged by the image pickup device 10 after the frame F2 in time. (See the middle row on the right side of FIG. 15) The reproduced state is shown. As described above, the image generation unit 202 stores the image data of the composite frame of the reproduced frame F2 and the frame F3 in the image storage unit 203.
その後、画像生成部２０２は、画像保存部２０３に保存させたフレームＦ２とフレームＦ３とに基づいて、時間的にフレームＦ２とフレームＦ３との中間に位置する新たな中間フレーム（図１５の中側の下段＝中間フレームＭ２参照）を生成する。画像生成部２０２が生成する中間フレームＭ２は、フレームＦ２に写された被写体像が、人工衛星ＡＳの移動に伴ってフレームＦ３に写されるまでに移動（変化）する中間的な位置に表されたフレームである。言い換えれば、中間フレームＭ２は、撮像装置１０が動画像を撮像するフレームレートの時間間隔を狭くした（つまり、フレームレートを高くした）場合に撮像されるフレームに相当するフレームである。画像生成部２０２は、生成した中間フレームＭ２の画像データも、フレームＦ２やフレームＦ３と同様に、画像保存部２０３に保存させる。
After that, the image generation unit 202 is based on the frame F2 and the frame F3 stored in the image storage unit 203, and a new intermediate frame (middle side of FIG. 15) located between the frame F2 and the frame F3 in terms of time. Lower row = see intermediate frame M2) is generated. The intermediate frame M2 generated by the image generation unit 202 is represented at an intermediate position where the subject image captured in the frame F2 moves (changes) until it is captured in the frame F3 with the movement of the artificial satellite AS. It is a frame. In other words, the intermediate frame M2 is a frame corresponding to a frame imaged when the time interval of the frame rate at which the image pickup apparatus 10 captures a moving image is narrowed (that is, the frame rate is increased). The image generation unit 202 also stores the generated image data of the intermediate frame M2 in the image storage unit 203 in the same manner as the frame F2 and the frame F3.
なお、画像生成部２０２における中間フレームＭ２の生成方法としては、例えば、フレームＦ２に写された被写体像の位置とフレームＦ３に写された被写体像の位置とを合わせる位置合わせを行ってフレームＦ２とフレームＦ３とを合成したフレームを生成し、生成したフレームの中心の位置を基準としてフレームＦ２またはフレームＦ３と同じ画角を切り出す方法などが考えられる。しかし、画像生成部２０２における中間フレームＭ２の生成方法は、上述したような方法に限定されない。
As a method of generating the intermediate frame M2 in the image generation unit 202, for example, the position of the subject image captured in the frame F2 and the position of the subject image captured in the frame F3 are aligned with the frame F2. A method of generating a frame obtained by combining the frame F3 and cutting out the same angle of view as the frame F2 or the frame F3 with reference to the position of the center of the generated frame can be considered. However, the method of generating the intermediate frame M2 in the image generation unit 202 is not limited to the method as described above.
このようにして、画像生成部２０２は、動画像送信装置１００により送信された伝送データＤを受信して再現した複数の合成フレームに基づいて、時間的に中間に位置する新たな中間フレームＭを生成する。そして、画像生成部２０２は、例えば、画像保存部２０３に保存されたそれぞれの合成フレームの間に中間フレームを挟んで表示装置５０に順次出力する。これにより、表示装置５０は、撮像装置１０が動画像を撮像するフレームレートよりも高いフレームレートの動画像、つまり、より滑らかな動画像を表示させることができる。
In this way, the image generation unit 202 generates a new intermediate frame M located in the middle in time based on a plurality of composite frames that receive and reproduce the transmission data D transmitted by the moving image transmitting device 100. Generate. Then, the image generation unit 202 sequentially outputs the intermediate frame to the display device 50 with an intermediate frame sandwiched between the composite frames stored in the image storage unit 203, for example. As a result, the display device 50 can display a moving image having a frame rate higher than the frame rate at which the imaging device 10 captures the moving image, that is, a smoother moving image.
図１６は、動画像受信装置２００において再現させたフレームに基づいて他のフレームを生成する動作の別の一例を模式的に示す図である。図１６には、動画像受信装置２００（より具体的には、画像生成部２０２）が再現させた連続する２つの合成フレームに基づいて、連続する２つの合成フレームのうち時間的に後の合成フレームよりもさらに時間を進めた（時間的にさらに後に位置する）新たなフレームを予測して生成する処理の一例を模式的に示している。以下の説明においては、動画像受信装置２００において予測して生成する、さらに時間を進めた新たなフレームを「予測フレーム」という。
FIG. 16 is a diagram schematically showing another example of an operation of generating another frame based on the frame reproduced by the moving image receiving device 200. In FIG. 16, based on the two consecutive composite frames reproduced by the moving image receiving device 200 (more specifically, the image generation unit 202), the composite of the two consecutive composite frames later in time. An example of the process of predicting and generating a new frame that is further advanced (positioned later in time) than the frame is schematically shown. In the following description, a new frame that is predicted and generated by the moving image receiving device 200 and further advanced in time is referred to as a “prediction frame”.
この場合も、画像生成部２０２は、上述したように、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する（図４参照）。図１６には、動画像送信装置１００により送信された伝送データＤ２（図１６の左側の上段参照）を受信して、撮像装置１０により撮像されたフレームＦ２（図１６の左側の下段参照）再現した状態を示している。また、図１６には、動画像送信装置１００により送信された伝送データＤ３（図１６の中側の上段参照）を受信して、フレームＦ２よりも時間的に後に撮像装置１０により撮像されたフレームＦ３（図１６の中側の下段参照）再現した状態を示している。画像生成部２０２は、上述したように、再現したフレームＦ２とフレームＦ３とのそれぞれの合成フレームの画像データを、画像保存部２０３に保存させる。
In this case as well, as described above, the image generation unit 202 captures images mounted on the artificial satellite AS from the image data of each frame transmitted by reducing (compressing) the amount of data by the moving image transmitting device 100. A composite frame that reproduces each frame of the moving image captured by the device 10 is generated (see FIG. 4). In FIG. 16, the transmission data D2 transmitted by the moving image transmitting device 100 (see the upper part on the left side of FIG. 16) is received, and the frame F2 (see the lower part on the left side of FIG. 16) captured by the imaging device 10 is reproduced. Shows the state of Further, in FIG. 16, a frame imaged by the image pickup device 10 after receiving the transmission data D3 (see the upper part in the middle of FIG. 16) transmitted by the moving image transmission device 100 and time after the frame F2. The reproduced state of F3 (see the lower part in the middle of FIG. 16) is shown. As described above, the image generation unit 202 stores the image data of the composite frame of the reproduced frame F2 and the frame F3 in the image storage unit 203.
その後、画像生成部２０２は、画像保存部２０３に保存させたフレームＦ２とフレームＦ３とに基づいて、フレームＦ３からさらに時間を進めたときに撮像装置１０により撮像されることが予測される予測フレーム（図１６の右側の下段＝予測フレームＰ３参照）を生成する。画像生成部２０２が生成する予測フレームＰ３は、フレームＦ３に写された被写体像が、人工衛星ＡＳが移動したことにより撮像装置１０が次に撮像する位置まで移動（変化）したことが表されたフレームである。つまり、予測フレームＰ３は、撮像装置１０が動画像を撮像する次のフレーム（例えば、フレームＦ４）に相当するフレームである。なお、予測フレームＰ３は、フレームＦ３に写された被写体像が、フレームＦ３とフレームＦ４との中間的な位置に表されたフレームであってもよい。画像生成部２０２は、生成した予測フレームＰ３の画像データも、フレームＦ２やフレームＦ３と同様に、画像保存部２０３に保存させる。
After that, the image generation unit 202 is predicted to be imaged by the image pickup apparatus 10 when the time is further advanced from the frame F3 based on the frame F2 and the frame F3 stored in the image storage unit 203. (Refer to the lower right side of FIG. 16 = prediction frame P3). The prediction frame P3 generated by the image generation unit 202 indicates that the subject image captured in the frame F3 has moved (changed) to the position where the image pickup apparatus 10 next images due to the movement of the artificial satellite AS. It is a frame. That is, the prediction frame P3 is a frame corresponding to the next frame (for example, frame F4) in which the image pickup apparatus 10 captures a moving image. The prediction frame P3 may be a frame in which the subject image projected on the frame F3 is represented at an intermediate position between the frame F3 and the frame F4. The image generation unit 202 also stores the generated image data of the prediction frame P3 in the image storage unit 203 in the same manner as the frame F2 and the frame F3.
なお、画像生成部２０２における予測フレームＰ３の生成方法としては、例えば、フレームＦ３に写された被写体像を、フレームＦ２に写された被写体像の位置とフレームＦ３に写された被写体像の位置との差分、つまり、人工衛星ＡＳが移動した移動量の分だけ全体的にずらす方法などが考えられる。この方法の場合、予測フレームＰ３には、フレームＦ３に写された被写体像を移動させたことにより、フレームＦ３と予測フレームＰ３とにおける非重複部分の画像データがなくなることになる。つまり、予測フレームＰ３の画像データには、人工衛星ＡＳの移動量に対応した範囲の画像データが含まれていないことになる。これは、現時点では、予測フレームＰ３におけるフレームＦ３との非重複部分の画像データが、例えば、フレームＦ４に対応する画像データが含まれる伝送データＤ４として動画像送信装置１００により送信されてきていないからである。このため、画像生成部２０２は、例えば、画像保存部２０３に保存している以前に再現したフレームＦ４など、予測フレームＰ３に写されるべき被写体像が写されているフレームＦから抽出した画像データを、フレームＦ３と予測フレームＰ３とにおける非重複部分の画像データとして合わせて（合成して）予測フレームＰ３を生成してもよい。しかし、画像生成部２０２における予測フレームＰ３の生成方法は、上述したような方法に限定されない。
As a method of generating the prediction frame P3 in the image generation unit 202, for example, the subject image captured in the frame F3 is divided into the position of the subject image captured in the frame F2 and the position of the subject image captured in the frame F3. That is, a method of shifting the total amount of movement of the artificial satellite AS by the amount of movement of the artificial satellite AS can be considered. In the case of this method, by moving the subject image projected on the frame F3 to the prediction frame P3, the image data of the non-overlapping portion between the frame F3 and the prediction frame P3 disappears. That is, the image data of the prediction frame P3 does not include the image data in the range corresponding to the movement amount of the artificial satellite AS. This is because, at present, the image data of the non-overlapping portion of the prediction frame P3 with the frame F3 has not been transmitted by the moving image transmission device 100 as transmission data D4 including the image data corresponding to the frame F4, for example. Is. Therefore, the image generation unit 202 is the image data extracted from the frame F in which the subject image to be copied in the prediction frame P3 is captured, for example, the previously reproduced frame F4 stored in the image storage unit 203. May be combined (combined) as image data of non-overlapping portions in the frame F3 and the prediction frame P3 to generate the prediction frame P3. However, the method of generating the prediction frame P3 in the image generation unit 202 is not limited to the method described above.
このようにして、画像生成部２０２は、動画像送信装置１００により送信された伝送データＤを受信して再現した複数の合成フレームに基づいて、時間的に後の合成フレームよりもさらに時間を進めた新たな予測フレームＰを生成する。これにより、画像生成部２０２は、生成した予測フレームＰに基づいて、予測フレームＰに対応するフレームＦの画像データが含まれる伝送データＤを実際に受信するまでの間に、受信した伝送データＤに対応する合成フレームの生成に必要な画像データを事前に準備しておくことができる。言い換えれば、画像生成部２０２は、それぞれのフレームＦの伝送データＤが動画像送信装置１００により送信されてくるごとに、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する処理を最初から始める必要がなくなる。これにより、画像生成部２０２では、伝送データＤを受信した後に、それぞれのフレームを再現させた合成フレームを生成するために要する処理時間の短縮を図り、動画像受信装置２００の処理速度の向上（高速化）を図ることができる。
In this way, the image generation unit 202 advances the time further than the later composite frame in terms of time based on the plurality of composite frames that receive and reproduce the transmission data D transmitted by the moving image transmission device 100. A new prediction frame P is generated. As a result, the image generation unit 202 receives the transmission data D before actually receiving the transmission data D including the image data of the frame F corresponding to the prediction frame P based on the generated prediction frame P. It is possible to prepare in advance the image data necessary for generating the composite frame corresponding to. In other words, each time the transmission data D of each frame F is transmitted by the moving image transmitting device 100, the image generation unit 202 transmits each frame of the moving image captured by the imaging device 10 mounted on the artificial satellite AS. It is no longer necessary to start the process of generating the reproduced composite frame from the beginning. As a result, the image generation unit 202 shortens the processing time required to generate a composite frame that reproduces each frame after receiving the transmission data D, and improves the processing speed of the moving image receiving device 200 (). (Speed up) can be achieved.
なお、上述したそれぞれの実施形態では、動画像伝送システムを構成する動画像送信装置および動画像受信装置が備えるそれぞれの構成要素が、処理対象のフレームの画像データを、人工衛星の位置や撮像装置の撮像方向の情報とともに、次に処理を行う構成要素に順次引き渡す構成を説明した。しかし、処理対象のフレームの画像データや、人工衛星の位置や撮像装置の撮像方向の情報は、それぞれの実施形態のように順次引き渡す構成に限定されない。例えば、動画像送信装置や動画像受信装置の中に、それぞれの処理段階の様々なデータを記憶する共有の記憶装置を備え、それぞれの構成要素が、共有の記憶装置から処理対象のデータを読み出して処理を行い、処理を行った後のデータを再び共有の記憶装置に書き込んで記憶させることにより、次に処理を行う構成要素に処理対象のデータを順次引き渡す構成であってもよい。この場合、それぞれの構成要素における共有の記憶装置からのデータの読み出しと、共有の記憶装置へのデータの書き込みは、例えば、共有の記憶装置が接続されている共通のデータバスを経由したＤＭＡ（Direct Memory Access）によって行ってもよい。
In each of the above-described embodiments, each component of the moving image transmitting device and the moving image receiving device constituting the moving image transmission system obtains the image data of the frame to be processed by the position of the artificial satellite and the imaging device. Along with the information on the imaging direction of, the configuration to be sequentially handed over to the components to be processed next was explained. However, the image data of the frame to be processed and the information on the position of the artificial satellite and the imaging direction of the imaging device are not limited to the configuration in which they are sequentially delivered as in the respective embodiments. For example, a moving image transmitting device or a moving image receiving device is provided with a shared storage device that stores various data at each processing stage, and each component reads data to be processed from the shared storage device. The data to be processed may be sequentially delivered to the component to be processed next by writing the processed data to the shared storage device again and storing the data. In this case, the reading of data from the shared storage device and the writing of data to the shared storage device in each component are performed, for example, by DMA (via the common data bus to which the shared storage device is connected). Direct Memory Access) may be used.
また、上述したそれぞれの実施形態では、人工衛星ＡＳが備える撮像装置１０が、二次元の行列状に画素が配置されている固体撮像素子を利用したデジタルカメラである場合について説明した。つまり、撮像装置１０が撮像する動画像を構成するそれぞれのフレームが、二次元画像である場合について説明した。そして、上述したそれぞれの実施形態では、撮像装置１０が取り付けられた可変機構が、人工衛星ＡＳの任意の箇所に取り付けられているが、撮像装置１０の撮像方向は一定の方向であるものとした場合について説明した。しかし、人工衛星ＡＳでは、可変機構により撮像装置１０の向きが変えられる、つまり、撮像装置１０の撮像方向が変えられることも考えられる。例えば、可変機構によって撮像装置１０の向きを３６０°回転させることにより、撮像装置１０が撮像した複数のフレームを組み合わせて全方位の撮像をすることが考えられる。この場合、撮像装置１０により撮像された動画像を構成する連続した２つのフレームには、撮像する方向が異なることにより、異なる被写体が写されることになる。なお、人工衛星ＡＳにおいて撮像装置１０が任意の箇所に固定して取り付けられている場合でも、人工衛星ＡＳの姿勢が変更された場合には同様に、異なる被写体が写されることになる。このような場合、動画像送信装置１００および動画像送信装置１１０が備える位置合わせ部１０３や差分識別部１０４における処理は、撮像装置１０が同じ方向を撮像した２つのフレーム間で行うことになる。しかし、このような場合におけるそれぞれの構成要素の処理は、上述したそれぞれの実施形態の説明から容易に理解することができる。従って、撮像装置１０により撮像された動画像を構成する連続した２つのフレームの撮像する方向が異なる場合におけるそれぞれの構成要素の処理に関する詳細な説明は省略する。
Further, in each of the above-described embodiments, the case where the image pickup device 10 included in the artificial satellite AS is a digital camera using a solid-state image pickup element in which pixels are arranged in a two-dimensional matrix has been described. That is, the case where each frame constituting the moving image captured by the imaging device 10 is a two-dimensional image has been described. Then, in each of the above-described embodiments, the variable mechanism to which the image pickup device 10 is attached is attached to an arbitrary position of the artificial satellite AS, but the image pickup direction of the image pickup device 10 is assumed to be a fixed direction. The case was explained. However, in the artificial satellite AS, it is conceivable that the direction of the imaging device 10 can be changed by the variable mechanism, that is, the imaging direction of the imaging device 10 can be changed. For example, it is conceivable to rotate the direction of the imaging device 10 by 360 ° by a variable mechanism to combine a plurality of frames imaged by the imaging device 10 to perform omnidirectional imaging. In this case, different subjects are captured in the two consecutive frames constituting the moving image captured by the imaging device 10 due to the different imaging directions. Even when the imaging device 10 is fixedly attached to an arbitrary position on the artificial satellite AS, a different subject is similarly photographed when the posture of the artificial satellite AS is changed. In such a case, the processing in the alignment unit 103 and the difference identification unit 104 included in the moving image transmitting device 100 and the moving image transmitting device 110 is performed between two frames in which the imaging device 10 images in the same direction. However, the processing of each component in such a case can be easily understood from the description of each of the above-described embodiments. Therefore, detailed description of the processing of each component when the imaging directions of the two consecutive frames constituting the moving image captured by the imaging device 10 are different will be omitted.
なお、全方位の撮像をする場合、上述したように、可変機構によって撮像装置１０の向きを３６０°回転させる構成以外にも、例えば、撮像装置自体が全方位（全天球）カメラであることも考えられる。この場合は１フレームで全方位が撮像されるため、上述したそれぞれの実施形態と同様の処理である。
In the case of omnidirectional imaging, in addition to the configuration in which the direction of the imaging device 10 is rotated by 360 ° by the variable mechanism as described above, for example, the imaging device itself is an omnidirectional (omnidirectional) camera. Is also possible. In this case, since all directions are imaged in one frame, the process is the same as in each of the above-described embodiments.
なお、上述したそれぞれの実施形態では、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとした場合について説明した。しかし、上述したように、移動体は、弾道飛行を行うロケットであってもよい。このロケットが多段式のロケットである場合、例えば、衛星搭載部など、人工衛星ＡＳが搭載された状態でロケットの上段部（最上段部）に結合されて打ち上げられ、人工衛星ＡＳを所定の周回軌道上に送出する機構も、地球の地表上空を周回すること（人工衛星ＡＳより短い時間である場合も含む）も考えられる。そして、このような衛星搭載部を、上述した人工衛星ＡＳと同様に動画像伝送システムの構成要素として機能させる、つまり、撮像装置１０や、センサ２０、動画像送信装置１００、アンテナ３０などを備える構成にすることも考えられる。また、多段式のロケットにおいて上述した上段部（最上段部）以外の機構は弾道飛行となるため、人工衛星ＡＳよりも遥かに短い時間とはなるが、同様に動画像伝送システムの構成要素として機能させることも考えられる。これらの場合においても、それぞれの構成要素の処理は、上述したそれぞれの実施形態と同様の処理である。
In each of the above-described embodiments, the case where the moving body is an artificial satellite that moves while orbiting a predetermined orbit over the earth's surface has been described. However, as described above, the moving body may be a rocket that performs ballistic flight. When this rocket is a multi-stage rocket, for example, the artificial satellite AS is mounted and launched by being coupled to the upper stage (top stage) of the rocket, and the artificial satellite AS orbits in a predetermined manner. It is also conceivable that the mechanism for sending the rocket in orbit orbits over the surface of the earth (including the case where the time is shorter than that of the artificial satellite AS). Then, such a satellite mounting unit functions as a component of the moving image transmission system in the same manner as the artificial satellite AS described above, that is, includes an imaging device 10, a sensor 20, a moving image transmitting device 100, an antenna 30, and the like. It is also possible to configure it. In addition, in a multi-stage rocket, the mechanism other than the above-mentioned upper stage (top stage) is ballistic flight, so the time is much shorter than that of the artificial satellite AS, but it is also a component of the moving image transmission system. It is also possible to make it work. Also in these cases, the processing of each component is the same processing as in each of the above-described embodiments.
なお、本発明における動画像伝送システムの構成要素である、動画像送信装置または動画像受信装置が備えるそれぞれの構成要素による機能や処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、動画像伝送システムにおける上述した種々の機能や処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
It should be noted that a program for realizing functions and processing by each component of the moving image transmitting device or moving image receiving device, which is a component of the moving image transmission system in the present invention, is recorded on a computer-readable recording medium. Then, the program recorded on the recording medium may be read into a computer system and executed to realize the various functions and processes described above in the moving image transmission system. The "computer system" referred to here may include hardware such as an OS and peripheral devices. In addition, the "computer system" includes the homepage providing environment (or display environment) if the WWW system is used. The "computer-readable recording medium" includes a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, and a hard disk built in a computer system. It refers to the storage device of.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
Furthermore, the "computer-readable recording medium" is a volatile memory inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)). It also includes those that hold the program for a certain period of time, such as Random Access Memory)). Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned function in combination with a program already recorded in the computer system.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.
