JP2019215702A - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP2019215702A
JP2019215702A JP2018112548A JP2018112548A JP2019215702A JP 2019215702 A JP2019215702 A JP 2019215702A JP 2018112548 A JP2018112548 A JP 2018112548A JP 2018112548 A JP2018112548 A JP 2018112548A JP 2019215702 A JP2019215702 A JP 2019215702A
Authority
JP
Japan
Prior art keywords
imaging device
image
time
reference image
relative value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018112548A
Other languages
Japanese (ja)
Inventor
孝行 浅井
Takayuki Asai
孝行 浅井
匠一郎 迫
Shoichiro Sako
匠一郎 迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018112548A priority Critical patent/JP2019215702A/en
Publication of JP2019215702A publication Critical patent/JP2019215702A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To suppress a decrease in measurement accuracy of relative orientation of an object to an imaging device.SOLUTION: An imaging device 10 comprises: a standard imaging device 20 fixed to a structure integrally with an inertial navigation device 30 and for imaging a part of a periphery of the structure; a reference imaging device 40 fixed to the structure and for imaging a part of the periphery of the structure so that a part of the captured image is included in the image captured by the standard imaging device 20; a feature point extraction unit 64 extracting feature points of images of the standard imaging device 20 and the reference imaging device 40; and a relative value derivation unit 66 deriving a relative value of a feature point position of an image of the reference imaging device 40 to a feature point position of an image of the standard imaging device 20.SELECTED DRAWING: Figure 2

Description

本発明は、複数の撮像装置で撮像された画像を処理する画像処理装置に関する。   The present invention relates to an image processing device that processes images captured by a plurality of imaging devices.

特許文献１には、撮像方向が異なる複数の撮像装置によって撮像された各画像を単に合成する技術が開示されている。   Patent Literature 1 discloses a technique of simply combining images captured by a plurality of imaging devices having different imaging directions.

特開２００７−１１０５７２号公報JP-A-2007-110572

ところで、航空機の翼は、乱気流などのような翼にかかる力を分散させたり翼が受ける衝撃を減らすために、しなやかな構造体で構成されている。このような構造体に撮像装置が固定されると、構造体が撓んだり変形することによって、撮像装置の視軸（光軸）がずれる。撮像装置の視軸がずれると、撮像された画像に基づいて撮像装置（例えば、自機）に対する対象物（例えば、他機など）の相対方位を測定する際の測定精度（測角精度）が低下する。   By the way, the wing of an aircraft is formed of a flexible structure in order to disperse the force applied to the wing such as turbulence or reduce the impact applied to the wing. When the imaging device is fixed to such a structure, the visual axis (optical axis) of the imaging device is shifted by bending or deforming the structure. When the visual axis of the imaging device is shifted, the measurement accuracy (angle measurement accuracy) when measuring the relative orientation of the target (for example, another device) with respect to the imaging device (for example, own device) based on the captured image is increased. descend.

そこで、本発明は、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することが可能な画像処理装置を提供することを目的とする。   Therefore, an object of the present invention is to provide an image processing apparatus capable of suppressing a decrease in measurement accuracy of a relative orientation of an object with respect to an imaging device.

上記課題を解決するために、本発明の画像処理装置は、慣性航法装置と一体的に構造体に固定されて構造体の周囲の一部を撮像する基準撮像装置と、構造体に固定され、撮像された画像の一部が基準撮像装置で撮像された画像に含まれるように構造体の周囲の一部を撮像する参照撮像装置と、基準撮像装置の画像および参照撮像装置の画像の特徴点をそれぞれ抽出する特徴点抽出部と、基準撮像装置の画像の特徴点の位置に対する参照撮像装置の画像の特徴点の位置の相対値を導出する相対値導出部と、を備える。   In order to solve the above problem, an image processing apparatus of the present invention is fixed to a structure integrally with an inertial navigation device, and a reference imaging device that captures a part of the periphery of the structure, and is fixed to the structure, A reference imaging device for imaging a part around the structure such that a part of the captured image is included in the image captured by the reference imaging device, and feature points of the image of the reference imaging device and the image of the reference imaging device And a relative value deriving unit that derives a relative value of the position of the feature point of the image of the reference imaging device with respect to the position of the feature point of the image of the reference imaging device.

また、撮像時刻が異なる参照撮像装置の複数の画像について導出された複数の相対値に基づいて、基準撮像装置の画像と同時刻における相対値を導出する相対値補間部を備えてもよい。   Also, a relative value interpolating unit that derives a relative value at the same time as the image of the reference imaging device based on a plurality of relative values derived for a plurality of images of the reference imaging device having different imaging times may be provided.

また、導出された相対値に基づいて、参照撮像装置の画像と基準撮像装置の画像とを各特徴点が重なるように合成する画像合成部を備えてもよい。   Further, an image synthesizing unit may be provided for synthesizing an image of the reference imaging device and an image of the reference imaging device such that each feature point overlaps based on the derived relative value.

本発明によれば、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to suppress that the measurement precision of the relative orientation of a target object with respect to an imaging device falls.

航空機の構成を示す斜視図である。It is a perspective view showing composition of an aircraft. 本実施形態による画像処理装置の構成を説明する説明図である。FIG. 1 is an explanatory diagram illustrating a configuration of an image processing apparatus according to an embodiment. 基準撮像装置で撮像された画像と、参照撮像装置で撮像された画像との関係を説明する説明図である。FIG. 4 is an explanatory diagram illustrating a relationship between an image captured by a reference imaging device and an image captured by a reference imaging device. 参照撮像装置の視軸がずれたときの画像を説明する説明図である。FIG. 9 is an explanatory diagram illustrating an image when a visual axis of a reference imaging device is shifted. 特徴点抽出部について説明する説明図である。FIG. 4 is an explanatory diagram illustrating a feature point extraction unit. 相対値導出部について説明する説明図である。FIG. 9 is an explanatory diagram illustrating a relative value deriving unit. 画像合成部について説明する説明図である。FIG. 4 is an explanatory diagram illustrating an image combining unit. 基準画像の撮像時刻および参照画像の撮像時刻を説明する説明図である。FIG. 4 is an explanatory diagram illustrating the imaging time of a reference image and the imaging time of a reference image. 時刻合わせ部について説明する説明図である。FIG. 4 is an explanatory diagram illustrating a time setting unit. 相対値補間部について説明する説明図である。FIG. 4 is an explanatory diagram illustrating a relative value interpolation unit. 処理部の動作を説明するフローチャートである。5 is a flowchart illustrating an operation of a processing unit.

以下に添付図面を参照しながら、本発明の実施形態の一態様について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

図１は、航空機１の構成を示す斜視図である。本実施形態による画像処理装置１０は、例えば、航空機１に適用される。図２は、本実施形態による画像処理装置１０の構成を説明する説明図である。図２では、信号の流れを破線の矢印で示す。   FIG. 1 is a perspective view illustrating a configuration of the aircraft 1. The image processing device 10 according to the present embodiment is applied to, for example, the aircraft 1. FIG. 2 is an explanatory diagram illustrating the configuration of the image processing apparatus 10 according to the present embodiment. In FIG. 2, the flow of the signal is indicated by a dashed arrow.

図２に示すように、画像処理装置１０は、基準撮像装置２０、慣性航法装置３０、参照撮像装置４０、アイソレータ５０、処理部６０を含んで構成される。以後、基準撮像装置２０と参照撮像装置４０とを総称して、撮像装置と呼ぶことがある。   As shown in FIG. 2, the image processing apparatus 10 includes a reference imaging apparatus 20, an inertial navigation apparatus 30, a reference imaging apparatus 40, an isolator 50, and a processing unit 60. Hereinafter, the reference imaging device 20 and the reference imaging device 40 may be collectively referred to as an imaging device.

基準撮像装置２０は、慣性航法装置３０と一体的に航空機１の胴体２に固定される。胴体２は、航空機１を構成する構造体である。基準撮像装置２０は、撮像方向を示す視軸（光軸）が航空機１の前方に延びるように固定される。基準撮像装置２０は、航空機１の前方を所定の画角（視野角）で撮像する。   The reference imaging device 20 is fixed to the fuselage 2 of the aircraft 1 integrally with the inertial navigation device 30. The fuselage 2 is a structure constituting the aircraft 1. The reference imaging device 20 is fixed such that a visual axis (optical axis) indicating an imaging direction extends forward of the aircraft 1. The reference imaging device 20 images the front of the aircraft 1 at a predetermined angle of view (viewing angle).

慣性航法装置３０は、例えば、ＩＮＵ（Inertial Navigation Unit）である。慣性航法装置３０は、基準撮像装置２０の姿勢および移動態様を検出する。基準撮像装置２０の姿勢は、具体的には、基準撮像装置２０における互いに直交する３軸の各軸周りの角度（ロール、ピッチ、ヨー）である。基準撮像装置２０の移動態様は、例えば、基準撮像装置２０における互いに直交する３軸の各軸方向の加速度、速度および距離などである。例えば、慣性航法装置３０は、基準撮像装置２０の各軸方向の加速度を検出する加速度計と、基準撮像装置２０の各軸周りの角速度を検出する角速度計とを含んで構成される。   The inertial navigation device 30 is, for example, an INU (Inertial Navigation Unit). The inertial navigation device 30 detects the attitude and the movement mode of the reference imaging device 20. Specifically, the attitude of the reference imaging device 20 is an angle (roll, pitch, yaw) around each of three mutually orthogonal axes in the reference imaging device 20. The movement mode of the reference imaging device 20 is, for example, acceleration, speed, distance, and the like in each of three orthogonal directions in the reference imaging device 20. For example, the inertial navigation device 30 is configured to include an accelerometer for detecting acceleration in each axis direction of the reference imaging device 20 and an gyro for detecting angular velocities around each axis of the reference imaging device 20.

画像処理装置１０は、基準撮像装置２０が慣性航法装置３０と一体的に固定されているため、慣性航法装置３０によって検出される基準撮像装置２０の姿勢および移動態様に基づいて、基準撮像装置２０の視軸の絶対方位を導出することが可能である。   Since the reference imaging device 20 is integrally fixed to the inertial navigation device 30, the image processing device 10 uses the reference imaging device 20 based on the attitude and the movement mode of the reference imaging device 20 detected by the inertial navigation device 30. Can be derived.

図１に示すように、航空機１には、２個の参照撮像装置４０が設けられている。参照撮像装置４０は、航空機１の翼４に設けられる。翼４は、航空機１を構成する構造体である。具体的には、一方の参照撮像装置４０は、右翼に設けられており、他方の参照撮像装置４０は、左翼に設けられている。図２では、一方の参照撮像装置４０（右翼に設けられている参照撮像装置４０）を例示している。図２では、基準撮像装置２０および参照撮像装置４０の撮像方向が、紙面の奥に向かう方向となっている。なお、参照撮像装置４０の数は、２個に限らず、１個でもよいし、３個以上であってもよい。   As shown in FIG. 1, the aircraft 1 is provided with two reference imaging devices 40. The reference imaging device 40 is provided on the wing 4 of the aircraft 1. The wing 4 is a structure constituting the aircraft 1. Specifically, one reference imaging device 40 is provided on the right wing, and the other reference imaging device 40 is provided on the left wing. FIG. 2 illustrates one reference imaging device 40 (reference imaging device 40 provided on the right wing). In FIG. 2, the imaging directions of the reference imaging device 20 and the reference imaging device 40 are directions toward the depth of the paper. Note that the number of reference imaging devices 40 is not limited to two, and may be one or three or more.

参照撮像装置４０は、慣性航法装置３０と一体的に固定されていない撮像装置である。参照撮像装置４０は、アイソレータ５０を介して航空機１の翼４に固定される。アイソレータ５０は、例えば、ゴムやバネなどの弾性体によって構成される。アイソレータ５０は、翼４の微振動を減衰して参照撮像装置４０に伝わることを抑制する。   The reference imaging device 40 is an imaging device that is not fixed integrally with the inertial navigation device 30. The reference imaging device 40 is fixed to the wing 4 of the aircraft 1 via the isolator 50. The isolator 50 is made of, for example, an elastic body such as rubber or a spring. The isolator 50 attenuates the micro-vibration of the wing 4 and suppresses it from being transmitted to the reference imaging device 40.

参照撮像装置４０は、視軸が基準撮像装置２０の視軸と異なるように航空機１に固定される。例えば、右翼に設けられる参照撮像装置４０の視軸は、基準撮像装置２０の視軸に対して進行方向右側に延びる。つまり、右翼に設けられる参照撮像装置４０は、右斜め前方を所定の画角で撮像する。なお、基準撮像装置２０および参照撮像装置４０は、航空機１に対して遠方を撮像するため、実際には、基準撮像装置２０の視軸と右翼の参照撮像装置４０の視軸との間の角度は、非常に小さい。   The reference imaging device 40 is fixed to the aircraft 1 such that the visual axis is different from the visual axis of the reference imaging device 20. For example, the visual axis of the reference imaging device 40 provided on the right wing extends rightward in the traveling direction with respect to the visual axis of the reference imaging device 20. That is, the reference imaging device 40 provided on the right wing captures an image of the oblique right front at a predetermined angle of view. In addition, since the reference imaging device 20 and the reference imaging device 40 image a distant place with respect to the aircraft 1, the angle between the visual axis of the reference imaging device 20 and the visual axis of the reference imaging device 40 of the right wing is actually set. Is very small.

また、左翼に設けられる参照撮像装置４０の視軸は、基準撮像装置２０の視軸に対して進行方向左側に延びる。つまり、左翼に設けられる参照撮像装置４０は、左斜め前方を所定の画角で撮像する。なお、右翼の参照撮像装置４０と同様に、実際には、基準撮像装置２０の視軸と左翼の参照撮像装置４０の視軸との間の角度は、非常に小さい。   The visual axis of the reference imaging device 40 provided on the left wing extends leftward in the traveling direction with respect to the visual axis of the reference imaging device 20. In other words, the reference imaging device 40 provided on the left wing captures a diagonally forward left image at a predetermined angle of view. Note that, similarly to the right wing reference imaging device 40, the angle between the visual axis of the reference imaging device 20 and the visual axis of the left wing reference imaging device 40 is very small.

なお、参照撮像装置４０が、円筒形の容器であるポッドの内部に収容され、そのポッドが翼４に固定されてもよい。この場合、参照撮像装置４０は、アイソレータ５０を介してポッドに固定されてもよい。また、ポッドは、後付けで航空機１に設置されてもよい。   The reference imaging device 40 may be housed inside a pod that is a cylindrical container, and the pod may be fixed to the wing 4. In this case, the reference imaging device 40 may be fixed to the pod via the isolator 50. Further, the pod may be installed on the aircraft 1 later.

処理部６０は、例えば、航空機１の胴体２に設けられる。処理部６０は、中央処理装置、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成される。処理部６０は、プログラムを実行することで、時刻合わせ部６２、特徴点抽出部６４、相対値導出部６６、相対値補間部６８、測角部７０、画像合成部７２として機能する。時刻合わせ部６２、特徴点抽出部６４、相対値導出部６６、相対値補間部６８、測角部７０、画像合成部７２については、後に詳述する。   The processing unit 60 is provided, for example, on the fuselage 2 of the aircraft 1. The processing unit 60 is configured by a semiconductor integrated circuit including a central processing unit, a ROM storing programs and the like, a RAM as a work area, and the like. By executing the program, the processing unit 60 functions as a time adjustment unit 62, a feature point extraction unit 64, a relative value derivation unit 66, a relative value interpolation unit 68, an angle measurement unit 70, and an image synthesis unit 72. The time adjustment unit 62, feature point extraction unit 64, relative value derivation unit 66, relative value interpolation unit 68, angle measurement unit 70, and image synthesis unit 72 will be described later in detail.

図３は、基準撮像装置２０で撮像された画像と、参照撮像装置４０で撮像された画像との関係を説明する説明図である。図３では、参照撮像装置４０で撮像された画像として、右翼の参照撮像装置４０で撮像された画像が示されている。なお、左翼の参照撮像装置４０で撮像された画像については、表示を省略している。また、図３では、基準撮像装置２０の画角および参照撮像装置４０の画角を破線で示す。以後、基準撮像装置２０で撮像された画像を基準画像ＧＳと呼び、参照撮像装置４０で撮像された画像を参照画像ＧＲと呼ぶことがある。   FIG. 3 is an explanatory diagram illustrating a relationship between an image captured by the reference imaging device 20 and an image captured by the reference imaging device 40. FIG. 3 shows an image captured by the reference imaging device 40 on the right wing as an image captured by the reference imaging device 40. The display of the image captured by the reference imaging device 40 on the left wing is omitted. In FIG. 3, the angle of view of the reference imaging device 20 and the angle of view of the reference imaging device 40 are indicated by broken lines. Hereinafter, an image captured by the reference imaging device 20 may be referred to as a reference image GS, and an image captured by the reference imaging device 40 may be referred to as a reference image GR.

参照撮像装置４０は、撮像された画像（参照画像ＧＲ）の一部が、基準撮像装置２０で撮像された画像（基準画像ＧＳ）に含まれるように撮像する。例えば、右翼の参照撮像装置４０は、参照画像ＧＲにおける所定の左側領域の画像が、基準画像ＧＳにおける所定の右側領域に含まれるように撮像する。換言すると、基準撮像装置２０および参照撮像装置４０は、基準画像ＧＳと参照画像ＧＲとが一部においてオーバーラップするように撮像する。図３では、基準画像ＧＳと参照画像ＧＲとがオーバーラップするオーバーラップ領域ＧＯをハッチングで示している。   The reference imaging device 40 captures an image such that a part of the captured image (reference image GR) is included in the image captured by the reference imaging device 20 (reference image GS). For example, the reference image capturing device 40 of the right wing captures an image such that an image of a predetermined left region in the reference image GR is included in a predetermined right region of the reference image GS. In other words, the reference imaging device 20 and the reference imaging device 40 capture images such that the reference image GS and the reference image GR partially overlap. In FIG. 3, an overlap area GO where the reference image GS and the reference image GR overlap is indicated by hatching.

なお、図３では省略したが、左翼の参照撮像装置４０は、参照画像ＧＲにおける所定の右側領域の画像が、基準画像ＧＳにおける所定の左側領域に含まれるように撮像する。   Although not shown in FIG. 3, the left wing reference imaging device 40 captures an image of the predetermined right region in the reference image GR so as to be included in the predetermined left region of the reference image GS.

各撮像装置で撮像された各画像には、例えば、他機などの対象物が映ることがある。そこで、処理部６０の測角部７０は、各撮像装置で撮像された各画像上の対象物の撮像装置に対する相対方位を測定する（測角する）。   In each image captured by each imaging device, for example, an object such as another device may appear. Therefore, the angle measurement unit 70 of the processing unit 60 measures (measures the angle of) the relative orientation of the target on each image captured by each imaging device with respect to the imaging device.

また、処理部６０の画像合成部７２は、各撮像装置で撮像された各画像を繋げて１個の広画角の画像を生成する。図３の例では、基準画像ＧＳの左端から参照画像ＧＲの右端までの１個の画像が生成される。   Further, the image synthesizing unit 72 of the processing unit 60 generates one wide-angle image by connecting the images captured by each imaging device. In the example of FIG. 3, one image from the left end of the reference image GS to the right end of the reference image GR is generated.

ここで、航空機１の翼４は、撓むことや変形が可能なように、しなやかに構成されている。したがって、翼４は、飛行中などにおいて振動する。ここで、上述のように、アイソレータ５０は、翼４の微振動を減衰する。しかし、翼４は、乱気流などによって大きく振動することがある。アイソレータ５０は、翼４の振動の振幅が大きいと、その振動を十分に減衰することができなくなる。   Here, the wing 4 of the aircraft 1 is configured to be flexible and deformable. Therefore, the wing 4 vibrates during a flight or the like. Here, as described above, the isolator 50 attenuates the fine vibration of the blade 4. However, the wing 4 may vibrate greatly due to turbulence or the like. If the amplitude of the vibration of the blade 4 is large, the isolator 50 cannot sufficiently attenuate the vibration.

このため、アイソレータ５０で減衰させることが困難な振幅の大きな振動が翼４に生じると、アイソレータ５０を介して翼４に固定されている参照撮像装置４０が振動する。これにより、参照撮像装置４０の視軸は、初期設定された視軸に対してずれる。また、参照撮像装置４０は、慣性航法装置３０と一体的に固定されていないため、振動による視軸のずれを直接的に導出することができない。   For this reason, when a large-amplitude vibration that is difficult to attenuate in the isolator 50 occurs in the wing 4, the reference imaging device 40 fixed to the wing 4 via the isolator 50 vibrates. Thus, the visual axis of the reference imaging device 40 is shifted from the initially set visual axis. Further, since the reference imaging device 40 is not fixed integrally with the inertial navigation device 30, it is not possible to directly derive a shift of the visual axis due to vibration.

図４は、参照撮像装置４０の視軸がずれたときの画像を説明する説明図である。図４（ａ）は、基準画像ＧＳを示し、図４（ｂ）は、参照画像ＧＲを示す。なお、図４（ａ）および図４（ｂ）では、オーバーラップ領域ＧＯをハッチングで示している。   FIG. 4 is an explanatory diagram illustrating an image when the visual axis of the reference imaging device 40 is shifted. FIG. 4A shows the reference image GS, and FIG. 4B shows the reference image GR. In FIG. 4A and FIG. 4B, the overlap region GO is indicated by hatching.

基準画像ＧＳは、視軸がずれていない。一方、参照画像ＧＲは、視軸がずれている。視軸がずれた場合、参照画像ＧＲは、例えば、視軸が初期設定された位置にあるときに撮像される参照画像ＧＲを回転したような画像となる。   In the reference image GS, the visual axis is not shifted. On the other hand, the visual axis of the reference image GR is shifted. When the visual axis is shifted, the reference image GR is, for example, an image obtained by rotating the reference image GR captured when the visual axis is at the initially set position.

このとき、参照画像ＧＲ上の他機などの対象物の位置もずれることとなる。参照画像ＧＲ上の対象物の位置がずれると、撮像装置に対する対象物の相対方位の測定精度（測角精度）が低下する。   At this time, the position of the target such as another device on the reference image GR also shifts. When the position of the target on the reference image GR is displaced, the measurement accuracy (angle measurement accuracy) of the relative orientation of the target with respect to the imaging device is reduced.

そこで、本実施形態の画像処理装置１０の処理部６０は、基準画像ＧＳの特徴点および参照画像ＧＲの特徴点をそれぞれ抽出し、基準画像ＧＳの特徴点の位置に対応する参照画像ＧＲの特徴点の位置の相対値を導出する。そして、本実施形態の画像処理装置１０は、導出された相対値に基づいて撮像装置に対する対象物の相対方位を導出することで、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制する。   Therefore, the processing unit 60 of the image processing apparatus 10 of the present embodiment extracts the feature points of the reference image GS and the feature points of the reference image GR, respectively, and extracts the feature points of the reference image GR corresponding to the positions of the feature points of the reference image GS. Derive the relative value of the position of the point. Then, the image processing apparatus 10 of the present embodiment derives the relative orientation of the target with respect to the imaging device based on the derived relative value, thereby reducing the measurement accuracy of the relative orientation of the target with respect to the imaging device. Suppress.

図５は、特徴点抽出部６４について説明する説明図である。図５（ａ）は、基準画像ＧＳを示し、図５（ｂ）は、参照画像ＧＲを示す。特徴点抽出部６４は、基準画像ＧＳおよび参照画像ＧＲの特徴点をそれぞれ抽出する。図５（ａ）および図５（ｂ）では、特徴点を黒丸で示している。なお、図５（ａ）および図５（ｂ）では、説明の便宜上、特徴点を３個示しているが、実際には、多数の特徴点が抽出される。また、図５（ａ）および図５（ｂ）では、特徴点が画像上の建物の角において抽出されている。しかし、特徴点は、このような角に限らず、例えば、画像における輝度の差が大きいエッジにおいて抽出されてもよい。   FIG. 5 is an explanatory diagram illustrating the feature point extracting unit 64. FIG. 5A shows the reference image GS, and FIG. 5B shows the reference image GR. The feature point extracting unit 64 extracts feature points of the reference image GS and the reference image GR, respectively. In FIG. 5A and FIG. 5B, feature points are indicated by black circles. In FIG. 5A and FIG. 5B, three feature points are shown for convenience of description, but a large number of feature points are actually extracted. 5A and 5B, feature points are extracted at corners of a building on an image. However, the feature points are not limited to such corners, and may be extracted, for example, at edges having a large difference in luminance in an image.

特徴点抽出部６４は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）等によって特徴点を抽出する。ＳＩＦＴは、画像の回転およびスケール変化に不変な特徴点であり、かつ、画像における照明変化に頑健な特徴点を検出し、特徴点の特徴量を記述する手法である。   The feature point extracting unit 64 extracts a feature point by, for example, SIFT (Scale-Invariant Feature Transform) or the like. SIFT is a technique that detects feature points that are invariant to rotation and scale changes of an image, and that are robust to illumination changes in the image, and describes the feature amount of the feature points.

また、特徴点抽出部６４は、基準画像ＧＳの特徴点に対応する参照画像ＧＲの特徴点の同定を行う。特徴点抽出部６４は、オーバーラップ領域ＧＯを対象として特徴点の同定を行う。特徴点抽出部６４は、例えば、基準画像ＧＳのオーバーラップ領域ＧＯと参照画像ＧＲのオーバーラップ領域ＧＯとを重ねた際に、基準画像ＧＳの特徴点からの距離が最も短い参照画像ＧＲの特徴点を、その基準画像ＧＳの特徴点に対応する参照画像ＧＲの特徴点とする。図５の例において、特徴点抽出部６４は、参照画像ＧＲの特徴点ＰＲ１を基準画像ＧＳの特徴点ＰＳ１に対応付け、参照画像ＧＲの特徴点ＰＲ２を基準画像ＧＳの特徴点ＰＳ２に対応付け、参照画像ＧＲの特徴点ＰＲ３を基準画像ＧＳの特徴点ＰＳ３に対応付ける。   Further, the feature point extracting unit 64 identifies a feature point of the reference image GR corresponding to a feature point of the reference image GS. The feature point extracting unit 64 identifies a feature point for the overlap area GO. For example, when the overlap area GO of the reference image GS and the overlap area GO of the reference image GR are overlapped, the feature point extraction unit 64 sets the feature of the reference image GR having the shortest distance from the feature point of the reference image GS. The point is set as a feature point of the reference image GR corresponding to the feature point of the reference image GS. In the example of FIG. 5, the feature point extraction unit 64 associates the feature point PR1 of the reference image GR with the feature point PS1 of the reference image GS, and associates the feature point PR2 of the reference image GR with the feature point PS2 of the reference image GS. The feature point PR3 of the reference image GR is associated with the feature point PS3 of the reference image GS.

図６は、相対値導出部６６について説明する説明図である。図６は、基準画像ＧＳのオーバーラップ領域ＧＯと、参照画像ＧＲのオーバーラップ領域ＧＯとを重ねて表示している。なお、図６において、横方向をＸ軸方向とし、縦方向をＹ軸方向とする。   FIG. 6 is an explanatory diagram illustrating the relative value deriving unit 66. FIG. 6 shows the overlap area GO of the reference image GS and the overlap area GO of the reference image GR in an overlapping manner. In FIG. 6, the horizontal direction is the X-axis direction, and the vertical direction is the Y-axis direction.

相対値導出部６６は、対応する特徴点について、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値を導出する。相対値導出部６６は、オーバーラップ領域ＧＯにおいて対応付けられたすべての特徴点について相対値を導出する。   The relative value deriving unit 66 derives a relative value of the position of the feature point of the reference image GR with respect to the position of the feature point of the reference image GS for the corresponding feature point. The relative value deriving unit 66 derives relative values for all the feature points associated in the overlap area GO.

例えば、相対値導出部６６は、基準画像ＧＳの特徴点ＰＳ１に対する参照画像ＧＲの特徴点ＰＲ１の回転移動成分と平行移動成分とを分離して、回転移動量（回転角度）および平行移動量を導出する。この回転移動量（回転角度）および平行移動量が、相対値に相当する。同様にして、相対値導出部６６は、特徴点ＰＳ２に対する特徴点ＰＲ２の回転移動量（回転角度）および平行移動量を導出し、特徴点ＰＳ３に対する特徴点ＰＲ３の回転移動量（回転角度）および平行移動量を導出する。   For example, the relative value deriving unit 66 separates the rotation component and the translation component of the feature point PR1 of the reference image GR with respect to the feature point PS1 of the reference image GS, and calculates the rotation amount (rotation angle) and the translation amount. Derive. The amount of rotation (rotation angle) and the amount of translation correspond to a relative value. Similarly, the relative value deriving unit 66 derives the amount of rotation (rotation angle) and the amount of translation of the feature point PR2 with respect to the feature point PS2, and calculates the amount of rotation movement (rotation angle) of the feature point PR3 with respect to the feature point PS3. A translation amount is derived.

また、相対値導出部６６は、導出された複数の相対値の統計処理を行い、相対値の代表値を導出する。例えば、相対値導出部６６は、特徴点ＰＲ１の回転移動量（回転角度）、特徴点ＰＲ２の回転移動量（回転角度）および特徴点ＰＲ３の回転移動量（回転角度）について統計処理を行い、相対値の回転移動成分の代表値を導出する。また、相対値導出部６６は、特徴点ＰＲ１の平行移動量、特徴点ＰＲ２の平行移動量および特徴点ＰＲ３の平行移動量について統計処理を行い、相対値の平行移動成分の代表値を導出する。相対値の回転移動成分の代表値および相対値の平行移動成分の代表値は、相対値の代表値を構成する。このようにして導出された相対値の代表値は、参照撮像装置４０の視軸のずれを表すものである。   Further, the relative value deriving unit 66 performs statistical processing of the plurality of derived relative values, and derives a representative value of the relative values. For example, the relative value deriving unit 66 performs statistical processing on the rotation amount (rotation angle) of the feature point PR1, the rotation amount (rotation angle) of the feature point PR2, and the rotation amount (rotation angle) of the feature point PR3. Deriving a representative value of the rotational movement component of the relative value. Further, the relative value deriving unit 66 performs statistical processing on the translation amount of the feature point PR1, the translation amount of the feature point PR2, and the translation amount of the feature point PR3, and derives a representative value of the translation component of the relative value. . The representative value of the relative rotation component and the representative value of the parallel component of the relative value constitute the representative value of the relative value. The representative value of the relative value derived in this manner represents the shift of the visual axis of the reference imaging device 40.

なお、相対値導出部６６は、相対値の統計処理を行って相対値の代表値を決定する態様に限らず、例えば、任意の相対値を相対値の代表値としてもよい。   In addition, the relative value deriving unit 66 is not limited to performing the statistical processing of the relative value to determine the representative value of the relative value.

測角部７０は、導出された相対値の代表値を用いて参照画像ＧＲ上の対象物の位置を補正する。例えば、測角部７０は、相対値の回転移動成分の代表値分だけ対象物の位置を回転移動し、相対値の平行移動成分の代表値分だけ対象物の位置を平行移動する。そして、測角部７０は、回転移動および平行移動した位置における対象物の相対方位を導出する。   The angle measurement unit 70 corrects the position of the target on the reference image GR using the derived representative value of the relative value. For example, the angle measurement unit 70 rotationally moves the position of the object by the representative value of the rotational component of the relative value, and translates the position of the object by the representative value of the parallel component of the relative value. Then, the angle measurement unit 70 derives the relative azimuth of the target object at the position where the rotation and the translation have been performed.

なお、測角部７０は、対象物の位置の回転移動および平行移動の双方を行う態様に限らず、対象物の位置の回転移動および平行移動のいずれか一方を行ってもよい。また、測角部７０は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３間の距離と、参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３間の距離との差分などを参照し、基準画像ＧＳの倍率と参照画像ＧＲの倍率が一致するように参照画像ＧＲ上の対象物の倍率を変化させてから対象物の相対方位を導出してもよい。また、測角部７０は、参照画像ＧＲ上の対象物の回転移動、平行移動、倍率などを適宜組み合わせて対象物の位置を補正してから、対象物の相対方位を導出してもよい。   Note that the angle measuring unit 70 is not limited to performing both the rotational movement and the parallel movement of the position of the object, and may perform one of the rotational movement and the parallel movement of the position of the object. Further, the angle measurement unit 70 refers to a difference between the distance between each of the feature points PS1, PS2, and PS3 of the reference image GS and the distance between each of the feature points PR1, PR2, and PR3 of the reference image GR, and the like. The relative orientation of the object may be derived after changing the magnification of the object on the reference image GR so that the magnification of the GS matches the magnification of the reference image GR. The angle measurement unit 70 may derive the relative orientation of the target object after correcting the position of the target object by appropriately combining rotational movement, parallel movement, magnification, and the like of the target object on the reference image GR.

図７は、画像合成部７２について説明する説明図である。画像合成部７２は、相対値の代表値に基づいて、基準画像ＧＳと参照画像ＧＲとを合成して１個の広画角の合成画像を生成する。例えば、画像合成部７２は、相対値の代表値に基づいて参照画像ＧＲの回転移動量（回転角度）を導出する。そして、画像合成部７２は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３と参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３とが重なるように、導出された回転移動量だけ参照画像ＧＲを回転移動し、基準画像ＧＳと参照画像ＧＲとを合成する。図７では、参照画像ＧＲの回転方向を実線の矢印で示している。   FIG. 7 is an explanatory diagram illustrating the image combining unit 72. The image synthesizing unit 72 synthesizes the reference image GS and the reference image GR based on the representative value of the relative value to generate one synthesized image having a wide angle of view. For example, the image synthesizing unit 72 derives the rotational movement amount (rotation angle) of the reference image GR based on the representative value of the relative value. Then, the image synthesizing unit 72 converts the reference image GR by the derived rotational movement amount so that each feature point PS1, PS2, PS3 of the reference image GS and each feature point PR1, PR2, PR3 of the reference image GR overlap. Rotate and combine the reference image GS and the reference image GR. In FIG. 7, the rotation direction of the reference image GR is indicated by a solid arrow.

なお、画像合成部７２は、参照画像ＧＲを回転移動して合成画像を生成する態様に限らない。例えば、画像合成部７２は、相対値の代表値に基づいて参照画像ＧＲの平行移動量を導出し、導出された平行移動量だけ参照画像ＧＲを平行移動してもよい。また、画像合成部７２は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３間の距離と、参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３間の距離との差分などを参照し、基準画像ＧＳの倍率と参照画像ＧＲの倍率とが一致するように参照画像ＧＲの倍率を変化させて合成画像を生成してもよい。また、画像合成部７２は、参照画像ＧＲの回転移動、平行移動および倍率などを適宜組み合わせて合成画像を生成してもよい。   Note that the image combining unit 72 is not limited to a mode in which the reference image GR is rotationally moved to generate a combined image. For example, the image combining unit 72 may derive the translation amount of the reference image GR based on the representative value of the relative value, and may translate the reference image GR by the derived translation amount. Further, the image synthesizing unit 72 refers to a difference between the distance between each of the feature points PS1, PS2, and PS3 of the reference image GS and the distance between each of the feature points PR1, PR2, and PR3 of the reference image GR, and the like. A composite image may be generated by changing the magnification of the reference image GR so that the magnification of the GS matches the magnification of the reference image GR. Further, the image combining unit 72 may generate a combined image by appropriately combining the rotational movement, the parallel movement, the magnification, and the like of the reference image GR.

図８は、基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を説明する説明図である。基準撮像装置２０は、基準撮像装置２０に内蔵されているタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で基準画像ＧＳを撮像する。例えば、基準撮像装置２０は、基準撮像装置２０のタイマが撮像時刻Ｔ１のとき、基準画像ＧＳ１を撮像する。また、基準撮像装置２０は、基準撮像装置２０のタイマにおいて撮像時刻Ｔ１から所定時間が経過した撮像時刻Ｔ２のとき、基準画像ＧＳ２を撮像する。   FIG. 8 is an explanatory diagram illustrating the imaging time of the reference image GS and the imaging time of the reference image GR. The reference imaging device 20 captures the reference image GS at predetermined time intervals (for example, 30 Hz) in accordance with a timer built in the reference imaging device 20. For example, when the timer of the reference imaging device 20 is at the imaging time T1, the reference imaging device 20 captures the reference image GS1. The reference imaging device 20 captures the reference image GS2 at an imaging time T2 at which a predetermined time has elapsed from the imaging time T1 in the timer of the reference imaging device 20.

一方、参照撮像装置４０は、参照撮像装置４０に内蔵されているタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で参照画像ＧＲを撮像する。例えば、参照撮像装置４０は、参照撮像装置４０のタイマが撮像時刻ｔ１のとき、参照画像ＧＲ１を撮像する。また、参照撮像装置４０は、参照撮像装置４０のタイマにおいて撮像時刻ｔ１から所定時間が経過した撮像時刻ｔ２のとき、参照画像ＧＲ２を撮像する。   On the other hand, the reference imaging device 40 captures the reference image GR at predetermined time intervals (for example, 30 Hz) according to a timer built in the reference imaging device 40. For example, when the timer of the reference imaging device 40 is at the imaging time t1, the reference imaging device 40 captures the reference image GR1. Further, the reference imaging device 40 captures the reference image GR2 when the timer of the reference imaging device 40 reaches the imaging time t2 when a predetermined time has elapsed from the imaging time t1.

ここで、参照撮像装置４０のタイマは、基準撮像装置２０のタイマと同期しているとは限らない。このため、基準撮像装置２０と参照撮像装置４０とで撮像の時間間隔が同じであるとしても、参照撮像装置４０における撮像時刻（撮像タイミング）は、基準撮像装置２０における撮像時刻（撮像タイミング）と異なる。例えば、参照画像ＧＲ１の撮像時刻ｔ１は、基準画像ＧＳ１の撮像時刻Ｔ１からずれており、参照画像ＧＲ２の撮像時刻ｔ２は、基準画像ＧＳ２の撮像時刻Ｔ２からずれている。   Here, the timer of the reference imaging device 40 is not necessarily synchronized with the timer of the reference imaging device 20. For this reason, even if the time interval of imaging between the reference imaging device 20 and the reference imaging device 40 is the same, the imaging time (imaging timing) in the reference imaging device 40 is the same as the imaging time (imaging timing) in the reference imaging device 20. different. For example, the imaging time t1 of the reference image GR1 is shifted from the imaging time T1 of the reference image GS1, and the imaging time t2 of the reference image GR2 is shifted from the imaging time T2 of the reference image GS2.

参照撮像装置４０と基準撮像装置２０とで撮像時刻が異なると、処理部６０は、参照撮像装置４０と基準撮像装置２０とで異なる時刻における特徴点を取得することとなる。そして、相対値導出部６６では、異なる時刻における特徴点に基づいて特徴点の位置の相対値が導出されることとなる。このような相対値に基づいて撮像装置に対する対象物の相対方位を測定すると、その測定精度（測角精度）が低下するおそれがある。   If the imaging time is different between the reference imaging device 40 and the reference imaging device 20, the processing unit 60 will acquire feature points at different times between the reference imaging device 40 and the reference imaging device 20. Then, the relative value deriving unit 66 derives the relative value of the position of the feature point based on the feature points at different times. If the relative orientation of the object with respect to the imaging device is measured based on such a relative value, the measurement accuracy (angle measurement accuracy) may be reduced.

そこで、時刻合わせ部６２は、基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を、処理部６０のタイマにしたがった同一の時間軸上に関連付ける。そして、相対値補間部６８は、撮像時刻が異なる複数の参照画像ＧＲについて相対値の代表値をそれぞれ導出し、導出された複数の相対値の代表値に基づいて、基準画像ＧＳと同時刻における相対値の代表値を導出する。   Therefore, the time adjustment unit 62 associates the imaging time of the reference image GS and the imaging time of the reference image GR on the same time axis according to the timer of the processing unit 60. Then, the relative value interpolation unit 68 derives the representative value of the relative value for each of the plurality of reference images GR having different imaging times, and based on the derived representative values of the plurality of relative values, at the same time as the reference image GS. Derive a representative value of the relative value.

図９は、時刻合わせ部６２について説明する説明図である。時刻合わせ部６２は、処理部６０のタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で時刻合わせ信号を基準撮像装置２０および参照撮像装置４０に送信する。例えば、時刻合わせ部６２は、処理部６０のタイマが時刻τ１のとき、時刻τ１を示す時刻合わせ信号を送信する。また、時刻合わせ部６２は、処理部６０のタイマにおいて時刻τ１から所定時間が経過した時刻τ２のとき、時刻τ２を示す時刻合わせ信号を送信する。   FIG. 9 is an explanatory diagram illustrating the time adjustment unit 62. The time adjustment unit 62 transmits a time adjustment signal to the reference imaging device 20 and the reference imaging device 40 at predetermined time intervals (for example, 30 Hz) according to the timer of the processing unit 60. For example, when the timer of the processing unit 60 is at time τ1, the time adjusting unit 62 transmits a time adjusting signal indicating the time τ1. In addition, the time adjusting unit 62 transmits a time adjusting signal indicating the time τ2 when the time of the predetermined time has elapsed from the time τ1 in the timer of the processing unit 60 at the time τ2.

基準撮像装置２０は、時刻合わせ信号を受信すると、時刻合わせ信号の受信時刻から次の撮像時刻までの時間を、基準撮像装置２０のタイマにしたがって計時する。計時された時間は、撮像時刻と時刻合わせ信号の受信時刻との差分を示す差分時間に相当する。基準撮像装置２０は、差分時間と撮像した基準画像ＧＳとを処理部６０に送信する。   When receiving the time adjustment signal, the reference imaging device 20 measures the time from the reception time of the time adjustment signal to the next imaging time according to the timer of the reference imaging device 20. The counted time corresponds to a difference time indicating a difference between the imaging time and the reception time of the time adjustment signal. The reference imaging device 20 transmits the difference time and the captured reference image GS to the processing unit 60.

例えば、基準撮像装置２０は、時刻τ１を示す時刻合わせ信号を受信し、その後、撮像時刻Ｔ１において撮像した場合、時刻τ１から撮像時刻Ｔ１までの差分時間（Ｔ１−τ１）と、撮像時刻Ｔ１の基準画像ＧＳ１とを処理部６０に送信する。同様に、基準撮像装置２０は、時刻τ２を示す時刻合わせ信号を受信し、その後、撮像時刻Ｔ２において撮像した場合、時刻τ２から撮像時刻Ｔ２までの差分時間（Ｔ２−τ２）と、撮像時刻Ｔ２の基準画像ＧＳ２とを処理部６０に送信する。   For example, when the reference imaging device 20 receives the time adjustment signal indicating the time τ1 and thereafter performs imaging at the imaging time T1, the difference time (T1−τ1) from the time τ1 to the imaging time T1 and the imaging time T1 The reference image GS1 is transmitted to the processing unit 60. Similarly, when the reference imaging device 20 receives the time adjustment signal indicating the time τ2 and thereafter performs imaging at the imaging time T2, the difference time (T2−τ2) from the time τ2 to the imaging time T2 and the imaging time T2 Is transmitted to the processing unit 60.

参照撮像装置４０は、時刻合わせ信号を受信すると、時刻合わせ信号の受信時刻から次の撮像時刻までの時間を、参照撮像装置４０のタイマにしたがって計時する。計時された時間は、撮像時刻と時刻合わせ信号の受信時刻との差分を示す差分時間に相当する。参照撮像装置４０は、差分時間と撮像した参照画像ＧＲとを処理部６０に送信する。   Upon receiving the time adjustment signal, the reference imaging device 40 measures the time from the reception time of the time adjustment signal to the next imaging time according to the timer of the reference imaging device 40. The counted time corresponds to a difference time indicating a difference between the imaging time and the reception time of the time adjustment signal. The reference imaging device 40 transmits the difference time and the captured reference image GR to the processing unit 60.

例えば、参照撮像装置４０は、時刻τ１を示す時刻合わせ信号を受信し、その後、撮像時刻ｔ１において撮像した場合、時刻τ１から撮像時刻ｔ１までの差分時間（ｔ１−τ１）と、撮像時刻ｔ１の参照画像ＧＲ１とを処理部６０に送信する。同様に、参照撮像装置４０は、時刻τ２を示す時刻合わせ信号を受信し、その後、撮像時刻ｔ２において撮像した場合、時刻τ２から撮像時刻ｔ２までの差分時間（ｔ２−τ２）と、撮像時刻ｔ２の参照画像ＧＲ２とを処理部６０に送信する。   For example, when the reference imaging device 40 receives the time adjustment signal indicating the time τ1 and thereafter performs imaging at the imaging time t1, the difference time (t1−τ1) from the time τ1 to the imaging time t1 and the difference between the imaging time t1 The reference image GR1 is transmitted to the processing unit 60. Similarly, when the reference imaging device 40 receives the time adjustment signal indicating the time τ2 and thereafter performs imaging at the imaging time t2, the difference time (t2−τ2) from the time τ2 to the imaging time t2 and the imaging time t2 To the processing unit 60.

時刻合わせ部６２は、基準画像ＧＳおよび差分時間を基準撮像装置２０から受信し、参照画像ＧＲおよび差分時間を参照撮像装置４０から受信する。時刻合わせ部６２は、基準撮像装置２０における差分時間に時刻合わせ信号の送信時刻を加算して、処理部６０のタイマを基準とした基準撮像装置２０の撮像時刻を導出する。また、時刻合わせ部６２は、参照撮像装置４０における差分時間に時刻合わせ信号の送信時刻を加算して、処理部６０のタイマを基準とした参照撮像装置４０の撮像時刻を導出する。これにより、基準画像ＧＳの撮像時刻と参照画像ＧＲの撮像時刻とが、処理部６０のタイマにしたがった同一の時間軸上に関連付けられる。   The time adjustment unit 62 receives the reference image GS and the difference time from the reference imaging device 20, and receives the reference image GR and the difference time from the reference imaging device 40. The time adjustment unit 62 derives the imaging time of the reference imaging device 20 based on the timer of the processing unit 60 by adding the transmission time of the time adjustment signal to the difference time in the reference imaging device 20. In addition, the time adjustment unit 62 derives the imaging time of the reference imaging device 40 based on the timer of the processing unit 60 by adding the transmission time of the time adjustment signal to the difference time in the reference imaging device 40. Thereby, the imaging time of the reference image GS and the imaging time of the reference image GR are associated on the same time axis according to the timer of the processing unit 60.

図８に戻って、基準画像ＧＳ１の撮像時刻Ｔ１、基準画像ＧＳ２の撮像時刻Ｔ２、参照画像ＧＲ１の撮像時刻ｔ１および参照画像ＧＲ２の撮像時刻ｔ２が導出されたとする。ここで、基準画像ＧＳ２を処理対象の画像として着目すると、参照画像ＧＲ１は、基準画像ＧＳ２の直前の参照画像ＧＲであり、参照画像ＧＲ２は、基準画像ＧＳ２の直後の参照画像ＧＲである。   Returning to FIG. 8, it is assumed that the imaging time T1 of the reference image GS1, the imaging time T2 of the reference image GS2, the imaging time t1 of the reference image GR1, and the imaging time t2 of the reference image GR2 are derived. Here, focusing on the reference image GS2 as an image to be processed, the reference image GR1 is a reference image GR immediately before the reference image GS2, and the reference image GR2 is a reference image GR immediately after the reference image GS2.

特徴点抽出部６４は、基準画像ＧＳ２の特徴点の位置に対する参照画像ＧＲ１の特徴点の位置の相対値および相対値の代表値を導出する。また、特徴点抽出部６４は、基準画像ＧＳ２の特徴点の位置に対する参照画像ＧＲ２の特徴点の位置の相対値および相対値の代表値を導出する。つまり、特徴点抽出部６４は、撮像時刻が異なる複数の参照画像ＧＲ１、ＧＲ２のそれぞれについて相対値および相対値の代表値を導出する。   The feature point extracting unit 64 derives a relative value of the position of the feature point of the reference image GR1 with respect to the position of the feature point of the reference image GS2 and a representative value of the relative value. Further, the feature point extracting unit 64 derives a relative value of the position of the feature point of the reference image GR2 with respect to the position of the feature point of the reference image GS2 and a representative value of the relative value. That is, the feature point extracting unit 64 derives a relative value and a representative value of the relative value for each of the plurality of reference images GR1 and GR2 having different imaging times.

図１０は、相対値補間部６８について説明する説明図である。図１０において、横軸は処理部６０のタイマにしたがった時間軸上の時間を示し、縦軸は相対値の代表値を示す。また、図１０において、相対値の代表値Ｓｔ１は、撮像時刻ｔ１の参照画像ＧＲ１についての基準画像ＧＳ２に対する相対値の代表値であり、相対値の代表値Ｓｔ２は、撮像時刻ｔ２の参照画像ＧＲ２についての基準画像ＧＳ２に対する相対値の代表値である。   FIG. 10 is an explanatory diagram illustrating the relative value interpolation unit 68. In FIG. 10, the horizontal axis indicates the time on the time axis according to the timer of the processing unit 60, and the vertical axis indicates the representative value of the relative value. In FIG. 10, the representative value St1 of the relative value is a representative value of the relative value of the reference image GR1 at the imaging time t1 with respect to the reference image GS2, and the representative value St2 of the relative value is the reference image GR2 at the imaging time t2. Is a representative value of a relative value to the reference image GS2.

相対値補間部６８は、撮像時刻が異なる複数の参照画像ＧＲ１、ＧＲ２について導出された複数の相対値の代表値Ｓｔ１、Ｓｔ２に基づいて、基準画像ＧＳ２と同時刻における相対値の代表値ＳＴ２を導出する。例えば、相対値補間部６８は、撮像時刻ｔ２と撮像時刻ｔ１との差分と、撮像時刻Ｔ２と撮像時刻ｔ１との差分との時間比を導出する。相対値補間部６８は、導出された時間比を用いて、相対値の代表値Ｓｔ１と相対値の代表値Ｓｔ２との間の相対値の代表値ＳＴ２を線形補間（内挿補間）する。   The relative value interpolation unit 68 calculates the representative value ST2 of the relative value at the same time as the reference image GS2 based on the representative values St1 and St2 of the plurality of relative values derived for the plurality of reference images GR1 and GR2 having different imaging times. Derive. For example, the relative value interpolation unit 68 derives a time ratio between a difference between the imaging time t2 and the imaging time t1 and a difference between the imaging time T2 and the imaging time t1. The relative value interpolation unit 68 linearly interpolates (interpolates) the relative value representative value ST2 between the relative value representative value St1 and the relative value representative value St2 using the derived time ratio.

このように、相対値補間部６８は、相対値の代表値の時間補間を行う。導出された相対値の代表値ＳＴ２は、基準画像ＧＳ２の撮像時刻Ｔ２と同時刻における参照撮像装置４０の視軸のずれを表すものである。   As described above, the relative value interpolation unit 68 performs time interpolation of the representative value of the relative value. The derived representative value ST2 of the relative value represents the shift of the visual axis of the reference imaging device 40 at the same time as the imaging time T2 of the reference image GS2.

測角部７０は、対象物の位置を補正する際に、相対値補間部６８で導出された相対値の代表値ＳＴ２を用いて対象物の位置を補正する。そして、測角部７０は、位置が補正された対象物の相対方位を測定する。これにより、画像処理装置１０は、対象物の相対方位の測定精度（測角精度）の低下をより抑制することができる。   When correcting the position of the object, the angle measurement unit 70 corrects the position of the object using the representative value ST2 of the relative value derived by the relative value interpolation unit 68. Then, the angle measurement unit 70 measures the relative orientation of the object whose position has been corrected. Thereby, the image processing apparatus 10 can further suppress a decrease in measurement accuracy (angle measurement accuracy) of the relative orientation of the target object.

なお、基準画像ＧＳと同時刻における相対値の代表値を導出するための相対値の代表値の数は、２個に限らない。例えば、相対値補間部６８は、撮像時刻が異なる３個以上の相対値の代表値に基づいて、基準画像ＧＳと同時刻における相対値の代表値を導出してもよい。この場合、相対値補間部６８は、相対値の代表値を非線形補間することができる。このため、相対値補間部６８は、撮像時刻が異なる相対値の数が多いほど、基準画像ＧＳと同時刻における相対値の代表値を、より精度よく導出することができる。   Note that the number of relative value representative values for deriving the relative value representative value at the same time as the reference image GS is not limited to two. For example, the relative value interpolation unit 68 may derive the representative value of the relative value at the same time as the reference image GS based on the representative values of three or more relative values having different imaging times. In this case, the relative value interpolation unit 68 can perform non-linear interpolation on the representative value of the relative value. For this reason, the relative value interpolation unit 68 can derive the representative value of the relative value at the same time as the reference image GS more accurately as the number of relative values at different imaging times increases.

図１１は、処理部６０の動作を説明するフローチャートである。まず、処理部６０の時刻合わせ部６２は、所定時刻になると、時刻合わせ信号を基準撮像装置２０および参照撮像装置４０に送信する（Ｓ１００）。   FIG. 11 is a flowchart illustrating the operation of the processing unit 60. First, at a predetermined time, the time setting unit 62 of the processing unit 60 transmits a time setting signal to the reference imaging device 20 and the reference imaging device 40 (S100).

時刻合わせ信号を受信した基準撮像装置２０は、時刻合わせ信号を受信した時刻から、次の撮像時刻までの時間（差分時間）を計時する。基準撮像装置２０は、撮像時刻になると撮像して基準画像ＧＳを取得する。基準撮像装置２０は、差分時間と取得した基準画像ＧＳとを処理部６０に送信する。また、基準撮像装置２０は、撮像時刻における基準撮像装置２０の姿勢および移動態様を示す情報を慣性航法装置３０から取得し、併せて処理部６０に送信する。   The reference imaging device 20 that has received the time adjustment signal measures the time (difference time) from the time when the time adjustment signal is received to the next imaging time. The reference imaging device 20 captures an image at the image capturing time to obtain a reference image GS. The reference imaging device 20 transmits the difference time and the acquired reference image GS to the processing unit 60. Further, the reference imaging device 20 acquires information indicating the attitude and the movement mode of the reference imaging device 20 at the imaging time from the inertial navigation device 30 and transmits the information to the processing unit 60 together.

また、時刻合わせ信号を受信した参照撮像装置４０は、時刻合わせ信号を受信した時刻から、次の撮像時刻までの時間（差分時間）を計時する。参照撮像装置４０は、撮像時刻になると撮像して参照画像ＧＲを取得する。参照撮像装置４０は、差分時間と取得した参照画像ＧＲとを処理部６０に送信する。   In addition, the reference imaging device 40 that has received the time adjustment signal measures the time (difference time) from the time at which the time adjustment signal was received to the next imaging time. The reference imaging device 40 captures an image at the image capturing time to obtain a reference image GR. The reference imaging device 40 transmits the difference time and the acquired reference image GR to the processing unit 60.

時刻合わせ部６２は、時刻合わせ信号の送信後、差分時間および画像（基準画像ＧＳおよび参照画像ＧＲ）を基準撮像装置２０および参照撮像装置４０のそれぞれから受信したか否かを判断する（Ｓ１１０）。   After transmitting the time adjustment signal, the time adjustment unit 62 determines whether the difference time and the image (the reference image GS and the reference image GR) have been received from each of the reference imaging device 20 and the reference imaging device 40 (S110). .

時刻合わせ部６２は、差分時間および画像を基準撮像装置２０および参照撮像装置４０のそれぞれから受信するまで待機する（Ｓ１１０におけるＮＯ）。   The time setting unit 62 waits until the difference time and the image are received from each of the reference imaging device 20 and the reference imaging device 40 (NO in S110).

時刻合わせ部６２は、差分時間および画像を受信すると（Ｓ１１０におけるＹＥＳ）、処理部６０のタイマを基準とした基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を導出する（Ｓ１２０）。具体的には、時刻合わせ部６２は、基準撮像装置２０から取得した差分時間と時刻合わせ信号の送信時刻とから、処理部６０のタイマを基準とした基準画像ＧＳの撮像時刻を導出し、参照撮像装置４０から取得した差分時間と時刻合わせ信号の送信時刻とから、処理部６０のタイマを基準とした参照画像ＧＲの撮像時刻を導出する。   When receiving the difference time and the image (YES in S110), time adjustment unit 62 derives the imaging time of reference image GS and the imaging time of reference image GR based on the timer of processing unit 60 (S120). Specifically, the time adjustment unit 62 derives the imaging time of the reference image GS based on the timer of the processing unit 60 from the difference time acquired from the reference imaging device 20 and the transmission time of the time adjustment signal, and refers to The imaging time of the reference image GR based on the timer of the processing unit 60 is derived from the difference time acquired from the imaging device 40 and the transmission time of the time adjustment signal.

次に、特徴点抽出部６４は、基準画像ＧＳの特徴点および参照画像ＧＲの特徴点をそれぞれ抽出する（Ｓ１３０）。   Next, the feature point extracting unit 64 extracts a feature point of the reference image GS and a feature point of the reference image GR (S130).

次に、特徴点抽出部６４は、基準画像ＧＳの各特徴点と参照画像ＧＲの各特徴点との同定を行う（Ｓ１４０）。この際、特徴点抽出部６４は、処理対象の基準画像ＧＳの各特徴点と、その基準画像ＧＳの撮像時刻の直前の参照画像ＧＲの各特徴点との同定を行う。また、特徴点抽出部６４は、処理対象の基準画像ＧＳの各特徴点と、その基準画像ＧＳの直後の参照画像ＧＲの各特徴点との同定を行う。   Next, the feature point extraction unit 64 identifies each feature point of the reference image GS and each feature point of the reference image GR (S140). At this time, the feature point extraction unit 64 identifies each feature point of the reference image GS to be processed and each feature point of the reference image GR immediately before the imaging time of the reference image GS. Further, the feature point extracting unit 64 identifies each feature point of the reference image GS to be processed and each feature point of the reference image GR immediately after the reference image GS.

次に、相対値導出部６６は、対応付けられた特徴点について、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値を導出する（Ｓ１５０）。相対値導出部６６は、対応付けられた特徴点の組の数だけ相対値を導出する。また、相対値導出部６６は、処理対象の基準画像ＧＳの直前の参照画像ＧＲと、処理対象の基準画像ＧＳの直後の参照画像ＧＲとの双方において相対値を導出する。   Next, the relative value deriving unit 66 derives a relative value of the position of the feature point of the reference image GR with respect to the position of the feature point of the reference image GS for the associated feature point (S150). The relative value deriving unit 66 derives relative values for the number of associated feature point sets. Further, the relative value deriving unit 66 derives relative values in both the reference image GR immediately before the processing target reference image GS and the reference image GR immediately after the processing target reference image GS.

次に、相対値導出部６６は、導出された複数の相対値の統計処理を行い、相対値の代表値を導出する（Ｓ１６０）。相対値導出部６６は、処理対象の基準画像ＧＳの直前の参照画像ＧＲと、処理対象の基準画像ＧＳの直後の参照画像ＧＲとの双方においてそれぞれ相対値の代表値を導出する。   Next, the relative value deriving unit 66 performs statistical processing on the plurality of derived relative values, and derives a representative value of the relative values (S160). The relative value deriving unit 66 derives a representative value of a relative value in both the reference image GR immediately before the processing target reference image GS and the reference image GR immediately after the processing target reference image GS.

次に、相対値補間部６８は、相対値の代表値の時間補間を行う（Ｓ１７０）。具体的には、相対値補間部６８は、処理対象の基準画像ＧＳの直前の参照画像ＧＲにおける相対値の代表値と、処理対象の基準画像ＧＳの直後の参照画像ＧＲにおける相対値の代表値とに基づいて、処理対象の基準画像ＧＳの撮像時刻と同一時刻の相対値の代表値を導出する。   Next, the relative value interpolation unit 68 performs time interpolation of the representative value of the relative value (S170). Specifically, the relative value interpolation unit 68 calculates the representative value of the relative value in the reference image GR immediately before the reference image GS to be processed and the representative value of the relative value in the reference image GR immediately after the reference image GS to be processed. , A representative value of a relative value at the same time as the imaging time of the reference image GS to be processed is derived.

次に、測角部７０は、時間補間された相対値の代表値に基づいて参照画像ＧＲ上の対象物の位置を補正する（Ｓ１８０）。なお、測角部７０は、対象物が参照画像ＧＲ上にある場合にのみステップＳ１８０を行い、対象物が基準画像ＧＳ上にある場合にはステップＳ１８０を行わずにステップＳ１９０へ進んでもよい。   Next, the angle measuring unit 70 corrects the position of the target on the reference image GR based on the representative value of the time-interpolated relative value (S180). Note that the angle measurement unit 70 may perform step S180 only when the target is on the reference image GR, and may proceed to step S190 without performing step S180 when the target is on the reference image GS.

次に、測角部７０は、画像上の対象物の撮像装置に対する相対方位を測定する（Ｓ１９０）。この際、測角部７０は、取得された基準撮像装置２０の姿勢および移動態様に基づいて、基準撮像装置２０の視軸の絶対方位を導出する。   Next, the angle measurement unit 70 measures the relative orientation of the target on the image with respect to the imaging device (S190). At this time, the angle measurement unit 70 derives the absolute azimuth of the visual axis of the reference imaging device 20 based on the acquired attitude and movement mode of the reference imaging device 20.

測角部７０は、対象物が基準画像ＧＳ上にある場合、導出された基準撮像装置２０の視軸および対象物の位置に基づいて撮像装置に対する対象物の相対方位を導出する。一方、測角部７０は、対象物が参照画像ＧＲ上にある場合、基準撮像装置２０の視軸および補正された対象物の位置に基づいて撮像装置に対する対象物の相対方位を導出する。このように、撮像装置に対する対象物の相対方位の測定の際、参照画像ＧＲ上の対象物の位置は、基準画像ＧＳに関連付けられることとなる。   When the target is on the reference image GS, the angle measurement unit 70 derives the relative orientation of the target with respect to the imaging device based on the derived visual axis of the reference imaging device 20 and the position of the target. On the other hand, when the target is on the reference image GR, the angle measurement unit 70 derives the relative orientation of the target with respect to the imaging device based on the visual axis of the reference imaging device 20 and the corrected position of the target. As described above, when measuring the relative orientation of the target object with respect to the imaging device, the position of the target object on the reference image GR is associated with the reference image GS.

次に、画像合成部７２は、時間補間された相対値の代表値に基づいて、基準画像ＧＳの各特徴点と参照画像ＧＲの各特徴点とが重なるように参照画像ＧＲの回転移動等を行い、合成画像を生成する（Ｓ２００）。回転移動等を行う参照画像ＧＲとしては、例えば、処理対象の基準画像ＧＳの撮像時刻に最も近い撮像時刻の参照画像ＧＲであってもよい。   Next, the image synthesizing unit 72 performs rotation and the like of the reference image GR based on the representative value of the time-interpolated relative values so that each feature point of the reference image GS and each feature point of the reference image GR overlap. Then, a composite image is generated (S200). For example, the reference image GR that performs the rotational movement or the like may be the reference image GR at the imaging time closest to the imaging time of the reference image GS to be processed.

以上のように、本実施形態の画像処理装置１０は、基準画像ＧＳおよび参照画像ＧＲの特徴点をそれぞれ抽出し、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値（相対値の代表値）を導出する。そして、本実施形態の画像処理装置１０は、導出された相対値（相対値の代表値）に基づいて、参照画像ＧＲ上の対象物の撮像装置に対する相対方位を測定する。   As described above, the image processing apparatus 10 of the present embodiment extracts the feature points of the reference image GS and the reference image GR, respectively, and calculates the relative value of the position of the feature point of the reference image GR with respect to the position of the feature point of the reference image GS. (Representative value of relative value) is derived. Then, the image processing device 10 of the present embodiment measures the relative orientation of the target on the reference image GR with respect to the imaging device based on the derived relative value (representative value of the relative value).

したがって、本実施形態の画像処理装置１０によれば、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することができる。   Therefore, according to the image processing device 10 of the present embodiment, it is possible to suppress a decrease in the measurement accuracy of the relative orientation of the target object with respect to the imaging device.

また、本実施形態の画像処理装置１０は、撮像時刻が異なる複数の参照画像ＧＲについて導出された複数の相対値（相対値の代表値）に基づいて、基準画像ＧＳと同時刻における相対値（相対値の代表値）を導出する。このため、本実施形態の画像処理装置１０は、基準撮像装置２０の撮像時刻と参照撮像装置４０の撮像時刻とが同期していなくとも、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することができる。   In addition, the image processing apparatus 10 of the present embodiment, based on a plurality of relative values (representative values of relative values) derived for a plurality of reference images GR having different imaging times, sets relative values (at the same time as the reference image GS). (Representative value of relative value). For this reason, in the image processing device 10 of the present embodiment, even when the imaging time of the reference imaging device 20 and the imaging time of the reference imaging device 40 are not synchronized, the measurement accuracy of the relative orientation of the target object with respect to the imaging device is reduced. Can be suppressed.

また、本実施形態の画像処理装置１０は、相対値の代表値の時間補間を行っていた。しかし、本実施形態の画像処理装置１０において、基準撮像装置２０と参照撮像装置４０とで撮像時刻を同期させる場合、相対値の代表値の時間補間を省略してもよい。この態様では、相対値の代表値の時間補間を行わない分だけ、処理部６０における処理負荷を軽減することができる。   Further, the image processing apparatus 10 of the present embodiment performs time interpolation of the representative value of the relative value. However, in the image processing apparatus 10 of the present embodiment, when synchronizing the imaging time between the reference imaging apparatus 20 and the reference imaging apparatus 40, the time interpolation of the representative value of the relative value may be omitted. In this aspect, the processing load on the processing unit 60 can be reduced by the time interpolation of the representative value of the relative value is not performed.

また、本実施形態の画像処理装置１０は、導出された相対値（相対値の代表値）に基づいて、参照画像ＧＲと基準画像ＧＳとを各特徴点が重なるように合成する。このため、本実施形態の画像処理装置１０は、合成画像によって、対象物を精度よく視認させることができる。   Further, the image processing apparatus 10 of the present embodiment combines the reference image GR and the reference image GS such that the respective feature points overlap based on the derived relative values (representative values of the relative values). For this reason, the image processing apparatus 10 of the present embodiment can accurately recognize the target object using the composite image.

また、本実施形態の画像処理装置１０は、合成画像を生成していた。しかし、本実施形態の画像処理装置１０は、撮像装置に対する対象物の相対方位の測定ができればよく、合成画像が必要ではない場合には、合成画像の生成を省略することができる。この態様では、合成画像の生成を行わない分だけ、処理部６０における処理負荷を軽減することができる。   Further, the image processing device 10 of the present embodiment has generated a composite image. However, the image processing apparatus 10 of the present embodiment only needs to be able to measure the relative azimuth of the target object with respect to the imaging apparatus, and can omit the generation of a composite image when a composite image is not required. In this aspect, the processing load on the processing unit 60 can be reduced by the amount of not generating the composite image.

また、本実施形態の画像処理装置１０は、航空機１の製造完成後、さらに事後的に参照撮像装置４０の数を増減することができる。このため、本実施形態の画像処理装置１０は、既存の航空機１に適用することもでき、汎用性が高い。   In addition, the image processing device 10 of the present embodiment can increase or decrease the number of the reference imaging devices 40 after the manufacture of the aircraft 1 is completed. For this reason, the image processing apparatus 10 of the present embodiment can be applied to the existing aircraft 1 and has high versatility.

以上、添付図面を参照しながら本発明の実施形態の一態様について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although one aspect of the embodiment of the present invention has been described with reference to the accompanying drawings, it is needless to say that the present invention is not limited to such an embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.

例えば、上記実施形態の画像処理装置１０では、基準撮像装置２０が航空機１の胴体２に設けられ、参照撮像装置４０が航空機１の翼４に設けられていた。しかし、基準撮像装置２０が設けられる位置は、航空機１の胴体２に限らない。例えば、基準撮像装置２０は、航空機１の翼４に設けられてもよい。   For example, in the image processing device 10 of the above embodiment, the reference imaging device 20 is provided on the fuselage 2 of the aircraft 1, and the reference imaging device 40 is provided on the wing 4 of the aircraft 1. However, the position where the reference imaging device 20 is provided is not limited to the fuselage 2 of the aircraft 1. For example, the reference imaging device 20 may be provided on the wing 4 of the aircraft 1.

また、上記実施形態の画像処理装置１０では、基準撮像装置２０は、航空機１の前方を撮像し、右翼の参照撮像装置４０は、航空機１の右斜め前方を撮像し、左翼の参照撮像装置４０は、航空機１の左斜め前方を撮像していた。しかし、基準撮像装置２０の撮像方向および参照撮像装置４０の撮像方向は、この例に限らない。基準撮像装置２０は、航空機１を構成する構造体の周囲の一部を撮像すればよい。また、参照撮像装置４０は、参照画像ＧＲの一部が基準画像ＧＳに含まれるように構造体の周囲の一部を撮像すればよい。   In the image processing device 10 of the above embodiment, the reference imaging device 20 captures an image of the front of the aircraft 1, the right wing reference imaging device 40 captures an image of the oblique right front of the aircraft 1, and the left wing reference imaging device 40. Photographed an oblique left front of the aircraft 1. However, the imaging direction of the reference imaging device 20 and the imaging direction of the reference imaging device 40 are not limited to this example. The reference image capturing device 20 may capture an image of a part around the structure constituting the aircraft 1. Further, the reference imaging device 40 may capture an image of a part around the structure such that a part of the reference image GR is included in the reference image GS.

上記実施形態の画像処理装置１０は、対象物の相対方位の測定を行っていた。しかし、画像処理装置１０は、例えば、時間補間された相対値の代表値を画像処理装置１０外に出力し、対象物の相対方位の測定については、画像処理装置１０外で行われてもよい。また、合成画像の生成についても、画像処理装置１０外で行われてもよい。   The image processing apparatus 10 of the above embodiment measures the relative orientation of the target. However, the image processing apparatus 10 may output, for example, a representative value of the time-interpolated relative value to the outside of the image processing apparatus 10, and the measurement of the relative orientation of the target object may be performed outside the image processing apparatus 10. . Also, the generation of the composite image may be performed outside the image processing apparatus 10.

上記実施形態の画像処理装置１０は、航空機１に適用されていた。しかし、画像処理装置１０の適用範囲は、航空機１に限らない。例えば、画像処理装置１０は、車両に適用されてもよい。   The image processing device 10 of the above embodiment has been applied to the aircraft 1. However, the applicable range of the image processing device 10 is not limited to the aircraft 1. For example, the image processing device 10 may be applied to a vehicle.

本発明は、複数の撮像装置で撮像された画像を処理する画像処理装置に利用できる。   INDUSTRIAL APPLICABILITY The present invention is applicable to an image processing apparatus that processes images captured by a plurality of imaging apparatuses.

１ 航空機
２ 胴体
４ 翼
１０ 画像処理装置
２０ 基準撮像装置
３０ 慣性航法装置
４０ 参照撮像装置
６４ 特徴点抽出部
６６ 相対値導出部
６８ 相対値補間部
７２ 画像合成部 Reference Signs List 1 aircraft 2 fuselage 4 wing 10 image processing device 20 reference imaging device 30 inertial navigation device 40 reference imaging device 64 feature point extraction unit 66 relative value derivation unit 68 relative value interpolation unit 72 image synthesis unit

Claims (3)

慣性航法装置と一体的に構造体に固定されて前記構造体の周囲の一部を撮像する基準撮像装置と、
前記構造体に固定され、撮像された画像の一部が前記基準撮像装置で撮像された画像に含まれるように前記構造体の周囲の一部を撮像する参照撮像装置と、
前記基準撮像装置の画像および前記参照撮像装置の画像の特徴点をそれぞれ抽出する特徴点抽出部と、
前記基準撮像装置の画像の特徴点の位置に対する前記参照撮像装置の画像の特徴点の位置の相対値を導出する相対値導出部と、
を備える画像処理装置。 A reference imaging device that is fixed to the structure integrally with the inertial navigation device and images a part of the periphery of the structure,
A reference imaging device fixed to the structure, and imaging a part around the structure so that a part of the imaged image is included in the image captured by the reference imaging device,
A feature point extraction unit for extracting feature points of the image of the reference imaging device and the image of the reference imaging device,
A relative value deriving unit that derives a relative value of a position of a feature point of the image of the reference imaging device with respect to a position of a feature point of the image of the reference imaging device,
An image processing apparatus comprising: 撮像時刻が異なる前記参照撮像装置の複数の画像について導出された複数の相対値に基づいて、前記基準撮像装置の画像と同時刻における相対値を導出する相対値補間部を備える請求項１に記載の画像処理装置。   2. The apparatus according to claim 1, further comprising: a relative value interpolation unit that derives a relative value at the same time as the image of the reference imaging device based on a plurality of relative values derived for a plurality of images of the reference imaging device having different imaging times. 3. Image processing device. 導出された相対値に基づいて、前記参照撮像装置の画像と前記基準撮像装置の画像とを各特徴点が重なるように合成する画像合成部を備える請求項１または２に記載の画像処理装置。   The image processing device according to claim 1, further comprising: an image combining unit configured to combine an image of the reference imaging device and an image of the reference imaging device such that each feature point overlaps based on the derived relative value.
JP2018112548A 2018-06-13 2018-06-13 Image processing device Pending JP2019215702A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018112548A JP2019215702A (en) 2018-06-13 2018-06-13 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018112548A JP2019215702A (en) 2018-06-13 2018-06-13 Image processing device

Publications (1)

Publication Number Publication Date
JP2019215702A true JP2019215702A (en) 2019-12-19

Family

ID=68918722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018112548A Pending JP2019215702A (en) 2018-06-13 2018-06-13 Image processing device

Country Status (1)

Country Link
JP (1) JP2019215702A (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06125490A (en) * 1992-10-14 1994-05-06 Nippon Hoso Kyokai <Nhk> Vibration proof device for camera
JP2004265412A (en) * 2003-03-01 2004-09-24 Boeing Co:The System and method for providing vision imaging
JP2006177926A (en) * 2004-12-21 2006-07-06 Korea Electronics Telecommun Method and device for correcting position and attitude information of camera
JP2006197068A (en) * 2005-01-12 2006-07-27 Yokogawa Electric Corp Image display and display method
JP2006226965A (en) * 2005-02-21 2006-08-31 Sumitomo Electric Ind Ltd Image processing system, computer program and image processing method
JP2013254373A (en) * 2012-06-07 2013-12-19 Nec Corp Image processing device, control method of image processing device and program
JP2014207605A (en) * 2013-04-15 2014-10-30 株式会社デンソー Image processing unit for vehicle
US20150262492A1 (en) * 2014-03-17 2015-09-17 DM3 Aviation LLC Airplane collision avoidance
JP2015193347A (en) * 2014-03-31 2015-11-05 三菱プレシジョン株式会社 Inertia navigation system of missile
US20180010815A1 (en) * 2017-05-05 2018-01-11 Tsan-Chieh Wang System for monitoring fan filter units in clean rooms

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06125490A (en) * 1992-10-14 1994-05-06 Nippon Hoso Kyokai <Nhk> Vibration proof device for camera
JP2004265412A (en) * 2003-03-01 2004-09-24 Boeing Co:The System and method for providing vision imaging
JP2006177926A (en) * 2004-12-21 2006-07-06 Korea Electronics Telecommun Method and device for correcting position and attitude information of camera
JP2006197068A (en) * 2005-01-12 2006-07-27 Yokogawa Electric Corp Image display and display method
JP2006226965A (en) * 2005-02-21 2006-08-31 Sumitomo Electric Ind Ltd Image processing system, computer program and image processing method
JP2013254373A (en) * 2012-06-07 2013-12-19 Nec Corp Image processing device, control method of image processing device and program
JP2014207605A (en) * 2013-04-15 2014-10-30 株式会社デンソー Image processing unit for vehicle
US20150262492A1 (en) * 2014-03-17 2015-09-17 DM3 Aviation LLC Airplane collision avoidance
JP2015193347A (en) * 2014-03-31 2015-11-05 三菱プレシジョン株式会社 Inertia navigation system of missile
US20180010815A1 (en) * 2017-05-05 2018-01-11 Tsan-Chieh Wang System for monitoring fan filter units in clean rooms

Similar Documents

Publication Publication Date Title
US20190317532A1 (en) Gimbal control method, control system, gimbal, and unmanned aircraft
JP6245149B2 (en) Gimbal device and control method of gimbal device
JP6430073B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
EP2747418B1 (en) Image processor for processing images received from a plurality of image sensors
WO2017197630A1 (en) Autofocus initialization based on target detection
JP2010145389A (en) Method of correcting three-dimensional erroneous array of attitude angle sensor by using single image
KR101769602B1 (en) Apparatus and method of position revision for hovering using optical flow and imu and ultrasonic sensor
JP2007240506A (en) Three-dimensional shape and 3-dimensional topography measuring method
JP7027064B2 (en) Image processing equipment and image processing methods, imaging equipment, programs
JP2017009555A (en) Camera calibration device, camera calibration method, and program for camera calibration
JP6335237B2 (en) Stereo distance measuring device, stereo distance measuring method, and stereo distance measuring program
JP2008244893A (en) Imaging space stabilizing device and object tracking device
JP2019215702A (en) Image processing device
JP6249864B2 (en) Inertial navigation system for flying objects
KR101769603B1 (en) Apparatus and method of position revision for hovering
CN108700420B (en) Apparatus and method for maintaining attitude of vehicle using gyroscope
US8155802B1 (en) Optical flow navigation system
CN108513058B (en) Image device capable of compensating image change
JP2021111902A (en) Information processing device, information processing method, and program
JP2020046243A (en) Altitude measuring device, flying vehicle, altitude measuring method, and program
JP2018521416A (en) Image processing method and system for vision system
KR102598070B1 (en) Optical image stabilization in a scanning folded camera
JP7482757B2 (en) Aircraft position control system, aircraft, and aircraft position control method
US20230199326A1 (en) Systems and methods for capturing stabilized images
JP2009063319A (en) Apparatus and method for distance measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110