JP2012180034A - Target standardizing device and target standardizing method - Google Patents

Target standardizing device and target standardizing method Download PDF

Info

Publication number
JP2012180034A
JP2012180034A JP2011044955A JP2011044955A JP2012180034A JP 2012180034 A JP2012180034 A JP 2012180034A JP 2011044955 A JP2011044955 A JP 2011044955A JP 2011044955 A JP2011044955 A JP 2011044955A JP 2012180034 A JP2012180034 A JP 2012180034A
Authority
JP
Japan
Prior art keywords
target
value
average
photographing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011044955A
Other languages
Japanese (ja)
Other versions
JP5857419B2 (en
Inventor
Akihisa Wada
昭久 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011044955A priority Critical patent/JP5857419B2/en
Publication of JP2012180034A publication Critical patent/JP2012180034A/en
Application granted granted Critical
Publication of JP5857419B2 publication Critical patent/JP5857419B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To highly accurately evaluate a target with an inexpensive constitution, even when mounted on a flying body of rocking an attitude.SOLUTION: This target standardizing device includes: an arithmetic operation unit 16 for calculating a standardizing position of the target with every image information, and calculating and outputting its average standardizing position, by supplying a plurality of image information formed by associating photographed image acquired by photographing at least the target to a photographing position when photographing the target; and a comparing-selecting unit 15 for selecting the image information supplied to the arithmetic operation unit 16 according to a prestored image selecting specified value when a position dispersion value is larger than a preset target dispersion value by calculating the position dispersion value to the average standardizing position of the standardizing position used for calculating the average standardizing position.

Description

本発明は、目標標定装置及び目標標定方法に関する。   The present invention relates to a target orientation device and a target orientation method.

目標標定装置は、例えば小型の無人飛行機等の飛翔体に搭載されて、地上の目標を撮影し、その撮影データから目標の位置を取得するために用いられる。飛翔体は、飛行条件により姿勢が揺動するので、目標位置を高精度に評定するためには、ジンバル等により目標標定装置の揺動を抑える必要がある。しかし、ジンバル等は重量物であるため、小型の無人機等に搭載できない場合が多い。   The target locating device is mounted on a flying object such as a small unmanned airplane, for example, and is used for photographing a target on the ground and acquiring the target position from the photographed data. Since the attitude of the flying object fluctuates depending on the flight conditions, it is necessary to suppress the swing of the target locating device by a gimbal or the like in order to evaluate the target position with high accuracy. However, since gimbals and the like are heavy, they often cannot be mounted on small unmanned aircraft.

このような観点から、特開平10−122794号公報においては、撮影画像から目標が写っている領域の画像を切出す技術が開示されている。そして、飛翔体の揺動に応じて切り出す領域を変えることにより、目標が写っている画像を得ている。   From such a viewpoint, Japanese Patent Laid-Open No. 10-122794 discloses a technique for cutting out an image of a region where a target is shown from a captured image. Then, by changing the area to be cut out according to the swing of the flying object, an image showing the target is obtained.

また、特開2001−088797号公報においては、天候良好時に撮影された多数の空域画像を予め用意して、検出された航空機の現在位置、飛行方向,飛行姿勢に最も近い空域画像を選別表示することにより、操縦が天候不良時でも天候良好時と同様な有視界飛行感覚で行えるようにする技術が開示されている。   In Japanese Patent Laid-Open No. 2001-08797, a large number of airspace images taken in good weather are prepared in advance, and the airspace image closest to the detected current position, flight direction, and flight attitude of the aircraft is selected and displayed. Thus, a technology has been disclosed that enables the maneuvering to be performed with a visual flight feeling similar to that when the weather is bad even when the weather is bad.

特開平10−122794号公報JP-A-10-122794 特開2001−088797号公報JP 2001-08797 A

しかしながら、特開平10−122794号公報にかかる方法では、飛翔体の揺動に応じて画像を切出すため、少なくとも撮影画像は切出す画像より大きいサイズの画像であることが要求される。このことは撮影範囲が大きくなることを意味し、撮影画像において無駄になる画像(切り出された残りの画像)が発生する問題がある。また、撮影分解能を保持しながら大きな画像を撮影するためには、高分解能の撮影機器が必要となり、撮影機器が高価になる問題がある。   However, in the method according to Japanese Patent Application Laid-Open No. 10-122794, an image is cut out in accordance with the swinging of the flying object, so that at least the photographed image is required to be larger than the image to be cut out. This means that the photographing range becomes large, and there is a problem that a wasteful image (remaining clipped image) occurs in the photographed image. Further, in order to capture a large image while maintaining the imaging resolution, a high-resolution imaging device is required, and there is a problem that the imaging device becomes expensive.

また、特開2001−088797号公報にかかる方法では、天候条件や飛行姿勢に対応する大量の画像を予め用意する必要があると共に、この大量の画像から最適な画像を選別表示する手順が必要となる。従って、かかる技術を目標標定のために応用する際にも、大量の画像を事前に準備し、状況に応じて選別しなければならない。即ち、目標標定装置は大量の画像を記憶する手段を備えると共に、これらの画像から最適な画像を選別するため手段を備え、かつ、これらの選別処理を高速で行わなければならない。依って、目標標定装置は高価になる問題がある。 そこで、本発明の主目的は、姿勢が揺動する飛翔体に搭載しても、安価な構成で、かつ、高精度に目標が評定できる目標標定装置及び目標標定方法を提供することである。   Further, in the method according to Japanese Patent Laid-Open No. 2001-08797, it is necessary to prepare a large amount of images corresponding to the weather conditions and the flight posture in advance, and a procedure for selecting and displaying an optimal image from the large amount of images is necessary. Become. Therefore, when applying this technique for target orientation, a large amount of images must be prepared in advance and selected according to the situation. That is, the target locating apparatus has means for storing a large amount of images, means for selecting an optimal image from these images, and must perform these selection processes at high speed. Therefore, there is a problem that the target locating device becomes expensive. Therefore, a main object of the present invention is to provide a target locating apparatus and a target locating method that can be used to evaluate a target with high accuracy and with a low cost even when mounted on a flying object whose posture swings.

上記課題を解決するため、目標標定装置にかかる発明は、少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算ユニットと、平均標定位置の算出に用いた標定位置の当該平均標定位置に対する位置分散値を算出して、位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い演算ユニットに供給する画像情報を選別する比較・選別ユニットと、を備えることを特徴とする。   In order to solve the above-described problems, the invention according to the target locating apparatus is provided with a plurality of pieces of image information obtained by associating at least a photographed image obtained by photographing a target and a photographing position at the time of target photographing. The calculation unit that calculates the target orientation position for each information and calculates and outputs the average orientation position, and calculates the position variance value for the average orientation position of the orientation position used to calculate the average orientation position, A comparison / selection unit for selecting image information to be supplied to the arithmetic unit in accordance with a pre-stored image selection prescribed value when the variance value is larger than a preset target variance value;

また、目標標定方法にかかる発明は、少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算手順と、平均標定位置の算出に用いた標定位置の当該平均標定位置に対する位置分散値を算出して、位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い演算手順に供給する画像情報を選別する比較・選別手順と、を含むことを特徴とする。   Further, the invention according to the target locating method is provided with a plurality of pieces of image information obtained by associating at least a photographed image obtained by photographing a target and a photographing position at the time of target photographing. The calculation procedure for calculating and outputting the orientation position and calculating and outputting the orientation position, and calculating the position dispersion value of the orientation position used for calculating the orientation position relative to the mean orientation position, and setting the position dispersion value in advance A comparison / selection procedure for selecting image information to be supplied to the calculation procedure in accordance with a pre-stored image selection specification value when the target dispersion value is greater than the target dispersion value.

目標の標定位置の算出に用いる画像情報を、当該標定位置の算出結果に基づき選別するので、姿勢が揺動する飛翔体に搭載しても、安価な構成で、かつ、高精度に目標が評定できるようになる。   Since the image information used to calculate the target location is selected based on the calculation result of the location, the target can be evaluated with high accuracy and low cost even if it is mounted on a flying object whose posture swings. become able to.

本実施形態にかかる目標標定装置のブロック図である。It is a block diagram of the target orientation apparatus concerning this embodiment. 目標標定装置を飛翔体に搭載して目標を撮影する際の撮影範囲を示す図である。It is a figure which shows the imaging | photography range at the time of mounting a target orientation apparatus on a flying body and image | photographing a target. 標定位置算出手順を示すフローチャートである。It is a flowchart which shows an orientation position calculation procedure. 座標変換過程を模式的に示した図である。It is the figure which showed the coordinate transformation process typically.

<第1の実施形態>
本発明の第1の実施形態を説明する。図1は、本実施形態にかかる目標標定装置2のブロック図である。図2は、目標標定装置2を小型の無人飛行機等の飛翔体7に搭載して目標を撮影する際の撮影範囲を示す図である。
<First Embodiment>
A first embodiment of the present invention will be described. FIG. 1 is a block diagram of a target orientation device 2 according to the present embodiment. FIG. 2 is a diagram showing an imaging range when the target locating apparatus 2 is mounted on a flying object 7 such as a small unmanned airplane to image a target.

目標標定装置2は、撮影ユニット11、撮影位置取得ユニット12、撮影姿勢角取得ユニット13、記憶ユニット14、比較・選別ユニット15、演算ユニット16を備える。   The target orientation device 2 includes an imaging unit 11, an imaging position acquisition unit 12, an imaging attitude angle acquisition unit 13, a storage unit 14, a comparison / selection unit 15, and an arithmetic unit 16.

撮影ユニット11は、CCDカメラ等からなり、位置標定を行いたい目標を自動又は手動で複数枚撮影する。そして、撮影して得られた撮影画像は、記憶ユニット14に送られる。   The photographing unit 11 is composed of a CCD camera or the like, and photographs a plurality of targets that are desired to be positioned automatically or manually. The photographed image obtained by photographing is sent to the storage unit 14.

撮影位置取得ユニット12は、GPS受信機等からなり、図示しないGPS衛星と通信して、自機の位置(以下、撮影位置と記載する)を取得する。取得された撮影位置は、記憶ユニット14に送られる。ここで、自機とは、目標標定装置2が搭載された飛行機等の目標標定装置搭載機7を言う。   The imaging position acquisition unit 12 includes a GPS receiver or the like, and communicates with a GPS satellite (not shown) to acquire its own position (hereinafter referred to as an imaging position). The acquired shooting position is sent to the storage unit 14. Here, the own aircraft refers to the target orientation device mounting machine 7 such as an airplane on which the target orientation device 2 is mounted.

撮影姿勢角取得ユニット13は、ジャイロ等からなり、目標撮影時における目標標定装置搭載機7の姿勢角(以下、撮影姿勢角と記載する)を記憶ユニット14に出力する。   The shooting posture angle acquisition unit 13 is composed of a gyro and the like, and outputs the posture angle (hereinafter referred to as a shooting posture angle) of the target orientation device mounting machine 7 at the time of target shooting to the storage unit 14.

記憶ユニット14は、撮影位置及び撮影姿勢角を、撮影画像と対応付けて記憶する。以下、撮影画像、撮影姿勢角、撮影位置の各データを総称して画像情報と記載する。   The storage unit 14 stores the shooting position and the shooting posture angle in association with the shot image. Hereinafter, each data of the photographed image, the photographing posture angle, and the photographing position is collectively referred to as image information.

演算ユニット16には、比較・選別ユニット15から画像情報を受信して後述する手順で標定位置を算出する。なお、比較・選別ユニット15から複数の画像情報を受信した場合には、各画像情報に基づく標定位置を算出すると共に、算出した標定位置の平均値(平均標定位置)及び撮影姿勢角の平均値(平均撮影姿勢角)を算出する。算出結果は、外部出力されると共に比較・選別ユニット15にフィードバックされる。   The arithmetic unit 16 receives the image information from the comparison / sorting unit 15 and calculates the orientation position according to the procedure described later. When a plurality of pieces of image information are received from the comparison / selection unit 15, the orientation position based on each image information is calculated, and the average value of the calculated orientation positions (average orientation position) and the average value of the photographing posture angle are calculated. (Average shooting posture angle) is calculated. The calculation result is output to the outside and fed back to the comparison / selection unit 15.

比較・選別ユニット15は、パラメータ記憶部15a、分散値演算部15b、比較部15c、選別部15dを備える。そして、比較・選別ユニット15は、演算ユニット16に画像情報を画像選別規定値に基づき選別して出力する。また、比較・選別ユニット15は、演算ユニット16からの標定位置、平均標定位置及び、平均撮影姿勢角を受信して、標定位置の分散値を計算すると共に、この分散値と目標分散値との比較から画像選別規定値を更新する。   The comparison / selection unit 15 includes a parameter storage unit 15a, a variance value calculation unit 15b, a comparison unit 15c, and a selection unit 15d. Then, the comparison / sorting unit 15 sorts and outputs the image information to the arithmetic unit 16 based on the prescribed image sorting value. Further, the comparison / selection unit 15 receives the orientation position, the average orientation position, and the average photographing posture angle from the arithmetic unit 16 and calculates the variance value of the orientation position, and calculates the variance value and the target variance value. The image selection specified value is updated from the comparison.

パラメータ記憶部15aは、画像選別規定値及び目標分散値を記憶している。画像選別規定値は、比較・選別ユニット15が演算ユニット16に撮影情報を選別して出力する際の基準をなす値で、平均撮影姿勢角±姿勢角分散値により定義される変更・更新が可能な値である。   The parameter storage unit 15a stores an image selection specified value and a target variance value. The image selection specified value is a value used as a reference when the comparison / selection unit 15 selects and outputs the shooting information to the arithmetic unit 16 and can be changed / updated defined by the average shooting posture angle ± posture angle variance value. Value.

また、目標分散値は、演算ユニット16が標定した目標位置に対する精度を判定する際の基準をなす値で、撮影姿勢角が変化しない状態における目標標定結果に対する誤差分散値、設計値、又は当該目標標定装置の完成後の測定により決定した値等である。   Further, the target variance value is a value that serves as a reference when determining the accuracy with respect to the target position determined by the arithmetic unit 16, and is an error variance value, a design value, or the target target value for the target orientation result in a state where the photographing posture angle does not change. It is a value determined by measurement after the orientation device is completed.

分散値演算部15bは、演算ユニット16からの平均標定位置を用いて、各撮影画像から求めた標定位置の分散値(以下、位置分散値という)を計算する。また、平均標定位置の算出に用いた撮影画像を撮影した際の撮影姿勢角の分散値(姿勢角分散値)と、その平均値(平均撮影姿勢角という)とを計算する。   The variance value calculation unit 15 b calculates the variance value of the orientation position obtained from each captured image (hereinafter referred to as the position variance value) using the average orientation position from the computation unit 16. In addition, a dispersion value (posture angle dispersion value) of photographing posture angles when photographing a photographed image used for calculating the average orientation position and an average value (referred to as an average photographing posture angle) are calculated.

比較部15cは、位置分散値が目標分散値に対して大きいか否かを判断する。もし、位置分散値が目標分散値より大きい場合は、撮影姿勢角の揺動が大きいために標定位置に大きな誤差が含まれると判定する。そこで、この判断に基づき画像選別規定値を変更・更新する。   The comparison unit 15c determines whether or not the position variance value is larger than the target variance value. If the position variance value is larger than the target variance value, it is determined that a large error is included in the orientation position because the shooting posture angle fluctuates greatly. Therefore, the image sorting specified value is changed / updated based on this determination.

選別部15dは、更新された画像選別規定値を満たす撮影姿勢角で撮影された撮影画像を選別して、演算ユニット16に出力する。従って、更新された画像選別規定値により選別された撮影画像は、撮影姿勢角の揺動が大きい時の撮影画像は含まれない。   The sorting unit 15d sorts the photographed image photographed at the photographing posture angle that satisfies the updated image sorting regulation value, and outputs it to the arithmetic unit 16. Therefore, the photographed image selected based on the updated image sorting specified value does not include the photographed image when the swing of the photographing posture angle is large.

演算ユニット16は、このようにして比較・選別ユニット15で選別された撮影が贈答を用いて標定位置を演算する。   The arithmetic unit 16 calculates the orientation position by using the gifts selected by the comparison / selection unit 15 in this way.

以上の処理は、位置分散値が目標分散に対して小さくなるか、あるいは充分近い値になるまで繰り返す。これにより、撮影姿勢角が画像選別規定値を越えた画像から演算された標定位置を取得することが可能になり、一標定精度が向上する。   The above processing is repeated until the position dispersion value becomes smaller than the target dispersion or becomes a sufficiently close value. This makes it possible to acquire the orientation position calculated from the image whose shooting posture angle exceeds the image selection specified value, and the orientation accuracy is improved.

次に、このような目標標定装置の動作を、上述した図2及び、図3を参照して説明する。なお、図3は標定位置算出手順を示すフローチャートである。このとき、目標標定装置2は小型飛行機の目標標定装置搭載機7に搭載されているとする。   Next, the operation of such a target orientation apparatus will be described with reference to FIGS. 2 and 3 described above. FIG. 3 is a flowchart showing the orientation position calculation procedure. At this time, it is assumed that the target orientation device 2 is mounted on the target orientation device mounting machine 7 of the small airplane.

以下の説明の観点から、地表に固定された地表座標系と、目標標定装置搭載機7に設定された撮影座標系とを定義する。地表座標系の座標軸をX軸,Y軸,Z軸とし、撮影座標系の座標軸をX軸,Y軸,Z軸とする。このとき、Z軸とZ軸とは同軸線上にあり、X軸とX軸及び、Y軸とY軸は、それぞれ平行であるとする。そして、目標標定装置搭載機7が揺動することにより、撮影姿勢角が変化する。この撮影姿勢角の変化は、図2において、X軸の回りの回転角φ、Y軸の回りの回転角θ、Z軸の回りの回転角ψで示している。 From the viewpoint of the following description, a ground coordinate system fixed to the ground surface and an imaging coordinate system set in the target orientation device mounting machine 7 are defined. The axes of the ground coordinate system X 0 axis, Y 0 axis, and Z 0 axis, the axes of the imaging coordinate system X 1 axis, Y 1 axis, and Z 1 axis. At this time, there coaxially to the Z 0 axis and Z 1 axis, X 1 axis and X 0 axis and, Y 1 axis and Y 0 axis is respectively parallel. Then, when the target orientation device mounting machine 7 swings, the photographing posture angle changes. This change in the photographing posture angle, in FIG. 2, the angle of rotation about the X 1 axis phi, Y 1 about the axis of rotation angle of theta, are shown around the rotation angle of the Z 1 axis [psi.

目標標定装置搭載機7に搭載された目標標定装置2における撮影ユニット11の光軸は、Z軸と一致するように設定されている。無論、撮影ユニット11の取付け状況により、撮影ユニット11の光軸がZ軸と一致せず、ずれる場合がある。このずれ量は、後述する標定位置算出方法における地表座標系に対する撮影座標系のオフセット量として座標変換において取り込むことが可能である。従って、後述する標定位置算出方法は、一般的な方法である。 The optical axis of the imaging unit 11 in the target locating device 2 installed on the target locating system based unit 7 is set to coincide with Z 1 axis. Of course, the mounting status of the imaging unit 11, the optical axis of the imaging unit 11 does not match the Z 1 axis, which may deviate. This shift amount can be captured in coordinate conversion as an offset amount of the imaging coordinate system with respect to the ground coordinate system in the orientation position calculation method described later. Therefore, the orientation position calculation method described later is a general method.

さて、撮影位置取得ユニット12により、撮影位置を得ることができる。図2においては、撮影位置は(0,0,H)として示している。即ち、撮影時の目標標定装置2の位置は、地表座標系のX−Y座標の原点位置で、かつ、地表からの高さ(高度)Hの位置である。なお、高度はGPS機能から得ることができるが、気圧高度計等を用いてもよい。 The photographing position can be obtained by the photographing position acquisition unit 12. In FIG. 2, the photographing position is shown as (0, 0, H). That is, the position of the target orientation device 2 at the time of photographing is the origin position of the X 0 -Y 0 coordinate of the ground surface coordinate system and the height (altitude) H from the ground surface. The altitude can be obtained from the GPS function, but a barometric altimeter or the like may be used.

次に、ある時刻で撮影した時の撮影範囲を領域R1(A,B,C,D)とする。このときは撮影座標系のZ軸は地表座標系のZ軸と一致した状態である。そして、次の撮影において、目標標定装置搭載機7が揺動したために、撮影範囲が領域R2(A',B',C',D')に変化したとする。このように仮定したとき、目標標定装置の動作は以下のようになる。 Next, a shooting range when shooting at a certain time is defined as a region R1 (A, B, C, D). In this case Z 1 axis of the imaging coordinate system is in a state consistent with Z 0 axis of the ground coordinate system. In the next shooting, it is assumed that the shooting range has changed to the region R2 (A ′, B ′, C ′, D ′) because the target orientation device mounting machine 7 has been swung. Under this assumption, the operation of the target orientation device is as follows.

ステップS1,S2: 撮影ユニット11、撮影位置取得ユニット12、撮影姿勢角取得ユニット13により取得された撮影画像、撮影位置、撮影姿勢角からなる画像情報は、相互に関連づけられて記憶ユニット14で記憶される。   Steps S1 and S2: Image information including the captured image, the captured position, and the captured attitude angle acquired by the imaging unit 11, the imaging position acquisition unit 12, and the imaging attitude angle acquisition unit 13 is stored in the storage unit 14 in association with each other. Is done.

ステップS3: 比較、選別ユニット15における選別部15dは、パラメータ記憶部15aに記憶されている画像選別規定値に従い、記憶ユニット14に記憶されている画像情報を選別して演算ユニット16に出力する。   Step S3: The sorting unit 15d in the comparison and sorting unit 15 sorts the image information stored in the storage unit 14 in accordance with the image sorting specified value stored in the parameter storage unit 15a, and outputs it to the arithmetic unit 16.

ステップS4: 演算ユニット16は、画像情報を用いて目標の標定位置を算出する。このとき撮影領域における目標の位置は、撮影画角を用いて演算される。なお、撮影画角とは、撮影ユニット11の光軸に対して撮影画像における目標がなす角度である。即ち、撮影画像のどの位置に目標が位置するかを示すパラメータである。撮影画像が複数の画素から構成される場合には、予め設定された中心画素(例えば、撮影画像の中心に位置する画素)の位置と目標を示す画素の位置から算出される。   Step S4: The arithmetic unit 16 calculates the target location using the image information. At this time, the target position in the shooting area is calculated using the shooting angle of view. The shooting angle of view is an angle formed by a target in the shot image with respect to the optical axis of the shooting unit 11. That is, it is a parameter indicating at which position in the captured image the target is located. When the captured image is composed of a plurality of pixels, it is calculated from the position of a preset center pixel (for example, the pixel located at the center of the captured image) and the position of the pixel indicating the target.

目標標定装置搭載機7が揺動したことにより、撮影範囲が領域R1から領域R2に変化した場合、撮影座標系における座標値は式1の回転式を用いて式2,式3のように座標変換できる。

When the photographing range changes from the region R1 to the region R2 due to the swing of the target orientation device mounting machine 7, the coordinate values in the photographing coordinate system are coordinates as shown in Equations 2 and 3 using the rotation equation of Equation 1. Can be converted.





図4は、各数式における変換過程を模式的に示した図で、紙面がY−Z平面(Y−Z平面)に対応し、この紙面に垂直に向かう方向がX軸(X軸)に対応する。そして、座標Yは、揺動前の撮影領域R1における、例えばA点のY軸の座標値を示し、座標Y'は揺動後のY軸の座標値を示している。この座標Y'は、高度Hに対応した半径の球面上の点である。従って、式2により、座標Yは座標Y'に変換される。このとき座標Y'は、半径Hの球面上の点であり地表上の点ではない。そこで、式3により座標Y'を地表面上の座標YA'変換する。なお、例えばA点は3次元座標値であるので、式2及び式3は各座標値に対して定義できる。また、例えば撮影領域R1はA,B,C,Dの4点で形成されるので、各点に対して式2及び式3が定義される。これにより標定位置が算出される。 FIG. 4 is a diagram schematically showing the conversion process in each mathematical expression, where the paper surface corresponds to the Y 1 -Z 1 plane (Y 0 -Z 0 plane), and the direction perpendicular to this paper surface is the X 1 axis ( corresponding to the X 0 axis). The coordinate Y A indicates, for example, the coordinate value of the Y 1 axis at the point A in the imaging region R1 before the swing, and the coordinate Y ′ A indicates the coordinate value of the Y 1 axis after the swing. The coordinate Y ′ A is a point on the spherical surface having a radius corresponding to the height H. Therefore, according to Equation 2, the coordinate Y A is converted to the coordinate Y ′ A. At this time, the coordinate Y ′ A is a point on the spherical surface with the radius H and not a point on the ground surface. Therefore, to convert 'coordinate Y A on the ground surface A' coordinate Y by Equation 3. For example, since point A is a three-dimensional coordinate value, equations 2 and 3 can be defined for each coordinate value. Further, for example, since the imaging region R1 is formed by four points A, B, C, and D, Expressions 2 and 3 are defined for each point. Thereby, the orientation position is calculated.

演算ユニット16は記憶ユニット14から複数の撮影画像に関する画像情報を受信すると、撮影画像毎に標定位置を演算すると共に、算出された各標定位置の平均値を平均標定位置として算出する。また、演算ユニット16は、その際の撮影姿勢角の平均値を平均撮影姿勢角として算出する。各標定位置、平均標定位置及び平均撮影姿勢角は、比較・選別ユニット15に出力されると共に、標定結果として装置外に出力される。   When the calculation unit 16 receives image information relating to a plurality of captured images from the storage unit 14, it calculates an orientation position for each captured image, and calculates an average value of the calculated orientation positions as an average orientation position. In addition, the arithmetic unit 16 calculates the average value of the shooting posture angles at that time as the average shooting posture angle. Each orientation position, average orientation position, and average photographing posture angle are output to the comparison / selection unit 15 and are output outside the apparatus as orientation results.

ステップS5,S6: 比較・選別ユニット15の分散値演算部15bは、演算ユニット16からの標定位置、平均標定位置、平均撮影姿勢角を受信すると、これらを用いて標定位置及び撮影姿勢角の分散値σを式4に従いそれぞれ算出する。

Steps S5 and S6: When the variance value calculation unit 15b of the comparison / selection unit 15 receives the orientation position, the average orientation position, and the average shooting posture angle from the calculation unit 16, the variance of the orientation position and the shooting posture angle is received using these. The value σ 2 is calculated according to Equation 4.

ここでXaveは、平均標定位置又は平均撮影姿勢角、Xは標定位置又は撮影姿勢角である。また、nは、測定(撮影)回数を示す正の整数である。 Here, X ave is an average orientation position or average photographing posture angle, and X i is an orientation position or photographing posture angle. N is a positive integer indicating the number of measurements (photographing).

ステップS7:算出された分散値は比較部15cに送られ、この比較部15cで標定位置の位置分散値と、パラメータ記憶部15aに予め設定されている目標分散値との大小比較が行なわれる。   Step S7: The calculated variance value is sent to the comparison unit 15c, and the comparison unit 15c compares the position variance value of the orientation position with the target variance value preset in the parameter storage unit 15a.

ステップS8:そして、位置分散値が、目標分散値より大きい場合は、目標標定装置搭載機7の揺動に起因する標定位置の誤差が大きいと判断し、位置分散値が目標分散値より小さい場合は標定位置の誤差は基準内であると判断する。   Step S8: If the position dispersion value is larger than the target dispersion value, it is determined that the error in the orientation position due to the swing of the target orientation device mounting machine 7 is large, and the position dispersion value is smaller than the target dispersion value. Determines that the error of the orientation position is within the standard.

位置分散値が目標分散値より大きいと判断した場合は、パラメータ記憶部15aに記憶されている画像選別規定値を更新する。即ち、画像選別規定値は、平均撮影姿勢角±姿勢角分散値の範囲の値に更新される。なお、画像選別規定値は、先に算出した姿勢角分散値σの標準偏差値σを用いて、平均撮影姿勢角に対して以下の式5、式6を満足する姿勢角の上限値と下限値とにより設定される。
上限値: Xave+σ …(5)
下限値: Xave−σ …(6)
本実施形態では、上限値及び下限値の算出において標準F偏差値σを用いることを規定するものではなく、2σや3σ等の値を用いてもよい。この場合、範囲設定の幅を広げることになるが、分散値が目標値内に納まるまでの演算処理回数が少なくできるため、演算負荷の軽減が可能になる。
When it is determined that the position variance value is larger than the target variance value, the image selection specified value stored in the parameter storage unit 15a is updated. That is, the image selection specified value is updated to a value in the range of the average photographing posture angle ± posture angle variance value. The image selection specified value is the upper limit value of the posture angle satisfying the following formulas 5 and 6 with respect to the average photographing posture angle, using the standard deviation value σ of the posture angle variance value σ 2 calculated previously. It is set by the lower limit value.
Upper limit value: X ave + σ (5)
Lower limit value: X ave −σ (6)
In the present embodiment, it is not specified that the standard F deviation value σ is used in the calculation of the upper limit value and the lower limit value, and values such as 2σ and 3σ may be used. In this case, the range setting range is widened, but the number of calculation processes until the variance value falls within the target value can be reduced, so that the calculation load can be reduced.

この画像選別規定値が更新されると、ステップS3に戻る。そして、ステップS3で、この画像選別規定値に適合する撮影姿勢角で撮影された撮影画像に関する画像情報が選別されて、演算ユニット16に出力される。その後は、上述したステップS4〜S7の処理が繰り返される。   When this image sorting specified value is updated, the process returns to step S3. In step S 3, image information relating to the photographed image photographed at the photographing posture angle suitable for the image sorting regulation value is sorted and output to the arithmetic unit 16. Thereafter, the processes of steps S4 to S7 described above are repeated.

一方、ステップS7で、位置分散値が、目標分散値より小さい場合は、所望の精度の標定位置が得られたとして処理が終了する。   On the other hand, if the position variance value is smaller than the target variance value in step S7, the process ends on the assumption that the orientation position with the desired accuracy has been obtained.

以上説明したように、所望の精度が得られるまで、標定位置の算出に用いられる撮影情報の選別を行うので、最終的に得られる標定位置は所望の精度を持つようになる。
<第2の実施形態>
次に、本発明の第2の実施形態を説明する。なお、第1の実施形態と同一構成に関しては、符号を用いて説明を適宜省略する。第1の実施形態においては、撮影姿勢角に基づき定義された画像選別規定値を用いた。これに対し、本実施形態では、撮影姿勢角速度に基づき定義される画像選別規定値を用いる。
As described above, since the photographing information used for calculating the orientation position is selected until the desired accuracy is obtained, the orientation position finally obtained has the desired accuracy.
<Second Embodiment>
Next, a second embodiment of the present invention will be described. In addition, about the same structure as 1st Embodiment, description is abbreviate | omitted suitably using a code | symbol. In the first embodiment, the image selection specified value defined based on the shooting posture angle is used. On the other hand, in the present embodiment, an image selection specified value defined based on the shooting posture angular velocity is used.

このために、撮影時においては撮影位置、撮影姿勢角に加え撮影姿勢角速度を取得する。そして、画像選別規定値を画像選別規定値は、撮影姿勢角速度中心値±撮影姿勢角速度分散値により定義する。この撮影姿勢角速度中心値は、平均値ではなく0°/秒、即ち姿勢角変化がない状態とする。   For this purpose, at the time of shooting, in addition to the shooting position and shooting posture angle, the shooting posture angular velocity is acquired. The image selection specified value is defined by the image pickup attitude angular velocity central value ± the image pickup attitude angular velocity dispersion value. The photographing posture angular velocity center value is not an average value but 0 ° / second, that is, a state in which there is no posture angle change.

目標標定装置搭載機7は、ディジタル的に揺動することはなく、アナログ的に揺動する。なお、ここでディジタル的、アナログ的な揺動とは、撮影ユニット11のシャッタ速度に対しする揺動速度を言う。シャッタ速度に比べ、揺動速度が遅い場合には、ディジタル的な揺動と言うことができるが、シャッタ速度に近似した揺動速度の場合はディジタル的とは言えない。即ち、この場合は、アナログ的な揺動である。   The target orientation device mounting machine 7 does not swing digitally but swings analog. Here, the digital and analog swing means a swing speed relative to the shutter speed of the photographing unit 11. If the swing speed is slower than the shutter speed, it can be said that the swing is digital, but if the swing speed is close to the shutter speed, it cannot be said to be digital. That is, in this case, it is an analog swing.

目標標定装置搭載機7の高度が高い場合には、撮影領域の変化も大きくなり、恰も写真撮影における手ぶれ現象のように、画像の流れが生じやすくなる。このような画像を用いて目標位置を標定しても、高精度に目標位置が評定できない。   When the altitude of the target orientation device mounting machine 7 is high, the change of the shooting area becomes large, and the flow of the image is likely to occur like the camera shake phenomenon in the photo shooting. Even if the target position is determined using such an image, the target position cannot be evaluated with high accuracy.

しかし、本実施形態においては、画像選別規定値を撮影姿勢角速度に基づき設定するので、流れた撮影画像に基づき目標位置の標定が行われなくなり、又は標定に用いる撮影画像が流れた画像である場合が少なくなり、目標標定位置の精度及び信頼性が向上する。   However, in the present embodiment, since the image selection specified value is set based on the shooting posture angular velocity, the target position is not determined based on the captured image that has flowed, or the captured image used for the alignment is an image that flows. And the accuracy and reliability of the target position are improved.

本発明にかかる目標標定装置は、災害等の状況を上空から監視するための小型の無人飛行機や無人ヘリコプタのようにジンバル等により撮影ユニットを安定化する異が出来ない飛翔体に搭載することが可能である。   The target locating apparatus according to the present invention may be mounted on a flying object that cannot make a difference to stabilize the photographing unit by a gimbal such as a small unmanned airplane or unmanned helicopter for monitoring the situation of a disaster or the like from the sky. Is possible.

2 目標標定装置
7 目標標定装置搭載機
11 撮影ユニット
12 撮影位置取得ユニット
13 撮影姿勢角取得ユニット
14 記憶ユニット
15 比較・選別ユニット
15a パラメータ記憶部
15b 分散値演算部
15c 比較部
15d 選別部
2 target orientation device 7 target orientation device mounting machine 11 imaging unit 12 imaging position acquisition unit 13 imaging attitude angle acquisition unit 14 storage unit 15 comparison / selection unit 15a parameter storage unit 15b variance value calculation unit 15c comparison unit 15d selection unit

Claims (10)

目標を撮影して、その撮影情報から目標位置を評定する目標標定装置であって、
少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算ユニットと、
前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い前記演算ユニットに供給する前記画像情報を選別する比較・選別ユニットと、を備えることを特徴とする目標標定装置。
A target locator that shoots a target and evaluates the target position from the shooting information,
A plurality of pieces of image information obtained by associating at least a photographed image obtained by photographing a target and a photographing position at the time of target photographing are supplied, and the target orientation position is calculated for each piece of the image information and the average orientation thereof is calculated. An arithmetic unit that calculates and outputs a position;
A position variance value for the average orientation position of the orientation position used for calculating the average orientation position is calculated, and when the position dispersion value is larger than a preset target dispersion value, an image stored in advance A target orientation device comprising: a comparison / sorting unit that sorts the image information supplied to the arithmetic unit according to a sorting regulation value.
請求項1に記載の目標標定装置であって、
前記画像情報には、前記撮影画像が取得された際の撮影姿勢角が含まれて、
前記演算ユニットは、前記撮影姿勢角の平均値を平均撮影姿勢角として算出し、
前記比較・選別ユニットは、前記撮影姿勢角の前記平均撮影姿勢角に対する姿勢角分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、前記姿勢角分散値に基づき前記画像選別既定値を更新・変更することを特徴とする目標標定装置。
The target orientation device according to claim 1,
The image information includes a shooting posture angle when the captured image is acquired,
The arithmetic unit calculates an average value of the shooting posture angles as an average shooting posture angle,
The comparison / selection unit calculates a posture angle variance value with respect to the average shooting posture angle of the shooting posture angle, and when the position variance value is larger than a preset target variance value, the posture angle variance value The target locating apparatus is characterized in that the image selection default value is updated / changed based on the above.
請求項2に記載の目標標定装置であって、
前記比較・選別ユニットは、前記画像選別規定値を、前記平均撮影姿勢角を中心値とし前記姿勢角分散値に基づき設定された幅の範囲値に設定することを特徴とする目標標定装置。
The target orientation device according to claim 2,
The comparison / sorting unit sets the image sorting specified value to a range value of a width set based on the posture angle variance value with the average photographing posture angle as a central value.
請求項1に記載の目標標定装置であって、
前記画像情報には、前記撮影画像が取得された際の撮影姿勢角速度が含まれて、
前記演算ユニットは、前記撮影姿勢角速度の平均値を平均撮影姿勢角速度として算出し、
前記比較・選別ユニットは、前記撮影姿勢角速度の前記平均撮影姿勢角速度に対する姿勢角速度分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、前記姿勢角速度分散値に基づき前記画像選別既定値を更新・変更することを特徴とする目標標定装置。
The target orientation device according to claim 1,
The image information includes a shooting posture angular velocity when the captured image is acquired,
The arithmetic unit calculates an average value of the photographing posture angular velocity as an average photographing posture angular velocity,
The comparison / selection unit calculates a posture angular velocity variance value with respect to the average shooting posture angular velocity of the photographing posture angular velocity, and when the position variance value is larger than a preset target variance value, the posture angular velocity variance value The target locating apparatus is characterized in that the image selection default value is updated / changed based on the above.
請求項4に記載の目標標定装置であって、
前記比較・選別ユニットは、前記画像選別規定値を、前記平均撮影姿勢角速度を中心値とし前記姿勢角速度分散値に基づき設定された幅の範囲値に設定することを特徴とする目標標定装置。
The target orientation device according to claim 4,
The comparison / selection unit sets the specified image selection value to a range value of a width set based on the attitude angular velocity dispersion value with the average photographing attitude angular velocity as a central value.
目標を撮影して、その撮影情報から目標位置を評定する目標標定方法であって、
少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算手順と、
前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い前記演算手順に供給する前記画像情報を選別する比較・選別手順と、を含むことを特徴とする目標標定方法。
A target location method for shooting a target and evaluating the target position from the shooting information,
A plurality of pieces of image information obtained by associating at least a photographed image obtained by photographing a target and a photographing position at the time of target photographing are supplied, and the target orientation position is calculated for each piece of the image information and the average orientation thereof is calculated. A calculation procedure for calculating and outputting the position;
A position variance value for the average orientation position of the orientation position used for calculating the average orientation position is calculated, and when the position dispersion value is larger than a preset target dispersion value, an image stored in advance And a comparison / selection procedure for selecting the image information to be supplied to the calculation procedure in accordance with a specified screening value.
請求項6に記載の目標標定方法であって、
前記画像情報には、前記撮影画像が取得された際の撮影姿勢角が含まれて、
前記演算手順は、前記撮影姿勢角の平均値を平均撮影姿勢角として算出する手順を含むと共に、
前記比較・選別手順は、前記撮影姿勢角の前記平均撮影姿勢角に対する姿勢角分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、前記姿勢角分散値に基づき前記画像選別既定値を更新・変更する手順を含むことを特徴とする目標標定方法。
The target orientation method according to claim 6,
The image information includes a shooting posture angle when the captured image is acquired,
The calculation procedure includes a procedure of calculating an average value of the shooting posture angles as an average shooting posture angle,
The comparison / selection procedure calculates a posture angle variance value of the shooting posture angle with respect to the average shooting posture angle, and when the position variance value is larger than a preset target variance value, the posture angle variance value A target locating method comprising a step of updating / changing the image selection default value based on the method.
請求項7に記載の目標標定方法であって、
前記比較・選別手順は、前記画像選別規定値を、前記平均撮影姿勢角を中心値とし前記姿勢角分散値に基づき設定された幅の範囲値に設定する手順を含むことを特徴とする目標標定方法。
The target orientation method according to claim 7,
The comparison / selection procedure includes a step of setting the image selection specification value to a range value of a width set based on the posture angle variance value with the average photographing posture angle as a central value. Method.
請求項6に記載の目標標定方法であって、
前記画像情報には、前記撮影画像が取得された際の撮影姿勢角速度が含まれて、
前記演算手順は、前記撮影姿勢角速度の平均値を平均撮影姿勢角速度として算出する手順を含むと共に、
前記比較・選別手順は、前記撮影姿勢角速度の前記平均撮影姿勢角速度に対する姿勢角速度分散値を算出して、前記位置分散値が予め設定された目標分散値より大きい場合には、前記姿勢角速度分散値に基づき前記画像選別既定値を更新・変更する手順を含むことを特徴とする目標標定方法。
The target orientation method according to claim 6,
The image information includes a shooting posture angular velocity when the captured image is acquired,
The calculation procedure includes a procedure of calculating an average value of the photographing posture angular velocity as an average photographing posture angular velocity,
The comparison / selection procedure calculates a posture angular velocity variance value with respect to the average shooting posture angular velocity of the photographing posture angular velocity, and when the position variance value is larger than a preset target variance value, the posture angular velocity variance value A target locating method comprising a step of updating / changing the image selection default value based on the method.
請求項9に記載の目標標定方法であって、
前記比較・選別手順は、前記画像選別規定値を、前記平均撮影姿勢角速度を中心値とし前記姿勢角速度分散値に基づき設定された幅の範囲値に設定する手順を含むことを特徴とする目標標定方法。
The target orientation method according to claim 9,
The comparison / selection procedure includes a step of setting the image selection specified value to a range value of a width set based on the posture angular velocity dispersion value with the average photographing posture angular velocity as a central value. Method.
JP2011044955A 2011-03-02 2011-03-02 Target orientation apparatus and target orientation method Active JP5857419B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011044955A JP5857419B2 (en) 2011-03-02 2011-03-02 Target orientation apparatus and target orientation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011044955A JP5857419B2 (en) 2011-03-02 2011-03-02 Target orientation apparatus and target orientation method

Publications (2)

Publication Number Publication Date
JP2012180034A true JP2012180034A (en) 2012-09-20
JP5857419B2 JP5857419B2 (en) 2016-02-10

Family

ID=47011625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011044955A Active JP5857419B2 (en) 2011-03-02 2011-03-02 Target orientation apparatus and target orientation method

Country Status (1)

Country Link
JP (1) JP5857419B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184195A (en) * 2014-09-09 2014-12-03 北京航空航天大学 Power supply system for improving reliability and maintainability of unmanned helicopter
CN104238502A (en) * 2014-08-26 2014-12-24 中国直升机设计研究所 Intelligent monitoring method for unmanned helicopter
CN105438488A (en) * 2014-09-30 2016-03-30 深圳市大疆创新科技有限公司 Aircraft, aircraft control method and aircraft system
KR20210026453A (en) * 2019-08-30 2021-03-10 포항공과대학교 산학협력단 A automatic guiding method for unmanned areal vehicle using object detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268018A (en) * 1997-03-24 1998-10-09 Mitsubishi Electric Corp Location device
JP2004340832A (en) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd Method and system for visual inspection of circuit board
JP2005207862A (en) * 2004-01-22 2005-08-04 Fuji Heavy Ind Ltd Target position information acquiring system and target position information acquiring method
JP2005331285A (en) * 2004-05-18 2005-12-02 Toyota Motor Corp Image processing method and image processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268018A (en) * 1997-03-24 1998-10-09 Mitsubishi Electric Corp Location device
JP2004340832A (en) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd Method and system for visual inspection of circuit board
JP2005207862A (en) * 2004-01-22 2005-08-04 Fuji Heavy Ind Ltd Target position information acquiring system and target position information acquiring method
JP2005331285A (en) * 2004-05-18 2005-12-02 Toyota Motor Corp Image processing method and image processing device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238502A (en) * 2014-08-26 2014-12-24 中国直升机设计研究所 Intelligent monitoring method for unmanned helicopter
CN104238502B (en) * 2014-08-26 2018-05-25 中国直升机设计研究所 A kind of method of unmanned helicopter intelligent monitoring
CN104184195A (en) * 2014-09-09 2014-12-03 北京航空航天大学 Power supply system for improving reliability and maintainability of unmanned helicopter
CN105438488A (en) * 2014-09-30 2016-03-30 深圳市大疆创新科技有限公司 Aircraft, aircraft control method and aircraft system
KR20210026453A (en) * 2019-08-30 2021-03-10 포항공과대학교 산학협력단 A automatic guiding method for unmanned areal vehicle using object detection
KR102238780B1 (en) * 2019-08-30 2021-04-08 포항공과대학교 산학협력단 A automatic guiding method for unmanned areal vehicle using object detection

Also Published As

Publication number Publication date
JP5857419B2 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
EP2772725B1 (en) Aerial Photographing System
US8085308B2 (en) Image correction device, method, integrated circuit and system for correcting images captured by a camera provided in a moving object
JP2008186145A (en) Aerial image processing apparatus and aerial image processing method
WO2004113836A1 (en) Picked-up image display method
JP4448187B2 (en) Image geometric correction method and apparatus
JP3808833B2 (en) Aerial photogrammetry
JP2008304260A (en) Image processing device
JP2807622B2 (en) Aircraft integrated photography system
EP3348963B1 (en) Navigation system and survey system
JP2007322170A (en) Method of aerial photographic survey
JP5857419B2 (en) Target orientation apparatus and target orientation method
CN105956081B (en) Ground station map updating method and device
JP6877293B2 (en) Location information recording method and equipment
CN106325305A (en) Geo-location or navigation type camera, aircraft, and navigation method and system thereof
JP6675537B1 (en) Flight path generation device, flight path generation method and program, and structure inspection method
WO2019230604A1 (en) Inspection system
KR20200064542A (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
CN108801225A (en) A kind of unmanned plane tilts image positioning method, system, medium and equipment
CN112631265A (en) Flight control method and device, storage medium, automatic pilot and unmanned aerial vehicle
US20210229810A1 (en) Information processing device, flight control method, and flight control system
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
KR100956446B1 (en) Method for automatic extraction of optimal 3d-object facade texture using digital aerial images
JP2013160602A (en) Photographic surveying apparatus
JP2003083745A (en) Imaging apparatus mounted to aircraft, and aircraft imaging data processing apparatus
Barbieux et al. Correction of airborne pushbroom images orientation using bundle adjustment of frame images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150714

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R150 Certificate of patent or registration of utility model

Ref document number: 5857419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150