JP2017146907A - Target detector, processing method, and program - Google Patents

Target detector, processing method, and program Download PDF

Info

Publication number
JP2017146907A
JP2017146907A JP2016029977A JP2016029977A JP2017146907A JP 2017146907 A JP2017146907 A JP 2017146907A JP 2016029977 A JP2016029977 A JP 2016029977A JP 2016029977 A JP2016029977 A JP 2016029977A JP 2017146907 A JP2017146907 A JP 2017146907A
Authority
JP
Japan
Prior art keywords
image
ground
targets
target
overhead
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016029977A
Other languages
Japanese (ja)
Other versions
JP6762108B2 (en
Inventor
知浩 松本
Tomohiro Matsumoto
知浩 松本
杉本　喜一
Kiichi Sugimoto
喜一 杉本
黒田　淳
Atsushi Kuroda
淳 黒田
英知 道下
Hidetomo Michishita
英知 道下
崇之 竹川
Takayuki Takekawa
崇之 竹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2016029977A priority Critical patent/JP6762108B2/en
Publication of JP2017146907A publication Critical patent/JP2017146907A/en
Application granted granted Critical
Publication of JP6762108B2 publication Critical patent/JP6762108B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a target detector which accurately determines correspondence of a plurality of objects appearing on an image.SOLUTION: A target detector is given in which an overhead view image photographing a plurality of targets on the ground is obtained from an imaging apparatus in the sky, a ground image photographing the targets is obtained from an imaging apparatus on the ground, and correspondence between the targets photographed in the overhead view image and the targets photographed in the ground image is determined.SELECTED DRAWING: Figure 1

Description

本発明は、目標物検知装置、処理方法、プログラムに関する。   The present invention relates to a target detection device, a processing method, and a program.

地上において異なる位置から遠方の目標物を撮影し、その目標物の座標を特定する技術が存在する。この技術は、一例としては、異なる位置において目標物を撮影した場合の画像に写る位置に基づいて三角測量手法を用いて座標を特定する。関連する技術として特許文献１が開示されている。特許文献１の技術は、解像度の異なる複数の画像に対して被写体検出処理を行い、検出結果の重複度合いを求めるとともに、得られた重複度合いに基づいて多数決判定を行い、最終的な被写体領域を決定する技術である。   There is a technique for photographing a target far from different positions on the ground and specifying the coordinates of the target. In this technique, for example, coordinates are specified using a triangulation method based on a position in an image when a target is photographed at a different position. Patent Document 1 is disclosed as a related technique. In the technique of Patent Document 1, subject detection processing is performed on a plurality of images having different resolutions, the degree of overlap of detection results is obtained, and majority determination is performed based on the obtained degree of overlap, and a final subject region is determined. The technology to decide.

特開２０１５−７０４２６号公報Japanese Patent Laying-Open No. 2015-70426

ところで目標物の座標をより精度高く特定するために、上空と地上とのそれぞれから目標物を撮影することが考えられる。しかしながら遠方の目標物をそれぞれ異なる位置から撮影し、目標物として複数の物体がその撮影画像に写る場合、異なる位置からの撮影により取得できた画像における複数の物体の対応関係を正確に判定する必要がある。   By the way, in order to specify the coordinates of the target with higher accuracy, it is conceivable to photograph the target from each of the sky and the ground. However, when shooting distant targets from different positions and multiple objects appear in the captured image as targets, it is necessary to accurately determine the correspondence between the multiple objects in the images acquired by shooting from different positions There is.

そこでこの発明は、上述の課題を解決することのできる目標物検知装置、処理方法、プログラムを提供することを目的としている。   Accordingly, an object of the present invention is to provide a target detection apparatus, a processing method, and a program that can solve the above-described problems.

本発明の第１の態様によれば、目標物検知装置は、上空の撮影装置から地上の複数の目標物を撮影した俯瞰画像を取得する俯瞰画像取得部と、地上の撮影装置から複数の目標物を撮影した地上画像を取得する地上画像取得部と、前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定部と、を備える。   According to the first aspect of the present invention, the target detection device includes an overhead image acquisition unit that acquires a bird's-eye view image obtained by capturing a plurality of ground targets from a sky imaging device, and a plurality of targets from the ground imaging device. A ground image acquisition unit that acquires a ground image obtained by photographing an object, a determination unit that determines a correspondence relationship between a plurality of targets captured in the overhead image and a plurality of targets captured in the ground image.

上述の目標物検知装置は、前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する座標算出部と、を備え、前記判定部は、前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する。   The target detection device described above includes a three-dimensional position of the above-described imaging device, a shooting direction when the above-described imaging device captures the overhead image, and a position in the image of the target that is captured in the overhead image. A coordinate calculation unit that calculates the coordinates of a plurality of targets appearing in the bird's-eye view image, and the determination unit includes coordinates of the bird's-eye view image and a plurality of targets appearing in the bird's-eye view image and the sky Generating a virtual ground image when shooting the target from the ground image based on the shooting conditions of the shooting device, and generating the virtual ground image based on a comparison between the ground image and the virtual ground image The correspondence relationship between the plurality of targets shown in the overhead image used in the above and the plurality of targets shown in the ground image is determined.

また上述の目標物検知装置において、前記判定部は、前記俯瞰画像に写る複数の目標物に対して付与した識別情報と、前記地上画像に写る複数の目標物に対して付与した識別情報との関係を判定する。   Moreover, in the above-described target object detection device, the determination unit includes identification information given to a plurality of targets shown in the overhead image and identification information given to a plurality of targets shown in the ground image. Determine the relationship.

また上述の目標物検知装置において、前記判定部は、異なる地上の撮影装置から取得した第一地上画像と第二地上画像のそれぞれに基づいて、前記俯瞰画像に写る複数の目標物と、前記第一地上画像及び前記第二地上画像に写る複数の目標物との対応関係を判定する。   Further, in the above-described target object detection device, the determination unit includes a plurality of targets that appear in the overhead image based on each of the first ground image and the second ground image acquired from different ground image capturing devices, and the first target image. Correspondences with a plurality of targets shown in the first ground image and the second ground image are determined.

本発明の第２の態様によれば、処理方法は、上空の撮影装置により地上の複数の目標物を撮影した俯瞰画像を取得し、地上の撮影装置から複数の目標物を撮影した地上画像を取得し、前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する。   According to the second aspect of the present invention, the processing method acquires a bird's-eye view image obtained by photographing a plurality of targets on the ground using an imaging device in the sky, and obtains a ground image obtained by photographing the plurality of targets from the ground photographing device. Obtaining and determining a correspondence relationship between a plurality of targets shown in the overhead image and a plurality of targets shown in the ground image.

本発明の第３の態様によれば、プログラムは、コンピュータに、上空の撮影装置により地上の複数の目標物を撮影した俯瞰画像を取得する俯瞰画像取得ステップと、地上の撮影装置から複数の目標物を撮影した地上画像を取得する地上画像取得ステップと、前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定ステップと、からなる処理を実行させる。   According to the third aspect of the present invention, the program acquires, in a computer, an overhead image acquisition step of acquiring a bird's-eye view image obtained by capturing a plurality of targets on the ground with an overhead imaging device, and a plurality of targets from the ground imaging device. A process comprising: a ground image acquisition step for acquiring a ground image obtained by photographing an object; and a determination step for determining a correspondence relationship between a plurality of targets shown in the overhead image and a plurality of targets shown in the ground image. Let it run.

本発明によれば、上空と地上からの撮影により取得できた各画像に出現する複数の物体の対応関係をより正確に判定することができる。   According to the present invention, it is possible to more accurately determine the correspondence between a plurality of objects that appear in each image acquired by shooting from the sky and the ground.

本発明の一実施形態による目標物検知システムの構成を示す図である。It is a figure which shows the structure of the target object detection system by one Embodiment of this invention. 本発明の一実施形態による目標物検知装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the target object detection apparatus by one Embodiment of this invention. 本発明の一実施形態による目標物検知装置の機能ブロック図である。It is a functional block diagram of the target object detection apparatus by one Embodiment of this invention. 本発明の一実施形態による上空装置と地上装置の撮影概況を示す図である。It is a figure which shows the imaging | photography outline of the sky apparatus and ground apparatus by one Embodiment of this invention. 本発明の一実施形態による目標物の座標算出の概要を示す図である。It is a figure which shows the outline | summary of the coordinate calculation of the target object by one Embodiment of this invention. 本発明の一実施形態による判定部の処理の概要を示す図である。It is a figure which shows the outline | summary of the process of the determination part by one Embodiment of this invention. 本発明の一実施形態による目標物検知装置の処理フローを示す図である。It is a figure which shows the processing flow of the target object detection apparatus by one Embodiment of this invention. 本発明の一実施形態による表示処理の処理例を示す図である。It is a figure which shows the process example of the display process by one Embodiment of this invention.

以下、本発明の一実施形態による目標物検知装置を図面を参照して説明する。
図１は同実施形態による目標物検知装置を備えた目標物検知システムの構成を示す図である。
この図で示すように目標物検知システム１００は、上空装置１、地上装置２１、２２、目標物検知装置３を備えている。目標物検知装置３は、上空装置１、地上装置２１、地上装置２２と無線通信を介して接続されていてよい。上空装置１は上空から目標物４１、４２を撮影する装置である。地上装置２１、２２は地上から目標物４１、４２を撮影する装置である。上空装置１、地上装置２１、地上装置２２は無線を介して目標物検知装置３へ撮影画像を送信する。撮影画像は動画を構成する複数の画像であってよい。本実施形態において目標物検知装置３は、上空装置１、地上装置２１、２２とは別の装置として示している。しかしながら目標物検知装置３は上空装置１、地上装置２１、２２の何れかの装置に内蔵されたものであってよい。また他の装置の内部に上空装置１、地上装置２１、２２と共に設けられたものであってよい。目標物検知装置３は上空装置１、地上装置２１、２２の少なくとも一つとは有線ケーブルによって接続されていてもよい。なお、以下、地上装置２１、２２を総称して説明する場合には地上装置２と呼ぶ。また以下、目標物４１、４２を総称して説明する場合には目標物４と呼ぶ。本実施形態では目標物４が２つの場合について説明している。しかしながら目標物４の数はこれに限らない。 Hereinafter, a target object detection device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a target detection system including a target detection device according to the embodiment.
As shown in this figure, the target object detection system 100 includes an aerial device 1, ground devices 21 and 22, and a target object detection device 3. The target object detection device 3 may be connected to the sky device 1, the ground device 21, and the ground device 22 via wireless communication. The sky apparatus 1 is an apparatus for photographing the targets 41 and 42 from above. The ground devices 21 and 22 are devices for photographing the targets 41 and 42 from the ground. The aerial device 1, the ground device 21, and the ground device 22 transmit the captured image to the target detection device 3 via wireless. The captured image may be a plurality of images constituting a moving image. In the present embodiment, the target object detection device 3 is shown as a device different from the aerial device 1 and the ground devices 21 and 22. However, the target object detection device 3 may be incorporated in any one of the sky device 1 and the ground devices 21 and 22. Further, it may be provided together with the aerial device 1 and the ground devices 21 and 22 inside another device. The target object detection device 3 may be connected to at least one of the aerial device 1 and the ground devices 21 and 22 by a wired cable. Hereinafter, the ground devices 21 and 22 will be referred to as the ground device 2 when collectively described. Hereinafter, the targets 41 and 42 will be referred to as a target 4 when collectively described. In the present embodiment, a case where there are two target objects 4 is described. However, the number of targets 4 is not limited to this.

図２は目標物検知装置３のハードウェア構成を示す図である。
目標物検知装置３は図２で示すように、ＣＰＵ（Central Processing Unit）３０１、ＩＦ（Interface）３０２、通信モジュール３０３、ＲＯＭ（Read Only Memory）３０４、ＲＡＭ（Random Access Memory）３０５、ＨＤＤ（Hard Disk Drive）３０６などの構成を備えたコンピュータである。通信モジュール３０３は無線通信制御を行うものであってもよいし、有線通信制御を行うものであってもよく、それら２つの機能を有していてもよい。 FIG. 2 is a diagram illustrating a hardware configuration of the target object detection device 3.
As shown in FIG. 2, the target object detection device 3 includes a CPU (Central Processing Unit) 301, an IF (Interface) 302, a communication module 303, a ROM (Read Only Memory) 304, a RAM (Random Access Memory) 305, an HDD (Hard). Disk Drive) 306 or the like. The communication module 303 may perform wireless communication control, may perform wired communication control, and may have these two functions.

図３は目標物検知装置３の機能ブロック図である。
目標物検知装置３のＣＰＵ３０１はＲＯＭ３０４などに記憶しているプログラムを実行することにより、図３で示す各処理部の機能を有するものとなる。
目標物検知装置３は俯瞰画像取得部３１の機能を有する。また目標物検知装置３は地上画像取得部３２の機能を有する。また目標物検知装置３は座標算出部３３の機能を有する。また目標物検知装置３は判定部３４の機能を有する。また目標物検知装置３は表示部３６の機能を有する。 FIG. 3 is a functional block diagram of the target object detection apparatus 3.
The CPU 301 of the target object detection device 3 has the functions of the processing units shown in FIG. 3 by executing a program stored in the ROM 304 or the like.
The target object detection device 3 has the function of the overhead image acquisition unit 31. The target object detection device 3 has a function of the ground image acquisition unit 32. Further, the target object detection device 3 has a function of the coordinate calculation unit 33. Further, the target object detection device 3 has a function of the determination unit 34. The target object detection device 3 has a function of the display unit 36.

俯瞰画像取得部３１は上空の撮影装置である上空装置１から地上の１つまたは複数の目標物を撮影した俯瞰画像を取得する。
地上画像取得部３２は地上の撮影装置である地上装置２１，２２から１つまたは複数の目標物を撮影した地上画像を取得する。
座標算出部３３は上空装置１の３次元位置と、上空装置１が俯瞰画像を撮影した際の撮影方向と、俯瞰画像に写る目標物の画像内位置などの情報に基づいて、俯瞰画像に写る１つまたは複数の目標物の座標を算出する。
判定部３４は、俯瞰画像とその俯瞰画像に写る１つまたは複数の目標物４の座標と上空装置１の撮影条件とに基づいて、地上画像から目標物４を撮影する場合の仮想地上画像を生成する。判定部３４は、地上画像と仮想地上画像との比較に基づいて、仮想地上画像の生成に用いた俯瞰画像に写る複数の目標物４と、地上画像に写る複数の目標物４との対応関係を判定する。 The bird's-eye view image acquisition unit 31 acquires a bird's-eye view image obtained by photographing one or more targets on the ground from the sky device 1 that is a shooting device in the sky.
The ground image acquisition unit 32 acquires a ground image obtained by capturing one or a plurality of targets from the ground devices 21 and 22 that are ground image capturing devices.
The coordinate calculation unit 33 appears in the overhead image based on information such as the three-dimensional position of the overhead device 1, the shooting direction when the overhead device 1 captures the overhead image, and the position in the image of the target in the overhead image. Calculate the coordinates of one or more targets.
Based on the overhead image, the coordinates of one or a plurality of targets 4 shown in the overhead image, and the shooting conditions of the aerial device 1, the determination unit 34 captures a virtual ground image when shooting the target 4 from the ground image. Generate. Based on the comparison between the ground image and the virtual ground image, the determination unit 34 correlates the plurality of targets 4 shown in the overhead image used for generating the virtual ground image and the plurality of targets 4 shown in the ground image. Determine.

図４は上空装置と地上装置の撮影概況を示す図である。
上空装置１は例えば飛行体に設けられて地上を撮影する装置である。上空装置１は飛行体でなくとも上空から地上を撮影できるものであれば、どのようなものであってもよい。例えば上空装置は飛行体や、バルーンなどの空間浮遊物に設けられた装置であってよい。また上空装置はビルなどの構造物に取り付けられた装置であってもよい。地上装置２は例えば地上から走行する車両などの移動体に設けられ目標物４を撮影する装置であってもよいし、所定の固定位置から目標物４を撮影する装置であってもよい。図４においては上空装置１が撮影した俯瞰画像１０１と、地上装置２が撮影した地上画像２０１を示している。上空装置１は撮影により得られた俯瞰画像１０１を、目標物４を追跡しながら順次目標物検知装置３へ送信する。上空装置１は俯瞰画像１０１と共に、現在の上空装置１の３次元座標（緯度、経度、高度）などを目標物検知装置３へ送信する。また上空装置１は撮影方向を示す情報を目標物検知装置３へ送信する。撮影方向は３次元空間座標系における所定の方向を基準とした方向ベクトルによって与えられてよい。上空装置１は自装置の傾きをジャイロセンサによって検出して目標物検知装置３へ送信してよい。上空装置１の傾きは鉛直下向き方向を基準とした方向ベクトルによって与えられてよい。上空装置１が目標物検知装置３へ送信する俯瞰画像１０１以外の情報は上空装置１の撮影条件と呼ぶこととする。上空装置１の撮影条件には、上空装置１の３次元座標、撮影方向、傾きなどを含む。上空装置１の撮影条件には画角などの上空装置１に設けられた撮影装置における設定情報が含まれていてよい。上空装置１による目標物４の追跡は公知の技術を用いてよい。 FIG. 4 is a diagram showing an outline of photographing of the sky device and the ground device.
The aerial device 1 is a device that is provided on a flying object, for example, and images the ground. The aerial device 1 may be any device as long as it can photograph the ground from the sky without being a flying object. For example, the flying device may be a device provided on a flying object or a space floating object such as a balloon. The sky apparatus may be an apparatus attached to a structure such as a building. For example, the ground device 2 may be a device that is provided on a moving body such as a vehicle that travels from the ground and captures the target 4 or may be a device that captures the target 4 from a predetermined fixed position. FIG. 4 shows a bird's-eye view image 101 taken by the sky device 1 and a ground image 201 taken by the ground device 2. The sky device 1 sequentially transmits the bird's-eye view image 101 obtained by photographing to the target detection device 3 while tracking the target 4. The aerial device 1 transmits the current three-dimensional coordinates (latitude, longitude, altitude) and the like of the aerial device 1 together with the overhead image 101 to the target detection device 3. In addition, the sky device 1 transmits information indicating the shooting direction to the target detection device 3. The shooting direction may be given by a direction vector based on a predetermined direction in the three-dimensional space coordinate system. The sky device 1 may detect the tilt of the device with a gyro sensor and transmit the detected device to the target detection device 3. The inclination of the sky device 1 may be given by a direction vector with respect to a vertically downward direction. Information other than the bird's-eye view image 101 transmitted from the sky device 1 to the target object detection device 3 is referred to as a shooting condition of the sky device 1. The shooting conditions of the sky device 1 include the three-dimensional coordinates, the shooting direction, the inclination, and the like of the sky device 1. The shooting conditions of the sky device 1 may include setting information for the shooting device provided in the sky device 1 such as an angle of view. A well-known technique may be used for tracking the target 4 by the flying device 1.

地上装置２は目標物４を追跡しながら地上画像２０１を順次、目標物検知装置３へ送信する。地上装置２による目標物４の追跡は公知の技術を用いてよい。地上装置２は地上画像２０１と共に、撮影方向を示す情報を目標物検知装置３へ送信する。地上装置２１が目標物検知装置３へ送信した画像は地上画像２０１−１（第一地上画像）と呼ぶ。地上装置２２が目標物検知装置３へ送信した画像は地上画像２０１−２（第二地上画像）と呼ぶ。各地上装置２における撮影方向は３次元空間座標系における所定の方向を基準とした方向ベクトルによって与えられてよい。地上装置２が目標物検知装置３へ送信する地上画像２０１以外の情報は地上装置２の撮影条件と呼ぶこととする。地上装置２の撮影条件には、地上装置２の撮影方向、地上装置２の位置する３次元座標などを含む。   The ground device 2 sequentially transmits the ground image 201 to the target detection device 3 while tracking the target 4. The target device 4 may be tracked by the ground device 2 using a known technique. The ground device 2 transmits information indicating the shooting direction to the target detection device 3 together with the ground image 201. The image transmitted from the ground device 21 to the target object detection device 3 is referred to as a ground image 201-1 (first ground image). An image transmitted from the ground device 22 to the target detection device 3 is referred to as a ground image 201-2 (second ground image). The shooting direction in each ground device 2 may be given by a direction vector based on a predetermined direction in the three-dimensional space coordinate system. Information other than the ground image 201 transmitted from the ground device 2 to the target detection device 3 is referred to as a shooting condition of the ground device 2. The shooting conditions of the ground device 2 include the shooting direction of the ground device 2, the three-dimensional coordinates where the ground device 2 is located, and the like.

目標物検知装置３において俯瞰画像取得部３１は、俯瞰画像１０１と上空装置１の撮影条件を取得する。俯瞰画像取得部３１はそれらの情報を座標算出部３３へ出力する。地上画像取得部３２は、地上画像２０１（２０１−１、２０１−２）と地上装置２（地上装置２１、２２のそれぞれ）の撮影条件を取得する。地上画像取得部３２はそれらの情報を判定部３４へ出力する。座標算出部３３は取得した俯瞰画像１０１に目標物が出現しているかどうかを判定する。この判定は、目標物検知装置３がパターンマッチングやブロックマッチングなどの公知の技術により行ってよい。または目標物が出現する俯瞰画像１０１における画像内位置をユーザが目標物検知装置３に入力し、その入力に基づいて座標算出部３３は目標物が出現していると判定するようにしてもよい。座標算出部３３は、得られた画像内位置の目標物の画像内位置と、上空装置１から得た撮影条件に基づいて、３次元空間における目標物４１、４２の３次元座標（緯度、経度、高度）を算出する。   In the target object detection device 3, the bird's-eye view image acquisition unit 31 acquires the bird's-eye view image 101 and the shooting conditions of the sky device 1. The overhead image acquisition unit 31 outputs such information to the coordinate calculation unit 33. The ground image acquisition unit 32 acquires the shooting conditions of the ground image 201 (201-1 and 201-2) and the ground device 2 (each of the ground devices 21 and 22). The ground image acquisition unit 32 outputs the information to the determination unit 34. The coordinate calculation unit 33 determines whether a target appears in the acquired overhead image 101. This determination may be performed by the target object detection device 3 using a known technique such as pattern matching or block matching. Alternatively, the user may input an in-image position in the bird's-eye view image 101 where the target appears, to the target detection device 3, and based on the input, the coordinate calculation unit 33 may determine that the target appears. . The coordinate calculation unit 33 calculates the three-dimensional coordinates (latitude and longitude) of the targets 41 and 42 in the three-dimensional space based on the obtained position in the image of the target in the image and the shooting conditions obtained from the sky device 1. , Altitude).

図５は目標物の座標算出の概要を示す図である。
座標算出部３３は俯瞰画像１０１と撮影条件と目標物４（４１、４２）の画像内位置とに基づいて、各目標物４の緯度、経度を算出する。座標算出部３３は、撮影条件に含まれる上空装置１の３次元座標、撮影方向、傾き、画角などを用いて、目標物４の緯度、経度を公知の技術により算出する。目標物検知装置３はＲＯＭに地形情報を保持している。地形情報は緯度、経度に対応する高度情報を含む。座標算出部３３は各目標物４について算出した緯度、経度に基づいて、地形情報から高度情報を読み取ってもよい。座標算出部３３は、それら緯度、経度、高度からなる各目標物４の３次元座標を判定部３４へ出力する。 FIG. 5 is a diagram showing an outline of target coordinate calculation.
The coordinate calculation unit 33 calculates the latitude and longitude of each target 4 based on the bird's-eye view image 101, the shooting conditions, and the position of the target 4 (41, 42) in the image. The coordinate calculation unit 33 calculates the latitude and longitude of the target 4 by a known technique using the three-dimensional coordinates of the aerial device 1 included in the shooting conditions, the shooting direction, the tilt, the angle of view, and the like. The target object detection device 3 holds terrain information in the ROM. Terrain information includes altitude information corresponding to latitude and longitude. The coordinate calculation unit 33 may read the altitude information from the terrain information based on the latitude and longitude calculated for each target 4. The coordinate calculation unit 33 outputs the three-dimensional coordinates of each target 4 including the latitude, longitude, and altitude to the determination unit 34.

図６は判定部の処理の概要を示す図である。
図７は判定部の処理フローを示す図である。
判定部３４は取得した各画像に出現する目標物に識別情報を割り当てる（ステップＳ７０１）。つまり判定部３４は、俯瞰画像１０１に出現する目標物にＩＤ（識別情報）を割り当てる。目標物４１と目標物４２の２つが俯瞰画像１０１に出現している場合、一方にＡ、他方にＢの各ＩＤを割り当てる。判定部３４はまた、地上画像２０１（２０１−１、２０１−２）に出現する目標物にＩＤを割り当てる。判定部３４は目標物４１と目標物４２が地上画像２０１に出現している場合、一方に００１、他方に００２を割り当てる。なお判定部３４は地上装置２１から受信した地上画像２０１−１に出現する目標物４１には００１−１、目標物４２には００２−１を割り当てる。また判定部３４地上装置２１から受信した地上画像２０１−２に出現する目標物４１には００１−２、目標物４２には００２−２を割り当てる。判定部３４は、このように異なる地上画像２０１にはそれぞれ別々のＩＤを割り当ててよい。 FIG. 6 is a diagram showing an outline of processing of the determination unit.
FIG. 7 is a diagram illustrating a processing flow of the determination unit.
The determination unit 34 assigns identification information to the target appearing in each acquired image (step S701). That is, the determination unit 34 assigns an ID (identification information) to the target that appears in the overhead image 101. When two targets 41 and 42 appear in the bird's-eye view image 101, IDs A are assigned to one and B are assigned to the other. The determination unit 34 also assigns an ID to the target appearing in the ground image 201 (201-1 and 201-2). When the target 41 and the target 42 appear in the ground image 201, the determination unit 34 assigns 001 to one and 002 to the other. The determination unit 34 assigns 001-1 to the target 41 appearing in the ground image 201-1 received from the ground device 21 and 002-1 to the target 42. Further, 001-2 is assigned to the target 41 appearing in the ground image 201-2 received from the determination unit 34 ground device 21, and 002-2 is assigned to the target 42. The determination unit 34 may assign different IDs to the different ground images 201 as described above.

判定部３４は俯瞰画像１０１と上空装置１の３次元座標、撮影方向、傾き、画角などの情報を用いて、俯瞰画像１０１に基づく３次元データを生成する。この３次元データは上空装置１の３次元座標と、目標物４の３次元座標などに基づいてその相対関係が３次元データ内で表されるデータであってよい。判定部３４は、生成した３次元データに設定した地上装置２の３次元座標と、３次元データ内に含まれる目標物４の３次元座標とから、３次元データ内の地上装置２の位置から目標物４を撮影したと仮定した場合の２次元の仮想地上画像１０２を生成する（ステップＳ７０２）。俯瞰画像に基づく３次元データが生成されていれば、その３次元データにおいて地上装置２から目標物４を撮影した場合の仮想地上画像１０２は座標変換などの公知の３次元処理によって生成することができる。なお３次元データを生成しなくとも、俯瞰画像１０１と上空装置１の３次元座標、撮影方向、傾き、画角などの情報、目標物４について算出した３次元座標を用いて、座標変換等の公知の技術により仮想地上画像１０２を生成してもよい。   The determination unit 34 generates three-dimensional data based on the bird's-eye view image 101 using information such as the bird's-eye view image 101 and the three-dimensional coordinates, shooting direction, inclination, and angle of view of the sky device 1. The three-dimensional data may be data in which the relative relationship is represented in the three-dimensional data based on the three-dimensional coordinates of the sky device 1 and the three-dimensional coordinates of the target 4. The determination unit 34 determines the position of the ground device 2 in the three-dimensional data from the three-dimensional coordinates of the ground device 2 set in the generated three-dimensional data and the three-dimensional coordinates of the target 4 included in the three-dimensional data. A two-dimensional virtual ground image 102 when it is assumed that the target 4 has been photographed is generated (step S702). If the three-dimensional data based on the bird's-eye view image is generated, the virtual ground image 102 when the target object 4 is photographed from the ground device 2 in the three-dimensional data can be generated by a known three-dimensional process such as coordinate transformation. it can. Even if the three-dimensional data is not generated, information such as the three-dimensional coordinates of the overhead view image 101 and the aerial device 1, the shooting direction, the tilt, the angle of view, and the three-dimensional coordinates calculated for the target 4 can be used for coordinate conversion or the like. The virtual ground image 102 may be generated by a known technique.

以下、地上画像２０１−１、２０１−２に対して同様の処理を行うが、説明の便宜上、地上画像２０１−１、２０１−２を総称した地上画像２０１に対して処理を行うものとして説明を進める。
判定部３４は仮想地上画像において目標物４が出現する画像内位置と、地上画像２０１において目標物４が出現する画像内位置とを比較する。今、仮想地上画像１０２にはＩＤ＝ＡとＩＤ＝Ｂの目標物４が出現している。また地上画像２０１にはＩＤ＝００１とＩＤ＝００２の目標物４が出現している。判定部３４は仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１におけるＩＤ＝００１の目標物４の画像内位置との距離を算出する。判定部３４は仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１におけるＩＤ＝００２の目標物４の画像内位置との距離を算出する。判定部３４は、仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置との距離が近いと算出できた目標物４のＩＤを、地上画像２０１から特定する。なお仮想地上画像１０２と地上画像２０１の画素数と距離の算出に利用する原点はそれら画像間で一致しているものとする。判定部３４は上記の距離の算出においては、２つの画像が同じ画像であると仮定してそれぞれの画像に出現する目標物４の距離を算出する（ステップＳ７０３）。 Hereinafter, the same processing is performed on the ground images 201-1 and 201-2. Proceed.
The determination unit 34 compares the position in the image where the target 4 appears in the virtual ground image with the position in the image where the target 4 appears in the ground image 201. Now, the target 4 with ID = A and ID = B appears in the virtual ground image 102. In the ground image 201, the target 4 with ID = 001 and ID = 002 appears. The determination unit 34 calculates the distance between the position in the image of the target 4 with ID = A in the virtual ground image 102 and the position in the image of the target 4 with ID = 001 in the ground image 201. The determination unit 34 calculates the distance between the position in the image of the target 4 with ID = A in the virtual ground image 102 and the position in the image of the target 4 with ID = 002 in the ground image 201. The determination unit 34 specifies the ID of the target 4 that can be calculated when the distance from the position in the image of the target 4 with ID = A in the virtual ground image 102 is short from the ground image 201. It is assumed that the number of pixels of the virtual ground image 102 and the ground image 201 and the origin used for calculating the distance coincide between the images. In the calculation of the distance, the determination unit 34 calculates the distance of the target 4 appearing in each image assuming that the two images are the same image (step S703).

図６で示す例の処理では判定部３４は仮想地上画像１０２に出現するＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１に出現するＩＤ＝００２の目標物４の画像内位置とがより近いため、ＩＤ＝００２の目標物４を地上画像２０１から特定する。判定部３４は目標物４の各画像における距離に基づいて各画像における目標物４の対応関係を判定する（ステップＳ７０４）。つまり判定部３４はＩＤ＝Ａの目標物４と、ＩＤ＝００２の目標物４が対応すると判定する。また同様に判定部３４はＩＤ＝Ｂの目標物４と、ＩＤ＝００１の目標物４が対応すると判定する。判定部３４はＡと００２の対応関係と、Ｂと００１の対応関係を表示部３６に出力する（ステップＳ７０５）。なお判定部３４はこれらの処理を複数の地上画像２０１に対して行う。   In the process of the example illustrated in FIG. 6, the determination unit 34 determines the position in the image of the target 4 with ID = A that appears in the virtual ground image 102 and the position in the image of the target 4 with ID = 002 that appears in the ground image 201. Therefore, the target 4 with ID = 002 is identified from the ground image 201. The determination unit 34 determines the correspondence relationship of the target 4 in each image based on the distance in each image of the target 4 (step S704). That is, the determination unit 34 determines that the target 4 with ID = A corresponds to the target 4 with ID = 002. Similarly, the determination unit 34 determines that the target 4 with ID = B corresponds to the target 4 with ID = 001. The determination unit 34 outputs the correspondence relationship between A and 002 and the correspondence relationship between B and 001 to the display unit 36 (step S705). Note that the determination unit 34 performs these processes on the plurality of ground images 201.

図８は表示処理の処理例を示す図である。
表示部３６は俯瞰画像１０１と地上画像２０１（２０１−１、２０１−２）とを一つずつ、または同時にモニタ等に表示するようにしてよい。表示部３６は、俯瞰画像１０１と地上画像２０１とに出現する目標物に、ＩＤの文字列を重畳して表示するようにしてよい。表示部３６は、俯瞰画像１０１において俯瞰画像１０１に出現する目標物４に対して付与したＩＤの文字列を、俯瞰画像１０１上の対応する目標物４の近傍に重畳して表示する。一方で表示部３６は、地上画像２０１において地上画像２０１に出現する目標物４に対して付与したＩＤの文字列を、その文字列に対応する俯瞰画像１０１側の文字列に変換して、地上画像２０１上の対応する目標物４の近傍に重畳して表示する（図８（ｙ））。つまり、地上画像２０１においてＩＤ＝００１が付与された目標物４には、その近傍にＩＤ＝Ｂの文字列を表示する。また地上画像２０１においてＩＤ＝００２が付与された目標物４には、その近傍にＩＤ＝Ａの文字列を表示する（図８（ｙ））。上述したように表示部３６は、複数の地上画像２０１−１、２０１−２のそれぞれについて同様に処理を行う。 FIG. 8 is a diagram illustrating a processing example of display processing.
The display unit 36 may display the bird's-eye view image 101 and the ground images 201 (201-1, 201-2) one by one or simultaneously on a monitor or the like. The display unit 36 may superimpose and display an ID character string on the target appearing in the overhead image 101 and the ground image 201. The display unit 36 superimposes and displays the character string of the ID assigned to the target 4 appearing in the overhead image 101 in the overhead image 101 in the vicinity of the corresponding target 4 on the overhead image 101. On the other hand, the display unit 36 converts the character string of the ID assigned to the target 4 appearing in the ground image 201 in the ground image 201 into a character string on the overhead image 101 side corresponding to the character string, It is displayed superimposed on the vicinity of the corresponding target 4 on the image 201 (FIG. 8 (y)). That is, the character string of ID = B is displayed in the vicinity of the target 4 assigned ID = 001 in the ground image 201. In addition, a character string of ID = A is displayed in the vicinity of the target 4 assigned ID = 002 in the ground image 201 (FIG. 8 (y)). As described above, the display unit 36 performs the same processing for each of the plurality of ground images 201-1 and 201-2.

以上の処理により判定部３４が俯瞰画像１０１に出現する複数の目標物４と、地上画像２０１に出現する複数の目標物４の対応関係を判定して、適切な対応関係を算出する。これにより俯瞰画像１０１と、地上画像２０１において、適切な目標物の対応関係を判定することができる。   With the above processing, the determination unit 34 determines the correspondence between the plurality of targets 4 appearing in the overhead image 101 and the plurality of targets 4 appearing in the ground image 201, and calculates an appropriate correspondence. Thereby, in the overhead image 101 and the ground image 201, it is possible to determine an appropriate target correspondence.

上述のステップＳｘの処理において判定部３４は、さらに、仮想地上画像１０２において出現する目標物４の画像内位置と、地上画像２０１において出現する目標物４の画像内位置とが近い対応関係を特定した後に、それら画像内位置が所定の距離以内かを判定してもよい。判定部３４は、異なる画像において画像内位置の近い各目標物４の対応関係について所定距離以内でない場合には、それらの対応関係は成立しないと判定してもよい。   In the process of step Sx described above, the determination unit 34 further specifies a correspondence relationship between the in-image position of the target 4 appearing in the virtual ground image 102 and the in-image position of the target 4 appearing in the ground image 201. After that, it may be determined whether the position in the image is within a predetermined distance. The determining unit 34 may determine that the corresponding relationship is not established when the corresponding relationship between the targets 4 that are close to each other in the image in different images is not within a predetermined distance.

上述の目標物検知装置３は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   The target object detection device 3 described above has a computer system inside. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

１・・・上空装置
２・・・地上装置
３・・・目標物検知装置
４・・・目標物
３１・・・俯瞰画像取得部
３２・・・地上画像取得部
３３・・・座標算出部
３４・・・判定部
３６・・・表示部 DESCRIPTION OF SYMBOLS 1 ... Sky apparatus 2 ... Ground apparatus 3 ... Target object detection apparatus 4 ... Target object 31 ... Overhead image acquisition part 32 ... Ground image acquisition part 33 ... Coordinate calculation part 34 ... Determining unit 36 ... Display unit

Claims (6)

上空の撮影装置から地上の複数の目標物を撮影した俯瞰画像を取得する俯瞰画像取得部と、
地上の撮影装置から複数の目標物を撮影した地上画像を取得する地上画像取得部と、
前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定部と、
を備えることを特徴とする目標物検知装置。 An overhead image acquisition unit that acquires an overhead image obtained by photographing a plurality of targets on the ground from an imaging device in the sky;
A ground image acquisition unit for acquiring a ground image obtained by photographing a plurality of targets from a ground imaging device;
A determination unit for determining a correspondence relationship between a plurality of targets shown in the overhead image and a plurality of targets shown in the ground image;
A target detection apparatus comprising: 前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する座標算出部と、を備え、
前記判定部は、前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する
ことを特徴とする請求項１に記載の目標物検知装置。 Based on the three-dimensional position of the overhead imaging device, the imaging direction when the overhead imaging device images the overhead image, and the position in the image of the target that appears in the overhead image, the overhead image A coordinate calculation unit that calculates the coordinates of a plurality of objects to be captured,
The determination unit, based on the overhead image, the coordinates of a plurality of targets captured in the overhead image, and the shooting conditions of the imaging device in the sky, a virtual ground image when shooting the target from the ground image Based on the comparison between the ground image and the virtual ground image generated, a correspondence relationship between a plurality of targets shown in the overhead image used to generate the virtual ground image and a plurality of targets shown in the ground image The target object detection apparatus according to claim 1, wherein 前記判定部は、前記俯瞰画像に写る複数の目標物に対して付与した識別情報と、前記地上画像に写る複数の目標物に対して付与した識別情報との関係を判定する
ことを特徴とする請求項１または請求項２に記載の目標物検知装置。 The determination unit determines a relationship between identification information given to a plurality of targets shown in the overhead image and identification information given to a plurality of targets shown in the ground image. The target object detection apparatus of Claim 1 or Claim 2. 前記判定部は、異なる地上の撮影装置から取得した第一地上画像と第二地上画像のそれぞれに基づいて、前記俯瞰画像に写る複数の目標物と、前記第一地上画像及び前記第二地上画像に写る複数の目標物との対応関係を判定する
ことを特徴とする請求項２または請求項３に記載の目標物検知装置。 The determination unit includes a plurality of targets captured in the overhead image, the first ground image, and the second ground image based on the first ground image and the second ground image acquired from different ground imaging devices. The target object detection apparatus according to claim 2, wherein a correspondence relationship with a plurality of target objects reflected on the target object is determined. 上空の撮影装置により地上の複数の目標物を撮影した俯瞰画像を取得し、
地上の撮影装置から複数の目標物を撮影した地上画像を取得し、
前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する
ことを特徴とする処理方法。 Obtain a bird's-eye view image of a plurality of targets on the ground with the sky's imaging device,
Acquire ground images of multiple targets from a ground imaging device,
A processing method for determining a correspondence relationship between a plurality of targets shown in the overhead image and a plurality of targets shown in the ground image. コンピュータに、
上空の撮影装置により地上の複数の目標物を撮影した俯瞰画像を取得する俯瞰画像取得ステップと、
地上の撮影装置から複数の目標物を撮影した地上画像を取得する地上画像取得ステップと、
前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定ステップと、
からなる処理を実行させるプログラム。 On the computer,
An overhead image acquisition step of acquiring an overhead image obtained by photographing a plurality of targets on the ground with an imaging device in the sky;
A ground image acquisition step of acquiring a ground image obtained by photographing a plurality of targets from a ground imaging device;
A determination step of determining a correspondence relationship between a plurality of targets shown in the overhead image and a plurality of targets shown in the ground image;
A program that executes processing consisting of
JP2016029977A 2016-02-19 2016-02-19 Target detection device, processing method, program Active JP6762108B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016029977A JP6762108B2 (en) 2016-02-19 2016-02-19 Target detection device, processing method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016029977A JP6762108B2 (en) 2016-02-19 2016-02-19 Target detection device, processing method, program

Publications (2)

Publication Number Publication Date
JP2017146907A true JP2017146907A (en) 2017-08-24
JP6762108B2 JP6762108B2 (en) 2020-09-30

Family

ID=59682166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016029977A Active JP6762108B2 (en) 2016-02-19 2016-02-19 Target detection device, processing method, program

Country Status (1)

Country Link
JP (1) JP6762108B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059641A (en) * 2019-04-23 2019-07-26 重庆工商大学 Depth birds recognizer based on more preset points
WO2022044104A1 (en) * 2020-08-25 2022-03-03 Nec Corporation Image matching apparatus, control method, and non-transitory computer-readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101742A (en) * 1995-10-05 1997-04-15 Hitachi Ltd Map update support device
JP2003337947A (en) * 2002-05-21 2003-11-28 Iwane Kenkyusho:Kk Method and device for image display, and storage medium recorded with image display method
WO2009034709A1 (en) * 2007-09-11 2009-03-19 Panasonic Corporation Image processing device and image processing method
WO2012018497A2 (en) * 2010-07-25 2012-02-09 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
JP2013171455A (en) * 2012-02-21 2013-09-02 Pasuko:Kk Map information generating device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101742A (en) * 1995-10-05 1997-04-15 Hitachi Ltd Map update support device
JP2003337947A (en) * 2002-05-21 2003-11-28 Iwane Kenkyusho:Kk Method and device for image display, and storage medium recorded with image display method
WO2009034709A1 (en) * 2007-09-11 2009-03-19 Panasonic Corporation Image processing device and image processing method
WO2012018497A2 (en) * 2010-07-25 2012-02-09 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
JP2013171455A (en) * 2012-02-21 2013-09-02 Pasuko:Kk Map information generating device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059641A (en) * 2019-04-23 2019-07-26 重庆工商大学 Depth birds recognizer based on more preset points
WO2022044104A1 (en) * 2020-08-25 2022-03-03 Nec Corporation Image matching apparatus, control method, and non-transitory computer-readable storage medium
JP7435907B2 (en) 2020-08-25 2024-02-21 日本電気株式会社 Image matching device, control method, and program

Also Published As

Publication number Publication date
JP6762108B2 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
US10636168B2 (en) Image processing apparatus, method, and program
KR102209008B1 (en) Apparatus for estimating camera pose and method for estimating camera pose
JP5660648B2 (en) Online reference generation and tracking in multi-user augmented reality
EP3008695B1 (en) Robust tracking using point and line features
CN105143907B (en) Alignment system and method
EP2915140B1 (en) Fast initialization for monocular visual slam
US9582707B2 (en) Head pose estimation using RGBD camera
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
JP6658001B2 (en) Position estimation device, program, position estimation method
US9747516B2 (en) Keypoint detection with trackability measurements
KR20150144728A (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
JP5774226B2 (en) Resolving ambiguity of homography decomposition based on orientation sensor
KR101575954B1 (en) Apparatus for augmented reality using 3d reconstruction and mehhod thereof
KR20110084028A (en) Apparatus and method for measuring distance using image data
JP6240706B2 (en) Line tracking using automatic model initialization with graph matching and cycle detection
JP2018195241A (en) Information processing apparatus, information processing method, and program
WO2016208404A1 (en) Device and method for processing information, and program
JP5743935B2 (en) Object detection apparatus and object detection method
JP2017522621A (en) Method, system, computer program product and apparatus for selecting operation mode of mobile platform
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP6042146B2 (en) Object detection apparatus and object detection method
JP6762108B2 (en) Target detection device, processing method, program
CN113228117B (en) Authoring apparatus, authoring method, and recording medium having an authoring program recorded thereon
US9245343B1 (en) Real-time image geo-registration processing
Toriya et al. A mobile camera localization method using aerial-view images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160222

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200908

R150 Certificate of patent or registration of utility model

Ref document number: 6762108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150