JP2014160405A - Photographic position determination device, program and method - Google Patents
Photographic position determination device, program and method Download PDFInfo
- Publication number
- JP2014160405A JP2014160405A JP2013031234A JP2013031234A JP2014160405A JP 2014160405 A JP2014160405 A JP 2014160405A JP 2013031234 A JP2013031234 A JP 2013031234A JP 2013031234 A JP2013031234 A JP 2013031234A JP 2014160405 A JP2014160405 A JP 2014160405A
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- ortho
- occlusion
- area
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影位置決定装置、プログラム、および方法に関する。 The present invention relates to an imaging position determination device, a program, and a method.
航空写真測量において、航空機より撮影された航空写真の正射投影（オルソ）画像（詳細後述）の生成が広く行われている。中心投影で撮影された航空写真画像を正射変換により歪みの補正を行ってオルソ画像を生成することができる。例えば、特許文献１において、航空写真における建物の傾きを自動的に補正してオルソ画像を生成する方法が開示されている。そこでは、複数の航空写真をステレオ処理することによって算出される対象物までの距離に応じて航空写真を正射変換することでオルソ画像を生成している。なお、ステレオ処理とは、異なる視点から撮影した複数の画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求める処理のことである。 In aerial photogrammetry, orthographic projection (ortho) images (details will be described later) of aerial photographs taken from aircraft are widely used. An orthographic image can be generated by correcting the distortion of the aerial image captured by the central projection by orthogonal transformation. For example, Patent Document 1 discloses a method of automatically correcting an inclination of a building in an aerial photograph to generate an ortho image. There, an ortho image is generated by ortho-rectifying the aerial photograph in accordance with the distance to the object calculated by performing stereo processing on a plurality of aerial photographs. Note that stereo processing is to determine the corresponding points in each image capturing the same point for multiple images taken from different viewpoints, and use the parallax to determine the depth and shape to the target by the principle of triangulation It is the process which asks for.
ところで、先程の航空写真における建物の傾きに伴って、航空写真に隠れ（オクルージョン）が発生する。これに対して、オルソ画像の生成において、オクルージョン部分の欠けている情報は他の航空写真での情報で補完している。例えば、特許文献２において、撮影された複数の空中写真のオーバーラップ部分を管理することで、撮影された画像の中から適切な画像を選択することが可能な空中写真画像データセットの構成方法が開示されている。なお、一般的に、オルソ画像の生成は、航空写真を高いオーバーラップ率で撮影し、撮影された各航空写真におけるオクルージョンの比較的少ない中心近辺部分のみを合わせて行っている。 By the way, with the inclination of the building in the previous aerial photograph, occlusion occurs in the aerial photograph. On the other hand, in the generation of the ortho image, information lacking the occlusion portion is supplemented with information in other aerial photographs. For example, in Patent Document 2, there is a method for configuring an aerial photograph image data set capable of selecting an appropriate image from photographed images by managing overlapping portions of a plurality of photographed aerial photographs. It is disclosed. In general, an ortho image is generated by taking aerial photographs with a high overlap rate and combining only the vicinity of the center with relatively little occlusion in each photographed aerial photograph.
背景技術において、オルソ画像の生成の際、オクルージョン部分が多いとその補完などの修正処理が多くなるが、オクルージョン航空写真撮影の際、写真に占めるオクルージョン部分の面積がより小さくなるように撮影位置が設定されていないという課題がある。 In the background art, when there are many occlusion parts when generating an ortho image, correction processing such as complementation increases, but when shooting occlusion aerial photography, the shooting position is set so that the area of the occlusion part in the photo is smaller. There is a problem that it is not set.
本発明の目的は、この課題を解決した撮影位置決定装置、プログラム、および方法を提供することである。 An object of the present invention is to provide an imaging position determination device, a program, and a method that solve this problem.
本発明の撮影位置決定装置は、複数の撮影位置の各々より所定の撮影対象の三次元データを撮影して得られるカメラ画像を生成するカメラ画像生成手段と、前記カメラ画像の各々を正射変換して前記所定の撮影対象のオルソ画像を生成するオルソ画像生成手段と、前記オルソ画像の各々においてオクルージョン領域を抽出するオクルージョン領域抽出手段と、前記オクルージョン領域の各々の面積を算出し、前記オルソ画像の各々に対応する撮影位置および面積の情報を出力する撮影位置情報出力手段とを備えることを特徴とする。 An imaging position determination device according to the present invention includes a camera image generation unit that generates a camera image obtained by imaging three-dimensional data of a predetermined imaging target from each of a plurality of imaging positions, and orthographic conversion of each of the camera images. An ortho image generating means for generating an ortho image of the predetermined photographing object, an occlusion area extracting means for extracting an occlusion area in each of the ortho images, and calculating an area of each of the occlusion areas, and the ortho image Imaging position information output means for outputting information of imaging positions and areas corresponding to each of the above.
本発明の撮影位置決定方法は、複数の撮影位置の各々より所定の撮影対象の三次元データを撮影して得られるカメラ画像を生成するカメラ画像生成工程と、前記カメラ画像の各々を正射変換して前記所定の撮影対象のオルソ画像を生成するオルソ画像生成工程と、前記オルソ画像の各々においてオクルージョン領域を抽出するオクルージョン領域抽出工程と、前記オクルージョン領域の各々の面積を算出し、前記オルソ画像の各々に対応する撮影位置および面積の情報を出力する撮影位置情報出力工程とを備えることを特徴とする。 The shooting position determination method of the present invention includes a camera image generation step for generating a camera image obtained by shooting three-dimensional data of a predetermined shooting target from each of a plurality of shooting positions, and orthographic conversion of each of the camera images. An ortho image generation step of generating an ortho image of the predetermined photographing object, an occlusion region extraction step of extracting an occlusion region in each of the ortho images, and calculating an area of each of the occlusion regions, and the ortho image And a shooting position information output step for outputting information of shooting positions and areas corresponding to each of the above.
本発明によれば、航空写真撮影の際、写真に占めるオクルージョン部分の面積をより小さくするように撮影位置を設定することが可能となる。 According to the present invention, at the time of aerial photography, it is possible to set the photographing position so that the area of the occlusion portion in the photograph is further reduced.
本発明の第１の実施の形態について、図面を参照して説明する。 A first embodiment of the present invention will be described with reference to the drawings.
まず、本実施の形態の構成について、図１を参照して説明する。 First, the configuration of the present embodiment will be described with reference to FIG.
図１は本実施の形態の撮影位置決定装置の構成例を示す。撮影位置決定装置１０は、撮影位置条件設定部１１、撮影対象条件設定部１２、撮影位置候補算出部１３、カメラ画像生成部１４、オルソ画像生成部１５、オクルージョン領域抽出部１６、撮影位置決定部１７を備える。また、撮影位置決定装置１０は、例えば、汎用コンピュータ、周辺装置などの機器から成る。 FIG. 1 shows a configuration example of an imaging position determination apparatus according to the present embodiment. The shooting position determination device 10 includes a shooting position condition setting unit 11, a shooting target condition setting unit 12, a shooting position candidate calculation unit 13, a camera image generation unit 14, an ortho image generation unit 15, an occlusion area extraction unit 16, and a shooting position determination unit. 17. In addition, the photographing position determination device 10 includes devices such as a general-purpose computer and a peripheral device.
撮影位置決定装置１０の各部を説明する。 Each part of the imaging position determination device 10 will be described.
撮影位置条件設定部１１は、ユーザにより撮影位置の条件（以降、「撮影位置条件」と呼ぶ）が設定される。この撮影位置条件とは、撮影位置の範囲、撮影位置候補の間隔を含む情報である。 The shooting position condition setting unit 11 sets a shooting position condition (hereinafter referred to as “shooting position condition”) by the user. The shooting position condition is information including a range of shooting positions and intervals between shooting position candidates.
撮影対象条件設定部１２は、ユーザにより撮影対象の条件（以降、「撮影対象条件」と呼ぶ）が設定される。この撮影対象条件とは、撮影対象の地形の範囲を含む情報である。 The shooting target condition setting unit 12 sets a shooting target condition (hereinafter referred to as “shooting target condition”) by the user. The photographing target condition is information including the range of the terrain to be photographed.
撮影位置候補算出部１３は、撮影位置条件設定部１１で設定された撮影位置条件から複数の撮影位置の候補（以降、「撮影位置候補」と呼ぶ）を算出する。 The shooting position candidate calculation unit 13 calculates a plurality of shooting position candidates (hereinafter referred to as “shooting position candidates”) from the shooting position conditions set by the shooting position condition setting unit 11.
カメラ画像生成部１４は、撮影位置候補算出部１３で算出された撮影位置候補から撮影対象を撮影したときに得られるカメラ画像を撮影対象の既存の三次元データを用いて生成する。この三次元データとは、実空間座標系における三次元座標を持つデータのことである。例えば、ＬＩＤＡＲ（Light Detection and Ranging）により取得された三次元座標を持つ点群データであってもよいし、特許文献１に開示されているような、航空写真をステレオ処理することによって取得された三次元座標を持つ点群データであってもよい。 The camera image generation unit 14 generates a camera image obtained when a shooting target is shot from the shooting position candidates calculated by the shooting position candidate calculation unit 13 using existing three-dimensional data of the shooting target. The three-dimensional data is data having three-dimensional coordinates in the real space coordinate system. For example, it may be point cloud data having three-dimensional coordinates acquired by LIDAR (Light Detection and Ranging), or may be acquired by performing stereo processing on an aerial photograph as disclosed in Patent Document 1. It may be point group data having three-dimensional coordinates.
オルソ画像生成部１５は、カメラ画像生成部１４で既存の三次元データを用いて生成されたカメラ画像を正射変換してオルソ画像を生成する。 The ortho image generator 15 generates an ortho image by orthogonally transforming the camera image generated by the camera image generator 14 using the existing three-dimensional data.
ここで、オルソ画像について、図１１、図１２を参照して説明する。 Here, the ortho image will be described with reference to FIGS.
図１１は中心投影を説明するためものであり、図１２は正射投影を説明するためのものである。 FIG. 11 is for explaining central projection, and FIG. 12 is for explaining orthographic projection.
図１１の（ａ）は中心投影における視線と撮影対象の様子を示し、図１１の（ｂ）は中心投影により得られる画像を示す。中心投影では、中心付近の画像は真上から見たようになり、中心付近以外の画像は斜めから見たようになる。 FIG. 11A shows the line of sight in the central projection and the state of the photographing target, and FIG. 11B shows an image obtained by the central projection. In the center projection, the image near the center is viewed from directly above, and the image other than the vicinity of the center is viewed from an oblique direction.
図１２の（ａ）は正射投影における視線と撮影対象の様子を示し、図１２の（ｂ）は正射投影により得られる画像を示す。正射投影では、画像は真上から見たようになる。 12A shows the line of sight in orthographic projection and the state of the object to be imaged, and FIG. 12B shows an image obtained by orthographic projection. In orthographic projection, the image is viewed from directly above.
通常の撮影による画像は図１１に示されているような中心投影の画像となる。オルソ画像は中心投影の画像を所定の面に対して正射投影する正規化処理により生成される画像である。 An image obtained by normal photographing is an image of central projection as shown in FIG. The ortho image is an image generated by a normalization process in which an image of central projection is orthogonally projected onto a predetermined plane.
撮影位置決定装置１０の各部の説明に戻る。 Returning to the description of each part of the imaging position determination device 10.
オクルージョン領域抽出部１６は、オルソ画像生成部１５で生成されたオルソ画像中のオクルージョン領域を抽出する。 The occlusion area extraction unit 16 extracts an occlusion area in the ortho image generated by the ortho image generation unit 15.
撮影位置決定部１７は、撮影対象条件設定部１２で設定された撮影対象条件と、オクルージョン領域抽出部１６で抽出されたオクルージョン領域にもとづいて複数の撮影位置候補の中から最適な撮影位置を決定し、最適な撮影位置の情報を出力する。 The shooting position determination unit 17 determines an optimal shooting position from among a plurality of shooting position candidates based on the shooting target condition set by the shooting target condition setting unit 12 and the occlusion area extracted by the occlusion area extraction unit 16. Then, information on the optimum shooting position is output.
次に、本実施の形態の動作について説明する。 Next, the operation of the present embodiment will be described.
本実施の形態の動作について、図２を参照して説明する。 The operation of the present embodiment will be described with reference to FIG.
図２は本実施の形態の撮影位置決定装置における処理動作を示す。 FIG. 2 shows a processing operation in the photographing position determining apparatus of the present embodiment.
まず、ユーザにより撮影位置条件設定部１１に撮影位置条件が設定される（撮影位置条件設定Ａ１）。例えば、図３（ａ）に示されているようなユーザ画面において、撮影位置の範囲、撮影位置候補の間隔が設定される。具体的には、撮影位置が実空間座標系の三次元座標（Ｘ，Ｙ，Ｚ）で表わされ、撮影位置の範囲が「Ｘ＝３０，０００〜３０，１５０ｍ、Ｙ＝−５５，６００〜−５５，５００ｍ、Ｚ＝１，０００〜１，０２０ｍ」と設定される。また、撮影位置の間隔（ｄＸ，ｄＹ，ｄＺ）が「ｄＸ＝５０ｍ、ｄＹ＝５０ｍ、ｄＺ＝１０ｍ」と設定される。また、ユーザにより撮影対象条件設定部１２に撮影対象条件が設定される（撮影対象条件設定Ａ２）。例えば、図３（ｂ）に示されているようなユーザ画面において、撮影対象の地形の範囲が設定される。 First, a shooting position condition is set in the shooting position condition setting unit 11 by the user (shooting position condition setting A1). For example, on the user screen as shown in FIG. 3A, the range of shooting positions and the interval between shooting position candidates are set. Specifically, the shooting position is represented by three-dimensional coordinates (X, Y, Z) in the real space coordinate system, and the range of the shooting position is “X = 30,000 to 30,150 m, Y = −55,600. ˜−55,500 m, Z = 1,000 to 1,020 m ”. Further, the shooting position intervals (dX, dY, dZ) are set to “dX = 50 m, dY = 50 m, dZ = 10 m”. In addition, a shooting target condition is set in the shooting target condition setting unit 12 by the user (shooting target condition setting A2). For example, the terrain range to be imaged is set on the user screen as shown in FIG.
次に、撮影位置候補算出部１３は、撮影位置条件設定部１１で設定された撮影位置条件にもとづいて複数の撮影位置候補を算出する（撮影位置候補算出Ａ３）。例えば、撮影位置の範囲において撮影位置候補の間隔でメッシュ状に点を発生させ、発生させた各点の位置を撮影位置候補とするように算出する。具体的には、図４に示されているように、Ｘ軸方向に５０ｍ間隔で４点、Ｙ軸方向に５０ｍ間隔で３点、Ｚ軸方向に１０ｍ間隔で３点の計３６点をメッシュ状に発生させて各点を撮影位置候補とする。例えば、（Ｘ，Ｙ，Ｚ）＝（３０，０５０，−５５，５５０，１０１０）が撮影位置候補の一つとなる。 Next, the shooting position candidate calculation unit 13 calculates a plurality of shooting position candidates based on the shooting position conditions set by the shooting position condition setting unit 11 (shooting position candidate calculation A3). For example, points are generated in a mesh shape at intervals of shooting position candidates in the range of shooting positions, and the positions of the generated points are calculated to be shooting position candidates. Specifically, as shown in FIG. 4, a total of 36 points, 4 points at 50 m intervals in the X-axis direction, 3 points at 50 m intervals in the Y-axis direction, and 3 points at 10 m intervals in the Z-axis direction, are meshed. Each point is used as a shooting position candidate. For example, (X, Y, Z) = (30, 050, −55, 550, 1010) is one of the shooting position candidates.
次に、カメラ画像生成部１４は、撮影位置候補算出部１３で算出された撮影位置候補と既存の三次元データにもとづいて各撮影位置候補から三次元データを撮影したときに得られるカメラ画像を生成する（カメラ画像生成Ａ４）。撮影をエリアセンサで行う場合、具体的には、次の式１に示す中心投影の関係式を用いて三次元データからカメラ画像を生成することができる。
Next, the camera image generation unit 14 obtains a camera image obtained when 3D data is captured from each imaging position candidate based on the imaging position candidate calculated by the imaging position candidate calculation unit 13 and existing 3D data. Generate (camera image generation A4). When shooting is performed with an area sensor, specifically, a camera image can be generated from three-dimensional data using the relational expression of central projection shown in the following Expression 1.
式１において、撮影位置を三次元座標の原点、カメラ光軸方向を三次元座標のｚ軸、カメラ画像面をｚ軸に垂直なｚ＝ｄとなる平面、カメラ画像面の横方向を三次元座標のｘ軸、カメラ画像面の縦方向を三次元座標のｙ軸とする。三次元データの点の三次元座標を（Ｘ，Ｙ，Ｚ）、三次元データの点（Ｘ，Ｙ，Ｚ）を中心投影によりカメラ画像面に投影した三次元座標を（ｘ，ｙ，ｚ）とする。つまり、三次元データからのカメラ画像の生成は、三次元データの各点を中心投影によりカメラ画像面に投影して行う。その際、三次元データの複数の点がカメラ画像面の同じ場所に投影される場合、撮影位置から距離の一番近い点を採用するものとする。 In Equation 1, the shooting position is the origin of the three-dimensional coordinates, the camera optical axis direction is the z-axis of the three-dimensional coordinates, the camera image plane is a plane perpendicular to the z-axis and z = d, and the horizontal direction of the camera image plane is three-dimensional The x-axis of coordinates and the vertical direction of the camera image plane are defined as the y-axis of three-dimensional coordinates. The three-dimensional coordinates of the points of the three-dimensional data are (X, Y, Z), and the three-dimensional coordinates (X, Y, Z) of the three-dimensional data points (X, Y, Z) projected on the camera image plane by central projection are (x, y, z). ). That is, the generation of the camera image from the three-dimensional data is performed by projecting each point of the three-dimensional data onto the camera image plane by central projection. At this time, when a plurality of points of the three-dimensional data are projected on the same location on the camera image plane, the point closest to the shooting position is adopted.
次に、オルソ画像生成部１５は、カメラ画像生成部１４で三次元データから生成されたカメラ画像を正射変換してオルソ画像を生成する（オルソ画像生成Ａ５）。まず、三次元データの各点が中心投影により投影されたカメラ画像の各画素と三次元データの各点とを対応付ける。その際、三次元データの複数の点がカメラ画像の同じ画素に対応付けられる場合、撮影位置から距離の一番近い点を採用する。なお、このカメラ画像と三次元データとの対応付けはカメラ画像生成部１４でのカメラ画像生成時に行っても良い。次に、カメラ画像と三次元データとの対応関係を用いてカメラ画像を正射変換してオルソ画像を生成する。なお、このカメラ画像と三次元データとの対応関係を用いるオルソ画像の生成方法はカメラ画像の各画素をその画素に対応する三次元データの点と撮影位置との位置関係を利用する公知の方法と同様なものであればよい。 Next, the ortho image generation unit 15 orthorectifies the camera image generated from the three-dimensional data by the camera image generation unit 14 to generate an ortho image (ortho image generation A5). First, each pixel of the camera image in which each point of the three-dimensional data is projected by central projection is associated with each point of the three-dimensional data. At that time, when a plurality of points of the three-dimensional data are associated with the same pixel of the camera image, a point closest to the shooting position is adopted. The association between the camera image and the three-dimensional data may be performed when the camera image generation unit 14 generates the camera image. Next, the orthographic image is generated by orthogonal transformation of the camera image using the correspondence between the camera image and the three-dimensional data. Note that an ortho-image generating method using the correspondence between the camera image and the three-dimensional data is a known method using each pixel of the camera image using the positional relationship between the point of the three-dimensional data corresponding to the pixel and the photographing position. Anything similar to the above may be used.
次に、オクルージョン領域抽出部１６は、オルソ画像生成部１５で生成されたオルソ画像におけるオクルージョン領域を抽出する（オクルージョン領域抽出Ａ６）。具体的には、オルソ画像において情報が無い領域をオクルージョン領域として抽出する。航空写真において建物など前景物により隠蔽されている領域がオルソ画像において情報の無い領域として現れるので、オルソ画像において情報の無い領域をオクルージョン領域として認識することができる。 Next, the occlusion area extraction unit 16 extracts an occlusion area in the ortho image generated by the ortho image generation unit 15 (occlusion area extraction A6). Specifically, a region having no information in the ortho image is extracted as an occlusion region. In an aerial photograph, an area concealed by a foreground object such as a building appears as an area without information in the ortho image, so that an area without information in the ortho image can be recognized as an occlusion area.
ここで、オクルージョン領域の認識について、図５を参照して説明する。図５において、撮影範囲の中心付近より外れた場所に位置している建物がカメラ画像において傾いて写っている。そのカメラ画像を正射投影して生成されたオルソ画像においてカメラ画像で傾いて写っていた建物が真位置に補正されるが、カメラ画像でその建物により隠蔽されていた領域の情報が無い。この情報の無い領域をオクルージョン領域と認識する。 Here, recognition of the occlusion area will be described with reference to FIG. In FIG. 5, a building located at a location deviating from the vicinity of the center of the photographing range is reflected in the camera image. In the ortho image generated by orthographic projection of the camera image, the building that was tilted in the camera image is corrected to the true position, but there is no information about the area hidden by the building in the camera image. An area without this information is recognized as an occlusion area.
次に、カメラ画像生成（Ａ４）からオクルージョン領域抽出（Ａ６）までの処理を全ての撮影位置候補について行った後、撮影位置決定部１７は、オクルージョン領域が最小となる最適な撮影位置を決定する。 Next, after performing the processing from camera image generation (A4) to occlusion area extraction (A6) for all shooting position candidates, the shooting position determination unit 17 determines an optimal shooting position where the occlusion area is minimized. .
なお、カメラ画像生成（Ａ４）からオクルージョン領域抽出（Ａ６）までの処理について、各撮影位置候補毎に全てのステップの処理を行ってもよいし、各ステップ毎に全ての撮影位置候補について処理を行ってもよい。後者の場合、各ステップ毎の全ての撮影位置候補についての処理を並列で行ってもよい。また、これらの組み合わせでもよい。 In addition, about the process from camera image generation (A4) to occlusion area extraction (A6), you may process all the steps for every imaging position candidate, and process about all the imaging position candidates for every step. You may go. In the latter case, the processing for all photographing position candidates for each step may be performed in parallel. A combination of these may also be used.
撮影位置決定部１７は、撮影対象条件設定部１２で設定された撮影対象条件と、オクルージョン領域抽出部１６で抽出されたオクルージョン領域にもとづいて、最適な撮影位置を決定し、最適な撮影位置の情報を出力する（撮影位置決定Ａ７）。その際、複数の撮影位置候補のうちオクルージョン領域の最も小さいオルソ画像に対応する撮影位置候補を最適な撮影位置とする。具体的には、撮影対象となる地形の範囲内においてオルソ画像におけるオクルージョン部分の面積の合計をオクルージョン領域として算出し、オクルージョン領域の最も小さいオルソ画像に対応する撮影位置候補を最適な撮影位置として決定する。その際、オクルージョンの面積は三次元座標の単位で計算し、例えば、三次元座標の単位としてメートルが使用されている場合はメートル単位で計算する。なお、ステップＡ６までに各オルソ画像の画素スケールが統一されている場合には面積は画素単位で計算してもよいし、撮影位置決定部１７において各オルソ画像の画素スケールを統一してもよい。 The shooting position determination unit 17 determines an optimal shooting position based on the shooting target condition set by the shooting target condition setting unit 12 and the occlusion area extracted by the occlusion area extraction unit 16, and sets the optimal shooting position. Information is output (photographing position determination A7). At that time, the photographing position candidate corresponding to the ortho image having the smallest occlusion area among the plurality of photographing position candidates is set as the optimum photographing position. Specifically, the total area of the occlusion area in the ortho image within the range of the terrain to be imaged is calculated as an occlusion area, and an imaging position candidate corresponding to the ortho image with the smallest occlusion area is determined as the optimal imaging position. To do. At this time, the occlusion area is calculated in units of three-dimensional coordinates. For example, when a meter is used as the unit of three-dimensional coordinates, it is calculated in units of meters. In addition, when the pixel scale of each ortho image is unified by step A6, the area may be calculated in units of pixels, or the pixel scale of each ortho image may be unified in the photographing position determination unit 17. .
ここで、撮影位置決定部１７でのオクルージョン面積計算の対象となるオクルージョン領域について、図６を参照して説明する。図６において、オルソ画像に建物のオクルージョン領域（オクルージョン１とオクルージョン２）が現れている。撮影対象となる地形の範囲内に存在するオクルージョン２の領域をオクルージョン面積計算の対象とし、撮影対象となる地形の範囲外に存在するオクルージョン１の領域はオクルージョン面積計算の対象としない。 Here, an occlusion area which is an object of occlusion area calculation in the photographing position determination unit 17 will be described with reference to FIG. In FIG. 6, the occlusion areas (occlusion 1 and occlusion 2) of the building appear in the ortho image. The area of occlusion 2 that exists within the range of the terrain to be imaged is the object of occlusion area calculation, and the area of occlusion 1 that is outside the area of the terrain to be imaged is not the object of occlusion area calculation.
また、撮影位置決定部１７での最適な撮影位置の決定について、図７、図８、図９を参照して説明する。図７は撮影位置候補と三次元データの例を示し、図７の１ａ〜９ａは撮影位置候補を示す。図８は図７の撮影位置候補と三次元データにもとづいて生成されるカメラ画像の例である。図８の１ｂ〜９ｂは図７の撮影位置候補１ａ〜９ａに対応するカメラ画像である。図９は図７の撮影位置候補と三次元データにもとづいて生成されるオルソ画像の例である。図９の１ｃ〜９ｃは図７の撮影位置候補１ａ〜９ａおよび図８のカメラ画像１ｂ〜９ｂに対応するオルソ画像である。図９の斜線部分はオクルージョン領域を示す。図７、図８、図９について、撮影位置決定部１７はオルソ画像１ｃ〜９ｃのオクルージョン領域を比較し、オクルージョン領域が最も小さいオルソ画像５ｃに対応する撮影位置候補５ａを最適な撮影位置として決定する。 The determination of the optimal shooting position in the shooting position determination unit 17 will be described with reference to FIGS. 7, 8, and 9. FIG. 7 shows examples of shooting position candidates and three-dimensional data, and 1a to 9a in FIG. 7 show shooting position candidates. FIG. 8 is an example of a camera image generated based on the shooting position candidate and the three-dimensional data of FIG. 8 are camera images corresponding to the photographing position candidates 1a to 9a in FIG. FIG. 9 is an example of an ortho image generated based on the photographing position candidate and the three-dimensional data in FIG. Reference numerals 1c to 9c in FIG. 9 are ortho-images corresponding to the photographing position candidates 1a to 9a in FIG. 7 and the camera images 1b to 9b in FIG. A hatched portion in FIG. 9 indicates an occlusion area. 7, 8, and 9, the shooting position determination unit 17 compares the occlusion areas of the ortho images 1 c to 9 c and determines the shooting position candidate 5 a corresponding to the ortho image 5 c having the smallest occlusion area as the optimal shooting position. To do.
上記では、撮影位置の決定および情報の出力に関して、オクルージョン領域の最小となる撮影位置を最適な撮影位置として決定し、それの情報を出力しているが、撮影位置の決定は行わず、オルソ画像の各々に対応する撮影位置および面積の情報を出力してもよい。 In the above, regarding the determination of the shooting position and the output of information, the shooting position that minimizes the occlusion area is determined as the optimal shooting position and the information is output, but the shooting position is not determined, and the ortho image Information on the photographing position and area corresponding to each of the above may be output.
以上のように、航空写真撮影の際、写真に占めるオクルージョン部分の面積をより小さくするように撮影位置を設定することが可能となる。 As described above, at the time of aerial photography, it is possible to set the photographing position so that the area of the occlusion portion in the photograph is further reduced.
なお、本実施の形態において、ユーザーにより設定された撮影位置条件から撮影位置候補を算出しているが、撮影対象の撮影された航空写真が複数存在する場合には、それら航空写真が撮影された撮影位置を撮影位置候補とすることが可能である。この場合、複数の撮影位置候補の中から決定される最適な撮影位置から撮影された航空写真が撮影対象の撮影された航空写真のうちオクルージョン領域の最も小さいものとなるようにすることが可能である。つまり、撮影対象の撮影された複数の航空写真の中からオクルージョン領域の最も小さいものを選択することも可能となる。 In the present embodiment, the shooting position candidates are calculated from the shooting position conditions set by the user. However, when there are a plurality of aerial photographs taken as shooting targets, the aerial photographs were taken. The shooting position can be set as a shooting position candidate. In this case, it is possible to make the aerial photograph taken from the optimum photographing position determined from a plurality of photographing position candidates the smallest in the occlusion area among the aerial photographs taken for photographing. is there. In other words, it is possible to select the smallest occlusion area from among a plurality of aerial photographs that have been taken.
次に、本発明の第２の実施の形態について、図面を参照して説明する。 Next, a second embodiment of the present invention will be described with reference to the drawings.
まず、本実施の形態の構成について、図１０を参照して説明する。 First, the configuration of the present embodiment will be described with reference to FIG.
図１０は本実施の形態における撮影位置決定装置の構成を示す。撮影位置決定装置２０は、カメラ画像生成部２１、オルソ画像生成部２２、オクルージョン領域抽出部２３、撮影位置情報出力部２４を備える。 FIG. 10 shows the configuration of the photographing position determining apparatus in the present embodiment. The shooting position determination device 20 includes a camera image generation unit 21, an ortho image generation unit 22, an occlusion area extraction unit 23, and a shooting position information output unit 24.
カメラ画像生成部２１は、複数の撮影位置の各々より撮影対象の三次元データを撮影して得られるカメラ画像を生成する。オルソ画像生成部２２は、カメラ画像の各々を正射変換して撮影対象のオルソ画像を生成する。オクルージョン領域抽出部２３は、オルソ画像の各々においてオクルージョン領域を抽出する。撮影位置情報出力部２４は、オクルージョン領域の各々の面積を算出し、オルソ画像の各々に対応する撮影位置および面積の情報を出力する。 The camera image generation unit 21 generates a camera image obtained by shooting three-dimensional data to be shot from each of a plurality of shooting positions. The ortho image generation unit 22 generates an ortho image to be photographed by orthogonally transforming each of the camera images. The occlusion area extraction unit 23 extracts an occlusion area in each of the ortho images. The shooting position information output unit 24 calculates the area of each occlusion area and outputs information of the shooting position and area corresponding to each of the ortho images.
次に、本実施の形態の動作について説明する。 Next, the operation of the present embodiment will be described.
まず、ユーザによりカメラ画像生成部２１に複数の撮影位置候補、撮影対象の範囲および撮影対象の三次元データが設定される。次に、カメラ画像生成部２１は複数の撮影位置候補の各々より撮影対象の三次元データを撮影して得られるカメラ画像を生成する。オルソ画像生成部２２はカメラ画像の各々を正射変換して撮影対象のオルソ画像を生成する。オクルージョン領域抽出部２３はオルソ画像の各々においてオクルージョン領域を抽出する。撮影位置情報出力部２４はオクルージョン領域の各々の面積を算出し、オルソ画像の各々に対応する撮影位置および面積の情報を出力する。 First, the user sets a plurality of shooting position candidates, a shooting target range, and shooting target three-dimensional data in the camera image generation unit 21. Next, the camera image generation unit 21 generates a camera image obtained by shooting three-dimensional data to be shot from each of a plurality of shooting position candidates. The ortho image generation unit 22 generates an ortho image to be photographed by orthogonally transforming each of the camera images. The occlusion area extraction unit 23 extracts an occlusion area in each of the ortho images. The shooting position information output unit 24 calculates the area of each occlusion area and outputs information of the shooting position and area corresponding to each of the ortho images.
以上のように、航空写真撮影の際、写真に占めるオクルージョン部分の面積をより小さくするように撮影位置を設定することが可能となる。 As described above, at the time of aerial photography, it is possible to set the photographing position so that the area of the occlusion portion in the photograph is further reduced.
本発明は、撮影位置決定装置、プログラム、および方法に利用可能である。 The present invention can be used for an imaging position determination device, a program, and a method.
１０、２０ 撮影位置決定装置
１１ 撮影位置条件設定部
１２ 撮影対象条件設定部
１３ 撮影位置候補算出部
１４、２１ カメラ画像生成部
１５、２２ オルソ画像生成部
１６、２３ オクルージョン領域抽出部
１７ 撮影位置決定部
２４ 撮影位置情報出力部
Ａ１ 撮影位置条件設定
Ａ２ 撮影対象条件設定
Ａ３ 撮影位置候補算出
Ａ４ カメラ画像生成
Ａ５ オルソ画像生成
Ａ６ オクルージョン領域抽出
Ａ７ 撮影位置決定
DESCRIPTION OF SYMBOLS 10, 20 Shooting position determination apparatus 11 Shooting position condition setting part 12 Shooting target condition setting part 13 Shooting position candidate calculation part 14, 21 Camera image generation part 15, 22 Ortho image generation part 16, 23 Occlusion area extraction part 17 Shooting position determination Section 24 Shooting position information output section A1 Shooting position condition setting A2 Shooting target condition setting A3 Shooting position candidate calculation A4 Camera image generation A5 Ortho image generation A6 Occlusion area extraction A7 Shooting position determination
Claims (9)
前記カメラ画像の各々を正射変換して前記所定の撮影対象のオルソ画像を生成するオルソ画像生成手段と、
前記オルソ画像の各々においてオクルージョン領域を抽出するオクルージョン領域抽出手段と、
前記オクルージョン領域の各々の面積を算出し、前記オルソ画像の各々に対応する撮影位置および面積の情報を出力する撮影位置情報出力手段と
を備えることを特徴とする撮影位置決定装置。 Camera image generation means for generating a camera image obtained by shooting three-dimensional data of a predetermined shooting target from each of a plurality of shooting positions;
Orthoimage generating means for generating an orthoimage of the predetermined photographing object by orthorectifying each of the camera images;
Occlusion area extraction means for extracting an occlusion area in each of the ortho images;
An imaging position determination apparatus comprising: an imaging position information output unit that calculates an area of each of the occlusion areas and outputs information of an imaging position and an area corresponding to each of the ortho images.
をさらに備えることを特徴とする請求項１に記載の撮影位置決定装置。 A photographing position determining means for outputting a photographing position corresponding to the ortho image or satisfying a predetermined condition among all the areas of the occlusion region, or information on the photographing position and the area corresponding to the photographing position is further provided. The imaging position determining apparatus according to claim 1, wherein
をさらに備えることを特徴とする請求項１または２に記載の撮影位置決定装置。 The photographing position determining apparatus according to claim 1, further comprising photographing position candidate calculating means for calculating the plurality of photographing positions from a predetermined photographing position condition.
前記カメラ画像の各々を正射変換して前記所定の撮影対象のオルソ画像を生成するオルソ画像生成手順と、
前記オルソ画像の各々においてオクルージョン領域を抽出するオクルージョン領域抽出手順と、
前記オクルージョン領域の各々の面積を算出し、前記オルソ画像の各々に対応する撮影位置および面積の情報を出力する撮影位置情報出力手順と
を備えることを特徴とする撮影位置決定プログラム。 A camera image generation procedure for generating a camera image obtained by shooting three-dimensional data of a predetermined shooting target from each of a plurality of shooting positions;
An ortho image generation procedure for generating an ortho image of the predetermined photographing object by orthogonally transforming each of the camera images;
An occlusion area extraction procedure for extracting an occlusion area in each of the ortho images;
An imaging position determining program comprising: an imaging position information output procedure for calculating an area of each of the occlusion areas and outputting information on an imaging position and an area corresponding to each of the ortho images.
をさらに備えることを特徴とする請求項４に記載の撮影位置決定プログラム。 A shooting position determining procedure for outputting the shooting position corresponding to the ortho image or the shooting position and the area corresponding to the shooting position among all the areas of the occlusion area satisfying a predetermined condition is further provided. The shooting position determination program according to claim 4, wherein:
をさらに備えることを特徴とする請求項４または５に記載の撮影位置決定プログラム。 6. The shooting position determination program according to claim 4, further comprising a shooting position candidate calculation procedure for calculating the plurality of shooting positions from a predetermined shooting position condition.
前記カメラ画像の各々を正射変換して前記所定の撮影対象のオルソ画像を生成するオルソ画像生成工程と、
前記オルソ画像の各々においてオクルージョン領域を抽出するオクルージョン領域抽出工程と、
前記オクルージョン領域の各々の面積を算出し、前記オルソ画像の各々に対応する撮影位置および面積の情報を出力する撮影位置情報出力工程と
を備えることを特徴とする撮影位置決定方法。 A camera image generation step of generating a camera image obtained by shooting three-dimensional data of a predetermined shooting target from each of a plurality of shooting positions;
An ortho image generating step for generating an ortho image of the predetermined photographing object by ortho-rectifying each of the camera images;
An occlusion area extracting step of extracting an occlusion area in each of the ortho images;
An imaging position determination method comprising: an imaging position information output step of calculating an area of each of the occlusion areas and outputting information of an imaging position and an area corresponding to each of the ortho images.
をさらに備えることを特徴とする請求項７に記載の撮影位置決定方法。 A shooting position determining step for outputting the shooting position corresponding to the ortho image or the shooting position and the area corresponding to the shooting position among all the areas of the occlusion area satisfying a predetermined condition is further provided. The imaging position determination method according to claim 7.
をさらに備えることを特徴とする請求項７または８に記載の撮影位置決定方法。 The photographing position determination method according to claim 7 or 8, further comprising a photographing position candidate calculation step of calculating the plurality of photographing positions from a predetermined photographing position condition.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013031234A JP6121746B2 (en) | 2013-02-20 | 2013-02-20 | Imaging position determining apparatus, program, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013031234A JP6121746B2 (en) | 2013-02-20 | 2013-02-20 | Imaging position determining apparatus, program, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014160405A true JP2014160405A (en) | 2014-09-04 |
| JP6121746B2 JP6121746B2 (en) | 2017-04-26 |
Family
ID=51612046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013031234A Active JP6121746B2 (en) | 2013-02-20 | 2013-02-20 | Imaging position determining apparatus, program, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6121746B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016084316A1 (en) * | 2014-11-28 | 2016-06-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2016109669A (en) * | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | Information processing device, information processing method, program |
| WO2023127020A1 (en) * | 2021-12-27 | 2023-07-06 | 楽天グループ株式会社 | Information processing system, method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316256A (en) * | 2002-04-19 | 2003-11-07 | Asia Air Survey Co Ltd | Method, system, and program for ortho-photo generation |
| JP2003331259A (en) * | 2002-05-15 | 2003-11-21 | Pasuko:Kk | Method and system for forming orthophoto image |
| JP2009258386A (en) * | 2008-04-16 | 2009-11-05 | Asia Air Survey Co Ltd | Optimum slanted picture providing method, system, and device |
-
2013
- 2013-02-20 JP JP2013031234A patent/JP6121746B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316256A (en) * | 2002-04-19 | 2003-11-07 | Asia Air Survey Co Ltd | Method, system, and program for ortho-photo generation |
| JP2003331259A (en) * | 2002-05-15 | 2003-11-21 | Pasuko:Kk | Method and system for forming orthophoto image |
| JP2009258386A (en) * | 2008-04-16 | 2009-11-05 | Asia Air Survey Co Ltd | Optimum slanted picture providing method, system, and device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016084316A1 (en) * | 2014-11-28 | 2016-06-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2016109669A (en) * | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | Information processing device, information processing method, program |
| US10325336B2 (en) | 2014-11-28 | 2019-06-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| WO2023127020A1 (en) * | 2021-12-27 | 2023-07-06 | 楽天グループ株式会社 | Information processing system, method, and program |
| JPWO2023127020A1 (en) * | 2021-12-27 | 2023-07-06 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6121746B2 (en) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3392831B1 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
| WO2022127918A1 (en) | Stereo calibration method, apparatus, and system for binocular camera, and binocular camera | |
| CN105005964B (en) | Geographic scenes panorama sketch rapid generation based on video sequence image | |
| TW201717613A (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| JP2020042772A (en) | Depth data processing system capable of optimizing depth data by image positioning with respect to depth map | |
| JP6091658B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2015143679A (en) | Parallax calculation system, information processing device, information processing method and program | |
| JP2009175866A (en) | Stereoscopic image generation device, its method, and its program | |
| JP7489253B2 (en) | Depth map generating device and program thereof, and depth map generating system | |
| CN112837207A (en) | Panoramic depth measuring method, four-eye fisheye camera and binocular fisheye camera | |
| TW202113551A (en) | Virtuality reality overlapping method and system | |
| CN103500471A (en) | Method for realizing high-resolution augmented reality system | |
| JP5369873B2 (en) | Judgment program and calibration device | |
| JP6121746B2 (en) | Imaging position determining apparatus, program, and method | |
| TWI528783B (en) | Methods and systems for generating depth images and related computer products | |
| US20220012905A1 (en) | Image processing device and three-dimensional measuring system | |
| JP5991821B2 (en) | Photogrammetry equipment | |
| KR20220121533A (en) | Method and device for restoring image obtained from array camera | |
| CN210986289U (en) | Four-eye fisheye camera and binocular fisheye camera | |
| JP2016114445A (en) | Three-dimensional position calculation device, program for the same, and cg composition apparatus | |
| JP4778569B2 (en) | Stereo image processing apparatus, stereo image processing method, and stereo image processing program | |
| JP2008224323A (en) | Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program | |
| WO2017057426A1 (en) | Projection device, content determination device, projection method, and program | |
| TW201911239A (en) | Method and apparatus for generating three-dimensional panoramic video | |
| JP2019012915A (en) | Image processing device and image conversion method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140609 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6121746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |