JP2014106118A - Digital surface model creation method, and digital surface model creation device - Google Patents
Digital surface model creation method, and digital surface model creation device Download PDFInfo
- Publication number
- JP2014106118A JP2014106118A JP2012259261A JP2012259261A JP2014106118A JP 2014106118 A JP2014106118 A JP 2014106118A JP 2012259261 A JP2012259261 A JP 2012259261A JP 2012259261 A JP2012259261 A JP 2012259261A JP 2014106118 A JP2014106118 A JP 2014106118A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- standard
- plane
- coordinates
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000002344 surface layer Substances 0.000 claims description 59
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000470 constituent Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
Images
Abstract
Description
本願発明は、２枚一組のステレオペア画像を用いて数値表層モデルを作成する技術に関するものであり、より具体的には、水平面から任意角だけ傾斜させた座標系における数値表層モデルを作成することで、ステレオペア画像から得られる情報を最大限利用して建物の輪郭を抽出する数値表層モデル作成方法、及び数値表層モデル作成装置に関するものである。 The present invention relates to a technique for creating a numerical surface layer model using a pair of stereo pair images, and more specifically, a numerical surface layer model in a coordinate system inclined by an arbitrary angle from a horizontal plane. Thus, the present invention relates to a numerical surface layer model creation method and a numerical surface layer model creation device that extract the outline of a building by making maximum use of information obtained from stereo pair images.
地形図の作製など広範囲に渡って地形を計測する場合、航空機から撮影した空中写真を利用する空中写真測量を実施するのが主流である。空中写真測量は、同一箇所を写した異なる２枚の空中写真を一組とするステレオペア写真を用意し、双方の写真に写された同一対象物を同定するとともに、その対象物の写真上の位置の相違（視差）を利用して地上における対象物の座標を求める手法である。 When measuring topography over a wide range, such as creating topographic maps, aerial photogrammetry using aerial photographs taken from aircraft is the mainstream. Aerial photogrammetry prepares a stereo pair photo that consists of a set of two aerial photos of the same location, identifies the same object in both photos, and on the photo of the object This is a technique for obtaining the coordinates of an object on the ground using a difference in position (parallax).
空中写真に写された地上物の座標は、カメラ中心点（主点）を基準とする前方交会法によって求められる。そのため、ステレオペア写真それぞれを撮影した時のカメラ主点座標と撮影方向、カメラの焦点距離や、主点位置のずれ、各種ひずみ（放射性ひずみ、非対称性ひずみ等）といったカメラ諸元は既値でなければならない。なお、写真撮影時のカメラ主点座標と撮影方向は外部標定要素と呼ばれ、カメラの焦点距離や、主点位置のずれ、各種ひずみ等は内部標定要素と呼ばれており、外部標定要素と内部標定要素の総称が標定要素である。 The coordinates of the ground object shown in the aerial photograph are obtained by the forward intersection method with the camera center point (principal point) as a reference. Therefore, the camera specifications such as the camera principal point coordinates and shooting direction, the focal length of the camera, the displacement of the principal point position, various distortions (radioactive distortion, asymmetric distortion, etc.) when each stereo pair photograph was taken are already values. There must be. In addition, the camera principal point coordinates and photographing direction at the time of photography are called external orientation elements, and the camera focal length, principal point position shift, various distortions, etc. are called internal orientation elements. A general term for internal orientation elements is an orientation element.
空中写真測量によって地上物の座標を求めるには外部標定要素を既値としなければならないと説明したが、必ずしもこの外部標定要素が計測等によって明らかにされるとは限らない。もちろん、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とＩＭＵ（Ｉｎｅｒｔｉａ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を航空機に搭載すれば、直接的に外部標定要素を得ることができるが、このような計測機器を搭載していない場合は空中三角測量により外部標定要素を求めるのが一般的である。空中三角測量は、地上座標が既値である対空標識を設置し、この対空標識を写した複数枚の空中写真を基に解析を行って外部標定要素（あるいは標定要素）を求めるものである。 Although it has been described that the external orientation element must be an existing value in order to obtain the coordinates of a ground object by aerial photogrammetry, this external orientation element is not necessarily clarified by measurement or the like. Of course, external positioning elements can be obtained directly by installing GPS (Global Positioning System) and IMU (Inertia Measurement Unit) on an aircraft, but if such a measuring device is not installed, aerial triangulation Generally, the external orientation element is obtained by In the air triangulation, an antiaircraft sign (or an orientation element) is obtained by installing an antiaircraft sign whose ground coordinates are already set and performing analysis based on a plurality of aerial photographs showing the antiaircraft sign.
ところで、計測結果を地形モデルとして表現する場合、目的に応じて２種類のモデルに大別される。一つは、地表面を覆う樹木や建造物など（以下、「被覆物」という。）を地形モデルとして含むもので、すなわち被覆物の表面を表すＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）等である。他の一つは、被覆物を除く純粋な地表面を表すＤＴＭ（Ｄｉｇｉｔａｌ Ｔｅｒｒａｉｎ Ｍｏｄｅｌ）等である。空中写真測量の場合は、被覆物を含む地形を撮影した空中写真を利用することから、直接的には地形モデルとしてＤＳＭが得られる。なお、ＤＳＭをはじめ被覆物を含んだ地形モデルのことを、ここでは「数値表層モデル」ということとする。 By the way, when expressing a measurement result as a topographic model, it is divided roughly into two types according to the objective. One includes a tree or a structure covering the ground surface (hereinafter referred to as “cover”) as a topographic model, that is, a DSM (Digital Surface Model) that represents the surface of the cover. The other is DTM (Digital Terrain Model) which represents a pure ground surface excluding the covering. In the case of aerial photogrammetry, a DSM can be obtained directly as a terrain model because an aerial photograph obtained by photographing a terrain including a covering is used. Here, the terrain model including the DSM and the covering is referred to herein as a “numerical surface layer model”.
数値表層モデルは、平面位置及び高さを指標とする３次元座標で構成されるものであり、自動的に生成させたメッシュ上に整列配置された点群によって、あるいは無秩序な離散的点群によって表現される。そのため、地盤高が連続的に変化する山地部においては、自動生成した数値表層モデルが原地形を比較的精度よく表現するものの、高層ビルなど建物が多い都市部においては、人工的に造られた不連続な地盤高差が数多く存在し、これを自動生成したメッシュ点群や離散的点群によって表現することは困難である。 The numerical surface layer model is composed of three-dimensional coordinates with the plane position and height as indices, and is based on point groups arranged on an automatically generated mesh, or disordered discrete point groups. Expressed. Therefore, in the mountainous area where the ground height changes continuously, the automatically generated numerical surface layer model expresses the original topography with relatively high accuracy, but in urban areas with many buildings such as high-rise buildings, it was artificially constructed. There are many discontinuous ground height differences, and it is difficult to express them with automatically generated mesh point groups or discrete point groups.
図８は数値表層モデルの概念を示すモデル図であり、（ａ）はその側面図、（ｂ）はその平面図である。図８（ａ）に示すように、建物があるところは建物の表面、建物がないところは地面を示す点群によって数値表層モデルは構成される。例えば、数値表層モデルがメッシュ状の点群で構成されている場合、点群の配置は図８（ｂ）に示すとおりである。この図では便宜上、建物輪郭周辺の点群のみを示しているが、これら点群から建物の輪郭を自動的に抽出することはできない。これは、離散的点群で構成された数値表層モデルでも同様である。 FIG. 8 is a model diagram showing the concept of the numerical surface layer model, where (a) is a side view thereof and (b) is a plan view thereof. As shown in FIG. 8A, the numerical surface model is constituted by a point group indicating the surface of the building where there is a building and the ground where there is no building. For example, when the numerical surface layer model is composed of mesh point groups, the point group arrangement is as shown in FIG. In this figure, for convenience, only the point cloud around the building outline is shown, but the outline of the building cannot be automatically extracted from these point cloud. The same applies to a numerical surface layer model composed of discrete point clouds.
このように、従来の数値表層モデルから機械的もしくは自動的に建物の輪郭を抽出することは難しく、これまでは人が目視によって建物の輪郭を同定し、この輪郭構成点を手作業で入力して数値表層モデルを作成していた。この手法によれば、作成手間や作成時間がかかるうえ人為的なミスも生じやすいことから、建物の輪郭を抽出するための改善技術が待望されていた。 In this way, it is difficult to extract the outline of a building mechanically or automatically from a conventional numerical surface layer model. Until now, a person has identified the outline of a building by visual inspection, and manually input the outline constituent points. A numerical surface model was created. According to this method, since it takes time and time for creation and human error is likely to occur, an improved technique for extracting the outline of a building has been awaited.
そこで特許文献１では、空中写真から精度よく地物（建物の輪郭）を抽出する試みとして、あらかじめ構築された道路ネットワークを用意し、この道路ネットワーク部分をオルソ写真から取り除いたうえで画像処理を行い、地物を抽出する技術を提案している。
Therefore, in
特許文献１では、２値化した画像を利用して建物の輪郭を抽出する技術を開示している。特許文献１のように画像処理によって建物の輪郭を抽出する技術は、従来からも行われてきた技術であるが、この手法で正確に抽出することは難しい。画像の最小単位は画素（ピクセル）であり、１画素よりも細かく線分等を特定することができないのがその理由である。図８（ｂ）で説明すれば、建物の輪郭を含む画素（この場合は１メッシュ）を特定することはできても、輪郭線そのものを特定することはできないことが分かる。
本願発明者は、建物の輪郭を特定するために、建物の壁面の情報を利用することに着目した。例えば、高層ビルのように略直方体と考えることのできる建物であれば、４壁面（側面）を特定することで建物の輪郭が明確に把握できる。具体的には、壁面を構成する点群を平面配置すると建物の輪郭に点群が高密度（集中的に）で分布され、このことから建物の輪郭が把握できるわけである。あるいは、天井面を特定し、この天井面と４壁面が交差する４直線を求めることでも建物の輪郭が把握できる。 The inventor of the present application paid attention to using information on the wall surface of the building in order to specify the outline of the building. For example, in the case of a building that can be considered as a substantially rectangular parallelepiped such as a high-rise building, the outline of the building can be clearly grasped by specifying four wall surfaces (side surfaces). Specifically, when the point cloud constituting the wall surface is arranged in a plane, the point cloud is distributed with high density (intensively) on the outline of the building, and from this, the outline of the building can be grasped. Or the outline of a building can be grasped | ascertained by specifying a ceiling surface and calculating | requiring 4 straight lines which this ceiling surface and 4 wall surfaces cross | intersect.
一方、従来の数値表層モデルでは壁面が表現されることはなかった。既述のとおり、数値表層モデルは３次元座標で構成されるが、同一平面点においては最高点（最も標高値が高い点）のみを構成点としている。言い換えれば、従来の数値表層モデルでは、同一平面点について一つの座標しか持つことがなく、実際、市販されているソフトウェアもこのような構造をとっている。したがってこれまでの数値表層モデルは、略鉛直に立設する壁面上に、複数の点群が配置されることはなかった。 On the other hand, the wall surface is not represented in the conventional numerical surface model. As described above, the numerical surface layer model is composed of three-dimensional coordinates, but only the highest point (the point with the highest altitude value) is a constituent point in the same plane point. In other words, the conventional numerical surface layer model has only one coordinate for the same plane point, and in fact, commercially available software has such a structure. Therefore, in the conventional numerical surface layer model, a plurality of point groups have never been arranged on the wall surface standing substantially vertically.
ところが、傾きをもって撮影される空中写真には、建物の壁面が写っていることが多い。先に説明した空中写真測量の原理によれば、壁面であってもステレオペア写真が成立すれば座標を求めることはできる。同一平面点につき一つの座標しか持たないという理由により、従来、空中写真から壁面の座標を求め、この壁面上の点を数値表層モデルの構成点とすることはなかった。すなわち、これまでは空中写真に写った壁面の情報を、利用することなく取り除いていたわけである。なお、壁面の座標を取得する手段としてはレーザー計測が考えられるが、この場合はマルチパス（壁面や路面における乱反射）の問題があって、やはり壁面上の点群を構成点とした数値表層モデルを作成するのは容易でなない。 However, aerial photographs taken with an inclination often show the walls of the building. According to the above-described principle of aerial photogrammetry, coordinates can be obtained if a stereo pair photograph is established even on a wall surface. Because there is only one coordinate for the same plane point, conventionally, the coordinates of the wall surface are obtained from the aerial photograph, and the points on the wall surface are not used as the constituent points of the numerical surface model. That is, until now, the information on the wall surface shown in the aerial photograph has been removed without using it. In addition, laser measurement can be considered as a means to acquire the coordinates of the wall surface. In this case, there is a problem of multipath (irregular reflection on the wall surface or road surface), and a numerical surface layer model with points on the wall surface as constituent points. It is not easy to create.
本願発明の課題は上記問題を解決することであり、すなわち空中写真などの画像から建物の壁面座標を取得し、この壁面上の点群を利用して建物の輪郭を抽出しつつ数値表層モデルを作成する技術を提供することであり、具体的には数値表層モデル作成方法、及び数値表層モデル作成装置を提供することにある。 An object of the present invention is to solve the above problem, that is, obtain a wall surface coordinate of a building from an image such as an aerial photograph, and extract a contour of the building using a point cloud on the wall surface to obtain a numerical surface layer model. It is to provide a technique for creating, and specifically to provide a numerical surface layer model creating method and a numerical surface layer model creating apparatus.
本願発明は、従来固定されていた座標系を水平面から任意角だけ傾斜させて壁面上の点を計測するという点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。 This invention pays attention to the point which measures the point on a wall surface by inclining the coordinate system which was being fixed conventionally from a horizontal surface by an arbitrary angle, and is an invention made based on the idea which was not in the past. .
本願発明の数値表層モデル作成方法は、外部標定要素が既知である２枚の画像を一組とするステレオペア画像を用いて数値表層モデルを作成する方法であり、傾斜座標系設定工程と、傾斜空間標定工程、傾斜座標算出工程、座標変換工程、標準平面座標取得工程、建物輪郭抽出工程を備えた方法である。傾斜座標系設定工程では、所定の傾斜角を定めてこの傾斜角だけ水平面から傾けた「傾斜基準面」を設定するとともに、傾斜基準面上に配置される「傾斜平面座標系」とこれに直交する座標軸を加えた「傾斜空間座標系」を設定する。傾斜空間標定工程では、外部標定要素及び傾斜空間座標系に基づいて、傾斜空間座標系における外部標定要素を「傾斜外部標定要素」として算出する。傾斜座標算出工程では、ステレオペア画像で画像照合する対応点、及び傾斜外部標定要素に基づいて、対応点の傾斜空間座標系における座標を「傾斜空間座標」として算出する。座標変換工程では、傾斜空間座標を水平面上に配置される「標準平面座標系」と鉛直座標軸からなる「標準空間座標系」に変換して「標準空間座標」を求める。標準平面座標取得工程では、標準空間座標のうち標準平面座標系における座標要素を抽出して、「標準平面座標」を得る。建物輪郭抽出工程では、標準平面座標取得工程で得られた標準平面座標に基づいて、「建物の輪郭」を抽出する。そして、座標変換工程で求めた標準空間座標、及び建物輪郭抽出工程で抽出した建物の輪郭に基づいて数値表層モデルを作成する。 The numerical surface layer model creating method of the present invention is a method for creating a numerical surface layer model using a stereo pair image of a pair of two images whose external orientation elements are known. This is a method including a spatial orientation process, an inclined coordinate calculation process, a coordinate conversion process, a standard plane coordinate acquisition process, and a building outline extraction process. In the tilt coordinate system setting process, a predetermined tilt angle is set and an “inclination reference plane” tilted from the horizontal plane by this tilt angle is set, and an “inclination plane coordinate system” arranged on the tilt reference plane is orthogonal to this. Set the “inclined space coordinate system” with the coordinate axes to be added. In the inclined space orientation step, the external orientation elements in the inclined space coordinate system are calculated as “inclined external orientation elements” based on the external orientation elements and the inclined space coordinate system. In the tilt coordinate calculation step, the coordinates of the corresponding point in the tilt space coordinate system are calculated as “slope space coordinates” based on the corresponding point to be image-matched with the stereo pair image and the tilt external orientation element. In the coordinate conversion step, the tilt space coordinates are converted into a “standard space coordinate system” composed of a “standard plane coordinate system” arranged on a horizontal plane and a vertical coordinate axis to obtain “standard space coordinates”. In the standard plane coordinate acquisition step, “standard plane coordinates” are obtained by extracting coordinate elements in the standard plane coordinate system from the standard space coordinates. In the building outline extraction step, “building outline” is extracted based on the standard plane coordinates obtained in the standard plane coordinate acquisition step. Then, a numerical surface layer model is created based on the standard space coordinates obtained in the coordinate conversion process and the building outline extracted in the building outline extraction process.
本願発明の数値表層モデル作成方法は、異なる２以上の傾斜角を定めそれぞれ傾斜空間座標系を設定し、これら傾斜空間座標系に基づいて標準空間座標及び標準平面座標を算出するとともに、標準平面座標に基づいて建物の輪郭を抽出したうえで数値表層モデルを作成することもできる。 The numerical surface layer model creating method of the present invention defines two or more different tilt angles, sets respective tilt space coordinate systems, calculates standard space coordinates and standard plane coordinates based on these tilt space coordinate systems, and standard plane coordinates. It is also possible to create a numerical surface model after extracting the outline of the building based on the above.
本願発明の数値表層モデル作成方法は、数値表層モデルに基づいてステレオペア画像から正射投影写真を作成する正射投影写真作成工程を備えた方法とすることもできる。 The numerical surface layer model creating method of the present invention can also be a method including an orthographic projection photograph creating step of creating an orthographic projection photograph from a stereo pair image based on the numerical surface layer model.
本願発明の数値表層モデル作成装置は、外部標定要素が既知である２枚の画像を一組とするステレオペア画像を用いて数値表層モデルを作成するものであり、傾斜角指定手段と、傾斜座標系設定手段、傾斜空間標定手段、傾斜座標算出手段、座標変換手段、標準平面座標取得手段、建物輪郭抽出手段、数値表層モデル作成手段を備えたものである。傾斜角指定手段は、所定の傾斜角を指定することができる。傾斜座標系設定手段は、傾斜角だけ水平面から傾いた「傾斜基準面」を設定するとともに、この傾斜基準面上に配置される「傾斜平面座標系」とこれに直交する座標軸を加えた「傾斜空間座標系」を設定することができる。傾斜空間標定手段は、外部標定要素及び傾斜空間座標系に基づいて、傾斜空間座標系における外部標定要素を「傾斜外部標定要素」として算出することができる。傾斜座標算出手段は、テレオペア画像で画像照合する対応点、及び傾斜外部標定要素に基づいて対応点の傾斜空間座標系における座標を、「傾斜空間座標」として算出することができる。座標変換手段は、傾斜空間座標を水平面上に配置される標準平面座標系と鉛直座標軸からなる「標準空間座標系」に変換して「標準空間座標」を求めることができる。標準平面座標取得手段は、標準空間座標のうち標準平面座標系における座標要素を抽出して「標準平面座標」を得ることができる。建物輪郭抽出手段は、標準平面座標取得工程で得られた標準平面座標に基づいて、建物の輪郭を抽出することができる。数値表層モデル作成手段は、座標変換工程で求めた標準空間座標、及び建物輪郭抽出工程で抽出した建物の輪郭に基づいて、数値表層モデルを作成することができる。 A numerical surface layer model creating apparatus according to the present invention creates a numerical surface layer model using a stereo pair image including a pair of two images whose external orientation elements are known. A system setting unit, an inclined space orientation unit, an inclined coordinate calculation unit, a coordinate conversion unit, a standard plane coordinate acquisition unit, a building contour extraction unit, and a numerical surface layer model generation unit are provided. The tilt angle specifying means can specify a predetermined tilt angle. The inclined coordinate system setting means sets an “inclination reference plane” inclined from the horizontal plane by an inclination angle, and adds an “inclination plane coordinate system” arranged on the inclination reference plane and a coordinate axis orthogonal thereto. "Spatial coordinate system" can be set. The inclined space orientation means can calculate an external orientation element in the inclined space coordinate system as an “inclined external orientation element” based on the external orientation element and the inclined space coordinate system. The tilt coordinate calculation means can calculate the corresponding point to be collated with the teleope image and the coordinate of the corresponding point in the tilt space coordinate system based on the tilt external orientation element as the “slope space coordinate”. The coordinate conversion means can determine the “standard space coordinates” by converting the inclined space coordinates into a “standard space coordinate system” composed of a standard plane coordinate system arranged on a horizontal plane and a vertical coordinate axis. The standard plane coordinate acquisition means can extract the coordinate elements in the standard plane coordinate system from the standard space coordinates to obtain “standard plane coordinates”. The building outline extraction means can extract the outline of the building based on the standard plane coordinates obtained in the standard plane coordinate acquisition process. The numerical surface layer model creating means can create a numerical surface layer model based on the standard space coordinates obtained in the coordinate conversion step and the building contour extracted in the building contour extraction step.
本願発明の数値表層モデル作成装置は、数数値表層モデルに基づいてステレオペア画像から正射投影写真を作成する正射投影写真作成手段を備えたものとすることもできる。 The numerical surface layer model creating apparatus according to the present invention can also include an orthographic projection photograph creating means for creating an orthographic projection photograph from a stereo pair image based on the numerical value surface layer model.
本願発明の数値表層モデル作成方法、及び数値表層モデル作成装置には、次のような効果がある。
（１）画像のうち壁面を含む情報を細大漏らさず利用するため、建物の輪郭を自動的に抽出することができる。その結果、作業時間及び労力を大幅に削減できるうえ、人為的ミスを排除することができ、経済的かつ正確に建物の輪郭を抽出することができる。
（２）傾斜空間座標系の傾斜角を変えて、壁面上の点を含む点群座標の算出を複行すれば、より精度よく建物の輪郭を抽出できるとともに、壁面上の点を含む高密度な点群による数値表層モデルを得ることができる。
（３）正確かつ容易に建物の輪郭を抽出できる結果、建物を含む詳細な正射投影写真であるトゥルーオルソ（登録商標）写真も正確かつ容易に作成することができる。
The numerical surface layer model creating method and the numerical surface layer model creating device of the present invention have the following effects.
(1) Since the information including the wall surface in the image is used without leakage, the outline of the building can be automatically extracted. As a result, work time and labor can be greatly reduced, human error can be eliminated, and the outline of the building can be extracted economically and accurately.
(2) If the inclination of the inclined space coordinate system is changed and point cloud coordinates including points on the wall surface are calculated, the outline of the building can be extracted more accurately, and the high density including the points on the wall surface can be extracted. A numerical surface layer model with various point clouds can be obtained.
(3) As a result of accurately and easily extracting the outline of the building, a True Ortho (registered trademark) photograph, which is a detailed orthographic projection photograph including the building, can be created accurately and easily.
本願発明の数値表層モデル作成方法、及び数値表層モデル作成装置の実施形態の一例を、図に基づいて説明する。 An example of an embodiment of a numerical surface layer model creation method and a numerical surface layer model creation device of the present invention will be described with reference to the drawings.
（全体概要）
本願発明は、画像に表示された建物の壁面を計測し、その結果得られる点群を用いて建物の輪郭を把握するとともに、この建物の輪郭を含む数値表層モデルを作成するための方法と装置である。建物壁面の座標を取得するにあたって地上位置を表す座標系を傾斜させる点が、本願発明の技術的特徴の一つである。通常、建物を含む地形を基に作成される数値表層モデルは、大量の点群で構成される。したがって、地形を対象とした本願発明の数値表層モデル作成方法は、コンピュータを利用して実施するのが適当であり、また本願発明の数値表層モデル作成装置はコンピュータを利用して構成するのが適当である。このコンピュータは、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリを具備したもので、さらにマウスやキーボード等の入力手段やディスプレイを含むこともあり、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレットＰＣ、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ
Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）などを例示することができる。
(Overview)
The present invention measures a wall surface of a building displayed in an image, grasps the outline of the building using a point cloud obtained as a result, and creates a numerical surface model including the outline of the building It is. One of the technical features of the present invention is that the coordinate system representing the ground position is inclined when acquiring the coordinates of the building wall surface. Usually, a numerical surface layer model created based on topography including buildings is composed of a large number of point clouds. Therefore, the numerical surface layer model creation method of the present invention for terrain is suitably implemented using a computer, and the numerical surface model creation device of the present invention is suitably configured using a computer. It is. This computer includes a processor such as a CPU, a memory such as a ROM and a RAM, and may further include input means such as a mouse and a keyboard and a display, and a tablet such as a personal computer (PC) or iPad (registered trademark). PC or PDA (Personal
(Data Assistance) and the like.
図１は、本願発明の主な流れを示すフロー図である。この図に従って、本願発明の概要を説明する。まず２枚の画像を一組とするステレオペア画像を用意する（Ｓｔｅｐ１０）。次に、２枚の画像それぞれについて外部標定要素を求める（Ｓｔｅｐ２１、Ｓｔｅｐ２２）。ここまでの準備が整えば、水平面から所定角度だけ傾けた「傾斜基準面」を設定し、この傾斜基準面に対応した座標系である「傾斜空間座標系」を設定する（Ｓｔｅｐ３０）。そして、改めて傾斜空間座標系における外部標定要素を求め（Ｓｔｅｐ４１、Ｓｔｅｐ４２）、一連の手順によって画像内に含まれる対象物の地上座標を求める。すなわち、ステレオペア画像を用いて照合する対応点を複数（図１ではＮ個）同定し（Ｓｔｅｐ５０）、前方交会法によって対応点の座標を算出する（Ｓｔｅｐ６０）。このとき、座標を算出する座標系は「傾斜空間座標系」が基準となる。この傾斜空間座標系における対象物の地上座標を、今度は水平面を基準とする座標系に変換する（Ｓｔｅｐ７０）。Ｓｔｅｐ３０〜Ｓｔｅｐ７０の一連の処理がひと通り終われば、今度は水平面を傾ける傾斜角度を変えて再度Ｓｔｅｐ３０〜Ｓｔｅｐ７０の処理を繰り返し行う（Ｓｔｅｐ８０）。所定回数だけ処理が繰り返されると、ここまでに求めた対象物の地上座標に基づいて建物の輪郭を抽出し（Ｓｔｅｐ９０）、この建物の輪郭を反映させた数値表層モデルを完成させる（Ｓｔｅｐ１００）。 FIG. 1 is a flowchart showing the main flow of the present invention. The outline of the present invention will be described with reference to FIG. First, a stereo pair image including two images as a set is prepared (Step 10). Next, an external orientation element is obtained for each of the two images (Step 21 and Step 22). If the preparation so far is completed, an “inclination reference plane” inclined by a predetermined angle from the horizontal plane is set, and an “inclination space coordinate system” that is a coordinate system corresponding to the inclination reference plane is set (Step 30). Then, the external orientation element in the inclined space coordinate system is obtained again (Step 41, Step 42), and the ground coordinates of the object included in the image are obtained by a series of procedures. That is, a plurality (N in FIG. 1) of corresponding points to be collated are identified using the stereo pair image (Step 50), and the coordinates of the corresponding points are calculated by the forward intersection method (Step 60). At this time, the coordinate system for calculating the coordinates is based on the “inclined space coordinate system”. The ground coordinates of the object in the inclined space coordinate system are converted into a coordinate system based on the horizontal plane (Step 70). When the series of processing from Step 30 to Step 70 is completed, the processing from Step 30 to Step 70 is repeated again by changing the inclination angle for inclining the horizontal plane (Step 80). When the processing is repeated a predetermined number of times, the outline of the building is extracted based on the ground coordinates of the object obtained so far (Step 90), and a numerical surface layer model reflecting the outline of the building is completed (Step 100).
以下、本願発明の数値表層モデル作成方法、及び数値表層モデル作成装置を、構成する要素ごとに詳述する。 Hereinafter, the numerical surface layer model creation method and the numerical surface layer model creation device of the present invention will be described in detail for each constituent element.
（ステレオペア画像）
ここでいう「画像」とは、カメラやビデオ等により撮像した写真や映像の一コマに限らず、レーダーやレーザーによって計測された物理量（反射強度等）を画像化したもの含まれる。また、ステレオペア画像を構成する２枚の画像には同一の対象物が含まれており、それぞれの画像は異なる位置から撮像（レーダーやレーザーの場合は計測）されたものである。なお、ここでは便宜上、航空機から撮影した空中写真を「画像」の例として説明するが、本願発明が空中写真の場合に限られるわけではない。
(Stereo pair image)
The “image” here is not limited to a single frame of a photograph or video captured by a camera or video, but includes an image of a physical quantity (reflection intensity or the like) measured by a radar or a laser. In addition, the same object is included in the two images constituting the stereo pair image, and each image is taken from a different position (measured in the case of a radar or a laser). Here, for convenience, an aerial photograph taken from an aircraft will be described as an example of an “image”, but the present invention is not limited to an aerial photograph.
（外部標定）
次に、ステレオペア画像を構成する２枚の空中写真それぞれについて、撮影時のカメラ主点座標及び撮影方向からなる外部標定要素を求める。図１では、ステレオペア画像のうち一方の空中写真を左画像としてＳｔｅｐ２１で示し、他方の空中写真を右画像としてＳｔｅｐ２２で示している。外部標定要素を求めるにあたっては、ＧＰＳやＩＭＵを用いたＰＯＳ（Ｐｏｓｉｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ）解析によることもできるし、従来から行われているバンドル調整等を使用した標定によることもできる。なお、外部標定要素が既知であるステレオペア画像を用意できれば本ステップ（Ｓｔｅｐ２１、Ｓｔｅｐ２２）は省略可能であり、すなわち本願発明を実施するうえで本ステップは必須ではない。
(External orientation)
Next, for each of the two aerial photographs constituting the stereo pair image, an external orientation element including the camera principal point coordinates and the shooting direction at the time of shooting is obtained. In FIG. 1, one aerial photograph of the stereo pair images is shown as Step 21 as a left image, and the other aerial photograph is shown as Step 22 as a right image. The external orientation element can be obtained by a POS (Position and Orientation System) analysis using GPS or IMU, or by an orientation using bundle adjustment or the like conventionally performed. If a stereo pair image with known external orientation elements can be prepared, this step (Step 21 and Step 22) can be omitted, that is, this step is not essential for carrying out the present invention.
（標準空間座標系）
ステレオペア画像それぞれについて外部標定要素と内部標定要素（例えばカメラの諸元等から取得）が得られれば、空中写真内に含まれる地上の対象物（以下、「地上対象物」という。）の地上における座標（以下、「地上座標」という。）を求めることができる。
(Standard spatial coordinate system)
If an external orientation element and an internal orientation element (for example, obtained from camera specifications) are obtained for each stereo pair image, the ground object included in the aerial photograph (hereinafter referred to as “ground object”). The coordinates (hereinafter referred to as “ground coordinates”) can be obtained.
図２は、空中写真測量の概念を示すモデルである。この図に示すように、空中写真から直接得られる情報は、画像内における地上対象物の位置である。具体的には、画像内の任意平面座標系ｘ−ｙ（以下、「写真座標系」という。）における地上対象物の平面座標（Ｐ１、Ｐ２）のみが取得できる。この平面座標を利用し、さらに情報として左右カメラの標定要素を加えれば、前方交会法によって地上対象物の地上座標Ｐを算出することができる。 FIG. 2 is a model showing the concept of aerial photogrammetry. As shown in this figure, the information obtained directly from the aerial photograph is the position of the ground object in the image. Specifically, only the plane coordinates (P1, P2) of the ground object in an arbitrary plane coordinate system xy (hereinafter referred to as “photographic coordinate system”) in the image can be acquired. If the plane coordinates are used and the orientation elements of the left and right cameras are added as information, the ground coordinates P of the ground object can be calculated by the forward intersection method.
このとき、地上座標Ｐを絶対的に特定するためには「地上で共通する座標系」が必要となる。通常、この座標系としては、図２に示すＸ，Ｙ，Ｚの直交する３軸からなる絶対座標系や、緯度・経度・標高を指標とする測地座標系などが用いられる。いずれにしろ「地上で共通する座標系」は、平面座標系（Ｘ−Ｙ、緯度・経度）と鉛直座標軸の組み合わせであり、平面座標系は水平面に配置される。なお本願発明では、「地上で共通する座標系」の他に、これを傾斜させた座標系も用いる。そこでこれらを区別するため、便宜上、上記の「地上で共通する座標系」を「標準空間座標系」と呼び、このうちの平面座標系を「標準平面座標系」と呼ぶこととする。 At this time, in order to absolutely specify the ground coordinate P, a “coordinate system common on the ground” is required. Usually, as this coordinate system, an absolute coordinate system consisting of three orthogonal axes of X, Y, and Z shown in FIG. 2, a geodetic coordinate system using latitude, longitude, and altitude as indices are used. In any case, the “coordinate system common on the ground” is a combination of a plane coordinate system (XY, latitude / longitude) and a vertical coordinate axis, and the plane coordinate system is arranged on a horizontal plane. In the present invention, in addition to the “coordinate system common on the ground”, a coordinate system in which this is inclined is also used. Therefore, in order to distinguish these, for convenience, the above-mentioned “coordinate system common on the ground” is referred to as “standard space coordinate system”, and the plane coordinate system among them is referred to as “standard plane coordinate system”.
（傾斜基準面の設定）
本願発明では、地上対象物の座標を求めるため「傾斜基準面」を設定する（Ｓｔｅｐ３０）。傾斜基準面は、水平面を所定角度だけ傾斜して得られる面であり、この傾斜基準面状に配置されるのが「傾斜平面座標系」であり、これに鉛直軸を加えたものが「傾斜空間座標系」である。図３は、標準空間座標系と傾斜空間座標系の関係を示すモデルであり、（ａ）は標準空間座標系を側面から見た側面モデル図、（ｂ）は標準空間座標系を時計まわりに傾斜角θだけ回転して得られる傾斜空間座標系の側面モデル図、（ｃ）は標準空間座標系を反時計まわりに傾斜角θだけ回転して得られる傾斜空間座標系の側面モデル図である。なお、「傾斜基準面」、「傾斜平面座標系」、及び「傾斜空間座標系」は、ステレオペア画像それぞれ別に設定されるのではなく、共通した一つが設定される。
(Inclination reference plane setting)
In the present invention, an “inclination reference plane” is set to obtain the coordinates of the ground object (Step 30). The tilt reference plane is a plane obtained by tilting the horizontal plane by a predetermined angle. The tilt reference plane is arranged in this tilt reference plane, and the vertical axis is added to the tilt reference plane. Spatial coordinate system. FIG. 3 is a model showing the relationship between the standard space coordinate system and the inclined space coordinate system. (A) is a side model view of the standard space coordinate system viewed from the side, and (b) is the standard space coordinate system clockwise. FIG. 4C is a side model diagram of an inclined space coordinate system obtained by rotating the inclination angle θ, and FIG. 5C is a side model diagram of the inclined space coordinate system obtained by rotating the standard space coordinate system counterclockwise by the inclination angle θ. . The “inclination reference plane”, “inclination plane coordinate system”, and “inclination space coordinate system” are not set separately for each stereo pair image, but are set in common.
図３（ｂ）に示す傾斜空間座標系では、水平面から時計まわりに傾斜角θだけ傾いた傾斜基準面が得られ、その上に配置されるのがＸＡ―ＹＡで示す傾斜平面座標系であり、さらにＸＡ―ＹＡに直交するＺＡ軸を加えたのが傾斜空間座標系である。同様に、図３（ｃ）に示す傾斜空間座標系では、水平面から反時計まわりに傾斜角θだけ傾いた傾斜基準面が得られ、その上に配置されるのがＸＢ―ＹＢで示す傾斜平面座標系であり、さらにＸＢ―ＹＢに直交するＺＢ軸を加えたのが傾斜空間座標系である。この図では、標準空間座標系のＹ軸を固定してＸ軸とＺ軸を傾斜させることで傾斜空間座標系を得ているが、これに限らず標準空間座標系のＸ軸を固定して傾斜させることもできるし、全ての軸を傾斜させて傾斜空間座標系を得ることもできる。要は、標準空間座標系と傾斜空間座標系の間で座標変換できるように、傾斜中心（回転中心）や、傾斜角、傾斜方向が既値となるように傾斜空間座標系を得ればよい。 The gradient space coordinate system shown in FIG. 3 (b), the horizontal plane inclined reference plane which is inclined by the inclination angle θ clockwise is obtained from the inclined plane coordinate system shown being placed thereon in X A -Y A , and the that was added Z a shaft further perpendicular to the X a -Y a is a gradient space coordinate system. Similarly, in the inclined space coordinate system shown in FIG. 3C, an inclination reference plane that is inclined counterclockwise from the horizontal plane by an inclination angle θ is obtained, and arranged thereon is indicated by X B -Y B. The inclined plane coordinate system is the inclined space coordinate system to which the Z B axis orthogonal to X B -Y B is added. In this figure, the tilted space coordinate system is obtained by fixing the Y axis of the standard space coordinate system and tilting the X axis and the Z axis. However, not limited to this, the X axis of the standard space coordinate system is fixed. It can be tilted, or all axes can be tilted to obtain a tilted space coordinate system. In short, it is only necessary to obtain a tilted space coordinate system so that the tilt center (rotation center), tilt angle, and tilt direction become the existing values so that coordinates can be converted between the standard space coordinate system and the tilted space coordinate system. .
（傾斜空間標定）
傾斜平面座標系、及び傾斜空間座標系が設定できれば、改めてステレオペア画像を構成する２枚の空中写真それぞれについて、撮影時のカメラ主点座標及び撮影方向からなる外部標定要素を求める（Ｓｔｅｐ４１、Ｓｔｅｐ４２）。Ｓｔｅｐ２１とＳｔｅｐ２２では、標準空間座標系における外部標定要素を求めたのに対して、ここでは傾斜空間座標系における外部標定要素を求める。図４は、標準空間座標系における外部標定要素の概念を示すモデルであり、図５は、水平面から時計まわりに傾斜角θだけ傾けた傾斜空間座標系における外部標定要素の概念を示すモデル、図６は、水平面から反時計まわりに傾斜角θだけ傾けた傾斜空間座標系における外部標定要素の概念を示すモデルである。なお便宜上、図５と図６は、傾斜平面座標系（ＸＡ―ＹＡにやＸＢ―ＹＢ）が水平面となるように表示したため、現実には水平面である地表面が傾斜したように表現されている。
(Inclined space orientation)
If an inclined plane coordinate system and an inclined space coordinate system can be set, an external orientation element consisting of the camera principal point coordinates and the shooting direction at the time of shooting is obtained for each of the two aerial photographs constituting the stereo pair image again (Step 41, Step 42). ). In Step 21 and Step 22, an external orientation element in the standard space coordinate system is obtained, whereas an external orientation element in the inclined space coordinate system is obtained here. FIG. 4 is a model showing the concept of the external orientation element in the standard space coordinate system, and FIG. 5 is a model and diagram showing the concept of the external orientation element in the inclined space coordinate system tilted clockwise from the horizontal plane by the inclination angle θ. 6 is a model showing the concept of the external orientation element in the tilted space coordinate system tilted by the tilt angle θ counterclockwise from the horizontal plane. For convenience, FIG. 5 and FIG. 6 display the inclined plane coordinate system (X A -Y A or X B -Y B ) as a horizontal plane, so that the ground surface that is actually a horizontal plane is inclined. It is expressed.
図４と図５、あるいは図４と図６を見比べると分かるように、標準空間座標系であれ、傾斜平面座標系であれ、実空間における相対的なカメラの主点位置や撮影方向は変わらない。言い換えれば、地表面や建物に対するカメラ主点位置や撮影方向は、傾斜平面座標系においても標準空間座標系における相対的関係が維持されている。したがって、標準空間座標系における外部標定要素が既値であれば、通常の座標変換計算によって傾斜空間座標系における外部標定要素を算出することができる。なお、傾斜空間座標系における外部標定要素を、便宜上ここでは「傾斜外部標定要素」と呼ぶこととする。具体的には、図４に示す標準空間座標系におけるカメラ主点の座標を（X１,Y１,Z１）と（X２,Y２,Z２）、撮影方向つまりカメラの姿勢を（ω１,φ１,κ１）と（ω２,φ２,κ２）で表せば、図５に示す傾斜空間座標系ＸＡ―ＹＡにおける傾斜外部標定要素を、座標変換により（Xａ１,Yａ１,Zａ１）と（ωａ１,φａ１,κａ１）、（Xａ２,Yａ２,Zａ２）と（ωａ２,φａ２,κａ２）として求めることができる。同様に、図６に示す傾斜空間座標系ＸＢ―ＹＢにおける傾斜外部標定要素を、座標変換により（Xｂ１,Yｂ１,Zｂ１）と（ωｂ１,φｂ１,κｂ１）、（Xｂ２,Yｂ２,Zｂ２）と（ωｂ２,φｂ２,κｂ２）として求めることができる。 As can be seen by comparing FIG. 4 and FIG. 5 or FIG. 4 and FIG. 6, the relative camera principal point position and shooting direction in the real space are the same regardless of the standard space coordinate system or the inclined plane coordinate system. . In other words, the relative positions of the camera principal point position and the shooting direction with respect to the ground surface and the building are maintained in the standard space coordinate system even in the inclined plane coordinate system. Therefore, if the external orientation element in the standard space coordinate system is an existing value, the external orientation element in the inclined space coordinate system can be calculated by normal coordinate transformation calculation. The external orientation element in the inclined space coordinate system is referred to as “inclined external orientation element” here for convenience. Specifically, the coordinates of the camera principal point in the standard space coordinate system shown in FIG. 4 are (X 1 , Y 1 , Z 1 ) and (X 2 , Y 2 , Z 2 ), and the shooting direction, that is, the camera posture ( ω 1, φ 1, κ 1 ) and (omega 2, phi 2, if indicated by the kappa 2), an inclined external orientation parameters in gradient space coordinate system X a -Y a shown in FIG. 5, by the coordinate transformation (X a1 , Y a1 , Z a1 ) and (ω a1 , φ a1 , κ a1 ), (X a2 , Y a2 , Z a2 ) and (ω a2 , φ a2 , κ a2 ). Similarly, the inclined external orientation elements in the inclined space coordinate system X B -Y B shown in FIG. 6 are converted into (X b1 , Y b1 , Z b1 ), (ω b1 , φ b1 , κ b1 ), (X b2 , Yb2 , Zb2 ) and ([omega] b2 , [phi] b2 , [kappa] b2 ).
（傾斜空間座標の算出）
傾斜外部標定要素が求められれば、傾斜空間座標系における地上対象物の地上座標を算出することができる。この地上座標の算出は、傾斜空間座標系を基準とすることを除けば従来から用いられている手法によることができる。具体的には、ステレオペア画像それぞれに共通して含まれる地上対象物を同定し（Ｓｔｅｐ５０）、傾斜外部標定要素に基づく前方交会法により地上対象物の地上座標を算出する（Ｓｔｅｐ６０）。ここで求められる地上座標は傾斜空間座標系における座標であり、ここでは便宜上、「傾斜空間座標」と呼ぶこととする。
(Calculation of tilt space coordinates)
If the inclined external orientation element is obtained, the ground coordinates of the ground object in the inclined space coordinate system can be calculated. The calculation of the ground coordinates can be performed by a conventionally used method except that the inclined space coordinate system is used as a reference. Specifically, the ground object included in each stereo pair image is identified (Step 50), and the ground coordinates of the ground object are calculated by the forward intersection method based on the inclined external orientation element (Step 60). The ground coordinates obtained here are coordinates in an inclined space coordinate system, and are referred to as “inclined space coordinates” here for convenience.
ステレオペア画像から同一の地上対象物を同定する手法は、既述のとおり従来から用いられている手法で行われ、例えば実体視による手動の図化作業による手法や、画像処理によるイメージマッチングなどが例示できる。もちろん、市販されているソフトウェアを利用することもできる。なお、一組のステレオペア画像から同定される地上対象物は複数（図１ではＮ個）存在するのが通常であり、同定されたＮ個の地上対象物について傾斜空間座標を算出することが望ましい。 The method of identifying the same ground object from the stereo pair image is performed by a conventionally used method as described above. For example, a method of manual plotting by stereoscopic vision or an image matching by image processing is used. It can be illustrated. Of course, commercially available software can also be used. In general, there are a plurality of ground objects (N in FIG. 1) identified from a pair of stereo pair images, and it is possible to calculate inclined space coordinates for the identified N ground objects. desirable.
既述のとおり、３次元座標で構成される数値表層モデルは、同一平面点においては最高点（最も標高値が高い点）のみを構成点としている。したがって従来では建物の壁面上の構成点を設けることがなかったことも既に述べた。本願発明でも、傾斜空間座標を算出する限りにおいては従来技術を採用するため、やはり同一平面点では最高点のみを構成点とする。しかしながら、図５や図６に示すように傾斜空間座標系を設定した効果によって、壁面上の点が最高点となり、この結果、建物の壁面上の構成点を備えた数値表層モデルを作成することができる。 As described above, the numerical surface layer model composed of three-dimensional coordinates has only the highest point (the point with the highest altitude value) as a constituent point in the same plane point. Therefore, it has already been described that the construction point on the wall surface of the building was not provided in the past. Also in the present invention, as long as the tilt space coordinates are calculated, the conventional technique is adopted, and therefore, only the highest point is a constituent point in the same plane point. However, as shown in FIG. 5 and FIG. 6, the point on the wall surface becomes the highest point due to the effect of setting the inclined space coordinate system, and as a result, a numerical surface model with component points on the wall surface of the building is created. Can do.
（標準空間座標の算出）
次に、座標変換によって傾斜空間座標を、標準空間座標系における座標として算出し（Ｓｔｅｐ７０）、記憶する。なお、傾斜空間座標に基づいて計算された標準空間座標系における座標を、ここでは便宜上、「標準空間座標」と呼ぶこととする。この標準空間座標は、平面座標と高さからなる３次元座標であり、例えば（Ｘ，Ｙ，Ｚ）として表される。さらに、３次元の標準空間座標が得られれば、このうちの平面要素を抽出し「標準平面座標」として記憶する。標準空間座標が（Ｘ，Ｙ，Ｚ）として表される場合、標準平面座標は（Ｘ，Ｙ）として表される。
(Calculation of standard space coordinates)
Next, the tilt space coordinates are calculated as coordinates in the standard space coordinate system by coordinate transformation (Step 70) and stored. The coordinates in the standard space coordinate system calculated based on the tilt space coordinates are referred to as “standard space coordinates” here for convenience. The standard space coordinates are three-dimensional coordinates composed of plane coordinates and height, and are represented as (X, Y, Z), for example. Further, if three-dimensional standard space coordinates are obtained, the plane elements are extracted and stored as “standard plane coordinates”. If the standard space coordinates are represented as (X, Y, Z), the standard plane coordinates are represented as (X, Y).
（複 行）
図５に示すように、建物の壁面上の構成点を取得できるのが本願発明の効果の一つであることは既に述べた。ところが、図５からもわかるように、一方の的確に構成点を取得できるのは一方の壁面のみである。もちろん、一方の壁面のみ、あるいは一方の壁面側の建物輪郭のみを必要としている場合は問題とならないが、多くの場合、全ての壁面あるいは建物輪郭の全周を必要とするので、図５に示す構成点では不足していることになる。
(Double line)
As shown in FIG. 5, it has already been described that it is one of the effects of the present invention that the constituent points on the wall surface of the building can be acquired. However, as can be seen from FIG. 5, only one of the wall surfaces can accurately obtain the constituent point. Of course, it is not a problem if only one wall surface or only the building contour on one wall surface side is required, but in many cases, the entire circumference of all the wall surfaces or building contours is required, so that it is shown in FIG. The composition point is insufficient.
そこで、傾斜角の値を変え、新たな傾斜基準面を設定し、改めて傾斜外部標定要素、傾斜空間座標、標準空間座標、及び標準平面座標を算出する。つまり、前回とは異なる傾斜角を設定してＳｔｅｐ３０〜Ｓｔｅｐ７０を繰り返し行う（Ｓｔｅｐ８０）。例えば図６に示すように、図５とは線対称となるような傾斜基準面を設定すれば、図５では取得できなかった壁面上の構成点を取得することができる。このように、複数の異なる傾斜基準面を設定するにより、多数の標準空間座標や標準平面座標を記憶することができる。この繰り返し回数は、種々の条件に応じて任意に設計することができる。さらにこれに加えて、傾斜基準面を設定せず従来の方法で、つまり標準空間座標系に基づいて数値表層モデルを作成し、標準空間座標や標準平面座標を記憶すると、建物の天井面等を構成する点群を記憶できるのでより好適となる。 Therefore, the value of the inclination angle is changed, a new inclination reference plane is set, and the inclination external orientation element, the inclination space coordinates, the standard space coordinates, and the standard plane coordinates are calculated again. That is, an inclination angle different from the previous time is set and Step 30 to Step 70 are repeated (Step 80). For example, as shown in FIG. 6, if a tilt reference plane that is line-symmetric with FIG. 5 is set, the constituent points on the wall surface that could not be acquired in FIG. 5 can be acquired. Thus, by setting a plurality of different inclination reference planes, a large number of standard space coordinates and standard plane coordinates can be stored. The number of repetitions can be arbitrarily designed according to various conditions. In addition to this, if a numerical surface layer model is created by a conventional method without setting an inclination reference plane, that is, based on a standard space coordinate system, and standard space coordinates and standard plane coordinates are stored, the ceiling surface of the building, etc. Since the point group which comprises can be memorize | stored, it becomes more suitable.
（建物の輪郭の抽出）
ここまでで、複数の標準空間座標や標準平面座標が得られており、これらを利用すれば正確かつ容易に建物の輪郭を抽出することができる（Ｓｔｅｐ９０）。図７は、従来技術で求めた点群と本願発明により得られた点群を統合して標準平面座標系に配置し、現実の建物輪郭と対比したモデル図である。従来手法である図８（ｂ）では建物の輪郭が特定できなかったが、図７では建物の輪郭の周辺に多数の標準平面座標が配点されているので、明確に建物の輪郭を把握することができる。なお図７に示す白点Ｐｓは従来技術によって求められた点群であり、黒点Ｐｖは本願発明によって得られた標準平面座標である。
(Extraction of building outline)
Up to this point, a plurality of standard space coordinates and standard plane coordinates have been obtained, and by using these, the outline of the building can be extracted accurately and easily (Step 90). FIG. 7 is a model diagram in which the point cloud obtained by the prior art and the point cloud obtained by the present invention are integrated and arranged in the standard plane coordinate system and compared with the actual building outline. In FIG. 8 (b), which is the conventional method, the outline of the building could not be specified, but in FIG. 7, since many standard plane coordinates are assigned around the outline of the building, it is necessary to clearly grasp the outline of the building. Can do. The white point Ps shown in FIG. 7 is a point group obtained by the prior art, and the black point Pv is a standard plane coordinate obtained by the present invention.
このように、建物の輪郭の周辺に配置された標準平面座標を用いれば、プログラムによるコンピュータ処理で建物の輪郭を自動抽出することもできる。この場合、標準平面座標の集合を基に、最小二乗法等によって建物の輪郭を構成する線分を抽出したり、従来の画像処理を用いて建物の輪郭を抽出したり、種々の手法を採用することができる。 Thus, if the standard plane coordinates arranged around the outline of the building are used, the outline of the building can be automatically extracted by computer processing by a program. In this case, based on a set of standard plane coordinates, the line segment that composes the outline of the building is extracted by the least square method, etc., the outline of the building is extracted using conventional image processing, and various methods are adopted. can do.
そのほか、標準空間座標を利用して建物の輪郭を自動抽出することもできる。壁面を構成する点群を基に面フィッティングを行い、建物を構成する壁面を特定する。さらに天井面を特定し、この天井面と複数の壁面が交差する線分を求め、この線分により構成されるのが建物の輪郭とすることができる。 In addition, the outline of a building can be automatically extracted using standard space coordinates. Surface fitting is performed based on the point cloud constituting the wall surface, and the wall surface constituting the building is specified. Furthermore, the ceiling surface is specified, a line segment where the ceiling surface and a plurality of wall surfaces intersect is obtained, and the outline of the building can be constituted by this line segment.
建物の輪郭が抽出できれば、すなわち建物の大きさ、形状、位置を特定することができるので、これらの情報を反映させればより精細な数値表層モデルを作成することができる（Ｓｔｅｐ１００）。 If the outline of the building can be extracted, that is, the size, shape, and position of the building can be specified, a more detailed numerical surface layer model can be created by reflecting such information (Step 100).
（正射投影写真の作成）
数値表層モデルに基づいてオルソ写真を作成することは、従来からも行われていた。具体的には数値表層モデルにテクスチャを貼り付けるわけであるが、建物が倒れこんだ部分は無視されることが多かった。これは、建物の輪郭を自動抽出することができなかったためであり、建物の倒れこみを除去するには人の目視によって建物一つひとつに対して手作業の処理を行う必要があり、莫大な時間と費用を要するのが理由である。
(Creation of orthophoto projection)
Conventionally, creating an orthophoto based on a numerical surface model has been performed. Specifically, the texture is pasted on the numerical surface model, but the part where the building collapsed was often ignored. This is because the outline of the building could not be extracted automatically, and in order to remove the collapse of the building, it was necessary to perform manual processing on each building by visual inspection by a human. The reason is that it costs money.
ところが本願発明によれば、建物の輪郭を自動抽出することも可能なので、建物の倒れこみを除去した真の正射投影（トゥルーオルソ（登録商標））写真も容易に作成することができる。建物の輪郭が特定できれば、必然的に倒れこんだ壁面部分も取り除けるわけである。また、建物の壁面についても、空中写真への逆変換（バックプロジェクション）処理を行うことでテクスチャを貼り付けることができる。なお、レーザー計測により作成した数値表層モデルに写真のテクスチャを貼り付ける場合など、異なる原資料に基づいて正射投影写真を作成すると、各面の形状と貼り付けるテクスチャに不整合が生じることが」指摘される。本願発明では、数値表層モデルの原資料である空中写真をテクスチャとして用いるため、各面の形状とテクスチャに原理上で不整合を生じることがないという効果がある。 However, according to the present invention, it is also possible to automatically extract the outline of the building, so it is possible to easily create a true orthographic projection (True Ortho (registered trademark)) photograph from which the collapse of the building is removed. If the outline of the building can be identified, the wall part that inevitably collapsed can be removed. Also, the texture can be pasted on the wall surface of the building by performing reverse conversion (back projection) processing to an aerial photograph. In addition, when creating orthographic projection images based on different source materials, such as when attaching photo textures to a numerical surface model created by laser measurement, the shape of each surface and the texture to be applied may be inconsistent. '' be pointed out. In the present invention, since an aerial photograph, which is the original material of the numerical surface model, is used as a texture, there is an effect that there is no mismatch in principle between the shape and texture of each surface.
本願発明の数値表層モデル作成方法、及び数値表層モデル作成装置によれば、壁面を含む数値表層モデルを得ることができるので、複雑な都市部の３次元モデルや、立体的な鳥瞰図なども作成に利用できる。また、建物の輪郭を正確に抽出できるので、建物の異動判読にも応用できる発明である。さらに、極めて精細なトゥルーオルソ（登録商標）写真を得ることができるので、防災計画に有効活用するなど産業上利用できるばかりでなく、社会的にも大きな貢献を期待し得る発明である。 According to the numerical surface layer model creating method and the numerical surface layer model creating apparatus of the present invention, a numerical surface layer model including a wall surface can be obtained, so a complicated urban three-dimensional model, a three-dimensional bird's-eye view, etc. can also be created. Available. In addition, since the outline of the building can be accurately extracted, the invention can be applied to the interpretation of the change of the building. Furthermore, since an extremely fine True Ortho (registered trademark) photograph can be obtained, it is an invention that not only can be used industrially, such as effectively used in disaster prevention planning, but also can be expected to make a great social contribution.
Ｐ 地上対象物の地上座標
Ｐ１ 左画像の写真座標系にける地上対象物の座標
Ｐ２ 右画像の写真座標系にける地上対象物の座標
Ｐｓ 白点（従来技術によって求められた点群）
Ｐｖ 黒点（本願発明によって得られた点群）
P Ground coordinates of ground object P1 Coordinates of ground object in the photographic coordinate system of the left image P2 Coordinates of ground object in the photographic coordinate system of the right image Ps White point (point cloud determined by the prior art)
Pv sunspot (point cloud obtained by the present invention)
Claims (5)
所定の傾斜角を定め、該傾斜角だけ水平面から傾けた傾斜基準面を設定するとともに、該傾斜基準面上に配置される傾斜平面座標系とこれに直交する座標軸を加えた傾斜空間座標系を設定する傾斜座標系設定工程と、
前記外部標定要素及び前記傾斜空間座標系に基づいて、前記傾斜空間座標系における外部標定要素を傾斜外部標定要素として算出する傾斜空間標定工程と、
前記ステレオペア画像で画像照合する対応点、及び前記傾斜外部標定要素に基づいて、該対応点の前記傾斜空間座標系における座標を、傾斜空間座標として算出する傾斜座標算出工程と、
前記傾斜空間座標を、水平面上に配置される標準平面座標系と鉛直座標軸からなる標準空間座標系に変換して標準空間座標を求める座標変換工程と、
前記標準空間座標のうち前記標準平面座標系における座標要素を抽出して、標準平面座標を得る標準平面座標取得工程と、
前記標準平面座標取得工程で得られた前記標準平面座標に基づいて、建物の輪郭を抽出する建物輪郭抽出工程と、を備え、
前記座標変換工程で求めた前記標準空間座標、及び前記建物輪郭抽出工程で抽出した前記建物の輪郭に基づいて、前記数値表層モデルを作成することを特徴とする数値表層モデル作成方法。 In a method for creating a numerical surface model using a stereo pair image of two images with known external orientation elements as a set,
A predetermined inclination angle is set, an inclination reference plane that is inclined from the horizontal plane by the inclination angle is set, and an inclination space coordinate system that includes an inclination plane coordinate system that is arranged on the inclination reference plane and a coordinate axis that is orthogonal thereto is provided. A tilt coordinate system setting process to be set;
Based on the external orientation element and the inclined space coordinate system, an inclined space orientation step for calculating an external orientation element in the inclined space coordinate system as an inclined external orientation element;
A tilt coordinate calculation step of calculating coordinates in the tilt space coordinate system of the corresponding points as tilt space coordinates based on the corresponding points to be image-matched in the stereo pair image and the tilt external orientation element;
A coordinate conversion step of converting the inclined space coordinates into a standard space coordinate system composed of a standard plane coordinate system and a vertical coordinate axis arranged on a horizontal plane to obtain standard space coordinates;
A standard plane coordinate acquisition step of obtaining standard plane coordinates by extracting coordinate elements in the standard plane coordinate system from the standard space coordinates;
A building contour extracting step for extracting a contour of a building based on the standard plane coordinates obtained in the standard plane coordinate obtaining step,
The numerical surface layer model creating method, characterized in that the numerical surface layer model is created based on the standard space coordinates obtained in the coordinate conversion step and the outline of the building extracted in the building contour extraction step.
前記標準空間座標、及び前記建物の輪郭に基づいて、前記数値表層モデルを作成することを特徴とする請求項１記載の数値表層モデル作成方法。 Two or more different inclination angles are defined, and the standard space coordinates and the standard plane coordinates are calculated based on the inclination space coordinate system set at the respective inclination angles, and the building is determined based on the standard plane coordinates. Extract the contour,
The numerical surface model creation method according to claim 1, wherein the numerical surface model is created based on the standard space coordinates and the outline of the building.
所定の傾斜角を指定する傾斜角指定手段と、
前記傾斜角だけ水平面から傾いた傾斜基準面を設定するとともに、該傾斜基準面上に配置される傾斜平面座標系とこれに直交する座標軸を加えた傾斜空間座標系を設定する傾斜座標系設定手段と、
前記外部標定要素及び前記傾斜空間座標系に基づいて、前記傾斜空間座標系における外部標定要素を傾斜外部標定要素として算出する傾斜空間標定手段と、
前記ステレオペア画像で画像照合する対応点、及び前記傾斜外部標定要素に基づいて、該対応点の前記傾斜空間座標系における座標を、傾斜空間座標として算出する傾斜座標算出手段と、
前記傾斜空間座標を、水平面上に配置される標準平面座標系と鉛直座標軸からなる標準空間座標系に変換して標準空間座標を求める座標変換手段と、
前記標準空間座標のうち前記標準平面座標系における座標要素を抽出して、標準平面座標を得る標準平面座標取得手段と、
前記標準平面座標取得工程で得られた前記標準平面座標に基づいて、建物の輪郭を抽出する建物輪郭抽出手段と、
前記座標変換工程で求めた前記標準空間座標、及び前記建物輪郭抽出工程で抽出した前記建物の輪郭に基づいて、前記数値表層モデルを作成する数値表層モデル作成手段と、を備えたことを特徴とする数値表層モデル作成装置。 In a numerical surface layer model creating apparatus for creating a numerical surface layer model using a stereo pair image including a pair of two images having known external orientation elements,
An inclination angle specifying means for specifying a predetermined inclination angle;
A tilt coordinate system setting means for setting a tilt reference plane tilted from a horizontal plane by the tilt angle and setting a tilt space coordinate system including a tilt plane coordinate system arranged on the tilt reference plane and a coordinate axis orthogonal thereto When,
Inclined space orientation means for calculating an external orientation element in the inclined space coordinate system as an inclined external orientation element based on the external orientation element and the inclined space coordinate system;
Inclined coordinate calculation means for calculating coordinates in the inclined space coordinate system of the corresponding points as inclined space coordinates based on the corresponding points to be image-matched in the stereo pair image and the inclined external orientation element;
A coordinate conversion means for converting the inclined space coordinates into a standard space coordinate system composed of a standard plane coordinate system and a vertical coordinate axis arranged on a horizontal plane to obtain standard space coordinates;
A standard plane coordinate acquisition means for extracting a coordinate element in the standard plane coordinate system from the standard space coordinates to obtain a standard plane coordinate;
Building outline extraction means for extracting the outline of the building based on the standard plane coordinates obtained in the standard plane coordinate acquisition step;
A numerical surface layer model creating means for creating the numerical surface layer model based on the standard space coordinates obtained in the coordinate conversion step and the outline of the building extracted in the building contour extraction step; Numerical surface model creation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012259261A JP6238101B2 (en) | 2012-11-28 | 2012-11-28 | Numerical surface layer model creation method and numerical surface layer model creation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012259261A JP6238101B2 (en) | 2012-11-28 | 2012-11-28 | Numerical surface layer model creation method and numerical surface layer model creation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014106118A true JP2014106118A (en) | 2014-06-09 |
| JP6238101B2 JP6238101B2 (en) | 2017-11-29 |
Family
ID=51027731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012259261A Active JP6238101B2 (en) | 2012-11-28 | 2012-11-28 | Numerical surface layer model creation method and numerical surface layer model creation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6238101B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014186566A (en) * | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | Analysis method of three-dimensional point group |
| CN105091867A (en) * | 2015-08-14 | 2015-11-25 | 北京林业大学 | Method for measuring and calculating absolute exterior orientation parameters for aerial photograph pair |
| CN105115479A (en) * | 2015-08-14 | 2015-12-02 | 北京林业大学 | Technical method for recovering stereo information of overlay region by utilizing old aerial photograph and single image ground photogrammetry |
| CN107607090A (en) * | 2017-09-12 | 2018-01-19 | 中煤航测遥感集团有限公司 | Building projects method and device for correcting |
| CN108731644A (en) * | 2017-09-12 | 2018-11-02 | 武汉天际航信息科技股份有限公司 | Oblique photograph plotting method and its system based on vertical auxiliary line |
| CN112580137A (en) * | 2020-12-21 | 2021-03-30 | 北京市测绘设计研究院 | Rapid calculation method for scale of house building |
| US11195324B1 (en) | 2018-08-14 | 2021-12-07 | Certainteed Llc | Systems and methods for visualization of building structures |
| WO2024031809A1 (en) * | 2022-08-12 | 2024-02-15 | 奥比中光科技集团股份有限公司 | Calibration method, calibration system, depth camera and readable storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000329552A (en) * | 1999-05-20 | 2000-11-30 | Gen Tec:Kk | Three-dimensional map preparing method |
| JP2003296706A (en) * | 2002-04-05 | 2003-10-17 | Asahi Koyo Kk | Method and device for extracting building, and method and device for vectorizing sample data |
| JP2005251035A (en) * | 2004-03-05 | 2005-09-15 | Nec Corp | Device, method and program for creating three-dimensional model |
| JP2008186145A (en) * | 2007-01-29 | 2008-08-14 | Mitsubishi Electric Corp | Aerial image processing apparatus and aerial image processing method |
| JP2009237397A (en) * | 2008-03-28 | 2009-10-15 | Geo Technical Laboratory Co Ltd | Feature extraction device |
-
2012
- 2012-11-28 JP JP2012259261A patent/JP6238101B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000329552A (en) * | 1999-05-20 | 2000-11-30 | Gen Tec:Kk | Three-dimensional map preparing method |
| JP2003296706A (en) * | 2002-04-05 | 2003-10-17 | Asahi Koyo Kk | Method and device for extracting building, and method and device for vectorizing sample data |
| JP2005251035A (en) * | 2004-03-05 | 2005-09-15 | Nec Corp | Device, method and program for creating three-dimensional model |
| JP2008186145A (en) * | 2007-01-29 | 2008-08-14 | Mitsubishi Electric Corp | Aerial image processing apparatus and aerial image processing method |
| JP2009237397A (en) * | 2008-03-28 | 2009-10-15 | Geo Technical Laboratory Co Ltd | Feature extraction device |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014186566A (en) * | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | Analysis method of three-dimensional point group |
| CN105091867A (en) * | 2015-08-14 | 2015-11-25 | 北京林业大学 | Method for measuring and calculating absolute exterior orientation parameters for aerial photograph pair |
| CN105115479A (en) * | 2015-08-14 | 2015-12-02 | 北京林业大学 | Technical method for recovering stereo information of overlay region by utilizing old aerial photograph and single image ground photogrammetry |
| CN107607090A (en) * | 2017-09-12 | 2018-01-19 | 中煤航测遥感集团有限公司 | Building projects method and device for correcting |
| CN108731644A (en) * | 2017-09-12 | 2018-11-02 | 武汉天际航信息科技股份有限公司 | Oblique photograph plotting method and its system based on vertical auxiliary line |
| CN107607090B (en) * | 2017-09-12 | 2020-02-21 | 中煤航测遥感集团有限公司 | Building projection correction method and device |
| CN108731644B (en) * | 2017-09-12 | 2020-08-11 | 武汉天际航信息科技股份有限公司 | Oblique photography mapping method and system based on vertical auxiliary line |
| US11195324B1 (en) | 2018-08-14 | 2021-12-07 | Certainteed Llc | Systems and methods for visualization of building structures |
| US11704866B2 (en) | 2018-08-14 | 2023-07-18 | Certainteed Llc | Systems and methods for visualization of building structures |
| CN112580137A (en) * | 2020-12-21 | 2021-03-30 | 北京市测绘设计研究院 | Rapid calculation method for scale of house building |
| CN112580137B (en) * | 2020-12-21 | 2023-06-06 | 北京市测绘设计研究院 | Rapid calculation method for house building scale |
| WO2024031809A1 (en) * | 2022-08-12 | 2024-02-15 | 奥比中光科技集团股份有限公司 | Calibration method, calibration system, depth camera and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6238101B2 (en) | 2017-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6238101B2 (en) | Numerical surface layer model creation method and numerical surface layer model creation device | |
| US7944547B2 (en) | Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data | |
| CA2705809C (en) | Method and apparatus of taking aerial surveys | |
| AU2011312140C1 (en) | Rapid 3D modeling | |
| CN108168521A (en) | One kind realizes landscape three-dimensional visualization method based on unmanned plane | |
| US11887273B2 (en) | Post capture imagery processing and deployment systems | |
| ITMI20090941A1 (en) | METHOD OF RETURN PHOTOGRAMMETRIC ASSISTED BY CLOUD OF POINTS AND ITS APPARATUS. | |
| CA2582971A1 (en) | Computational solution of and building of three dimensional virtual models from aerial photographs | |
| CN112862966B (en) | Method, device, equipment and storage medium for constructing surface three-dimensional model | |
| JP2012137933A (en) | Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device | |
| CN108733711B (en) | Distribution line space distance obtaining method based on three-dimensional GIS technology | |
| US20190362034A1 (en) | Design Method for Civil Engineering of Reality Scenery | |
| US8395760B2 (en) | Unified spectral and geospatial information model and the method and system generating it | |
| JP2015075389A (en) | Photographic measurement plotting method and photographic measurement plotting device | |
| Z Khalfa et al. | Establishment oF 3D ModelWith Digital Non-Metric Camera in Close Range Photogrammetry | |
| Jones et al. | A Photogrammetric Workflow for Rapid Site Documentation at Stobi, Republic of North Macedonia | |
| Smith et al. | Investigation into the orientation of oblique and vertical digital images | |
| JP2020017109A (en) | Break line extraction program, and break line extraction system | |
| Shahim et al. | Mono And Stereo Digitizing Of Large Scale Mapping Based On Aerial Photograph Of Digital Mapping Camera | |
| APOSTU | 3D MODELING OF A BUILDING FACADE | |
| Fairbairn | Using vedute to source geospatial information: data flowline and accuracies | |
| Liba et al. | Creating orthophoto mosaics by different principles of aerial triangulation and its geometrical quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171019 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6238101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |