JP2009186402A - Orthographic projection image acquiring system using visible light - Google Patents

Orthographic projection image acquiring system using visible light Download PDF

Info

Publication number
JP2009186402A
JP2009186402A JP2008028648A JP2008028648A JP2009186402A JP 2009186402 A JP2009186402 A JP 2009186402A JP 2008028648 A JP2008028648 A JP 2008028648A JP 2008028648 A JP2008028648 A JP 2008028648A JP 2009186402 A JP2009186402 A JP 2009186402A
Authority
JP
Japan
Prior art keywords
projection image
visible light
dimensional coordinate
image
orthographic projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008028648A
Other languages
Japanese (ja)
Other versions
JP4994259B2 (en
Inventor
Kazunobu Matsumoto
和伸 松元
Koju Kumagai
幸樹 熊谷
Toshiro Abo
寿郎 阿保
Hiroo Matsuda
浩朗 松田
Akio Shudo
昭夫 周藤
Takanori Tsutsui
隆規 筒井
Shigeo Yamamoto
茂夫 山本
Hiroshi Miyahara
宏史 宮原
Ko Sai
昊 載
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MAC KK
Tobishima Corp
Original Assignee
MAC KK
Tobishima Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MAC KK, Tobishima Corp filed Critical MAC KK
Priority to JP2008028648A priority Critical patent/JP4994259B2/en
Publication of JP2009186402A publication Critical patent/JP2009186402A/en
Application granted granted Critical
Publication of JP4994259B2 publication Critical patent/JP4994259B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system that measures an irradiation point by non-contact by irradiation of visible laser light to acquire three-dimensional coordinate information and hence easily forming an orthographic projection image of a large civil engineering structure as a photographing object, and to provide a measuring system using a series of imaging processing techniques. <P>SOLUTION: Visible light is radiated toward a surveying surface from a point having a known three-dimensional coordinate value, three-dimensional coordinate values at a plurality of visible light radiation points formed by the radiation are acquired using the known three-dimensional coordinate value, the plurality of visible light radiation points whose three-dimensional coordinate values have been acquired are taken, and a surveying image which is the center projection image is photographed by a digital camera. The photographed surveying image of the center projection image is analyzed using a conversion expression from the center projection image to an orthographic projection image, and the orthographic projection image of the surveying image is acquired. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば、トンネル施工における切羽面の測量や調査、観察に使用される 残像効果を有する可視光を利用した正射投影画像取得システムに関するものである。
ここで、可視光は、肉眼に入射して直接に視感覚を起こすことができる放射を指標し、約400nmから700nmの波長をもつものである。一般に可視レーザー光が使用される。
The present invention relates to an orthographic projection image acquisition system using visible light having an afterimage effect used for, for example, surveying, investigation, and observation of a face plane in tunnel construction.
Here, visible light indicates radiation that can directly enter the naked eye and cause visual sensation, and has a wavelength of about 400 nm to 700 nm. Generally, visible laser light is used.

特開2006-79521号公開公報に見られるように、座標情報に対応するRGB値を取得して前記撮影対象物の正射投影画像を形成するいわゆる正射投影画像の撮影システムは、従来から存在していた。
しかしながら、この手法を、あらかじめその寸法が既知である雑誌や机ではなく、大型土木構造物、例えば山の法面あるいはトンネル切羽面などに適用しようとする場合、いわゆる3次元座標情報の取得のために、前記大型土木構造物に3次元座標を持った特異点5、例えば測量用プリズムなどを複数個取り付け、さらにその特異点5に3次元座標値を持たせるための測量を行わなければならないものであった。
しかして、この様な作業は、山の法面やトンネル切羽面などにおいては、きわめて高所での作業となり、作業時間、作業の安全性の面で課題があった。
特開2006−79521号公開公報
As can be seen in Japanese Patent Application Laid-Open No. 2006-79521, there is a so-called orthographic image capturing system that obtains RGB values corresponding to coordinate information to form an orthographic image of the object to be photographed. Was.
However, when applying this method to large civil engineering structures, such as mountain slopes or tunnel facets, rather than magazines or desks whose dimensions are known in advance, so-called three-dimensional coordinate information is acquired. In addition, a plurality of singular points 5 having three-dimensional coordinates, for example, surveying prisms, etc., are attached to the large civil engineering structure, and the singular point 5 must be surveyed to have a three-dimensional coordinate value. Met.
Such work, however, is extremely high on mountain slopes and faceted tunnels, and there are problems in terms of work time and work safety.
JP 2006-79521 A

かくして、本発明は前記従来の課題に対処すべく創案されたものであって、撮影画像中の特異点5の構成については、必ずしも物や物体で構成する必要は全くなく、可視でき、またカメラに撮影できればよいとの点に着目し、可視光あるいは残像効果を有する可視光、例えば可視レーザー光の照射によって特異点5を測量面、ひいては撮影した画像中に形成し、その照射ポイント(特異点5)を非接触で測量し、3次元座標情報を得ることにより、大型土木構造物たる撮影対象物の正射投影画像を簡易に形成するシステムさらには、一連の画像処理技術を用いた計測システムを提供することをものである.
特に、大型土木構造物を撮影した画像中に、前記3次元座標を持った特異点5を、非接触で、しかも短時間で、さらに安全に作成することができる点、また、中心投影画像から正射投影画像に変換処理を行うことに対しても、いわゆる特異点5を複数個設けたほうがより精度よく変換できるが、かかる特異点5の個数の増減も、いわゆる残像効果を有する可視光、例えば可視レーザー光を照射するスポット数を増減させるのみで可能となる。
その結果として画像計測における安全性、作業性、計測精度を従来よりいや増して向上させることが出来るものとなった。
Thus, the present invention has been devised to address the above-described conventional problems, and the configuration of the singular point 5 in the photographed image does not necessarily have to be composed of an object or an object, and can be seen and can be seen. The singular point 5 is formed in the survey surface, and thus in the photographed image by irradiation with visible light or visible light having an afterimage effect, for example, visible laser light, and the irradiation point (singular point). A system for easily forming an orthographic projection image of an object to be photographed as a large civil engineering structure by measuring 5) in a non-contact manner and obtaining three-dimensional coordinate information, and a measurement system using a series of image processing techniques Is to provide
In particular, it is possible to create the singular point 5 having the three-dimensional coordinates in a non-contact and more safely in a short time in an image obtained by photographing a large civil engineering structure. Even when the orthographic projection image is converted, it is possible to perform conversion more accurately by providing a plurality of so-called singular points 5. However, the increase or decrease in the number of such singular points 5 may also increase visible light having a so-called afterimage effect, For example, it is possible only by increasing or decreasing the number of spots irradiated with visible laser light.
As a result, safety, workability, and measurement accuracy in image measurement can be improved more than before.

本発明は、
3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された複数の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された複数の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影された中心投影画像の測量画像につき、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された複数の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された複数の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影された中心投影画像の測量画像につき、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも4点の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも4点の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも4点以上の可視光照射点における3次元座標値、前記デジタルカメラ撮影におけるカメラ位置、カメラ姿勢及び焦点距離の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも4点の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも4点の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも4点以上の可視光残像点における3次元座標値、前記デジタルカメラ撮影におけるカメラ位置、カメラ姿勢及び焦点距離の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも9点の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも9点の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも9点以上の可視光照射点における3次元座標値の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも9点の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも9点の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも9点以上の可視光残像点における3次元座標値の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とし、
または、
前記可視光は、可視レーザー光である、
ことを特徴とし、
または、
前記測量面は、大型土木構造物に存する、
ことを特徴とし、
または、
前記大型土木構造物は、山の法面、トンネルの切羽面である、
ことを特徴とするものである。
The present invention
Irradiate visible light toward the surveying surface from a point where the three-dimensional coordinate value is known, and use the known three-dimensional coordinate value as a three-dimensional coordinate value at a plurality of visible light irradiation points formed by the irradiation. And get
Taking a plurality of visible light irradiation points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image, and an orthographic projection image of the survey plane is obtained.
It is characterized by
Or
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values at a plurality of visible light afterimage points formed by the irradiation as the known three-dimensional value. Obtained using coordinate values,
Taking a plurality of visible light afterimage points from which the three-dimensional coordinate values have been acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image, and an orthographic projection image of the survey plane is obtained.
It is characterized by
Or
Irradiate visible light toward a survey surface from a point where the three-dimensional coordinate value is known, and change the known three-dimensional coordinate value into three-dimensional coordinate values at at least four visible light irradiation points formed by the irradiation. Get it using,
Capture at least four visible light irradiation points from which the three-dimensional coordinate values were acquired, and take a survey image that is a central projection image with a digital camera,
Using the three-dimensional coordinate values at the four or more visible light irradiation points, the camera position, the camera posture, and the focal length value in the digital camera photographing, the central projection image is used for the surveyed central projection image. Analyzing using a conversion formula from an orthographic projection image to obtain an orthographic projection image of the survey surface,
It is characterized by
Or
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values of at least four visible light afterimage points formed by the irradiation. Obtained using 3D coordinate values,
Taking at least four visible light afterimage points from which the three-dimensional coordinate values have been acquired, and taking a survey image as a central projection image with a digital camera,
Using the three-dimensional coordinate values at the at least four visible light afterimage points, the camera position, the camera posture, and the focal length value in the digital camera photographing, the central projection image is used for the surveyed image of the center projected image. Analyzing using a conversion formula from an orthographic projection image to obtain an orthographic projection image of the survey surface,
It is characterized by
Or
Irradiate visible light toward a survey surface from a point where the three-dimensional coordinate value is known, and change the known three-dimensional coordinate value to three-dimensional coordinate values at at least nine visible light irradiation points formed by the irradiation. Get it using,
Taking at least nine visible light irradiation points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the photographed central projection image is analyzed using a conversion formula from the central projection image to the orthographic projection image, using the values of the three-dimensional coordinate values at the at least nine visible light irradiation points. , Obtaining an orthographic projection image of the survey surface,
It is characterized by
Or
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values of at least nine visible light afterimage points formed by the irradiation. Obtained using 3D coordinate values,
Taking at least nine visible light afterimage points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image using the values of the three-dimensional coordinate values at the at least nine visible light afterimage points. , Obtaining an orthographic projection image of the survey surface,
It is characterized by
Or
The visible light is visible laser light,
It is characterized by
Or
The survey surface exists in a large civil engineering structure,
It is characterized by
Or
The large civil engineering structure is a slope of a mountain, a face of a tunnel,
It is characterized by this.

本発明による可視光を利用した正射投影画像取得システムであれば、
撮影画像中の特異点5の構成については、必ずしも物や物体で構成する必要は全くなく、可視できるもので、またカメラに撮影できればよいとの点に着目し、可視光あるいは残像効果を有する可視光、例えば可視レーザー光の照射によって特異点5を測量面、ひいては撮影した画像中に形成し、その照射ポイント(特異点5)を非接触で測量し、3次元座標情報を得ることにより、大型土木構造物たる撮影対象物の正射投影画像を簡易に形成するシステムさらには、一連の画像処理技術を用いた計測システムを構築することが出来る。
If the orthographic projection image acquisition system using visible light according to the present invention,
The configuration of the singular point 5 in the photographed image does not necessarily have to be composed of an object or an object, and can be visible, and it should be possible to photograph with a camera. By irradiating light, for example, visible laser light, the singular point 5 is formed on the survey surface, and thus in the captured image, and the irradiation point (singular point 5) is measured in a non-contact manner to obtain three-dimensional coordinate information. A system that easily forms an orthographic projection image of an object to be photographed, which is a civil engineering structure, and a measurement system that uses a series of image processing techniques can be constructed.

特に、大型土木構造物を撮影した画像中に、前記3次元座標を持った特異点5を、非接触で、しかも短時間で、さらに安全に作成することができる点、また、中心投影画像から正射投影画像に変換処理を行うことに対しても、いわゆる特異点5を複数個設けたほうがより精度よく変換できるが、かかる特異点5の個数の増減も、いわゆる残像効果を有する可視光、例えば可視レーザー光を照射するスポット数を増減させるのみで可能となる。
その結果として画像計測における安全性、作業性、計測精度を従来よりいや増して向上させることが出来るとの優れた効果を奏する。
In particular, it is possible to create the singular point 5 having the three-dimensional coordinates in a non-contact and more safely in a short time in an image obtained by photographing a large civil engineering structure. Even when the orthographic projection image is converted, it is possible to perform conversion more accurately by providing a plurality of so-called singular points 5. However, the increase or decrease in the number of such singular points 5 may also increase visible light having a so-called afterimage effect, For example, it is possible only by increasing or decreasing the number of spots irradiated with visible laser light.
As a result, there is an excellent effect that the safety, workability, and measurement accuracy in image measurement can be improved more than before.

ここで、本発明において使用される可視光は、いわゆる可視できるものであればよく、例えば電灯のような器具を使用して可視光形成してもかまわないものである。さらに、電灯でなくとも、光を発射でき、測量面に可視照射点が形成できるものであればよい。
上記を踏まえ、以下に本発明を図に示す最良の実施の態様に基づいて説明する。
Here, the visible light used in the present invention is not limited as long as it is so-called visible. For example, visible light may be formed using an instrument such as an electric lamp. Furthermore, even if it is not an electric lamp, what is necessary is just what can emit light and can form a visible irradiation point on a survey surface.
Based on the above, the present invention will be described below based on the best mode shown in the drawings.

まず、各図から理解されるように、可視レーザー光発射器3を一台用意する。しかし、このレーザー照射器3は、例えば二軸の鏡にて高速に駆動し、複数箇所に同時に発射できるものが好ましい。
そして、この一台の可視レーザー光発射器3により、例えばトンネルの切羽面1に向かって可視レーザー光2が複数方向に向けて同時に発射される。
すなわち、可視レーザー光2は一般に残像効果を有するものとされており、本件発明者らは、可視レーザー光2が残像効果を有することに着目し、前記トンネル切羽面1の外側面に同時に複数照射し、その残像効果により複数の特異点5が残存形成される特徴を本発明の根幹としたのである。
First, as can be understood from the drawings, one visible laser light projecting device 3 is prepared. However, this laser irradiator 3 is preferably one that can be driven at a high speed by, for example, a biaxial mirror and can be simultaneously emitted to a plurality of locations.
The visible laser light emitter 3 emits visible laser light 2 simultaneously in a plurality of directions toward the face 1 of the tunnel, for example.
That is, the visible laser beam 2 is generally assumed to have an afterimage effect, and the inventors of the present invention pay attention to the fact that the visible laser beam 2 has an afterimage effect, and simultaneously irradiate the outer face of the tunnel face 1 with a plurality of images. However, the feature that a plurality of singular points 5 remain formed by the afterimage effect is the basis of the present invention.

なお、可視光は残像効果を有するものでなくともよいのであるが、その場合はいわゆる可視光発射器を例えば4台用意する必要がある。
この場合、前記した電灯を簡単な可視光発射器として使用してもよく、4台の電灯で測量面を照射し、4つの可視照射点を形成することが考えられる。
この様に、撮影画像中に形成する特異点5の構成については、当該特異点5(一般に基準点と称してもよい)は、必ずしも製品や物体で構成する必要は全くなく、もって作業者は現場において、すなわち山の法面4やトンネルの切羽面1などに実際に製品や物体によって複数の特異点5を構築する必要がないものである。
Although visible light may not have an afterimage effect, in that case, it is necessary to prepare, for example, four so-called visible light emitters.
In this case, the above-mentioned electric lamp may be used as a simple visible light emitter, and it is conceivable to irradiate the survey surface with four electric lamps to form four visible irradiation points.
As described above, regarding the configuration of the singular point 5 formed in the photographed image, the singular point 5 (which may be generally referred to as a reference point) does not necessarily need to be configured with a product or an object. There is no need to actually construct a plurality of singular points 5 by products or objects on the site, that is, on the slope 4 of the mountain or the face 1 of the tunnel.

よって、測量対象物が特に大型土木構築物たる山の法面4やトンネルの切羽面1の場合に、本発明はきわめて大きな効果を有すると言わざるを得ない。
すなわち、前記特異点5は可視でき、その箇所に留まって存在でき、またカメラに撮影できればよいのである。
Therefore, it can be said that the present invention has an extremely large effect when the surveying object is a mountain slope 4 or a tunnel face 1 which is a large civil engineering structure.
That is, the singular point 5 may be visible, can remain at that location, and can be photographed by the camera.

しかして、可視光あるいは残像効果を有する可視光、例えば可視レーザー光2の照射によって複数の特異点5・・・を前記山の法面4やトンネルの切羽面1などの測量面、ひいてはそれを撮影した画像中に形成し、その照射ポイント(複数の特異点5)を非接触で測量して、該当する複数の特異点5の3次元座標情報(空間情報、画像情報)を得ることにより、たとえ大型土木構造物たる山の法面4やトンネルの切羽面1など撮影対象物であっても、その正射投影画像を簡易に形成しうるのである。 Thus, by irradiating visible light or visible light having an afterimage effect, for example, visible laser light 2, a plurality of singular points 5... By forming in the photographed image, measuring the irradiation points (plural singular points 5) in a non-contact manner, and obtaining the three-dimensional coordinate information (spatial information, image information) of the corresponding plural singular points 5, Even if it is an object to be photographed such as a mountain slope 4 or a tunnel face 1 which is a large civil engineering structure, its orthographic projection image can be easily formed.

そして、この様に形成された前記複数の特異点5は、いわゆる図9などに示される式などに必要な3次元座標値が明確にされているものであり、大型土木構造物のある現場で実際に複数の特異点5における3次元座標値を測定する必要がないのである。
すなわち、可視レーザー光2を発射する可視レーザー光発射器3の発射位置と発射角度、さらには可視レーザー光2の照射位置までの距離がわかれば、各々複数の特異点5の3次元座標値が算出できるのである(図8参照)。
The plurality of singular points 5 formed in this way have the three-dimensional coordinate values required for the equation shown in FIG. 9 or the like clarified, and at a site with a large civil engineering structure. Actually, it is not necessary to measure three-dimensional coordinate values at a plurality of singular points 5.
That is, if the emission position and emission angle of the visible laser beam emitter 3 that emits the visible laser beam 2 and the distance to the irradiation position of the visible laser beam 2 are known, the three-dimensional coordinate values of a plurality of singular points 5 are obtained. It can be calculated (see FIG. 8).

なお、残像効果を有しない可視光を使用する場合には、例えば4台の可視光発射器のそれぞれの発射位置と発射角度、さらには可視レーザー光2の照射位置までの距離がわかっていることが必要となる。
これも本発明の大きな特徴であり、大型土木構造物たる山の法面4やトンネルの切羽面1など実際の現場においていちいち実際に3次元座標値を計測する必要がなく、きわめて安全に、かつ簡単に3次元座標値が計測できるのである。
In addition, when using visible light which does not have an afterimage effect, for example, the respective emission positions and emission angles of four visible light emitters, and further the distance to the irradiation position of the visible laser light 2 must be known. Is required.
This is also a great feature of the present invention, and it is not necessary to actually measure three-dimensional coordinate values in actual sites such as the slope 4 of a mountain, which is a large civil engineering structure, or the face 1 of a tunnel, and it is extremely safe and Three-dimensional coordinate values can be easily measured.

また、可視レーザー光2によって複数の特異点5を形成するに際し、該可視レーザー光2の照射パターン、換言すれば、同時に複数の特異点5に照射する照射パターンの形状などは各種簡単に設定が行えるものであり、図2に示すようにトンネル切羽面1の外周側に間隔をあけて例えば5箇所、形状としては五角形状に照射する照射パターンを決定するなどが考えられる。
例えば、この様な照射パターンで複数の特異点5を形成しておくと、画像に取り込んで前記特異点5を認識する際など、予め前記のような五角形状で特異点5が散らばって形成されている旨を、例えばパソコン内の処理ソフトに入力、記憶させておけば、きわめてスムーズかつ迅速に複数の特異点5を自動認識させることができるものとなる。
Further, when forming a plurality of singular points 5 with the visible laser light 2, various irradiation patterns of the visible laser light 2, in other words, shapes of irradiation patterns irradiating the plurality of singular points 5 at the same time can be easily set. As shown in FIG. 2, for example, it is conceivable to determine an irradiation pattern to irradiate in a pentagonal shape, for example, at five locations with an interval on the outer peripheral side of the tunnel face 1.
For example, if a plurality of singular points 5 are formed with such an irradiation pattern, the singular points 5 are previously formed in a pentagonal shape as described above when the singular points 5 are recognized by capturing them in an image. If, for example, the fact is input and stored in processing software in the personal computer, a plurality of singular points 5 can be automatically recognized very smoothly and quickly.

そして、例えばこの五角形状に配置された複数特異点5の3次元座標値の演算などその後の処理が効率的に行え、きわめてスムーズに正射投影画像への変換作業などを進めることが出来ることとなる。
また、照射する可視レーザー光2の照射形状(測量面に残像として映し出された特異点5の外形状)も各種形状を選択して設定することが出来、これにより各種の照射形状を測量面に残像として映し出すことができ、もって特異点5として容易に認識出来るよう形成出来るのである。
Then, for example, the subsequent processing such as the calculation of the three-dimensional coordinate values of the plurality of singular points 5 arranged in this pentagonal shape can be performed efficiently, and the conversion operation to the orthographic projection image can be proceeded extremely smoothly. Become.
In addition, the irradiation shape of the visible laser beam 2 to be irradiated (the outer shape of the singular point 5 projected as an afterimage on the surveying surface) can be set by selecting various shapes, whereby the various irradiation shapes can be set on the surveying surface. It can be projected as an afterimage and can be formed so that it can be easily recognized as the singular point 5.

この場合も、予め特異点5の外形状を前記の形状として正射投影画像処理等の作業の際にその処理ソフトに入力しておくと、例えば画像に取り込んで前記複数の特異点5を認識する際、きわめてスムーズかつ迅速に自動認識させることが出来、この複数特異点5の3次元座標値の演算などその後の処理が効率的に行え、きわめてスムーズに作業を進めることが出来るのである。
なお、照射する可視レーザー光2の色彩を各種選択し、複数特異点5の色につき、予め特異点5は指定された色彩で形成されている旨を例えばパソコン内の処理ソフトに入力、記憶させておくこともでき、これにより、測量面における他の色彩との差別化を容易にし、もって特異点5の自動認識を簡単に、スムーズにすることも出来る。
Also in this case, if the external shape of the singular point 5 is input in advance to the processing software as an orthographic projection image processing or the like as the above shape, for example, the plurality of singular points 5 are recognized by capturing the image. In doing so, it is possible to make the automatic recognition very smoothly and quickly, and the subsequent processing such as the calculation of the three-dimensional coordinate values of the plurality of singular points 5 can be performed efficiently, and the operation can proceed very smoothly.
Various colors of the visible laser light 2 to be irradiated are selected, and the fact that the singular point 5 is formed with the specified color in advance for each of the colors of the singular point 5 is input and stored in, for example, processing software in the personal computer. This makes it easy to differentiate from other colors on the surveying surface, and automatic recognition of the singular point 5 can be made simple and smooth.

この様に、本発明では、例えば大型土木構造物たる山の法面4やトンネルの切羽面1に照射した、いわゆる残像する照射点をその箇所における3次元座標値を算出する特異点5として構成し、その後の正射投影画像作成の第1ステップとするものである。 As described above, in the present invention, for example, a so-called afterimage irradiation point irradiated on the slope 4 of the mountain or the face 1 of the tunnel, which is a large civil engineering structure, is configured as a singular point 5 for calculating a three-dimensional coordinate value at that point Then, this is the first step in creating the orthographic projection image thereafter.

しかして、本発明の実施状態を以下に簡単に説明しておく。
まず、例えば、トンネル掘削工事現場の入り口や掘削途中の坑内に、可視レーザー発射器3を設置する。
前記の通り、可視レーザー光2は二軸の鏡にて高速に駆動することができ、複数の箇所に同時に照射でき、その照射した複数箇所に残像として存置できるものとする。また、可視レーザー光2は、測距機能(可視レーザー光2を発射した位置から照射位置までの距離が計測できる機能)を有するものが好ましい。
そして、可視レーザー光2が発射された角度と、前記測定された前記可視レーザー光2を発射した位置から照射位置までの距離の値によって、可視レーザー照射点(複数の特異点5)の3次元座標値が容易に計測できるのである(図8参照)。
Therefore, the implementation state of the present invention will be briefly described below.
First, for example, the visible laser launcher 3 is installed at the entrance of a tunnel excavation work site or in a pit during excavation.
As described above, the visible laser beam 2 can be driven at high speed by a biaxial mirror, can be irradiated to a plurality of locations simultaneously, and can be left as an afterimage at the irradiated locations. The visible laser beam 2 preferably has a distance measuring function (a function capable of measuring the distance from the position where the visible laser beam 2 is emitted to the irradiation position).
Then, depending on the angle at which the visible laser light 2 is emitted and the value of the measured distance from the position at which the visible laser light 2 is emitted to the irradiation position, the three-dimensional of the visible laser irradiation points (plural singular points 5). The coordinate value can be easily measured (see FIG. 8).

まず、大型土木構造物たる山の法面4やトンネルの切羽面1の複数所定箇所に可視レーザー光2を照射し、当該照射点(複数の特異点5)の3次元座標値(空間座標置)を測定しておく(図8参照)。
次いで、好ましくはデジタルカメラ6で、前記複数の特異点5を写し込んで、例えば山の法面4やトンネルの切羽面1を撮影する。
すると、撮影画像の中に写し込まれた可視レーザー光2の照射点(複数の特異点5)は、いわゆる解析ソフトによって、その3次元座標値(画像座標値)が自動認識され、スムーズに演算されるものとなる(図8乃至図11の計算式参照)。
First, the visible laser beam 2 is irradiated to a plurality of predetermined locations on the slope 4 of the mountain, which is a large civil engineering structure, and the face 1 of the tunnel, and the three-dimensional coordinate values (spatial coordinate positions) of the irradiation points (plural singular points 5) ) Is measured (see FIG. 8).
Next, the digital camera 6 preferably captures the plurality of singular points 5 and photographs, for example, a mountain slope 4 or a tunnel face 1.
Then, the three-dimensional coordinate values (image coordinate values) of the irradiation points (plural singular points 5) of the visible laser beam 2 captured in the photographed image are automatically recognized and calculated smoothly by so-called analysis software. (See the calculation formulas in FIGS. 8 to 11).

しかして、画像中に写し込まれ、3次元座標値(空間座標値、画像座標値)が各々明確とされた可視レーザー光2による特異点5により前記長身投影画像である撮影画像を正射投影画像にスムーズに変換処理出来るのである(図8乃至図11の計算式参照)。 Thus, the photographed image which is the tall projection image is orthographically projected by the singular point 5 by the visible laser beam 2 which is imprinted in the image and whose three-dimensional coordinate values (spatial coordinate values and image coordinate values) are clarified. The image can be smoothly converted into an image (see the calculation formulas in FIGS. 8 to 11).

ところで、データ処理用のパソコンによって、いわゆるRGB値に関連付けられた、例えば岩質区分などの情報を自動認識できるものとなり、この境界情報がいわゆる三次元座標データベース内に登録可能となる。 By the way, a personal computer for data processing can automatically recognize information related to so-called RGB values, for example, rock classification, and this boundary information can be registered in a so-called three-dimensional coordinate database.

なお、画像上で前記の境界情報などが不鮮明な場合は、正射投影画像に変換された画像上において地質境界線と思われる箇所をマウスなどでクリック、あるいはドラッグすることによりいわゆる境界情報を鮮明なものとし、前記と同様に境界情報などをいわゆる三次元座標データベースに登録することが可能となる。その結果、地質縦断図、横断図等を自動作成することも出来る。
さらに、可視レーザー光2による特異点5の座標情報と、掘削断面の形状とを比較することにより、断面の余掘り、アタリデータなどを得ることもできる。また、処理された画像を使用した画像計測により内空変位測定もできる。
If the boundary information is unclear on the image, click on or drag the location that appears to be a geological boundary line on the image converted to the orthographic projection image with a mouse or the like to make the boundary information clear. As described above, boundary information and the like can be registered in a so-called three-dimensional coordinate database. As a result, geological profiles and cross-sections can be automatically created.
Further, by comparing the coordinate information of the singular point 5 by the visible laser beam 2 with the shape of the excavation cross section, the surplus excavation of the cross section, atari data, etc. can be obtained. In addition, it is possible to measure the internal displacement by image measurement using the processed image.

この様に、すべてのデータを三次元座標データベース化することが出来るため、測定情報と施工情報(計画断面、支保)などを一括して表示し、例えば施工会議や岩質判定会議の際のプレゼンテーション資料、説明資料として活用できることとなる。
近年、トンネル施工の現場において、トンネル切羽面1の測量・観察がよく行われており、またその測量、観察が重要視されているのが実情である。
何故なら前記トンネル切羽面1の不連続面情報あるいは地質境界の位置情報を得ることが、トンネルの安全な施工を行う際のきわめて大切な情報となってきているからである。
In this way, all the data can be made into a three-dimensional coordinate database, so measurement information and construction information (planned sections, support), etc. are displayed together, for example, presentations during construction meetings and rock quality judgment meetings It can be used as a document and explanatory material.
In recent years, surveying and observation of the tunnel face 1 are frequently performed at the site of tunnel construction, and the fact is that the surveying and observation are regarded as important.
This is because obtaining information on the discontinuity of the tunnel face 1 or position information on the geological boundary has become extremely important information for safe construction of the tunnel.

しかしながら、従来は、いわゆる点の測量に留まるものであり、不連続面の検出や地質境界の位置情報を詳細に検出、測量するには膨大な回数の測量が必要だったのである。
また、従来より、トンネル切羽面1を写真撮影し、この写真から不連続面や地質境界の位置を把握することも行われていたが、正確に前記の不連続面や地質境界の位置を把握、測量することはできないものであったのである。
このため、簡単にトンネル切羽面1の不連続面や地質境界を正確に把握できるいわゆる測量システムの提供が要望されていたのである。
However, in the past, it was limited to so-called point surveying, and enormous number of surveys were required to detect and measure discontinuous surface detection and geological boundary position information in detail.
Conventionally, the tunnel face 1 has been photographed, and the discontinuity and geological boundary positions have been grasped from this photograph. However, the discontinuity and geological boundary positions are accurately grasped. It was something that could not be surveyed.
Therefore, there has been a demand for providing a so-called surveying system that can easily grasp the discontinuity and the geological boundary of the tunnel face 1 easily.

すなわち、従来のいわゆるトータルステーションのような点の測量(特開2004−138422号公開公報参照)では、トンネル切羽面1などの全体を把握するために膨大な回数の測量が必要であり、経済的にも、時間的にも測量が困難だったからである。 In other words, conventional point surveying such as a so-called total station (see Japanese Patent Application Laid-Open No. 2004-138422) requires an enormous number of surveys in order to grasp the entire tunnel face 1 and the like. This is because surveying was difficult in terms of time.

本発明は、まずこの様なデジタルカメラ6で撮影された中心投影画像を、簡単な作業で正射投影画像に変換し、当該変換した、いわゆる実物と相似する正射投影画像を利用して、例えば、トンネル切羽面1における不連続面や地質境界の把握を容易にし、当該正射投影画像からトンネル切羽面1の不連続面や地質境界の測量を可能としたものである。 The present invention first converts the central projection image captured by such a digital camera 6 into an orthographic projection image by a simple operation, and uses the orthographic projection image similar to the real thing that has been converted, For example, the discontinuous surface and the geological boundary on the tunnel face 1 can be easily grasped, and the discontinuous surface and the geological boundary of the tunnel face 1 can be measured from the orthographic projection image.

図1では、トンネル切羽面1に向かい、まず4点の特異点5を形成すべく所定の可視レーザー光2を発射し、これにより当該特異点5がトンネル切羽面1上に写る様構成される。
次いで、前記4つの特異点5を含めてデジタルカメラ6により、トンネル切羽面1を撮影する。
ここで、デジタルカメラ6によるトンネル切羽面1の撮影画像は図1などに示すような中心投影画像となる。しかして、このような中心投影画像では、遠近感のある画像となり、いわゆる実物と相似する正射投影画像でないため、トンネル切羽面1における不連続面や地質境界の把握が正確に行えない。従ってトンネル切羽面1の不連続面や地質境界の正確な測量をも出来ないものとなる。
In FIG. 1, a predetermined visible laser beam 2 is first emitted so as to form the four singular points 5 toward the tunnel face 1, so that the singular points 5 are reflected on the tunnel face 1. .
Next, the tunnel face 1 is photographed by the digital camera 6 including the four singular points 5.
Here, the photographed image of the tunnel face 1 by the digital camera 6 is a central projection image as shown in FIG. Thus, such a central projection image is a perspective image and is not an orthographic projection image similar to a so-called real object, so that it is not possible to accurately grasp discontinuous surfaces and geological boundaries on the tunnel face 1. Therefore, it is impossible to accurately measure the discontinuity of the tunnel face 1 and the geological boundary.

トンネル開口側の真正面からデジタルカメラ6にてトンネル切羽面1を撮影すればよいとの意見があるが、真正面から撮影しても、得られる画像は中心投影画像であり、トンネル開口部の幅方向に遠近感が生じてしまう。
従って、トンネル開口部の真正面から撮影した中心投影画像でも本発明によって正射投影画像に変換しなければ、トンネル切羽面1における不連続面や地質境界の把握が正確に行えない。従ってトンネル切羽面1の不連続面や地質境界の正確な測量をも出来ない。
There is an opinion that the tunnel face 1 should be photographed with the digital camera 6 from the front in front of the tunnel opening side, but even if it is photographed from the front, the obtained image is a central projection image, and the width direction of the tunnel opening A sense of perspective.
Therefore, unless the central projection image taken from directly in front of the tunnel opening is converted into an orthographic projection image according to the present invention, the discontinuity plane and the geological boundary in the tunnel face 1 cannot be accurately grasped. Therefore, it is impossible to accurately measure the discontinuity of the tunnel face 1 and the geological boundary.

次に、デジタルカメラ6で撮影した中心投影画像から正射投影画像への変換につき述べる。
なお、コンピュータを使用して、デジタルカメラ6で撮影した中心投影画像から正射投影画像へ変換する画像処理を行うには、前記デジタルカメラ6の撮影位置(X、Y、Z)、デジタルカメラ6の姿勢(カメラの回転角度)や焦点距離(c)が、前記4点の特異点5における3次元座標値が不明な場合には、必要となる。
Next, conversion from a central projection image captured by the digital camera 6 to an orthographic projection image will be described.
In order to perform image processing for converting a central projection image captured by the digital camera 6 into an orthographic projection image using a computer, the shooting position (X, Y, Z) of the digital camera 6, the digital camera 6 Is necessary when the three-dimensional coordinate values at the four singular points 5 are unknown.

これらの数値が把握され明らかであれば、これらの値によって中心投影画像から正射投影画像へ変換するコンピュータ及び処理ソフトを使用して画像処理が行え、変換した正射投影画像をディスプレイ上に表示して、トンネル切羽面1の不連続面や地質境界の正確な測量がおこなえることとなる。
さらに、カメラレンズのゆがみ値及びカメラレンズ中心位置のずれ値が明確になっていれば、これらの値をも使用して、より正確な正射投影画像を取得でき、正確な測量、観察が行える。
If these values are known and clear, image processing can be performed using a computer and processing software that converts the central projection image into the orthographic projection image based on these values, and the converted orthographic projection image is displayed on the display. Thus, an accurate survey of the discontinuity of the tunnel face 1 and the geological boundary can be performed.
Furthermore, if the distortion value of the camera lens and the deviation value of the camera lens center position are clear, more accurate orthographic projection images can be obtained using these values, and accurate surveying and observation can be performed. .

しかし、前記デジタルカメラ6の撮影位置(X、Y、Z)、姿勢(カメラの回転角度)や焦点距離(c)の数値が不明のときは、前記4つの特異点5の既知である3次元座標値、すなわち空間座標(X、Y)及び画像座標(x、y)のそれぞれの値を使用して、前記デジタルカメラ6の撮影位置(X、Y、Z)、姿勢(カメラの回転角度)や焦点距離(c)の数値を明確にすることが出来るのである。
それらの3次元座標値などがきわめて簡単に本発明によって計測できることはすでに述べたとおりである。
However, when the photographing position (X, Y, Z), posture (camera rotation angle) and focal length (c) of the digital camera 6 are unknown, the three dimensional points of the four singular points 5 are known. Using the coordinate values, that is, the values of the space coordinates (X, Y) and the image coordinates (x, y), the shooting position (X, Y, Z) and posture (camera rotation angle) of the digital camera 6 And the numerical value of the focal length (c) can be clarified.
As described above, those three-dimensional coordinate values and the like can be measured very easily by the present invention.

ここで、デジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)の数値をあらかじめ把握するよりも、前記4つの特異点5の空間座標(X、Y)及び画像座標(x、y)の数値を把握、かかる値を使用する方が容易といえる。
その関係式を図9の(1)、(2)、(3)、(4)に示す。かかる図9に示す関係式により、デジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)の数値が明確になる。
Here, rather than grasping numerical values of the photographing position (X, Y, Z), posture (camera rotation angle), and focal length (c) of the digital camera 6 in advance, the spatial coordinates (X , Y) and the numerical values of the image coordinates (x, y), it can be said that it is easier to use such values.
The relational expressions are shown in (1), (2), (3), and (4) of FIG. The relational expressions shown in FIG. 9 clarify the numerical values of the photographing position (X, Y, Z), posture (camera rotation angle), and focal length (c) of the digital camera 6.

すなわち、図1に示すように、トンネル切羽面1上に写された4つの特異点5については、それぞれの3次元座標値、すなわち空間座標(X、Y)の値と画像座標(x、y)の値があらかじめ把握しておけばよい。そして、これらの4つの特異点5の値を図9に示す4つの式(1)、(2)、(3)、(4)にそれぞれ導入し、これによりトンネル切羽面1に対するデジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)の係数(b1ないしb8)を求めるのである。 That is, as shown in FIG. 1, for the four singular points 5 imaged on the tunnel face 1, the respective three-dimensional coordinate values, that is, the values of the spatial coordinates (X, Y) and the image coordinates (x, y ) Should be known in advance. Then, the values of these four singular points 5 are introduced into the four formulas (1), (2), (3), (4) shown in FIG. The photographing position (X, Y, Z), posture (camera rotation angle), and focal length (c) coefficients (b1 to b8) are obtained.

なお、この際、カメラレンズのゆがみ値及びカメラレンズ中心位置のずれ値については、明らかにされていることが好ましい。
しかし、これらの値がたとえ明確でなくとも、正射投影画像の取得は可能ではある。
ついで、求められた前記係数(b1ないしb8)を、図10に示す、係数(b1ないしb8)とデジタルカメラの撮影位置(X、Y、Z)、姿勢(カメラの回転角度)、焦点距離(c)との関係式に導入すると、デジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)が求まるものとなる。
At this time, it is preferable to clarify the distortion value of the camera lens and the deviation value of the center position of the camera lens.
However, even if these values are not clear, it is possible to obtain an orthographic projection image.
Next, the obtained coefficients (b1 to b8) are converted into the coefficients (b1 to b8), the shooting position (X, Y, Z), posture (camera rotation angle), focal length (shown in FIG. When introduced into the relational expression with c), the photographing position (X, Y, Z), posture (camera rotation angle), and focal length (c) of the digital camera 6 can be obtained.

しかして、求められたデジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)の係数(b1ないしb8)、そしてデジタルカメラ6の撮影位置(X、Y、Z)や姿勢(カメラの回転角度)、焦点距離(c)の値と図9及び図10の関係式によって解析し、もって中心投影画像から正射投影画像へ変換する画像処理が行うのである。 Thus, the obtained shooting position (X, Y, Z) and posture (camera rotation angle) of the digital camera 6, the coefficient (b1 to b8) of the focal length (c), and the shooting position (X , Y, Z), posture (camera rotation angle), focal length (c), and the relational expressions in FIGS. 9 and 10, and image processing for converting the central projection image into the orthographic projection image is performed. It is.

しかして、図4にトンネル切羽面1につき、中心投影画像から正射投影画像に変換した説明図を示す。
そして、変換した正射投影画像をコンピュータのディスプレイ上に表示し、トンネル切羽面1の不連続面や地質境界の測量をもおこなえるのである。
FIG. 4 is an explanatory view of the tunnel face 1 converted from a central projection image to an orthographic projection image.
The converted orthographic projection image is displayed on a computer display, and the discontinuity of the tunnel face 1 and the geological boundary can be surveyed.

ところで、前記特異点5をトンネルの切羽面1に4つ以上、できれば少なくとも9つ形成して正射投影画像を取得することも考えられる。
すなわち、より詳細な、またより正確な正射投影画像の取得に際しては、前述したように、デジタルカメラ6のレンズのゆがみ等内部標定要素をも考慮しなければならない。従って、前記実施例のように特異点5が4つ設けられている場合には、基本的にカメラレンズのゆがみ値及びカメラレンズ中心位置のずれ値について、明らかにされていることが好ましいのである。
By the way, it is conceivable to form an orthographic projection image by forming four or more, and preferably at least nine, singular points 5 on the face 1 of the tunnel.
That is, when acquiring a more detailed and more accurate orthographic projection image, as described above, internal orientation factors such as distortion of the lens of the digital camera 6 must be taken into consideration. Therefore, in the case where four singular points 5 are provided as in the above-described embodiment, it is preferable that the distortion value of the camera lens and the deviation value of the camera lens center position are basically made clear. .

しかし、カメラレンズのゆがみ値及びカメラレンズ中心位置のずれ値がわかっていない場合には、前記特異点5をトンネルの切羽面1上に少なくとも9つ以上設ける。本発明では可視レーザー光発射器3の使用により、3次元座標値がわかっている特異点5を9つ形成することは容易である。
そして、9つの特異点5の3次元座標値、すなわち空間座標の値と画像座標の値により、デジタルカメラ6のレンズのゆがみ等内部標定要素をも求めることが出来るからである。そして、これらの9つの値が解れば、より詳細な、またより正確な正射投影画像が取得出来るからである。
However, when the camera lens distortion value and the camera lens center position deviation value are not known, at least nine singular points 5 are provided on the face 1 of the tunnel. In the present invention, it is easy to form nine singular points 5 whose three-dimensional coordinate values are known by using the visible laser beam emitter 3.
This is because the internal orientation elements such as the distortion of the lens of the digital camera 6 can be obtained from the three-dimensional coordinate values of the nine singular points 5, that is, the values of the spatial coordinates and the values of the image coordinates. And if these nine values are understood, a more detailed and more accurate orthographic projection image can be acquired.

すなわち、図11に示す関係式に前記9つの特異点5の空間座標及び画像座標のそれぞれの値を導入すれば、カメラの回転角度、カメラ位置、焦点距離のほかレンズ中心位置のずれ、レンズのゆがみ係数など17個の未知数が解けるものとなる。
そして、最終的により詳細な、またより正確な正射投影画像が取得出来ることになる。
より詳細な、またより正確な正射投影画像が取得出来ることにより、トンネル切羽面1における不連続面、地質境界の把握がさらに正確に行え、トンネル切羽面1の不連続面や地質境界のさらに正確な測量が行えるのである。
That is, if the values of the spatial coordinates and the image coordinates of the nine singular points 5 are introduced into the relational expression shown in FIG. 11, in addition to the rotation angle of the camera, the camera position, the focal length, 17 unknowns such as distortion coefficients can be solved.
As a result, a more detailed and more accurate orthographic projection image can be acquired.
Since more detailed and more accurate orthographic projection images can be acquired, the discontinuity and geological boundary in the tunnel face 1 can be more accurately grasped, and the discontinuity and geological boundary of the tunnel face 1 can be further increased. Accurate surveying is possible.

図7に本発明を簡単に説明したフローを示す。
まず、デジタルカメラ6のカメラ位置や姿勢は既知か否かが判断される(ステップ100)。ここで、デジタルカメラ6のカメラ位置や姿勢などが把握されておらず、既知でないとき(ステップ100でNO)は、カメラレンズのひずみ等が既知か否かが判断される(ステップ101)。そして、カメラレンズのひずみ等が既知である場合(ステップ101でYES)は、空間座標(X、Y)が既知な4つ、あるいは4つ以上の特異点5をトンネル切羽面1上に形成し(ステップ102)、該特異点5を写し込んで写真撮影が行われる(ステップ103)。
FIG. 7 shows a flow for briefly explaining the present invention.
First, it is determined whether the camera position and orientation of the digital camera 6 are known (step 100). Here, when the camera position and orientation of the digital camera 6 are not grasped and are not known (NO in step 100), it is determined whether or not the distortion of the camera lens is known (step 101). If the camera lens distortion or the like is known (YES in step 101), four or more singular points 5 with known spatial coordinates (X, Y) are formed on the tunnel face 1. (Step 102), the singular point 5 is imprinted and a picture is taken (Step 103).

また、カメラレンズのひずみ等が既知でない場合(ステップ101でNO)は、空間座標(X、Y)が既知な9つ、あるいは9つ以上の特異点5をトンネル切羽面1上に形成し(ステップ104)、該特異点5を写し込んで写真撮影が行われる(ステップ103)。
その後、4つ以上あるいは9つ以上の特異点5のそれぞれの既知である空間座標及び画像に取り込んで明らかになった前記4つ以上あるいは9つ以上の特異点5のそれぞれの画像座標(x、y)の値を用い、前記デジタルカメラ6のカメラ位置、姿勢などを解析的に求めるのである(ステップ106)。
If the camera lens distortion or the like is not known (NO in step 101), nine or nine or more singular points 5 with known spatial coordinates (X, Y) are formed on the tunnel face 1 ( In step 104), the singular point 5 is imprinted to take a picture (step 103).
Thereafter, the known spatial coordinates of each of the four or more or nine or more singular points 5 and the respective image coordinates (x, Using the value of y), the camera position, posture, etc. of the digital camera 6 are obtained analytically (step 106).

その後、求められたデジタルカメラ6のカメラ位置、姿勢などの値を使用し、前記写真撮影を行ったトンネル切羽面1の中心投影画像からの正射投影画像処理(オルソ画像作成)を行う(ステップ107)。
そして、前記オルソ画像を基にパソコン上で正確な掘削面積等の測量を行うのである(ステップ108)。
Thereafter, using the obtained values such as the camera position and orientation of the digital camera 6, orthographic image processing (ortho image creation) is performed from the central projection image of the tunnel face 1 on which the photograph was taken (step generation). 107).
Then, an accurate excavation area and the like are measured on the personal computer based on the ortho image (step 108).

なお、デジタルカメラ6のカメラ位置や姿勢は既知か否かが判断時において(ステップ100)、ここで、デジタルカメラ6のカメラ位置や姿勢などがあらかじめ把握されており、その値が既知であるとき(ステップ100でYES)は、特異点5の形成をすることなく、また、特異点5を取り込んでの写真撮影を必要とすることなく、直ちにトンネル切羽面1の写真撮影が行得る場合もある(ステップ105)。
そして、その後、前記既知のデジタルカメラ6のカメラ位置、姿勢などの値を使用して、前記写真撮影を行ったトンネル切羽面1の中心投影画像からの正射投影画像処理(オルソ画像作成)を行い(ステップ107)、前記オルソ画像を基にパソコン上で正確な掘削面積等の測量を行えばよい(ステップ108)。
When it is determined whether or not the camera position and orientation of the digital camera 6 are known (step 100), the camera position and orientation of the digital camera 6 are known in advance and the values are known. (YES in step 100) may be that the tunnel face 1 can be photographed immediately without forming the singular point 5 and without having to photograph the singular point 5. (Step 105).
Then, by using values such as the camera position and orientation of the known digital camera 6, orthographic projection image processing (ortho image creation) from the central projection image of the tunnel face 1 where the photograph was taken is performed. (Step 107), and an accurate survey of the excavation area and the like may be performed on the personal computer based on the ortho image (step 108).

この様に、本発明によれば現地においては現地での特異点を形成する作業等をきわめて省力化することができる。
また、山の法面4やトンネル切羽面1における不連続面や地質境界の位置などが面的に正確にわかりやすく把握できる。
As described above, according to the present invention, it is possible to save labor for forming a singular point on the site.
In addition, the discontinuity of the slope 4 of the mountain, the face of the tunnel face 1, the position of the geological boundary, etc. can be grasped accurately and clearly.

さらに、従来は数値データでの把握でしかできなかったが、本発明では画像、すなわち正射投影画像を使用するためきわめて認識しやすいものとなった。しかも、トンネル切羽面1の余堀量をも測量できることとなった。
また、蓄積された画像処理後の切羽画像(正射投影画像)はそのまま比較でき、長期的な測量、観察が行えるのである。
Furthermore, in the past, it was possible only by grasping numerical data, but in the present invention, an image, that is, an orthographic projection image, is used, so that it is very easy to recognize. In addition, it was possible to measure the amount of surging on the tunnel face 1.
Further, the accumulated face image (orthographic projection image) after image processing can be compared as it is, and long-term surveying and observation can be performed.

本発明は、トンネル切羽面の観察・測量による地質分析やトンネル掘削の余堀量管理、さらにはトンネル内空変位計測等に幅広く応用出来る。
The present invention can be widely applied to geological analysis by observation and surveying of the face of a tunnel, management of surplus amount of tunnel excavation, and measurement of air displacement in a tunnel.

本発明の概略構成を説明する概略説明図(その1)である。It is a schematic explanatory drawing (the 1) explaining schematic structure of this invention. 本発明の概略構成を説明する概略説明図(その2)である。It is a schematic explanatory drawing (the 2) explaining schematic structure of this invention. 図1の実施の態様で得られた中心投影画像を説明する説明図である。It is explanatory drawing explaining the center projection image obtained by the aspect of FIG. 図3の中心投影画像を正射投影画像に変換した状態を説明する説明図である。It is explanatory drawing explaining the state which converted the center projection image of FIG. 3 into the orthographic projection image. 本発明の概略構成を説明する概略説明図(その3)である。It is a schematic explanatory drawing (the 3) explaining schematic structure of this invention. 本発明の概略構成を説明する概略説明図(その4)である。It is a schematic explanatory drawing (the 4) explaining schematic structure of this invention. 本発明のフローを説明する説明図である。It is explanatory drawing explaining the flow of this invention. 本発明で使用される関係式を示す説明図(その1)である。It is explanatory drawing (the 1) which shows the relational expression used by this invention. 本発明で使用される関係式を示す説明図(その2)である。It is explanatory drawing (the 2) which shows the relational expression used by this invention. 本発明で使用される関係式を示す説明図(その3)である。It is explanatory drawing (the 3) which shows the relational expression used by this invention. 本発明で使用される関係式を示す説明図(その4)である。It is explanatory drawing (the 4) which shows the relational expression used by this invention.

符号の説明Explanation of symbols

1 トンネルの切羽面
2 可視レーザー光
3 可視レーザー発射器
4 山の法面
5 特異点
6 デジタルカメラ
1 Face of tunnel 2 Visible laser light 3 Visible laser launcher 4 Slope of mountain 5 Singularity 6 Digital camera

Claims (9)

3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された複数の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された複数の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影された中心投影画像の測量画像につき、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする可視光を利用した正射投影画像取得システム。
Irradiate visible light toward the surveying surface from a point where the three-dimensional coordinate value is known, and use the known three-dimensional coordinate value as a three-dimensional coordinate value at a plurality of visible light irradiation points formed by the irradiation. And get
Taking a plurality of visible light irradiation points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image, and an orthographic projection image of the survey plane is obtained.
An orthographic projection image acquisition system using visible light.
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された複数の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された複数の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影された中心投影画像の測量画像につき、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする可視光を利用した正射投影画像取得システム。
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values at a plurality of visible light afterimage points formed by the irradiation as the known three-dimensional value. Obtained using coordinate values,
Taking a plurality of visible light afterimage points from which the three-dimensional coordinate values have been acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image, and an orthographic projection image of the survey plane is obtained.
An orthographic projection image acquisition system using visible light.
3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも4点の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも4点の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも4点以上の可視光照射点における3次元座標値、前記デジタルカメラ撮影におけるカメラ位置、カメラ姿勢及び焦点距離の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする可視光を利用した正射投影画像取得システム。
Irradiate visible light toward a survey surface from a point where the three-dimensional coordinate value is known, and change the known three-dimensional coordinate value into three-dimensional coordinate values at at least four visible light irradiation points formed by the irradiation. Get it using,
Capture at least four visible light irradiation points from which the three-dimensional coordinate values were acquired, and take a survey image that is a central projection image with a digital camera,
Using the three-dimensional coordinate values at the four or more visible light irradiation points, the camera position, the camera posture, and the focal length value in the digital camera photographing, the central projection image is used for the surveyed central projection image. Analyzing using a conversion formula from an orthographic projection image to obtain an orthographic projection image of the survey surface,
An orthographic projection image acquisition system using visible light.
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも4点の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも4点の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも4点以上の可視光残像点における3次元座標値、前記デジタルカメラ撮影におけるカメラ位置、カメラ姿勢及び焦点距離の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする可視光を利用した正射投影画像取得システム。
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values of at least four visible light afterimage points formed by the irradiation. Obtained using 3D coordinate values,
Taking at least four visible light afterimage points from which the three-dimensional coordinate values have been acquired, and taking a survey image as a central projection image with a digital camera,
Using the three-dimensional coordinate values at the at least four visible light afterimage points, the camera position, the camera posture, and the focal length value in the digital camera photographing, the central projection image is used for the surveyed image of the center projected image. Analyzing using a conversion formula from an orthographic projection image to obtain an orthographic projection image of the survey surface,
An orthographic projection image acquisition system using visible light.
3次元座標値が既知の地点より、可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも9点の可視光照射点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも9点の可視光照射点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも9点以上の可視光照射点における3次元座標値の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする可視光を利用した正射投影画像取得システム。
Irradiate visible light toward a survey surface from a point where the three-dimensional coordinate value is known, and change the known three-dimensional coordinate value to three-dimensional coordinate values at at least nine visible light irradiation points formed by the irradiation. Get it using,
Taking at least nine visible light irradiation points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the photographed central projection image is analyzed using a conversion formula from the central projection image to the orthographic projection image, using the values of the three-dimensional coordinate values at the at least nine visible light irradiation points. , Obtaining an orthographic projection image of the survey surface,
An orthographic projection image acquisition system using visible light.
3次元座標値が既知の地点より、残像効果を備えた可視光を測量面に向かって照射すると共に、前記照射により形成された少なくとも9点の可視光残像点における3次元座標値を前記既知の3次元座標値を利用して取得し、
前記3次元座標値が取得された少なくとも9点の可視光残像点を取り込んで、デジタルカメラにて中心投影画像である測量画像を撮影してなり、
前記撮影した中心投影画像の測量画像につき、前記少なくとも9点以上の可視光残像点における3次元座標値の値を使用して、中心投影画像から正射投影画像への変換式を用いて解析し、前記測量面の正射投影画像を取得してなる、
ことを特徴とする残像効果を有する可視光を利用した正射投影画像取得システム。
Irradiate visible light with an afterimage effect toward a survey surface from a point with a known three-dimensional coordinate value, and determine the three-dimensional coordinate values of at least nine visible light afterimage points formed by the irradiation. Obtained using 3D coordinate values,
Taking at least nine visible light afterimage points from which the three-dimensional coordinate values were acquired, and taking a survey image as a central projection image with a digital camera,
The surveyed image of the center projection image taken is analyzed using a conversion formula from the center projection image to the orthographic projection image using the values of the three-dimensional coordinate values at the at least nine visible light afterimage points. , Obtaining an orthographic projection image of the survey surface,
An orthographic projection image acquisition system using visible light having an afterimage effect characterized by the above.
前記可視光は、可視レーザー光である、
ことを特徴とする請求項1、請求項2、請求項3、請求項4、請求項5または請求項6記載の可視光を利用した正射投影画像取得システム。
The visible light is visible laser light,
An orthographic projection image acquisition system using visible light according to claim 1, claim 2, claim 3, claim 4, claim 5, or claim 6.
前記測量面は、大型土木構造物に存する、
ことを特徴とする請求項1、請求項2、請求項3、請求項4、請求項5、請求項6または請求項7記載の可視光を利用した正射投影画像取得システム。
The survey surface exists in a large civil engineering structure,
The orthographic projection image acquisition system using visible light according to claim 1, claim 2, claim 3, claim 4, claim 5, claim 6, or claim 7.
前記大型土木構造物は、山の法面、トンネルの切羽面である、
ことを特徴とする請求項8記載の可視光を利用した正射投影画像取得システム。
The large civil engineering structure is a slope of a mountain, a face of a tunnel,
The orthographic projection image acquisition system using visible light according to claim 8.
JP2008028648A 2008-02-08 2008-02-08 Orthographic projection image acquisition system using visible light Active JP4994259B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008028648A JP4994259B2 (en) 2008-02-08 2008-02-08 Orthographic projection image acquisition system using visible light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008028648A JP4994259B2 (en) 2008-02-08 2008-02-08 Orthographic projection image acquisition system using visible light

Publications (2)

Publication Number Publication Date
JP2009186402A true JP2009186402A (en) 2009-08-20
JP4994259B2 JP4994259B2 (en) 2012-08-08

Family

ID=41069786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008028648A Active JP4994259B2 (en) 2008-02-08 2008-02-08 Orthographic projection image acquisition system using visible light

Country Status (1)

Country Link
JP (1) JP4994259B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123008A (en) * 2009-12-14 2011-06-23 Nexco-East Engineering Co Ltd Measuring method, measuring program, and measuring device
CN103808271A (en) * 2012-11-15 2014-05-21 张文镒 Method and device for remotely measuring cracks
CN104596478A (en) * 2015-01-30 2015-05-06 北京林业大学 Method for calculating excavation and filing amount of tunnel profile through random photographing by using common digital camera
JP2015190978A (en) * 2014-03-28 2015-11-02 株式会社Cubic Image measuring device for structure with square or truncated cone shape, and method thereof
JP6132222B1 (en) * 2016-10-12 2017-05-24 国際航業株式会社 Image correction method and image correction apparatus
JP6132221B1 (en) * 2016-10-12 2017-05-24 国際航業株式会社 Image acquisition method and image acquisition apparatus
JP2017218792A (en) * 2016-06-07 2017-12-14 清水建設株式会社 Construction management apparatus and construction management method
CN113551655A (en) * 2021-07-20 2021-10-26 杭州伟业建设集团有限公司 Tunnel surpasses owes detection device and detecting system who digs
CN113720310A (en) * 2021-08-31 2021-11-30 中煤科工集团重庆研究院有限公司 Roadway photographic geology compiling and recording method and system
CN113720308A (en) * 2021-08-31 2021-11-30 中煤科工集团重庆研究院有限公司 Head-on photography geological logging method and system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0493705A (en) * 1990-08-09 1992-03-26 Topcon Corp Apparatus and method for measuring three-dimensional position
JPH08151889A (en) * 1994-11-28 1996-06-11 Shimizu Corp Displacing method for boring position on tunnel working face
JP2000292166A (en) * 1999-04-07 2000-10-20 Topcon Corp Image forming device
JP2005077385A (en) * 2003-09-03 2005-03-24 Hitachi Plant Eng & Constr Co Ltd Image correlation method, survey method and measuring system using them
JP2008267843A (en) * 2007-04-17 2008-11-06 Tobishima Corp Tunnel face surface measuring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0493705A (en) * 1990-08-09 1992-03-26 Topcon Corp Apparatus and method for measuring three-dimensional position
JPH08151889A (en) * 1994-11-28 1996-06-11 Shimizu Corp Displacing method for boring position on tunnel working face
JP2000292166A (en) * 1999-04-07 2000-10-20 Topcon Corp Image forming device
JP2005077385A (en) * 2003-09-03 2005-03-24 Hitachi Plant Eng & Constr Co Ltd Image correlation method, survey method and measuring system using them
JP2008267843A (en) * 2007-04-17 2008-11-06 Tobishima Corp Tunnel face surface measuring system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123008A (en) * 2009-12-14 2011-06-23 Nexco-East Engineering Co Ltd Measuring method, measuring program, and measuring device
CN103808271A (en) * 2012-11-15 2014-05-21 张文镒 Method and device for remotely measuring cracks
JP2014098683A (en) * 2012-11-15 2014-05-29 National Applied Research Laboratories Method for remotely measuring crack
JP2015190978A (en) * 2014-03-28 2015-11-02 株式会社Cubic Image measuring device for structure with square or truncated cone shape, and method thereof
CN104596478A (en) * 2015-01-30 2015-05-06 北京林业大学 Method for calculating excavation and filing amount of tunnel profile through random photographing by using common digital camera
CN104596478B (en) * 2015-01-30 2017-04-26 北京林业大学 Method for calculating excavation and filing amount of tunnel profile through random photographing by using common digital camera
JP2017218792A (en) * 2016-06-07 2017-12-14 清水建設株式会社 Construction management apparatus and construction management method
JP6132221B1 (en) * 2016-10-12 2017-05-24 国際航業株式会社 Image acquisition method and image acquisition apparatus
JP6132222B1 (en) * 2016-10-12 2017-05-24 国際航業株式会社 Image correction method and image correction apparatus
JP2018063556A (en) * 2016-10-12 2018-04-19 国際航業株式会社 Image correcting method and image correcting device
JP2018063162A (en) * 2016-10-12 2018-04-19 国際航業株式会社 Image acquiring method and image acquiring device
CN113551655A (en) * 2021-07-20 2021-10-26 杭州伟业建设集团有限公司 Tunnel surpasses owes detection device and detecting system who digs
CN113720310A (en) * 2021-08-31 2021-11-30 中煤科工集团重庆研究院有限公司 Roadway photographic geology compiling and recording method and system
CN113720308A (en) * 2021-08-31 2021-11-30 中煤科工集团重庆研究院有限公司 Head-on photography geological logging method and system
CN113720310B (en) * 2021-08-31 2023-08-08 中煤科工集团重庆研究院有限公司 Roadway photographing geological cataloging method and system
CN113720308B (en) * 2021-08-31 2024-03-12 中煤科工集团重庆研究院有限公司 Head-on photography geological cataloging method and system

Also Published As

Publication number Publication date
JP4994259B2 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4994259B2 (en) Orthographic projection image acquisition system using visible light
EP3907702B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP5137448B2 (en) Survey system for tunnel face
Haleem et al. 3D scanning of a carburetor body using COMET 3D scanner supported by COLIN 3D software: Issues and solutions
US10163213B2 (en) 3D point clouds
US7342669B2 (en) Three-dimensional shape measuring method and its device
JP4885584B2 (en) Rangefinder calibration method and apparatus
US20160092608A1 (en) Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
JP5991489B2 (en) Road deformation detection device, road deformation detection method and program
US9182220B2 (en) Image photographing device and method for three-dimensional measurement
EP3069100B1 (en) 3d mapping device
Perfetti et al. Fisheye photogrammetry: tests and methodologies for the survey of narrow spaces
JP4038726B2 (en) Image matching method
KR20150128300A (en) method of making three dimension model and defect analysis using camera and laser scanning
EP3428571A1 (en) Graphic overlay for measuring dimensions of features using a video inspection device
JPWO2016199850A1 (en) Hoistway dimension measuring apparatus and hoistway dimension measuring method
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
JP6937642B2 (en) Surface evaluation method and surface evaluation device
Marcin et al. Hierarchical, three‐dimensional measurement system for crime scene scanning
Mobedi et al. 3-D active sensing in time-critical urban search and rescue missions
RU2604168C2 (en) System for machine vision, which enables to determine depth non-uniformity of image objects
JP2019101000A (en) Distance measurement point group data measurement system and control program
KR101090082B1 (en) System and method for automatic measuring of the stair dimensions using a single camera and a laser
JP2006275984A (en) Method of measuring displacement of high-voltage tower
JP2015125002A (en) Photographing method for images for measuring use, and image measuring program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4994259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250