JP2015178984A - Photographic measuring system and photographic position indication method - Google Patents

Photographic measuring system and photographic position indication method Download PDF

Info

Publication number
JP2015178984A
JP2015178984A JP2014055782A JP2014055782A JP2015178984A JP 2015178984 A JP2015178984 A JP 2015178984A JP 2014055782 A JP2014055782 A JP 2014055782A JP 2014055782 A JP2014055782 A JP 2014055782A JP 2015178984 A JP2015178984 A JP 2015178984A
Authority
JP
Japan
Prior art keywords
measurement
shooting
image
function unit
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014055782A
Other languages
Japanese (ja)
Other versions
JP6138077B2 (en
Inventor
友実 堀
Tomomi Hori
友実 堀
祐一 池田
Yuichi Ikeda
祐一 池田
忠道 白石
Tadamichi Shiraishi
忠道 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014055782A priority Critical patent/JP6138077B2/en
Publication of JP2015178984A publication Critical patent/JP2015178984A/en
Application granted granted Critical
Publication of JP6138077B2 publication Critical patent/JP6138077B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a photographic measuring system capable of easily taking a photograph while ensuring measuring accuracy.SOLUTION: A photographic measuring system comprises: a three-dimensional model generation function unit reading design data on a measuring object 8 and generating a three-dimensional model of the measuring object 8 within a virtual three-dimensional space; a measuring point setting function unit setting measuring points; a photographic positioning target setting function unit setting feature points from a boundary line or an outline as a photographic positioning target; a photographic position derivation function unit deriving a plurality of photographic positions using the three-dimensional model; photographic positioning image generation function unit generating a photographic positioning image in which the measuring object 8 possibly shows up and a photographic positioning image in which the photography positioning target possibly shows up, respectively using the three-dimensional model; and a photographic position display function unit displaying each photographic position; and a photographic positioning image display function unit displaying the respective photographic positioning images.

Description

この発明は、複数箇所の写真撮影位置にて撮影した写真から三次元座標を得て写真測量を行うための写真計測システムおよび写真撮影位置指示方法に関し、特に、計測精度を確保しつつ写真撮影を簡便に行うことができるものである。   The present invention relates to a photo measurement system and a photo shooting position indication method for obtaining photogrammetry by obtaining three-dimensional coordinates from a photo taken at a plurality of photo shooting positions, and in particular, taking a photo while ensuring measurement accuracy. It can be performed easily.

立体的な構造物を製作した後、設計通りに作られているか否かを確認する方法の一つとして写真測量が用いられている。ただし、写真測量による計測精度は写真撮影位置や撮影枚数によって変動するため、計測者の技量や経験に依存するものであった。そこで、従来の写真計測システムは、計測精度を安定させるために写真撮影位置を指示する方法を用いている。   After producing a three-dimensional structure, photogrammetry is used as one of the methods for confirming whether or not it is made as designed. However, since the measurement accuracy by photogrammetry varies depending on the photo shooting position and the number of shots, it depends on the skill and experience of the measurer. Therefore, the conventional photo measurement system uses a method of indicating the photo shooting position in order to stabilize the measurement accuracy.

写真撮影位置を決定する方法として、まずは計測対象物の設計データを基に3DCAD空間内に作成したモデルに対して、写真計測を所望する計測ポイントを設定する。この計測ポイントを撮影し得る仮想写真撮影位置を3DCAD空間内に設定し、各仮想写真撮影位置にて撮影された写真を用いて写真計測のシミュレーションを行い、計測精度を算出する。   As a method for determining a photo shooting position, first, a measurement point for which photo measurement is desired is set for a model created in the 3D CAD space based on design data of a measurement object. A virtual photo shooting position at which this measurement point can be taken is set in the 3D CAD space, and a photo measurement simulation is performed using the photo taken at each virtual photo taking position to calculate the measurement accuracy.

算出された計測精度が所定精度より低い場合は、仮想写真撮影位置の変更、または仮想写真撮影位置の追加を行い、再び計測精度を算出する。算出された計測精度が所定精度以上となった場合は、仮想写真撮影位置を実際の写真撮影位置として決定し、この写真撮影位置を示した撮影位置指示書を出力する。この指示に基づいて撮影した写真を用いることで、撮影位置に依存する計測精度のばらつきを抑え、安定した計測精度で写真計測を行うというものである(例えば、特許文献1参照)。   If the calculated measurement accuracy is lower than the predetermined accuracy, the virtual photo shooting position is changed or the virtual photo shooting position is added, and the measurement accuracy is calculated again. When the calculated measurement accuracy exceeds a predetermined accuracy, the virtual photo shooting position is determined as the actual photo shooting position, and a shooting position instruction indicating the photo shooting position is output. By using a photograph taken based on this instruction, variation in measurement accuracy depending on the photographing position is suppressed, and photograph measurement is performed with stable measurement accuracy (see, for example, Patent Document 1).

特許第4470292号公報Japanese Patent No. 4470292

従来の写真計測システムは、撮影位置指示書に記載されたカメラ位置およびカメラの向きを厳密に合わせるならば、測定器による距離測定や角度測定が必要になる。例えば、距離測定器を用いて基準点からの距離を測定してカメラ位置を調整し、角度測定器を用いて基準面からの角度を測定してカメラの向きを調整することになるため、写真撮影に時間かかるという問題点があった。   The conventional photo measurement system requires distance measurement and angle measurement by a measuring instrument if the camera position and the camera orientation described in the photographing position instruction are precisely matched. For example, a distance measurement device is used to measure the distance from the reference point to adjust the camera position, and an angle measurement device is used to measure the angle from the reference surface to adjust the camera orientation. There was a problem that it took time to shoot.

また、大まかにカメラ位置およびカメラの向きを合わせるならば、計測対象物の写り込み位置や大きさ、角度が仮想写真撮影位置から撮影され得る写真と異なるため、シミュレーション時の計測精度と異なり、計測精度が所定精度以下になる可能性が出るという問題点があった。   Also, if the camera position and camera orientation are roughly matched, the measurement object's reflection position, size, and angle are different from those that can be taken from the virtual photo shooting position, so measurement is different from the measurement accuracy during simulation. There has been a problem that the accuracy may be less than the predetermined accuracy.

この発明は上記のような課題を解決するためになされたものであり、計測精度を確保しつつ写真撮影を簡便に行うことができる写真計測システムおよび写真撮影位置指示方法を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide a photo measurement system and a photo shooting position indication method capable of easily taking a photo while ensuring measurement accuracy. To do.

この発明の写真計測システムは、
計測対象物の設計データを読み込み、仮想三次元空間内に前記計測対象物の三次元モデルを生成する三次元モデル生成機能部と、
前記計測対象物を計測するための計測ポイントを設定する計測ポイント設定機能部と、
前記計測対象物を前記計測ポイントが含まれるように撮影する写真撮影位置の決定基準となる撮影位置合わせ用ターゲットを設定する撮影位置合わせ用ターゲット設定機能部と、
前記三次元モデルを用いて、前記計測ポイントの計測精度が所定精度となる前記写真撮影位置を複数導出する写真撮影位置導出機能部と、
前記三次元モデルを用いて、各前記写真撮影位置から撮影した場合の前記計測対象物および前記撮影位置合わせ用ターゲットが写り得る写真座標を算出して、撮影位置合わせ用画像をそれぞれ生成する撮影位置合わせ用画像生成機能部と、
各前記写真撮影位置を表示する写真撮影位置表示機能部と、
各前記撮影位置合わせ用画像を表示する撮影位置合わせ用画像表示機能部とを備えたものである。
The photo measurement system of this invention is
3D model generation function unit that reads design data of a measurement object and generates a 3D model of the measurement object in a virtual 3D space;
A measurement point setting function unit for setting a measurement point for measuring the measurement object;
A shooting position alignment target setting function unit for setting a shooting position alignment target that is a determination reference of a shooting position for shooting the measurement object so as to include the measurement point;
Using the three-dimensional model, a photography position deriving function unit for deriving a plurality of the photography positions at which the measurement accuracy of the measurement points is a predetermined precision;
Using the three-dimensional model, the photographing position where the measurement object and the photographing position alignment target when the photographing object is photographed from each of the photographing positions is calculated and the photographing position alignment image is generated is calculated. A matching image generation function unit;
A photography position display function section for displaying each of the photography positions;
And a photographing position adjusting image display function unit for displaying each of the photographing position adjusting images.

また、この発明の写真撮影位置指示方法は、
計測対象物の設計データを読み込み、仮想三次元空間内に前記計測対象物の三次元モデルを生成し、
前記計測対象物を計測するための計測ポイントを設定し、
前記計測対象物の計測ポイントが含まれるように撮影する写真撮影位置の決定基準となる撮影位置合わせ用ターゲットを設定し、
前記三次元モデルを用いて、前記計測ポイントの計測精度が所定精度となる前記写真撮影位置を複数導出し、
前記三次元モデルを用いて、各前記写真撮影位置から撮影した場合の前記計測対象物および前記撮影位置合わせ用ターゲットが写り得る写真座標を算出して、撮影位置合わせ用画像をそれぞれ生成し、
各前記写真撮影位置および各前記撮影位置合わせ用画像を表示するものである。
Moreover, the photography position instruction method of this invention is
Read the design data of the measurement object, generate a 3D model of the measurement object in the virtual 3D space,
Set a measurement point for measuring the measurement object,
Set a target for shooting alignment to be a reference for determining a shooting position for shooting so that the measurement point of the measurement object is included,
Using the three-dimensional model, a plurality of the photography positions where the measurement accuracy of the measurement point is a predetermined accuracy are derived,
Using the three-dimensional model, calculate the photo coordinates that can be captured by the measurement object and the shooting alignment target when shooting from each of the shooting positions, respectively, to generate a shooting alignment image,
Each photography position and each photography position alignment image are displayed.

この発明の写真計測システムおよび写真撮影位置指示方法は、上記のように構成され行われているため、
計測精度を確保しつつ写真撮影を簡便に行うことができる。
Since the photo measurement system and the photo shooting position instruction method of the present invention are configured and performed as described above,
Photography can be easily performed while ensuring measurement accuracy.

この発明の実施の形態1における写真計測システムを備えた写真計測方法を示す概念図である。It is a conceptual diagram which shows the photograph measurement method provided with the photograph measurement system in Embodiment 1 of this invention. 図1に示した写真計測システムの構成を示すブロック図である。It is a block diagram which shows the structure of the photograph measurement system shown in FIG. 図2に示した写真計測システムの写真撮影位置指示方法を示すフローチャートである。It is a flowchart which shows the photography position instruction | indication method of the photography measurement system shown in FIG. 図2に示した写真計測システムにおいて作成される計測対象物の三次元モデルを示す図である。It is a figure which shows the three-dimensional model of the measurement object produced in the photograph measurement system shown in FIG. 図2に示した写真計測システムにおける撮影位置合わせ用画像の作成手順を示す図である。It is a figure which shows the preparation procedure of the image for imaging position alignment in the photograph measurement system shown in FIG. 図2における写真計測システムにて導出された写真撮影位置としてのカメラ撮影位置および照明位置を示した配置図である。FIG. 3 is a layout diagram showing a camera photographing position and an illumination position as a photographing position derived by the photograph measuring system in FIG. 2. 図1における写真計測システムでのカメラのファインダから観察されるファインダ像と撮影位置合わせ用画像との比較を示した図である。It is the figure which showed the comparison with the finder image observed from the finder of the camera in the photograph measurement system in FIG. 1, and the image for imaging position alignment. 図1における写真計測システムでのカメラのファインダから観察されるファインダ像と撮影位置合わせ用画像との比較を示した図である。It is the figure which showed the comparison with the finder image observed from the finder of the camera in the photograph measurement system in FIG. 1, and the image for imaging position alignment. 図1における写真計測システムでのボルト穴の写真座標の算出手順を示す図である。It is a figure which shows the calculation procedure of the photograph coordinate of the bolt hole in the photograph measurement system in FIG. 本発明の実施の形態2による写真計測システムで写真撮影位置指示方法を示すフローチャートである。It is a flowchart which shows the photography position instruction | indication method in the photography measurement system by Embodiment 2 of this invention. 図10に示した写真計測システムの写真撮影位置指示方法の際の合成画像を示した図である。It is the figure which showed the composite image in the case of the photography position instruction | indication method of the photography measurement system shown in FIG. 図10に示した写真計測システムの写真撮影位置指示方法の際の合成画像を示した図である。It is the figure which showed the composite image in the case of the photography position instruction | indication method of the photography measurement system shown in FIG. 本発明の実施の形態3による写真計測システムを備えた写真計測方法を示す概念図である。It is a conceptual diagram which shows the photograph measurement method provided with the photograph measurement system by Embodiment 3 of this invention. 図13に示した写真計測システムで計測用マークの使用例を示す図である。It is a figure which shows the usage example of the mark for a measurement with the photograph measurement system shown in FIG. 図13に示した写真計測システムで写真撮影位置指示方法を示すフローチャートである。It is a flowchart which shows the photography position instruction | indication method with the photography measurement system shown in FIG. 図13に示した写真計測システムにおいて作成される計測対象物の三次元モデルを示す図である。It is a figure which shows the three-dimensional model of the measurement object produced in the photograph measurement system shown in FIG. 図13における写真計測システムにて導出された写真撮影位置を示した配置図である。It is the arrangement | positioning figure which showed the photography position derived | led-out by the photograph measurement system in FIG. 図13における写真計測システムでの計測用マークの写真座標の算出手順を示す図である。It is a figure which shows the calculation procedure of the photograph coordinate of the mark for a measurement in the photograph measurement system in FIG. この発明の実施の形態4における写真計測システムで写真撮影位置指示方法を示すフローチャートである。It is a flowchart which shows the photography position instruction | indication method in the photography measurement system in Embodiment 4 of this invention.

実施の形態1.
以下、本願発明の実施の形態について説明する。図1はこの発明の実施の形態1における写真計測システムを備えた写真計測方法を示す概念図である。図2は図1に示した写真計測システムの構成を示すブロック図である。図3は図2に示した写真計測システムの写真撮影位置指示方法および、この写真撮影位置指示方法による計測対象物の計測方法を示すフローチャートである。図4は図2に示した写真計測システムにおいて作成される計測対象物の三次元モデル、計測ポイント、および撮影位置合わせ用ターゲットを示した図である。
Embodiment 1 FIG.
Embodiments of the present invention will be described below. FIG. 1 is a conceptual diagram showing a photo measurement method provided with a photo measurement system according to Embodiment 1 of the present invention. FIG. 2 is a block diagram showing the configuration of the photo measurement system shown in FIG. FIG. 3 is a flowchart showing a method for instructing the photographing position of the photograph measuring system shown in FIG. 2 and a method for measuring a measurement object by this photographing position instruction method. FIG. 4 is a view showing a three-dimensional model of a measurement object, measurement points, and a target for photographing alignment created in the photo measurement system shown in FIG.

図5は図2に示した写真計測システムにおける撮影位置合わせ用画像の作成手順を示した図である。図5(a)は、導出した写真撮影位置を仮想三次元空間内に示した図である。図5(b)、(d)は、各写真撮影位置から撮影した場合に写り得る計測対象物の仮想写真を示した図である。図5(c)、(e)は、図5(b)、(d)の仮想写真から撮影位置合わせ用ターゲットを抽出した撮影位置合わせ用画像を示した図である。   FIG. 5 is a diagram showing a procedure for creating an image for position adjustment in the photo measurement system shown in FIG. FIG. 5A is a diagram showing the derived photography position in the virtual three-dimensional space. FIGS. 5B and 5D are diagrams showing virtual photographs of the measurement object that can be captured when photographed from each photograph photographing position. FIGS. 5C and 5E are diagrams showing shooting position alignment images obtained by extracting shooting position alignment targets from the virtual photographs of FIGS. 5B and 5D.

図6は図2における写真計測システムにて導出された写真撮影位置としてのカメラ撮影位置および照明位置と計測対象物との位置関係を示した配置図である。図7はこの発明の実施の形態1による写真計測システムにおけるカメラのファインダから観察されるファインダ像と撮影位置合わせ用画像との比較を示した図であり、導出した写真撮影位置に到達していない場合を示した図である。図8はこの発明の実施の形態1による写真計測システムにおけるカメラのファインダから観察されるファインダ像と撮影位置合わせ用画像との比較を示した図であり、導出した写真撮影位置に到達した場合を示した図である。   FIG. 6 is an arrangement diagram showing the positional relationship between the camera photographing position and the illumination position and the measurement object as the photographing position derived by the photograph measuring system in FIG. FIG. 7 is a diagram showing a comparison between the finder image observed from the camera finder and the photographing position alignment image in the photograph measuring system according to the first embodiment of the present invention, and has not reached the derived photograph photographing position. It is the figure which showed the case. FIG. 8 is a diagram showing a comparison between the finder image observed from the camera finder and the image for position adjustment in the photo measurement system according to Embodiment 1 of the present invention. FIG.

図9は図8にて計測者が撮影した写真からボルト穴の写真座標の算出手順を示す図である。図9(a)は、計測者がカメラにて撮影した写真を示す図である。図9(b)は、図9(a)の写真のボルト穴を拡大した画像を示す図である。図9(c)は、図9(b)の画像に対してエッジ抽出処理を行った後の画像を示す図である。図9(d)は、図9(c)の画像に対して輪郭抽出処理および楕円フィッティング処理により楕円の重心位置を算出した画像を示す図である。   FIG. 9 is a diagram showing a procedure for calculating the photographic coordinates of the bolt holes from the photograph taken by the measurer in FIG. FIG. 9A shows a photograph taken by the measurer with a camera. FIG.9 (b) is a figure which shows the image which expanded the bolt hole of the photograph of Fig.9 (a). FIG. 9C is a diagram illustrating an image after the edge extraction process is performed on the image of FIG. FIG. 9D is a diagram showing an image obtained by calculating the center of gravity of the ellipse by the contour extraction process and the ellipse fitting process on the image of FIG. 9C.

図1、図2に示すように、ボルト穴1を有する計測対象物8を計測するための写真計測システム2は、三次元モデル生成機能部30と、計測ポイント設定機能部31と、撮影位置合わせ用ターゲット設定機能部32と、写真撮影位置導出機能部33と、撮影位置合わせ用画像生成機能部34と、写真撮影位置表示機能部35と、撮影位置合わせ用画像表示機能部36と、写真撮影機能部37と、計測ポイント抽出機能部38と、三次元座標算出機能部39とを備えている。   As shown in FIGS. 1 and 2, a photo measurement system 2 for measuring a measurement object 8 having a bolt hole 1 includes a three-dimensional model generation function unit 30, a measurement point setting function unit 31, and an imaging position alignment. Target setting function unit 32, photography position deriving function part 33, photographing position alignment image generation function part 34, photographing position display function part 35, photographing position alignment image display function part 36, and photography A function unit 37, a measurement point extraction function unit 38, and a three-dimensional coordinate calculation function unit 39 are provided.

そして、写真計測システム2が計測対象物8の設計データ、例えば三次元CADデータを取得可能な、ネットワーク上に存在するサーバ7または情報メディア6が存在する。また、計測対象物8を撮影するための、カメラ4と、照明機5とが存在する。そして、写真計測システム2からの情報を表示する表示器3が存在する。カメラ4にて撮影された写真は、写真計測システム2に入力される。   Then, there is a server 7 or an information medium 6 existing on the network from which the photo measurement system 2 can acquire design data of the measurement object 8, for example, three-dimensional CAD data. Further, there are a camera 4 and an illuminator 5 for photographing the measurement object 8. And the indicator 3 which displays the information from the photograph measurement system 2 exists. A photograph taken by the camera 4 is input to the photograph measurement system 2.

次に上記のように構成された実施の形態1の写真計測システムにおける写真撮影位置指示方法、および、この写真撮影位置指示方法による計測対象物の計測方法について図3を用いて説明する。まず、三次元モデル生成機能部30は、計測対象物8の設計データを例えばサーバ7または情報メディア6から取り込む。そして、例えば図4に示すように、三次元CAD上の仮想三次元空間9内に、計測対象物8の三次元モデル10を生成して、表示器3に表示する(図3のステップS1)。   Next, a photo shooting position instruction method in the photo measurement system of the first embodiment configured as described above, and a measurement object measurement method using this photo shooting position instruction method will be described with reference to FIG. First, the three-dimensional model generation function unit 30 takes in design data of the measurement object 8 from, for example, the server 7 or the information medium 6. Then, for example, as shown in FIG. 4, a three-dimensional model 10 of the measurement object 8 is generated in the virtual three-dimensional space 9 on the three-dimensional CAD and displayed on the display 3 (step S1 in FIG. 3). .

次に、計測者は表示器3に表示された計測対象物8の三次元モデル10から、例えば、円形状のボルト穴1を、計測対象物8を計測する場合の特徴的な形状部分の計測ポイント11として選択するように指示する。そして、この選択された円形状のボルト穴1が、計測ポイント設定機能部31にて計測ポイント11として設定される(図3のステップS2)。ここ言う特徴的な形状部分の計測ポイント11とは、図4に示すような円形状のボルト穴1に限られることはなく、例えば、三角形や方形などの幾何学形状からなる部品や穴、溝、突起などでも良い。また、幾何学形状ではない部品や穴、溝、突起などでも良い。   Next, the measurer measures, for example, a circular shaped bolt hole 1 from the three-dimensional model 10 of the measurement object 8 displayed on the display 3 and measures a characteristic shape portion when measuring the measurement object 8. Instruct to select as point 11. The selected circular bolt hole 1 is set as the measurement point 11 by the measurement point setting function unit 31 (step S2 in FIG. 3). The measurement point 11 of the characteristic shape portion mentioned here is not limited to the circular bolt hole 1 as shown in FIG. 4, for example, a part, hole, or groove having a geometric shape such as a triangle or a rectangle. Or a protrusion. In addition, a non-geometric part, hole, groove, or protrusion may be used.

次に、計測者は、表示器3に表示された計測対象物8の三次元モデル10から、計測対象物8を計測ポイント11が含まれるように撮影する写真撮影位置の決定基準となる撮影位置合わせ用ターゲットを指示する。具体的には、図4に示すような、計測対象物8の三次元モデル10と床面40との境界線12もしくは、計測対象物8の三次元モデル10の計測ポイント11を含む面の輪郭線13もしくは、計測対象物8の三次元モデル10において距離の離れた4つの特徴点14a、14b、14c、14dなどが、撮影位置合わせ用ターゲット設定機能部32にて撮影位置合わせ用ターゲットとして設定される(図3のステップS3)。   Next, the measurer takes an imaging position that is a determination criterion for a photography position for imaging the measurement object 8 from the three-dimensional model 10 of the measurement object 8 displayed on the display 3 so that the measurement point 11 is included. Specify the target for alignment. Specifically, as shown in FIG. 4, the boundary line 12 between the three-dimensional model 10 of the measurement object 8 and the floor surface 40 or the contour of the surface including the measurement point 11 of the three-dimensional model 10 of the measurement object 8. The line 13 or four feature points 14a, 14b, 14c, 14d, etc. that are separated from each other in the three-dimensional model 10 of the measurement object 8 are set as shooting position alignment targets by the shooting position target setting function unit 32. (Step S3 in FIG. 3).

次に、計測対象物8の三次元モデル10を用いて、計測ポイント11を強調し、計測精度が所定精度となるような、複数の写真撮影位置としてのカメラ撮影位置および照明位置を、写真撮影位置導出機能部33が導出する(図3のステップS4)。この写真撮影位置の導出方法としては、計測対象物8の三次元モデル10の計測ポイント11を有する面に対して、計測精度が最も良くなるカメラ撮影位置および照明位置が一意的に決まるのであれば、その位置を、計測ポイント11が存在する面に対してのカメラ撮影位置および照明位置として導出する。例えば、計測対象物8のボルト穴1のエッジを最も強調する照明方向、および、計測誤差を最小にする基線長、そして、カメラ4の角度が事前評価で分かっているのであれば、その照明位置およびカメラ撮影位置を写真撮影位置として導出結果とする。   Next, using the three-dimensional model 10 of the measurement object 8, the measurement points 11 are emphasized, and the camera shooting positions and the illumination positions as a plurality of photo shooting positions so that the measurement accuracy becomes a predetermined accuracy are taken. The position deriving function unit 33 derives (step S4 in FIG. 3). As a method for deriving the photographing position, the camera photographing position and the illumination position where the measurement accuracy is the best are uniquely determined for the surface having the measurement point 11 of the three-dimensional model 10 of the measurement object 8. The position is derived as the camera photographing position and the illumination position with respect to the surface on which the measurement point 11 exists. For example, if the illumination direction that emphasizes the edge of the bolt hole 1 of the measurement object 8 most, the baseline length that minimizes the measurement error, and the angle of the camera 4 are known in advance evaluation, the illumination position In addition, the camera shooting position is taken as the photo shooting position, and the result is derived.

また、他の写真撮影位置の導出方法としては、仮想三次元空間9内に仮想写真撮影位置を設定し、仮想写真撮影位置から撮影した場合に得られる計測精度が予め設定していた所定精度以上であれば、その仮想写真撮影位置を写真撮影位置として導出結果とする。また、所定精度未満であれば、所定精度に達成するまで仮想写真撮影位置の変更もしくは仮想写真撮影位置の追加を行い、精度が達成するまで繰り返し行うという方法でも良い。   As another method for deriving a photo shooting position, the measurement accuracy obtained when a virtual photo shooting position is set in the virtual three-dimensional space 9 and shooting is performed from the virtual photo shooting position is greater than a predetermined accuracy set in advance. If so, the virtual photo shooting position is taken as the photo shooting position, and the result is derived. Further, if the accuracy is less than the predetermined accuracy, a method may be used in which the virtual photo shooting position is changed or the virtual photo shooting position is added until the predetermined accuracy is achieved, and repeated until the accuracy is achieved.

ここで言う計測精度とは、仮想写真撮影位置から撮影した場合に写り得る計測対象物8を示す二次元画像を基に算出した計測ポイント11の相対的な三次元座標と、設計データから得られる計測ポイント11の相対的な三次元座標との位置関係の誤差にて設定されるものである。   The measurement accuracy referred to here is obtained from the relative three-dimensional coordinates of the measurement point 11 calculated based on the two-dimensional image showing the measurement object 8 that can be captured when taken from the virtual photography position and the design data. It is set by an error in the positional relationship between the measurement point 11 and the relative three-dimensional coordinates.

また、上記に示した照明位置の導出方法以外として、導出された各カメラ撮影位置に対して最適な照明位置を導出するという方法でも良い。例えば、導出された1つのカメラ撮影位置に対して、カメラ4の光軸と、照明機5の光軸と、計測ポイント11の存在する面が交わる点を通る、計測ポイント11の存在する面に垂直な軸を基準軸とした場合、カメラ4の光軸と基準軸とのなす角度と、照明機5の光軸と基準軸とのなす角度が等しくなるような照明位置を導出する方法がある。そしてこの場合、各カメラ撮影位置に対してそれぞれ照明位置の導出を行う。   In addition to the illumination position deriving method described above, a method of deriving an optimal illumination position for each derived camera photographing position may be used. For example, with respect to one derived camera photographing position, the surface where the measurement point 11 exists passes through the point where the optical axis of the camera 4, the optical axis of the illuminator 5, and the surface where the measurement point 11 exists intersect. When a vertical axis is used as a reference axis, there is a method of deriving an illumination position so that an angle formed by the optical axis of the camera 4 and the reference axis is equal to an angle formed by the optical axis of the illuminator 5 and the reference axis. . In this case, the illumination position is derived for each camera photographing position.

次に、撮影位置合わせ用画像生成機能部34は、図5(a)に示すように、先のステップ4にて三次元モデル10から導出した複数のカメラ撮影位置15a、15bから撮影した場合に写り得る、計測ポイント11を有する三次元モデル10の仮想写真16a、16bを図5(b)、(d)に示すようにそれぞれ算出する。そして、仮想写真16a、16bから撮影位置合わせ用ターゲットとしての、境界線12もしくは、輪郭線13もしくは、特徴点14a、14b、14c、14dを抽出することで、図5(c)、(e)に示すような撮影位置合わせ用画像17a、17bをそれぞれ生成する(図3のステップS5)。   Next, as shown in FIG. 5A, the imaging position alignment image generation function unit 34 captures images from a plurality of camera imaging positions 15 a and 15 b derived from the three-dimensional model 10 in the previous step 4. The virtual photographs 16a and 16b of the three-dimensional model 10 having the measurement points 11 that can be captured are calculated as shown in FIGS. 5B and 5D, respectively. Then, by extracting the boundary line 12, the contour line 13, or the feature points 14 a, 14 b, 14 c, and 14 d as the shooting position alignment target from the virtual photographs 16 a and 16 b, FIGS. 3 are generated (step S5 in FIG. 3).

次に、計測対象物8と、導出したカメラ撮影位置15a、15bと、照明位置18との位置関係を示す配置図19を写真撮影位置表示機能部35にて生成し、図6に示すように表示器3に表示する(図3のステップS6)。そして、計測者に対してカメラ撮影位置15a、15bおよび照明位置18を指示する。尚、この際生成する配置図19は、図6に示すような平面図でも良いし、図6とは異なり立体図でも良い。さらに、図6に示すような大まかな位置関係が分かるような表示方法でも良いし、図6とは異なり、詳細な距離や角度、縮尺などを記載しても良い。   Next, an arrangement diagram 19 showing the positional relationship among the measurement object 8, the derived camera photographing positions 15a and 15b, and the illumination position 18 is generated by the photographing position display function unit 35, as shown in FIG. This is displayed on the display 3 (step S6 in FIG. 3). Then, the camera photographing positions 15a and 15b and the illumination position 18 are instructed to the measurer. The layout diagram 19 generated at this time may be a plan view as shown in FIG. 6, or may be a three-dimensional view unlike FIG. Furthermore, a display method as shown in FIG. 6 in which a rough positional relationship can be understood may be used, and unlike FIG. 6, a detailed distance, angle, scale, etc. may be described.

次に、撮影位置合わせ用画像表示機能部36は撮影位置合わせ用画像17a、17bを表示器3に表示する(図3のステップS7)。そして、計測者は、配置図19に基づいて、照明機5とカメラ4とを配置する。そして、計測者は、撮影位置合わせ用画像17a、17bの撮影位置合わせ用ターゲットとしての境界線12もしくは、輪郭線13もしくは、特徴点14a、14b、14c、14dと、実際のカメラ4によって撮影される写真における撮影位置合わせ用ターゲットとしての境界線12もしくは、輪郭線13もしくは、特徴点14a、14b、14c、14dの位置が一致するような位置になるまでカメラ4の位置を調整して移動する。   Next, the shooting position alignment image display function unit 36 displays the shooting position alignment images 17a and 17b on the display 3 (step S7 in FIG. 3). Then, the measurer arranges the illuminator 5 and the camera 4 based on the layout diagram 19. The measurer is photographed by the actual camera 4 with the boundary line 12 or the contour line 13 or the feature points 14a, 14b, 14c, and 14d as the photographing position alignment targets of the photographing position alignment images 17a and 17b. The position of the camera 4 is adjusted and moved until the position of the boundary line 12, the contour line 13, or the feature points 14a, 14b, 14c, and 14d as the target for photographing position alignment in the photograph is matched. .

尚、実際にカメラ4に撮影された写真には、撮影位置合わせ用ターゲットとしての境界線12もしくは、輪郭線13もしくは、特徴点14a、14b、14c、14dが表示されるものでは無く、計測者が撮影位置合わせ用画像17a、17bに示された撮影位置合わせ用ターゲットとして表示されている境界線12もしくは、輪郭線13もしくは、特徴点14a、14b、14c、14dを参考に検証するものである。このことは以下の実施の形態においても同様であるためその説明は適宜省略する。   The photograph actually taken by the camera 4 does not display the boundary line 12, the contour line 13, or the feature points 14 a, 14 b, 14 c, 14 d as the photographing position alignment target. Is verified with reference to the boundary line 12, the contour line 13, or the feature points 14 a, 14 b, 14 c, and 14 d displayed as the shooting position alignment targets shown in the shooting position alignment images 17 a and 17 b. . Since this is the same in the following embodiments, the description thereof will be omitted as appropriate.

具体的には、図7に示すように、導出されたカメラ撮影位置に到達していない場合には、カメラ4のファインダから観察されるファインダ像20aの撮影位置合わせ用ターゲットの位置と、導出したカメラ撮影位置15bにおける撮影位置合わせ用画像17bの撮影位置合わせ用ターゲットの位置とに差が生じている。これが合うように計測者はカメラ4を移動し、図8に示すように、カメラ4のファインダから観察されるファインダ像20bの撮影位置合わせ用ターゲットの位置と、導出したカメラ撮影位置15bにおける撮影位置合わせ用画像17bの撮影位置合わせ用ターゲットの位置とが同様の位置になるようにする。   Specifically, as shown in FIG. 7, when the derived camera photographing position has not been reached, the position of the target for photographing position alignment of the finder image 20a observed from the finder of the camera 4 is derived. There is a difference in the position of the shooting position alignment target of the shooting position alignment image 17b at the camera shooting position 15b. The measurer moves the camera 4 so that this fits, and as shown in FIG. 8, the position of the target for photographing position alignment of the finder image 20b observed from the finder of the camera 4 and the photographing position at the derived camera photographing position 15b. The position of the target for imaging position alignment of the alignment image 17b is set to the same position.

次に、計測者が決定したカメラ撮影位置に設置されたカメラ4にて計測対象物8を撮影した写真21(図9(a))を、写真撮影機能部37が取り込み、保存する(図3のステップS8)。次に、保存した各写真撮影位置から撮影した写真21(図9(a))から、ボルト穴1(計測ポイント11)の写真座標を算出する(図3のステップS9)。   Next, the photograph function unit 37 captures and stores the photograph 21 (FIG. 9A) obtained by photographing the measurement object 8 with the camera 4 installed at the camera photographing position determined by the measurer (FIG. 3). Step S8). Next, the photograph coordinates of the bolt hole 1 (measurement point 11) are calculated from the photograph 21 (FIG. 9A) taken from each saved photography position (step S9 in FIG. 3).

例えば、図9(b)に示すように写真21に対して、Cannyフィルタや微分フィルタなどでエッジ抽出を行い(図9(c))、さらに、輪郭抽出処理および楕円フィッティング処理により楕円形状を抽出し、その重心位置を算出することでボルト穴1(計測ポイント11)の写真座標を得る(図9(d))。尚、上記に示した計測ポイント11の抽出方法以外に、例えば導出したカメラ撮影位置から撮影した場合に写り得る、計測ポイント11の形状を登録しておき、保存した写真21に対してパターンマッチングを行うことにより、計測ポイント11の写真座標(二次元座標)を算出する方法を用いても良い。   For example, as shown in FIG. 9B, edge extraction is performed on the photograph 21 using a Canny filter, a differential filter, or the like (FIG. 9C), and an elliptical shape is extracted by contour extraction processing and elliptic fitting processing. Then, by calculating the position of the center of gravity, the photograph coordinates of the bolt hole 1 (measurement point 11) are obtained (FIG. 9 (d)). In addition to the measurement point 11 extraction method described above, for example, the shape of the measurement point 11 that can be seen when taken from the derived camera photographing position is registered, and pattern matching is performed on the stored photograph 21. A method of calculating photographic coordinates (two-dimensional coordinates) of the measurement point 11 may be used.

次に、算出した計測ポイント11の写真座標(二次元座標)を各写真間にて対応付けして、各計測ポイント11の三次元座標を三次元座標算出機能部39により算出する(図3のステップS10)。ここで、算出した計測ポイント11の三次元座標は、導出した写真撮影位置に基づき撮影した写真を使用しているため、所定精度の計測結果を得ることができる。   Next, the calculated photographic coordinates (two-dimensional coordinates) of the measurement points 11 are associated with each other, and the three-dimensional coordinates of each measurement point 11 are calculated by the three-dimensional coordinate calculation function unit 39 (FIG. 3). Step S10). Here, since the calculated three-dimensional coordinates of the measurement point 11 use a photograph taken based on the derived photography position, a measurement result with a predetermined accuracy can be obtained.

上記のように構成された実施の形態1の写真計測システムによれば、遠近感を捉えやすい撮影位置合わせ用ターゲットを設定し、所定精度が得られる写真撮影位置から撮影した場合に写り得る撮影位置合わせ用画像および写真撮影位置を表示することで、計測者が適切な写真撮影位置に到達したかどうかを容易に判断できる。よって、所定精度を満たす写真を撮影できる。   According to the photograph measurement system of the first embodiment configured as described above, a photographing position that can be captured when a photographing position alignment target that easily captures perspective is set and photographing is performed from a photographing position that provides a predetermined accuracy. By displaying the alignment image and the photography position, it is possible to easily determine whether the measurer has reached an appropriate photography position. Therefore, a photograph that satisfies a predetermined accuracy can be taken.

実施の形態2.
上記実施の形態1では、撮影位置合わせ用画像を表示して計測者がカメラのファインダを見ながら、カメラのカメラ撮影位置を移動して調整する例を示したが、本実施の形態2においては、撮影位置合わせ用画像表示機能部において、撮影位置合わせ用画像に、カメラから取り込んだ写真を合成した合成画像を表示するものである。
Embodiment 2. FIG.
In the first embodiment, an example is shown in which an image for shooting position alignment is displayed and a measurer moves and adjusts the camera shooting position of the camera while looking at the viewfinder of the camera. The photographing position alignment image display function unit displays a composite image obtained by combining the photographing position alignment image with a photograph taken from the camera.

図10はこの発明の実施の形態2における写真計測システムの写真撮影位置指示方法を示すフローチャートである。図11、図12は本発明の実施の形態2による写真計測システムにおいてカメラの写真と撮影位置合わせ用画像との合成画像を示した図である。図11は、導出した写真撮影位置にカメラが到達していない場合を示す図である。図12は、導出した写真撮影位置にカメラが到達した場合を示す図である。尚、写真計測システムの構成は、上記実施の形態1と同様であるためその説明は適宜省略する。また、同様の部分は同一符号を用いて説明する。また、このことは以下の実施の形態においても同様であるため、その説明は適宜省略する。   FIG. 10 is a flowchart showing a photo shooting position instruction method of the photo measuring system according to the second embodiment of the present invention. FIG. 11 and FIG. 12 are diagrams showing a composite image of a camera photograph and a photographing position alignment image in the photograph measurement system according to the second embodiment of the present invention. FIG. 11 is a diagram illustrating a case where the camera has not reached the derived photography position. FIG. 12 is a diagram illustrating a case where the camera reaches the derived photography position. Since the configuration of the photo measurement system is the same as that of the first embodiment, description thereof will be omitted as appropriate. Moreover, the same part is demonstrated using the same code | symbol. This also applies to the following embodiments, and the description thereof will be omitted as appropriate.

次に上記のように構成された実施の形態2の写真計測システムにおける写真撮影位置指示方法について図10を用いて、上記実施の形態1と異なる部分について説明する。まず、上記実施の形態1と同様の工程を経て、撮影位置合わせ用画像表示機能部36は、撮影位置合わせ用画像17a、17bの表示するとともに、カメラ4から随時取り込んだ写真22a、22bを合成して合成画像23a、23bとして表示器3に表示する(図10のステップS11)。   Next, a part different from the first embodiment will be described with reference to FIG. 10 regarding the photo shooting position instruction method in the photo measurement system of the second embodiment configured as described above. First, through the same steps as those in the first embodiment, the photographing position alignment image display function unit 36 displays the photographing position alignment images 17a and 17b and combines the photographs 22a and 22b captured from the camera 4 as needed. And it displays on the indicator 3 as the synthesized images 23a and 23b (step S11 in FIG. 10).

具体的には、図11に示すように、導出したカメラ撮影位置に到達していない場合には、カメラ4からの写真22a(図11(a))と、撮影位置合わせ用画像17b(図11(b))との合成画像23a(図11(c))となり、導出したカメラ撮影位置に到達していないことが容易に判断することができる。   Specifically, as shown in FIG. 11, when the derived camera photographing position has not been reached, the photograph 22a (FIG. 11 (a)) from the camera 4 and the photographing positioning image 17b (FIG. 11) are obtained. It becomes a composite image 23a (FIG. 11C) with (b)), and it can be easily determined that the derived camera photographing position has not been reached.

そして、計測者は、撮影位置合わせ用画像17bに合うようにカメラ4を移動して撮影し、図12に示すように、カメラ4からの写真22b(図12(a))と、撮影位置合わせ用画像17b(図12(b))との合成画像23b(図12(c))となり、導出したカメラ撮影位置に到達していることが容易に判断することができる。よって、計測者に対して、撮影位置合わせ用画像17bの撮影位置合わせ用ターゲットの位置、と、実際撮影しているカメラ4の写真22bの撮影位置合わせ用ターゲットの位置とが一致するような位置まで移動するように指示することができ、導出した写真撮影位置まで誘導することが可能となる。   Then, the measurer moves the camera 4 so as to fit the image for position adjustment 17b and shoots, and as shown in FIG. 12, the photograph 22b (FIG. 12 (a)) from the camera 4 and the position for position adjustment are shown. It becomes a composite image 23b (FIG. 12C) with the image 17b for use (FIG. 12B), and it can be easily determined that the derived camera photographing position has been reached. Therefore, for the measurer, a position where the position of the shooting position alignment target of the shooting position alignment image 17b coincides with the position of the shooting position alignment target of the photograph 22b of the camera 4 that is actually shooting. It is possible to instruct to move to the derived photography position.

さらにこの際、カメラ4から取り込んだ写真の撮影位置合わせ用ターゲットの位置と、撮影位置合わせ用画像17a、17bに含まれている撮影位置合わせ用ターゲットの位置との一致度、例えば、写真座標位置の差、または、縮尺比を算出する撮影位置判定機能部を備えるようにしてもよい。
そして、撮影位置判定機能部が、一致度の許容範囲を表示器3に追加して表示する。そして、一致度が許容範囲内であれば最適な写真撮影位置に到達したものとし、表示器3に表示して計測者に報知してもよい。もしくは、報知音や音声ガイドを再生することによって計測者に報知してもよい。
Further, at this time, the degree of coincidence between the position of the shooting position alignment target of the photograph taken from the camera 4 and the position of the shooting position alignment target included in the shooting position alignment images 17a and 17b, for example, the photo coordinate position An imaging position determination function unit for calculating the difference or the scale ratio may be provided.
Then, the photographing position determination function unit adds an allowable range of coincidence to the display 3 and displays it. If the degree of coincidence is within an allowable range, it may be assumed that the optimum photography position has been reached, and displayed on the display 3 to notify the measurer. Alternatively, the measurement person may be notified by reproducing a notification sound or a voice guide.

上記のように構成された実施の形態2の写真計測システムによれば、上記実施の形態1と同様の効果を奏するのはもちろんのこと、カメラから随時取り込んだ写真と撮影位置合わせ用画像との合成画像を随時表示することによって、撮影位置合わせ用画像の撮影位置合わせ用ターゲットと、カメラから取り込んだ写真とに写る撮影位置合わせ用ターゲットとの差分が明らかになり、計測者が適切な写真撮影位置に到達したかどうかを容易に判断できる。   According to the photo measurement system of the second embodiment configured as described above, the same effect as that of the first embodiment can be obtained. By displaying the composite image at any time, the difference between the shooting alignment target of the shooting alignment image and the shooting alignment target in the photo taken from the camera is clarified, and the measurer can take appropriate photos. It can be easily determined whether or not the position has been reached.

さらに、カメラから随時取り込んだ写真に写る撮影位置合わせ用ターゲットと、撮影位置合わせ用画像の撮影位置合わせ用ターゲットの一致度を報知することによって、計測者が適切な写真撮影位置に到達したかどうかを容易に判断できる。   In addition, whether or not the measurer has reached the appropriate photo shooting position by notifying the degree of coincidence between the target for shooting positioning that appears in photos taken from the camera as needed and the target for shooting positioning of the shooting positioning image Can be easily determined.

実施の形態3.
上記各実施の形態においては、計測対象物自体に計測ポイントを設定する例を示したが、これに限られることはなく、本実施の形態3においては、計測対象物を計測するための計測ポイントを、計測対象物に新たに設置して、その計測ポイントを計測する例について説明する。
Embodiment 3 FIG.
In each of the above embodiments, an example in which a measurement point is set on the measurement object itself has been described. However, the present invention is not limited to this, and in the third embodiment, a measurement point for measuring the measurement object. Will be described with respect to an example in which a measurement point is newly installed on the measurement object.

図13はこの発明の実施の形態3における写真計測システムを備えた写真計測方法を示す概念図である。図14は図13に示した写真計測システムの計測対象物の計測ポイントの構成を説明する図である。図15は図13に示した写真計測システムの写真撮影位置指示方法および、この写真撮影位置指示方法による計測対象物の計測方法を示すフローチャートである。図16は図13に示した写真計測システムにおいて作成される計測対象物の三次元モデル、計測ポイント、および撮影位置合わせ用ターゲットを示した図である。図17は図13における写真計測システムにて導出された写真撮影位置としてのカメラ撮影位置と計測対象物との位置関係を示した配置図である。   FIG. 13 is a conceptual diagram showing a photo measurement method provided with a photo measurement system according to Embodiment 3 of the present invention. FIG. 14 is a diagram for explaining the configuration of the measurement points of the measurement object of the photo measurement system shown in FIG. FIG. 15 is a flowchart showing a method for instructing the photographing position of the photograph measuring system shown in FIG. 13 and a method for measuring the measurement object by this photographing position instruction method. FIG. 16 is a diagram showing a three-dimensional model of a measurement object, measurement points, and a target for photographing alignment created in the photo measurement system shown in FIG. FIG. 17 is a layout diagram showing a positional relationship between a camera photographing position as a photographing position derived by the photograph measuring system in FIG. 13 and a measurement object.

図18は図17にて計測者が撮影した写真からボルト穴の写真座標の算出手順を示す図である。図18(a)は、計測者がカメラにて撮影した写真を示す図である。図18(b)、図18(a)の写真のボルト穴を拡大した画像を示す図である。図18(c)は、図18(b)の画像に対してエッジ抽出処理を行った後の画像を示す図である。図18(d)は、図18(c)の画像に対して輪郭抽出処理および楕円フィッティング処理により楕円の重心位置を算出した画像を示す図である。尚、写真計測システムの構成は、上記各実施の形態と同様であるためその説明は適宜省略する。   FIG. 18 is a diagram showing a procedure for calculating the photographic coordinates of the bolt holes from the photograph taken by the measurer in FIG. FIG. 18A shows a photograph taken by the measurer with a camera. It is a figure which shows the image which expanded the bolt hole of the photograph of FIG.18 (b) and Fig.18 (a). FIG. 18C is a diagram illustrating an image after the edge extraction process is performed on the image of FIG. FIG. 18D is a diagram showing an image obtained by calculating the center of gravity of the ellipse by the contour extraction process and the ellipse fitting process on the image of FIG. Note that the configuration of the photo measurement system is the same as that of each of the above embodiments, and therefore the description thereof is omitted as appropriate.

図13において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。本実施の形態3においては、カメラ4と照明機5とが一体に形成されている例について示している。さらに、計測対象物8に計測用マーク24が貼り付けられた嵌め込み部品26を備えている。この計測用マーク24は、計測対象物8が持つ特徴的な形状部分の代わりに計測ポイント25として使用するためのものである。   In FIG. 13, the same parts as those in the above embodiments are given the same reference numerals and the description thereof is omitted. In the third embodiment, an example in which the camera 4 and the illuminator 5 are integrally formed is shown. Furthermore, a fitting component 26 having a measurement mark 24 attached to the measurement object 8 is provided. The measurement mark 24 is used as a measurement point 25 instead of the characteristic shape portion of the measurement object 8.

例えば、黒い背景に指向性無く光を反射する素材で、円を描いたものなどを計測したい箇所に貼り付けて設置されている。よって、図14に示すように計測対象物8のボルト穴1に計測用マーク24を貼り付けた嵌め込み部品26を嵌めこむなどして、計測対象物8の計測したい箇所に計測用マーク24を設置している。このような計測用マーク24を計測ポイント25とする場合は、照明位置に依存せずに計測用マーク24の形状を強調することができるため、照明位置は計測用マーク24に向いていれば良く、特に指示しないものとする。   For example, it is a material that reflects light without directivity on a black background and is placed on a place where you want to measure a circle or the like. Therefore, as shown in FIG. 14, the measurement mark 24 is placed at a position where the measurement target 8 is to be measured by fitting the fitting part 26 with the measurement mark 24 pasted into the bolt hole 1 of the measurement target 8. doing. When such a measurement mark 24 is used as the measurement point 25, the shape of the measurement mark 24 can be emphasized without depending on the illumination position, so that the illumination position only needs to face the measurement mark 24. , No particular instructions shall be given.

尚、本実施の形態3においては、計測用マーク24を計測ポイント25としているため、写真の撮影において照明機5の位置には左右されることが少ないので、図13においては、照明機5をカメラ4と一体型の例を示したが、これに限られることはなく、上記各実施の形態と同様に独立型の場合でも行うことができる。   In the third embodiment, since the measurement mark 24 is the measurement point 25, the position of the illuminator 5 is less likely to be affected in taking a photograph. Therefore, in FIG. Although an example in which the camera 4 is integrated with the camera 4 is shown, the present invention is not limited to this, and can be performed in the case of an independent type as in the above embodiments.

次に上記のように構成された実施の形態3の写真計測システムにおける写真撮影位置指示方法について図15を用いて、上記各実施の形態と異なる部分について説明する。まず、上記各実施の形態と同様の工程を経て、計測用マーク24を計測ポイント25として計測ポイント設定機能部31は設定する(図15のステップS12)。次に、図16に示すように計測したい計測ポイント25のおおむね中心位置を仮計測ポイント27として計測ポイント設定機能部31がさらに設定する(図15のステップS13)。   Next, a part different from each of the above embodiments will be described with reference to FIG. 15 regarding a photo shooting position instruction method in the photo measuring system of the third embodiment configured as described above. First, the measurement point setting function unit 31 sets the measurement mark 24 as the measurement point 25 through the same processes as those in the above embodiments (step S12 in FIG. 15). Next, as shown in FIG. 16, the measurement point setting function unit 31 further sets the approximate center position of the measurement point 25 to be measured as the temporary measurement point 27 (step S13 in FIG. 15).

さらに、上記各実施の形態と同様の工程を経て、写真撮影位置導出機能部33は、仮計測ポイント27の計測精度が、所定精度となるような写真撮影位置を上記各実施の形態と同様に導出する(図15のステップS14)。さらに、上記各実施の形態と同様の工程を経て、写真撮影位置表示機能部35は、導出したカメラ撮影位置15a、15bと計測対象物8との位置関係を示す配置図28を図17に示すように生成し、表示器3に表示する(図15のステップS15)。   Further, through the same steps as those in the above embodiments, the photo shooting position deriving function unit 33 sets the photo shooting positions at which the measurement accuracy of the temporary measurement points 27 becomes a predetermined accuracy in the same manner as in the above embodiments. Derived (step S14 in FIG. 15). Further, through the same steps as those in the above-described embodiments, the photo shooting position display function unit 35 shows a layout diagram 28 showing the positional relationship between the derived camera shooting positions 15a and 15b and the measurement object 8 as shown in FIG. Is generated and displayed on the display 3 (step S15 in FIG. 15).

さらに、上記各実施の形態と同様の工程を経て、計測ポイント抽出機能部38は、各写真撮影位置からを撮影した写真29から、計測用マーク24の写真座標を算出する(図15のステップS16)。具体的には上記各実施の形態と同様に、例えば、図18(a)、(b)に示すように写真29に対して、Cannyフィルタや微分フィルタなどでエッジ抽出を行い(図18(c))、さらに、輪郭抽出処理および楕円フィッティング処理により楕円形状を抽出し、その重心位置を算出することで計測用マーク24(計測ポイント25)の写真座標を得る(図18(d))。尚、上記に示した計測ポイント25の抽出方法以外に、例えば導出したカメラ撮影位置から撮影した場合に写り得る、計測ポイント25の形状を登録しておき、保存した写真29に対してパターンマッチングを行うことにより、計測ポイント25の写真座標(二次元座標)を算出する方法を用いても良い。そして以下、上記各実施の形態と同様に行い、計測対象物8の計測を行う。   Further, through the same steps as in the above embodiments, the measurement point extraction function unit 38 calculates the photo coordinates of the measurement mark 24 from the photo 29 taken from each photo shooting position (step S16 in FIG. 15). ). Specifically, as in the above embodiments, for example, as shown in FIGS. 18A and 18B, edge extraction is performed on the photograph 29 using a Canny filter, a differential filter, or the like (FIG. 18C )) Further, the ellipse shape is extracted by the contour extraction process and the ellipse fitting process, and the centroid position thereof is calculated to obtain the photographic coordinates of the measurement mark 24 (measurement point 25) (FIG. 18D). In addition to the method of extracting the measurement point 25 described above, for example, the shape of the measurement point 25 that can be seen when shooting from the derived camera shooting position is registered, and pattern matching is performed on the stored photograph 29. A method of calculating the photographic coordinates (two-dimensional coordinates) of the measurement point 25 may be used. Then, the measurement object 8 is measured in the same manner as in the above embodiments.

上記のように構成された実施の形態3の写真計測システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、計測対象物に明確となる計測ポイントを新たに計測用マークとして設定することができるため、計測者が適切な写真撮影位置に到達したかどうかをさらに容易に判断できる。よって、所定精度を満たす写真の撮影を更に容易に行うことができる。   According to the photographic measurement system of the third embodiment configured as described above, the same measurement effects as those of the above-described embodiments can be obtained. Since it can be set as a mark, it can be further easily determined whether or not the measurer has reached an appropriate photography position. Therefore, it is possible to more easily take a photo that satisfies the predetermined accuracy.

実施の形態4.
上記実施の形態3では、撮影位置合わせ用画像を表示して計測者がカメラのファインダを見ながら、カメラのカメラ撮影位置を移動して調整する例を示したが、本実施の形態4においては、上記実施の形態3と同様に、計測ポイントとしての計測用マークを計測対象物に新たに設置した場合であって、上記実施の形態2と同様に、撮影位置合わせ用画像機能部において撮影位置合わせ用画像に、カメラから取り込んだ写真を合成した合成画像を表示するものである。
Embodiment 4 FIG.
In the above-described third embodiment, an example in which the photographing position adjustment image is displayed and the measurer moves and adjusts the camera photographing position while looking at the camera viewfinder has been shown. However, in the fourth embodiment, As in the third embodiment, a measurement mark as a measurement point is newly installed on the measurement object, and in the same manner as in the second embodiment, the shooting position is set in the shooting position adjusting image function unit. A composite image obtained by combining a photograph taken from a camera with an image for alignment is displayed.

図19はこの発明の実施の形態4における写真計測システムの写真撮影位置指示方法を示すフローチャートである。次に上記のように構成された実施の形態4の写真計測システムにおける写真撮影位置指示方法について図19を用いて、上記実施の形態3と異なる部分について説明する。まず、上記実施の形態3と同様の工程を経て、撮影位置合わせ用画像表示機能部36は、撮影位置合わせ用画像の表示するとともに、カメラ4から随時取り込んだ写真を合成して合成画像として表示器3に表示する(図19のステップS17)。尚、具体的な表示方法は、上記実施の形態2と同様である。   FIG. 19 is a flowchart showing a photo shooting position instruction method of the photo measurement system according to Embodiment 4 of the present invention. Next, a part different from the third embodiment will be described with reference to FIG. 19 regarding the photo shooting position instruction method in the photo measurement system of the fourth embodiment configured as described above. First, through the same steps as in the third embodiment, the photographing position alignment image display function unit 36 displays a photographing position alignment image and combines the photos taken from the camera 4 as needed to display as a composite image. This is displayed on the device 3 (step S17 in FIG. 19). The specific display method is the same as that in the second embodiment.

そして、計測者は、合成画像から導出したカメラ撮影位置に到達していないと判断すると、カメラ4を移動して撮影し、合成画像から導出したカメラ撮影位置に到達している判断することができる。よって、計測者に対して、撮影位置合わせ用画像の撮影位置合わせ用ターゲットの位置と、実際撮影しているカメラ4の写真の撮影位置合わせ用ターゲットの位置とが一致するような位置まで移動するように指示することができ、導出した写真撮影位置まで誘導することが可能となる。   If the measurer determines that the camera shooting position derived from the composite image has not been reached, the camera operator can determine that the camera has reached the camera shooting position derived from the composite image by moving the camera 4 and shooting. . Therefore, the measurer moves to a position where the position of the shooting position alignment target of the image for shooting position alignment matches the position of the shooting position alignment target of the photograph of the camera 4 that is actually shooting. It is possible to guide to the derived photography position.

さらにこの際、上記実施の形態2と同様に、カメラ4から取り込んだ写真の撮影位置合わせ用ターゲットの位置と、撮影位置合わせ用画像に含まれている撮影位置合わせ用ターゲットの位置との一致度、例えば、写真座標位置の差、または、縮尺比を算出する撮影位置判定機能部を備えるようにしてもよい。そして、撮影位置判定機能部が、一致度の許容範囲を表示器3に追加して表示する。そして、一致度が許容範囲内であれば最適な写真撮影位置に到達したものとし、表示器3に表示して計測者に報知してもよい。もしくは、報知音や音声ガイドを再生することによって計測者に報知してもよい。   Furthermore, at this time, as in the second embodiment, the degree of coincidence between the position of the shooting position alignment target of the photograph taken from the camera 4 and the position of the shooting position alignment target included in the shooting position alignment image For example, a photographing position determination function unit that calculates a difference in photograph coordinate position or a scale ratio may be provided. Then, the photographing position determination function unit adds an allowable range of coincidence to the display 3 and displays it. If the degree of coincidence is within an allowable range, it may be assumed that the optimum photography position has been reached, and displayed on the display 3 to notify the measurer. Alternatively, the measurement person may be notified by reproducing a notification sound or a voice guide.

上記のように構成された実施の形態4の写真計測システムによれば、上記実施の形態3と同様の効果を奏するのはもちろんのこと、上記実施の形態2と同様に、カメラから随時取り込んだ写真と撮影位置合わせ用画像との合成画像を随時表示することによって、撮影位置合わせ用画像の撮影位置合わせ用ターゲットと、カメラから取り込んだ写真とに写る撮影位置合わせ用ターゲットとの差分が明らかになり、計測者が適切な写真撮影位置に到達したかどうかを容易に判断できる。   According to the photographic measurement system of the fourth embodiment configured as described above, the same effects as those of the third embodiment can be obtained, as well as the second embodiment. By displaying the composite image of the photo and the image for image alignment at any time, the difference between the image alignment target for the image for image alignment and the image alignment target for the photo taken from the camera is clear. Thus, it is possible to easily determine whether the measurer has reached an appropriate photography position.

さらに、カメラから随時取り込んだ写真に写る撮影位置合わせ用ターゲットと、撮影位置合わせ用画像の撮影位置合わせ用ターゲットの一致度を報知することによって、計測者が適切な写真撮影位置に到達したかどうかを容易に判断できる。   In addition, whether or not the measurer has reached the appropriate photo shooting position by notifying the degree of coincidence between the target for shooting positioning that appears in photos taken from the camera as needed and the target for shooting positioning of the shooting positioning image Can be easily determined.

尚、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。   It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.

1 ボルト穴、2 写真計測システム、3 表示器、4 カメラ、5 照明機、
6 情報メディア、7 サーバ、8 計測対象物、9 仮想三次元空間、
10 三次元モデル、11 計測ポイント、12 境界線、13 輪郭線、
14a 特徴点、14b 特徴点、14c 特徴点、14d 特徴点、
15a カメラ撮影位置、15b カメラ撮影位置、16a 仮想写真、
16b 仮想写真、17a 撮影用位置合わせ画像、17b 撮影用位置合わせ画像、
18 照明位置、19 配置図、20a ファインダ像、20b ファインダ像、
21 写真、22a 写真、22b 写真、23a 合成画像、23b 合成画像、
24 計測用マーク、25 計測ポイント、26 嵌込部品、27 仮計測ポイント、
28 配置図、29 写真、30 三次元モデル生成機能部、
31 計測ポイント設定機能部、32 撮影位置合わせ用ターゲット設定機能部、
33 写真撮影位置導出機能部、34 撮影位置合わせ用画像生成機能部、
35 写真撮影位置表示機能部、36 撮影位置合わせ用画像表示機能部、
37 写真撮影機能部、38 計測ポイント抽出機能部、39 三次元座標算出機能部、40 床面。
1 bolt hole, 2 photo measurement system, 3 display, 4 camera, 5 illuminator,
6 Information media, 7 Server, 8 Measurement object, 9 Virtual three-dimensional space,
10 3D model, 11 measurement point, 12 boundary line, 13 contour line,
14a feature point, 14b feature point, 14c feature point, 14d feature point,
15a camera shooting position, 15b camera shooting position, 16a virtual photo,
16b Virtual photograph, 17a Image alignment image, 17b Image alignment image,
18 Illumination position, 19 Layout view, 20a Viewfinder image, 20b Viewfinder image,
21 photo, 22a photo, 22b photo, 23a composite image, 23b composite image,
24 measurement marks, 25 measurement points, 26 fitting parts, 27 temporary measurement points,
28 arrangement drawing, 29 photograph, 30 3D model generation function part,
31 measurement point setting function section, 32 shooting position alignment target setting function section,
33 Photo shooting position deriving function section 34, Image capturing function generating section for shooting position alignment,
35 Photo shooting position display function section, 36 Image display function display section for shooting position alignment,
37 photography function part, 38 measurement point extraction function part, 39 three-dimensional coordinate calculation function part, 40 floor surface.

Claims (6)

計測対象物の設計データを読み込み、仮想三次元空間内に前記計測対象物の三次元モデルを生成する三次元モデル生成機能部と、
前記計測対象物を計測するための計測ポイントを設定する計測ポイント設定機能部と、
前記計測対象物を前記計測ポイントが含まれるように撮影する写真撮影位置の決定基準となる撮影位置合わせ用ターゲットを設定する撮影位置合わせ用ターゲット設定機能部と、
前記三次元モデルを用いて、前記計測ポイントの計測精度が所定精度となる前記写真撮影位置を複数導出する写真撮影位置導出機能部と、
前記三次元モデルを用いて、各前記写真撮影位置から撮影した場合の前記計測対象物および前記撮影位置合わせ用ターゲットが写り得る写真座標を算出して、撮影位置合わせ用画像をそれぞれ生成する撮影位置合わせ用画像生成機能部と、
各前記写真撮影位置を表示する写真撮影位置表示機能部と、
各前記撮影位置合わせ用画像を表示する撮影位置合わせ用画像表示機能部と、
を備えた写真計測システム。
3D model generation function unit that reads design data of a measurement object and generates a 3D model of the measurement object in a virtual 3D space;
A measurement point setting function unit for setting a measurement point for measuring the measurement object;
A shooting position alignment target setting function unit for setting a shooting position alignment target that is a determination reference of a shooting position for shooting the measurement object so as to include the measurement point;
Using the three-dimensional model, a photography position deriving function unit for deriving a plurality of the photography positions at which the measurement accuracy of the measurement points is a predetermined precision;
Using the three-dimensional model, the photographing position where the measurement object and the photographing position alignment target when the photographing object is photographed from each of the photographing positions is calculated and the photographing position alignment image is generated is calculated. A matching image generation function unit;
A photography position display function section for displaying each of the photography positions;
An image display function unit for image capturing alignment for displaying each image for image capturing alignment;
Photo measurement system with
前記撮影位置合わせ用画像表示機能部は、
前記撮影位置合わせ用画像にカメラから取り込んだ写真を合成した合成画像を表示する請求項1に記載の写真計測システム。
The image display function unit for shooting position alignment is
The photo measurement system according to claim 1, wherein a composite image obtained by combining a photograph taken from a camera with the image for position adjustment is displayed.
カメラから取り込んだ写真の前記撮影位置合わせ用ターゲットの位置と、前記撮影位置合わせ用画像に含まれている前記撮影位置合わせ用ターゲットの位置との一致度を算出して出力する撮影位置判定機能部を備えた請求項1または請求項2に記載の写真計測システム。 A shooting position determination function unit that calculates and outputs the degree of coincidence between the position of the shooting position alignment target of the photograph taken from the camera and the position of the shooting position alignment target included in the shooting position alignment image The photographic measurement system according to claim 1, further comprising: 計測対象物の設計データを読み込み、仮想三次元空間内に前記計測対象物の三次元モデルを生成し、
前記計測対象物を計測するための計測ポイントを設定し、
前記計測対象物の計測ポイントが含まれるように撮影する写真撮影位置の決定基準となる撮影位置合わせ用ターゲットを設定し、
前記三次元モデルを用いて、前記計測ポイントの計測精度が所定精度となる前記写真撮影位置を複数導出し、
前記三次元モデルを用いて、各前記写真撮影位置から撮影した場合の前記計測対象物および前記撮影位置合わせ用ターゲットが写り得る写真座標を算出して、撮影位置合わせ用画像をそれぞれ生成し、
各前記写真撮影位置および各前記撮影位置合わせ用画像を表示する写真撮影位置指示方法。
Read the design data of the measurement object, generate a 3D model of the measurement object in the virtual 3D space,
Set a measurement point for measuring the measurement object,
Set a target for shooting alignment to be a reference for determining a shooting position for shooting so that the measurement point of the measurement object is included,
Using the three-dimensional model, a plurality of the photography positions where the measurement accuracy of the measurement point is a predetermined accuracy are derived,
Using the three-dimensional model, calculate the photo coordinates that can be captured by the measurement object and the shooting alignment target when shooting from each of the shooting positions, respectively, to generate a shooting alignment image,
A photography position instruction method for displaying each photography position and each photographing position alignment image.
前記撮影位置合わせ用画像に、カメラから取り込んだ写真を合成した合成画像として表示する請求項4に記載の写真撮影位置指示方法。 5. The photo shooting position instruction method according to claim 4, wherein the photo shooting position indication method is displayed as a composite image in which a photograph taken from a camera is combined with the image for position adjustment. カメラから取り込んだ写真の前記撮影位置合わせ用ターゲットの位置と、前記撮影位置合わせ用画像に含まれている前記撮影位置合わせ用ターゲットの位置との一致度を算出して出力する請求項5に記載の写真撮影位置指示方法。 6. The degree of coincidence between the position of the shooting position alignment target of a photograph taken from a camera and the position of the shooting position alignment target included in the shooting position alignment image is calculated and output. Photo shooting position instruction method.
JP2014055782A 2014-03-19 2014-03-19 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD Expired - Fee Related JP6138077B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014055782A JP6138077B2 (en) 2014-03-19 2014-03-19 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014055782A JP6138077B2 (en) 2014-03-19 2014-03-19 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD

Publications (2)

Publication Number Publication Date
JP2015178984A true JP2015178984A (en) 2015-10-08
JP6138077B2 JP6138077B2 (en) 2017-05-31

Family

ID=54263136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014055782A Expired - Fee Related JP6138077B2 (en) 2014-03-19 2014-03-19 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD

Country Status (1)

Country Link
JP (1) JP6138077B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129508A (en) * 2016-01-22 2017-07-27 三菱電機株式会社 Self-location estimation system, self-location estimation method, mobile terminal, server and self-location estimation program
JP2021507332A (en) * 2017-12-15 2021-02-22 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited Methods and devices for generating navigation guides
CN114640800A (en) * 2020-12-16 2022-06-17 虫极科技(北京)有限公司 Camera arrangement method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183172A (en) * 1997-12-25 1999-07-09 Mitsubishi Heavy Ind Ltd Photography survey support system
JP4470292B2 (en) * 2000-07-21 2010-06-02 株式会社Ihi How to determine the photography position for photo measurement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183172A (en) * 1997-12-25 1999-07-09 Mitsubishi Heavy Ind Ltd Photography survey support system
JP4470292B2 (en) * 2000-07-21 2010-06-02 株式会社Ihi How to determine the photography position for photo measurement

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129508A (en) * 2016-01-22 2017-07-27 三菱電機株式会社 Self-location estimation system, self-location estimation method, mobile terminal, server and self-location estimation program
JP2021507332A (en) * 2017-12-15 2021-02-22 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited Methods and devices for generating navigation guides
JP7244185B2 (en) 2017-12-15 2023-03-22 アリババ・グループ・ホールディング・リミテッド Method and apparatus for generating a navigation guide
CN114640800A (en) * 2020-12-16 2022-06-17 虫极科技(北京)有限公司 Camera arrangement method and system
CN114640800B (en) * 2020-12-16 2023-10-27 虫极科技(北京)有限公司 Camera arrangement method and system

Also Published As

Publication number Publication date
JP6138077B2 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
US10506225B2 (en) Method of calibrating a camera
JP5745178B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
US7193626B2 (en) Device and method for displaying stereo image
JP5715735B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
JP2006003132A (en) Three-dimensional surveying apparatus and electronic storage medium
JP2007147457A (en) Three-dimensional shape calculation apparatus and method
JP6251142B2 (en) Non-contact detection method and apparatus for measurement object
JP6138077B2 (en) PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD
CN109341537A (en) Dimension measurement method and device based on binocular vision
CN102564311A (en) Method and system for measuring size of object by using traditional camera
CN107101584A (en) Ohject displacement measuring method based on image recognition, apparatus and system
JP2016099235A (en) Normally placed image processing system and structure maintenance management business system
JP5457865B2 (en) Non-contact three-dimensional measuring apparatus and non-contact three-dimensional measuring method
JP2008076405A (en) Three-dimensional surveying apparatus and electronic storage medium
CN108881883A (en) Information processing unit
JP2007033087A (en) Calibration device and method
JP2015075389A (en) Photographic measurement plotting method and photographic measurement plotting device
JP2003006618A (en) Method and device for generating three-dimensional model and computer program
JP2008224323A (en) Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program
JP3696335B2 (en) Method for associating each measurement point of multiple images
JP4470292B2 (en) How to determine the photography position for photo measurement
JP2007218922A (en) Image measuring device
JP2017090551A (en) Imaging device and control method of the same, as well as program, and recording medium
JP5705073B2 (en) PHOTO MEASUREMENT SYSTEM AND METHOD FOR DETERMINING PHOTOGRAPHING CONDITION FOR PHOTO MEASURE
JP2008304331A (en) Three-dimensional coordinate measuring apparatus and program executed in three dimensional coordinate measuring apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170425

R150 Certificate of patent or registration of utility model

Ref document number: 6138077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees