JP2013092888A - Data processor - Google Patents

Data processor Download PDF

Info

Publication number
JP2013092888A
JP2013092888A JP2011234206A JP2011234206A JP2013092888A JP 2013092888 A JP2013092888 A JP 2013092888A JP 2011234206 A JP2011234206 A JP 2011234206A JP 2011234206 A JP2011234206 A JP 2011234206A JP 2013092888 A JP2013092888 A JP 2013092888A
Authority
JP
Japan
Prior art keywords
cad model
point group
target point
dimensional
model candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011234206A
Other languages
Japanese (ja)
Inventor
Yuji Kawaguchi
口 裕 治 河
Yoshinori Sato
藤 美 徳 佐
Shizuka Kimura
村 静 木
Makoto Hatakeyama
山 誠 畠
Masahiro Motohashi
橋 正 宏 本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011234206A priority Critical patent/JP2013092888A/en
Publication of JP2013092888A publication Critical patent/JP2013092888A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which a user cannot accurately grasp a structure even if the user sees three-dimensional CAD (Computer Aided Design) data.SOLUTION: A data processor 10 includes a target point group extraction unit 120 for extracting, from three-dimensional point group data, a target point group corresponding to a CAD (Computer Aided Design) model to be created, a CAD model candidate creation unit 122 for creating plural three-dimensional CAD model candidates on the basis of the CAD model and the target point group, and a display 16 for displaying the target point group and plural three-dimensional CAD model candidates.

Description

本発明は、データ処理装置に関する。   The present invention relates to a data processing apparatus.

リバースエンジニアリングは、図面がなくても、既存製品や既存設備等の構造物からアズビルトデータを取得することにより、製造や改造に必要な形状データや寸法データを作成する技術である。   Reverse engineering is a technique for creating shape data and dimensional data necessary for manufacturing and remodeling by acquiring as-built data from structures such as existing products and existing equipment without drawings.

従来、3次元モデルを得るリバースエンジニアリングが提案されている(例えば、特許文献1及び2を参照)。特に、大型構造物や複数の部品が組み合わされた複雑構造物の高精度な3次元CAD(Computer Aided Design)データを生成するために、複数種類の3次元計測器の計測結果を組み合わせる技術が提案されている(例えば、特許文献3及び4を参照)。   Conventionally, reverse engineering for obtaining a three-dimensional model has been proposed (see, for example, Patent Documents 1 and 2). In particular, in order to generate highly accurate 3D CAD (Computer Aided Design) data for large structures and complex structures with multiple parts combined, a technique that combines the measurement results of multiple types of 3D measuring instruments is proposed. (See, for example, Patent Documents 3 and 4).

特開2003−242186号公報JP 2003-242186 A 特開2001−184527号公報JP 2001-184527 A 特開2007−58508号公報JP 2007-58508 A 特開2010−66169号公報JP 2010-66169 A

しかしながら、従来技術では、3次元計測器の計測精度が低いと、3次元CADデータが構造物を正確に表現しない場合がある。その結果、ユーザは、3次CADデータを見ても、構造物を正確に把握することができない。   However, in the prior art, if the measurement accuracy of the three-dimensional measuring instrument is low, the three-dimensional CAD data may not accurately represent the structure. As a result, the user cannot accurately grasp the structure even when viewing the tertiary CAD data.

本発明は、上記課題を解決するために創作されたものである。本発明の目的は、3次元CADデータが構造物を正確に表現しているか否かについて、ユーザが直感的に判断できるようにすることである。   The present invention has been created to solve the above problems. An object of the present invention is to allow a user to intuitively determine whether or not three-dimensional CAD data accurately represents a structure.

本発明のデータ処理装置は、3次元点群データの中から、作成すべきCAD(Computer Aided Design)モデルに対応する対象点群を抽出する対象点群抽出部と、CADモデルと、対象点群と、に基づいて、複数の3次元CADモデル候補を作成するCADモデル候補作成部と、対象点群と、複数の3次元CADモデル候補と、を表示する表示装置と、を備える。   A data processing apparatus according to the present invention includes a target point group extraction unit that extracts a target point group corresponding to a CAD (Computer Aided Design) model to be created from three-dimensional point group data, a CAD model, and a target point group And a display device that displays a target point group and a plurality of three-dimensional CAD model candidates.

本発明によれば、3次元CADデータが構造物を正確に表現しているか否かについて、ユーザが直感的に判断できるようになる。   According to the present invention, the user can intuitively determine whether or not the three-dimensional CAD data accurately represents the structure.

第1実施形態のデータ処理装置10のブロック図。1 is a block diagram of a data processing apparatus 10 according to a first embodiment. 第1実施形態のCADモデル取得処理のフローチャート。The flowchart of the CAD model acquisition process of 1st Embodiment. 第1実施形態の対象点群抽出(S200)の第2例の説明図。Explanatory drawing of the 2nd example of the object point group extraction (S200) of 1st Embodiment. 第1実施形態のCADモデル候補作成(S202)のフローチャート。The flowchart of CAD model candidate preparation (S202) of 1st Embodiment. 第1実施形態の点群データ距離算出(S202−12)の説明図。Explanatory drawing of point cloud data distance calculation (S202-12) of 1st Embodiment. 第1実施形態の点群データ距離算出(S202−12)の説明図。Explanatory drawing of point cloud data distance calculation (S202-12) of 1st Embodiment. 第1実施形態の選択CADモデル候補表示(S206)のフローチャート。The flowchart of the selection CAD model candidate display (S206) of 1st Embodiment. 第1実施形態の表示モード選択(S206−10)の説明図。Explanatory drawing of display mode selection (S206-10) of 1st Embodiment. 第1実施形態の表示モード選択(S206−10)の説明図。Explanatory drawing of display mode selection (S206-10) of 1st Embodiment. 第1実施形態の表示モード選択(S206−10)の説明図。Explanatory drawing of display mode selection (S206-10) of 1st Embodiment. 第1実施形態の断面モードの説明図。Explanatory drawing of the cross-sectional mode of 1st Embodiment. 第1実施形態の選択CADモデル候補の画面の例の図。The figure of the example of the screen of the selection CAD model candidate of 1st Embodiment. 第2実施形態のデータ処理装置10のブロック図。The block diagram of the data processing apparatus 10 of 2nd Embodiment. 第2実施形態のCADモデル取得処理のフローチャート。The flowchart of the CAD model acquisition process of 2nd Embodiment. 第2実施形態のCADモデル候補調整(S1409)の説明図。Explanatory drawing of CAD model candidate adjustment (S1409) of 2nd Embodiment.

以下、本発明の実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(第1実施形態)
第1実施形態を説明する。
(First embodiment)
A first embodiment will be described.

第1実施形態のデータ処理装置10の構成を説明する。図1は、第1実施形態のデータ処理装置10のブロック図である。   A configuration of the data processing apparatus 10 according to the first embodiment will be described. FIG. 1 is a block diagram of a data processing apparatus 10 according to the first embodiment.

データ処理装置10は、プロセッサ12と、記憶装置14と、表示装置16と、を備える。   The data processing device 10 includes a processor 12, a storage device 14, and a display device 16.

プロセッサ12は、対象点群抽出部120と、CADモデル候補作成部122と、CADモデル候補選択部124と、表示制御部126と、を備える。プロセッサ12の各部については、後述する。   The processor 12 includes a target point group extraction unit 120, a CAD model candidate creation unit 122, a CAD model candidate selection unit 124, and a display control unit 126. Each part of the processor 12 will be described later.

記憶装置14は、プロセッサ12の処理に必要な様々なデータを記憶するコンピュータ読み取り可能な記憶媒体である。例えば、記憶装置14は、フラッシュメモリ又はハードディスクである。記憶装置14には、少なくとも、3次元計測装置を用いて取得した対象構造物表面の位置を示した3次元点群データと、予め用意された複数の3次元CADモデルと、が記憶される。複数の3次元CADモデルは、プラントで使用される部材(例えば、鋼材及び壁材)毎に作成されたものである。例えば、記憶装置14には、鋼材Aの3次元CADモデル、鋼材Bの3次元モデル、壁材Cの3次元CADモデル、及び壁材Dの3次元CADモデルが記憶される。   The storage device 14 is a computer-readable storage medium that stores various data necessary for the processing of the processor 12. For example, the storage device 14 is a flash memory or a hard disk. The storage device 14 stores at least three-dimensional point cloud data indicating the position of the surface of the target structure acquired using a three-dimensional measurement device, and a plurality of three-dimensional CAD models prepared in advance. A plurality of three-dimensional CAD models are created for each member (for example, steel material and wall material) used in the plant. For example, the storage device 14 stores a three-dimensional CAD model of the steel material A, a three-dimensional model of the steel material B, a three-dimensional CAD model of the wall material C, and a three-dimensional CAD model of the wall material D.

表示装置16は、プロセッサ12が作成した画像を表示する装置である。例えば、表示装置16は、液晶ディスプレイである。   The display device 16 is a device that displays an image created by the processor 12. For example, the display device 16 is a liquid crystal display.

第1実施形態のデータ処理装置10の動作を説明する。図2は、第1実施形態のCADモデル取得処理のフローチャートである。   The operation of the data processing apparatus 10 of the first embodiment will be described. FIG. 2 is a flowchart of CAD model acquisition processing according to the first embodiment.

<対象点群抽出(S200)> 対象点群抽出部120は、記憶装置14に記憶された3次元点群データの中から、作成すべきCADモデルに対応する点群(以下「対象点群」という)を抽出する。   <Target Point Cloud Extraction (S200)> The target point cloud extraction unit 120 selects a point cloud corresponding to a CAD model to be created (hereinafter referred to as “target point cloud”) from the three-dimensional point cloud data stored in the storage device 14. Extract).

対象点群抽出(S200)の第1例を説明する。対象点群抽出部120は、3次元点群データにおいて、空間的距離及び輝度値の少なくとも1つが所定の範囲内に含まれる点群を、1つのグループにまとめる。これにより、プラントで使用される部材毎の対象点群が抽出される。   A first example of target point group extraction (S200) will be described. The target point group extraction unit 120 collects a point group in which at least one of a spatial distance and a luminance value is included in a predetermined range in the three-dimensional point group data into one group. Thereby, the object point group for every member used in a plant is extracted.

対象点群抽出(S200)の第2例を説明する。図3は、第1実施形態の対象点群抽出(S200)の第2例の説明図である。図3に示すように、表示装置16には、3次元点群データに対応する画像(以下「3次元点群画像」という)が表示される。ユーザは、3次元点群画像において、指定領域UAを指定する。その結果、表示装置16には、2次元マップが表示される。2次元マップは、指定領域UAに含まれる点群と、仮想カメラ位置及び視線方向と、を含む。ユーザは、仮想カメラ位置及び視線方向を変更しながら、指定領域UAを確定する。対象点群抽出部120は、確定した指定領域UAに含まれる点群を、対象点群として抽出する。   A second example of target point group extraction (S200) will be described. FIG. 3 is an explanatory diagram of a second example of target point group extraction (S200) of the first embodiment. As shown in FIG. 3, the display device 16 displays an image corresponding to the three-dimensional point cloud data (hereinafter referred to as “three-dimensional point cloud image”). The user designates the designated area UA in the three-dimensional point cloud image. As a result, a two-dimensional map is displayed on the display device 16. The two-dimensional map includes a point group included in the designated area UA, a virtual camera position, and a line-of-sight direction. The user determines the designated area UA while changing the virtual camera position and the line-of-sight direction. The target point group extraction unit 120 extracts a point group included in the determined designated area UA as a target point group.

<CADモデル候補作成(S202)> CADモデル候補作成部122は、記憶装置14に記憶された3次元CADモデルと、S200で抽出された対象点群と、に基づいて、複数の3次元CADモデル候補を作成する。   <CAD Model Candidate Creation (S202)> The CAD model candidate creation unit 122 includes a plurality of 3D CAD models based on the 3D CAD model stored in the storage device 14 and the target point group extracted in S200. Create a candidate.

第1実施形態のCADモデル候補作成(S202)について説明する。図4は、第1実施形態のCADモデル候補作成(S202)のフローチャートである。   The CAD model candidate creation (S202) of the first embodiment will be described. FIG. 4 is a flowchart of CAD model candidate creation (S202) according to the first embodiment.

<CADモデル読込(S202−10)> CADモデル候補作成部122は、記憶装置14に記憶された3次元CADモデルを読み込む。   <Read CAD Model (S202-10)> The CAD model candidate creation unit 122 reads a three-dimensional CAD model stored in the storage device 14.

<点群データ距離計算(S202−12)> CADモデル候補作成部122は、式1を用いて、3次元CADモデルの面と対象点群に含まれる全ての点との距離の総和D(以下「点群データ距離」という)を計算する。式1において、Pは対象点群の集合であり、piは対象点群に含まれる任意の点であり、d(pi)は、対象点群の任意の点piと3次元CADモデルの面との距離である。距離d(pi)は、式2から得られる。式2において、pは対象点群の任意の点の座標であり、pは3次元CADモデルの面上の任意の点の座標であり、θはCADモデルの面の法線ベクトルとベクトルp・pのなす角度である。換言すると、点群データ距離は、対象点群とCADモデルと間の類似度を表す。例えば、点群データ距離が小さいほど、類似度が高い。

Figure 2013092888
Figure 2013092888
<Point Cloud Data Distance Calculation (S202-12)> The CAD model candidate creation unit 122 uses Formula 1 to calculate the sum D of distances between the surface of the three-dimensional CAD model and all points included in the target point cloud (hereinafter referred to as “D point calculation”) "Point cloud data distance"). In Equation 1, P is a set of target point groups, pi is an arbitrary point included in the target point group, and d (pi) is an arbitrary point pi of the target point group and a plane of the three-dimensional CAD model. Is the distance. The distance d (pi) is obtained from Equation 2. In Equation 2, p is a coordinate of an arbitrary point of the target point group, p 0 is a coordinate of an arbitrary point on the surface of the three-dimensional CAD model, and θ is a normal vector and a vector p of the surface of the CAD model. · p is the angle of 0. In other words, the point cloud data distance represents the degree of similarity between the target point cloud and the CAD model. For example, the smaller the point cloud data distance, the higher the similarity.
Figure 2013092888
Figure 2013092888

<CADモデル候補表示(S202−14)> CADモデル候補作成部122は、記憶装置14に記憶された3次元CADモデル(すなわち、対象点群との類似度が高い部材のCADモデル)を、点群データ距離が小さい部材の順に、CADモデル候補として選択する。これにより、表示装置16には、対象点群との類似度が高い順に、複数のCADモデル候補の画像が表示される。   <CAD Model Candidate Display (S202-14)> The CAD model candidate creation unit 122 displays a three-dimensional CAD model stored in the storage device 14 (that is, a CAD model of a member having a high degree of similarity with the target point group). The CAD model candidates are selected in the order of members having the smallest group data distance. As a result, images of a plurality of CAD model candidates are displayed on the display device 16 in descending order of similarity to the target point group.

図5及び6は、第1実施形態の点群データ距離算出(S202−12)の説明図である。図5に示すように、部材の断面の形状が一様(例えば、矩形)である場合には、CADモデル候補作成部122は、図6に示すように、対象点群と部材の2次元CADモデルの線分との距離の総和を用いて、CADモデル候補を選択しても良い。これにより、点群データ距離算出(S202−12)における計算量と、記憶装置14に記憶すべき3次元CADモデルの容量と、を低減することができる。   5 and 6 are explanatory diagrams of the point cloud data distance calculation (S202-12) according to the first embodiment. As shown in FIG. 5, when the shape of the cross section of the member is uniform (for example, rectangular), the CAD model candidate creation unit 122 performs two-dimensional CAD of the target point group and the member as shown in FIG. 6. CAD model candidates may be selected using the sum of the distances from the line segments of the model. Thereby, the calculation amount in the point cloud data distance calculation (S202-12) and the capacity of the three-dimensional CAD model to be stored in the storage device 14 can be reduced.

第1実施形態の点群データ距離算出(S202−12)の変形例について説明する。CADモデル候補作成部122は、対象点群の面データを作成し、その面データをCADモデルに変換しても良い。この場合には、変換により得られるCADモデルが、CADモデル候補である。   A modification of the point cloud data distance calculation (S202-12) of the first embodiment will be described. The CAD model candidate creation unit 122 may create surface data of the target point group and convert the surface data into a CAD model. In this case, the CAD model obtained by the conversion is a CAD model candidate.

<CADモデル候補選択(S204)> 表示制御部126は、複数のCADモデル候補の少なくとも1つを選択するのに用いられる選択用画像を生成する。これにより、表示装置16には、選択用画像が表示される。ユーザが、選択用画像を用いて、データ処理装置10に指示を与えると、CADモデル候補選択部124は、ユーザの指示に従って、表示装置16に表示された複数のCADモデル候補の画像の中から、CADモデル候補を選択する。   <CAD Model Candidate Selection (S204)> The display control unit 126 generates a selection image used to select at least one of a plurality of CAD model candidates. Thereby, the selection image is displayed on the display device 16. When the user gives an instruction to the data processing apparatus 10 using the selection image, the CAD model candidate selection unit 124 selects from among the images of the plurality of CAD model candidates displayed on the display device 16 according to the user's instruction. , CAD model candidates are selected.

<選択CADモデル候補表示(S206)> 表示装置16には、CADモデル候補選択(S204)において選択されたCADモデル候補(以下「選択CADモデル候補」という)の画像が表示される。   <Selected CAD Model Candidate Display (S206)> The display device 16 displays an image of the CAD model candidate selected in the CAD model candidate selection (S204) (hereinafter referred to as “selected CAD model candidate”).

第1実施形態の選択CADモデル候補表示(S206)について説明する。図7は、第1実施形態の選択CADモデル候補表示(S206)のフローチャートである。   The selection CAD model candidate display (S206) of the first embodiment will be described. FIG. 7 is a flowchart of the selection CAD model candidate display (S206) of the first embodiment.

<表示モード選択(S206−10)> 表示制御部126は、選択CADモデル候補の画像の表示モードを選択するための表示モード選択画面を、表示装置16に表示する。ユーザは、表示モード選択画面において、入力デバイス(例えば、マウス、キーボード、又は表示モード選択画面に含まれるソフトキー)を用いて、表示モードを選択する。   <Display Mode Selection (S206-10)> The display control unit 126 displays on the display device 16 a display mode selection screen for selecting the display mode of the selected CAD model candidate image. On the display mode selection screen, the user selects a display mode using an input device (for example, a mouse, a keyboard, or a soft key included in the display mode selection screen).

第1実施形態の表示モード選択(S206−10)について説明する。図8〜11は、第1実施形態の表示モード選択(S206−10)の説明図である。   The display mode selection (S206-10) of the first embodiment will be described. 8 to 11 are explanatory diagrams of display mode selection (S206-10) according to the first embodiment.

ユーザは、鳥瞰モードと、輪郭モードと、面モードと、断面モードと、の少なくとも1つを、表示モードとして選択する。鳥瞰モードでは、選択CADモデル候補の画像が鳥瞰的に表示される。輪郭モードでは、少なくとも輪郭線を含む選択CADモデル候補の画像が表示される。面モードでは、選択CADモデル候補の面の画像が表示される。断面モードでは、選択CADモデル候補の断面の画像が表示される。   The user selects at least one of the bird's-eye view mode, the contour mode, the surface mode, and the cross-sectional mode as the display mode. In the bird's-eye view mode, the image of the selected CAD model candidate is displayed in a bird's-eye view. In the contour mode, an image of a selected CAD model candidate including at least a contour line is displayed. In the surface mode, an image of the surface of the selected CAD model candidate is displayed. In the cross section mode, an image of a cross section of the selected CAD model candidate is displayed.

図8に示すように、鳥瞰モードでは、ユーザは、仮想カメラの位置(視点)と、カメラの向き(視線方向)と、を任意に設定することができる。この場合には、表示装置16には、選択CADモデル候補の鳥瞰画像と、対象点群を透視投影した投影画像と、が表示される。   As shown in FIG. 8, in the bird's-eye view mode, the user can arbitrarily set the position (viewpoint) of the virtual camera and the direction (line-of-sight direction) of the camera. In this case, the display device 16 displays a bird's-eye view image of the selected CAD model candidate and a projection image obtained by perspectively projecting the target point group.

図9に示すように、輪郭モードでは、表示装置16には、選択CADモデル候補の輪郭線のみの画像か(図9(A)を参照)、又は、選択CADモデル候補の輪郭線及び面の画像が表示される(図9(B))。即ち、輪郭モードでは、表示装置16には、選択CADモデル候補の輪郭線を含む画像が表示される。   As shown in FIG. 9, in the outline mode, the display device 16 displays an image of only the outline of the selected CAD model candidate (see FIG. 9A) or the outline and surface of the selected CAD model candidate. An image is displayed (FIG. 9B). That is, in the contour mode, an image including the contour line of the selected CAD model candidate is displayed on the display device 16.

図10に示すように、面モードでは、ユーザは、選択CADモデル候補の面を任意に選択することができる。この場合には、表示装置16には、選択された面(以下「選択面」という)の周囲の対象点群を、選択面上に正射影した正射影面画像が表示される。   As illustrated in FIG. 10, in the surface mode, the user can arbitrarily select a surface of the selected CAD model candidate. In this case, the display device 16 displays an orthographic plane image obtained by orthogonally projecting the target point group around the selected plane (hereinafter referred to as “selected plane”) on the selected plane.

なお、鳥瞰モード及び面モードの両方が選択された場合には、表示装置16には、鳥瞰モードの鳥瞰画像及び投影画像に選択面が表示される。これにより、ユーザは、面モードで選択した選択面と鳥瞰モードの鳥瞰画像及び投影画像における選択面との位置関係を容易に知ることができる。   When both the bird's-eye mode and the surface mode are selected, the display device 16 displays the selection surface in the bird's-eye image and the projected image in the bird's-eye mode. Thereby, the user can easily know the positional relationship between the selected surface selected in the surface mode, the bird's eye image in the bird's eye view mode, and the selected surface in the projection image.

図11に示すように、断面モードでは、ユーザは、選択CADモデル候補の断面の位置を任意に選択することができる。この場合には、表示装置16には、選択された断面の位置(以下「選択断面位置」という)の周囲の対象点群を、選択断面上に正射影した正射影断面画像が表示される。   As shown in FIG. 11, in the cross-section mode, the user can arbitrarily select the position of the cross-section of the selected CAD model candidate. In this case, the display device 16 displays an orthographic cross-sectional image obtained by orthogonally projecting the target point group around the position of the selected cross-section (hereinafter referred to as “selected cross-section position”) on the selected cross-section.

なお、鳥瞰モード及び断面モードの両方が選択された場合には、表示装置16には、鳥瞰モードの鳥瞰画像及び投影画像に選択断面位置が表示される。これにより、ユーザは、断面モードで選択した選択断面位置と鳥瞰モードの鳥瞰画像及び投影画像における選択断面との位置関係を容易に知ることができる。   When both the bird's-eye mode and the cross-sectional mode are selected, the display device 16 displays the selected cross-sectional position on the bird's-eye image and the projected image in the bird's-eye mode. Thereby, the user can easily know the positional relationship between the selected cross-sectional position selected in the cross-sectional mode and the selected cross-section in the bird's-eye view image and the projected image in the bird's-eye view mode.

さらに、表示装置16には、鳥瞰モード、面モード、及び断面モードの何れが選択された場合であっても、表示中の選択CADモデル候補のCAD情報(例えば、部材の種類、寸法、位置の数値、姿勢の数値、及びユーザのID(Identification))を表示しても良い。これにより、視覚的な評価に加えて、選択CADモデル候補の定量的な評価が容易になる。   Further, the display device 16 has CAD information (for example, the type, size, and position of the member) of the selected CAD model candidate being displayed, regardless of which of the bird's-eye mode, the plane mode, and the cross-sectional mode is selected. A numerical value, a numerical value of an attitude, and a user ID (Identification)) may be displayed. This facilitates quantitative evaluation of the selected CAD model candidate in addition to visual evaluation.

<表示制御(S206−12)> 表示制御部126は、表示モード選択(S206−10)において選択された表示モードに応じて、画像を作成する。例えば、鳥瞰モードが選択された場合には、表示制御部126は、鳥瞰画像及び投影画像を作成し(図8を参照)、輪郭モードが選択された場合には、輪郭線を少なくとも含む選択CADモデル候補の画像を作成し(図9を参照)、面モードが選択された場合には、正射影面画像を作成し(図10を参照)、断面モードが選択された場合には、正射影断面画像を作成する(図11を参照)。   <Display Control (S206-12)> The display control unit 126 creates an image according to the display mode selected in the display mode selection (S206-10). For example, when the bird's-eye view mode is selected, the display control unit 126 creates a bird's-eye view image and a projection image (see FIG. 8). When the contour mode is selected, the selection CAD includes at least a contour line. An image of a model candidate is created (see FIG. 9). When the plane mode is selected, an orthographic plane image is created (see FIG. 10). When the section mode is selected, the orthographic projection is created. A cross-sectional image is created (see FIG. 11).

図12は、第1実施形態の選択CADモデル候補の画面の例の図である。図12に示すように、選択CADモデル候補の画面は、3次元点群画像と、CAD情報と、鳥瞰モードの画像と、面モードの画像と、を含む。これにより、ユーザは、CADモデル候補と、対象点群の状態と、を直感的に確認することができる。なお、図12の代わりに、3次元点群画像と、それ以外の画像(即ち、CAD情報、鳥瞰モードの画像、及び面モードの画像)と、を別ウィンドウで表示しても良い。   FIG. 12 is a diagram illustrating an example of a selection CAD model candidate screen according to the first embodiment. As shown in FIG. 12, the screen of the selected CAD model candidate includes a three-dimensional point cloud image, CAD information, a bird's eye mode image, and a plane mode image. Thereby, the user can intuitively confirm the CAD model candidate and the state of the target point group. Instead of FIG. 12, a three-dimensional point cloud image and other images (that is, CAD information, an image in bird's-eye view mode, and an image in plane mode) may be displayed in separate windows.

<S208> ユーザは、図12の選択CADモデル候補の画面を見て、選択CADモデル候補を確定するか否かを決定する。例えば、ユーザは、選択CADモデル候補と対象点群とが略一致する場合に、選択CADモデル候補の確定を決定する。ユーザが、選択CADモデル候補を確定することを決定した場合には(S208:YES)、S210が実行される。一方、ユーザが、選択CADモデル候補を確定しないことを決定した場合には(S208:NO)、S204が再び実行される。このS204では、ユーザは、選択CADモデル候補を変更することができる。   <S208> The user looks at the screen of the selected CAD model candidate in FIG. 12 and determines whether or not to confirm the selected CAD model candidate. For example, when the selected CAD model candidate and the target point group substantially match, the user determines to confirm the selected CAD model candidate. When the user decides to confirm the selected CAD model candidate (S208: YES), S210 is executed. On the other hand, when the user decides not to determine the selected CAD model candidate (S208: NO), S204 is executed again. In S204, the user can change the selected CAD model candidate.

<選択CADモデル候補記憶(S210)> S208において確定した選択CADモデル候補が、記憶装置14に記憶されたCADモデルに関連付けて、記憶装置14に記憶される。即ち、記憶装置14には、予め記憶されたCADモデルに類似する、対象点群から得られたCADモデルが記憶される。   <Selected CAD Model Candidate Storage (S210)> The selected CAD model candidate determined in S208 is stored in the storage device 14 in association with the CAD model stored in the storage device 14. That is, the storage device 14 stores a CAD model obtained from the target point group, which is similar to a CAD model stored in advance.

第1実施形態によれば、ユーザは、選択CADモデル候補と対象点群とが略一致するか否かを、図12の画面から直感的に判断することができる。これにより、ヒューマンエラーと、複数のユーザ間の識別誤差と、を低減することができる。さらに、ユーザが直感的に判断するので、自動識別によるエラーを防ぐことができる。   According to the first embodiment, the user can intuitively determine from the screen in FIG. 12 whether or not the selected CAD model candidate and the target point group substantially match. Thereby, human errors and identification errors among a plurality of users can be reduced. Furthermore, since the user makes an intuitive determination, errors due to automatic identification can be prevented.

なお、第1実施形態では、CAD情報に含まれるIDを、S208において確定した選択CADモデル候補に関連付けて、記憶装置14に記憶しても良い。この場合には、ユーザ毎の作業状況を確認することができる。これにより、例えば、エラーが多いユーザに指導することができる。その結果、ヒューマンエラーと、複数のユーザ間の識別誤差をより低減することができる。   In the first embodiment, the ID included in the CAD information may be stored in the storage device 14 in association with the selected CAD model candidate determined in S208. In this case, the work situation for each user can be confirmed. Thereby, for example, a user with many errors can be instructed. As a result, human errors and identification errors between a plurality of users can be further reduced.

(第2実施形態)
本発明の第2実施形態を説明する。なお、上述の実施形態と同様の内容の説明は省略する。
(Second Embodiment)
A second embodiment of the present invention will be described. In addition, description of the same content as the above-described embodiment is omitted.

第2実施形態のデータ処理装置10の構成を説明する。図13は、第2実施形態のデータ処理装置10のブロック図である。   A configuration of the data processing apparatus 10 according to the second embodiment will be described. FIG. 13 is a block diagram of the data processing apparatus 10 according to the second embodiment.

データ処理装置10は、プロセッサ12と、記憶装置14と、表示装置16と、を備える。記憶装置14及び表示装置16は第1実施形態と同様である。   The data processing device 10 includes a processor 12, a storage device 14, and a display device 16. The storage device 14 and the display device 16 are the same as in the first embodiment.

プロセッサ12は、対象点群抽出部120と、CADモデル候補作成部122と、CADモデル候補選択部124と、表示制御部126と、不要点群除去部128と、CADモデル候補調整部130と、を備える。プロセッサ12の各部については、後述する。   The processor 12 includes a target point group extraction unit 120, a CAD model candidate creation unit 122, a CAD model candidate selection unit 124, a display control unit 126, an unnecessary point group removal unit 128, a CAD model candidate adjustment unit 130, Is provided. Each part of the processor 12 will be described later.

第2実施形態のデータ処理装置10の動作を説明する。図14は、第2実施形態のCADモデル取得処理のフローチャートである。   The operation of the data processing apparatus 10 of the second embodiment will be described. FIG. 14 is a flowchart of CAD model acquisition processing according to the second embodiment.

<対象点群抽出(S1400)〜選択CADモデル候補表示(S1406)> 第1実施形態(図2の対象点群抽出(S200)〜選択CADモデル候補表示(S206))と同様である。   <Target Point Cloud Extraction (S1400) -Selected CAD Model Candidate Display (S1406)> This is the same as the first embodiment (target point cloud extraction (S200) -selected CAD model candidate display (S206) in FIG. 2).

<S1407> 不要点群除去部128は、不要点群を除去するか否かを判定する。例えば、ユーザは、図12の選択CADモデル候補の画像(特に、鳥瞰モードの画像又は面モードの画像)を見ながら、選択CADモデル候補から乖離した点群を除去すべき不要点群として指定する。不要点群除去部128は、ユーザの指定に従って、対象点群のうち不要点群を除去する。例えば、不要点群は、ある部材に接合する他の部材の点群又は計測時に発生するノイズに起因する点群である。   <S1407> The unnecessary point group removal unit 128 determines whether or not to remove the unnecessary point group. For example, the user designates a point group deviating from the selected CAD model candidate as an unnecessary point group to be removed while viewing the selected CAD model candidate image (particularly, the bird's-eye view mode image or the plane mode image) in FIG. . The unnecessary point group removal unit 128 removes unnecessary point groups from the target point group in accordance with the user's designation. For example, the unnecessary point group is a point group caused by noise generated during measurement or a point group of another member joined to a certain member.

不要点群を除去した場合には(S1407:YES)、S1402が再び実行される。このS1402では、不要点群を含まない対象点群に基づいて、CADモデル候補が作成される。一方、不要点群を除去しなかった場合には(S1407:NO)、S1408が実行される。   When the unnecessary point group is removed (S1407: YES), S1402 is executed again. In S1402, CAD model candidates are created based on target point groups that do not include unnecessary point groups. On the other hand, when the unnecessary point group is not removed (S1407: NO), S1408 is executed.

<S1408> 第1実施形態(図2のS208)と同様である。なお、ユーザが、選択CADモデル候補を確定することを決定した場合には(S1408:YES)、S1409が実行される。一方、ユーザが、選択CADモデル候補を確定しないことを決定した場合には(S1408:NO)、S1404が再び実行される。   <S1408> The same as in the first embodiment (S208 in FIG. 2). If the user decides to confirm the selected CAD model candidate (S1408: YES), S1409 is executed. On the other hand, when the user decides not to confirm the selected CAD model candidate (S1408: NO), S1404 is executed again.

<CADモデル候補調整(S1409)> CADモデル候補調整部130は、S1408で確定した選択CADモデル候補(以下「調整前モデル」という)の位置、姿勢、及び形状の少なくとも1つを調整することにより、調整後モデルを生成する。図15は、第2実施形態のCADモデル候補調整(S1409)の説明図である。   <CAD Model Candidate Adjustment (S1409)> The CAD model candidate adjustment unit 130 adjusts at least one of the position, orientation, and shape of the selected CAD model candidate (hereinafter referred to as “pre-adjustment model”) determined in S1408. Generate an adjusted model. FIG. 15 is an explanatory diagram of CAD model candidate adjustment (S1409) according to the second embodiment.

図15に示すように、CADモデル候補調整部130は、調整前モデルの平行移動(即ち、位置の調整)、回転(即ち、姿勢の調整)、及び伸縮(即ち、形状の調整)の少なくとも1つを行うことにより、調整後モデルを生成する。調整後モデルは、調整前モデルと比べて、より多くの対象点群を含む。   As illustrated in FIG. 15, the CAD model candidate adjustment unit 130 includes at least one of parallel movement (that is, position adjustment), rotation (that is, posture adjustment), and expansion and contraction (that is, shape adjustment) of the pre-adjustment model. The adjusted model is generated by The adjusted model includes more target point groups than the pre-adjusted model.

<S1410> S1409において生成した調整後CADモデル候補が、記憶装置14に記憶されたCADモデルに関連付けて、記憶装置14に記憶される。即ち、記憶装置14には、予め記憶されたCADモデルに類似する、対象点群から得られたCADモデルであって、より多くの対象点群を含むように調整されたCADモデルが記憶される。   <S1410> The adjusted CAD model candidate generated in S1409 is stored in the storage device 14 in association with the CAD model stored in the storage device 14. That is, the storage device 14 stores a CAD model obtained from a target point group that is similar to a CAD model stored in advance and adjusted to include more target point groups. .

第2実施形態によれば、より多くの対象点群を含むようにCADモデル候補が調整されるので、ユーザは、第1実施形態より最適な選択CADモデル候補に基づいて、当該選択CADモデル候補と対象点群とが略一致するか否かを、図12の画面から直感的に判断することができる。これにより、第1実施形態と比べて、ヒューマンエラーと、複数のユーザ間の識別誤差と、を低減することができる。   According to the second embodiment, the CAD model candidates are adjusted so as to include more target point groups. Therefore, the user can select the selected CAD model candidate based on the most suitable selected CAD model candidate than the first embodiment. And the target point group can be intuitively determined from the screen of FIG. Thereby, compared with 1st Embodiment, a human error and the identification error between several users can be reduced.

本発明の実施形態に係るデータ処理装置10の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、データ処理装置10の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。   At least a part of the data processing apparatus 10 according to the embodiment of the present invention may be configured by hardware or software. When configured by software, a program for realizing at least a part of the functions of the data processing apparatus 10 may be stored in a recording medium such as a flexible disk or a CD-ROM, and read and executed by a computer. The recording medium is not limited to a removable medium such as a magnetic disk or an optical disk, but may be a fixed recording medium such as a hard disk device or a memory.

また、本発明の実施形態に係るデータ処理装置10の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。   Further, a program for realizing at least a part of the functions of the data processing apparatus 10 according to the embodiment of the present invention may be distributed via a communication line (including wireless communication) such as the Internet. Further, the program may be distributed in a state where the program is encrypted, modulated or compressed, and stored in a recording medium via a wired line such as the Internet or a wireless line.

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   In addition, this invention is not limited to embodiment mentioned above, It deform | transforms and implements a component in the range which does not deviate from the summary. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, you may delete a some component from all the components shown by embodiment mentioned above. Furthermore, constituent elements over different embodiments may be appropriately combined.

10 データ処理装置
12 プロセッサ
120 対象点群抽出部
122 CADモデル候補作成部
124 CADモデル候補選択部
126 表示制御部
14 記憶装置
16 表示装置
DESCRIPTION OF SYMBOLS 10 Data processor 12 Processor 120 Target point group extraction part 122 CAD model candidate creation part 124 CAD model candidate selection part 126 Display control part 14 Storage device 16 Display apparatus

Claims (10)

3次元点群データの中から、作成すべきCAD(Computer Aided Design)モデルに対応する対象点群を抽出する対象点群抽出部と、
前記CADモデルと、前記対象点群と、に基づいて、複数の3次元CADモデル候補を作成するCADモデル候補作成部と、
前記対象点群と、前記複数の3次元CADモデル候補と、を表示する表示装置と、を備えることを特徴とするデータ処理装置。
A target point cloud extraction unit for extracting a target point cloud corresponding to a CAD (Computer Aided Design) model to be created from the three-dimensional point cloud data;
A CAD model candidate creation unit that creates a plurality of three-dimensional CAD model candidates based on the CAD model and the target point group;
A data processing apparatus comprising: a display device that displays the target point group and the plurality of three-dimensional CAD model candidates.
複数のCADモデルを記憶可能な記憶装置をさらに備え、
前記CADモデル候補作成部は、前記記憶装置に記憶された複数のCADモデルと、前記対象点群と、に基づいて、前記複数の3次元CADモデル候補を作成する、請求項1に記載のデータ処理装置。
A storage device capable of storing a plurality of CAD models;
The data according to claim 1, wherein the CAD model candidate creation unit creates the plurality of 3D CAD model candidates based on a plurality of CAD models stored in the storage device and the target point group. Processing equipment.
前記表示装置は、前記複数の3次元CADモデル候補の少なくとも1つを選択するのに用いられる選択用画像を表示する、請求項1又は2に記載のデータ処理装置。   The data processing device according to claim 1, wherein the display device displays a selection image used to select at least one of the plurality of three-dimensional CAD model candidates. 前記表示装置は、前記3次元CADモデル候補を鳥瞰的に示す鳥瞰画像を表示する、請求項1乃至3の何れかに記載のデータ処理装置。   The data processing device according to claim 1, wherein the display device displays a bird's-eye view image showing the three-dimensional CAD model candidate in a bird's-eye view. 前記表示装置は、ユーザの指示に従って、前記3次元CADモデル候補に対する視点及び視線の少なくとも1つを変更する、請求項1乃至4の何れかに記載のデータ処理装置。   The data processing device according to claim 1, wherein the display device changes at least one of a viewpoint and a line of sight with respect to the three-dimensional CAD model candidate according to a user instruction. 前記表示装置は、前記3次元CADモデル候補の輪郭線を含む画像を表示する、請求項1乃至5の何れかに記載のデータ処理装置。   The data processing device according to claim 1, wherein the display device displays an image including a contour line of the three-dimensional CAD model candidate. 前記表示装置は、前記3次元CADモデル候補のCAD情報を表示する、請求項1乃至6の何れかに記載のデータ処理装置。   The data processing device according to claim 1, wherein the display device displays CAD information of the three-dimensional CAD model candidate. ユーザの指示に従って、対象点群のうち不要点群を除去する不要点群除去部をさらに備え、
前記CADモデル候補作成部は、前記不要点群が除去された後の対象点群と、前記CADモデルと、に基づいて、複数の3次元CADモデル候補を作成する、請求項1乃至7の何れかに記載のデータ処理装置。
In accordance with a user's instruction, an unnecessary point group removing unit that removes unnecessary point groups from the target point group is further provided,
The CAD model candidate creation unit creates a plurality of three-dimensional CAD model candidates based on the target point group from which the unnecessary point group has been removed and the CAD model. A data processing device according to any one of the above.
前記3次元CADモデル候補の位置、姿勢、及び形状の少なくとも1つを調整するCADモデル候補調整部をさらに備える、請求項1乃至8の何れかに記載のデータ処理装置。   The data processing apparatus according to claim 1, further comprising a CAD model candidate adjustment unit that adjusts at least one of a position, a posture, and a shape of the three-dimensional CAD model candidate. 前記3次元CADモデル候補と、ユーザに固有のID(Identification)と、を互いに関連付けて記憶する記憶装置をさらに備える、請求項1乃至9の何れかに記載のデータ処理装置。   The data processing device according to claim 1, further comprising a storage device that stores the three-dimensional CAD model candidate and an ID (Identification) unique to the user in association with each other.
JP2011234206A 2011-10-25 2011-10-25 Data processor Pending JP2013092888A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011234206A JP2013092888A (en) 2011-10-25 2011-10-25 Data processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011234206A JP2013092888A (en) 2011-10-25 2011-10-25 Data processor

Publications (1)

Publication Number Publication Date
JP2013092888A true JP2013092888A (en) 2013-05-16

Family

ID=48615970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011234206A Pending JP2013092888A (en) 2011-10-25 2011-10-25 Data processor

Country Status (1)

Country Link
JP (1) JP2013092888A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016079009A (en) * 2014-10-21 2016-05-16 株式会社日立ビルシステム Installation drawing creation device, installation drawing creation method and installation drawing creation program
JP2018045587A (en) * 2016-09-16 2018-03-22 株式会社トプコン Image processing device, image processing method, and image processing program
JP2020197979A (en) * 2019-06-04 2020-12-10 田中 成典 Three-dimensional model generation device based on three-dimensional point group data
JP2021044014A (en) * 2020-12-04 2021-03-18 株式会社トプコン Image processing device, image processing method and image processing program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216166A (en) * 2001-01-17 2002-08-02 Ricoh Co Ltd Three-dimensional model retrieval system
WO2003012740A1 (en) * 2001-07-31 2003-02-13 Cad Center Corporation Automatic generating device for 3-d structure shape, automatic generating method, program therefor, and recording medium recording the program
JP2003194530A (en) * 2001-12-28 2003-07-09 Mitsubishi Heavy Ind Ltd Method and apparatus for measuring already existing pipeline
JP2003323461A (en) * 2002-05-01 2003-11-14 Mitsubishi Heavy Ind Ltd Cad data generation device and information manipulation method
JP2004030226A (en) * 2002-06-26 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for generating form model from three-dimensional point group, and recording medium with the same program recorded thereon
JP2004240599A (en) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for acquiring configuration, and recording medium for recording this program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216166A (en) * 2001-01-17 2002-08-02 Ricoh Co Ltd Three-dimensional model retrieval system
WO2003012740A1 (en) * 2001-07-31 2003-02-13 Cad Center Corporation Automatic generating device for 3-d structure shape, automatic generating method, program therefor, and recording medium recording the program
JP2003194530A (en) * 2001-12-28 2003-07-09 Mitsubishi Heavy Ind Ltd Method and apparatus for measuring already existing pipeline
JP2003323461A (en) * 2002-05-01 2003-11-14 Mitsubishi Heavy Ind Ltd Cad data generation device and information manipulation method
JP2004030226A (en) * 2002-06-26 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> Method, apparatus and program for generating form model from three-dimensional point group, and recording medium with the same program recorded thereon
JP2004240599A (en) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for acquiring configuration, and recording medium for recording this program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016079009A (en) * 2014-10-21 2016-05-16 株式会社日立ビルシステム Installation drawing creation device, installation drawing creation method and installation drawing creation program
JP2018045587A (en) * 2016-09-16 2018-03-22 株式会社トプコン Image processing device, image processing method, and image processing program
JP2020197979A (en) * 2019-06-04 2020-12-10 田中 成典 Three-dimensional model generation device based on three-dimensional point group data
JP7424573B2 (en) 2019-06-04 2024-01-30 成典 田中 3D model generation device based on 3D point cloud data
JP2021044014A (en) * 2020-12-04 2021-03-18 株式会社トプコン Image processing device, image processing method and image processing program
JP7112469B2 (en) 2020-12-04 2022-08-03 株式会社トプコン Image processing device, image processing method, image processing program

Similar Documents

Publication Publication Date Title
CN105493154B (en) System and method for determining the range of the plane in augmented reality environment
JP4677536B1 (en) 3D object recognition apparatus and 3D object recognition method
JP6503906B2 (en) Image processing apparatus, image processing method and image processing program
US20190268509A1 (en) Image processing device, image processing method, and recording medium
EP3629302B1 (en) Information processing apparatus, information processing method, and storage medium
JP6144364B2 (en) Work support data creation program
JP6464938B2 (en) Image processing apparatus, image processing method, and image processing program
JP2017182302A (en) Image processing program, image processing apparatus, and image processing method
JP6425511B2 (en) Method of determining feature change and feature change determination apparatus and feature change determination program
JP5571128B2 (en) Measurement support apparatus, method and program
JP2013092888A (en) Data processor
CN113610702B (en) Picture construction method and device, electronic equipment and storage medium
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
JP6719945B2 (en) Information processing apparatus, information processing method, information processing system, and program
JP6405539B2 (en) Label information processing apparatus for multi-viewpoint image and label information processing method
JP6564259B2 (en) Image processing apparatus and image processing method
JP7544484B2 (en) Graphical user interface for indicating off-screen points of interest - Patents.com
KR20210023663A (en) Image processing method and image processing apparatus for generating 3d content using 2d images
KR100782152B1 (en) Method for obtaining 3-dimensional building data from aerial photograph db
JP2005165665A (en) Operation assist device and method for virtual object, computer program, and computer readable recording medium
JP5287613B2 (en) Image display method, information processing apparatus, and image display program
JP2016058043A (en) Information processing device, information processing method, and program
JP2020126332A (en) Object position estimation device and method thereof
JP5964611B2 (en) 3D map display system
JP6948363B2 (en) Information processing equipment, information processing methods, and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150522