JP2010210576A - Shape recognition device - Google Patents

Shape recognition device Download PDF

Info

Publication number
JP2010210576A
JP2010210576A JP2009059686A JP2009059686A JP2010210576A JP 2010210576 A JP2010210576 A JP 2010210576A JP 2009059686 A JP2009059686 A JP 2009059686A JP 2009059686 A JP2009059686 A JP 2009059686A JP 2010210576 A JP2010210576 A JP 2010210576A
Authority
JP
Japan
Prior art keywords
shape
data
curvature
shape data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009059686A
Other languages
Japanese (ja)
Other versions
JP5395470B2 (en
Inventor
Kotaro Ikeda
池田光太郎
Makoto Usuki
誠 臼杵
Shinya Nakasaku
信哉 中作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2009059686A priority Critical patent/JP5395470B2/en
Publication of JP2010210576A publication Critical patent/JP2010210576A/en
Application granted granted Critical
Publication of JP5395470B2 publication Critical patent/JP5395470B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To constitute a shape recognition device which can extract strains, on the basis of a shape used as a base of a measuring object. <P>SOLUTION: Based on three-dimensional data, a base-shape data generating means 16 generates base-shape data which express the original surface shape of a measuring object T with a plurality of curvatures, and a detailed shape data generating means 17 generates detailed shape data which express detailed surface shape of the measuring object T with a plurality of curvatures. The device includes a shape-evaluating means 19, which determines the strain, by comparing the curvatures in the identical region of curvature values of these data with each other and evaluates the external shape. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、物体の外面形状を表す3次元データから、その物体の外面形状の認識を行う形状認識装置に関する。   The present invention relates to a shape recognition device for recognizing an outer surface shape of an object from three-dimensional data representing the outer surface shape of the object.

上記のように構成された形状認識装置としては特許文献1には、車両のボディやドアパネル等のプレス加工品の表面の撮影画像を縞解析することで、プレス加工品の表面形状の全体の三次元計測データを生成する三次元計測コントロールユニットを備えており、また、形状認識装置及び歪評価装置を備えている。   As a shape recognizing apparatus configured as described above, Patent Document 1 discloses a third order of the entire surface shape of a press-processed product by performing fringe analysis on a photographed image of the surface of the press-processed product such as a vehicle body or a door panel. A three-dimensional measurement control unit for generating original measurement data is provided, and a shape recognition device and a distortion evaluation device are provided.

形状認識装置は、近似曲線適用手段、曲率導出手段、一様範囲決定手段、近似曲線導出手段を備えている。近似曲線適用手段は、三次元計測データから断面の長さ方向に生成した二次元データのうち、断面の長さ方向に沿った複数の第1データ群について、その曲線に対応するサークルの一部の区間を対応させることで、曲線に複数のサークルを対応させ、曲率導出手段が各サークルの曲率を求めて第1近似曲線を生成する。次に、一様範囲決定手段が、第1近似曲線から一様な範囲を決定し、近似曲線導出手段が、一定の曲率を有する第2近似曲線を導出する。尚、この曲率はサークルの半径の逆数である。   The shape recognition apparatus includes an approximate curve applying unit, a curvature deriving unit, a uniform range determining unit, and an approximate curve deriving unit. The approximate curve applying means is a part of a circle corresponding to the curve of a plurality of first data groups along the length direction of the cross section among the two-dimensional data generated from the three-dimensional measurement data in the length direction of the cross section. By associating these sections, a plurality of circles are associated with the curve, and the curvature deriving means obtains the curvature of each circle to generate the first approximate curve. Next, the uniform range determining means determines a uniform range from the first approximate curve, and the approximate curve deriving means derives a second approximate curve having a certain curvature. This curvature is the reciprocal of the radius of the circle.

次に、歪評価装置が、第2近似曲線からの逸脱量が設定許容範囲以上のデータを歪みデータとして、歪データ抽出手段が抽出する。つまり、この特許文献1では曲線の各部の形状を所定半径のサークルの円弧の集合として捉え、サークルの隣接するものの半径が近似するものが(曲率が)近似するものが並ぶ領域を一様とする第2近似曲線を生成し、この第2近似曲線を基準として距離率が逸脱する領域に歪みが存在すると判定している。   Next, the strain evaluation device extracts the strain data extraction means using the data whose deviation from the second approximate curve is not less than the set allowable range as the strain data. In other words, in Patent Document 1, the shape of each part of the curve is regarded as a set of circular arcs of circles having a predetermined radius, and the regions where the radii of the adjacent ones of the circles approximate to each other are approximated (the curvature is approximate). A second approximate curve is generated, and it is determined that there is distortion in a region where the distance rate deviates from the second approximate curve.

特開2007‐127610号公報 (段落番号〔0013〕〜〔0028〕、図1〜図5)JP 2007-127610 A (paragraph numbers [0013] to [0028], FIGS. 1 to 5)

車両のボディやドアパネル等のプレス加工品の表面の歪検出処理を考えると、例えば、加工品の理想的な表面形状を示すCADデータ(例えば、金型のCADデータ)等の3次元データと比較することが考えられる。しかしながら、プレス加工品では、加工直後にスプリングバックにより少し形状が膨らむ方向に変形するのが普通であり、CADデータと比較することで表面の歪みを検出することは、CADデータとの相対的な位置決めの精度の面も含めて実用面で困難な面がある。   Considering the surface strain detection processing of press-processed products such as vehicle bodies and door panels, for example, comparison with 3D data such as CAD data (for example, CAD data of molds) indicating the ideal surface shape of the processed product It is possible to do. However, in a press-processed product, the shape is usually deformed in a direction in which the shape slightly swells immediately after processing due to the spring back, and detection of surface distortion by comparing with CAD data is relative to CAD data. There are practically difficult aspects including the positioning accuracy.

そこで、特許文献1に記載されるように、計測対象物の表面を撮影することで基づいて作り出した三次元データを所定方向に切断した際の二次元断面データから計測対象物の表面の各部の曲率を求め、一様となる曲率と、各部の曲率との比較により、その曲率が逸脱する領域に歪みがあると判定するものが有効となる。   Therefore, as described in Patent Document 1, each part of the surface of the measurement object is obtained from the two-dimensional cross-sectional data obtained by cutting the three-dimensional data created based on the image of the surface of the measurement object in a predetermined direction. It is effective to determine the curvature and determine that there is distortion in a region where the curvature deviates by comparing the uniform curvature with the curvature of each part.

つまり、自動車のボディやドアパネルでは、設計された曲線と比較して全体的に湾曲するように歪んでいても、視覚的には歪みと感ずることは殆どなく、一部に窪みや突出部がある場合には、その窪み量や突出量が小さくても視覚的に歪みと感ずることが多い。このような課題に対し、特許文献1に記載される装置では、一様となる曲率が計測対象物のベースとなる形状に対応するものであり、このベースになる形状を基準として各部の曲率を比較するものであるため、局部的な歪みの検出を可能にすると云う良好な面を現出するものであった。   In other words, even if the car body or door panel is distorted so as to be curved as a whole compared to the designed curve, there is almost no visual sense of distortion, and there are some depressions and protrusions. In some cases, even if the amount of depressions or protrusions is small, it often feels visually distorted. With respect to such a problem, in the apparatus described in Patent Document 1, the uniform curvature corresponds to the shape serving as the base of the measurement object, and the curvature of each part is determined based on the shape serving as the base. Since this is a comparison, a good aspect of enabling local distortion detection has been revealed.

しかしながら、この特許文献1では、比較的小さい歪みを検出するためには、二次元断面データの長さ方向に短い間隔で点(サンプル点)を設定し、夫々のサンプル点についてサークルを近似させて複数の曲率を求めることになるので、複数の曲率から一様な領域を設定した場合でも、計測対象物の表面の小さな凹凸が一様な領域を示す値に影響することは避けられず、計測対象物のベースとなる形状が不正確になることも考えられ、改善の余地があった。   However, in Patent Document 1, in order to detect a relatively small distortion, points (sample points) are set at short intervals in the length direction of the two-dimensional cross-sectional data, and a circle is approximated for each sample point. Since multiple curvatures are obtained, even when a uniform area is set from multiple curvatures, it is inevitable that small irregularities on the surface of the measurement object will affect the value indicating the uniform area. The shape of the base of the object may be inaccurate, and there is room for improvement.

本発明の目的は、計測対象物のベースとなる形状を基準とした歪みを抽出し得る形状認識装置を合理的に構成する点にある。   An object of the present invention is to rationally configure a shape recognition device capable of extracting distortion based on a shape serving as a base of a measurement object.

本発明の特徴は、物体の外面形状を表す3次元データから、その物体の外面形状の認識を行う形状認識装置であって、
前記3次元データの設定領域の形状が詳細に反映する複数の曲率を、詳細形状データとして取得する詳細形状データ生成手段と、
前記3次元データの設定領域の形状が前記詳細より粗く反映する複数の曲率を、ベース形状データとして取得するベース形状データ生成手段とを備えると共に、
前記詳細形状データと前記ベース形状データとのうち、前記3次元データで同一領域における曲率に基づいて歪値を抽出する形状評価手段を備えている点にある。
A feature of the present invention is a shape recognition device for recognizing an outer surface shape of an object from three-dimensional data representing the outer surface shape of the object,
Detailed shape data generating means for acquiring, as detailed shape data, a plurality of curvatures reflected in detail by the shape of the setting region of the three-dimensional data;
A base shape data generating means for acquiring, as base shape data, a plurality of curvatures that reflect the shape of the setting region of the three-dimensional data more roughly than the details;
Of the detailed shape data and the base shape data, there is a shape evaluation means for extracting a strain value based on the curvature in the same region in the three-dimensional data.

この構成によると、詳細形状データ生成手段は、3次元データの設定領域の形状が詳細に反映する複数の曲率を詳細形状データとして取得し、ベース形状データ生成手段は、3次元データの設定領域の形状が粗く反映する複数の曲率をベース形状データとして取得し、形状評価手段は、詳細形状データとベース形状データとの曲率のうち、3次元データで同一領域にあるもの同士に基づいて歪値を取得する。
その結果、計測対象物のベースとなる形状を基準とした歪値を抽出し得る形状認識装置が構成された。
According to this configuration, the detailed shape data generating means acquires a plurality of curvatures that are reflected in detail by the shape of the setting area of the three-dimensional data as detailed shape data, and the base shape data generating means is the setting area of the three-dimensional data setting area. A plurality of curvatures that roughly reflect the shape are acquired as base shape data, and the shape evaluation means calculates distortion values based on the three-dimensional data in the same region among the curvatures of the detailed shape data and the base shape data. get.
As a result, a shape recognizing apparatus that can extract a distortion value based on the shape serving as a base of the measurement object is configured.

本発明は、前記詳細形状データ生成手段が、前記3次元データの設定領域の形状が設定方向で第1設定間隔毎に反映する2次元データ構造の表面形状データを生成し、この表面形状データにおいて前記設定方向での曲率を算出することで前記詳細形状データを生成し、
前記ベース形状データ生成手段が、前記3次元データの設定領域の形状が設定方向で前記第1設定間隔より広い第2設定間隔毎に反映する2次元データ構造の表面形状データを生成し、この表面形状データにおいて前記設定方向での曲率を算出することで前記ベース形状データを生成するものでも良い。
In the present invention, the detailed shape data generation means generates surface shape data having a two-dimensional data structure in which the shape of the setting region of the three-dimensional data is reflected at the first setting interval in the setting direction. The detailed shape data is generated by calculating the curvature in the setting direction,
The base shape data generating means generates surface shape data having a two-dimensional data structure in which the shape of the setting region of the three-dimensional data is reflected every second setting interval wider than the first setting interval in the setting direction. The base shape data may be generated by calculating the curvature in the setting direction in the shape data.

この構成によると、3次元データの形状が第1設定間隔毎に反映する表面形状データから算出した曲率と、3次元データの形状が第1設定間隔より広い第2設定間隔毎に反映する表面形状データから算出した曲率との比較から歪値を取得できる。   According to this configuration, the curvature calculated from the surface shape data that reflects the shape of the three-dimensional data at each first setting interval, and the surface shape that reflects the shape of the three-dimensional data at every second setting interval that is wider than the first setting interval. A distortion value can be obtained from a comparison with the curvature calculated from the data.

本発明は、前記詳細形状データ生成手段で生成された前記表面形状データと、前記ベース形状データ生成手段で生成された前記表面形状データから曲率を算出する曲率取得手段を備え、前記曲率取得手段が、前記表面形状データにおいて高さ値を示す3点以上のサンプルポイントのうち、中央付近を頂点とした点群上又は点群付近を通過する2次曲線を近似曲線として適用し、適用された近似曲線のサンプルポイント中央部での曲率に基づいて前記曲率を算出しても良い。   The present invention comprises curvature acquisition means for calculating curvature from the surface shape data generated by the detailed shape data generation means and the surface shape data generated by the base shape data generation means, and the curvature acquisition means Of the three or more sample points indicating the height value in the surface shape data, a quadratic curve passing over or near the point group with the center near the vertex is applied as an approximate curve, and the applied approximation The curvature may be calculated based on the curvature at the center of the sample point of the curve.

これによると、詳細形状データ生成手段とで生成された表面形状データと、ベース形状データ生成手段で生成された表面形状データとは曲率取得手段において曲率を算出でき、曲率取得手段の処理を共用できる。また、従来からの技術のように、複数のサンプリングポイントが示す曲線を円(サークル)で近似するものでは、下に凸となる曲線が上に凸となる曲線に変化する形状を近似する場合、円の半径が増大し続け、変曲点では数値が無限に大きくなり、この後半径が減少することから曲率の計算に大きい数値を用いることになる。これに対して、同様の形状を2次曲線で近似する場合、2次曲線に対応する2次関数の係数が正の値(負でも良い)から減少し、変曲点で「0」に達し、この後、負の値(正でも良い)が増大する。このように2次曲線によって複数のサンプリングポイントが示す曲線を近似するものでは曲率を求めるにも大きい数値を扱う必要がなく、処理が簡素化する。   According to this, the surface shape data generated by the detailed shape data generation means and the surface shape data generated by the base shape data generation means can calculate the curvature in the curvature acquisition means, and can share the processing of the curvature acquisition means. . In addition, in the case of approximating a curve indicated by a plurality of sampling points with a circle (circle) as in the conventional technology, when approximating a shape in which a curved line that protrudes downward changes to a curved line that protrudes upward, Since the radius of the circle continues to increase, the numerical value increases infinitely at the inflection point, and then the radius decreases, so a large numerical value is used for calculating the curvature. On the other hand, when a similar shape is approximated by a quadratic curve, the coefficient of the quadratic function corresponding to the quadratic curve decreases from a positive value (may be negative) and reaches “0” at the inflection point. Thereafter, the negative value (which may be positive) increases. In this way, in the case of approximating a curve indicated by a plurality of sampling points by a quadratic curve, it is not necessary to handle a large numerical value for obtaining the curvature, and the processing is simplified.

本発明は、前記形状評価手段が、詳細形状データから取得した複数の曲率と、ベース形状データから取得した複数の曲率とのうち前記設定方向で同一領域の曲率同士の比較、又は、曲率から生成された曲線同士の高さ値の比較により前記歪値を抽出しても良い。   In the present invention, the shape evaluation unit compares the curvatures of the same region in the setting direction among the plurality of curvatures acquired from the detailed shape data and the plurality of curvatures acquired from the base shape data, or is generated from the curvature. The distortion value may be extracted by comparing the height values of the curved curves.

これによると、詳細形状データの曲率と、ベース形状データの曲率とを比較する、又は、曲率から生成された曲線同士の高さ値を比較するので、数値の演算により歪値を数値で抽出することが可能となる。   According to this, the curvature of the detailed shape data is compared with the curvature of the base shape data, or the height values of the curves generated from the curvature are compared, so the distortion value is extracted numerically by calculating the numerical value. It becomes possible.

3次元計測システムの全体を示す斜視図である。It is a perspective view which shows the whole three-dimensional measuring system. 3次元計測システムのブロック回路図である。It is a block circuit diagram of a three-dimensional measurement system. 形状認識装置のブロック回路図であるIt is a block circuit diagram of a shape recognition device 評価処理ルーチンのフローチャートである。It is a flowchart of an evaluation process routine. 計測対象と座標系とを示す斜視図である。It is a perspective view which shows a measuring object and a coordinate system. 計測対象の側面図である。It is a side view of a measuring object. データ変換処理部における変換形態を示す斜視図である。It is a perspective view which shows the conversion form in a data conversion process part. 切り出された3次元データの点群の高さ値を反映させる際の2種の領域のサイズを示す図である。It is a figure which shows the size of two types of area | regions when reflecting the height value of the point group of the cut-out three-dimensional data. 切り出しにより取得された3次元データの表面形状を示す図である。It is a figure which shows the surface shape of the three-dimensional data acquired by cutting out. 近似曲線により形状曲線の曲率を求める際の処理を模式的に示す図である。It is a figure which shows typically the process at the time of calculating | requiring the curvature of a shape curve with an approximate curve. 曲率の差から歪値を取得する際の処理を示す図である。It is a figure which shows the process at the time of acquiring a distortion value from the difference in curvature.

以下、本発明の実施の形態を図面に基づいて説明する。
〔システム構成〕
図1及び図2に示すように、先端にデジタルカメラを有する撮影ユニットVを備えた多関節型のロボットハンドHと、このロボットハンドHを制御するロボットハンドコントローラAと、撮影ユニットVで撮影した計測対象物Tの画像データを取得する画像取得ユニットBと、この画像取得ユニットBから画像データを取得し物体の外面形状の歪を抽出して出力する形状認識装置Cを備えて3次元計測システムが構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
〔System configuration〕
As shown in FIG. 1 and FIG. 2, an image is taken with an articulated robot hand H having a photographing unit V having a digital camera at the tip, a robot hand controller A that controls the robot hand H, and a photographing unit V. A three-dimensional measurement system including an image acquisition unit B that acquires image data of a measurement target T, and a shape recognition device C that acquires image data from the image acquisition unit B, extracts the distortion of the outer shape of the object, and outputs the distortion. Is configured.

撮影ユニットVは、計測対象物Tの表面に対し投影レンズ1Lを介して格子パターンを投影するパターン投影装置1と、撮影レンズ2Lを介して計測対象物Tの表面の撮影を行うデジタル型のカメラ2とを備えている。ロボットハンドHは、複数のアーム部3と、夫々のアーム部3を独立して駆動する電動モータ4とを備え、ロボットハンドコントローラAが予めセットされたプログラムを実行することにより、撮影ユニットVで計測対象物Tを異なる方向から撮影する作動が行われ、計測対象物Tの表面全体の撮影を実現する。画像取得ユニットBは、撮影ユニットVで撮影された画像データの格子パターンから計測対象物Tの形状を判定し3次元画像を生成する。   The photographing unit V includes a pattern projection device 1 that projects a lattice pattern onto the surface of the measurement target T via the projection lens 1L, and a digital camera that photographs the surface of the measurement target T via the photographing lens 2L. 2 are provided. The robot hand H includes a plurality of arm units 3 and an electric motor 4 that drives each arm unit 3 independently. The robot hand controller A executes a preset program so that the imaging unit V The operation of photographing the measurement target T from different directions is performed, and the entire surface of the measurement target T is photographed. The image acquisition unit B determines the shape of the measurement target T from the lattice pattern of the image data photographed by the photographing unit V and generates a three-dimensional image.

ロボットハンドコントローラAは、コントロールプログラム5に従ってアーム部3を制御するアームコントロール手段6を備えている。画像取得ユニットBはカメラ2から画像データ取得手段7が画像データを取得し、この画像データから3次元画像生成手段8が3次元画像を生成する。画像データから3次元画像を生成する技術は特開2002−257528号公報や特開2004−317495号公報等に示されるように公知のものを用いており、このような処理を行うことにより、計測対象物Tの表面形状が3次元座標系で表される点群となる3次元画像が生成される。   The robot hand controller A includes arm control means 6 for controlling the arm unit 3 in accordance with the control program 5. In the image acquisition unit B, the image data acquisition means 7 acquires image data from the camera 2, and the three-dimensional image generation means 8 generates a three-dimensional image from this image data. As a technique for generating a three-dimensional image from image data, a known one is used as disclosed in Japanese Patent Application Laid-Open No. 2002-257528, Japanese Patent Application Laid-Open No. 2004-317495, and the like. A three-dimensional image that is a point group in which the surface shape of the object T is represented in a three-dimensional coordinate system is generated.

形状認識装置Cは、ディスプレイd、キーボードk、マウスm等が接続する汎用コンピュータによって構成され、画像取得ユニットBから取得した3次元画像から計測対象物Tの表面の歪量を抽出して評価を行い、評価結果をディスプレイdに出力する。   The shape recognition device C is constituted by a general-purpose computer to which a display d, a keyboard k, a mouse m, and the like are connected. The shape recognition device C extracts the amount of distortion on the surface of the measurement target T from the three-dimensional image acquired from the image acquisition unit B and performs evaluation. The evaluation result is output to the display d.

〔制御構成〕
図2及び図3に示すように、形状認識装置Cは、データ取得手段11と、データ変換手段12と、ノイズ除去手段13と、除外領域設定手段15と、ベース形状データ生成手段16と、詳細形状データ生成手段17と、曲率取得手段18と、形状評価手段19と、評価画像生成手段20と、測定対象形状取得手段21とを備えている。
(Control configuration)
As shown in FIGS. 2 and 3, the shape recognition apparatus C includes a data acquisition unit 11, a data conversion unit 12, a noise removal unit 13, an exclusion area setting unit 15, a base shape data generation unit 16, and details. A shape data generation unit 17, a curvature acquisition unit 18, a shape evaluation unit 19, an evaluation image generation unit 20, and a measurement target shape acquisition unit 21 are provided.

これら、データ取得手段11、データ変換手段12、ノイズ除去手段13、除外領域設定手段15、ベース形状データ生成手段16、詳細形状データ生成手段17、曲率取得手段18、形状評価手段19、評価画像生成手段20、測定対象形状取得手段21は形状認識装置Cとして機能する汎用コンピュータのストレージ上に展開されるソフトウエアで構成されるものであるが、これらをソフトウエアとロジック等のハードウエアとの組み合わせによって構成して良く、ロジック等のハードウエアのみによって構成しても良い。
〔制御形態〕
These data acquisition means 11, data conversion means 12, noise removal means 13, exclusion region setting means 15, base shape data generation means 16, detailed shape data generation means 17, curvature acquisition means 18, shape evaluation means 19, evaluation image generation The means 20 and the measurement target shape acquisition means 21 are composed of software developed on a storage of a general-purpose computer that functions as the shape recognition device C. These are combinations of software and hardware such as logic. It may be configured only by hardware such as logic.
[Control form]

この制御構成による制御の概要を図4のフローチャートに示しており、制御構成の機能をフローチャートに示した制御の流れと併せて説明する。   The outline of the control by this control configuration is shown in the flowchart of FIG. 4, and the function of the control configuration will be described together with the control flow shown in the flowchart.

データ取得手段11は、通信ケーブルを介して画像取得ユニットBの3次元画像生成手段8で生成された3次元画像を取得する(#01ステップ)。形状認識装置Cでは、撮影ユニットVで撮影された画像から生成された3次元画像だけを処理対象とするのではなく、例えば、STLファイル等のデータ構造を有した3次元データを処理対象にすることも可能である。すなわち、計測対象となる外面表面に対応する点群から直接、ベース形状データ生成手段及び詳細形状データによってベース形状及び詳細形状データを算出することも可能である。   The data acquisition unit 11 acquires the 3D image generated by the 3D image generation unit 8 of the image acquisition unit B via the communication cable (Step # 01). In the shape recognition apparatus C, not only the 3D image generated from the image captured by the imaging unit V is processed, but 3D data having a data structure such as an STL file is processed. It is also possible. That is, the base shape and detailed shape data can be calculated directly from the point group corresponding to the outer surface to be measured by the base shape data generating means and the detailed shape data.

図5及び図6には、計測対象物T(物体の一例)としてドアパネルを示しており、このドアパネルを車体に備えた姿勢での前後方向をX軸方向とし、上下方向をY軸方向とし、幅方向をZとして示している。このドアパネルのパネル部分にはドアハンドル(図示せず)が装着される座面Taと開口Tbとが形成されている。   5 and 6 show a door panel as a measurement object T (an example of an object), the front-rear direction in a posture in which the door panel is provided on the vehicle body is the X-axis direction, the vertical direction is the Y-axis direction, The width direction is shown as Z. A seat surface Ta on which a door handle (not shown) is mounted and an opening Tb are formed in the panel portion of the door panel.

データ変換手段12は取得した3次元画像から計測対象物Tの表面形状を示す点群(Z座標値・高さ値を示す点の集まり)を設定ピッチのX−Y平面上の格子点上の点群に変換することで3次元データを生成する(#02ステップ)。つまり、データ取得手段11で取得した3次元画像の3次元座標系は、ドアパネルの前後方向・上下方向がX−Y軸方向と必ずしも一致するものではなく、外面形状を示す高さ値(Z方向での値)を示す点群のピッチも、この形状認識装置Cで処理するために適正な値とは云えない。   The data conversion means 12 sets a point group (a collection of points indicating the Z coordinate value / height value) indicating the surface shape of the measurement target T from the acquired three-dimensional image on a lattice point on the XY plane with a set pitch. Three-dimensional data is generated by converting to a point cloud (step # 02). That is, in the three-dimensional coordinate system of the three-dimensional image acquired by the data acquisition unit 11, the front-rear direction and the vertical direction of the door panel do not necessarily coincide with the XY axis direction, and the height value indicating the outer shape (Z direction) The pitch of the point cloud indicating the value at (1) cannot be said to be an appropriate value for processing by the shape recognition apparatus C.

このような理由からデータ変換手段12は、図7に示すように、計測対象物Tとしてのドアパネルの前後方向をX軸方向に設定し、上下方向をY軸方向に設定し、幅方向(ドアの厚さ方向)をZ軸方向に設定し、3次元画像データ値から3次元データ値を生成する。尚、データ変換手段12で生成された3次元データにおける点群とは、計測対象物Tの表面に存在する仮想点であり、3次元座標で位置が特定されるものを指す。   For this reason, as shown in FIG. 7, the data conversion means 12 sets the front / rear direction of the door panel as the measurement target T to the X-axis direction, sets the vertical direction to the Y-axis direction, and sets the width direction (door Is set in the Z-axis direction, and a three-dimensional data value is generated from the three-dimensional image data value. Note that the point group in the three-dimensional data generated by the data conversion unit 12 is a virtual point existing on the surface of the measurement target T, and indicates a point whose position is specified by three-dimensional coordinates.

このように生成される3次元データは、数mm未満の設定ピッチのX−Y平面を基準にして高さ値がZ座標として表されるデータ構造を有する。この変換を行う際には、データ取得手段11で取得した点群(同図では3次元画像値として示す)が存在しない領域における高さ値を求める処理が必要となるが、この処理として、例えば、バイリニア法や、ニアレストネイバー法のように隣接する点群の高さ値を反映させた高さ値を補間処理により新たに作り出すことになる。これらの処理が行われることにより、X−Y平面を基準にしてZ方向で高さ値が示される単純なデータ構造の3次元データが生成され、結果として、データ量を低減する。また、このデータ変換手段12ではSTLファイルのようにポリゴンを生成するデータを含むものでは、このデータを取り除く処理を行うことになる。   The three-dimensional data generated in this way has a data structure in which the height value is expressed as a Z coordinate with reference to an XY plane with a set pitch of less than several millimeters. When performing this conversion, it is necessary to obtain a height value in an area where the point cloud (shown as a three-dimensional image value in the figure) obtained by the data obtaining unit 11 does not exist. As in the bilinear method and the nearest neighbor method, height values reflecting the height values of adjacent point groups are newly created by interpolation processing. By performing these processes, three-dimensional data having a simple data structure whose height value is indicated in the Z direction with reference to the XY plane is generated, and as a result, the data amount is reduced. Further, the data conversion means 12 performs processing for removing this data including data for generating a polygon, such as an STL file.

ノイズ除去手段13は、3次元データに含まれるノイズを除去する(#03ステップ)。この除去では表面形状を示す複数の座標(高さ値)を、所定の領域毎について移動平均をとる処理が行われる。この処理により注目座標における高さ値が周辺の高さ値と比較してかけ離れた値である場合には、周辺の高さ値を反映した値に変換され、結果としてノイズが除去される。尚、このノイズ除去手段13によるノイズ除去の処理形態は、特許文献1に示されるように、表面形状を示す多数の点群の1つを特定点とし、その特定点の座標値(高さ値)と、これに隣接する点の座標値(高さ値)とを比較し、高さ値の差に基づいてスムージングの処理を行う等、移動平均を取る処理以外の処理形態であっても良い。   The noise removing unit 13 removes noise included in the three-dimensional data (Step # 03). In this removal, a process of taking a moving average of a plurality of coordinates (height values) indicating the surface shape for each predetermined region is performed. By this process, when the height value at the target coordinate is a value far from the surrounding height value, it is converted to a value reflecting the surrounding height value, and as a result, noise is removed. Note that, as shown in Patent Document 1, the noise removal processing form by the noise removing unit 13 is one of a large number of point groups indicating a surface shape as a specific point, and the coordinate value (height value) of the specific point. ) And the coordinate value (height value) of a point adjacent thereto, and a smoothing process may be performed based on the difference in height value. .

除外領域設定手段15は、曲率取得モジュールと、領域設定モジュールとを有し、除外領域設定処理を行う(#04ステップ)。曲率取得モジュールは、ノイズが除去された3次元データを取得して曲率取得手段18に与えることで、この曲率取得手段18が3次元データから生成した2次元データの点群から算出した計測対象物Tの形状を示す曲率を取得する。領域設定モジュールは、曲率が設定値を超える(曲線の半径が小さい)領域を抽出し、この領域や、この領域で取り囲まれる部位をX−Y座標系で位置が表される除外領域に設定する。(曲率取得手段18の処理形態は後述する)。   The excluded area setting means 15 has a curvature acquisition module and an area setting module, and performs an excluded area setting process (step # 04). The curvature acquisition module acquires the three-dimensional data from which noise has been removed and gives it to the curvature acquisition means 18, whereby the measurement object calculated from the point group of the two-dimensional data generated from the three-dimensional data by the curvature acquisition means 18 A curvature indicating the shape of T is acquired. The region setting module extracts a region where the curvature exceeds the set value (the radius of the curve is small), and sets this region or a portion surrounded by this region as an excluded region whose position is expressed in the XY coordinate system. . (The processing mode of the curvature acquisition means 18 will be described later).

この処理では、曲率取得手段18によって計測対象物Tの外面形状の曲率を算出する処理が必須となり、できるだけ狭い領域毎の曲率を算出することが望ましい。   In this process, the process of calculating the curvature of the outer shape of the measurement target T by the curvature acquisition means 18 is essential, and it is desirable to calculate the curvature for each narrow region as much as possible.

この実施形態では曲率に基づいて除外領域を設定しているが、曲率だけではなく、平均的な表面より設定量を超えて突出する部位や、設定量を超えて窪む領域があれば、これらを含む部位、あるいは、これらで取り囲まれる部位を除外領域とするように領域設定モジュールの処理形態を設定しても良い。   In this embodiment, the exclusion region is set based on the curvature, but if there are not only the curvature but a part protruding beyond the set amount from the average surface or a region recessed beyond the set amount, these The processing mode of the area setting module may be set so that a part including or a part surrounded by these parts is an excluded area.

本発明の形状認識装置Cでは、後述するようにベース形状データ生成手段16と詳細形状データ生成手段17とにおいてノイズが除去された3次元データから3次元データを切り出し、この3次元データの点群から切り出した領域の表面形状が反映される2次元データ構造の表面形状データを生成し、この表面形状データを曲率取得手段18に与える処理を行う。曲率取得手段18では与えられた表面形状データの点群から複数の曲率を算出し、ベース形状データ生成手段16と詳細形状データ生成手段17夫々のフィードバックすることでベース形状データと詳細形状データとが生成される。   In the shape recognition apparatus C according to the present invention, as will be described later, the base shape data generation unit 16 and the detailed shape data generation unit 17 cut out three-dimensional data from the three-dimensional data from which noise has been removed, and a point cloud of the three-dimensional data. The surface shape data having a two-dimensional data structure reflecting the surface shape of the region cut out from the image is generated, and the surface shape data is given to the curvature acquisition means 18. The curvature acquisition means 18 calculates a plurality of curvatures from a given point group of the surface shape data, and the base shape data and the detailed shape data 17 are fed back by the base shape data generation means 16 and the detailed shape data generation means 17, respectively. Generated.

しかしながら、計測対象物Tの座面Taのように比較的狭い領域において大きい曲率で形状が変化する部位が存在する場合には、点群の位置と、計測対象物Tにおける現実の曲面との位置関係によっては正確な曲率を求めることが出来ないことも多い。このような領域を評価対象の領域に含めた場合には評価の精度低下を招くことから、計測対象物Tの外面形状の評価を行う際に精度低下を招く領域を除外するために、除外領域設定手段15が除外領域を設定する。   However, when there is a part whose shape changes with a large curvature in a relatively narrow region such as the seating surface Ta of the measurement target T, the position of the point cloud and the actual curved surface of the measurement target T Depending on the relationship, it is often impossible to obtain an accurate curvature. When such an area is included in the area to be evaluated, the accuracy of the evaluation is reduced. Therefore, in order to exclude an area that causes a decrease in accuracy when the outer shape of the measurement target T is evaluated, The setting means 15 sets an exclusion area.

ベース形状データ生成手段16と詳細形状データ生成手段17とは、3次元データ切り出しモジュールと、除外処理モジュールと、2次元データ化モジュールと、曲率取得モジュールとを有している。   The base shape data generation unit 16 and the detailed shape data generation unit 17 include a three-dimensional data extraction module, an exclusion processing module, a two-dimensional data conversion module, and a curvature acquisition module.

詳細形状データ生成手段17は、ノイズが除去された3次元データから設定幅の3次元データを切り出し、切り出した3次元データの表面形状が反映される2次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表される詳細形状データを生成する(#05ステップ)。   The detailed shape data generation means 17 cuts out three-dimensional data having a set width from the three-dimensional data from which noise has been removed, and single surface shape data having a two-dimensional data structure in which the surface shape of the cut-out three-dimensional data is reflected. And detailed shape data represented by a plurality of curvatures acquired from the surface shape data is generated (step # 05).

具体的な処理としては、3次元データ切り出しモジュールが、Y軸方向で設定幅となる領域の3次元データを切り出し、図8に示すようにX軸方向で第1設定間隔D1(30mm程度・第1設定範囲の一例)の範囲に含まれる点群をZ座標(高さ値)に反映させる処理を行う。この処理では、複数の点群のZ座標を反映させる領域のサイズとして第1設定間隔D1が設定され、このサイズの領域を点群のピッチでX軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりX軸方向での点群ピッチと等しいピッチでZ座標(高さ値)が生成される(#05ステップの〈a〉)。次に、除外処理モジュールが3次元データのうち除外領域に含まれる点P(高さ値)が存在する場合には、その点Pを除外する(#05ステップの〈b〉)。   Specifically, the three-dimensional data cutout module cuts out three-dimensional data in a region having a set width in the Y-axis direction and, as shown in FIG. 8, the first set interval D1 (about 30 mm. A process of reflecting the point group included in the range of (an example of one setting range) in the Z coordinate (height value) is performed. In this process, the first setting interval D1 is set as the size of the region reflecting the Z coordinates of a plurality of point groups. The region is moved in the X-axis direction at the pitch of the point group, and the region is moved. Z coordinates (height value) are generated at a pitch equal to the point group pitch in the X-axis direction by processing such as averaging (# 05 step <a>). Next, when there is a point P (height value) included in the exclusion region in the three-dimensional data, the exclusion processing module excludes the point P (#b step <b>).

この後、2次元データ化モジュールが座標変換を行うことにより、3次元データを2次元データ化して表面形状データを得る(#05ステップの〈c〉)。そして、曲率取得モジュールが、表面形状データを曲率取得手段18に与えることで、この曲率取得手段18から表面形状データの形状に対応した複数の曲率を取得し、複数の曲率で成る詳細形状データを生成する(#05ステップの〈d〉)。   Thereafter, the two-dimensional data conversion module performs coordinate transformation to convert the three-dimensional data into two-dimensional data to obtain surface shape data (#c step <c>). Then, the curvature acquisition module gives the surface shape data to the curvature acquisition means 18, thereby acquiring a plurality of curvatures corresponding to the shape of the surface shape data from the curvature acquisition means 18, and obtaining detailed shape data consisting of a plurality of curvatures. (<D> in step # 05).

ベース形状データ生成手段16は、詳細形状データ生成手段17と同様にノイズが除去された3次元データから設定幅の3次元データを切り出し、切り出した3次元データの表面形状が反映される2次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表されるベース形状データを生成する(#06ステップ)。   Similarly to the detailed shape data generation unit 17, the base shape data generation unit 16 cuts out three-dimensional data having a set width from the three-dimensional data from which noise has been removed, and two-dimensional data in which the surface shape of the cut-out three-dimensional data is reflected. Single surface shape data to be a structure is generated, and base shape data represented by a plurality of curvatures acquired from the surface shape data is generated (step # 06).

具体的な処理としては、3次元データ切り出しモジュールが、Y軸方向で設定幅となる領域の3次元データを切り出し、図8に示すようにX軸方向で第2設定間隔D2(第1設定間隔D1の2倍〜10倍程度・第2設定範囲の一例)の範囲に含まれる点群をZ座標(高さ値)に反映する処理を行う。この処理では、複数の点群のZ座標を反映させる領域のサイズとして第2設定間隔D2が設定され、このサイズの領域を点群のピッチでX軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりX軸方向での点群ピッチと等しいピッチでZ座標(高さ値)が生成される(#06ステップの〈a〉)。次に、除外処理モジュールが3次元データのうち除外領域に含まれる点P(高さ値)が存在する場合には、その点Pを除外する(#06ステップの〈b〉)。   As a specific process, the three-dimensional data cutout module cuts out three-dimensional data in a region having a set width in the Y-axis direction and, as shown in FIG. 8, the second set interval D2 (first set interval in the X-axis direction). A process of reflecting a point group included in the range of about 2 to 10 times D1 (an example of the second setting range) on the Z coordinate (height value) is performed. In this process, the second set interval D2 is set as the size of the region reflecting the Z coordinates of a plurality of point groups, and the region is moved while moving the region of this size in the X-axis direction at the point group pitch. A Z coordinate (height value) is generated at a pitch equal to the point group pitch in the X-axis direction by processing such as averaging (#a in step # 06). Next, when there is a point P (height value) included in the exclusion region in the three-dimensional data, the exclusion processing module excludes the point P (<b> in step # 06).

この後、2次元データ化モジュールが座標変換を行うことにより、3次元データを2次元データ化して表面形状データを得る(#06ステップの〈c〉)。そして、曲率取得モジュールが、表面形状データを曲率取得手段18に与えることで、この曲率取得手段18から複数の曲率を取得し、複数の曲率で成るベース形状データが生成される(#06ステップの〈d〉)。   Thereafter, the two-dimensional data conversion module performs coordinate transformation to convert the three-dimensional data into two-dimensional data to obtain surface shape data (<c> in step # 06). Then, the curvature acquisition module gives the surface shape data to the curvature acquisition means 18, thereby acquiring a plurality of curvatures from the curvature acquisition means 18 and generating base shape data composed of a plurality of curvatures (in step # 06). <D>).

このように#05ステップ、#06ステップにおいて、除外領域に含まれる点Pを除去する処理では、高さ値を「0」にする処理を行うのではなく、高さ値(点P・点群)が存在しない状態にする。   As described above, in the process of removing the point P included in the exclusion region in the steps # 05 and # 06, the process of setting the height value to “0” is not performed, but the height value (point P / point group) is not performed. ) Does not exist.

図5、図6に示すように、計測対象物Tの表面形状が湾曲しているものでは、切り出した3次元データの点群が示す高さ値も円弧状を示す。従って、切り出された3次元データについてY軸方向の座標値としてY1、Y2‥‥Ynを与えた場合には、図9に示す如く、Y1、Y2‥‥Ynに対応する高さ値はZ軸方向で高さが互いに異なる値となる。   As shown in FIGS. 5 and 6, when the surface shape of the measurement target T is curved, the height value indicated by the point group of the cut out three-dimensional data also shows an arc shape. Therefore, when Y1, Y2,... Yn are given as coordinate values in the Y-axis direction for the cut out three-dimensional data, the height values corresponding to Y1, Y2,. The height is different from each other in the direction.

このような理由から、#05ステップと#06ステップの(c)との処理の座標変換として、Y軸方向での複数の点P毎の法線と、Z軸と平行する基準軸との間の角度θだけ、対応する湾曲中心で回転させて同一の平面上に投影する座標変換により2次元データ構造の表面形状データが生成される。尚、湾曲中心は3次元データにおいて表面形状を示すY軸方向での点群(高さ値)の分布が示す形状から点P毎に算出される。   For this reason, as coordinate conversion in the processing of step # 05 and step 06 (c), the normal between each point P in the Y-axis direction and the reference axis parallel to the Z-axis The surface shape data of the two-dimensional data structure is generated by coordinate transformation in which the angle θ is rotated at the corresponding curvature center and projected onto the same plane. The center of curvature is calculated for each point P from the shape indicated by the distribution of the point group (height value) in the Y-axis direction indicating the surface shape in the three-dimensional data.

曲率取得手段18は、2次曲線適用モジュールと曲率演算モジュールとを有している。#05ステップと#06ステップの(d)との処理において、表面形状データが与えられ、この表面形状データの点群が表す形状曲線に対応する複数の曲率を生成する。この曲率取得手段18は、2次曲線適用モジュールが点群で表される形状曲線に対応して2次曲線を適用し、この2次曲線から曲率演算モジュールが曲率を演算し、この演算結果を詳細形状データ生成手段17と、ベース形状データ生成手段16にフィードバックすることになる。   The curvature acquisition means 18 has a quadratic curve application module and a curvature calculation module. In the processes of the steps # 05 and # 06 (d), surface shape data is given, and a plurality of curvatures corresponding to the shape curve represented by the point group of the surface shape data are generated. The curvature acquisition means 18 applies a quadratic curve corresponding to the shape curve represented by the point group by the quadratic curve application module, the curvature calculation module calculates the curvature from the quadratic curve, and the calculation result is obtained. This is fed back to the detailed shape data generation means 17 and the base shape data generation means 16.

曲率取得手段18の2次曲線適用モジュールは、図10(a)、図10(b)に示す如く、表面形状データの形状曲線に対応した点群をサンプルポイントPとし、この複数のサンプルポイントPのうち、3点以上のサンプルポイントPを設定する。そして、中央付近を頂点とした点群付近を通過する2次曲線を近似曲線Fとして適用し、適用された近似曲線のサンプルポイントPの中央部での曲率に基づいて曲率を算出する。この近似曲線Fは2次曲線であることから、係数の値の増減により複数のサンプルポイントPと一致する位置又は近似する位置を通過する形状が設定される。また、この2次曲線とは2次微分可能な関数として捉えることが可能である。   The quadratic curve application module of the curvature acquisition means 18 uses a point group corresponding to the shape curve of the surface shape data as the sample point P, as shown in FIGS. 10 (a) and 10 (b), and the plurality of sample points P. Among them, three or more sample points P are set. Then, a quadratic curve passing through the vicinity of the point group with the center near the vertex is applied as the approximate curve F, and the curvature is calculated based on the curvature at the center of the sample point P of the applied approximate curve. Since this approximate curve F is a quadratic curve, a shape passing through a position that matches or approximates a plurality of sample points P is set by increasing or decreasing the coefficient value. The quadratic curve can be understood as a function that can be quadratic differentiated.

尚、2次曲線で成る近似曲線Fを設定する場合に、サンプルポイントPが表す形状曲線が下に凸であると、近似曲線Fの係数は正「+」になり、上に凸であると、係数は負「−」になる。また、サンプルポイントが表す形状曲線が直線に近いものであるほど近似曲線Fの係数は「0」に近い値となる。従って、サンプルポイントPが表す形状曲線が上に凸から下に凸に変化する変曲点においても係数の値が正から負に切り換わるだけで済み、形状曲線が直線に近いものでも無理なく近似曲線Fを設定できる。この曲率取得手段18では、近似曲線Fとして2次曲線を用いているが、例えば、3次関数以上の高次関数曲線や、サインカーブや、双曲線等を用いるものであっても良い。   When an approximate curve F composed of a quadratic curve is set, if the shape curve represented by the sample point P is convex downward, the coefficient of the approximate curve F is positive “+”, and is convex upward. The coefficient becomes negative “−”. Further, the closer the shape curve represented by the sample point is to a straight line, the closer the coefficient of the approximate curve F is to “0”. Therefore, even at the inflection point where the shape curve represented by the sample point P changes from convex upward to convex downward, it is only necessary to switch the coefficient value from positive to negative. A curve F can be set. In this curvature acquisition means 18, a quadratic curve is used as the approximate curve F. However, for example, a higher-order function curve higher than a cubic function, a sine curve, a hyperbola, or the like may be used.

曲率演算モジュールで曲率を求めるには、近似曲線のサンプルポイント中央部(頂点付近)での湾曲の程度から直接的に取得することも可能である。具体例の1つとして近似曲線の湾曲の程度を数値化してテーブルとして保存しておき、湾曲の程度に基づいてテーブルから曲率値を取得する処理が考えられる。また、曲率を求める具体的な処理形態としては、曲率演算モジュールが、センターラインQを設定し、このセンターラインQの方向で中央のサンプルポイントPからの距離と、このセンターラインから直交する方向での近似曲線Fまでの距離とが一致する位置と、中央のサンプルポイントPまでの距離の1/2を中心点Sに想定し、この中心点Sを中心とし、頂点に内接するものの半径を曲率の半径rとし、この半径rの逆数を曲率とする演算を行っても良い。このように曲率を求める処理においてセンターラインQの設定や中心点Sの設定は、図10に示すものに限るものではなく、例えば、センターラインQを2つのサンプルポイントPの中間に設定することや、処理に適した任意のものに設定することも可能である。   In order to obtain the curvature by the curvature calculation module, it is also possible to obtain directly from the degree of curvature at the sample point center portion (near the apex) of the approximate curve. As one specific example, it is conceivable to process the degree of curvature of the approximate curve in numerical form and store it as a table, and obtain the curvature value from the table based on the degree of curvature. Further, as a specific processing form for obtaining the curvature, the curvature calculation module sets the center line Q, and in the direction of the center line Q, the distance from the center sample point P and the direction orthogonal to the center line The center point S is assumed to be a position where the distance to the approximate curve F coincides with the distance to the central sample point P, and the radius of the center point S that is inscribed in the vertex is the curvature. The radius r may be calculated, and the reciprocal of the radius r may be used as the curvature. Thus, in the process of obtaining the curvature, the setting of the center line Q and the setting of the center point S are not limited to those shown in FIG. 10. For example, the center line Q is set between the two sample points P. It is also possible to set an arbitrary one suitable for processing.

このような処理からベース形状データは複数の曲率で構成され、詳細形状データも同様に複数の曲率で構成される。   From such processing, the base shape data is composed of a plurality of curvatures, and the detailed shape data is also composed of a plurality of curvatures.

この実施の形態では、除外領域設定手段15と、ベース形状データ生成手段16と、詳細形状データ生成手段17とからの指示によって曲率取得手段18が曲率の演算を行っているが、これに代えて除外領域設定手段15と、ベース形状データ生成手段16と、詳細形状データ生成手段17において、曲率取得手段18と同様の処理を行うモジュールを備え、そのモジュールで曲率を算出する処理を行っても良い。   In this embodiment, the curvature acquisition unit 18 calculates the curvature according to instructions from the exclusion region setting unit 15, the base shape data generation unit 16, and the detailed shape data generation unit 17, but instead, the curvature calculation unit 18 calculates the curvature. The exclusion area setting unit 15, the base shape data generation unit 16, and the detailed shape data generation unit 17 may include a module that performs the same process as the curvature acquisition unit 18, and the module may perform the process of calculating the curvature. .

詳細形状データとベース形状データとを生成する際には、計測対象物Tの全面の形状評価を行うために、3次元データ切り出しモジュールが切り出し領域をY軸方向にシフトしながら#05、#06ステップの処理が反復して行われる(#07ステップ)。特に、切り出す対象をY軸方向にシフトする際には、先に切り出される3次元データと、この後に切り出される3次元データとがY軸方向で重複しないように処理形態が採用されているが、Y軸方向で一部重複するように処理形態を設定しても良い。   When generating the detailed shape data and the base shape data, in order to evaluate the shape of the entire surface of the measurement target T, the three-dimensional data cutout module shifts the cutout area in the Y-axis direction while # 05 and # 06. Step processing is repeated (step # 07). In particular, when shifting the object to be cut out in the Y-axis direction, the processing mode is adopted so that the three-dimensional data cut out first and the three-dimensional data cut out after that do not overlap in the Y-axis direction. The processing mode may be set so as to partially overlap in the Y-axis direction.

形状評価手段19は、ベース形状データと詳細形状データとの複数の曲率のうちX軸方向で同一の領域における曲率同士を比較して歪値を取得する(#08ステップ)。この歪値は曲率の値の差を算出する単純な処理であるが、図11に示すように、ベース形状データの曲率を基準にし、詳細形状データ曲率との差を歪値として抽出する。   The shape evaluation means 19 obtains a distortion value by comparing the curvatures in the same region in the X-axis direction among the plurality of curvatures of the base shape data and the detailed shape data (step # 08). This distortion value is a simple process of calculating a difference in curvature value, but as shown in FIG. 11, the difference from the detailed shape data curvature is extracted as a distortion value based on the curvature of the base shape data.

〔形状評価手段の異なる処理形態〕
特に、本発明では、歪値を取得する際に、ベース形状データと詳細形状データとの複数の曲率から想定される2種の外形曲線(図示せず)を演算によって生成し、ベース形状データに対応する外形曲線と、詳細形状データに対応する外形曲線との差(オフセット量)から歪値を取得するように形状評価手段19の処理形態を設定しても良い。この処理形態を採用することにより、ベース形状データを基準にした詳細形状データの凹凸量を実寸に近い値で取得することになる。
[Different processing forms of shape evaluation means]
In particular, in the present invention, when acquiring the strain value, two types of external curves (not shown) assumed from a plurality of curvatures of the base shape data and the detailed shape data are generated by calculation, and the base shape data is obtained. The processing form of the shape evaluation means 19 may be set so as to obtain the distortion value from the difference (offset amount) between the corresponding outer shape curve and the outer shape curve corresponding to the detailed shape data. By adopting this processing mode, the unevenness amount of the detailed shape data based on the base shape data is acquired with a value close to the actual size.

評価画像生成手段20は、測定対象形状取得手段21から計測対象物Tの外縁を示すアウトラインを示す形状イメージデータを取得し、この形状イメージデータの内部領域に対して同じ歪値を含むエリアを設定し、夫々のエリアに対し、そのエリアに対して歪値に対応した色相・濃度のペイントを行い、このイメージをディスプレイdに表示する(#09ステップ)。   The evaluation image generation unit 20 acquires shape image data indicating an outline indicating the outer edge of the measurement target T from the measurement target shape acquisition unit 21, and sets an area including the same distortion value with respect to an internal region of the shape image data. Then, for each area, the hue / density corresponding to the distortion value is applied to the area, and this image is displayed on the display d (step # 09).

この評価画像生成手段20の処理が行われることにより、ディスプレイdには計測対象物Tの形状のイメージが表示されると共に、この形状のイメージの内部領域に対して、突出方向の歪みと、窪み方向の歪みとを異なる色相で表示する共に、歪みの量に対応して濃度や色相を異ならせることで、歪みが存在する領域と歪みの方向と歪みの程度とが視覚的に把握できるものにする。   As a result of the processing of the evaluation image generating means 20, an image of the shape of the measurement target T is displayed on the display d, and distortion in the protruding direction and depressions are generated with respect to the internal region of the image of this shape. By displaying the distortion of the direction in different hues, and by changing the density and hue according to the amount of distortion, it is possible to visually grasp the area where the distortion exists, the direction of the distortion, and the degree of distortion To do.

〔実施の形態の概要〕
このように、本発明によると、撮影ユニットVで取得した3次元データ構造の撮影データから3次元データを生成し、ノイズの除去の後に、この3次元データの所定の領域の形状を粗く反映した曲率群で成るベース形状データを生成すると共に、3次元データの所定の領域の形状を詳細に反映した曲率群で成る詳細形状データを生成する。この後に、生成されたベース形状データと詳細形状データとにおける同一の領域の曲率を比較して歪値を取得するので、例えば、全体的に緩やかな凸状となる外面形状の一部の狭い領域に凹状の歪みが存在する場合でも、この凹状の歪みを的確に検出できるものとなる。
[Outline of Embodiment]
As described above, according to the present invention, three-dimensional data is generated from photographing data having a three-dimensional data structure acquired by the photographing unit V, and after removing noise, the shape of a predetermined region of the three-dimensional data is roughly reflected. The base shape data including the curvature group is generated, and the detailed shape data including the curvature group reflecting the shape of the predetermined region of the three-dimensional data in detail is generated. After this, since the distortion value is obtained by comparing the curvatures of the same region in the generated base shape data and detailed shape data, for example, a narrow region of a part of the outer surface shape that becomes a generally gentle convex shape Even when there is a concave distortion, the concave distortion can be accurately detected.

また、計測対象物Tに歪みが存在する場合には、ディスプレイdに計測対象物Tと同じ形状のイメージを表示し、そのイメージの内部に歪みの分布の領域を表示し、その領域毎に歪みに対応した色相・濃度のペイントを行うので、視覚的に歪みが存在する位置を把握できると同時に、歪みの方向(凸あるいは凹)と、歪みの程度とを視覚的に把握できるものとなる。   In addition, when there is distortion in the measurement target T, an image having the same shape as the measurement target T is displayed on the display d, a distortion distribution area is displayed inside the image, and distortion is performed for each area. Since the paint of the hue / density corresponding to is performed, the position where the distortion exists visually can be grasped, and at the same time, the direction of the distortion (convex or concave) and the degree of the distortion can be visually grasped.

〔別実施形態〕
本発明では、撮影によって取得した3次元データでも、STLファイル構造の3次元データであっても、取得した3次元データから直接的に詳細形状データとベース形状データとを生成するように処理形態を設定しても良い。具体例を挙げると、詳細形状データ生成手段17が、計測対象物Tの外面形状を示す3次元データの点群の座標のうち、所定方向で設定幅の点群の座標を取得し、この点群から第1設定間隔D1毎の点群を取得し、この点群の周辺点群から最小自乗法等により近似平面を定義し、この近似平面の原点0を設定する。
[Another embodiment]
In the present invention, the processing form is set so that the detailed shape data and the base shape data are generated directly from the acquired three-dimensional data, whether it is three-dimensional data acquired by photographing or three-dimensional data having an STL file structure. May be set. As a specific example, the detailed shape data generation means 17 acquires the coordinates of a point group having a set width in a predetermined direction among the coordinates of the point group of the three-dimensional data indicating the outer surface shape of the measurement target T. A point group for each first set interval D1 is acquired from the group, an approximate plane is defined from the peripheral point group of this point group by the method of least squares, and the origin 0 of this approximate plane is set.

次に、この近似平面の法線方向をZ’軸として、このZ’軸を含む平面(例えば、Z’−X’平面)に対して周辺点群の座標が反映する写像(2次元データ)を生成する。この写像に対して近似曲線を適用し、その近似曲線の曲率計算することで原点0を検査点とする詳細形状データの曲率を得る。これと同様に、ベース形状データ生成手段16が、第2設定間隔D2毎の点群から原点0を検査点とするベース形状データの曲率を得る。この原理により複数の原点0に基づく詳細形状データとベース形状データの曲率を得ることが可能となり、前述同様の処理により詳細形状データとベース形状データの曲率から歪値を取得し、表示することで歪みを把握し得るものとなる。   Next, a map (two-dimensional data) in which the coordinates of the peripheral point group are reflected on a plane including the Z ′ axis (for example, the Z′-X ′ plane) with the normal direction of the approximate plane as the Z ′ axis. Is generated. By applying an approximate curve to this map and calculating the curvature of the approximate curve, the curvature of the detailed shape data with the origin 0 as the inspection point is obtained. Similarly, the base shape data generating means 16 obtains the curvature of the base shape data with the origin 0 as the inspection point from the point group for each second set interval D2. By this principle, it is possible to obtain the curvature of the detailed shape data and the base shape data based on a plurality of origins 0, and by obtaining and displaying the distortion value from the curvature of the detailed shape data and the base shape data by the same processing as described above. The distortion can be grasped.

この別実施形態では、除外領域を除外する処理を説明していないが、ベース形状データ生成手段16又は詳細形状データ生成手段17が取得した3次元データにおいて除外領域を設定し、処理対象から除外しても良く、取得した3次元データにノイズが含まれる可能性があるものでは、ベース形状データ生成手段16又は詳細形状データ生成手段17が取得した後にノイズの除去を行うように処理形態を設定しても良い。   In this alternative embodiment, the process of excluding the excluded area is not described, but the excluded area is set in the three-dimensional data acquired by the base shape data generating unit 16 or the detailed shape data generating unit 17 and excluded from the processing target. If the acquired three-dimensional data may contain noise, the processing form is set so that noise is removed after the base shape data generating unit 16 or the detailed shape data generating unit 17 acquires it. May be.

本発明は、金型を製造する3次元データや、工作機械で削り出し加工を行うための3次元データの評価に利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used for evaluation of three-dimensional data for manufacturing a mold and three-dimensional data for machining with a machine tool.

16 ベース形状データ生成手段
17 詳細形状データ生成手段
18 曲率取得手段
19 形状評価手段
F 近似曲線
P サンプルポイント
16 Base shape data generation means 17 Detailed shape data generation means 18 Curvature acquisition means 19 Shape evaluation means F Approximation curve P Sample point

Claims (4)

物体の外面形状を表す3次元データから、その物体の外面形状の認識を行う形状認識装置であって、
前記3次元データの設定領域の形状が詳細に反映する複数の曲率を、詳細形状データとして取得する詳細形状データ生成手段と、
前記3次元データの設定領域の形状が前記詳細より粗く反映する複数の曲率を、ベース形状データとして取得するベース形状データ生成手段とを備えると共に、
前記詳細形状データと前記ベース形状データとのうち、前記3次元データで同一領域における曲率に基づいて歪値を抽出する形状評価手段を備えている形状認識装置。
A shape recognition device for recognizing an outer shape of an object from three-dimensional data representing the outer shape of the object,
Detailed shape data generating means for acquiring, as detailed shape data, a plurality of curvatures reflected in detail by the shape of the setting region of the three-dimensional data;
A base shape data generating means for acquiring, as base shape data, a plurality of curvatures that reflect the shape of the setting region of the three-dimensional data more roughly than the details;
A shape recognition apparatus comprising shape evaluation means for extracting a distortion value based on a curvature in the same region in the three-dimensional data among the detailed shape data and the base shape data.
前記詳細形状データ生成手段が、前記3次元データの設定領域の形状が設定方向で第1設定間隔毎に反映する2次元データ構造の表面形状データを生成し、この表面形状データにおいて前記設定方向での曲率を算出することで前記詳細形状データを生成し、
前記ベース形状データ生成手段が、前記3次元データの設定領域の形状が設定方向で前記第1設定間隔より広い第2設定間隔毎に反映する2次元データ構造の表面形状データを生成し、この表面形状データにおいて前記設定方向での曲率を算出することで前記ベース形状データを生成する請求項1記載の形状認識装置。
The detailed shape data generating means generates surface shape data having a two-dimensional data structure in which the shape of the setting region of the three-dimensional data is reflected in the setting direction at every first setting interval. The detailed shape data is generated by calculating the curvature of
The base shape data generating means generates surface shape data having a two-dimensional data structure in which the shape of the setting region of the three-dimensional data is reflected every second setting interval wider than the first setting interval in the setting direction. The shape recognition apparatus according to claim 1, wherein the base shape data is generated by calculating a curvature in the setting direction in the shape data.
前記詳細形状データ生成手段で生成された前記表面形状データと、前記ベース形状データ生成手段で生成された前記表面形状データから曲率を算出する曲率取得手段を備え、前記曲率取得手段が、前記表面形状データにおいて高さ値を示す3点以上のサンプルポイントのうち、中央付近を頂点とした点群上又は点群付近を通過する2次曲線を近似曲線として適用し、適用された近似曲線のサンプルポイント中央部での曲率に基づいて前記曲率を算出する請求項2記載の形状認識装置。   Curvature acquisition means for calculating curvature from the surface shape data generated by the detailed shape data generation means and the surface shape data generated by the base shape data generation means, the curvature acquisition means comprising the surface shape Of the three or more sample points indicating the height value in the data, a quadratic curve that passes on or near the point cloud with the center near the vertex is applied as an approximate curve, and the sample points of the applied approximate curve The shape recognition apparatus according to claim 2, wherein the curvature is calculated based on a curvature at a central portion. 前記形状評価手段が、詳細形状データから取得した複数の曲率と、ベース形状データから取得した複数の曲率とのうち前記設定方向で同一領域の曲率同士の比較、又は、曲率から生成された曲線同士の高さ値の比較により前記歪値を抽出する請求項1〜3のいずれか一項に記載の形状認識装置。



Among the plurality of curvatures acquired from the detailed shape data and the plurality of curvatures acquired from the base shape data, the shape evaluation unit compares the curvatures of the same region in the setting direction, or curves generated from the curvatures The shape recognition apparatus according to any one of claims 1 to 3, wherein the distortion value is extracted by comparing height values.



JP2009059686A 2009-03-12 2009-03-12 Shape recognition device Active JP5395470B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009059686A JP5395470B2 (en) 2009-03-12 2009-03-12 Shape recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009059686A JP5395470B2 (en) 2009-03-12 2009-03-12 Shape recognition device

Publications (2)

Publication Number Publication Date
JP2010210576A true JP2010210576A (en) 2010-09-24
JP5395470B2 JP5395470B2 (en) 2014-01-22

Family

ID=42970888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009059686A Active JP5395470B2 (en) 2009-03-12 2009-03-12 Shape recognition device

Country Status (1)

Country Link
JP (1) JP5395470B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068867A (en) * 2010-09-22 2012-04-05 Daihatsu Motor Co Ltd Metal mold shape data creation system
JP2012103144A (en) * 2010-11-11 2012-05-31 Univ Of Tokyo Three-dimensional environment restoration device, three-dimensional environment restoration method, and robot
JP2012242998A (en) * 2011-05-18 2012-12-10 Toyota Motor Corp Human-machine interface device and cad system
JP2014522978A (en) * 2011-07-13 2014-09-08 カール マール ホールティング ゲーエムベーハー Outline measuring instrument for workpiece having outline shape to be connected tangentially and method therefor
JP2015197297A (en) * 2014-03-31 2015-11-09 ダイハツ工業株式会社 shape recognition device
JP2016197059A (en) * 2015-04-03 2016-11-24 本田技研工業株式会社 Positioning system, car onboard device, and positioning method
CN110291358A (en) * 2017-02-20 2019-09-27 欧姆龙株式会社 Shape estimation device
US10859376B2 (en) 2016-02-25 2020-12-08 Mitutoyo Corporation Information processing apparatus, information processing method, and non-transitory computer readable recording medium
JP7409583B1 (en) 2022-07-22 2024-01-09 Jfeスチール株式会社 Manufacturing method of press molded products
WO2024019168A1 (en) * 2022-07-22 2024-01-25 Jfeスチール株式会社 Method for manufacturing press-molded article

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06288763A (en) * 1993-03-30 1994-10-18 Mazda Motor Corp Method for evaluating shape
JPH07270134A (en) * 1994-03-30 1995-10-20 Honda Motor Co Ltd Surface distortion judging method
JPH09159622A (en) * 1995-12-05 1997-06-20 Kawasaki Steel Corp Surface defect inspection equipment
JP2003021511A (en) * 2001-07-06 2003-01-24 Nissan Motor Co Ltd Evaluation method for shape defect of surface to be measured
JP2004333149A (en) * 2003-04-30 2004-11-25 Jfe Engineering Kk Method for measuring and evaluating shape of pipeline
JP2006120006A (en) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd Eye opening/closing determination system
JP2007064728A (en) * 2005-08-30 2007-03-15 Daihatsu Motor Co Ltd Strain evaluation device and method therefor
JP2007127610A (en) * 2005-11-07 2007-05-24 Daihatsu Motor Co Ltd Shape recognition device and strain evaluation device
JP2007240323A (en) * 2006-03-08 2007-09-20 Toppan Printing Co Ltd Method and device for inspecting defect of periodic pattern
JP2007256209A (en) * 2006-03-24 2007-10-04 Toshiba Corp Connection state inspection method and device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06288763A (en) * 1993-03-30 1994-10-18 Mazda Motor Corp Method for evaluating shape
JPH07270134A (en) * 1994-03-30 1995-10-20 Honda Motor Co Ltd Surface distortion judging method
JPH09159622A (en) * 1995-12-05 1997-06-20 Kawasaki Steel Corp Surface defect inspection equipment
JP2003021511A (en) * 2001-07-06 2003-01-24 Nissan Motor Co Ltd Evaluation method for shape defect of surface to be measured
JP2004333149A (en) * 2003-04-30 2004-11-25 Jfe Engineering Kk Method for measuring and evaluating shape of pipeline
JP2006120006A (en) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd Eye opening/closing determination system
JP2007064728A (en) * 2005-08-30 2007-03-15 Daihatsu Motor Co Ltd Strain evaluation device and method therefor
JP2007127610A (en) * 2005-11-07 2007-05-24 Daihatsu Motor Co Ltd Shape recognition device and strain evaluation device
JP2007240323A (en) * 2006-03-08 2007-09-20 Toppan Printing Co Ltd Method and device for inspecting defect of periodic pattern
JP2007256209A (en) * 2006-03-24 2007-10-04 Toshiba Corp Connection state inspection method and device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068867A (en) * 2010-09-22 2012-04-05 Daihatsu Motor Co Ltd Metal mold shape data creation system
JP2012103144A (en) * 2010-11-11 2012-05-31 Univ Of Tokyo Three-dimensional environment restoration device, three-dimensional environment restoration method, and robot
JP2012242998A (en) * 2011-05-18 2012-12-10 Toyota Motor Corp Human-machine interface device and cad system
US10274301B2 (en) 2011-07-13 2019-04-30 Carl Mahr Holding Gmbh Contour meter and method for measuring the contour of a workpiece having tangentially adjoining contour geometries
JP2014522978A (en) * 2011-07-13 2014-09-08 カール マール ホールティング ゲーエムベーハー Outline measuring instrument for workpiece having outline shape to be connected tangentially and method therefor
JP2015197297A (en) * 2014-03-31 2015-11-09 ダイハツ工業株式会社 shape recognition device
JP2016197059A (en) * 2015-04-03 2016-11-24 本田技研工業株式会社 Positioning system, car onboard device, and positioning method
US10859376B2 (en) 2016-02-25 2020-12-08 Mitutoyo Corporation Information processing apparatus, information processing method, and non-transitory computer readable recording medium
CN110291358A (en) * 2017-02-20 2019-09-27 欧姆龙株式会社 Shape estimation device
US11036965B2 (en) 2017-02-20 2021-06-15 Omron Corporation Shape estimating apparatus
CN110291358B (en) * 2017-02-20 2022-04-05 欧姆龙株式会社 Shape estimating device
JP7409583B1 (en) 2022-07-22 2024-01-09 Jfeスチール株式会社 Manufacturing method of press molded products
WO2024019168A1 (en) * 2022-07-22 2024-01-25 Jfeスチール株式会社 Method for manufacturing press-molded article

Also Published As

Publication number Publication date
JP5395470B2 (en) 2014-01-22

Similar Documents

Publication Publication Date Title
JP5395470B2 (en) Shape recognition device
US11042146B2 (en) Automated 360-degree dense point object inspection
Li et al. Free-form surface inspection techniques state of the art review
CN114041168A (en) Automated 360-degree dense point object inspection
JP5257335B2 (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
KR101430604B1 (en) Method for creating three-dimensional shape data, apparatus for creating three-dimensional shape data, and corresponding computer-readable storage medium
JP2011007632A (en) Information processing apparatus, information processing method and program
WO2007091604A1 (en) Three-dimensional-object detecting device
JP2007127610A (en) Shape recognition device and strain evaluation device
KR101078651B1 (en) System and method for measuring a curved surface
Lu et al. A multi-sensor approach for rapid and precise digitization of free-form surface in reverse engineering
Barbero The recovery of design intent in reverse engineering problems
Hascoët et al. Automated identification of defect geometry for metallic part repair by an additive manufacturing process
Barnfather et al. Efficient compensation of dimensional errors in robotic machining using imperfect point cloud part inspection data
Son et al. Path planning of multi-patched freeform surfaces for laser scanning
JP6064871B2 (en) Thickness measurement method
JP2017116404A (en) Shape recognition device and shape recognition method
JP6282157B2 (en) Shape recognition device
JP5515177B2 (en) Shape recognition device
JP2015007639A (en) Information processing apparatus, information processing method and program
CN115578429B (en) Mold online precision detection method based on point cloud data
CN109509182B (en) Typical product geometric dimension measuring method and system based on image processing
JP2010210577A (en) Shape recognition device
US10739750B2 (en) Method for correcting deviations in a production process of an article using a head-mounted display
Guo et al. Vision-guided path planning and joint configuration optimization for robot grinding of spatial surface weld beads via point cloud

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131018

R150 Certificate of patent or registration of utility model

Ref document number: 5395470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250