KR101604037B1 - method of making three dimension model and defect analysis using camera and laser scanning - Google Patents
method of making three dimension model and defect analysis using camera and laser scanning Download PDFInfo
- Publication number
- KR101604037B1 KR101604037B1 KR1020140055434A KR20140055434A KR101604037B1 KR 101604037 B1 KR101604037 B1 KR 101604037B1 KR 1020140055434 A KR1020140055434 A KR 1020140055434A KR 20140055434 A KR20140055434 A KR 20140055434A KR 101604037 B1 KR101604037 B1 KR 101604037B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- dimensional
- point cloud
- defect
- cloud data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Abstract
3차원 레이저 스캔을 통하여 결함 검지 대상물 표면의 복수 포인트에 대한 포인트 클라우드 데이터를 얻는 단계, 결함 검지 대상물 표면에 대한 이미지 취득하고 결함 정보를 얻는 단계, 이미지 및 결함 정보를 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 3차원 구조물 모델을 구성하고 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계를 구비하는 3차원 레이저 스캔을 이용한 대상물 결함 검사 방법이 개시된다.
본 발명에 따르면 대형 콘크리트 구조물과 같은 대상물에 대한 기존 결함 검사를 하면서 포인트 클라우드 데이터를 직접 분석하여 결함을 확정하기 위해 수많은 3차원 데이터 프로세싱 작업을 하는 부담을 고화질 이미지 획득 및 분석을 통해 줄이므로 보다 신속하면서도 안정적이고 정확하게 할 수 있다. Obtaining point cloud data for a plurality of points on the surface of the defect detection object through a three-dimensional laser scan, acquiring an image of the defect detection object surface and obtaining defect information, and acquiring image and defect information in three-dimensional coordinates of the point cloud data A method for inspecting an object defect using a three-dimensional laser scan, comprising: constructing a three-dimensional structure model including defect information and confirming positional coordinates and degree of damage of each defect on an object surface;
According to the present invention, the burden of performing a large number of three-dimensional data processing tasks in order to determine defects by directly analyzing point cloud data while performing an existing defect inspection on an object such as a large concrete structure is reduced through high-quality image acquisition and analysis, But can be stable and accurate.
Description
본 발명은 결함 검사가 필요한 대상물에 대한 이미지와 레이저 스캔을 실시하여 얻은 데이타를 통해 대상물의 결함을 검사하는 방법에 관한 것이다.
The present invention relates to a method for inspecting an object for defects through data obtained by performing image scanning and laser scanning on an object requiring defect inspection.
콘크리트 구조물과 같은 대상물의 기본적인 안전성 확인을 위해 결함을 점검하고 분석하는 방법이 필요하며, 기존에는 결함 검사를 대부분 육안검사 및 수동적인 비파괴 검사에 의존하고 있다.In order to confirm the basic safety of objects such as concrete structures, it is necessary to check and analyze defects. In the past, most defects are relied on visual inspection and passive non-destructive inspection.
그러나, 대부분의 경우에 있어 구조물의 결함 검사를 위한 정기 점검이 수행되지 않고 있으며, 결함 검사가 이루어지는 경우에도 육안에 의존하여 검사자나 검사 여건에 따른 편차가 심하므로 안정적이고 효과적인 결함 검사가 이루어지지 못하는 실정이다. However, in most cases, periodical inspection for defect inspection of the structure is not performed, and even when defect inspection is performed, there is a large variation due to the inspector or inspection condition depending on the naked eye, so that stable and effective defect inspection can not be performed It is true.
따라서, 기존 구조물 점검 방식의 한계를 극복할 수 있는 체계적이고 효율적인 결함 검사 방법이 요청된다.Therefore, a systematic and efficient defect inspection method that can overcome the limitation of existing structure inspection method is required.
한편, 대상물에 대한 3차원 영상을 얻고 표현하는 영상 처리 기법이 많이 발전하고 있으며 최근 사람들의 관심을 많이 받고 있는 3차원 입체영화나 3차원 텔레비전 방송과 같은 엔터테인먼트에 한정되지 않고 의료 분야 등 다양한 분야에서 고도로 정밀화된 고화질 영상 및 데이터 분석을 실시하는 방법이 개발되고 있다.On the other hand, image processing techniques for acquiring and displaying three-dimensional images of objects are being developed. In recent years, not only entertainment such as three-dimensional stereoscopic movies and three-dimensional television broadcasts, A method of performing highly precise high-resolution image and data analysis is being developed.
가령, 의료분야의 MRI 등 입체 단층 촬영에 기반한 3차원 영상의 획득이나, 반도체와 같은 미세하고 정교한 제작물에 대한 공정 수행 결과 판단을 위한 공정 검사에서도 3차원 영상 분석이 사용되고 있다. 그러나, 이런 분석은 직접 광학적으로 촬상된 이미지를 이용한 분석은 아니다.For example, three-dimensional image analysis is also used in process inspection for acquisition of three-dimensional images based on stereoscopic imaging such as MRI in the medical field, and for determination of process results for fine and sophisticated products such as semiconductors. However, this analysis is not an analysis using directly optically photographed images.
3차원 영상과 관련하여 포인트 클라우드(point cloud) 개념이 언급될 수 있다. 포인트 클라우드는 어떤 좌표계의 데이터 포인트의 집합이며, 3차원 좌표계에서 이들 포인트는 대상물의 외부 표면을 표현하기 위해 대개 직각좌표계의 x,y,z 수치로 나타내어질 수 있다.The concept of a point cloud may be mentioned with respect to a three-dimensional image. A point cloud is a set of data points in some coordinate system. In a three-dimensional coordinate system, these points can be represented by x, y, z values of a rectangular coordinate system to represent the outer surface of the object.
포인트 클라우드는 3차원 레이저 스캐너에 의해 작성될 수 있는데, 이러한 장비는 대상물의 표면의 다수 포인트를 자동적으로 측정할 수 있도록 이루어지며, 데이터 파일 형태로 포인트 클라우드가 산출되기도 한다. 이때, 포인트 클라우드는 장비가 계측한 다수 포인트(포인트 좌표에 컬러 등 특성 데이터가 포함되는 경우도 있다)를 나타내게 된다.A point cloud can be created by a 3D laser scanner, which automatically measures a number of points on the surface of an object and produces a point cloud in the form of a data file. At this time, the point cloud represents a number of points measured by the equipment (in some cases, characteristic data such as color is included in the point coordinates).
포인트 클라우드는 직접 조사되고 제공될 수는 있지만 대개 자체로서는 직접 입체적 응용 툴(tool)에 사용되지는 못하고, 다수의 다각형으로 구성되는 모델로 전환되거나 표면 구성이라 흔히 언급되는 과정을 통해 CAD 모델로 전환된 후 툴에 사용될 수 있다.Point clouds can be directly inspected and provided, but they are usually not directly used in 3D application tools, but are converted into models with many polygons or converted into CAD models through processes that are often referred to as surface configurations. And can be used for tools.
한편, 포인트 클라우드를 이용한 표면구성과 이용은 포인트의 갯수가 많을수록 더 정확해지나, 그 처리에 필요한 연산은 매우 증가되므로 시간과 비용이 증가하여 트레이드 오프(trade off) 관계에 있게 된다.On the other hand, the more the number of points is, the more accurate the surface configuration and use by using the point cloud, but the computation required for the processing is greatly increased, and the time and cost are increased and the trade off relation is established.
그런데, 화면이 정밀도가 떨어지면 3차원 영상의 이용도가 떨어지게 되고, 정밀도를 높이면 처리의 시간과 비용이 늘어나므로 3차원 프로파일에 의한 정밀조사가 적합하다.
However, if the precision of the screen is lowered, the utilization of the three-dimensional image is lowered, and if the precision is increased, the time and cost of the processing increase, so that the three-dimensional profile is suitable for the fine inspection.
본 발명은 상술한 기존 대형 대상물의 결함 점검 분석 방법의 문제점을 해결하기 위한 것으로, 비파괴검사의 대형 대상물 전체에 대한 적용상의 한계와 기존 육안검사가 경험이나 검사자의 인적 요소에 의존하여 안정적이지 못한 문제를 함께 해결할 수 있는 결함 검사 방법을 제공하는 것을 목적으로 한다.The present invention is intended to solve the problems of the defect inspection and analysis method of the existing large objects as described above. It is a problem that the limitation of the application of the large object of the nondestructive inspection and the existing visual inspection is not stable due to the experience or the human factor of the inspector And a defect inspection method capable of solving the defect inspection method together.
본 발명은 대상물에 대한 결함 검사를 신속하게 할 수 있으면서 결함 검지 정확도를 높일 수 있는 결함 검사 방법을 제공하는 것을 목적으로 한다.
An object of the present invention is to provide a defect inspection method capable of rapidly performing defect inspection on an object while increasing the accuracy of defect detection.
상술한 종래 결함 검사 방법의 문제점을 해결하기 위한 본 발명의 결함 검사 방법은,A defect inspection method of the present invention for solving the problems of the conventional defect inspection method,
레이저 스캐닝을 통하여 결함 검지 대상물(대상물 표면)의 복수 포인트에 대한 포인트 클라우드 데이터를 얻는 단계,Obtaining point cloud data for a plurality of points of the defect detection object (object surface) through laser scanning;
상기 포인트 클라우드 데이터를 이용하여 대상물의 입체적 형상을 구성하는 단계,Constructing a three-dimensional shape of the object using the point cloud data,
상기 결함 검지 대상물에 대한 (고화질) 이미지 취득 및 분석하여 결함 정보를 얻는 단계,Acquiring and analyzing (high-quality) image for the defect detection object to obtain defect information,
상기 이미지 취득 및 분석 결과를 상기 복수 포인트에 대한 포인트 클라우드 데이터의 3차원 좌표 및 상기 입체적 형상과 결합하여 결함 정보를 포함하고 있는 대상물 3차원 모델을 구성하고 상기 대상물의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계를 구비하여 이루어진다.Dimensional model including the defect information by combining the image acquisition and analysis result with the three-dimensional coordinates of the point cloud data for the plurality of points and the three-dimensional shape, and sets the position coordinates and the position coordinates of each defect of the object And checking the degree of damage.
본 발명에서 이미지 취득은 하나의 사진으로 전체를 고화질로 커버할 수 없는 경우가 많으므로 이런 경우, 대상물에 대한 부분적 이미지를 획득하고 부분적 이미지를 결합시켜 전체 이미지를 도출함으로써 이루어질 수 있다.In the present invention, image acquisition can not cover the entire image with high quality in one photograph. In this case, it is possible to obtain a partial image for the object and to combine the partial images to derive the entire image.
본 발명에서 이미지와 포인트 클라우드 데이터 (대표적으로 포인트들의 3차원 좌표) 및 입체적 형상의 결합은 포인트 클라우드를 구성하는 점들을 이미지 상의 대응 위치에 맵핑시키는 것 혹은 포인트 클라우드 데이터에 이미지 분석을 통한 결함 정보를 부가시키는 작업을 통해 이루어질 수 있으며, 이로써 포인트 클라우드 데이터는 단순한 다수 포인트에 대한 좌표 집합에서 결함 정보를 포함하는 구조화된 데이터로서 대상물 3차원 모델을 이룰 수 있게 된다.In the present invention, the combination of the image and the point cloud data (typically, the three-dimensional coordinates of the points) and the three-dimensional shape may be performed by mapping the points constituting the point cloud to corresponding positions on the image, or by combining the point cloud data with the defect information So that the point cloud data can achieve the object three-dimensional model as structured data including defect information in a coordinate set for a simple multiple point.
대상물 3차원 모델을 구성하고 상기 대상물의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계는 고화질 이미지에서 결함 부분을 사전에 데이터 베이스에 입력된 결함 패턴 이미지를 기초로 이미지 프로세싱을 통해 얻고, 상기 결함 부분에서의 상기 포인트 클라우드 데이터 (3차원 좌표) 및 입체적 형상 정보를 이용하여 결함의 깊이나 손상 정도를 확인하는 방식으로 고화질 이미지와 포인트 클라우드 데이터 및 입체적 형상 정보의 결합을 통해 결함 위치, 크기, 손상 정도와 결함 패턴을 확정하여 이루어지는 것일 수 있다.The step of constructing a three-dimensional object model and confirming the positional coordinates and the degree of damage of each defect of the object may include obtaining a defect part in the high-quality image through image processing based on the defect pattern image input to the database in advance, Dimensional shape information and the point cloud data (three-dimensional coordinate) and the three-dimensional shape information in the defective portion are used to check the depth and degree of damage of the defect, the combination of the high-quality image, the point cloud data, , The degree of damage and the defect pattern may be determined.
본 발명에서 얻은 대상물 3차원 모델은 일정한 시간적 간격으로 두고 전체 과정이 반복되어 이전 자료와 결합됨으로써 시계열적인 결함 패턴의 변화를 확인하고 변화의 경향 분석을 통해 장래의 균열 진행과 같은 결함 상태 변화를 예측할 수 있는 시뮬레이션 프로그램을 포함하는 시계열적인 모델로 이루어지는 것일 수 있다.
The object three-dimensional model obtained in the present invention is repeated at a predetermined time interval, and the entire process is repeated and combined with the previous data to confirm the change of the defect pattern in a time-series manner and to predict a defect state change such as a future crack progression Which may be a time-series model including a simulation program that can be used.
본 발명에 따르면, 대상물에 대한 3차원 영상 및 레이져 스캐닝을 통해 포인트 클라우드 데이터를 얻고 대상물에 대한 광학적 고화질 이미지를 취득하고, 분석하여 결함에 대한 정보를 획득하고, 이들을 결합시켜 결함 정보를 포함하고 있는 대상물 3차원 모델을 구성하고, 이로써 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 파악하여 대형 콘크리트 구조물과 같은 대상물에 대한 기존 결함 검사를 신속하면서도 안정적이고 정확하게 할 수 있다.According to the present invention, point cloud data is obtained through three-dimensional image and laser scanning of an object, and optical high-definition images of an object are acquired and analyzed to acquire information on defects and combine them to include defect information By constructing a three-dimensional object model, it is possible to quickly and stably and precisely inspect existing defects of an object such as a large concrete structure by grasping the position coordinates and the degree of damage of each defect on the object surface.
그리고, 포인트 클라우드 데이터를 직접 분석하여 결함을 확정하기 위해 수많은 3차원 데이터 프로세싱 작업을 하는 부담을 고화질 이미지 획득 및 분석을 통해 줄이면서도 결함 부위에 대해서는 포인트 클라우드 데이터를 이용하여 결함 확인, 위치 파악, 결함 크기 파악을 할 수 있으므로 보다 정확하고 안정적인 결함 검사를 할 수 있게 된다.
In addition, the burden of performing a large number of three-dimensional data processing tasks in order to determine the defects by directly analyzing the point cloud data can be reduced through high-quality image acquisition and analysis, and defective areas can be identified, Since the size can be grasped, more accurate and stable defect inspection can be performed.
도1은 본 발명의 일 실시예를 나타내는 흐름도,
도2는 본 발명을 실시하기 위한 영상 및 레이저 스캐너 시스템의 일예를 나타내는 구성 개념도,
도3은 본 발명의 다른 실시예에서 레이저 스캐닝을 통해 포인트 클라우드 데이터를 획득하는 과정의 예를 나타내는 흐름도,
도4는 3차원 레이저 스캐너 시스템에서 얻은 개별 레이저 라인에 대한 카메라 촬영 영상과 결함 정보를 검출하기 위해 도표화한 그래프이다.1 is a flowchart showing an embodiment of the present invention;
2 is a structural conceptual diagram showing an example of a video and laser scanner system for carrying out the present invention,
FIG. 3 is a flowchart showing an example of a process of acquiring point cloud data through laser scanning in another embodiment of the present invention; FIG.
FIG. 4 is a graph plotted to detect camera photographed images and defect information for individual laser lines obtained from a three-dimensional laser scanner system.
이하 도면을 참조하면서 실시예를 통해 본 발명을 보다 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
본 발명에서 레이저 스캐너를 이용하여 포인트 클라우드 데이터를 얻는 단계는 레이저 스캐너의 유형에 따라 다양하게 이루어질 수 있다.In the present invention, the step of obtaining point cloud data using the laser scanner may be variously performed according to the type of the laser scanner.
도1은 본 발명의 일 실시예를 나타내는 흐름도이다.1 is a flowchart showing an embodiment of the present invention.
본 발명에서는 전체적으로 레이저 스캔을 통하여 결함 검지 대상물 표면의 복수 포인트에 대한 포인트 클라우드 데이터를 얻는 단계(SP1), 상기 결함 검지 대상물 표면에 대한 이미지 취득하고 결함 정보를 얻는 단계(SP2), 상기 이미지 및 결함 정보를 상기 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 대상물 3차원 모델을 구성하고 상기 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계(SP3)를 구비하며,(SP1) of obtaining point cloud data for a plurality of points on the surface of a defect detection object through a laser scan as a whole, obtaining an image of the defect detection surface and obtaining defect information (SP2) (SP3) of constructing an object three-dimensional model including defect information by combining the information with three-dimensional coordinates of the point cloud data and confirming the position coordinates and the degree of damage of each defect on the object surface ,
이 실시예에 따르면, 우선, 라인 레이저와 같은 레이저 스캐너 시스템을 설치하고 대상물 스캔하는 단계가 이루어진다. 레이저 스캐너 시스템의 설치는 대상물 표면에 도2와 같이 일정 각도로 레이저 스캐너의 레이져(laser projecter: 10)에서 라인 레이져를 투사하고 대상물(40) 표면이 평편하다면 대상물(40) 표면에 맺힌 레이져 라인이 수평하게 감지되도록 영상 센서 혹은 카메라(20)를 라인 레이져와 다른 각도로 설치하여 이미지(영상)를 취득하는 구조로 이루어진다. 스캔을 위해 레이저 스캐너 시스템과 대상물은 상대적으로 이동할 수 있다. 카메라(20)는 일종의 이미지 프로세서로서의 컴퓨터 시스템(30)과 연결되어 컴퓨터 시스템(30) 내의 모니터를 통해 라인 레이저가 맺힌 영상을 확인할 수 있고, 컴퓨터 시스템(30)은 레이저 스캐너 시스템과 대상물의 상대적 이동에 관련된 콘트롤러와 영상에서 얻어지는 데이터를 처리하여 포인트 클라우드 데이터화하기 위한 프로그램 및 프로세서, 결함 패턴과 관련된 데이터 베이스를 포함할 수 있다.According to this embodiment, first, a laser scanner system such as a line laser is installed and an object scanning step is performed. The installation of the laser scanner system is performed by projecting a line laser from a
이런 레이저 스캐너 구성은 백색광 방식 스캐너와 관련된다. 백색광 방식 스캐너는 특정 패턴을 물체에 투영하고 그 패턴의 변형 형태를 파악해 3차원 정보를 얻어낸다. 사용되는 패턴은 여러 가지가 가능하며, 여기서의 1차원 패턴 방식은 선(line) 형태의 패턴을 LCD 프로젝트나 움직이는 레이저(sweeping laser)를 이용해 물체에 프로젝션시킨다.Such a laser scanner configuration is associated with a white light type scanner. A white light system scanner obtains three-dimensional information by projecting a specific pattern onto an object and grasping the deformed shape of the pattern. There are various patterns that can be used, and the one-dimensional pattern method here projects a line-shaped pattern onto an object using an LCD project or a sweeping laser.
카메라는 프로젝트로부터 피사체에 크기에 따라 가변적인 일정 거리를 두고 위치시키고, 패턴에서 라인을 인식하고, 그 라인을 구성하는 모든 화소의 깊이 값은 잘 알려져 있는 광 삼각법을 이용해 구해낸다.The camera positions the subject from the project with a variable distance according to the size, recognizes the line in the pattern, and obtains the depth value of all the pixels constituting the line using the well-known triangulation method.
가령, 라인 레이져 스캔 및 2차원 이미지 취득을 할 때 1대의 카메라로 보여주기 위해서 카메라는 상단 높은 곳에 설치되는 것이 바람직하다. 이때, 카메라로 입력된 대상물 화면은 가까운 곳과 먼 곳의 화면상의 거리와 실제 거리 사이에 차이가 생겨 가까운 곳의 이동은 화면 좌표의 변화가 크게 나타나고 먼 곳의 이동은 작게 나타나게 된다. For example, when scanning a line laser and acquiring a two-dimensional image, it is desirable that the camera be installed at a high elevation in order to show it as a single camera. At this time, the object screen inputted by the camera has a difference between the distance on the screen near the far point and the actual distance, so that the movement near the center of the object image shows a large change of the screen coordinates and the movement of the far point is small.
그러므로, 카메라의 설치 위치와 각도로부터 화면 좌표 변화와 실제 거리 사이의 변환 관계를 통해 좌표를 변환해 주어야 한다.Therefore, coordinates should be converted from the camera installation position and angle through the conversion relation between the screen coordinate change and the actual distance.
즉, 높은 정점에 설치된 카메라의 화면에 나타나는 영상은 원근사영(perspective projection)의 형태로 나타나게 되며, 카메라의 화면 좌표와 월드 좌표사이의 변환 관계를 구하기 위해서 화면 좌표의 x축과 y축의 방향이 월드 좌표와 일치한다고 가정하고 화면 좌표의 원점에 월드 좌표의 원점이 사영된다고 가정한다. 만약 대상물 평면의 수선과 θr의 각도로 카메라가 설치되어 있다면 실제 월드 좌표를 x축을 중심으로 θr만큼 회전이동시킨 후 초점거리와 카메라까지의 거리 사이에 비례 관계로부터 화면 좌표를 구할 수 있다. In order to obtain the transformation relation between the screen coordinate of the camera and the world coordinates, the direction of the x-axis and the y-axis of the screen coordinates is set to be the world Assuming that it coincides with the coordinates, it is assumed that the origin of the world coordinates is projected at the origin of the screen coordinates. If the camera is installed at an angle between the waterline of the object plane and the angle θr, the actual world coordinate can be rotated about the x axis by θr, and the screen coordinates can be obtained from the proportional relationship between the focal distance and the distance to the camera.
화면의 x, y축의 방향과 월드 좌표의 x,y축의 방향이 일치한다고 가정했으므로 카메라는 x축을 중심으로 θr만큼 회전시키면 카메라의 사영면과 실제 평면은 평행하게 맵핑되고 초점거리와 카메라까지의 거리 비율로부터 해당 좌표의 사영 평면에 맵핑된 좌표를 구할 수 있다.Assuming that the directions of the x and y axes of the screen coincide with the directions of the x and y axes of the world coordinates, if the camera is rotated by θr around the x axis, the camera's actual plane is mapped parallel to the actual plane, The coordinates mapped to the projection plane of the corresponding coordinates from the ratio can be obtained.
백색광 방식은 한 번에 한 점씩 스캔하는 것이 아니라, 전체 촬상영역(Fied of View, FOV) 전반에 걸려 있는 모든 피사체의 3차원 좌표를 한번에 얻어낼 수 있으므로 모션장치에 의한 진동으로부터 오는 측정 정확도의 손실을 줄일 수 있고 이 때문에 정밀한 스캐닝을 위한 목적으로 사용할 수 있다. Since the white light method can obtain the three-dimensional coordinates of all the objects in the entire imaging area (FOV) at one time, it is possible to obtain the loss of measurement accuracy due to the motion device Which can be used for precise scanning purposes.
도3을 참조하면서 보다 구체적으로 대상물(대상물 표면)에 대한 포인트 클라우드 데이터를 얻는 방법의 한 실시예를 살펴보면, 대상물 전면에 라인 레이저와 대상물 표면에 맺힌 라인 레이저 및 영상을 검출하는 영상 센서를 구비하는 레이저 스캐너 시스템을 설치하고 대상물과 이 레이저 스캐너 시스템을 상대적으로 이동시키면서 대상물 표면을 검사하는 경우, More specifically, referring to FIG. 3, an embodiment of a method for obtaining point cloud data for an object (object surface) includes a line laser on the object surface, a line laser formed on the surface of the object, and an image sensor for detecting the image When installing a laser scanner system and inspecting the object surface while moving the object and this laser scanner system relatively,
포인트 클라우드 로딩(Point Cloud Loading) 단계(S10), 포인트 클라우드 화소(Point Cloud Pixel) 선형화 단계(S20), 2차원 좌표기반 화소(Pixel) 정보 테이블 맵핑(Table Mapping) 단계(S30), 개별 포인트(Point)의 공간 좌표 테이블 맵핑(Table Mapping) 단계(S40), 포인트 클라우드 데이터 표면 스플라인(Point Cloud Data Surface Spline) 보간 단계(S50), 기저 데이터 적용 단계 및 2차원 평면 데이터(Palne Data) 적용 단계(S60), 2차원 단면 분석 적용 단계(S70), 시계열 데이터 생성 단계(S80)와 같은 일련의 단계들을 구비하여 포인트 클라우드 데이터가 생성됨을 볼 수 있다.A point cloud loading step S10, a point cloud pixel linearization step S20, a two-dimensional coordinate-based pixel information table mapping step S30, an individual point A step S50 of interpolating a point cloud data surface spline, a step S50 of applying a base data and a step of applying a two-dimensional plane data (Palne Data) S60), a two-dimensional cross-sectional analysis application step (S70), and a time series data generation step (S80) are performed to generate point cloud data.
이때, 포인트 클라우드 로딩(Point Cloud Loading) 단계(S10)는 라인 레이저의 하나의 라인에 대해 카메라에서 편광필터를 통과한 빛 정보를 수신하여 라인 레이져 신호에서 선을 추출하고, 라인별 구성 포인트를 3차원 데이터로 생성하는 과정이다.In this case, the point cloud loading step S10 receives light information that has passed through the polarizing filter in the camera for one line of the line laser, extracts a line from the line laser signal, Dimensional data.
포인트 클라우드 화소 선형화 단계(S20)는 하나의 레이저 라인을 조사하도록 하는 트리거 신호를 통해 발생된 라인 레이저의 하나의 레이저 라인에 대해 입력된 영상 자료를 라인 데이터 파일로 생성하는 과정이며, 화소 정보를 일렬로 정리하여 선으로 구성하는 과정이다.The point cloud linearization step S20 is a step of generating an image data input to one laser line of a line laser generated through a trigger signal for irradiating one laser line as a line data file, And a line.
또한, 2차원 좌표기반 화소(Pixel) 정보 테이블 맵핑(Table Mapping) 단계(S30)는 선형화된 화소(Pixel) 정보로부터 방향, 간격 등의 화소(Pixel) 간의 정보를 2차원 평면 테이블에 맵핑(mapping)하여 위치 값을 부여하는 과정으로서, 라인별 간격 등을 초기 설정치와 맵핑하여 3차원 면 정보를 산출하는 과정이며, In addition, the two-dimensional coordinate-based pixel table mapping (Table Mapping) step S30 is a step of mapping information between pixels such as directions and intervals from the linearized pixel information to a two- ), And calculating three-dimensional surface information by mapping an interval or the like per line to an initial set value,
개별 포인트(Point)의 공간 정보(좌표) 테이블 맵핑(Table Mapping) 단계(S40)에서는 라인별 포인트 테이블 맵핑 값을 x, y, z 좌표 값으로 변환하는 과정이다.Spatial Information (Coordinates) of Individual Points (Point Mapping) In step S40, a point table mapping value for each line is converted into x, y, and z coordinate values.
포인트 클라우드 데이터 표면 스플라인(Point Cloud Data Surface Spline) 보간 단계(S50)에서는 라인별 포인트 좌표 값을 이용하여 축방향별 다면 정보를 구성하여 표면 정보로 재구성하는 작업이 이루어지고, In the point cloud data surface spline interpolation step (S50), an operation of reconstructing surface information by constructing multi-plane information per axial direction using point coordinate values per line is performed,
기저 데이터 적용 단계(S60)에서는 대상물(시료)과 기준점 정보(기저 데이터)를 구분하여 기준점 정보로 판단되는 면을 기저 데이터(Data)로 확정하며, 여기서 기저 데이터는 두께와 다면 정보 생성시에 기준면으로 활용될 수 있다. 2차원 평면 데이터(Palne Data) 적용 단계(S60)에서는 기준점 정보와 생성된 좌표 정보를 융합하여 라인 레이저의 대상물에 맺힌 복수의 레이저 라인을 이용하여 3차원 공간에 적용하게 된다. In the base data application step S60, the object (sample) and the reference point information (base data) are distinguished from each other and the surface determined as the base point information is determined as the base data Data. Here, . In the step of applying the two-dimensional plane data (S60), the reference point information and the generated coordinate information are fused and applied to the three-dimensional space using a plurality of laser lines formed on the object of the line laser.
2차원 단면 분석 적용 단계(S70)에서는 생성된 3차원 다면 정보를 기반으로 2차원 단면 정보를 분석하여 2차원 정보와의 매칭 정보를 분석 적용하고, 시계열 데이터 생성 단계(S80)에서는 3차원 분석 정보에 굴곡 정보를 포함하는 세부 정보를 맵핑하여 라인 방향과 수직인 픽셀(pixel) 방향으로 레이저 라인을 찍는 시간 순서대로 확장 적용하게 된다.In the application of the two-dimensional section analysis (S70), the two-dimensional sectional information is analyzed based on the generated three-dimensional polyhedral information to analyze and apply the matching information with the two-dimensional information. In the time series data generation step (S80) And then the laser beam is extended in a time sequence in which the laser beam is taken in a pixel direction perpendicular to the line direction.
이때, 포인트 클라우드 로딩(Point Cloud Loading) 단계에서 레이저 라인 방향과 서로 수직한 세로 방향으로 대상물 표면에서 레이져 라인이 맺혀 있는 위치를 검출하는 피크 검출(Peak Detection) 과정이 이루어지며, 레이져 라인을 찾기 위한 다양한 알고리즘이 존재한다. 알고리즘에 따라 처리 속도, 정확도의 차이가 있다.At this time, a peak detection process is performed to detect a position where the laser line is formed on the object surface in the vertical direction perpendicular to the laser line direction in the point cloud loading step. Various algorithms exist. There are differences in processing speed and accuracy depending on the algorithm.
센서의 가로해상도 만큼의 레이져 포인트 위치 검색을 위한 프로파일 데이터를 생성하게 된다. 생성된 프로파일은 3차원 보정을 거쳐 획득된 데이터를 통해 프로파일 데이터를 실 좌표(월드 좌표)의 포인트 클라우드 데이터로 변환할 수 있다.Profile data for the laser point position search as much as the horizontal resolution of the sensor is generated. The generated profile can convert profile data into point cloud data at real coordinates (world coordinates) through the data obtained through three-dimensional correction.
도4는 위와 같은 레이저 스캐너 시스템에서 얻은 개별 레이저 라인에 대한 카메라 촬영 영상과 이를 그래프화하여 결함을 검출한 결과를 나타낸다.FIG. 4 shows camera images of individual laser lines obtained from the laser scanner system and the result of detecting defects by graphing them.
대상물에 대한 실시간 3D 카메라(150fps) 촬영을 수행하면서 동시에 라인 레이져 조사하여 레이져가 대상물에 매칭된 영상을 카메라로 촬영하여, 픽셀 밝기를 이용하여 보간법으로 피크 라인(Peak line)을 검출한 것을 가는 적색 선으로 표시하고 있으며, 이를 통해 결함도 확인할 수 있다.A real-time 3D camera (150 fps) was taken for the object, and simultaneously the line laser was irradiated. The image of the laser matching the object was photographed by the camera. The peak line was detected by the interpolation method using the pixel brightness. Line, which can also identify defects.
이러한 피크 라인을 활용하여 일련의 과정을 거쳐 입체적 대상물에 대한 2차원 정보와 높이 정보를 컬러 맵(Color Map)으로 생성하여 표현할 수 있다. 또한, 피크 라인을 활용하여 레인지 맵 및 3차원 포인트 클라우드 데이터를 얻으면 촬영된 대상물의 조사 대상 영역 표면의 높이 및 표면 정보를 입체적 형상으로 표현할 수 있게 된다. By using this peak line, a two-dimensional information and a height information of a three-dimensional object can be generated and expressed as a color map through a series of processes. In addition, when the range map and the three-dimensional point cloud data are obtained by utilizing the peak line, height and surface information of the surface of the area to be irradiated of the photographed object can be expressed in a three-dimensional shape.
이상과 같이 레이저 스캐닝을 통하여 결함 검지 대상물(대상물 표면)의 복수 포인트에 대한 포인트 클라우드 데이터를 얻으면, 다음으로 포인트 클라우드 데이터를 이용하여 대상물의 입체적 형상을 구성하는 단계가 이루어질 수 있으며, 포인트 클라우드 데이터를 이용하여 대상물의 입체적 형상을 얻는 것은 앞에서 최종적으로 생성된 3차원 분석 정보를 입체적 형상으로 변환시키는 툴들을 이용하여 이루어질 수 있으며, 이런 입체적 형상으로 사용자가 확인할 수 있도록 입출력하여 사용자에게 3차원 정보를 조회하여 분석하는 단계(S90)가 더 구비될 수 있다. As described above, when the point cloud data for a plurality of points on the defect detection object (surface of the object) is obtained through the laser scanning, the step of constructing the three-dimensional shape of the object by using the point cloud data can be performed next, The three-dimensional shape of the object can be obtained by using the tools that convert the three-dimensional analysis information finally generated to the three-dimensional shape by using the three-dimensional shape, and input and output the three- (Step S90).
한편, 결함 검지 대상물에 대한 광학적 이미지 취득과 취득된 이미지를 분석하는 단계가 이루어진다. 이런 단계는 위 실시예와 같이 3차원 영상 및 레이저 스캐닝과 함께 혹은 별도로 이루어질 수 있다. On the other hand, an optical image acquisition for the defect detection object and a step for analyzing the acquired image are performed. Such a step may be performed together with the 3D image and the laser scanning or separately as in the above embodiment.
통상 고해상도의 광학적 이미지 취득은 고해상도 카메라를 이용하여 이루어질 수 있으며 레이저 스캐닝 시스템에서 라인 레이저 패턴을 감지하는 영상 센서로서의 카메라와 고해상도 촬상 이미지를 얻는 카메라가 동일한 카메라인 경우라도 기능적으로는, 하나는 레이저 스캔에 의한 포인트 클라우드 데이터 획득과 관련된 것이고, 하나는 직접 광학 이미지와 그에 의한 결함 정보를 얻기 위한 카메라로서, 별도 카메라로 볼 수 있다.Generally, high-resolution optical image acquisition can be performed using a high-resolution camera, and even if the camera as an image sensor for sensing a line laser pattern in a laser scanning system and the camera for obtaining a high resolution image are the same camera, And one is a camera for obtaining a direct optical image and defect information therefrom, and can be seen as a separate camera.
본 발명에서 이미지 취득은 하나의 사진으로 전체를 고화질로 커버할 수 없는 경우가 많으므로 이런 경우, 대상물에 대한 부분적 이미지를 획득하고 부분적 이미지를 결합시켜 전체 이미지를 도출함으로써 이루어질 수 있다.In the present invention, image acquisition can not cover the entire image with high quality in one photograph. In this case, it is possible to obtain a partial image for the object and to combine the partial images to derive the entire image.
물론 레이저 스캐닝도 대상물이 매우 큰 경우, 대상물에 대한 영역을 일부씩 겹치도록 나누고 영역별로 스캔을 실시하여 각각에서 얻은 부분적 포인트 클라우드 데이터를 겹치는 부분을 확인하여 전체 포인트 클라우드 데이터를 얻을 수 있다. Of course, if the object is very large, the laser scanning may divide the area of the object so that the area is partially overlapped, scan the area, and obtain the entire point cloud data by confirming the overlapping part of the partial point cloud data.
본 발명에서 이미지와 3차원 좌표 및 입체적 형상의 결합은 포인트 클라우드 데이터를 구성하는 점들을 이미지 상의 대응 위치에 대응시키는 맵핑이라 볼 수도 있으며, 포인트 클라우드 데이터에 결함 정보를 포함시켜 확장된 데이터 구조를 가진 구조화된 데이터로서 대상물 3차원 모델로서 구성하고, 결함 검사라는 관점에서 데이터를 사용할 수 있도록 하는 작업이 된다. In the present invention, the combination of the image with the three-dimensional coordinate and the three-dimensional shape may be regarded as mapping in which the points constituting the point cloud data correspond to the corresponding positions on the image, and the defect data may be included in the point cloud data, It is structured as an object three-dimensional model as structured data, and data can be used in view of defect inspection.
대상물 3차원 모델을 구성하고 대상물의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계에서는 가령, 일단 고화질 이미지에서 사전에 데이터 베이스에 입력된 결함 패턴 이미지를 기초로 이미지 프로세싱을 통해 결함 부분을 지정하게 된다. 이 결함 부분에서의 3차원 좌표로 평면적인 변이에 대한 높이방향 변이의 비율 변화가 심한 곳을 결함 부분으로 확정하는 방식으로 이루어질 수 있다. In the step of constructing the object three-dimensional model and confirming the positional coordinates and the degree of damage of each defect of the object, for example, once the defect image is processed through the image processing based on the defect pattern image inputted into the database in advance in the high- . And the defective portion can be determined as a defective portion where a change in the ratio of the height direction variation to the planar variation in the three-dimensional coordinates in the defective portion is severe.
그리고, 대상물 3차원 모델을 이용하여 균열과 같은 결함의 시작점 끝점 변곡점 위치, 위치별 깊이, 결함의 폭 등의 수치적 자료를 통해 결함 혹은 건물 손상의 정도를 파악할 수 있게 된다. 이런 손상 정도의 파악도 프로그램을 통해 자동적으로 수행될 수 있다.Using the object three-dimensional model, it is possible to grasp the degree of defect or building damage by numerical data such as position of inflection point of starting point of defects such as crack, depth of position, width of defects. The degree of such damage can also be automatically detected through the program.
포인트 클라우드 데이터를 이용한 입체적 형상은 이 입체적 형상에 대응되는 결함 정보를 추가하여 시각적으로 표시함으로써 결함 부분의 속성을 사용자가 시각적인 인식할 수 있도록 보충하는 역할을 할 수 있다.The three-dimensional shape using the point cloud data can serve to supplement the defective portion attribute so that the user can visually recognize the defective portion by visually displaying the defect information corresponding to the three-dimensional shape.
또한, 본 발명에서 얻은 대상물 3차원 모델은 일정한 시간적 간격으로 두고 전체 과정이 반복되어 이전 자료와 결합됨으로써 시계열적인 결함 패턴(시작점과 끝점과 균열 방향 전환점, 틈새 너비 및 깊이 등)의 변화를 확인하고 경향 분석을 통해 장래의 균열과 같은 결함의 진행을 예측할 수 있는 시뮬레이션 프로그램을 포함하는 시계열적인 모델로 이루어지는 것일 수 있다.In addition, the object three-dimensional model obtained in the present invention is repeated at a predetermined time interval, and the entire process is repeated and combined with the previous data to confirm a change in the time-series defect pattern (start point and end point and crack turning point, A time series model including a simulation program capable of predicting the progress of defects such as future cracks through trend analysis.
이상에서는 한정된 실시예를 통해 본 발명을 설명하고 있으나, 이는 본 발명의 이해를 돕기 위해 예시적으로 설명된 것일 뿐 본원 발명은 이들 특정의 실시예에 한정되지 아니한다. While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.
가령, 이 실시예에서는 대상물에 대한 포인트 클라우드 데이터를 얻기 위해 라인 레이져와 레이저 라인 검출을 위한 영상 센서(카메라) 및 영상 센서가 감지한 레이져 라인 영상에서 대상물 포인트 클라우드 데이터를 추출하기 위한 변화을 담당하는 컴퓨터 장치를 이용하고 있으나, 레이저 스캐너 자체가 대상물과의 거리 측정 기능을 가지고 직접적으로 포인트 클라우드 데이터를 산출할 수 있는 것이라면 이 레이저 스캐너와 별도로 대상물 영상을 획득하기 위한 고해상도 카메라가 대상물 표면을 분할하여 직접 촬영하고 이들을 결합시켜 전체 영상을 얻고 이 영상에서 이미지 프로세싱 과정을 통해 결함 정보를 추출하는 방법이 사용될 수 있다. For example, in this embodiment, in order to obtain point cloud data for an object, an image sensor (camera) for detecting a line laser and a laser line, and a computer for taking a change for extracting object point cloud data from the laser line image sensed by the image sensor However, if the laser scanner itself is capable of measuring point cloud data directly with the object distance measurement function, a high-resolution camera for acquiring the object image separately from the laser scanner is used to divide the surface of the object, And combining them to obtain a full image and extracting defect information from the image through an image processing process.
따라서, 당해 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명을 토대로 다양한 변경이나 응용예를 실시할 수 있을 것이며 이러한 변형례나 응용예는 첨부된 특허청구범위에 속함은 당연한 것이다.
Accordingly, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.
10: 레이저 20: 카메라
30: 컴퓨터 시스템 40: 대상물10: laser 20: camera
30: computer system 40: object
Claims (8)
상기 포인트 클라우드 데이터를 이용하여 상기 대상물 표면에 대한 입체적 형상을 구성하는 단계,
상기 대상물 표면에 대한 이미지 취득 단계,
상기 이미지를 분석하여 결함 정보를 얻는 단계,
상기 이미지 취득 및 분석 결과를 상기 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 대상물 3차원 모델을 구성하고 상기 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계를 구비하며,
상기 3차원 레이저 스캔은 상기 대상물 표면에 레이저 스캐너가 일정 각도로 라인 레이저를 투사하고 상기 대상물 표면이 평편하다면 상기 대상물 표면에 맺힌 레이져 라인이 수평하게 감지되도록 카메라를 라인 레이저와 서로 다른 각도로 설치하여 레이저 라인 영상을 취득하는 방식으로 이루어지며,
상기 이미지 및 상기 결함 정보는 별도의 카메라 없이 상기 카메라에 의해 촬상된 레이저 라인 영상으로부터 얻어지는 것을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법.Obtaining point cloud data for a plurality of points of an object surface through a three-dimensional laser scan,
Constructing a three-dimensional shape for the object surface using the point cloud data,
An image acquisition step for the object surface,
Analyzing the image to obtain defect information,
Constructing an object three-dimensional model including the defect information by combining the image acquisition and analysis result with the three-dimensional coordinates of the point cloud data, and confirming the position coordinates and the degree of damage of each defect on the object surface Respectively,
The three-dimensional laser scanning is performed such that the laser scanner projects a line laser at a predetermined angle on the surface of the object, and if the object surface is flat, the camera is installed at a different angle from the line laser so that the laser line formed on the object surface is detected horizontally And acquiring a laser line image,
Wherein the image and the defect information are obtained from a laser line image captured by the camera without a separate camera.
상기 포인트 클라우드 데이터 및 상기 이미지는 상기 대상물 표면의 부분들에 대한 것을 각각 얻고, 상기 부분들에 대한 포인트 클라우드 데이터 및 이미지를 결합하여 전체 포인트 클라우드 데이터 및 이미지를 얻어지는 것임을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법. The method according to claim 1,
Wherein the point cloud data and the image are obtained for each of the portions of the object surface and the point cloud data and the image for the portions are combined to obtain the entire point cloud data and the image. Method for Inspecting Object Defects Using Scanning.
상기 대상물 표면에 대한 이미지 취득하고 결함 정보를 얻는 단계,
상기 이미지 및 결함 정보를 상기 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 3차원 구조물 모델을 구성하고 상기 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계를 구비하며,
상기 포인트 클라우드 데이터는 대상물과의 거리 측정 기능을 가지는 레이저 스캐너에 의해 산출되며,
상기 이미지는 상기 레이저 스캐너와 별도로 대상물 영상을 획득하기 위한 카메라가 상기 대상물 표면을 분할하여 직접 촬영하고 이들을 결합시켜 전체 이미지를 얻는 방식으로 얻어지고
상기 결함 정보는 상기 이미지를 프로세서가 미리 입력된 결함 데이터 베이스와 비교하는 이미지 프로세싱 과정을 통해 추출하고,
상기 결함 정보는 상기 대상물 표면에서 검출되는 개개의 결함의 시작점과 끝점 및 변곡점의 좌표와 결함의 깊이를 통해 구분되는 것임을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법.Obtaining point cloud data for a plurality of points of an object surface through a three-dimensional laser scan,
Acquiring an image of the object surface and obtaining defect information;
Constructing a three-dimensional structure model including the defect information by combining the image and the defect information with the three-dimensional coordinates of the point cloud data, and checking the position coordinates and the degree of damage of each defect on the surface of the object In addition,
The point cloud data is calculated by a laser scanner having a distance measurement function with respect to an object,
The image is obtained by dividing the surface of the object by a camera for acquiring an object image separately from the laser scanner, directly photographing the object, and combining them to obtain an entire image
The defect information extracting the image through an image processing process for comparing the image with a defect database pre-
Wherein the defect information is distinguished by the coordinates of the starting point, the end point, and the inflection point of the individual defects detected on the surface of the object, and the depth of the defect, and the object defect inspection method using the three-dimensional image and the laser scanning.
상기 3차원 구조물 모델은 상기 포인트 클라우드 데이터에 이미지 분석을 통한 상기 결함 정보를 부가시키는 작업을 통해 이루어지는 구조화된 데이터 모델인 것임을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법.5. The method of claim 4,
Wherein the three-dimensional structure model is a structured data model that is obtained by adding the defect information through image analysis to the point cloud data.
상기 대상물 표면에 대한 이미지를 취득하고 결함 정보를 얻는 이미지 및 결함 정보 획득 단계
상기 이미지 및 결함 정보를 상기 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 3차원 구조물 모델을 구성하고 상기 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 결합단계를 구비하며,
상기 포인트 클라우드 데이타 획득 단계와 상기 이미지 및 결함 정보 획득 단계와 상기 결합단계는 일정한 시간을 두고 반복적으로 행하여
상기 3차원 구조물 모델에서 개개의 결함에 대한 위치 좌표 및 손상 정도의 변화를 시계열적으로 확인하고 향후 결함의 변화 방향을 예측할 수 있는 시뮬레이션을 할 수 있도록 이루어지는 것을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법.A point cloud data acquiring step of acquiring point cloud data for a plurality of points on an object surface through a three-dimensional laser scanning;
An image for acquiring an image of the object surface and obtaining defect information, and a defect information acquiring step
Combining the image and defect information with the three-dimensional coordinates of the point cloud data to construct a three-dimensional structure model including defect information, and checking a position coordinate and a degree of damage of each defect on the surface of the object, Respectively,
The point cloud data acquisition step, the image and defect information acquisition step, and the combining step are repeatedly performed for a predetermined time
Dimensional image and laser scanning are performed in the three-dimensional structure model, in which a change in position coordinates and degree of damage to individual defects is confirmed in a time-wise manner, and a simulation capable of predicting a direction of a defect in the future is performed. Defect inspection method.
상기 대상물 표면에 대한 이미지를 취득하고 결함 정보를 얻는 단계,
상기 이미지 및 결함 정보를 상기 포인트 클라우드 데이터의 3차원 좌표와 결합하여 결함 정보를 포함하고 있는 3차원 구조물 모델을 구성하고 상기 대상물 표면의 각각의 결함에 대한 위치 좌표 및 손상 정도를 확인하는 단계를 구비하며,
상기 포인트 클라우드 데이터를 얻는 단계는,
상기 대상물 표면에 레이저 라인을 조사하는 라인 레이저와 상기 대상물 표면에 맺힌 라인 레이저 영상을 검출하는 영상 센서를 구비하는 레이저 스캐너 시스템을 설치하고, 대상물과 상기 레이저 스캐너 시스템을 상대적으로 이동시키면서 상기 대상물 표면을 검사하여 이루어지며,
포인트 클라우드 로딩(Point Cloud Loading) 단계, 포인트 클라우드 화소(Point Cloud Pixel) 선형화 단계, 2차원 좌표기반 화소(Pixel) 정보 테이블 맵핑(Table Mapping) 단계, 개별 포인트(Point)의 공간 좌표 테이블 맵핑(Table Mapping) 단계, 포인트 클라우드 데이터 표면 스플라인(Point Cloud Data Surface Spline) 보간 단계, 기저 데이터 적용 단계, 2차원 평면 데이터(Palne Data) 적용 단계, 2차원 단면 분석 적용 단계, 시계열 데이터 생성 단계를 구비하여 이루어지는 것임을 특징으로 하는 3차원 영상 및 레이저 스캔을 이용한 대상물 결함 검사 방법.Obtaining point cloud data for a plurality of points of an object surface through a three-dimensional laser scan,
Obtaining an image of the object surface and obtaining defect information,
Constructing a three-dimensional structure model including the defect information by combining the image and the defect information with the three-dimensional coordinates of the point cloud data, and checking the position coordinates and the degree of damage of each defect on the surface of the object In addition,
Wherein the obtaining of the point cloud data comprises:
A laser scanner system including a line laser for irradiating a laser line on the surface of the object and an image sensor for detecting a line laser image formed on the surface of the object, ≪ / RTI >
Point cloud loading step, a point cloud pixel linearization step, a two-dimensional coordinate-based pixel information table mapping step, a spatial coordinate table mapping of individual points A point cloud data surface spline interpolation step, a base data application step, a two-dimensional plane data application step, a two-dimensional cross-sectional analysis application step, and a time series data generation step. Wherein the object defect is detected by a three-dimensional image and a laser scan.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140055434A KR101604037B1 (en) | 2014-05-09 | 2014-05-09 | method of making three dimension model and defect analysis using camera and laser scanning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140055434A KR101604037B1 (en) | 2014-05-09 | 2014-05-09 | method of making three dimension model and defect analysis using camera and laser scanning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150128300A KR20150128300A (en) | 2015-11-18 |
| KR101604037B1 true KR101604037B1 (en) | 2016-03-16 |
Family
ID=54838923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140055434A KR101604037B1 (en) | 2014-05-09 | 2014-05-09 | method of making three dimension model and defect analysis using camera and laser scanning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101604037B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180078097A (en) | 2016-12-29 | 2018-07-09 | 대우조선해양 주식회사 | Method for recognizing touch teaching point of workpiece using point cloud analysis |
| KR20180116674A (en) * | 2017-04-17 | 2018-10-25 | 한국원자력연구원 | Speckle free shape image measurements under high radioactivity environmnets |
| KR101953888B1 (en) | 2018-04-10 | 2019-06-11 | 한국기계연구원 | 3-dimensional inspect device for defect analysis and method for correcting position thereof |
| KR102158324B1 (en) | 2019-05-07 | 2020-09-21 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
| KR102260018B1 (en) | 2020-09-25 | 2021-06-03 | (주)이도가컨설턴트 | Method of monitoring damage to concrete structures |
| KR20210083745A (en) | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
| KR20220075742A (en) | 2020-11-30 | 2022-06-08 | 한국로봇융합연구원 | An inspection robot of pipe and operating method of the same |
| KR20230064382A (en) * | 2021-11-03 | 2023-05-10 | 주식회사 싸이너스 | Non-destructive inspection systems and methods for DPF |
| KR20240035180A (en) | 2022-09-08 | 2024-03-15 | 한국전력공사 | Method For Maintenance Of Underground Tunnel Using Virtual Development Figure |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105222724B (en) * | 2015-09-10 | 2018-09-18 | 北京天远三维科技股份有限公司 | Multi-thread array laser 3 D scanning system and multi-thread array laser 3-D scanning method |
| CN105469404B (en) * | 2015-11-26 | 2018-06-29 | 北京建筑大学 | A kind of rotary body approximating method and device based on three dimensional point cloud |
| KR101657425B1 (en) * | 2015-12-11 | 2016-09-20 | 연세대학교 산학협력단 | Stress distribution estimation system for structure using of terrestrial laser scanning, thereof method and health monitoring system using it |
| CN105931234A (en) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | Ground three-dimensional laser scanning point cloud and image fusion and registration method |
| CN106370662A (en) * | 2016-08-22 | 2017-02-01 | 合肥德泰科通测控技术有限公司 | Machine vision-based steel rail surface defect three-dimensional detection system |
| CN106595525A (en) * | 2016-12-26 | 2017-04-26 | 中国矿业大学(北京) | Three-dimensional-point-cloud-data-based prevention method of coal mine roof disaster |
| CN106932271B (en) * | 2017-03-10 | 2019-05-28 | 厦门大学 | A kind of ball indentation test impression dimension measurement method based on reverse-engineering |
| KR102018123B1 (en) * | 2017-08-28 | 2019-09-04 | 주식회사한맥아이피에스 | Vehicle sensing apparatus using laser scanning |
| CN107730434B (en) * | 2017-11-09 | 2020-12-01 | 哈尔滨工业大学 | Method for generating point cloud model by two-phase composite material mesoscopic numerical model |
| KR102015706B1 (en) * | 2017-11-23 | 2019-08-28 | 울산과학기술원 | Apparatus and method for measureing a crack in a concrete surface |
| CN108253925B (en) * | 2018-01-08 | 2020-10-02 | 中煤科工集团武汉设计研究院有限公司 | Tunnel deformation monitoring method and device based on point cloud profile and storage device |
| CN110163960A (en) * | 2018-02-08 | 2019-08-23 | 河南工业大学 | A kind of method of the non-contact mapping ancient building of fast accurate |
| GB2572781B (en) * | 2018-04-10 | 2023-01-04 | E M & I Maritime Ltd | Inspection Method And Associated Apparatus |
| CN108760768B (en) * | 2018-04-17 | 2021-08-13 | 中国人民解放军海军工程大学 | Automatic scanning and detecting trolley for inner bore of electromagnetic rail launching device |
| CN108682012B (en) * | 2018-05-15 | 2021-07-27 | 佛山市南海区广工大数控装备协同创新研究院 | 3D curved surface glass surface flatness defect detection method based on line scanning laser |
| CN108717808B (en) * | 2018-05-18 | 2021-04-13 | 山东大学 | Tunnel construction virtual teaching system and method based on three-dimensional laser scanning modeling |
| KR102077934B1 (en) * | 2018-08-10 | 2020-02-14 | 중앙대학교 산학협력단 | Method for generating alignment data for virtual retrofitting object using video and Terminal device for performing the same |
| KR102007326B1 (en) * | 2018-08-14 | 2019-08-05 | 삼인이엔에스 주식회사 | Method for analyzing flatness of structure |
| KR102197278B1 (en) * | 2018-08-28 | 2020-12-31 | 한국건설기술연구원 | System and method for managing facility |
| KR20200032442A (en) | 2018-09-18 | 2020-03-26 | 한국전자통신연구원 | 3D information generating device and method capable of self-calibration |
| KR102015388B1 (en) * | 2019-01-21 | 2019-08-28 | 주식회사 지공간솔루션 | 3D point cloud DB construction and virtual reality space map providing system and method of providing orthophotosimposing point cloud DB using UAV, ground-based LiDAR scanner |
| CN111830948A (en) * | 2019-03-27 | 2020-10-27 | 上海宝信软件股份有限公司 | Data sharing system and method for real-time three-dimensional pile imaging among different stock yards |
| KR102045079B1 (en) * | 2019-07-23 | 2019-11-14 | 주식회사 모든 | Inspection apparatus using terahertz wave |
| CN112529783B (en) * | 2019-09-19 | 2024-01-16 | 北京京东乾石科技有限公司 | Image processing method, image processing apparatus, storage medium, and electronic device |
| CN110567974B (en) * | 2019-09-30 | 2021-04-06 | 华中科技大学 | Cloud artificial intelligence based surface defect detection system |
| KR102106452B1 (en) * | 2019-11-04 | 2020-05-06 | 한국건설기술연구원 | AVM camera-based 3D laser vision object recognition and high-speed measuring system and method |
| CN110906880A (en) * | 2019-12-12 | 2020-03-24 | 中国科学院长春光学精密机械与物理研究所 | Object automatic three-dimensional laser scanning system and method |
| US11169129B2 (en) | 2020-02-18 | 2021-11-09 | Pratt & Whitney Canada Corp. | System and method for calibrating inspection of a feature on a part |
| KR102269192B1 (en) * | 2020-03-20 | 2021-06-25 | 주식회사 케이아이 | Method And Apparatus for Providing Fault Prevention of Underground Utility Tunnel |
| CN112013830B (en) * | 2020-08-20 | 2024-01-30 | 中国电建集团贵州电力设计研究院有限公司 | Accurate positioning method for inspection image detection defects of unmanned aerial vehicle of power transmission line |
| KR20220038996A (en) | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | Method and apparatus of embedding feature |
| CN112304954A (en) * | 2020-10-20 | 2021-02-02 | 西安工程大学 | Part surface defect detection method based on line laser scanning and machine vision |
| CN112700544A (en) * | 2020-12-31 | 2021-04-23 | 镇江市勘察测绘研究院 | Three-dimensional live-action generation method for mine pit terrain |
| CN112907550B (en) * | 2021-03-01 | 2024-01-19 | 创新奇智(成都)科技有限公司 | Building detection method and device, electronic equipment and storage medium |
| CN113028992B (en) * | 2021-03-16 | 2023-01-20 | 广东电网有限责任公司广州供电局 | Power distribution room measuring method, device, equipment and storage medium |
| CN113033368B (en) * | 2021-03-18 | 2023-12-08 | 中交一公局第五工程有限公司 | Dynamic monitoring method and system for compaction pass number of asphalt pavement |
| CN113063365A (en) * | 2021-03-30 | 2021-07-02 | 西安工业大学 | Equivalent target plate deformation testing device and testing method based on laser scanning |
| KR102293525B1 (en) * | 2021-03-31 | 2021-08-26 | 유씨아이테크 주식회사 | 3D scanning equipment for structure maintenance |
| CN113375594B (en) * | 2021-06-08 | 2022-05-06 | 四川大学青岛研究院 | Aircraft skin profile digital detection method |
| CN113538688A (en) * | 2021-06-11 | 2021-10-22 | 国网上海市电力公司 | Municipal infrastructure monitoring operation and maintenance method, system and storage medium |
| CN113850914A (en) * | 2021-08-13 | 2021-12-28 | 江苏瑞沃建设集团有限公司 | Matrix conversion method for linear laser three-dimensional scanning point cloud data |
| CN113655066A (en) * | 2021-08-13 | 2021-11-16 | 南方海洋科学与工程广东省实验室(湛江) | Device, system and method for detecting damage of net cage |
| CN113868904B (en) * | 2021-09-01 | 2023-08-15 | 浙江大学 | Method for automatically generating finite element model of existing structure based on three-dimensional point cloud |
| CN113866182A (en) * | 2021-09-09 | 2021-12-31 | 安徽亿普拉斯科技有限公司 | Detection method and system for detecting defects of display module |
| CN113847887B (en) * | 2021-09-24 | 2022-08-23 | 浙江大学 | Automatic laying on-line detection point cloud data acquisition device for three-dimensional laser scanning |
| CN114113107B (en) * | 2021-11-18 | 2024-01-23 | 万岩铁路装备(成都)有限责任公司 | 360-degree rail damage identification system and method based on laser scanning |
| CN114087991A (en) * | 2021-11-28 | 2022-02-25 | 中国船舶重工集团公司第七一三研究所 | Underwater target measuring device and method based on line structured light |
| CN114413849B (en) * | 2021-12-09 | 2023-10-31 | 国网辽宁省电力有限公司经济技术研究院 | Three-dimensional geographic information data processing method and device for power transmission and transformation project |
| CN114279361B (en) * | 2021-12-27 | 2023-08-22 | 哈尔滨工业大学芜湖机器人产业技术研究院 | Three-dimensional measurement system and measurement method for defect size of inner wall of cylindrical part |
| CN114494366B (en) * | 2022-01-19 | 2024-04-30 | 中铁第一勘察设计院集团有限公司 | Road pit extraction method for registering image and point cloud |
| CN114620091A (en) * | 2022-04-11 | 2022-06-14 | 南京拓控信息科技股份有限公司 | Train wheel out-of-roundness detection method based on three-dimensional information |
| CN114782342B (en) * | 2022-04-12 | 2024-02-09 | 北京瓦特曼智能科技有限公司 | Urban hardware facility defect detection method and device |
| CN114739312B (en) * | 2022-04-26 | 2024-04-23 | 黄晓明 | Hand-held type road surface structure degree of depth laser survey device |
| CN115049842B (en) * | 2022-06-16 | 2023-11-17 | 南京航空航天大学深圳研究院 | Method for detecting damage of aircraft skin image and positioning 2D-3D |
| CN114998279A (en) * | 2022-06-16 | 2022-09-02 | 华侨大学 | Method for identifying and positioning pits and cracks on surface of stone slab |
| KR102521825B1 (en) * | 2022-08-08 | 2023-04-14 | 주식회사 한국 종합엔지니어링 | Automatic determination system for determinating abnormal area of structure damage based on point cloud |
| CN115307716A (en) * | 2022-08-15 | 2022-11-08 | 贵州电网有限责任公司 | Main transformer vibration visualization detection method based on data mapping |
| KR102641506B1 (en) * | 2022-11-09 | 2024-02-27 | 세종대학교산학협력단 | System and method for establishing artificial intelligence-based 3d digital damage model of narrow space using indoor inspection drone |
| CN115931871B (en) * | 2022-12-01 | 2023-08-01 | 华中科技大学 | Device and method for detecting outline defects of permanent magnet motor rotor |
| CN116000453B (en) * | 2023-03-06 | 2023-09-26 | 深圳精科视觉科技有限公司 | Laser welding quality real-time monitoring method and system |
| CN116228761B (en) * | 2023-05-08 | 2023-10-20 | 中交第四公路工程局有限公司 | Steel structure rigidity damage evaluation method and system |
| CN116907365A (en) * | 2023-07-25 | 2023-10-20 | 山东捷瑞数字科技股份有限公司 | Industrial vision irregular part measurement method and production line prediction analysis system |
| CN116645370B (en) * | 2023-07-27 | 2023-10-10 | 山东顺发重工有限公司 | Real-time detection method for surface defects of high-temperature forging based on three-dimensional point cloud data |
| KR102618069B1 (en) * | 2023-08-01 | 2023-12-27 | 대한민국 | Method and apparatus for analyasing indoor building disaster information using point cloud data and visual information from ground survey robot |
-
2014
- 2014-05-09 KR KR1020140055434A patent/KR101604037B1/en active IP Right Grant
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180078097A (en) | 2016-12-29 | 2018-07-09 | 대우조선해양 주식회사 | Method for recognizing touch teaching point of workpiece using point cloud analysis |
| KR20180116674A (en) * | 2017-04-17 | 2018-10-25 | 한국원자력연구원 | Speckle free shape image measurements under high radioactivity environmnets |
| KR101971229B1 (en) * | 2017-04-17 | 2019-04-22 | 한국원자력연구원 | Speckle free shape image measurements under high radioactivity environmnets |
| KR101953888B1 (en) | 2018-04-10 | 2019-06-11 | 한국기계연구원 | 3-dimensional inspect device for defect analysis and method for correcting position thereof |
| KR102158324B1 (en) | 2019-05-07 | 2020-09-21 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
| KR20210083745A (en) | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
| KR102399955B1 (en) | 2019-12-27 | 2022-05-20 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
| US11423609B2 (en) | 2019-12-27 | 2022-08-23 | Maxst Co., Ltd. | Apparatus and method for generating point cloud |
| KR102260018B1 (en) | 2020-09-25 | 2021-06-03 | (주)이도가컨설턴트 | Method of monitoring damage to concrete structures |
| KR20220075742A (en) | 2020-11-30 | 2022-06-08 | 한국로봇융합연구원 | An inspection robot of pipe and operating method of the same |
| KR20230064382A (en) * | 2021-11-03 | 2023-05-10 | 주식회사 싸이너스 | Non-destructive inspection systems and methods for DPF |
| KR102551083B1 (en) * | 2021-11-03 | 2023-07-04 | 주식회사 싸이너스 | Non-destructive inspection systems and methods for DPF |
| KR20240035180A (en) | 2022-09-08 | 2024-03-15 | 한국전력공사 | Method For Maintenance Of Underground Tunnel Using Virtual Development Figure |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150128300A (en) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101604037B1 (en) | method of making three dimension model and defect analysis using camera and laser scanning | |
| US9965870B2 (en) | Camera calibration method using a calibration target | |
| TWI566204B (en) | Three dimensional object recognition | |
| JP6465789B2 (en) | Program, apparatus and method for calculating internal parameters of depth camera | |
| Eiríksson et al. | Precision and accuracy parameters in structured light 3-D scanning | |
| TWI567690B (en) | System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part | |
| JP5757950B2 (en) | Non-contact object measurement | |
| US20150261899A1 (en) | Robot simulation system which simulates takeout process of workpieces | |
| Léandry et al. | Calibration of a structured-light projection system: development to large dimension objects | |
| JP7037876B2 (en) | Use of 3D vision in automated industrial inspection | |
| JP6937642B2 (en) | Surface evaluation method and surface evaluation device | |
| JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
| CA2579563A1 (en) | Method and system for measuring the relief of an object | |
| Li et al. | Light plane calibration and accuracy analysis for multi-line structured light vision measurement system | |
| JP2013186100A (en) | Shape inspection method and device | |
| JP2007256091A (en) | Method and apparatus for calibrating range finder | |
| Marcin et al. | Hierarchical, three‐dimensional measurement system for crime scene scanning | |
| JP6966997B2 (en) | Methods and equipment for measuring features on or near an object | |
| JP2021193400A (en) | Method for measuring artefact | |
| CN111353997B (en) | Real-time three-dimensional surface defect detection method based on fringe projection | |
| JP6035031B2 (en) | Three-dimensional shape measuring device using multiple grids | |
| JP2005283440A (en) | Vibration measuring device and measuring method thereof | |
| JP7127046B2 (en) | System and method for 3D profile determination using model-based peak selection | |
| Wang et al. | Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production. | |
| JP2008275366A (en) | Stereoscopic 3-d measurement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |