KR20150063703A - A Method for Block Inspection of a Vessel Using Augmented Reality Technology - Google Patents

A Method for Block Inspection of a Vessel Using Augmented Reality Technology Download PDF

Info

Publication number
KR20150063703A
KR20150063703A KR1020130148382A KR20130148382A KR20150063703A KR 20150063703 A KR20150063703 A KR 20150063703A KR 1020130148382 A KR1020130148382 A KR 1020130148382A KR 20130148382 A KR20130148382 A KR 20130148382A KR 20150063703 A KR20150063703 A KR 20150063703A
Authority
KR
South Korea
Prior art keywords
mobile terminal
model shape
display
target part
assembled
Prior art date
Application number
KR1020130148382A
Other languages
Korean (ko)
Inventor
김병철
강태선
최우성
이동훈
김호경
Original Assignee
에스티엑스조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스티엑스조선해양 주식회사 filed Critical 에스티엑스조선해양 주식회사
Priority to KR1020130148382A priority Critical patent/KR20150063703A/en
Publication of KR20150063703A publication Critical patent/KR20150063703A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a method for inspecting the block of a vessel using the augmented reality technology of a mobile terminal including a camera and a display and communicating with a server via a mobile communication network. The method for inspecting the block of a vessel using augmented reality technology comprises the steps of: (a) allowing the mobile terminal to photograph an image through the camera, receive the same and identify a part (hereinafter referred to as target part); (b) allowing the mobile terminal to transmit the identification information of the target part to the server and requesting and receiving the three-dimensional model shape data of the target part and a part to be assembled to the target part (hereinafter referred to as a part to be assembled); (c) allowing the mobile terminal to display, on the display, the photographed image of the target part and the three-dimensional model shape of the target part in the alignment; (d) allowing the mobile terminal to display, on the display, the three-dimensional model shape of the part to be assembled in alignment with the three-dimensional model shape of the target part; and (e) allowing the mobile terminal to inspect whether or not each three-dimensional model shape displayed on the display matches the photographed image to determine whether or not the three-dimensional model shape is in alignment. According to the method for inspecting the block of a vessel, the complexity of an inspector aligning a three-dimensional model can be reduced greatly by aligning and contrasting actual assembled parts with the shape of the three-dimensional model.

Description

증강현실 기반 선박의 블록 검사 방법 { A Method for Block Inspection of a Vessel Using Augmented Reality Technology }Technical Field [0001] The present invention relates to a method of block inspection of a ship based on augmented reality,

본 발명은 증강현실을 이용하여, 검사대상의 실물 부품을 카메라로 촬상하면 상기 부품의 3차원(3D) 모델 형상을 실물 부품에 정합시키고 특정 반경 내의 모든 결합 부품에 대한 3차원(3D) 모델 형상을 표시하여 실물과 대비시키는 증강현실 기반 선박의 블록 검사 방법에 관한 것이다.
A three-dimensional (3D) model shape of the part is picked up by a camera using an augmented reality, and a three-dimensional (3D) model shape To a block inspection method for a ship based on an augmented reality.

일반적으로 증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강현실 시스템은 1990년대 후반부터 미국ㅇ일본을 중심으로 연구ㅇ개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. In general, augmented reality (Augmented Reality) creates a new environment by combining a real world that the user sees with a virtual world that has additional information. The augmented reality system that fuses the real environment with the virtual environment has been under development in the US and Japan since the late 1990s. Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.

특히, 최근 사용되는 모바일 기기들에는 카메라가 구비됨이 일반적이며, 이러한 모바일 기기를 통한 무선 통신 및 증강현실에 관한 이용이 증가 추세에 있다[특허문헌 1]. 일례로서, 스마트 미디어 기술의 증강현실은 스마트 단말기에서 현실 세계의 실시간 영상 기반위에 3차원 객체들을 합성하여 현실세계 만으로 얻기 어려운 부가적인 정보들을 보강해 주는 기능을 가지고 있다. 즉, 이동 중에 스마트 폰 카메라에 비춰진 영상에 현실세계에 가상의 물체를 중첩함으로써 현실세계를 보충하여 사용자에게 적합한 형태의 실시간 서비스를 구성할 수 있는 차별성을 가지고 있으며, 사용자에게 보다 나은 현실감을 제공한다. Particularly, it is general that recently used mobile devices are equipped with cameras, and the use of wireless communication and augmented reality through such mobile devices is increasing. As an example, the augmented reality of smart media technology has a function to reinforce additional information that is difficult to obtain only in the real world by synthesizing three-dimensional objects on the real-time image base of real world in the smart terminal. In other words, it has a differentiability to construct a real-time service suitable for a user by supplementing the real world by superimposing a virtual object on the real world by the image displayed on the smartphone camera while moving, and provides a better sense of reality to the user .

이러한 기술을 가진 증강현실은 단순히 게임과 같은 분야의 디지털 콘텐츠 제작에 활용되고 있으며, 특히 유비쿼터스 환경과 스마트 미디어 기술에 적합한 차세대 디스플레이 기술로 각광받고 있다. 또한, 이러한 증강현실은 선박의 운항이나 항법 시스템 등에도 적용되고 있다[특허문헌 2,3].
The augmented reality with this technology is used for the digital contents production such as the game, and is attracting attention as the next generation display technology suitable for the ubiquitous environment and smart media technology. In addition, such augmented reality is also applied to navigation of a ship or navigation system [Patent Literatures 2 and 3].

한편, 전통적인 조선산업에 증강현실 기술이 적용된다면, 고품질의 생산/건조, 전자 도면의 활용에 의한 생산 업무 프로세스의 혁신, 이를 활용한 원가 절감 및 수익성 증대를 가능하게 할 것이다.On the other hand, if augmented reality technology is applied to the traditional shipbuilding industry, it will enable high quality production / drying, innovation of production process by utilizing electronic drawings, cost reduction and profitability enhancement using it.

선박은 무수히 많은 부품으로 구성되며 하나의 부품은 다른 부품과 연관성을 가진다. 이러한 부품과 부품과의 연관성은 설계 도면에 기술되고 각 건조 공정은 이러한 설계도면에 정의된 대로 수행되며 품질 검사를 수행한 후에 완료된다.A ship is made up of a myriad of parts, one of which is associated with another. The relationship between these parts and components is described in the design drawing, and each drying process is performed as defined in these design drawings and is completed after the quality inspection is performed.

특히, 블록 검사는 블록의 건조 단계에서 시공이 되어야 할 부분에 있어서 최종 갱신된 설계가 계획대로 올바르게 설치 및 제작이 되었는지를 판단하는 것으로서 선박의 품질을 결정하는 중요한 검증 프로세스이다.In particular, the block inspection is an important verification process for determining the quality of the ship by judging whether the last updated design has been properly installed and manufactured as planned in the part to be constructed in the drying stage of the block.

그런데, 종래의 블록 검사 방식은 다양한 2차원(2D) 도면을 종이로 출력하여 도면에 기입된 내용과 실제 설치 및 제작된 내용을 육안으로 검사하고 있다. 조립된 실제 부품들은 3차원 형상이고 도면에는 평면도/정면도/측면도 등 2차원 도면으로 표시되어 있기 때문에, 도면의 내용과 실제 부품의 조립 상태를 확인하는 작업은 어렵고 많은 시간이 소요된다.However, in the conventional block inspection method, various two-dimensional (2D) drawings are printed on paper, and contents written on the drawings and actual installed and manufactured contents are visually inspected. Since the assembled physical parts are three-dimensional shapes and the drawings are displayed in a two-dimensional diagram such as a plan view, a front view, and a side view, it is difficult and time-consuming to confirm the contents of the drawings and the actual assembled state of the components.

또한, 작업 오류 및 분류 오류 등이 발생하여 생산성 저하의 주요한 요인이 된다. 아울러 다품종 일종 생산인 조선해양산업의 특수성으로 인해 재활용이 거의 없는 다량의 도면 출도로 인한 비용손실 및 비효율성이 제기되고 있다.In addition, work errors and classification errors occur, leading to a decline in productivity. In addition, due to the special nature of the shipbuilding industry, which is a kind of multi-product, there is a cost loss and inefficiency due to the large number of drawings that are rarely recycled.

즉, 아주 많은 종류의 다수 부품이 복잡하게 조립되어 있으므로, 검사자는 복잡한 2차원 도면만으로 정확하게 3차원 형상을 알아낼 수 있을 정도로 숙련되어야 하는 문제점이 있다.That is, since a large number of many kinds of parts are complicatedly assembled, the inspector must be skilled enough to accurately obtain a three-dimensional shape with only a complicated two-dimensional drawing.

또한, 기존의 2차원(2D) 도면 위주의 블록 검사 방식은 많은 양의 2차원 도면을 참조하여야 하기 때문에, 정보 조회에도 많은 시간이 소요되는 문제점이 있다.
In addition, since a conventional block inspection method based on a two-dimensional (2D) drawing must refer to a large amount of two-dimensional drawing, it takes a long time to inquire information.

[특허문헌 1] 한국공개특허 제10-2012-0090866호(2012.08.17.공개)[Patent Document 1] Korean Published Patent Application No. 10-2012-0090866 (published on August 17, 2012) [특허문헌 2] 한국공개특허 제10-2011-0116842호(2011.10.26.공개)[Patent Document 2] Korean Published Patent Application No. 10-2011-0116842 (published on October 26, 2011) [특허문헌 3] 한국등록특허 제10-1241638호(2013.03.11.공고)[Patent Document 3] Korean Patent No. 10-1241638 (Announcement of Mar. 31, 2013)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 증강현실을 이용하여, 검사대상의 실물 부품을 카메라로 촬상하면 상기 부품의 3차원(3D) 모델 형상을 실물 부품에 정합시키고 결합 부품에 대한 3차원(3D) 모델 형상을 표시하여 실물과 대비시키는 증강현실 기반 선박의 블록 검사 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to solve the above-mentioned problems, and it is an object of the present invention to provide a three-dimensional (3D) Dimensional (3D) model shape of a ship based on the augmented reality of the ship.

특히, 본 발명의 목적은 검사대상의 실물 부품을 마커로 표시하여, 표시된 부품을 중심으로 특정 반경 내에서 결합되는 결합 부품만을 증강하여 표시하는 증강현실 기반 선박의 블록 검사 방법을 제공하는 것이다.Particularly, it is an object of the present invention to provide a method of inspecting a block of an augmented reality-based ship, in which a real part of an object to be inspected is indicated by a marker, and only a joined part to be coupled within a specific radius is displayed.

상기 목적을 달성하기 위해 본 발명은 카메라 및 디스플레이를 구비하고 서버와 이동통신망으로 통신하는 이동단말의 증강현실 기반 선박의 블록 검사 방법에 관한 것으로서, (a) 상기 이동단말은 상기 카메라를 통해 이미지를 촬상하여 입력받고, 상기 이미지에서 하나의 부품(이하 대상부품)을 식별하는 단계; (b) 상기 이동단말은 상기 대상부품의 식별정보를 상기 서버에 전송하여, 상기 대상부품 및, 상기 대상부품과 조립되는 부품(이하 조립부품)의 3D모델 형상 데이터를 요청하고 수신하는 단계; (c) 상기 이동단말은 상기 대상부품의 촬상된 이미지와, 상기 대상부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 단계; (d) 상기 이동단말은 상기 조립부품의 3D모델 형상을 상기 대상부품의 3D모델 형상과 정합시켜 상기 디스플레이에 표시하는 단계; 및, (e) 상기 이동단말은 상기 디스플레이에 표시된 조립부품의 3D모델 형상 각각에 대하여, 촬영된 이미지와 매칭되는지 여부를 검사하여 정합 또는 부정합 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for inspecting a ship's augmented reality vessel based on a mobile terminal having a camera and a display and communicating with a server through a mobile communication network, the method comprising the steps of: (a) Capturing and inputting, and identifying one component (hereinafter referred to as a target component) in the image; (b) the mobile terminal transmits identification information of the target part to the server, thereby requesting and receiving 3D model shape data of the target part and a part (hereinafter referred to as an assembly part) to be assembled with the target part; (c) the mobile terminal aligning the captured image of the target part with the 3D model shape of the target part and displaying it on the display; (d) the mobile terminal aligning a 3D model shape of the assembly part with a 3D model shape of the object part and displaying the 3D model shape on the display; And (e) the mobile terminal determines whether or not the 3D model shape of the assembly part displayed on the display is matched or mismatched, by checking whether each of the 3D model shapes matches the photographed image.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (a)단계에서, 상기 대상부품에 부착된 마커를 인식하여 상기 대상부품의 식별정보를 확인하는 것을 특징으로 한다.In addition, the present invention is characterized in that, in the augmented reality-based ship block inspection method, in the step (a), identification information of the target part is recognized by recognizing a marker attached to the target part.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (b)단계에서, 상기 서버는 상기 대상부품에서 소정의 반경 내에서 조립되는 부품들의 3D모델 형상만을 전송하는 것을 특징으로 한다.Further, the present invention is a method for inspecting a block of a ship based on an augmented reality, wherein in the step (b), the server transmits only a 3D model shape of parts assembled within a predetermined radius from the target part.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (b)단계에서, 상기 이동단말이 소정의 반경(이하 제1 반경)에서 상기 제1 반경 보다 큰 반경(이하 제2 반경)으로 변경하면, 상기 제1 반경 보다 크고 상기 제2 반경 보다 작은 반경 내에 조립되는 부품의 3D모델 형상 데이터를 추가적으로 상기 서버에 요청하여 수신하는 것을 특징으로 한다.In the step (b) of the present invention, it is preferable that the mobile terminal has a radius (hereinafter referred to as a second radius) larger than the first radius at a predetermined radius (first radius) To the server, 3D model shape data of a part that is assembled within a radius larger than the first radius and smaller than the second radius is additionally requested and received from the server.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (c)단계에서, 상기 이동단말은 상기 대상부품의 촬영된 이미지에서 모서리나 면의 특징점을 추출하고, 상기 추출된 특징점을 3D모델 형상의 특징점과 매칭시켜서 정합하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for inspecting a block of a vessel based on an augmented reality, the method comprising the steps of: (a) extracting a feature point of a corner or a face from a photographed image of the target part, And matches with the minutiae points of the model shape.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (c)단계에서, 상기 이동단말은 검사자에 의한 상기 디스플레이의 터치 스크린 입력에 의하여, 상기 대상부품의 촬영된 이미지와, 상기 대상부품의 3D모델 형상을 정합시키는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for inspecting a vessel based on an augmented reality-based ship, the method comprising the steps of: (a) And matching the 3D model shape of the part.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (d)단계에서, 상기 (c)단계에서 상기 대상부품의 촬영된 이미지에 정합시킨 상기 대상부품의 3D촬영 형상으로부터, 위치, 시점, 및 크기를 추출하고, 상기 위치, 시점 및 크기에 따라 상기 조립부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for inspecting a ship in an augmented reality-based ship, the method comprising the steps of: (d) extracting, from the 3D photographing shape of the target part, And 3D model shapes of the assembly part are matched according to the position, the viewpoint, and the size, and are displayed on the display.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 촬영된 이미지에서 모서리나 면의 특징점을 추출하고, 상기 추출된 특징점을 상기 조립부품의 3D모델 형상의 특징점과 매칭시켜서 정합 또는 부정합 여부를 판단하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for inspecting a block of a ship based on an augmented reality, the method comprising the steps of: (e) extracting a feature point of a corner or a face from a photographed image of the assembly part, The feature point of the 3D model of the assembled part is matched with the feature point of the 3D model to judge whether the match or mismatch exists.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 3D모델 형상 각각에 대하여, 검사자의 입력에 의하여 정합 또는 부정합 여부를 입력받아 판단하는 것을 특징으로 한다.Further, the present invention provides a method for inspecting a block of a ship based on an augmented reality, wherein, in the step (e), the mobile terminal inputs a match or an incoincidence of each 3D model shape of the assembled part .

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 3D모델 형상 각각에 대하여, 상기 디스플레이에서 순차적으로 각 형상의 주위를 하이라이트 시키고, 검사자의 정합 또는 부정합의 입력이 들어오면, 하이라이트 시킨 형상의 조립부품의 정합 또는 부정합으로 판단하는 것을 특징으로 한다.Further, the present invention is a method for inspecting a block of a vessel based on an augmented reality, wherein in the step (e), the mobile terminal sequentially highlights the surroundings of each shape in the display for each 3D model shape of the assembly part And when the input of matching or mismatching of the inspector comes in, it is determined that matching or mismatching of the assembled parts of the highlighted shape is made.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 방법은, (f) 상기 (e)단계에서 부정합으로 판단된 조립부품에 대하여 속성 정보, 자재 입출고 정보, 공정 일정, 블록 검사 항목, 및 검사할 내용을 상기 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 한다.The method further includes the steps of: (f) determining whether the assembled part determined to be incompatible in the step (e) includes attribute information, material input / output information, a process schedule, And displaying the contents to be inspected on the display.

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 (f)단계에서, 상기 이동단말은 상기 부정합으로 판단된 조립부품에 대한 정보를 상기 서버에 요청하여 수신하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of inspecting a ship for augmented reality-based ship, the method including the steps of: (f) receiving information on an assembly part determined to be incompatible with the mobile terminal;

또, 본 발명은 증강현실 기반 선박의 블록 검사 방법에 있어서, 상기 방법은, (g) 상기 카메라에 의해 촬상되는 이미지의 시점이 변경되면, 상기 대상부품의 촬상된 이미지와 3D모델 형상과 정합시키는 상기 (c)단계부터 다시 수행하는 것을 특징으로 한다.
The method further comprises the steps of: (g) when the viewpoint of the image captured by the camera is changed, matching the captured image of the target part with the 3D model shape And the step (c) is performed again.

또한, 본 발명은 카메라 및 디스플레이를 구비하고 서버와 이동통신망으로 통신하는 이동단말의 증강현실 기반 선박의 블록 검사 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서, (a) 상기 이동단말은 상기 카메라를 통해 이미지를 촬상하여 입력받고, 상기 이미지에서 하나의 부품(이하 대상부품)을 식별하는 단계; (b) 상기 이동단말은 상기 대상부품의 식별정보를 상기 서버에 전송하여, 상기 대상부품 및, 상기 대상부품과 조립되는 부품(이하 조립부품)의 3D모델 형상 데이터를 요청하고 수신하는 단계; (c) 상기 이동단말은 상기 대상부품의 촬상된 이미지와, 상기 대상부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 단계; (d) 상기 이동단말은 상기 조립부품의 3D모델 형상을 상기 대상부품의 3D모델 형상과 정합시켜 상기 디스플레이에 표시하는 단계; 및, (e) 상기 이동단말은 상기 디스플레이에 표시된 조립부품의 3D모델 형상 각각에 대하여, 촬영된 이미지와 매칭되는지 여부를 검사하여 정합 또는 부정합 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a computer-readable recording medium storing a program for performing a method of inspecting an augmented reality vessel of a mobile terminal having a camera and a display and communicating with a server via a mobile communication network, The mobile terminal captures and inputs an image through the camera and identifies one component (hereinafter referred to as a target component) in the image; (b) the mobile terminal transmits identification information of the target part to the server, thereby requesting and receiving 3D model shape data of the target part and a part (hereinafter referred to as an assembly part) to be assembled with the target part; (c) the mobile terminal aligning the captured image of the target part with the 3D model shape of the target part and displaying it on the display; (d) the mobile terminal aligning a 3D model shape of the assembly part with a 3D model shape of the object part and displaying the 3D model shape on the display; And (e) the mobile terminal determines whether or not the 3D model shape of the assembly part displayed on the display is matched or mismatched, by checking whether each of the 3D model shapes matches the photographed image.

상술한 바와 같이, 본 발명에 따른 증강현실 기반 선박의 블록 검사 방법에 의하면, 조립된 실제 부품들을 3차원 모델의 형상과 정합시켜 대비시켜줌으로써, 검사자의 3차원(3D) 모델 정합을 시키는 복잡도를 현저하게 감소시키는 효과가 얻어진다.As described above, according to the augmented reality-based ship block inspection method of the present invention, since the assembled physical parts are matched with the shape of the three-dimensional model and compared with each other, the complexity of performing the three- An effect of remarkably reducing is obtained.

또한, 본 발명에 따른 증강현실 기반 선박의 블록 검사 방법에 의하면, 마커된 부품에서 소정의 반경 내에 결합되는 부품들만 증강시켜 표시함으로써, 이동단말에서 서버와 통신하는 통신 횟수나 데이터 양을 최소화하고, 송수신 시간을 단축시키는 효과가 얻어진다.
In addition, according to the method for inspecting blocks of a ship based on an augmented reality according to the present invention, only the parts that are combined within a predetermined radius are marked and displayed in the marked part, thereby minimizing the number of communications and the amount of data for communication with the server, An effect of shortening the transmission / reception time can be obtained.

도 1은 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 이동단말의 구성에 대한 블록도.
도 3은 본 발명의 일실시예에 따른 데이터베이스의 구성에 대한 블록도.
도 4는 본 발명의 일실시예에 따른 증강현실 기반 선박의 블록 검사 방법을 설명하는 흐름도.
도 5는 본 발명에 따라 촬상된 부품의 이미지와 3D모델 형상을 정합하여 디스플레이에 표시하는 예시도.
도 6은 본 발명에 따라 반경 변경시 추출되는 조립부품의 3D모델 형상을 표시하는 예시도.
BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing an example of an overall system configuration for implementing the present invention; Fig.
2 is a block diagram of a configuration of a mobile terminal according to an embodiment of the present invention;
3 is a block diagram of a configuration of a database according to an embodiment of the present invention;
4 is a flowchart illustrating a method of inspecting a ship based on an augmented reality according to an embodiment of the present invention.
Fig. 5 is an exemplary view showing an image of a picked-up part and a 3D model shape according to the present invention registered on a display; Fig.
6 is an exemplary diagram showing a 3D model shape of an assembly part extracted when a radius is changed according to the present invention;

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
In the description of the present invention, the same parts are denoted by the same reference numerals, and repetitive description thereof will be omitted.

먼저, 본 발명에 따른 증강현실 기반 선박의 블록 검사 방법을 실시하기 위한 전체 시스템의 구성을 도 1 내지 도 3을 참조하여 설명한다.First, a configuration of an overall system for implementing a method of inspecting a ship for an augmented reality-based ship according to the present invention will be described with reference to FIG. 1 to FIG.

도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 이동단말(10), 서버(30), 및 데이터베이스(40)로 구성된다. 또한, 이동단말(10)과 서버(30)를 연결하기 위한 이동통신망(21), 또는 네트워크(22)를 더 포함하여 구성된다.As shown in FIG. 1, the overall system for implementing the present invention comprises a mobile terminal 10, a server 30, and a database 40. It further comprises a mobile communication network 21 or a network 22 for connecting the mobile terminal 10 and the server 30.

이동단말(10)은 스마트폰 등 무선망(또는 이동통신망)을 이용하는 단말을 말한다. 특히, 이동단말(10)은 증강현실을 구현할 수 있는 어플이 설치되어 있거나, 이러한 기능을 내장한다.The mobile terminal 10 refers to a terminal using a wireless network (or mobile communication network) such as a smart phone. In particular, the mobile terminal 10 is provided with an application capable of realizing an augmented reality, or incorporates such an application.

도 2에서 보는 바와 같이, 이동단말(10)은 사물을 촬상할 수 있는 카메라(11), LCD 등으로 구성된 디스플레이(12), 서버(30)와 무선망(21)으로 연결되어 통신할 수 있는 무선말 인터페이스(13), 데이터를 저장하는 메모리(14), 및, 마이크로 프로세스 등으로 구성되어 각 구성요소(또는 모듈)을 제어하는 제어부(15)로 구성된다.2, the mobile terminal 10 includes a camera 11 capable of capturing an object, a display 12 composed of an LCD or the like, a display 12 capable of communicating with the server 30 via the wireless network 21, A wireless speech interface 13, a memory 14 for storing data, and a control unit 15 configured by a microprocessor and controlling each component (or module).

이동단말(10)의 카메라(11)에서 실물 부품을 촬상하면 디스플레이(12)에 촬상된 실물 부품이 표시되고, 촬상된 이미지뿐만 아니라, 촬상되지 않았지만 증강현실로 가상화된 데이터 또는 이미지도 함께 디스플레이(12)에 표시된다.When the camera 11 of the mobile terminal 10 picks up the real part, the real part picked up on the display 12 is displayed, and not only the captured image but also data or image virtualized as augmented reality 12).

예를 들어, 카메라(11)에 의해 실물 부품이 촬상되면, 촬상된 실물 부품을 디스플레이(12)에 표시하고, 실물 부품의 명칭이나 재질, 특성 등을 실물 부품과 함께 표시할 수 있다. 또한, 실물 부품가 조립되는 결합 부품을 함께 디스플레이(12)에 표시할 수 있다.For example, when the real part is picked up by the camera 11, the picked physical part is displayed on the display 12, and the name, material, characteristic, etc. of the real part can be displayed together with the real part. Further, the engaging parts to which the physical parts are assembled together can be displayed on the display 12 together.

또한, 디스플레이(12)는 충분히 큰 화면을 갖는 터치 스크린으로 구성되는 것이 바람직하다. 터치 스크린을 통해 표시되는 가상 이미지(또는 데이터)의 방향이나 크기 등을 조절할 수 있다.In addition, the display 12 preferably comprises a touch screen having a sufficiently large screen. The direction or size of the virtual image (or data) displayed through the touch screen can be adjusted.

서버(30)는 선박의 부품 및, 선박 건조의 공정, 검사 등과 관련된 데이터를 데이터베이스(40)에 저장하여 관리하고, 이동단말(10)이 접속하여 필요한 데이터를 요청하면, 요청한 데이터를 검색하여 이동단말(10)에 전송한다.The server 30 stores and manages the parts of the ship and the data related to the process and inspection of the ship construction in the database 40. When the mobile terminal 10 accesses and requests the necessary data, To the terminal (10).

도 3에서 보는 바와 같이, 데이터베이스(40)는 크게 공정 데이터베이스(40a)와, 부품 모델 데이터베이스(40b)로 구성된다.As shown in Fig. 3, the database 40 mainly comprises a process database 40a and a part model database 40b.

공정 데이터베이스(40a)에는, 부품의 속성과 부품들 간의 연관 관계를 저장하는 BOM (Bills of Material) 데이터베이스(41), 부품의 입출고 정보를 저장하는 자재 입출고 데이터베이스(42), 공정 일정을 저장하는 공정 일정 데이터베이스(43), 블록 검사를 위한 체크시트를 저장하는 블록 검사 데이터베이스(44)로 구성된다.The process database 40a is provided with a Bills of Material (BOM) database 41 for storing the attributes of the parts and the relationship between the parts, a material input / output database 42 for storing the entry and exit information of the parts, A schedule database 43, and a block check database 44 for storing check sheets for block check.

또한, 부품 모델 데이터베이스(40b)에는 경량화 3D 모델 데이터베이스(45)로 구성된다. 경량화 3D 모델 데이터베이스(45)는 선박의 건조에 필요한 모든 부품에 대한 지오메릭스(geomerics, 3차원 그래픽 기술) 형상 정보를 저장한다.In addition, the parts model database 40b is made up of a lightweight 3D model database 45. The lightweight 3D model database 45 stores geometry information of all the components necessary for drying the ship.

또한, 경량화 3D 모델 데이터베이스(45)에는 각 부품에 대하여, 부품의 아이디(부품번호), 이름 등 식별정보와, 부품의 3차원 형상 정보가 저장되어 있다. 또한, 각 부품이 조립(또는 결합)되었을 때의 각 부품 사이의 거리(또는 반경)도 저장된다.In the lightweight 3D model database 45, identification information such as an ID (part number) and a name of the part and three-dimensional shape information of the part are stored for each part. In addition, the distance (or radius) between each component when each component is assembled (or coupled) is also stored.

따라서 서버(30)는 이들 거리(또는 반경) 데이터를 이용하면, 하나의 특정 부품에 대하여 소정의 거리 내에서 조립되는 모든 부품을 3D 모델 데이터베이스(45)에서 검색할 수 있다.
Therefore, the server 30 can search all the parts assembled within a predetermined distance for one specific part in the 3D model database 45, using these distance (or radius) data.

다음으로, 본 발명의 일실시예에 따른 증강현실 기반 선박의 블록 검사 방법을 도 4를 참조하여 설명한다.Next, an augmented reality-based ship inspection method according to an embodiment of the present invention will be described with reference to FIG.

도 4에서 보는 바와 같이, 본 발명의 일실시예에 따른 증강현실 기반 선박의 블록 검사 방법은 대상 부품 식별 단계(S10), 3D모델 형상 수신 단계(S20), 대상 부품의 정합 단계(S30), 조립부품의 형상 표시 단계(S40), 부정합 형상 검색 단계(S50), 및, 부정합 부품에 대한 검사내용 표시 단계(S60)로 구성된다. 또한, 시점이 변경되는 경우 재반복 단계(S70)을 더 포함하여 구성된다.As shown in FIG. 4, the method for inspecting blocks of an augmented reality-based ship according to an embodiment of the present invention includes a target component identification step S10, a 3D model shape reception step S20, a matching step S30, A shape display step (S40), a mismatch shape search step (S50), and a check content display step (S60) for a mismatched part. In addition, when the viewpoint is changed, it further includes a repetition step S70.

먼저, 대상 부품 식별 단계(S10)를 구체적으로 설명한다.First, the target component identification step (S10) will be described in detail.

이동단말(10)은 특정 부품(또는 대상 부품)을 중심으로 이미지를 촬상(또는 촬영)하여, 촬상된 이미지를 입력받고, 상기 이미지에서 대상 부품을 식별한다(S10).The mobile terminal 10 captures an image (or captures an image) around a specific part (or a target part), receives a captured image, and identifies a target part in the image (S10).

이때, 바람직하게는, 대상 부품에 부착된 마커를 통해, 대상 부품을 식별한다. 즉, 이미지에 촬상된 마커의 내용을 인식하여, 인식된 내용에 따라 대상 부품을 식별한다. 마커에는 부품에 대한 정보 또는 부품에 사용되는 블록(또는 조립체) 또는 공정 정보를 함께 포함할 수 있다. 한편, 마커는 문자나 코드 등으로 식별정보를 표시한다.At this time, preferably, the target part is identified through the marker attached to the target part. That is, the contents of the marker captured in the image are recognized, and the target component is identified according to the recognized content. The markers may include information about the part or a block (or assembly) or process information used for the part. On the other hand, the marker displays identification information with a character or a code.

이때, 바람직하게는, 검사자는 검사할 영역 내에 존재하는 특정 부품에 마커를 부착하고, 이동단말(10)의 카메라(11)를 통해, 마커가 부착된 대상 부품을 촬상할 수 있다.At this time, preferably, the inspector can attach a marker to a specific component existing in an area to be inspected and pick up an image of the target part to which the marker is attached through the camera 11 of the mobile terminal 10.

다른 실시예로서, 이동단말(10)에 부품을 인식할 수 있는 인식 프로그램(또는 어플)이 설치되어, 마커 없이 대상 부품의 이미지 만으로 부품을 인식할 수 있다. 또 다른 실시예로서, 이동단말(10)이 촬영된 이미지를 서버(30)로 전송하면, 서버(30)에서 이미지 분석을 하여, 대상 부품을 식별할 수 있다. 서버(30)에서 인식된 대상 부품의 정보를 다시 이동단말(10)로 전송하여, 대상 부품이 식별된다.In another embodiment, a recognition program (or an application) capable of recognizing a part is provided in the mobile terminal 10, so that the part can be recognized only by the image of the target part without a marker. As another embodiment, when the mobile terminal 10 transmits the photographed image to the server 30, the server 30 can analyze the image and identify the target part. The information of the target component recognized by the server 30 is transmitted again to the mobile terminal 10, and the target part is identified.

한편, 이동단말(10)이 인식(식별)하는 정보는 대상 부품 자체에 대한 정보 외에도, 해당 부품이 어느 공정(또는 조립 블록)에 포함되어 조립된 것인지에 대한 정보도 함께 식별하는 것이 바람직하다. 하나의 부품은 여러 공정에도 이용될 수 있기 때문에, 어느 공정에 사용된 것인지도 판단해야 한다. 공정의 식별도 마커에 의한 방식, 또는 이미지 분석에 의한 방식으로 모두 적용될 수 있다.
On the other hand, it is preferable that the information that the mobile terminal 10 recognizes (identifies), in addition to the information about the target part itself, information about which process (or assembly block) the target part is assembled with. Since one component can be used for several processes, it must be judged which process was used. Process identification can also be applied to both markers and image analysis.

다음으로, 3D모델 형상 수신 단계(S20)를 구체적으로 설명한다.Next, the 3D model shape receiving step (S20) will be described in detail.

촬상된 이미지에서 대상 부품이 인식되면, 이동단말(10)은 해당 대상 부품의 식별정보(또는 공정 정보)를 서버(30)에 전송하여, 상기 대상 부품의 3D모델 형상 데이터 및, 상기 대상 부품과 조립되는 부품(이하 조립 부품)의 3D모델 형상 데이터를 요청한다(S20). 그리고 이동단말(10)은 3D모델 형상 데이터를 수신한다.When the target component is recognized in the sensed image, the mobile terminal 10 transmits the identification information (or process information) of the target component to the server 30, and stores the 3D model shape data of the target component, 3D model shape data of a part to be assembled (hereinafter, an assembly part) is requested (S20). Then, the mobile terminal 10 receives 3D model shape data.

이때, 대상부품과 조립되는 부품이란, 대상부품과 직접적으로 또는 간접적으로 결합하여 조립되는 모든 부품을 포함한다. 즉, 조립부품에는 상기 대상부품과 직접 조립되는 조립부품과, 상기 조립부품과 결합되는 부품을 모두 포함한다. 대상부품과 직접 결합되지는 않지만, 연속적으로 결합하여 조립되는 부품도 포함한다.At this time, the parts to be assembled with the target part include all the parts to be assembled by being directly or indirectly combined with the target part. That is, the assembled part includes both an assembled part directly assembled with the target part and a part coupled with the assembled part. It includes parts that are not directly coupled to the target component, but are assembled in series.

바람직하게는, 서버(30)는 대상 부품에서 소정의 거리 내에서 조립(또는 결합)되는 부품들의 3D모델 형상만을 전송한다. 소정의 거리(또는 반경)는 사전에 정해진 거리이거나, 검사자에 의해 설정된 거리이다.Preferably, the server 30 transmits only the 3D model shape of parts assembled (or combined) within a predetermined distance from the target part. The predetermined distance (or radius) is a predetermined distance or a distance set by the inspector.

또한, 검사자가 이동단말(10)을 통해 반경(거리)을 더 크게 변경한 경우, 이동단말(10)은 변경전 반경 보다 크고 변경후 반경 내에 조립되는 부품의 3D모델 형상 데이터를 추가적으로 요청하여 수신한다. 더 작게 반경이 변경되는 경우, 이미 수신한 형상 데이터로 표시가 가능하기 때문에 추가적으로 요청하지 않는다.
When the inspector further changes the radius (distance) through the mobile terminal 10, the mobile terminal 10 additionally requests the 3D model shape data of the part larger than the radius before change and assembled within the radius after the change, do. If the radius is changed smaller, it is not additionally requested because it can be displayed with the shape data already received.

다음으로, 대상 부품의 정합 단계(S30)를 구체적으로 설명한다.Next, the matching step (S30) of the target components will be described in detail.

서버(30)로부터 대상 부품 및, 조립 부품의 3D모델 형상을 수신하면, 이동단말(10)은 대상 부품의 3D모델 형상을 촬상된 대상 부품의 이미지와 정합시킨다(S30).Upon receiving the target component and the 3D model shape of the assembly part from the server 30, the mobile terminal 10 aligns the 3D model shape of the target part with the image of the captured target part (S30).

3D모델 형상은 시점과 크기에 따라 디스플레이(12)에 표시되는 2D 이미지가 달라진다. 즉, 3D모델 형상을 2차원 화면인 디스플레이(12)에 투영하므로, 시점과 크기가 정해져야 한다. 또한, 3D모델 형상이 투영되는 위치는 촬영된 대상 부품의 위치와 동일하다. 따라서 디스플레이(12)에 투영되는 2차원 이미지가 촬영된 대상 부품의 이미지와 일치되도록 정합시킨다.The 3D model shape varies depending on the viewpoint and the size, and the 2D image displayed on the display 12 is different. That is, since the 3D model shape is projected on the display 12, which is a two-dimensional screen, the viewpoint and size must be determined. The position at which the 3D model shape is projected is the same as the position of the photographed object part. Accordingly, the two-dimensional image projected on the display 12 is matched with the image of the object part to be photographed.

정합 방법은 검사자로부터 명령을 입력받아 정합될 수 있다. 검사자는 터치 스크린의 디스플레이(12)에 표시된 대상 부품의 3D모델 형상의 각도(시점) 또는 크기를 조절하여, 촬영된 대상 부품의 이미지와 정합시킬 수 있다.The matching method can be matched by receiving an instruction from the inspector. The inspector can adjust the angle (viewpoint) or size of the 3D model shape of the target component displayed on the display 12 of the touch screen to match the image of the photographed target part.

다른 실시예로서, 이미지의 매칭 방법에 의하여, 대상 부품의 촬영된 이미지와 3D모델 형상을 정합시킬 수 있다. 즉, 대상 부품의 촬상된 이미지에서 모서리나 면 등의 특징점을 추출하고, 추출된 특징점을 3D모델 형상의 이미지와의 특징점과 매칭시켜서, 양 이미지를 정합시킨다. 구체적으로, 크기와 시점 등을 구하여 양 이미지를 정합시킬 수 있다.
As another embodiment, the captured image of the target part and the 3D model shape can be matched by an image matching method. That is, feature points such as edges and planes are extracted from the captured image of the target component, and the extracted feature points are matched with the feature points of the 3D model shape image to match the two images. Specifically, the size and the viewpoint can be obtained and the two images can be matched.

다음으로, 조립부품의 형상 표시 단계(S40)를 구체적으로 설명한다.Next, the shape display step (S40) of the assembly part will be described in detail.

대상 부품의 촬상된 이미지와 3D모델 형상이 정합되면, 이동단말(10)은 상기 대상 부품과 조립되는 부품(조립부품)의 3D모델 형상을 디스플레이되는 이미지의 대상 부품과 정합시켜 표시한다.When the captured image of the target part and the 3D model shape are matched, the mobile terminal 10 matches and displays the 3D model shape of the part (assembly part) to be assembled with the target part, with the target part of the displayed image.

즉, 대상 부품의 3D모델 형상과의 조립상태 대로 정합하여 조립 부품을 표시하되, 조립 부품을 표시하는 시점과 크기는 대상 부품의 3D모델 형상의 시점과 크기에 따라 정해진다.That is, the assembled parts are displayed in conformity with the assembled state of the 3D model shape of the target part, and the time and size of displaying the assembled parts are determined according to the viewpoint and size of the 3D model shape of the target part.

조립부품의 3D모델 형상도 2차원 디스플레이에 투영하여 표시되므로, 시점과 크기, 위치가 정해져야 한다. 조립부품의 3D모델 형상의 시점과 크기는 대상 부품의 시점과 크기에 의하여 결정되고, 위치는 대상 부품의 3D모델 형상과의 조립되는 위치로 정해진다. 위치도 시점과 크기에 따라 조절된다.Since the 3D model shape of the assembly part is also projected on the two-dimensional display, the viewpoint, size, and position should be determined. The viewpoint and the size of the 3D model shape of the assembly part are determined by the viewpoint and the size of the target part, and the position is determined by the position where the 3D part model of the target part is assembled with the shape. The position is also adjusted according to the viewpoint and size.

도 5의 예에서, 이동단말(10)의 디스플레이(12)에서 대상 부품(61)의 실제 이미지와 3D모델 형상이 표시되고, 대상 부품(61)과 조립되는 조립부품(62)의 3D모델 형상이 표시된다.5, the actual image of the target part 61 and the 3D model shape are displayed on the display 12 of the mobile terminal 10 and the 3D model shape of the assembly part 62 assembled with the target part 61 Is displayed.

또한, 바람직하게는, 이동단말(10)은 사전에 정해진 소정의 거리(또는 반경) 내에서 조립되는 조립부품만 증강하여 디스플레이(12)에 표시한다. 검사자가 표시 범위의 반경을 변경할 수 있고, 변경하면 해당 반경 내에서 조립되는 조립 부품만 증강하여 디스플레이(12)에 표시한다. 즉, 대상 부품에서 표시범위의 반경 내에서 조립되는 조립 부품만 표시된다.Further, preferably, the mobile terminal 10 enhances only the assembled parts assembled within a predetermined distance (or radius) and displays it on the display 12. The inspector can change the radius of the display range, and if changed, only the assembled parts assembled within the radius are augmented and displayed on the display 12. That is, only the assembled parts assembled within the radius of the display range of the target part are displayed.

즉, 도 6의 예에서, (a)는 1m 반경 내의 3D모델 형상을 추출하여 표시한 것이고, (b) 및 (c)는 각각 3m 및 5m 반경 내의 3D모델 형상을 추출하여 표시한 것이다.
That is, in the example of FIG. 6, (a) is a 3D model shape within a radius of 1 m, and (b) and (c) are 3D model shapes within a radius of 3 m and 5 m, respectively.

다음으로, 부정합 형상 검색 단계(S50)를 구체적으로 설명한다.Next, the mismatch shape search step (S50) will be described in detail.

이동단말(10)은 촬상된 이미지와 부정합되는 3D모델 형상을 검색한다(S50).The mobile terminal 10 searches for a 3D model shape that is inconsistent with the captured image (S50).

구체적으로, 이동단말(10)은 각 조립부품의 3D모델 형상에 대하여, 3D모델 형상이 촬영된 이미지와 매칭되는지 여부를 검사하여, 정합 또는 부정합 여부를 결정한다(S50).Specifically, the mobile terminal 10 determines whether the 3D model shape of each assembly part matches the photographed image, and determines whether the 3D model shape matches or mismatches (S50).

촬영된 이미지와 조립부품의 3D모델 형상을 매칭하는 방법은 직접 검사자에 의하여 입력되는 실시예와, 이미지 인식 방법을 이용하여 자동으로 검사하는 실시예로 나뉜다.The method of matching the photographed image and the 3D model shape of the assembled part can be divided into the embodiment directly inputted by the inspector and the embodiment of automatically inspecting the image using the image recognition method.

전자의 실시예로서, 검사자는 디스플레이(12)에 표시된 조립 부품의 3D모델 형상과 촬상된 이미지 여부를 비교하여, 정합 또는 부정합 여부를 결정한다. 이때, 바람직하게는, 이동단말(10)은 조립 부품의 3D모델 형상 모두에 대하여 순차적으로 하나씩 강조(하이라이트)하여, 검사자에게 판단여부를 질의할 수 있다.As an example of the former, the inspector compares the 3D model shape of the assembly displayed on the display 12 with the image to determine whether it is a match or a mismatch. At this time, preferably, the mobile terminal 10 can sequentially highlight all of the 3D model shapes of the assembled parts one by one to inquire of the inspector whether or not to judge.

예를 들어, 조립 부품이 A, B, C가 있는 경우, A의 형상이 깜박여서 검사자가 선택하면, 다음으로 B의 형상이 깜박여서 검사자가 선택할 수 있게 한다. 이 경우, 검사자는 하이라이트 되는 부분만 육안으로 비교하기 때문에, 빠르고 정확하게 정합여부를 판단할 수 있다.For example, if there are A, B, and C assemblies, the shape of A will blink and the inspector will select, then the shape of B will blink, allowing the inspector to select. In this case, since the inspector compares only the highlighted portion with the naked eye, it is possible to judge whether or not the matching is fast and accurate.

후자의 실시예로서, 이동단말(10)은 조립부품의 3D모델 형상에 대응되는 촬영된 이미지를 추출하여, 추출된 이미지에서 모서리 또는 면 등의 특징점을 찾아내고, 찾아낸 특징점이 조립부품의 형상의 특징점과 대비한다. 대비결과 유사하다고 판단하면(즉, 대비 결과가 특정 임계치 이상이면 유사하다고 판단한다), 정합된 것으로 판단한다. 유사하지 않다고 판단되면 부정합된 것으로 판단한다.
In the latter embodiment, the mobile terminal 10 extracts a photographed image corresponding to the 3D model shape of the assembly part, finds a feature point such as a corner or a face in the extracted image, Contrast with minutiae. If it is determined that the contrast result is similar (that is, it is judged that the comparison result is similar if it is greater than or equal to a certain threshold value), it is judged that it is matched. If it is judged not to be similar, it is judged to be incongruent.

다음으로, 부정합 부품에 대한 검사내용 표시 단계(S60)를 구체적으로 설명한다.Next, the inspection content display step (S60) for the unmated part will be described in detail.

부정합 부품이 확인되면, 이동단말(10)은 상기 부정합 조립 부품에 대한 속성 정보, 자재 입출고 정보, 공정 일정, 블록 검사 항목 등을 확인하고 상기 사항들 또는 검사할 내용을 디스플레이(12)에 표시한다(S60).When the uncompleted part is identified, the mobile terminal 10 confirms the attribute information, the material input / output information, the process schedule, the block inspection item, and the like of the unmistakable assembly part, and displays the matters or the content to be inspected on the display 12 (S60).

이때, 이동단말(10)은 상기 사항 또는 검사할 내용을 서버(30)에 요청하면, 서버(30)는 공정 데이터베이스(40a)를 참조하여 상기 데이터를 검색하여 전송한다.
At this time, when the mobile terminal 10 requests the server 30 for the matters or the contents to be inspected, the server 30 refers to the process database 40a and searches for and transmits the data.

마지막으로, 촬영된 이미지의 시점이 변경되면, 앞서 대상 부품의 정합단계(S30)부터 다시 반복하여 수행한다(S70).Lastly, when the viewpoint of the photographed image is changed, the process is repeated from the matching step S30 of the target part (S70).

검사자가 이동단말(10)의 위치를 변경하면, 카메라(11)의 시점이 변경된다. 이때, 촬상되는 이미지의 시점이 변경되므로, 전체적으로 정합 과정을 다시 수행해야 한다. 따라서 대상 부품의 정합 단계(S30)부터 다시 수행한다. 대상 부품의 식별(S10)과 3D모델 형상은 이미 서버(30)로부터 가져와 저장하고 있으므로, 추가적으로 가져올 필요가 없다.When the examiner changes the position of the mobile terminal 10, the viewpoint of the camera 11 is changed. At this time, since the viewpoint of the image to be captured is changed, the matching process must be performed again as a whole. Therefore, the process from the matching step S30 of the target parts is performed again. Since the identification (S10) of the target component and the 3D model shape are already taken from the server 30 and stored, there is no need to additionally fetch it.

바람직하게는, 부정합 검색 단계(S50)에서 이미 정합 여부가 결정된 조립부품의 형상에 대해서는 추가적인 정합 여부를 결정하지 않는다.
Preferably, additional matching is not determined with respect to the shape of the assembled part for which matching has already been determined in the mismatch searching step (S50).

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.The invention made by the present inventors has been described concretely with reference to the embodiments. However, it is needless to say that the present invention is not limited to the embodiments, and that various changes can be made without departing from the gist of the present invention.

10 : 이동단말 11 : 카메라
12 : 디스플레이 15 : 제어부
21 : 이동통신망 22 : 네트워크
30 : 서버 40 : 데이터베이스
61 : 대상 부품 62 : 조립 부품
10: mobile terminal 11: camera
12: display 15:
21: mobile communication network 22: network
30: server 40: database
61: Target part 62: Assembly part

Claims (14)

카메라 및 디스플레이를 구비하고 서버와 이동통신망으로 통신하는 이동단말의 증강현실 기반 선박의 블록 검사 방법에 있어서,
(a) 상기 이동단말은 상기 카메라를 통해 이미지를 촬상하여 입력받고, 상기 이미지에서 하나의 부품(이하 대상부품)을 식별하는 단계;
(b) 상기 이동단말은 상기 대상부품의 식별정보를 상기 서버에 전송하여, 상기 대상부품 및, 상기 대상부품과 조립되는 부품(이하 조립부품)의 3D모델 형상 데이터를 요청하고 수신하는 단계;
(c) 상기 이동단말은 상기 대상부품의 촬상된 이미지와, 상기 대상부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 단계;
(d) 상기 이동단말은 상기 조립부품의 3D모델 형상을 상기 대상부품의 3D모델 형상과 정합시켜 상기 디스플레이에 표시하는 단계; 및,
(e) 상기 이동단말은 상기 디스플레이에 표시된 조립부품의 3D모델 형상 각각에 대하여, 촬영된 이미지와 매칭되는지 여부를 검사하여 정합 또는 부정합 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
A method for inspecting a ship's augmented reality vessel of a mobile terminal having a camera and a display and communicating with a server through a mobile communication network,
(a) the mobile terminal captures and inputs an image through the camera, and identifies one component (hereinafter referred to as a target component) in the image;
(b) the mobile terminal transmits identification information of the target part to the server, thereby requesting and receiving 3D model shape data of the target part and a part (hereinafter referred to as an assembly part) to be assembled with the target part;
(c) the mobile terminal aligning the captured image of the target part with the 3D model shape of the target part and displaying it on the display;
(d) the mobile terminal aligning a 3D model shape of the assembly part with a 3D model shape of the object part and displaying the 3D model shape on the display; And
(e) for each 3D model shape of the assembly part displayed on the display, checking whether the 3D model is matched with the photographed image to determine whether it is matched or mismatched. Of the block.
제1항에 있어서,
상기 (a)단계에서, 상기 대상부품에 부착된 마커를 인식하여 상기 대상부품의 식별정보를 확인하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
Wherein, in the step (a), identification information of the target part is recognized by recognizing a marker attached to the target part.
제1항에 있어서,
상기 (b)단계에서, 상기 서버는 상기 대상부품에서 소정의 반경 내에서 조립되는 부품들의 3D모델 형상만을 전송하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
In the step (b), the server transmits only a 3D model shape of parts assembled within a predetermined radius from the object part.
제1항에 있어서,
상기 (b)단계에서, 상기 이동단말이 소정의 반경(이하 제1 반경)에서 상기 제1 반경 보다 큰 반경(이하 제2 반경)으로 변경하면, 상기 제1 반경 보다 크고 상기 제2 반경 보다 작은 반경 내에 조립되는 부품의 3D모델 형상 데이터를 추가적으로 상기 서버에 요청하여 수신하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
In the step (b), if the mobile terminal changes from a predetermined radius (hereinafter referred to as a first radius) to a radius (hereinafter referred to as a second radius) larger than the first radius, Wherein the 3D model shape data of the part to be assembled within a radius is additionally requested to and received from the server.
제1항에 있어서,
상기 (c)단계에서, 상기 이동단말은 상기 대상부품의 촬영된 이미지에서 모서리나 면의 특징점을 추출하고, 상기 추출된 특징점을 3D모델 형상의 특징점과 매칭시켜서 정합하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
Wherein, in step (c), the mobile terminal extracts feature points of an edge or a face from the photographed image of the target part, and matches the extracted feature points with the feature points of the 3D model shape Inspection method of ship block.
제1항에 있어서,
상기 (c)단계에서, 상기 이동단말은 검사자에 의한 상기 디스플레이의 터치 스크린 입력에 의하여, 상기 대상부품의 촬영된 이미지와, 상기 대상부품의 3D모델 형상을 정합시키는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
Wherein, in the step (c), the mobile terminal aligns the captured image of the target part with the 3D model shape of the target part by a touch screen input of the display by the examiner, Of the block.
제1항에 있어서,
상기 (d)단계에서, 상기 (c)단계에서 상기 대상부품의 촬영된 이미지에 정합시킨 상기 대상부품의 3D촬영 형상으로부터, 위치, 시점, 및 크기를 추출하고, 상기 위치, 시점 및 크기에 따라 상기 조립부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
In the step (d), the position, the viewpoint, and the size are extracted from the 3D photographing shape of the target part matched with the photographed image of the target part in the step (c) Wherein the 3D model of the assembly is matched and displayed on the display.
제1항에 있어서,
상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 촬영된 이미지에서 모서리나 면의 특징점을 추출하고, 상기 추출된 특징점을 상기 조립부품의 3D모델 형상의 특징점과 매칭시켜서 정합 또는 부정합 여부를 판단하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
In step (e), the mobile terminal extracts feature points of an edge or a face from the photographed image of the assembly part, matches the extracted feature points with the feature points of the 3D model shape of the assembly part, Wherein the step of determining the strength of the block is performed based on the determination result.
제1항에 있어서,
상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 3D모델 형상 각각에 대하여, 검사자의 입력에 의하여 정합 또는 부정합 여부를 입력받아 판단하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method according to claim 1,
Wherein, in the step (e), the mobile terminal determines whether the 3D model of each of the assembled parts is matched or mismatched according to an input of the inspector.
제9항에 있어서,
상기 (e)단계에서, 상기 이동단말은 상기 조립부품의 3D모델 형상 각각에 대하여, 상기 디스플레이에서 순차적으로 각 형상의 주위를 하이라이트 시키고, 검사자의 정합 또는 부정합의 입력이 들어오면, 하이라이트 시킨 형상의 조립부품의 정합 또는 부정합으로 판단하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
10. The method of claim 9,
In step (e), the mobile terminal sequentially highlights the periphery of each shape on the display for each of the 3D model shapes of the assembled part, and when an input of the match or mismatch of the inspector is received, And determining the matching or incompatibility of the assembled parts.
제1항에 있어서, 상기 방법은,
(f) 상기 (e)단계에서 부정합으로 판단된 조립부품에 대하여 속성 정보, 자재 입출고 정보, 공정 일정, 블록 검사 항목, 및 검사할 내용을 상기 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method of claim 1,
(f) displaying the attribute information, the material input / output information, the process schedule, the block check item, and the content to be inspected on the display for the assembled part determined to be incompatible in the step (e) A block inspection method for augmented reality based ship.
제11항에 있어서,
상기 (f)단계에서, 상기 이동단말은 상기 부정합으로 판단된 조립부품에 대한 정보를 상기 서버에 요청하여 수신하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
12. The method of claim 11,
Wherein, in the step (f), the mobile terminal requests and receives information on an assembly part determined as the mismatch, from the server.
제1항에 있어서, 상기 방법은,
(g) 상기 카메라에 의해 촬상되는 이미지의 시점이 변경되면, 상기 대상부품의 촬상된 이미지와 3D모델 형상과 정합시키는 상기 (c)단계부터 다시 수행하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법.
The method of claim 1,
(g) a step of (c), when the viewpoint of the image captured by the camera is changed, matching the captured image of the target part with the 3D model shape is performed again. Way.
카메라 및 디스플레이를 구비하고 서버와 이동통신망으로 통신하는 이동단말의 증강현실 기반 선박의 블록 검사 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
(a) 상기 이동단말은 상기 카메라를 통해 이미지를 촬상하여 입력받고, 상기 이미지에서 하나의 부품(이하 대상부품)을 식별하는 단계;
(b) 상기 이동단말은 상기 대상부품의 식별정보를 상기 서버에 전송하여, 상기 대상부품 및, 상기 대상부품과 조립되는 부품(이하 조립부품)의 3D모델 형상 데이터를 요청하고 수신하는 단계;
(c) 상기 이동단말은 상기 대상부품의 촬상된 이미지와, 상기 대상부품의 3D모델 형상을 정합시켜 상기 디스플레이에 표시하는 단계;
(d) 상기 이동단말은 상기 조립부품의 3D모델 형상을 상기 대상부품의 3D모델 형상과 정합시켜 상기 디스플레이에 표시하는 단계; 및,
(e) 상기 이동단말은 상기 디스플레이에 표시된 조립부품의 3D모델 형상 각각에 대하여, 촬영된 이미지와 매칭되는지 여부를 검사하여 정합 또는 부정합 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반 선박의 블록 검사 방법을 수행하는 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A computer-readable recording medium having recorded thereon a program for performing a block inspection method of augmented reality-based ship of a mobile terminal having a camera and a display and communicating with a server via a mobile communication network,
(a) the mobile terminal captures and inputs an image through the camera, and identifies one component (hereinafter referred to as a target component) in the image;
(b) the mobile terminal transmits identification information of the target part to the server, thereby requesting and receiving 3D model shape data of the target part and a part (hereinafter referred to as an assembly part) to be assembled with the target part;
(c) the mobile terminal aligning the captured image of the target part with the 3D model shape of the target part and displaying it on the display;
(d) the mobile terminal aligning a 3D model shape of the assembly part with a 3D model shape of the object part and displaying the 3D model shape on the display; And
(e) for each 3D model shape of the assembly part displayed on the display, checking whether the 3D model is matched with the photographed image to determine whether it is matched or mismatched. A method for performing a method of performing a block checking method of a computer readable recording medium having recorded thereon a computer readable recording medium.
KR1020130148382A 2013-12-02 2013-12-02 A Method for Block Inspection of a Vessel Using Augmented Reality Technology KR20150063703A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130148382A KR20150063703A (en) 2013-12-02 2013-12-02 A Method for Block Inspection of a Vessel Using Augmented Reality Technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130148382A KR20150063703A (en) 2013-12-02 2013-12-02 A Method for Block Inspection of a Vessel Using Augmented Reality Technology

Publications (1)

Publication Number Publication Date
KR20150063703A true KR20150063703A (en) 2015-06-10

Family

ID=53505422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130148382A KR20150063703A (en) 2013-12-02 2013-12-02 A Method for Block Inspection of a Vessel Using Augmented Reality Technology

Country Status (1)

Country Link
KR (1) KR20150063703A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370989A (en) * 2017-07-31 2017-11-21 上海与德科技有限公司 Target seeking method and server
KR20180065536A (en) * 2016-12-08 2018-06-18 삼성중공업 주식회사 Apparatus and method for providing scaffold installation information
US10168152B2 (en) * 2015-10-02 2019-01-01 International Business Machines Corporation Using photogrammetry to aid identification and assembly of product parts
KR20200121053A (en) * 2019-04-15 2020-10-23 선문대학교 산학협력단 Object inspection method using an augmented-reality
KR20210065471A (en) * 2019-11-27 2021-06-04 주식회사 창림 Augmented Reality Device For Block Process Management
KR20210084141A (en) * 2019-12-27 2021-07-07 한국서부발전 주식회사 Augmented Reality Object Recognition System And Method For Power Generating Facility
CN113379694A (en) * 2021-06-01 2021-09-10 大连海事大学 Radar image local point-surface contrast product ship detection method
KR102525305B1 (en) * 2022-11-17 2023-04-25 주식회사 파란 Method, server and system for providing integrated information management service for ship maintenance

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460300B2 (en) 2015-10-02 2022-10-04 Wayfair Llc Using photogrammetry to aid identification and assembly of product parts
US10168152B2 (en) * 2015-10-02 2019-01-01 International Business Machines Corporation Using photogrammetry to aid identification and assembly of product parts
US20190033072A1 (en) * 2015-10-02 2019-01-31 International Business Machines Corporation Using photogrammetry to aid identification and assembly of product parts
US10571266B2 (en) * 2015-10-02 2020-02-25 Wayfair Llc Using photogrammetry to aid identification and assembly of product parts
US20200249018A1 (en) * 2015-10-02 2020-08-06 Wayfair Llc Using photogrammetry to aid identification and assembly of product parts
US10907963B2 (en) 2015-10-02 2021-02-02 Wayfair Llc Using photogrammetry to aid identification and assembly of product parts
KR20180065536A (en) * 2016-12-08 2018-06-18 삼성중공업 주식회사 Apparatus and method for providing scaffold installation information
CN107370989A (en) * 2017-07-31 2017-11-21 上海与德科技有限公司 Target seeking method and server
KR20200121053A (en) * 2019-04-15 2020-10-23 선문대학교 산학협력단 Object inspection method using an augmented-reality
KR20210065471A (en) * 2019-11-27 2021-06-04 주식회사 창림 Augmented Reality Device For Block Process Management
KR20210084141A (en) * 2019-12-27 2021-07-07 한국서부발전 주식회사 Augmented Reality Object Recognition System And Method For Power Generating Facility
CN113379694A (en) * 2021-06-01 2021-09-10 大连海事大学 Radar image local point-surface contrast product ship detection method
CN113379694B (en) * 2021-06-01 2024-02-23 大连海事大学 Radar image local point-to-face contrast product ship detection method
KR102525305B1 (en) * 2022-11-17 2023-04-25 주식회사 파란 Method, server and system for providing integrated information management service for ship maintenance

Similar Documents

Publication Publication Date Title
KR20150063703A (en) A Method for Block Inspection of a Vessel Using Augmented Reality Technology
US11127149B2 (en) Image analysis method and apparatus, and computer readable device
CN110176078B (en) Method and device for labeling training set data
WO2019174009A1 (en) Machine room management method and dynamic environment system
CN109934093B (en) Method for identifying goods on shelf, computer readable medium and identification system
US9996947B2 (en) Monitoring apparatus and monitoring method
Cusano et al. Visual recognition of aircraft mechanical parts for smart maintenance
US9613328B2 (en) Workflow monitoring and analysis system and method thereof
CN111400426A (en) Robot position deployment method, device, equipment and medium
CN116343163A (en) Systems and methods for cross-domain training of sensing system model instances
US20210174087A1 (en) System and method for hybrid visual searches and augmented reality
CN111489433B (en) Method and device for positioning damage of vehicle, electronic equipment and readable storage medium
CN114202554A (en) Mark generation method, model training method, mark generation device, model training device, mark method, mark device, storage medium and equipment
US20150130834A1 (en) Interactive augmented reality for memory dimm installation
CN117237681A (en) Image processing method, device and related equipment
KR101792701B1 (en) Apparatus and method for inspecting drawing
KR101845423B1 (en) Apparatus and method for supporting inspection of structure
CN114519213A (en) Computer-aided cartographic automation from markup using machine learning
KR20190045679A (en) Method for Providing Augmented Reality Service and Apparatus Thereof
CN114299260A (en) AR (augmented reality) -glasses-based product accessory detection, positioning, guiding and assembling method and system
CN111462341A (en) Augmented reality construction assisting method, device, terminal and medium
JP5975484B2 (en) Image processing device
US9189702B2 (en) Imaging system for determining multi-view alignment
KR20140061009A (en) Hybrid augmented reality using voice recognition and method the same
CN110264515B (en) Labeling method and electronic equipment

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination