KR102358950B1 - 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 - Google Patents

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 Download PDF

Info

Publication number
KR102358950B1
KR102358950B1 KR1020200128218A KR20200128218A KR102358950B1 KR 102358950 B1 KR102358950 B1 KR 102358950B1 KR 1020200128218 A KR1020200128218 A KR 1020200128218A KR 20200128218 A KR20200128218 A KR 20200128218A KR 102358950 B1 KR102358950 B1 KR 102358950B1
Authority
KR
South Korea
Prior art keywords
coordinate system
object model
augmented reality
unit
model
Prior art date
Application number
KR1020200128218A
Other languages
English (en)
Inventor
홍준표
Original Assignee
홍준표
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍준표 filed Critical 홍준표
Priority to KR1020200128218A priority Critical patent/KR102358950B1/ko
Priority to US18/248,026 priority patent/US20230410451A1/en
Priority to PCT/KR2021/013583 priority patent/WO2022075683A1/ko
Application granted granted Critical
Publication of KR102358950B1 publication Critical patent/KR102358950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법은, 촬영부로 배경 영상을 촬영하는 단계; 상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계; 상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계; 상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계; 매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및 스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함할 수 있다.

Description

모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법{Augmented reality implement apparatus and method using mobile scanned object model scaling}
본 발명은 증강현실(AR) 기술에 관한 것으로, 보다 상세하게는 모바일 기기를 이용한 이미지 스캔으로 생성된 객체 모델을 실제 크기에 맞도록 스케일링하고, 스케일링된 객체 모델을 통해 현실감 있는 증강현실을 구현하는 증강현실 구현 장치 및 방법에 관한 것이다.
3차원 스캐닝은 이미지 센서를 이용하여 대상물의 3차원 형상을 나타내는 3차원 모델을 생성하는 기술을 말한다. 3차원 스캐닝 방식에는 사람이 스캐너를 들고 그 위치를 조정하면서 대상물의 여러 부위를 스캔하는 수동 방식과, 로봇 등에 의해 스캐너 혹은 대상물의 위치가 자동 조정되면서 대상물의 여러 부위를 스캔하는 자동 방식이 있다.
이러한 3차원 스캐닝을 통해 획득한 스캔 데이터를 이용하여 3차원 객체 모델을 생성할 수 있다. 이때 3차원 객체 모델을 구성하는 각 구성요소들의 상대적인 크기는 알 수 있지만, 해당 객체 모델의 실제 크기는 확인이 어려운 문제점이 있다.
실제 크기 확인을 위해서는 3차원 스캐너와 같은 특수 장비를 이용함으로써 스캐너와 대상물 간의 거리를 다른 경로를 통해 확인할 수 있도록 할 필요가 있다. 또는 대상물의 주변에 실제 길이를 알 수 있는 별도의 마커(혹은 그리드)를 함께 촬영함으로써, 대상물의 크기를 간접적으로 확인해야 하는 불편함이 있다.
한국등록특허 제10-1413393호 (2014.06.23. 등록) - 3차원 모델링을 위한 촬상장치 및 그 제어방법
본 발명은 사용자가 소지한 일반적인 휴대단말에 구비된 카메라를 이용해 대상물에 대한 3차원 객체 모델을 생성하고, 3차원 스캐너를 이용하거나 별도의 마커(혹은 그리드)를 함께 촬영하지 않고서도 대상물의 크기를 찾아내어 증강현실 내에 해당 3차원 객체 모델을 실제 크기와 같이 구현하여 사용자에게 현실감 있는 증강현실을 제공할 수 있는 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법으로서, 촬영부로 배경 영상을 촬영하는 단계; 상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계; 상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계; 상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계; 매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및 스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함하는 증강현실 구현 방법이 제공된다.
상기 AR 좌표계와 상기 모델 좌표계를 매칭하는 단계는, 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하는 단계; 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하는 단계; 및 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산하는 단계를 포함하되, 상기 객체 모델 스케일링 단계에서는 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링할 수 있다.
상기 스케일 팩터를 계산하는 단계는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산할 수 있다.
상기 스케일 팩터를 계산하는 단계는, 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하는 단계; 및 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정할 수 있다.
상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정될 수 있다.
상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델로서, 상기 카메라에 의해 촬영된 복수의 2D 이미지가 사진 측량 기법으로 생성된 3D 모델일 수 있다.
한편 본 발명의 다른 측면에 따르면, 증강현실을 구현하고자 하는 배경이 되는 영상을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상을 실시간으로 화면에 표시하는 표시부; 사용자 명령에 따라 상기 영상을 AR 공간으로 구동시키고, 사용자가 선택한 객체 모델을 AR 공간 내로 로딩하는 AR 구동부; 및 상기 촬영부, 상기 표시부, 상기 AR 구동부의 동작을 제어하는 제어부를 포함하되, 상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델일 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치가 제공된다.
상기 AR 구동부는, 상기 AR 공간에 대한 AR 좌표계를 관리하는 AR 코어부와; 상기 객체 모델을 로딩하는 모델 로딩부와; 상기 객체 모델에 포함된 모델 좌표계와 상기 AR 좌표계를 매칭하여, 상기 객체 모델을 상기 AR 공간에 상응하도록 스케일링하는 좌표계 매칭부를 포함할 수 있다.
상기 좌표계 매칭부는 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하고, 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하며, 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산한 후 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링할 수 있다.
상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산할 수 있다.
상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하고, 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정할 수 있다.
상기 제1 카메라 위치는 SLAM 기법에 의해 추정될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 사용자가 소지한 일반적인 휴대단말에 구비된 카메라를 이용해 대상물에 대한 3차원 객체 모델을 생성하고, 3차원 스캐너를 이용하거나 별도의 마커(혹은 그리드)를 함께 촬영하지 않고서도 대상물의 크기를 찾아내어 증강현실 내에 해당 3차원 객체 모델을 실제 크기와 같이 구현하여 사용자에게 현실감 있는 증강현실을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치의 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 AR 구동부의 구성 블록도,
도 3은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 장치의 구성 블록도,
도 4는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법의 순서도,
도 5는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 방법의 순서도,
도 6은 모바일 스캔 객체 모델 스케일링 단계의 상세 순서도,
도 7 및 도 8은 모바일 스캔 객체 모델링 방법을 설명하기 위한 도면,
도 9는 AR 좌표계와 모델 좌표계를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치의 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 AR 구동부의 구성 블록도이며, 도 3은 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 장치의 구성 블록도이고, 도 4는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법의 순서도이며, 도 5는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델링 방법의 순서도이고, 도 6은 모바일 스캔 객체 모델 스케일링 단계의 상세 순서도이며, 도 7 및 도 8은 모바일 스캔 객체 모델링 방법을 설명하기 위한 도면이고, 도 9는 AR 좌표계와 모델 좌표계를 나타낸 도면이다.
본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법은 특수 3D 스캐너 장비나 마커(혹은 그리드) 없이 사용자가 소지한 일반적인 모바일 기기(예컨대, 스마트폰, 태블릿 PC 등)에 구비된 카메라를 이용하여 촬영하는 방식(모바일 스캔)으로 모델링되어 절대 크기 정보가 없는 3D 모델(객체 모델, 포인트 클라우드 모델)에 대해서도 현재 구동 중인 증강현실 상에서 실제 크기에 맞도록 스케일링하여 표시해 줄 수 있어 가상 객체를 이용하여 사용자에게 실제 객체와 같은 현실감을 제공해 줄 수 있는 것을 특징으로 한다.
도 1을 참조하면, 본 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)는 예를 들어 스마트폰, 태블릿 PC 등의 휴대 단말로 구현될 수 있다. 하지만, 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)가 이에 한정되는 것은 아니다. 증강현실 구현 장치(100)는 본 발명의 일 실시예에 따른 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법을 수행하기 위한 별도의 장치로 구현될 수도 있다.
모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치(100)는 촬영부(110), 표시부(120), 입력부(130), 측정부(140), AR 구동부(150), 통신부(160), 저장부(170), 제어부(180)를 포함할 수 있다.
촬영부(110)는 증강현실을 구현하고자 하는 배경이 되는 장소에 대한 영상을 촬영한다. 촬영부(110)는 CCD 카메라, CMOS 카메라, 적외선 카메라 등 다양한 종류의 카메라 중 하나 이상을 포함할 수 있다.
표시부(120)는 촬영부(110)에 의해 촬영된 영상을 화면에 표시한다. 표시부(120)는 LCD, OLED 등 다양한 종류의 디스플레이 장치로 구현될 수 있다.
입력부(130)는 장치의 동작 제어를 위한 사용자 명령을 입력받는다. 입력부(130)는 터치스크린, 버튼 혹은 스위치 등으로 구현될 수 있다.
사용자 명령에는 증강현실 시작 명령, 모델 로딩 명령, 모델 이동 명령, 모델 회전 명령 등이 있을 수 있다. 증강현실 시작 명령은 촬영부(110)에서 증강현실을 구현하고자 하는 배경이 되는 장소에 대해 영상 촬영을 시작하거나 영상 촬영 중에 증강현실을 구동시키라는 명령이다. 모델 로딩 명령은 촬영부(110)에서 촬영되어 표시부(120)를 통해 표시되는 영상(배경 영상)에 가상의 3D 모델(객체 모델)을 로딩하여 표시하라는 명령이다. 모델 로딩 시에 모델 좌표계와 AR 좌표계를 매칭하고 매칭에 따라 결정된 스케일 팩터를 적용하여 모델 스케일링을 수행함으로써, 배경 영상의 3차원 공간에 상응하는 실제 크기의 객체 모델이 로딩되게 할 수 있다. 모델 이동 명령은 객체 모델이 임의의 위치(혹은 지정된 위치)에 표시된 상태에서 배경 영상의 3차원 공간 내에서 다른 위치로 객체 모델을 이동시키는 명령이다. 모델 회전 명령은 객체 모델이 표시된 상태에서 객체 모델을 회전시키는 명령이다.
또한, 입력부(130)는 사용자로부터 증강현실을 구현하고자 하는 배경 영상 내의 3차원 공간에 로딩하고자 하는 객체 모델에 대한 선택을 입력받을 수 있다. 후술할 모바일 스캔 객체 모델링 장치(200)에 의해 모델링된 객체 모델(들)의 리스트가 표시부(120)의 화면을 통해 사용자에게 제공되고, 사용자가 입력부(130)를 통해 로딩을 희망하는 객체 모델을 선택할 수 있다.
측정부(140)는 증강현실 구현 장치(100)의 위치, 방향, 자세 등에 관한 데이터를 측정한다.
측정부(140)는 위치 측정 모듈, 방향 측정 모듈, 자세 측정 모듈 중 하나 이상을 포함할 수 있다.
위치 측정 모듈은 증강현실 구현 장치(100)의 위치를 측정한다. 예를 들어, GPS 위성신호를 수신하여 현재 위치를 검출하는 GPS 수신기, 혹은 GPS 위성신호의 수신이 불가능한 음영지역이나 실내에서 WIFI 기지국 혹은 비콘 등의 신호를 수신하여 현재 위치를 검출하는 실내 무선 신호 수신기 중 하나 이상이 위치 측정 모듈에 포함될 수 있다.
방향 측정 모듈은 증강현실 구현 장치(100)의 촬영부(110)가 촬영하는 방향(예컨대, 방위각)을 측정한다. 예를 들어, 자이로스코프 센서, 3축 가속도 센서 등이 방향 측정 모듈에 포함될 수 있다.
자세 측정 모듈은 증강현실 구현 장치(100)의 자세(예컨대, 틸트각)를 측정한다. 예를 들어, 틸팅 센서가 자세 측정 모듈에 포함될 수 있다.
방향 데이터와 자세 데이터를 조합할 경우 촬영부(110)의 피치각, 요각, 롤각이 산출되어, 증강현실 구현 장치(100)가 위치한 3차원 공간 내에서 촬영부(110)가 촬영하는 부분을 정확히 파악할 수 있게 된다.
AR 구동부(150)는 증강현실 구현 장치(100)의 촬영부(110)에서 촬영되어 표시부(120)를 통해 표시되는 배경 영상 내의 3차원 공간에 입력부(130)를 통해 입력된 사용자 입력에 상응하여 사용자가 희망하는 가상의 객체 모델을 로딩하여 표시하도록 한다. AR 구동부(150)에 대해서는 이후 관련 도면을 참조하여 상세히 설명하기로 한다.
통신부(160)는 외부 서버 혹은 데이터베이스와 네트워크를 통해 통신 연결되게 한다. 외부 서버 혹은 데이터베이스에는 후술할 모바일 스캔 객체 모델링 장치(200)에 의해 생성된 객체 모델, 혹은 3차원 스캐너에 의해 스캐닝된 객체 모델, 모델링 프로그램에 의해 설계된 객체 모델 등이 저장되어 있으며, AR 구동부(150)에서의 로딩 요청에 따라 통신부(160)에서는 희망하는 객체 모델을 요청하고 수신할 수 있다.
저장부(170)는 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 방법을 수행하는데 필요한 프로그램과, 그 프로그램의 수행 중에 발생되는 데이터를 저장한다. 또한, 증강현실 구현 장치(100)의 운영 프로그램이 저장된다.
제어부(180)는 증강현실 구현 장치(100)의 각 구성요소의 동작을 제어한다. 저장부(170)에 저장된 프로그램을 실행하고, 촬영부(110), 표시부(120), 입력부(130), 측정부(140), AR 구동부(150), 통신부(160), 저장부(170) 중 하나 이상을 제어할 수 있다.
도 2를 참조하면, AR 구동부(150)의 상세 구성이 도시되어 있다. AR 구동부(150)는 AR 코어부(151), 모델 로딩부(153), 좌표계 매칭부(155)를 포함할 수 있다.
AR 코어부(151)는 배경 영상 내의 3차원 공간에 대한 AR 좌표계를 설정하고, AR 좌표계 내에서 구현되는 증강현실을 전체적으로 관리한다.
증강현실 구현의 배경이 되는 3차원 공간 내에서 임의의 좌표(혹은 미리 지정된 좌표)를 원점으로 설정하고, 서로 직교하는 X축, Y축, Z축에 의해 AR 좌표계가 설정될 수 있다(도 9의 (a) 참조).
AR 좌표계에는 표시부(120)를 통해 표시되는 배경 영상의 실제 크기가 반영될 수 있다. 즉, AR 코어부(151)는 AR 좌표계에 기초하여 촬영부(110)에 해당하는 카메라의 위치 A를 추정할 수 있다.
이 경우 카메라 위치 추정에는 SLAM(Simultaneous Localization and Mapping) 알고리즘이 적용될 수 있다. SLAM 알고리즘에 의하면, 3차원 공간 상에서 자신의 위치를 인식하고, 동시에 공간의 3차원 데이터를 생성하도록 할 수 있다.
SLAM 알고리즘의 적용을 위해서는 거리 센서 혹은 비전 센서가 사용될 수 있다. 거리 센서는 초음파, 레이저, 소나(SONAR) 등을 활용해 거리를 해석하는 센서이다. 본 실시예에서 증강현실 구현 장치(100)에는 AR 구동부(150)에서의 SLAM 알고리즘 적용을 위해 거리 센서(미도시)가 추가적으로 포함될 수도 있다. 비전 센서는 카메라 센서이며, 카메라에서 획득한 영상을 해석하게 된다. 따라서, 본 실시예에서는 촬영부(110)가 비전 센서로 활용될 수도 있다.
센서 사용에 의한 오차 발생에 대해서는 확률 기법인 칼만 필터(Kalman-Filter), 파티클 필터(Particle Filter), 그래프(Graph) 기법 등이 사용되어, 오차에 대한 캘리브레이션이 이루어질 수 있다.
SLAM 알고리즘의 경우 다음 단계들이 순차적으로 수행될 수 있다.
우선 카메라의 위치 혹은 회전에 의해서도 불변하는 공통점에 해당하는 MSHC(Multi-Scale Harris corner) 특징점과 SIFT 특징점을 추출한다. 이미지처리 분야에서 사용되는 라이브러리 형태로 제공이 되어, 이미지를 input으로 입력하면 자동으로 특징점의 위치 및 값이 output으로 출력될 수 있다.
그리고 RANSAC(Random Sample Consensus) 기법을 통해 물체를 인식한다. 추출된 특징점들의 상관관계를 추측하기 위해서는 각 특징점들의 위치 및 거리에 대한 여러가지 연산이 수행될 필요가 있다. 하지만, 특징점들의 수가 많아지면 각 특징점들의 상관관계를 해석하기 위해 막대한 연산시간이 필요하게 된다. 따라서, 빠른 연산 수행을 위해서는 랜덤으로 지정된 두 특징점에 대해 일정한 횟수만 연산하도록 할 필요가 있으며, 이러한 기법이 RANSAC 기법이다.
그리고 물체 인식이 이루어지면, 인식된 물체의 중심점까지의 정확한 거리 정보를 획득한다. 예를 들어, 물체의 중심점은 가장 근접한 표면의 중심점일 수 있다.
모델 로딩부(153)는 사용자가 희망하는 객체 모델을 외부 서버 혹은 데이터베이스로부터 불러와 AR 코어부(151)에 의해 관리되는 배경 영상 내의 3차원 공간(AR 공간) 내에 로딩한다.
본 실시예에서 로딩 대상이 되는 객체 모델은 모바일 스캔 객체 모델링 장치(200)에 의해 모델링된 3D 모델이다. 객체 모델의 모델링에는 2D(2차원) 이미지의 병합을 통해 3D(3차원) 모델링 이미지를 획득하는 3D 리컨스트럭션(3D Reconstruction)이 적용될 수 있다.
도 3을 참조하면, 모바일 스캔 객체 모델링 장치(200)는 예를 들어 스마트폰, 태블릿 PC 등의 휴대 단말로 구현될 수 있다. 하지만, 모바일 스캔 객체 모델링 장치(200)가 이에 한정되는 것은 아니다. 모바일 스캔 객체 모델링 장치(200)는 본 실시예에 따른 모바일 스캔 객체 모델링 방법을 수행하기 위한 별도의 장치로 구현될 수도 있다.
모바일 스캔 객체 모델링 장치(200)는 2D 이미지 촬영부(210), 3D 모델 생성부(220), 3D 모델 저장부(230)를 포함할 수 있다.
도 5 및 도 7을 참조하면, 객체 스캐닝이 시작되면(단계 S400), 2D 이미지 촬영부(210)는 모델링하고자 하는 객체(10)에 대해 전후, 상하, 좌우의 각 방향에서 복수의 2D 이미지를 촬영한다(단계 S410). 2D 이미지 촬영부(210)는 휴대 단말에 기본적으로 구비된 카메라(20)일 수 있다. 즉, 일반적인 모바일 기기인 휴대 단말의 카메라를 이용하게 되는 바, 모바일 스캔 방식에 해당한다.
3D 모델 생성부(220)가 복수의 2D 이미지를 조합하여 3D 모델을 생성한다(단계 S420).
도 8을 참조하면, 카메라가 P1, P2, P3 순으로 이동할 때, 각 위치에서 이미지 1, 이미지 2, 이미지 3에 해당하는 복수의 2D 이미지를 획득하게 된다. 복수의 2D 이미지 내에는 객체(10)의 동일한 지점에 해당하는 동일 특징점이 존재하게 된다. 따라서, 이러한 동일 특징점을 매칭시키는 방식으로 가상의 3D 객체 모델을 생성할 수 있다.
사진 측량(Photogrammetry) 기법은 3차원 공간에서 각 이미지의 픽셀 정보를 이용하여 특징점을 추출하고, 삼각측량 기법을 이용하여 카메라의 위치를 추정히는 기법인 SfM(Structure from Motion)이 한단계 발전된 것이다. 이 경우 각 이미지의 특징점은 SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용하여 생성한다. SIFT는 이미지의 크기와 회전에 불변하는 특징을 추출하는 알고리즘이다.
서로 다른 두 2D 이미지에서 SIFT 특징점을 각각 추출한 다음 서로 가장 비슷한 특징점끼리 매칭해주면 두 2D 이미지에서 대응되는 부분을 찾을 수 있게 된다.
3D 모델 저장부(230)는 3D 모델 생성부(220)에서 생성된 객체 모델을 2D 이미지 촬영부(210)에서 촬영한 위치 정보와 매칭한 모델 좌표계에 대응시켜 저장한다(단계 S430). 즉, 모바일 스캔 방식으로 모델링된 객체 모델은 해당 객체 모델을 촬영한 카메라의 위치 정보가 포함되거나 추정할 수 있는 모델 좌표계가 존재한다. 따라서, 객체 모델의 로딩 시 대응되는 모델 좌표계가 함께 로딩될 수 있다.
본 실시예에서 생성된 객체 모델은 복수의 2D 이미지를 조합한 것으로, 복수의 2D 이미지로 획득한 대상 객체의 표면 질감이 3D 객체 모델의 표면에도 반영된다. 따라서, 가상의 객체 모델이지만 실제와 같은 표면 질감을 나타내어 사용자에게 높은 현실감을 제공해 줄 수 있다. 이는 설계 데이터에 기초하여 3D 모델을 모델링할 경우, 그 표면을 표현할 때 인위적으로 설정된 질감 데이터 중에서 선택하게 되어 가상의 느낌을 줄 수 밖에 없는 것과는 차별화되는 부분이다.
본 실시예에서 모바일 스캔 방식으로 대상 객체를 3차원 스캐닝하는 경우, 카메라를 기준으로 하여 객체 모델의 크기가 상대적으로 결정된다. 하지만, 객체 모델의 절대적 크기에 대한 정보는 포함되지 않는다.
다시 도 2를 참조하면, 모델 로딩부(153)에 의해 모바일 스캔 객체 모델이 로딩되면, 좌표계 매칭부(155)는 객체 모델이 배경 영상 내의 3차원 공간 내에 중첩 표시되게 할 수 있다. 이 경우 객체 모델이 실제 크기에 대응되도록 배경 영상 내에서 표시되게 할 필요가 있다.
따라서, 좌표계 매칭부(155)는 AR 코어부(151)에서 생성된 AR 좌표계(도 9의 (a) 참조)와 객체 모델에 대한 모델 좌표계(도 9의 (b) 참조)를 매칭시킨다.
AR 좌표계는 현재 증강현실을 구현하고자 하는 배경 영상의 3차원 공간(AR 공간)에 관한 좌표계로서, AR 코어부(151)에 의해 획득된다. 증강현실을 구현하는 기본 공간에 해당하므로, AR 좌표계가 기본 좌표계가 된다. AR 좌표계에서는 현재 AR 공간에 대응되는 촬영부(110)의 위치, 즉 카메라 위치 A를 추정할 수 있다.
모델 좌표계는 객체 모델을 모바일 스캔 방식으로 생성할 때 카메라와 대상 객체의 위치 상관관계에 따라 생성된 좌표계이다. 모델 좌표계의 경우 해당 객체 모델이 표시부(120)를 통해 표시될 때, 해당 객체 모델이 그렇게 표시되도록 하는 카메라 위치 B를 추정할 수 있다.
AR 좌표계에서의 카메라 위치 A와 모델 좌표계에서의 카메라 위치 B를 정합시킬 경우, 좌표계 매칭이 이루어지며, 객체 모델이 AR 좌표계에 대응되는 크기로 스케일링되어 증강현실 공간 내에 표시될 수 있을 것이다.
카메라 위치 A(A1~An)과 카메라 위치 B(B1~Bn)은 같은 카메라 위치를 다른 좌표계(AR 좌표계와 모델 좌표계)로 표현된 상태이다.
따라서, AR 좌표계에서 임의의 두 카메라 위치 사이의 거리(제1 단위길이)와 모델 좌표계에서 대응되는 두 카메라 위치 사이의 거리(제2 단위길이) 비를 부분 스케일 팩터(S1~Sn-1)로 계산할 수 있다.
S1 = (A2-A1)/(B2-B1), S2 = (A3-A2)/(B3-B2), …, Sn-1 = (An-An-1)/(Bn-Bn-1)
여기서, 모델 좌표계에서 추정한 카메라 위치 B는 센서에 의한 오차가 포함된 데이터이기 때문에, 부분 스케일 팩터 S1 ~ Sn-1이 동일한 값을 가지지 않을 수 있다. 따라서, 부분 스케일 팩터 S1 ~ Sn-1의 수치 분포를 구하여 가장 많은 분포를 가지는 군집의 평균값을 구하여, 두 좌표계 사이의 스케일 팩터를 추정할 수 있다. 이는 오차에 의해 이상점으로 판단되는 부분을 배제시키는 과정이다.
스케일 팩터 S가 추정되면, 객체 모델을 AR 공간에 표시할 때 스케일 팩터 S를 적용시켜 스케일 업 혹은 스케일 다운하여 스케일된 객체 모델이 AR 공간에 표시되게 할 수 있다.
이 경우 AR 공간에 표시되는 객체 모델은 AR 공간의 크기에 맞도록 스케일링되어 실제 그 대상 객체가 해당 공간 내에 놓여진 것과 같이 표시될 수 있게 된다.
도 4를 참조하면, 본 실시예에 따른 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치(100)에 의해 수행되는 증강현실 구현 방법이 도시되어 있다.
모바일 기기인 증강현실 구현 장치(100)의 촬영부(110)에서는 사용자 명령에 따라 증강현실을 구현하고자 하는 공간에 대한 영상 촬영을 시작한다(단계 S300).
표시부(120)를 통해 배경 영상이 실시간으로 표시될 때, 증강현실을 구현하고자 하는 부분에서 증강현실 시작 명령이 입력되면 AR 구동부(150)를 통해 증강현실이 구동된다(단계 S310).
AR 코어부(151)에 의해 AR 공간이 설정되면, 입력부(130)를 통해 AR 공간 내에 희망하는 객체 모델을 중첩 표시하고자 하는 모델 로딩 명령이 입력될 수 있다(단계 S320).
모델 로딩 명령에 상응하여, 모델 로딩부(153)가 객체 모델을 로딩한다. 다만, 본 실시예에서 객체 모델은 모바일 스캔 방식으로 모델링되었기에, 실제 크기에 관한 정보가 누락되어 있다.
따라서, 좌표계 매칭부(155)에서는 모델 좌표계와 AR 좌표계를 매칭시키는 작업을 수행한다(단계 S330). 좌표계 매칭은 AR 좌표계 상에서의 카메라 위치 A와 모델 좌표계 상에서의 카메라 위치 B를 정합시키는 과정이다.
증간현실이 구동된 상태(단계 S500)에서, AR 좌표계 상에서의 카메라 위치 A를 추정하고(단계 S510), 모델 좌표계 상에서의 카메라 위치 B를 추정한다(단계 S520). 그리고 카메라 위치 A 및 B를 비교하여 좌표계 매칭을 수행한다(단계 S530).
AR 좌표계에서 임의의 두 카메라 위치 간의 거리와 모델 좌표계에서 대응되는 두 카메라 위치 간의 거리의 비인 부분 스케일 팩터가 스케일 팩터가 될 수 있다. 다만, 두 카메라 위치 중에서 센서 오차가 포함될 수 있는 바, 복수의 부분 스케일 팩터를 산출하고, 그 수치 분포를 분석하여 가장 많은 분포를 가지는 군집의 평균값을 구하여, 두 좌표계 사이의 스케일 팩터를 추정할 수 있다.
스케일 팩터가 추정되면, 객체 모델에 대해 스케일링을 수행한다(단계 S340, S540). 즉, 3D 객체 모델에 대해 스케일 팩터를 적용시킬 수 있다.
스케일링된 객체 모델은 AR 공간 내에서 지정된 위치에 중첩 표시될 수 있다(단계 S350, S550). AR 공간 내에서 객체 모델을 중첩 표시할 위치는 실제 공간 내에 특정 마커로 표시되어 있을 수 있다. 또는 사용자 입력을 통해 선택된 AR 공간 내의 임의의 위치가 객체 모델을 중첩 표시할 위치로 설정될 수도 있다.
전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 모바일 스캔 객체 모델링 방법 및 모바일 스캔 객체 모델링을 통한 증강현실 구현 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 증강현실 구현 장치 110: 촬영부
120: 표시부 130: 입력부
140: 측정부 150: AR 구동부
160: 통신부 170: 저장부
180: 제어부 151: AR 코어부
153: 모델 로딩부 155: 좌표계 매칭부
200: 모바일 스캔 객체 모델링 장치 210: 2D 이미지 촬영부
220: 3D 모델 생성부 230: 3D 모델 저장부

Claims (12)

  1. 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법으로서,
    촬영부로 배경 영상을 촬영하는 단계;
    상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계;
    상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계;
    상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계;
    매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및
    스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함하되,
    상기 AR 좌표계와 상기 모델 좌표계를 매칭하는 단계는,
    상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하는 단계;
    상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하는 단계; 및
    상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산하는 단계를 포함하되,
    상기 객체 모델 스케일링 단계에서는 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링하는 것을 특징으로 하는 증강현실 구현 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 스케일 팩터를 계산하는 단계는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산하는 것을 특징으로 하는 증강현실 구현 방법.
  4. 제1항에 있어서,
    상기 스케일 팩터를 계산하는 단계는,
    상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하는 단계; 및
    상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정하는 단계를 포함하는 증강현실 구현 방법.
  5. 제1항에 있어서,
    상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정되는 것을 특징으로 하는 증강현실 구현 방법.
  6. 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치에서 수행되는 증강현실 구현 방법으로서,
    촬영부로 배경 영상을 촬영하는 단계;
    상기 배경 영상이 표시부를 통해 실시간으로 표시되며, 사용자로부터의 증강현실 시작 명령에 따라 AR 구동부가 상기 배경 영상에 상응하는 AR 공간을 만드는 단계;
    상기 사용자에 의해 선택된 객체 모델을 상기 AR 공간 내에 로딩하는 단계;
    상기 AR 공간에 관한 AR 좌표계와 상기 객체 모델에 관한 모델 좌표계를 매칭하는 단계;
    매칭 결과에 따라 상기 객체 모델을 스케일링하는 단계; 및
    스케일링된 상기 객체 모델을 상기 AR 공간 내에 중첩 표시하는 단계를 포함하되,
    상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델로서, 상기 카메라에 의해 촬영된 복수의 2D 이미지가 사진 측량 기법으로 생성된 3D 모델인 것을 특징으로 하는 증강현실 구현 방법.
  7. 증강현실을 구현하고자 하는 배경이 되는 영상을 촬영하는 촬영부;
    상기 촬영부에 의해 촬영된 영상을 실시간으로 화면에 표시하는 표시부;
    사용자 명령에 따라 상기 영상을 AR 공간으로 구동시키고, 사용자가 선택한 객체 모델을 AR 공간 내로 로딩하는 AR 구동부; 및
    상기 촬영부, 상기 표시부, 상기 AR 구동부의 동작을 제어하는 제어부를 포함하되,
    상기 객체 모델은 모바일 기기에 구비된 카메라에 의해 모바일 스캔된 모바일 스캔 객체 모델이고,
    상기 AR 구동부는, 상기 AR 공간에 대한 AR 좌표계를 관리하는 AR 코어부와; 상기 객체 모델을 로딩하는 모델 로딩부와; 상기 객체 모델에 포함된 모델 좌표계와 상기 AR 좌표계를 매칭하여, 상기 객체 모델을 상기 AR 공간에 상응하도록 스케일링하는 좌표계 매칭부를 포함하며,
    상기 좌표계 매칭부는 상기 AR 좌표계에서 복수의 제1 카메라 위치를 추정하고, 상기 모델 좌표계에서 상기 복수의 제1 카메라 위치에 대응되는 복수의 제2 카메라 위치를 추정하며, 상기 복수의 제1 카메라 위치와 상기 복수의 제2 카메라 위치가 정합되도록 상기 모델 좌표계에 대한 스케일 팩터를 계산한 후 상기 객체 모델에 상기 스케일 팩터를 적용하여 스케일링하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 간의 제1 단위길이와 상기 복수의 제2 카메라 위치 간의 제2 단위길이의 비를 상기 스케일 팩터로 계산하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  11. 제7항에 있어서,
    상기 좌표계 매칭부는 상기 복수의 제1 카메라 위치 중 임의의 두 위치 간의 거리와 상기 복수의 제2 카메라 위치 중 임의의 두 위치 간의 거리의 비를 부분 스케일 팩터로 계산하고, 상기 부분 스케일 팩터의 수치 분포를 분석한 결과 가장 많은 분포를 가지는 군집의 평균값을 상기 스케일 팩터로 설정하는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
  12. 제7항에 있어서,
    상기 제1 카메라 위치는 SLAM(Simultaneous Localization and Mapping) 기법에 의해 추정되는 것을 특징으로 하는 모바일 스캔 객체 모델링을 통한 증강현실 구현 장치.
KR1020200128218A 2020-10-05 2020-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 KR102358950B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200128218A KR102358950B1 (ko) 2020-10-05 2020-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
US18/248,026 US20230410451A1 (en) 2020-10-05 2021-10-05 Augmented reality implement apparatus and method using mobile scanned object model scaling
PCT/KR2021/013583 WO2022075683A1 (ko) 2020-10-05 2021-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200128218A KR102358950B1 (ko) 2020-10-05 2020-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102358950B1 true KR102358950B1 (ko) 2022-02-07

Family

ID=80253180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200128218A KR102358950B1 (ko) 2020-10-05 2020-10-05 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법

Country Status (3)

Country Link
US (1) US20230410451A1 (ko)
KR (1) KR102358950B1 (ko)
WO (1) WO2022075683A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066233A (ko) * 2010-12-14 2012-06-22 삼성전자주식회사 다층 증강 현실 시스템 및 방법
KR101413393B1 (ko) 2014-02-25 2014-06-27 송승욱 3차원 모델링을 위한 촬상장치 및 그 제어방법
KR20160068827A (ko) * 2013-09-30 2016-06-15 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
RU2617557C1 (ru) * 2015-11-18 2017-04-25 Виталий Витальевич Аверьянов Способ воздействия на виртуальные объекты дополненной реальности

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066233A (ko) * 2010-12-14 2012-06-22 삼성전자주식회사 다층 증강 현실 시스템 및 방법
KR20160068827A (ko) * 2013-09-30 2016-06-15 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
KR101413393B1 (ko) 2014-02-25 2014-06-27 송승욱 3차원 모델링을 위한 촬상장치 및 그 제어방법

Also Published As

Publication number Publication date
WO2022075683A1 (ko) 2022-04-14
US20230410451A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
JP5093053B2 (ja) 電子カメラ
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US8036775B2 (en) Obstacle avoidance system for a user guided mobile robot
KR101636027B1 (ko) 실세계 객체들의 3ｄ 모델들 및 실제 스케일 메타데이터를 캡처하고 이동시키기 위한 방법들 및 시스템들
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP2014529727A (ja) 自動シーン較正
Khoshelham et al. Indoor mapping eyewear: geometric evaluation of spatial mapping capability of HoloLens
JP2008275341A (ja) 情報処理装置、情報処理方法
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
KR20220085142A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법
CN115601496A (zh) Ar辅助三维地图尺度恢复的方法和系统
CN108028904A (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
JP6640294B1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
KR20220085150A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법
KR102358950B1 (ko) 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
JP2003346185A (ja) 情報表示システム及び携帯情報端末
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
CN116136408A (zh) 室内导航方法、服务器、装置和终端

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant