KR101981314B1 - 가상 객체 증강 장치 및 방법 - Google Patents

가상 객체 증강 장치 및 방법 Download PDF

Info

Publication number
KR101981314B1
KR101981314B1 KR1020170096778A KR20170096778A KR101981314B1 KR 101981314 B1 KR101981314 B1 KR 101981314B1 KR 1020170096778 A KR1020170096778 A KR 1020170096778A KR 20170096778 A KR20170096778 A KR 20170096778A KR 101981314 B1 KR101981314 B1 KR 101981314B1
Authority
KR
South Korea
Prior art keywords
real world
virtual object
position information
information
world object
Prior art date
Application number
KR1020170096778A
Other languages
English (en)
Other versions
KR20190012966A (ko
Inventor
박재영
안상철
이주현
Original Assignee
주식회사 렛시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 렛시 filed Critical 주식회사 렛시
Priority to PCT/KR2017/008236 priority Critical patent/WO2019027060A1/ko
Priority to KR1020170096778A priority patent/KR101981314B1/ko
Publication of KR20190012966A publication Critical patent/KR20190012966A/ko
Application granted granted Critical
Publication of KR101981314B1 publication Critical patent/KR101981314B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

본 발명의 일 실시예에 따른, 가상 객체 증강 장치는, 현실 세계 객체를 인식하는 인식부, 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는 위치 정보 로딩부, 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는 상대 위치 연산부, 상기 상대 위치 연산부가 연산한 상대 위치 정보와 상기 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 절대 위치 연산부 및 상기 현실 세계 객체의 위치 정보 및 상기 절대 위치 연산부가 연산한 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 콘텐츠 출력부를 포함한다.

Description

가상 객체 증강 장치 및 방법{APPARATUS AND METHOD FOR AUGMENTING VIRTUAL OBJECT}
본 발명은 가상 객체 증강 장치 및 방법에 관한 것이다. 보다 자세하게는 현실 세계 객체와 가상 객체 증강 장치의 위치 정보를 통해 가상 객체를 정확하게 증강할 수 있는 장치 및 방법에 관한 것이다.
증강현실(AR, Augmented Reality) 기술은 현실 세계에 존재하는 객체에 컴퓨터 그래픽으로 만들어진 가상 객체를 중첩하여 사용자에게 제공하는 기술을 의미하며, 최근 증강현실의 구현이 스마트폰이나 스마트 글라스 등과 같은 엔드 포인트 디바이스로까지 연장됨에 따라, 연구 개발이 집중되고 있는 기술에 해당한다.
이러한 증강현실 기술은 현실 세계의 객체에 가상 객체를 합성하여 증강해야 하므로, 사용자의 위치 및 현실 세계 객체의 위치에 대한 정확한 인식이 필요하다. 이를 위해 마커(Marker) 기반의 기술과 위치 정보 기반(LBS, Location Based Service)기술이 출현하였다.
마커 기반의 기술은 소정의 마커를 사용하여 증강현실을 구현하는 기술로서, 현실 공간에 마커를 설치하고 마커와 사용자간의 거리나 경사도 등을 연산하여 사용자의 위치를 추정해 가상 객체를 증강한다. 그러나 현실 세계에 마커를 반드시 설치해야 하므로 공간상의 제약이 있다는 문제점이 있으며, 마커를 항상 휴대하고 다녀야 한다는 불편함도 있다.
위치 정보 기반 기술은 사용자에 대한 GPS(Global Positioning System) 정보를 기반으로 하는바, 건물이나 터널 내부와 같이 GPS 신호의 수신 감도가 떨어지는 장소에서는 오차가 발생할 수밖에 없으며, 그에 따라 가상 객체의 정확한 증강이 어렵다는 문제점이 있다.
따라서, 종래의 증강현실 기술의 문제점들을 극복하여 사용이 편리함과 동시에 어느 장소에서라도 가상 객체의 정확한 증강이 가능한 새롭고 진보적인 증강현실 기술이 요구된다. 본 발명은 이와 관련된 것이다.
대한민국 공개특허공보 제10-2017-0005373호(2016.12.19)
본 발명이 해결하고자 하는 기술적 과제는 마커의 설치 및 휴대의 필요 없이 사용자가 손쉽게 이용할 수 있는 가상 객체 증강 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 사용자의 위치 및 현실 세계 객체의 위치에 대한 정확한 인식이 가능하여 가상 객체의 정확한 증강이 가능한 가상 객체 증강 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 가상 객체 증강 장치는, 현실 세계 객체를 인식하는 인식부, 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는 위치 정보 로딩부, 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 상대 위치 연산부, 상기 상대 위치 연산부가 연산한 상대 위치 정보와 상기 위치정보 로딩부가 로딩한 상기 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 절대 위치 연산부 및 상기 현실 세계 객체의 위치 정보 및 상기 절대 위치 연산부가 연산한 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 콘텐츠 출력부를 포함한다.
일 실시 예에 따르면, 상기 가상 객체 증강 장치는, 상기 인식한 현실 세계 객체에 대한 식별 정보를 상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 객체에 대한 식별 정보와 비교하여, 상기 현실 세계 객체가 상기 가상 객체 증강 장치가 식별 가능한 객체인지 여부를 판단하는 식별부를 더 포함할 수 있다.
일 실시 예에 따르면, 위치 정보 로딩부는, 상기 가상 객체 증강 장치가 보유하고 있는 객체에 대한 위치 정보로부터 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩할 수 있다.
일 실시 예에 따르면, 위치 정보 로딩부는, 외부 서버가 보유하고 있는 객체에 대한 위치 정보로부터 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩할 수 있다.
일 실시 예에 따르면, 상기 상대 위치 연산부는, 상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 상기 현실 세계 객체에 대한 특징점과 상기 인식부에 의해 인식된 현실 세계 객체의 인식 정보로부터 추출되는 특징점을 비교하여, 상기 현실 세계 객체와 상기 가상 객체 증강 장치의 위치 관계 정보를 갖는 4 x 4 행렬을 연산하여, 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른
가상 객체 증강 방법은, 가상 객체 증강 장치가, 현실 세계 객체를 인식하는 단계, 상기 가상 객체 증강 장치가, 상기 인식한 현실 세계 객체의 위치 정보를 로딩하는 단계, 상기 가상 객체 증강 장치가, 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계, 상기 가상 객체 증강 장치가, 상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계 및 상기 가상 객체 증강 장치가, 상기 현실 세계 객체의 위치 정보 및 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 가상 객체 증강 장치는, 프로세서, 메모리 및 현실 세계 객체를 인식하는 인식부를 포함하고, 상기 프로세서는, 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는 단계, 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계, 상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계 및 상기 현실 세계 객체의 위치 정보 및 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계를 수행한다.
본 발명은 마커 기반 기술에 있어서의 마커의 설치 및 휴대가 필요하다는 물리적인 한계를 극복함과 동시에 사용자의 위치 및 현실 세계 객체의 위치에 대한 정확한 인식이 가능하여 가상 객체의 정확한 증강이 가능하다는 효과를 가진다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 가상 객체 증강 장치의 전체적인 구성을 나타낸 도면이다.
도 2에는 카메라로 구현된 인식부가 현실 세계 객체인 자동차를 인식하는 모습을 나타낸 도면이다.
도 3은 도 2를 기초로 위치 정보 로딩부가 자동차의 위치 정보를 로딩하는 모습을 나타낸 도면이다.
도 4는 상대 위치 연산부가 4 x 4 행렬을 연산하는 과정을 나타낸 도면이다.
도 5는 상대 위치 연산부가 가상 객체 증강 장치의 상대 위치 정보를 연산하는 모습을 나타낸 도면이다.
도 6은 절대 위치 연산부가 가상 객체 증강 장치의 절대 위치 정보를 연산하는 모습을 나타낸 도면이다.
도 7은 콘텐츠 출력부가 현실 세계 객체에 가상 객체를 증강하는 모습을 나타낸 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 가상 객체 증강 장치의 하드웨어 구성도를 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 가상 객체 증강 방법의 대표적인 단계를 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)의 전체적인 구성을 나타낸 도면이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 구성이 추가 또는 삭제될 수 있음은 물론이고, 일 구성의 기능을 다른 구성이 흡수하여 수행할 수도 있다.
본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)는 인식부(10), 식별부(15), 위치 정보 로딩부(20), 상대 위치 연산부(30), 절대 위치 연산부(40) 및 콘텐츠 출력부(50)를 포함한다. 이하, 인식부(10)를 시작으로 본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)가 포함하는 모든 구성을 설명하도록 한다.
인식부(10)는 현실 세계의 객체를 인식한다.
여기서 인식은 후술할 위치 정보 로딩부(20)가 현실 세계 객체의 위치 정보를 로딩함에 있어서 이바지할 수 있는 정보를 인식하는 것인바, 인식은 예를 들어, 현실 세계 객체의 크기, 색상, 재질, 무게 등과 같은 속성을 나타내는 외관 및 그 밖에 해당 현실 세계 객체를 식별할 수 있는 모든 속성을 인식하는 것일 수 있다. 따라서 인식부(10)는 각각의 속성을 인식할 수 있는 별도의 구성을 포함할 수 있으며, 예를 들어, 현실 세계 객체의 크기를 인식해야 한다면 크기 측정 소프트웨어가 내장된 카메라, 현실 세계 객체의 색상을 인식해야 한다면 색상 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 재질을 인식해야 한다면 재질 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 무게를 인식해야 한다면 무게 측정이 가능한 저울 등을 포함할 수 있다.
그러나, 이러한 카메라나 저울 등은 현실 세계 객체의 속성을 인식하기 위한 일종의 입력 장치에 불과하며, 이를 통해 후술할 위치 정보 로딩부(20)가 위치 정보를 로딩하려면 입력 장치가 인식한 내용을 데이터로 변환하고 식별 정보를 추출해야 한다. 따라서 인식부(10)는 카메라나 저울 등이 인식한 내용을 데이터로 변환하는 변환기(미도시)와 같은 구성을 추가적으로 포함할 수 있으며, 상기 언급한 입력 장치에 내장된 소프트웨어가 데이터 변환 기능을 수행할 수도 있다.
식별부(15)는 인식한 현실 세계 객체에 대한 식별 정보를 가상 객체 증강 장치(100) 또는 외부 서버(미도시)에 미리 저장되어 있는 현실 세계 객체에 대한 식별 정보와 비교하여 일치 여부를 판단하여, 인식부(10)가 인식한 현실 세계 객체가 가상 객체 증강 장치가 식별할 수 있는지 여부를 판단한다. 예를 들어, 식별부(15)는 인식부(10)가 인식한 이미지 정보로부터 현실 세계 객체의 특징점을 추출하여, 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 현실 세계 객체에 대한 특징점과 비교하여, 상기 현실 세계 객체가 가상 객체 증강 장치에서 식별가능한 지 여부를 판단할 수 있다. 다른 일례로서, 바코드나 QR코드를 식별 정보로 이용하여 식별가능 여부를 판단할 수도 있다.
한편, 객체에 대한 식별 정보를 외부 서버(미도시)가 보유하고 있다면 외부 서버(미도시) 자체가 일치 여부를 판단할 수 있으며, 식별부(15)에는 인식한 현실 세계 객체로부터 식별 정보만을 추출하는 소프트웨어만 내장되어 있으면 충분할 것이다.
도 2에는 인식부(10)가 현실 세계 객체인 자동차를 인식하는 모습이 도시되어 있으며, 인식부(10)는 자동차의 크기, 색상 등을 인식하여 데이터로 변환할 수 있을 것이다.
위치 정보 로딩부(20)는 인식부(10)가 인식한 현실 세계 객체의 위치 정보를 로딩한다.
여기서 현실 세계 객체의 위치 정보는 가상 객체 증강 장치(100)가 메모리(미도시) 등과 같은 구성에 자체적으로 보유하고 있을 수 있으나, 최대한 많은 객체에 대한 위치 정보를 보유하고 있어야 하는 용량적인 문제가 있는바, 현실 세계 객체의 위치 정보는 외부 서버(미도시)가 보유하고, 위치 정보 로딩부(20)는 외부 서버(미도시)로부터 현실 세계 객체의 위치 정보를 단순 로딩하는 것이 프로세스의 효율성 측면에서 바람직할 것이다.
한편, 위치 정보는 지도 좌표 정보뿐만 아니라 위치를 나타낼 수 있는 다양한 방식의 좌표 정보일 수 있다.
예를 들어, 도 2에서 인식부(10)가 인식한 현실 세계 객체가 "서울시 강남구 도산대로 239 한성 자동차 벤츠 전시장 2층에 전시된 CLS 350"이라면, 위치 정보 로딩부(20)는 도 3에 도시된 바와 같이 "서울시 강남구 도산대로 239 한성 자동차 벤츠 전시장 2층"의 위치 정보, 보다 구체적으로 (37.521880, 127.033243)이라는 지도 좌표 정보를 로딩한다.
또한, 상기 위치 정보는 특정 공간(건물 내부, 사무실 등)과 같은 한정된 공간에 적용되는 좌표계에 관한 좌표 정보일 수 있다. 이 경우, 장치 사용자가 상기 특정 공간 내에 있다고 판정되는 경우, 그 특정 공간 내의 현실 세계 객체의 상기 특정 공간의 좌표계에 대한 좌표 정보를 로딩한다.
상대 위치 연산부(30)는 인식부(10)가 인식한 현실 세계 객체의 인식 정보로부터 가상 객체 증강 장치(100)에 대한 상대 위치 정보를 연산한다.
여기서 상대 위치란, 현실 세계 객체의 입장에서 바라보는 가상 객체 증강 장치(100)의 위치를 의미하며, 상대 위치 정보는 예를 들어 좌표 체계를 이용하여 나타낸 정보일 수 있다.
또한, 인식부(10)가 인식한 인식 정보는 자동차의 외관, 자동차의 번호판, 건물의 외벽, 간판, 실내 그림 등과 같은 이미지일 수 있다.
이하, 상대 위치 연산부(30)가 현실 세계 객체의 인식 정보로부터 현실 세계 객체에 대한 가상 객체 증강 장치(100)의 상대 위치 정보를 연산하는 일 실시예를 설명한다.
상기 인식부(10)가 현실 세계 객체의 이미지를 인식하는 경우, 상대 위치 연산부(30)는 상기 인식 정보인 이미지로부터 현실 세계 객체의 특징점과 미리 저장된 특징점 정보를 비교하여 NFT(Natural Feature Tracking) 기법에 인식된 현실 세계 객체의 자세 정보를 계산하여 도 4와 같은 4 x 4 행렬(ModelView Matrix)를 연산할 수 있다. 이렇게 얻어진 4 x 4 행렬을 역행렬, 전치행렬 등의 연산 과정을 통해, 상기 현실 세계 객체에 대한 가상 객체 증강 장치(100)의 상대 위치 정보를 연산할 수 있다.
위에서는 이미지 정보를 인식 정보로 하여 NFT 기법을 이용하여 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는 것을 일례로 설명하였으나, 인식부가 인식하는 인식 정보의 속성에 따라, 다양한 연산 방법을 적용할 수 있음은 당연하다.
절대 위치 연산부(40)는 상대 위치 연산부(30)가 연산한 상대 위치 정보와 위치 정보 로딩부(20)가 로딩한 현실 세계 객체의 위치 정보를 통해 가상 객체 증강 장치(100)의 절대 위치 정보를 연산한다.
여기서 절대 위치란, 현실 세계 객체의 입장에서 바라보는 가상 객체 증강 장치(100)의 위치와 상관없는 가상 객체 증강 장치(100) 자체의 절대적인 위치를 의미하며, 절대 위치 정보는 예를 들어 경위도좌표계에서의 좌표일 수 있으며, 특정한 한정된 공간의 좌표 체계 내에서의 좌표일 수 있다.
가상 객체 증강 장치(100)의 절대 위치 정보는 위치 정보 로딩부(20)가 로딩한 현실 세계 객체의 위치 정보와 상대 위치 연산부(30)가 연산한 가상 객체 증강 장치(100)의 상대 위치 정보를 통해 연산 가능하다.
예를 들어, 도 6에 도시된 바와 같이 위치 정보 로딩부(20)가 로딩한 현실 세계 객체의 위치 정보가 (37.521880, 127.033243)이고, 상대 위치 연산부(30)가 연산한 가상 객체 증강 장치(100)의 상대 위치 정보가 (0.1, 0.3)라면, 가상 객체 증강 장치(100)의 절대 위치 정보를 (37.621880, 127.333243)와 같이 연산할 수 있다.
절대 위치 연산부(40)는 더 나아가, 가상 객체 증강 장치(100)가 GPS 모듈을 포함하고 있는 경우, GPS 수신 정보와 연산한 절대 위치 정보를 비교하여 적절한 보정을 수행할 수도 있다.
예를 들어, 연산한 절대 위치 정보가 (37.621880, 127.333243)이고, GPS 수신 정보가 (37.521879, 127.033243)이라면, 절대 위치 연산부(40)는 연산한 절대 위치 정보를 (37.571879, 127.183243)와 같이 보정할 수 있다.
콘텐츠 출력부(50)는 상기 현실 세계 객체의 위치 정보 및 절대 위치 연산부(40)가 연산한 절대 위치 정보와 동일한 좌표 체계를 이용하여 현실 세계 객체에 가상 객체를 증강한다.
여기서 동일한 좌표 체계란 상기 현실 세계 객체의 위치 정보가 지도 좌표 체계를 이용한 것이라면 동일하게 지도 좌표 체계를 이용하는 것이며, 상기 현실 세계 객체의 위치 정보 및 절대 위치 정보가 위치를 나타낼 수 있는 다양한 방식의 좌표 체계라면 그와 동일한 좌표 체계를 이용하는 것이다.
콘텐츠 출력부(50)가 현실 세계 객체에 가상 객체를 증강하는 모습은 도 7에 도시되어 있다.
지금까지 본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)에 대하여 설명하였다. 본 발명에 따르면, 현실 세계 객체의 위치 정보를 확정함에 있어서 별도의 마커의 설치 및 휴대가 필요 없으며, 가상 객체 증강 장치(100)를 보유한 사용자의 위치 및 현실 세계 객체의 위치에 대한 정확한 인식이 가능하여 가상 객체의 정확한 증강이 가능하다.
한편, 본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)는 도 8에 도시된 바와 같이, 프로세서(11), 메모리(12) 및 현실 세계의 객체를 인식하는 인식부(13) 및 시스템 버스(14)를 포함하는 가상 객체 증강 장치(200)로 구현할 수도 있다. 이 경우 프로세서(11)는 상기 인식부(13)가 인식한 현실 세계 객체의 위치 정보를 상기 메모리(12)로부터 로딩하는 단계, 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계, 상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계 및 상기 현실 세계 객체의 위치 정보 및 상기 가상 객체 증강 장치의 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계를 수행할 수 있다.
또한, 서버(미도시)와 가상 객체 증강 장치(100)를 포함하는 증강현실 시스템으로도 구현할 수 있는바, 가상 객체 증강 장치(100)는 프로세서(11) 및 인식부(13)를 포함하고, 프로세서(11)는 상기 인식부(13)가 인식한 현실 세계 객체의 위치 정보를 상기 서버(미도시)로부터 로딩하는 단계, 상기 인식부(13)가 인식한 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계, 상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계 및 상기 현실 세계 객체의 인식 정보 및 상기 가상 객체 증강 장치의 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계를 수행하며, 서버(미도시)는 메모리(미도시)를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)는 도 9에 도시된 순서도에 따른 가상 객체 증강 방법으로 구현할 수도 있다. 이 경우, 가상 객체 증강 장치가 현실 세계 객체를 인식하는 단계(S810), 상기 인식한 현실 세계 객체의 위치 정보를 로딩하는 단계(S820), 상기 현실 세계 객체의 인식 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계(S830), 상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계(S840) 및 상기 현실 세계 객체의 위치 정보 및 상기 가상 객체 증강 장치의 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계(S850)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 가상 객체 증강 장치(100)의 모든 기술적 특징은 또 다른 실시 예에 따른 가상 객체 증강 장치(200) 및 가상 객체 증강 방법에 모두 적용될 수 있다.
본 발명은 현실 세계 객체의 위치 정보와 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 이용하기 때문에, 종래의 위치 기반 기술에 있어서의 사용자 위치 정보(예를 들어 GPS 정보)에 오차가 있더라도 현실 세계의 건물이나 사물에 가상 객체를 정확하게 매칭하는 것이 가능하다.
또한, 종래의 마커 기반 기술에 있어서 현실 공간에 마커를 설치해야 하기 때문에 발생하는 물리적인 제한을 극복할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 200: 가상 객체 증강 장치
10, 13: 인식부
15: 식별부
11: 프로세서
12: 메모리
14: 시스템 버스
20: 위치 정보 로딩부
30: 상대 위치 연산부
40: 절대 위치 연산부
50: 콘텐츠 출력부

Claims (7)

  1. 현실 세계 객체를 인식하는 인식부;
    상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는 위치 정보 로딩부;
    상기 인식부가 인식한 현실 세계 객체의 위치 정보로부터 상기 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는 상대 위치 연산부;
    상기 상대 위치 연산부가 연산한 상대 위치 정보와 상기 위치 정보 로딩부가 로딩한 상기 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 절대 위치 연산부; 및
    상기 현실 세계 객체의 위치 정보 및 상기 절대 위치 연산부가 연산한 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 콘텐츠 출력부;
    를 포함하는 가상 객체 증강 장치에 있어서,
    상기 상대 위치 연산부는,
    상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 상기 현실 세계 객체에 대한 특징점과 상기 인식부에 의해 인식된 현실 세계 객체의 인식 정보로부터 추출되는 특징점을 비교하여, 상기 현실 세계 객체와 상기 가상 객체 증강 장치의 위치 관계 정보를 갖는 행렬을 연산하여, 상기 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는
    가상 객체 증강 장치.
  2. 제1항에 있어서,
    상기 인식한 현실 세계 객체에 대한 식별 정보를 상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 객체에 대한 식별 정보와 비교하여, 상기 현실 세계 객체가 상기 가상 객체 증강 장치가 식별 가능한 객체인지 여부를 판단하는 식별부를 더 포함하는
    가상 객체 증강 장치.
  3. 제1항에 있어서,
    상기 위치 정보 로딩부는,
    상기 가상 객체 증강 장치가 보유하고 있는 객체에 대한 위치 정보로부터 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는,
    가상 객체 증강 장치.
  4. 제1항에 있어서,
    상기 위치 정보 로딩부는,
    외부 서버가 보유하고 있는 객체에 대한 위치 정보로부터 상기 인식부가 인식한 현실 세계 객체의 위치 정보를 로딩하는,
    가상 객체 증강 장치.
  5. 제1항에 있어서,
    상기 현실 세계 객체와 상기 가상 객체 증강 장치의 위치 관계 정보를 갖는 행렬은,
    4 x 4 행렬인,
    가상 객체 증강 장치.
  6. 가상 객체 증강 장치를 이용하여, 현실 세계 객체에 가상 객체를 증강하는 가상 객체 증강 방법에 있어서,
    현실 세계 객체를 인식하는 단계;
    상기 인식한 현실 세계 객체의 위치 정보를 로딩하는 단계;
    상기 인식한 현실 세계 객체의 위치 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계;
    상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계; 및
    상기 현실 세계 객체의 위치 정보 및 상기 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계;
    를 포함하는 가상 객체 증강 방법에 있어서,
    상기 상대 위치 정보를 연산하는 단계는,
    상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 상기 현실 세계 객체에 대한 특징점과 상기 인식한 현실 세계 객체의 인식 정보로부터 추출되는 특징점을 비교하여, 상기 현실 세계 객체와 상기 가상 객체 증강 장치의 위치 관계 정보를 갖는 행렬을 연산하여, 상기 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계;
    를 더 포함하는 가상 객체 증강 방법.
  7. 가상 객체 증강 장치에 있어서,
    상기 가상 객체 증강 장치는,
    프로세서;
    메모리; 및
    현실 세계 객체를 인식하는 인식부;
    를 포함하고,
    상기 프로세서는,
    상기 인식부가 인식한 현실 세계 객체의 위치 정보를 상기 메모리로부터 로딩하는 단계;
    상기 인식부가 인식한 현실 세계 객체의 위치 정보로부터 상기 현실 세계 객체에 대한 상기 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계;
    상기 연산한 상대 위치 정보와 상기 로딩한 현실 세계 객체의 위치 정보를 통해 상기 가상 객체 증강 장치의 절대 위치 정보를 연산하는 단계; 및
    상기 현실 세계 객체의 위치 정보 및 절대 위치 정보와 동일한 좌표 체계를 이용하여 상기 현실 세계 객체에 가상 객체를 증강하는 단계;
    를 수행하는 가상 객체 증강 장치에 있어서,
    상기 상대 위치 정보를 연산하는 단계는,
    상기 가상 객체 증강 장치 또는 외부 서버에 미리 저장된 상기 현실 세계 객체에 대한 특징점과 상기 인식부가 인식한 현실 세계 객체의 인식 정보로부터 추출되는 특징점을 비교하여, 상기 현실 세계 객체와 상기 가상 객체 증강 장치의 위치 관계 정보를 갖는 행렬을 연산하여, 상기 현실 세계 객체에 대한 가상 객체 증강 장치의 상대 위치 정보를 연산하는 단계;
    를 더 수행하는 가상 객체 증강 장치.
KR1020170096778A 2017-07-31 2017-07-31 가상 객체 증강 장치 및 방법 KR101981314B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/008236 WO2019027060A1 (ko) 2017-07-31 2017-07-31 가상 객체 증강 장치 및 방법
KR1020170096778A KR101981314B1 (ko) 2017-07-31 2017-07-31 가상 객체 증강 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170096778A KR101981314B1 (ko) 2017-07-31 2017-07-31 가상 객체 증강 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190012966A KR20190012966A (ko) 2019-02-11
KR101981314B1 true KR101981314B1 (ko) 2019-05-22

Family

ID=65233873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170096778A KR101981314B1 (ko) 2017-07-31 2017-07-31 가상 객체 증강 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101981314B1 (ko)
WO (1) WO2019027060A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459522B1 (ko) * 2013-02-15 2014-11-07 브이앤아이 주식회사 모바일 기반의 부가정보를 이용한 위치 보정 방법
KR102167273B1 (ko) * 2013-06-25 2020-10-20 한양대학교 산학협력단 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품
EP3036901B1 (en) * 2013-08-19 2019-01-30 Nokia Technologies OY Method, apparatus and computer program product for object detection and segmentation
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR20150075532A (ko) * 2013-12-26 2015-07-06 한국전자통신연구원 증강 현실 제공 장치 및 방법
KR101738572B1 (ko) * 2015-11-05 2017-05-23 알앤타임 주식회사 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법
KR20170005373A (ko) 2016-12-29 2017-01-12 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법

Also Published As

Publication number Publication date
KR20190012966A (ko) 2019-02-11
WO2019027060A1 (ko) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6763448B2 (ja) 視覚強化ナビゲーション
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN110095752B (zh) 定位方法、装置、设备和介质
US11709069B2 (en) Method and device for displaying 3D augmented reality navigation information
US9196161B2 (en) Method of guiding parking space and related device
KR102168753B1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
EP3438925A1 (en) Information processing method and information processing device
EP2950292A1 (en) Driving support device, driving support method, and recording medium storing driving support program
JP2018128314A (ja) 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法
US11144770B2 (en) Method and device for positioning vehicle, device, and computer readable storage medium
CN109974733A (zh) 用于ar导航的poi显示方法、装置、终端和介质
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
US20210211839A1 (en) Electronic device detecting location and method thereof
US20210041259A1 (en) Methods and Systems for Determining Geographic Orientation Based on Imagery
CN114255274A (zh) 基于二维码识别的车辆定位方法、系统、设备及存储介质
KR101981314B1 (ko) 가상 객체 증강 장치 및 방법
US20210123746A1 (en) Electronic device for detecting location and method thereof
KR102347232B1 (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
KR100693167B1 (ko) 이동체의 위치를 인식하는 위치인식장치 및 방법
CN113566847A (zh) 导航校准方法和装置、电子设备、计算机可读介质
US11686857B2 (en) Geographical feature/artificial structures detection and application for GNSS navigation with map information
KR102316232B1 (ko) 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법
US11250275B2 (en) Information processing system, program, and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant