KR101960442B1 - 증강현실 제공장치 및 방법 - Google Patents

증강현실 제공장치 및 방법 Download PDF

Info

Publication number
KR101960442B1
KR101960442B1 KR1020170167653A KR20170167653A KR101960442B1 KR 101960442 B1 KR101960442 B1 KR 101960442B1 KR 1020170167653 A KR1020170167653 A KR 1020170167653A KR 20170167653 A KR20170167653 A KR 20170167653A KR 101960442 B1 KR101960442 B1 KR 101960442B1
Authority
KR
South Korea
Prior art keywords
information
image
unit
matching
unique information
Prior art date
Application number
KR1020170167653A
Other languages
English (en)
Inventor
이경한
함성민
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020170167653A priority Critical patent/KR101960442B1/ko
Application granted granted Critical
Publication of KR101960442B1 publication Critical patent/KR101960442B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명의 일 실시예에 따르면, 영상을 촬영하여 영상 정보를 생성하는 영상 촬영부; 복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신하고 정합보조 메시지를 브로드 캐스팅하는 통신부; 상기 외부 영상 정보를 분석하여 자신의 고유 정보를 추출하고, 상기 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출하는 고유정보 추출부; 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단하는 매칭부; 및 유일성이 판단된 객체 중 상기 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합하는 정합부를 포함하는 증강현실 제공장치를 제공한다.

Description

증강현실 제공장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY}
본 발명의 일실시예는 증강현실 제공장치 및 방법에 관한 것으로, 구체적으로는 다양한 디지털 미디어, 컨텐츠, 디스플레이 장치 등에 적용될 수 있는 증강현실 제공장치 및 방법에 관한 것이다.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한　증강현실　기술에는 마커 기반의　증강현실　기술과 센서 기반의　증강현실　기술이 있다. 마커 기반의　증강현실　기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의　증강현실　기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
최근에는 마커를 필요로 하지 않고 특정 객체를 추적할 수 있는 마커리스(markerless) 기반의　증강현실　기술이 연구되고 있다. 즉, 마커리스 기반의　증강현실　기술은 인공적으로 프린트된 인쇄물로서의 마커가 아니라　현실　세계에서의 객체의 특징점을 추출하여 추적하는 기술이다.
이러한 마커리스 기반의　증강현실　기술은　현실의 영상에 가상의 그래픽을 합성하여 제공하는 수준에 그치고 있다.
이러한 증강현실 서비스는 게임, 전시품 관람 등의 제한적인 필요에 의해 이용자가 직접 대상을 지정해서 정보를 분석하거나 제공받는 수동형 서비스가 주류를 이루고 있다. 그러나 일상 생활 속에서 실시간으로 증강현실 서비스를 사용하기 위해서는 일상에 존재하는 다수의 객체를 동시에 처리하고, 실시간으로 변화하는 객체를 정확하게 인지해야 하는 어려움이 존재한다.
또한, 마커리스 기반의　증강현실　기술에서 객체의 특징점에 대응하는 가상의 컨텐츠를 합성하기 위해서는 객체의 3차원 좌표가 필요하다. 그러나, 단일 카메라로　현실의 영상을 촬영하는 경우에는 객체의 위치 파악이 정확히 이루어지지 않아 객체의 변화에 대한 객체 추적에 많은 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 영상에 포함되는 다수의 객체 정보를 동시에 분석 및 처리하여 대응되는 컨텐츠를 정합할 수 있는 증강현실 제공장치 및 방법을 제공하는데 있다.
본 발명의 일 실시예에 따르면, 영상을 촬영하여 영상 정보를 생성하는 영상 촬영부; 복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신하고 정합보조 메시지를 브로드 캐스팅하는 통신부; 상기 외부 영상 정보를 분석하여 자신의 고유 정보를 추출하고, 상기 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출하는 고유정보 추출부; 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단하는 매칭부; 및 유일성이 판단된 객체 중 상기 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합하는 정합부를 포함하는 증강현실 제공장치를 제공한다.
상기 정합보조 메시지는 객체 자신의 고유 정보, 증강 컨텐츠 정보, 주변 객체로부터 수신한 주변 객체의 고유 정보, 신호 세기 정보 및 수신 시간 정보를 포함할 수 있다.
상기 고유정보 추출부는 상기 복수개의 외부 영상 정보로부터 대상 객체별 이미지를 분리하고, 분리된 객체별 이미지를 분석하여 복수개의 특징 정보를 생성하며, 상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보를 자신의 고유 정보로 추출할 수 있다.
상기 매칭부는 재귀적 분석 방식을 적용하여 상기 객체의 유일성을 판단할 수 있다.
상기 매칭부는 상기 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하고, 그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단할 수 있다.
상기 정합부는 상기 타 객체의 고유 정보와 상기 유일성이 판단된 객체의 고유 정보를 비교하여 일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 촬영부가 영상을 촬영하여 영상 정보를 생성하는 단계; 통신부가 복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신하는 단계; 고유정보 추출부가 상기 외부 영상 정보를 분석하여 자신의 고유 정보를 추출하는 단계; 상기 통신부가 타 객체로부터 정합보조 메시지를 수신하는 단계; 매칭부가 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단하는 단계; 상기 고유정보 추출부가 상기 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출하는 단계; 및 정합부가 유일성이 판단된 객체 중 상기 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합하는 단계를 포함하는 증강현실 제공방법을 제공한다.
상기 자신의 고유 정보를 추출하는 단계는, 상기 복수개의 외부 영상 정보로부터 대상 객체별 이미지를 분리하는 단계; 분리된 객체별 이미지를 분석하여 복수개의 특징 정보 집합을 생성하는 단계, 상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하는 단계; 및 선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출하는 단계를 포함할 수 있다.
상기 객체의 유일성을 판단하는 단계는, 상기 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하는 단계 및 그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단하는 단계를 포함할 수 있다.
상기 영상에 정합하는 단계는, 상기 타 객체의 고유 정보와 상기 유일성이 판단된 객체의 고유 정보를 비교하여 일치하지 판단하는 단계 및 일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합하는 단계를 포함할 수 있다.
본 발명인 증강현실 제공장치 및 방법은 영상에 포함되는 다수의 객체 정보를 동시에 분석 및 처리하여 대응되는 컨텐츠를 정합할 수 있다.
또한, 객체의 외관이 변하거나 이동중인 경우에도 이를 인지하여 정확한 고유정보를 추출하여 대응되는 컨텐츠를 정합할 수 있다.
또한, 정합의 대상이 되는 객체가 자신을 직접 인지하여 고유정보를 갱신함으로써 정확한 객체 정보를 전달할 수 있다.
도1은 본 발명의 일실시예에 따른 증강현실 제공장치의 구성도이고,
도2는 본 발명의 일실시예에 따른 증강현실 제공장치의 개념도이고,
도3 및 도4는 본 발명의 일실시예에 따른 증강현실 제공장치의 동작을 설명하기 위한 도면이고,
도5는 본 발명의 일실시예에 따른 증강현실 제공방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1은 본 발명의 일실시예에 따른 증강현실 제공장치의 구성도이고, 도2는 본 발명의 일실시예에 따른 증강현실 제공장치의 개념도이다.
도1 및 도2를 참조하면, 영상 촬영부(110)는 영상을 촬영하여 영상 정보를 생성할 수 있다. 영상 촬영부(110)는 실시간으로 영상 프레임을 수집하여 영상 정보를 생성할 수 있다. 이때, 영상 촬영부(110)는　증강현실 제공장치(100)에 탑재되거나, 별도의 모듈 또는 장치로 증강현실 제공장치(100)에 연결될 수 있다. 또한, 영상 촬영부(110)는　증강현실 제공장치(100)에 포함된 영상 센서일 수 있다.
또한, 영상 촬영부(110)는 보정(calibration)된 것일 수 있다. 만약, 영상 촬영부(110)가 보정된 경우, 영상 촬영부(110)는 보정에 사용된 보정 파라미터를 저장하거나, 고유정보 추출부(140)로 보정 파라미터를 전달 할 수 있다.
통신부(120)는 복수개의 외부 영상장치(10)로부터 복수개의 외부 영상 정보를 수신할 수 있다. 본 발명의 일실시예에서 외부 영상장치(10)는 증강현실 제공장치(100)의 외부에 설치되어 영상 프레임을 수집하여 영상 정보를 생성하는 기기로 CCTV, 블랙박스, 타 증강현실 제공장치의 영상 촬영부, 모바일 단말기의 카메라 등을 포함하는 개념일 수 있다. 통신부(120)는 자신의 영상 정보가 포함된 외부 영상 정보를 수신하기 위하여 일정 거리 이내에 위치한 외부 영상장치(10)와 데이터 통신을 수행하여 복수개의 외부 영상 정보를 수신할 수 있다. 본 발명의 일실시예에서 복수개의 외부 영상 정보는 증강현실 제공장치(100) 또는 증강현실 제공장치(100)의 사용자를 의미하는 대상 객체가 포함된 영상 정보일 수 있다.
또한, 통신부(120)는 정합보조 메시지를 브로드 캐스팅할 수 있다. 정합보조 메시지는 객체 자신의 고유 정보, 증강 컨텐츠 정보, 주변 객체로부터 수신한 주변 객체의 고유 정보, 신호 세기 정보 및 수신 시간 정보를 포함할 수 있다.
여기서, 객체 자신의 고유 정보는 고유정보 추출부로부터 추출된 대상 객체 자신의 고유 정보를 의미할 수 있다.
또한, 증강 컨텐츠 정보는 증강현실 상에서 합성시 추가될 컨텐츠에 대한 정보로, 문자, 숫자, 이미지, 영상, 단어 등과 같은 정보가 포함될 수 있다.
또한, 주변 객체로부터 수신한 주변 객체의 고유 정보는 타 증강현실 제공장치로부터 수신한 정합보조 메시지에 포함된 타 증강현실 제공장치의 고유 정보를 의미할 수 있다.
또한, 신호 세기 정보는 타 증강현실 제공장치와 데이터 통신을 수행할 경우의 신호 세기를 의미할 수 있다. 즉, 신호 세기 정보는 대상 객체와 타 객체와의 상대적 거리에 대한 정보를 포함할 수 있다.
또한, 수신 시간 정보는 타 증강현실 제공장치로부터 정합보조 메시지를 수신한 시간 정보를 의미할 수 있다. 수신 시간 정보는 정합보조 메시지 및 영상 정보간의 동기화 수행시 이용될 수 있다.
이때, 통신부(120)는 정합보조 메시지 중 신호 세기 정보를 이용하여 기준 세기 이상의 신호 세기 정보를 가지는 타 증강현실 제공장치를 판별할 수 있다. 통신부(120)는 기준 세기 이상의 신호 세기 정보를 가지는 타 증강현실 제공장치에 대한 주변 객체의 고유 정보, 신호 세기 정보 및 수신 시간 정보는 브로드 캐스팅 방식으로 출력하고, 기준 세기 이하의 신호 세기 정보를 가지는 타 증강현실 제공장치에 대한 정보는 브로드 캐스팅하지 않거나 또는 폐기할 수 있다. 즉, 통신부(120)는 신호 세기를 기준으로 일정 거리 이내에 위치한 근접 객체에 대한 정보만을 브로드 캐스팅함으로써 불필요한 데이터 연산과 전송을 방지할 수 있다.
디스플레이부(130)는 영상 촬영부(110)에서 촬영한 영상을 디스플레이하거나 또는 정합부(160)에서 정합한 영상 프레임을 디스플레이 할 수 있다.
고유정보 추출부(140)는 외부 영상 정보를 분석하여 자신의 고유 정보를 추출할 수 있다.
고유정보 추출부(140)는 복수개의 외부 영상 정보로부터 객체별 이미지를 분리하고, 분리된 객체별 이미지를 분석하여 복수개의 특징 정보 집합을 생성하며, 상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하고, 선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출할 수 있다.
고유정보 추출부(140)는 예를 들면, 외부 영상 정보의 연속 프레임으로부터 벡터 연산을 통하여 객체별 이미지를 분리할 수 있다.
다음으로, 고유정보 추출부(140)는 객체별 이미지가 분리된 연속 프레임으로부터 특징 정보(feature point) 집합을 추출할 수 있다. 이때, 특징정보 추출 방법은 SIFT(scale invariant feature transform), SUFR(speeded-up robust feature) 및 FAST(features from accelerated segment test) 중 적어도 하나가 될 수 있으나, 이에 한정된 것은 아니며, 딥러닝(deep-learning) 기술에 기반하여 특징정보를 추출하는 방식이 적용될수 도 있다. 고유정보 추출부(140)는 복수개의 외부 영상 정보에 대하여 특징 정보를 추출함으로써 복수개의 특징 정보 집합을 생성할 수 있다.
다음으로, 고유정보 추출부(140)는 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하고, 선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출할 수 있다. 즉, 고유정보 추출부(140)는 복수개의 외부 영상 정보로부터 추출된 복수개의 특징 정보 집합을 상호간 비교하고, 특징 정보가 다른 특징 정보와 겹치는 중복율이 가장 높은 특징 정보 집합을 선택한다. 고유정보 추출부(140)는 선택된 특징 정보 집합을 선택되지 않은 다른 특징 정보 집합과 비교하여, 선택된 특징 정보 집합에서만 나타나는 특징 정보를 자신의 고유 정보로 추출할 수 있다.
또한, 고유정보 추출부(140)는 영상 촬영부(110)에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출할 수 있다. 고유정보 추출부(140)는 영상 촬영부(110)에서 생성한 영상 정보의 연속 프레임으로부터 벡터 연산을 통하여 객체별 이미지를 분리할 수 있다.
고유정보 추출부(140)는 외관이 변하지 않는 사물의 경우 최초 1회만 분석하여 고유 정보를 추출하여 반복적으로 사용할 수 있다. 그러나, 외관이 변하거나 이동하는 물체의 경우에는 고유 정보 또는 특징 정보가 지속적으로 변화하기 때문에 위와 같은 고유 정보 추출과정을 지속적으로 수행하여 실시간 갱신할 수 있도록 한다.
매칭부(150)는 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단할 수 있다. 매칭부(150)는 예를 들면, 재귀적 분석 방식을 적용하여 객체의 유일성을 판단할 수 있다. 재귀적 분석 방식에 따르면, 매칭부(150)는 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하고, 그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단할 수 있다.
정합부(160)는 유일성이 판단된 객체 중 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합할 수 있다. 정합부(160)는 예를 들면, 타 객체의 고유 정보와 유일성이 판단된 객체의 고유 정보를 비교하여 일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합할 수 있다. 즉, 정합부(160)는 고유정보 추출부(140)에서 추출한 타 객체의 고유정보가 유일성이 판단된 객체의 고유 정보와 일치할 경우 일치한 것으로 판단된 객체가 제공한 증강 컨텐츠 정보를 영상에 합성함으로써 증강현실 영상을 제공할 수 있다.
도3 및 도4는 본 발명의 일실시예에 따른 증강현실 제공장치의 동작을 설명하기 위한 도면이다.
도3을 참조하면, 각 증강현실 제공장치는 정합보조 메시지를 생성하여 브로드 캐스팅한다. 이 때, 각 증강현실 제공장치는 신호 세기가 기준 세기 이상인 타 객체로부터 수신한 정보만을 재 브로드 캐스팅하여 포워딩할 수 있다.
도4를 참조하면, 증강현실 제공장치는 재귀적 분석 방식을 이용하여 객체의 유일성을 판단한다. 증강현실 제공장치는 먼저, 신호세기 정보를 이용하여, 신호세기를 축으로 하는 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류한다. 다음으로, 증강현실 제공장치는 그룹별 비교를 통하여 유사한 고유정보를 가지는 복수의 객체가 포함된 그룹이 있을 경우 해당되는 복수의 객체가 유일한 객체성을 가지는 것으로 판단한다.
도5는 본 발명의 일실시예에 따른 증강현실 제공방법의 순서도이다.
도5를 참조하면, 먼저, 영상 촬영부가 영상을 촬영하여 영상 정보를 생성한다(S501).
다음으로, 통신부는 복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신한다. 통신부는 자신의 영상 정보가 포함된 외부 영상 정보를 수신하기 위하여 일정 거리 이내에 위치한 외부 영상장치와 데이터 통신을 수행하여 복수개의 외부 영상 정보를 수신할 수 있다. 본 발명의 일실시예에서 복수개의 외부 영상 정보는 증강현실 제공장치 또는 증강현실 제공장치의 사용자를 의미하는 대상 객체가 포함된 영상 정보일 수 있다(S502).
다음으로, 고유정보 추출부는 외부 영상 정보를 분석하여 자신의 고유 정보를 추출한다. 고유정보 추출부는 분리된 객체별 이미지를 분석하여 복수개의 특징 정보 집합을 생성하며, 상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하고, 선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출한다(S503).
다음으로, 통신부는 타 객체로부터 정합보조 메시지를 수신한다(S504).
다음으로, 매칭부는 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단한다. 매칭부는 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하고, 그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단한다(S505).
다음으로, 고유정보 추출부는 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출한다. 고유정보 추출부는 영상 촬영부에서 생성한 영상 정보로부터 객체별 이미지를 분리하고, 분리된 객체별 이미지를 분석하여 타 객체의 고유 정보를 추출한다(S506).
다음으로, 정합부가 유일성이 판단된 객체 중 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 영상 촬영부에서 촬영한 영상에 정합한다. 정합부는 타 객체의 고유 정보와 유일성이 판단된 객체의 고유 정보를 비교하여 일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합한다(S507).
다음으로, 디스플레이부는 정합부에서 정합한 증강현실 영상을 외부로 디스플레이한다(S508).
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 증강현실 제공장치
110: 영상 촬영부
120: 통신부
130: 디스플레이부
140: 고유정보 추출부
150: 매칭부
160: 정합부

Claims (10)

  1. 영상을 촬영하여 영상 정보를 생성하는 영상 촬영부;
    복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신하고 정합보조 메시지를 브로드 캐스팅하는 통신부;
    상기 외부 영상 정보를 분석하여 자신의 고유 정보를 추출하고, 상기 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출하는 고유정보 추출부;
    복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단하는 매칭부; 및
    유일성이 판단된 객체 중 상기 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합하는 정합부를 포함하며,
    상기 고유정보 추출부는 상기 복수개의 외부 영상 정보로부터 객체별 이미지를 분리하고, 분리된 객체별 이미지를 분석하여 복수개의 특징 정보 집합을 생성하며, 상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하고, 선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출하는 증강현실 제공장치.
  2. 제1항에 있어서,
    상기 정합보조 메시지는 객체 자신의 고유 정보, 증강 컨텐츠 정보, 주변 객체로부터 수신한 주변 객체의 고유 정보, 신호 세기 정보 및 수신 시간 정보를 포함하는 증강현실 제공장치.
  3. 삭제
  4. 제2항에 있어서,
    상기 매칭부는 재귀적 분석 방식을 적용하여 상기 객체의 유일성을 판단하는 증강현실 제공장치.
  5. 제4항에 있어서,
    상기 매칭부는 상기 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하고, 그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단하는 증강현실 제공장치.
  6. 제2항에 있어서,
    상기 정합부는 상기 타 객체의 고유 정보와 상기 유일성이 판단된 객체의 고유 정보를 비교하여 일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합하는 증강현실 제공장치.
  7. 영상 촬영부가 영상을 촬영하여 영상 정보를 생성하는 단계;
    통신부가 복수개의 외부 영상장치로부터 복수개의 외부 영상 정보를 수신하는 단계;
    고유정보 추출부가 상기 외부 영상 정보를 분석하여 자신의 고유 정보를 추출하는 단계;
    상기 통신부가 타 객체로부터 정합보조 메시지를 수신하는 단계;
    매칭부가 복수개의 객체로부터 수신한 정합보조 메시지에 포함된 신호세기 정보를 이용하여 객체의 유일성을 판단하는 단계;
    상기 고유정보 추출부가 상기 영상 촬영부에서 생성한 영상 정보를 분석하여 타 객체의 고유 정보를 추출하는 단계; 및
    정합부가 유일성이 판단된 객체 중 상기 영상 촬영부에서 촬영한 영상의 시야 범위내에 위치한 객체의 정합보조 메시지를 이용하여 증강 컨텐츠를 상기 영상 촬영부에서 촬영한 영상에 정합하는 단계를 포함하며,
    상기 자신의 고유 정보를 추출하는 단계는,
    상기 복수개의 외부 영상 정보로부터 객체별 이미지를 분리하는 단계;
    분리된 객체별 이미지를 분석하여 복수개의 특징 정보 집합을 생성하는 단계;
    상기 복수개의 특징 정보 중 중복율이 가장 높은 특징 정보 집합을 선택하는 단계; 및
    선택된 특징 정보 집합 중 선택되지 않은 다른 특징 정보 집합에 나타나지 않는 특징 정보를 자신의 고유 정보로 추출하는 단계를 포함하는 증강현실 제공방법.
  8. 삭제
  9. 제7항에 있어서, 상기 객체의 유일성을 판단하는 단계는,
    상기 신호세기 정보를 이용하여 1차원 그래프상에 각 객체를 사상시켜 근거리에 위치한 객체를 조합하여 그룹별로 분류하는 단계 및
    그룹별 비교를 통하여 유사한 고유정보를 가진 객체의 유일성을 판단하는 단계를 포함하는 증강현실 제공방법.
  10. 제7항에 있어서, 상기 영상에 정합하는 단계는,
    상기 타 객체의 고유 정보와 상기 유일성이 판단된 객체의 고유 정보를 비교하여 일치하지 판단하는 단계 및
    일치하는 경우 해당되는 객체의 정합보조 메시지에 포함된 증강 컨텐츠 정보를 영상에 정합하는 단계를 포함하는 증강현실 제공방법.
KR1020170167653A 2017-12-07 2017-12-07 증강현실 제공장치 및 방법 KR101960442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170167653A KR101960442B1 (ko) 2017-12-07 2017-12-07 증강현실 제공장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167653A KR101960442B1 (ko) 2017-12-07 2017-12-07 증강현실 제공장치 및 방법

Publications (1)

Publication Number Publication Date
KR101960442B1 true KR101960442B1 (ko) 2019-03-20

Family

ID=66036220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167653A KR101960442B1 (ko) 2017-12-07 2017-12-07 증강현실 제공장치 및 방법

Country Status (1)

Country Link
KR (1) KR101960442B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Similar Documents

Publication Publication Date Title
CN104978390B (zh) 使用出行路径元数据进行情景感知目标检测
US9754183B2 (en) System and method for providing additional information using image matching
Walia et al. Recent advances on multicue object tracking: a survey
KR20180081028A (ko) 카메라의 공간적 특성들을 결정하는 방법 및 시스템
US20090079830A1 (en) Robust framework for enhancing navigation, surveillance, tele-presence and interactivity
US8953900B2 (en) Increased quality of image objects based on depth in scene
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
WO2021048446A1 (en) Sports timing based on a camera system
CN111222397A (zh) 一种绘本识别方法、装置及机器人
US11410459B2 (en) Face detection and recognition method using light field camera system
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
KR20130002663A (ko) 증강 현실 제공 시스템 및 방법
Krotosky et al. Multimodal stereo image registration for pedestrian detection
KR101960442B1 (ko) 증강현실 제공장치 및 방법
US11423647B2 (en) Identification system, model re-learning method and program
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
CN113505760B (zh) 目标检测方法、装置、相关设备及计算机可读存储介质
CN114743026A (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
CN110800313B (zh) 信息处理设备和信息处理方法
JP2018055591A (ja) 情報処理装置、情報処理方法およびプログラム
JP5884798B2 (ja) ボール個別位置判別装置
RU2813497C1 (ru) Спортивный хронометраж на основе системы камер
Rasheed et al. Automated visual analysis in large scale sensor networks
JP6770847B2 (ja) チャンネル識別システム、装置、方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant