KR101329882B1 - Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법 - Google Patents

Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법 Download PDF

Info

Publication number
KR101329882B1
KR101329882B1 KR1020100077896A KR20100077896A KR101329882B1 KR 101329882 B1 KR101329882 B1 KR 101329882B1 KR 1020100077896 A KR1020100077896 A KR 1020100077896A KR 20100077896 A KR20100077896 A KR 20100077896A KR 101329882 B1 KR101329882 B1 KR 101329882B1
Authority
KR
South Korea
Prior art keywords
information
windows
information windows
window
objects
Prior art date
Application number
KR1020100077896A
Other languages
English (en)
Other versions
KR20120015637A (ko
Inventor
민승준
이광희
장중업
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100077896A priority Critical patent/KR101329882B1/ko
Priority to US13/185,409 priority patent/US20120038671A1/en
Priority to CN2011102093238A priority patent/CN102375741A/zh
Priority to EP11175520A priority patent/EP2418623A1/en
Publication of KR20120015637A publication Critical patent/KR20120015637A/ko
Application granted granted Critical
Publication of KR101329882B1 publication Critical patent/KR101329882B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

AR 정보창 표시를 위한 사용자 장치가 제공된다. 표시부는 실제 영상과 실제 영상에 포함된 객체들에 대응하는 AR(Augmented Reality) 정보창들을 표시하며, 제어부는 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하여 AR 정보창들의 배치 형태를 결정하고, 배치 형태가 결정된 AR 정보창들을 객체들과 함께 표시하도록 표시부를 제어할 수 있다.

Description

ＡＲ 정보창 표시를 위한 사용자 장치 및 그 방법{Apparatus and Method for Displaying Augmented Reality Window}
본 발명은 AR 정보창 표시를 위한 사용자 장치 및 그 방법에 관한 것으로서, AR 정보창을 다양한 형태로 배치하여 표시할 수 있는, AR 정보창 표시를 위한 장치 및 그 방법에 관한 것이다.
증강 현실(AR: Augmented Reality)은 가상 현실의 한 분야로, 실제 환경에 존재하는 객체에 가상 사물이나 정보를 합성하는 컴퓨터 그래픽 기법이다. 증강 현실은 가상의 공간과 사물만을 대상으로 하는 가상 현실과 달리, 실제 환경이라는 객체 위에 가상의 사물이나 정보를 합성함으로써, 실제 환경만으로는 얻기 어려운 부가 정보를 보강한다. 그러나, 기존의 증강 현실 서비스는, 증강 현실에서 제공되는 객체의 개수 및 객체의 정보를 제공하는 정보창의 개수가 증가함에 따라, 제한된 화면에 객체와 정보창을 효과적으로 보여주는데 한계가 있다.
이를 해결하기 위하여, 기존의 정보창은 객체와 기기간의 거리와 필터링을 통해 선별된 객체에 대해서만 표시되고 있다. 그러나, 필터링에 의해 선별되어 표시되는 객체의 경우 사용자의 의도를 정확하게 파악하기 어려우며, 필터링에 의해 제한된 정보만을 보여준다.
따라서, 상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 객체들의 많은 정보창을 사용자에게 보다 직관적으로, 그리고, 간결하게 보여줄 수 있는, AR 정보창 표시를 위한 사용자 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 AR(Augmented Reality) 정보창 표시를 위한 사용자 장치는, 실제 영상과 실제 영상에 포함된 객체들에 대응하는 AR 정보창들을 표시하는 표시부; 및 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하여 AR 정보창들의 배치 형태를 결정하고, 배치 형태가 결정된 AR 정보창들을 객체들과 함께 표시하도록 표시부를 제어하는 제어부를 포함할 수 있다.
제어부는, 객체들 중 AR 정보창이 존재하는 의미 객체에 대해, 의미 객체의 AR 정보창을 표시할지를 결정할 수 있다.
제어부는, 객체들 중 타겟 객체의 크기와 타겟 객체에 대응하는 타겟 AR 정보창의 크기를 비교하여, 타겟 AR 정보창의 표시 형태를 조정할 수 있다.
제어부는, 객체들 중 타겟 객체의 크기가 타겟 객체에 대응하는 타겟 AR 정보창보다 크면, 타겟 객체 내에 타겟 AR 정보창을 배치할 수 있다.
제어부는, 타겟 객체의 크기가 타겟 AR 정보창보다 작거나, 타겟 객체가 다른 객체와의 겹침에 의해 타겟 AR 정보창이 삽입될 수 있는 영역이 불충분하면, 타겟 AR 정보창이 존재함을 나타내는 식별 마크를 생성하며, 생성된 식별 마크를 타겟 객체에 배치할 수 있다.
제어부는, 객체들의 실제 위치와 사용자간의 거리가 근거리일수록 AR 정보창들의 크기를 확대하고, 원거리일수록 AR 정보창들의 크기를 축소할 수 있다.
제어부는, 표시되는 객체들의 밀집도(density)를 고려하여, 밀집도가 낮을수록 AR 정보창들의 크기를 확대할 수 있다.
제어부는, 표시되는 객체들의 접근 빈도수를 고려하여, 접근 빈도수가 높을수록 AR 정보창들의 크기를 확대할 수 있다.
제어부는, AR 정보창들 중 동일한 객체에 존재하는 AR 정보창들을 하나로 그룹핑하거나, AR 정보창들 중 동일한 시선 방향에 위치하는 AR 정보창들을 하나로 그룹핑하거나, 또는, AR 정보창들 중 동일한 카테고리에 속하는 AR 정보창들을 하나로 그룹핑할 수 있다.
제어부는, 사용자에 의해 설정된 우선순위를 고려하여, 우선순위가 높을수록 AR 정보창들의 크기를 확대할 수 있다.
제어부는, AR 정보창들이 서로 겹쳐지는 정도를 고려하여, AR 정보창들의 표시 형태를 조정할 수 있다.
제어부는, AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들 중 뒤에 위치하는 AR 정보창이 실제 보여지는 영역을, 뒤에 위치하는 AR 정보창에 대응하는 객체의 일부에 배치할 수 있다.
제어부는, AR 정보창들 중 가장 앞에 위치하는 AR 정보창과 그 뒤에 위치하는 AR 정보창의 전체 영역이 겹쳐서 표시되는 경우, 가장 앞에 위치하는 AR 정보창의 내부에, 뒤에 위치하는 AR 정보창의 윤곽을 점선으로 표시할 수 있다.
제어부는, 객체들의 크기 및 AR 정보창들의 크기를 비교하고, 비교 결과에 따라 AR 정보창들을 객체들이 표시된 영역 및 객체들이 비표시된 영역 중 하나에 배치할 수 있다.
제어부는, AR 정보창들 중 표시부의 포커스 영역-표시부의 중심점을 기준으로 설정된 영역-내에 위치하는 AR 정보창은 진하게 처리하고, 포커스 영역 외에 위치하는 AR 정보창은 흐리게 처리할 수 있다.
표시부에 표시된 AR 정보창들 중 타겟 AR 정보창이 선택되면, 제어부는, 타겟 AR 정보창의 상세정보를 보여주기 위한 팝업 메뉴를 생성할 수 있다.
팝업 메뉴는 사용자의 명령을 입력받는 아이콘을 포함하며, 제어부는 아이콘이 선택되면, 아이콘에 대응하는 동작이 수행되도록 할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 AR(Augmented Reality) 정보창 표시를 위한 사용자 장치는, 실제 영상과 실제 영상에 포함된 객체들에 대응하는 AR 정보창들을 표시하는 표시부; 및 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 n개의 그룹으로 구분하고, n개의 그룹을 객체들과 함께 표시하도록 표시부를 제어하는 제어부를 포함할 수 있다.
사용자에 의해 n개의 그룹 중 타겟 그룹이 선택되면, 제어부는, 타겟 그룹의 그룹핑을 해제하고, 타겟 그룹에 속하는 AR 정보창들을 해당 객체에 배치할 수 있다.
제어부는, 타겟 그룹의 그룹핑이 해제되면, 나머지 그룹들의 AR 정보창들은 흐리게 표시할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 AR(Augmented Reality) 서비스를 제공하는 사용자 장치의 AR 정보창 표시를 위한 방법은, 실제 영상에 포함된 객체들을 판단하는 단계; 판단된 객체들에 대응하는 AR 정보창들을 생성하는 단계; 생성된 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하여 AR 정보창들의 배치 형태를 결정하는 단계; 및 배치 형태가 결정된 AR 정보창들을 객체들과 함께 표시하는 단계를 포함할 수 있다.
객체들 중 AR 정보창이 존재하는 의미 객체에 대해, 의미 객체의 AR 정보창을 표시할지를 결정하는 단계를 더 포함할 수 있다.
결정하는 단계는, 객체들 중 타겟 객체의 크기와 타겟 객체에 대응하는 타겟 AR 정보창의 크기를 비교하여, 타겟 AR 정보창의 표시 형태를 조정할 수 있다.
결정하는 단계는, 객체들의 실제 위치와 사용자간의 거리, AR 정보창들의 밀집도, AR 정보창들의 접근 빈도수 중 적어도 하나를 고려하여, AR 정보창들의 크기를 확대 또는 축소할 수 있다.
결정하는 단계는, AR 정보창들 중 동일한 객체에 존재하는 AR 정보창들을 하나로 그룹핑하거나, AR 정보창들 중 동일한 시선 방향에 위치하는 AR 정보창들을 하나로 그룹핑하거나, 또는, AR 정보창들 중 동일한 카테고리에 속하는 AR 정보창들을 하나로 그룹핑할 수 있다.
결정하는 단계는, AR 정보창들이 서로 겹쳐지는 정도를 고려하여, AR 정보창들의 표시 형태를 조정할 수 있다.
결정하는 단계는, 객체들의 크기 및 AR 정보창들의 크기를 비교하고, 비교 결과에 따라 AR 정보창들을 객체들이 표시된 영역 및 객체들이 비표시된 영역 중 하나에 배치할 수 있다.
결정하는 단계는, AR 정보창들 중 사용자 장치의 화면의 포커스 영역에 위치하는 AR 정보창은 진하게 처리하고, 포커스 영역 외에 위치하는 AR 정보창은 흐리게 처리할 수 있다.
제안되는 본 발명의 일 실시 예에 따르면, AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하여 AR 정보창들의 배치 형태를 결정할 수 있다. 이로써, 사용자가 원하는 방식으로 AR 정보창들을 다양하게 표시할 수 있으므로 사용자 만족도를 높일 수 있다.
또한, AR 정보창들을 한 화면에 동시에 표시하기 어려운 경우, AR 정보창들을 설정된 기준에 따라 그룹핑하여 표시함으로써, 사용자는 원하는 정보를 보다 신속히 검색할 수 있다.
또한, 일부 AR 정보창들의 가독성을 보강함으로써, 사용자의 편의를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 증강 현실(AR: Augmented Reality) 정보창 표시를 위한 사용자 장치를 포함하는 AR 시스템을 도시한 도면이다.
도 2는 AR 정보창들과 실제 영상의 객체들이 함께 표시되는 일 예를 보여주는 도면이다.
도 5는 객체의 거리를 고려하여 AR 정보창의 크기가 조정되는 일 예를 설명하기 위한 도면이다.
도 6은 객체들의 밀집도(density)를 고려하여 AR 정보창의 크기가 조정되는 일 예를 설명하기 위한 도면이다.
도 7 내지 도 9는 AR 정보창의 종속성을 고려하여 AR 정보창의 표시형태를 결정하는 일 예를 설명하기 위한 도면이다.
도 10은 AR 정보창의 전체 영역이 다른 AR 정보창과 겹친 경우, AR 정보창의 표시 형태를 설명하기 위한 도면이다.
도 11은 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 그룹핑하여 표시하는 표시 형태의 일 예를 설명하기 위한 도면이다.
도 12a 및 도 12b는 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 그룹핑하여 표시하는 표시 형태의 다른 예를 설명하기 위한 도면이다.
도 13은 도 11과 같이 그룹핑된 AR 정보창들의 그룹핑을 해제하는 경우를 설명하기 위한 도면이다.
도 14는 도 12a와 같이 그룹핑된 AR 정보창들의 그룹핑을 해제하는 경우를 설명하기 위한 도면이다.
도 15 및 도 16은 인식 영역에 AR 정보창을 표시하는 일 예를 설명하기 위한 도면이다.
도 17은 비인식 영역에 AR 정보창을 표시하는 일 예를 설명하기 위한 도면이다.
도 18은 AR 정보창의 가독성을 보강하는 일 예를 설명하기 위한 도면이다.
도 19는 AR 정보창의 팝업 메뉴를 보여주는 일 예를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시 예에 따른 사용자 장치의 AR 정보창 표시를 위한 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 증강 현실(AR: Augmented Reality) 정보창 표시를 위한 사용자 장치를 포함하는 AR 시스템을 도시한 도면이다.
AR 시스템은 사용자 장치(100)에 표시된 객체에 대한 상세 정보를 객체와 정합하여 보여주는 AR 서비스를 제공한다. 객체는 사용자 장치(100)에 표시된 실제 영상에 위치하는 객체로서 예를 들어, 건물, 자동차 등을 들 수 있다. AR 정보창은 상세 정보를 보여주는 창을 의미한다. 본 발명의 실시 예에 따르면, 사용자 장치(100)는 AR 정보창의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하여 AR 정보창의 배치 형태를 결정할 수 있다. 표시 형태는 식별 마크의 마킹 여부, 그룹핑 여부 등 다양한 형태를 포함할 수 있다.
이를 위하여, AR 시스템은 통신망(10), 사용자 장치(100) 및 AR 서버(200)를 포함할 수 있다. 도 1에는 설명의 편의상 하나의 사용자 장치(100) 및 하나의 AR 서버(200)가 도시되었으며, 이는 일 예로서, 이에 한정되지 않는다.
통신망(10)은 데이터의 전송을 위한 네트워크로서, 사용자 장치(100)와 AR 서버(200) 간의 통신을 지원한다.
사용자 장치(100)는 AR 서비스를 제공할 수 있으며, 스마트폰, 랩탑 컴퓨터 등 휴대가 가능하고, 유무선 통신이 가능한 전자기기일 수 있다. 사용자 장치(100)는 자체적으로 객체의 AR 정보를 저장하고 있거나, 또는 AR 서버(200)로부터 객체의 AR 정보를 제공받는다.
AR 서버(200)는 사용자 장치(100)로부터 요청이 있으면, 사용자 장치(100)에 표시된 객체들의 AR 정보를 사용자 장치(100)에게 제공할 수 있다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 사용자 장치(100)는 센싱부(110), 촬영부(120), 사용자 입력부(130), 표시부(140), 저장부(150), 통신부(160), AR 정보창 생성부(170), 합성부(180) 및 제어부(190)를 포함할 수 있다.
센싱부(110)는 사용자 장치(100)의 현재 위치와 촬영부(120)가 현재 바라보는 방향에 대한 정보를 센싱할 수 있다. 센싱부(110)는 GPS(Global Positioning System) 방식, LBS(Location-Based Services) 방식 등을 이용하여 현재 위치를 센싱하고, 디지털 나침반을 이용하여 방향을 센싱할 수 있다. 센싱부(110)의 센싱 결과는 AR 서버(200)에게 객체의 상세 정보를 요청할 때 사용될 수 있다. 또한, 센싱부(110)는 TOF(Time of Flight) 방식 등 주지된 기술을 이용하여, 사용자 장치(100)와 객체 간의 거리를 센싱할 수 있다.
촬영부(120)는 피사체를 촬영하여 실제 영상을 획득하며, 내장형 또는 외장형 카메라를 예로 들 수 있다. 촬영부(120)는 정지영상 및 동영상 촬영이 가능하다. 획득된 실제 영상은 표시부(140)에 표시될 수 있다.
사용자 입력부(130)는 사용자의 명령을 입력받는 조작 패널로서, 촬영을 위한 버튼, 방향키, 터치 패널 등 다양한 인터페이스를 포함할 수 있다. 사용자 입력부(130)를 통해 입력되는 사용자 명령에 대한 신호는 제어부(190)로 전달된다. 사용자는 사용자 입력부(130)를 조작하여, 도 3 내지 도 19를 참조하여 설명한 다양한 방식들을 선택할 수 있다.
표시부(140)는 촬영부(120)에 의해 획득되는 실제 영상, 또는, 다른 촬영장치에 의해 획득된 영상을 표시할 수 있다. 사용자 장치(100)가 터치 방식을 제공하는 경우, 표시부(140)에는 터치 패널의 UI(User Interface)가 표시될 수 있다.
저장부(150)는 비휘비발성 메모리로서, 사용자 장치(100)의 구동에 필요한 다양한 프로그램, 소프트웨어 등을 저장하며, 사용자 장치(100)의 구동 중 발생하는 데이터, 객체의 AR 정보를 저장할 수 있다.
통신부(160)는 통신망(10)을 통해 AR 서버(200)와 통신하며, 통신을 위한 물리적 모듈과 소프트웨어로 구현될 수 있다. 예를 들어, 통신부(160)는 표시부(140)에 표시된 실제 영상 중 객체들의 AR 정보를 AR 서버(200)에게 요청할 수 있으며, AR 서버(200)로부터 AR 정보를 수신할 수 있다. AR 서버(200)는 요청에 따라, 데이터베이스(미도시)를 검색하여 객체들에 대응하는 AR 정보를 통신부(160)에게 전달할 수 있다.
AR 정보창 생성부(170)는 전달받은 AR 정보와 객체가 실제 영상에 위치하는 위치 정보를 가공하여 AR 정보창을 생성할 수 있다.
합성부(180)는 촬영부(120)에 의해 획득된 실제 영상과 AR 정보창 생성부(170)에서 생성된 AR 정보창들을 합성한다. 합성된 결과는 도 2와 같이 표시부(140)에 표시된다. 도 2를 참조하면, 표시부(140)에는 객체(210)와 객체(210)에는 해당하는 AR 정보창(210a)이 표시되어 있다.
제어부(190)는 사용자 장치(100)의 전반적인 동작을 제어하며, 이를 위하여 프로세서를 구비하거나 프로세서의 기능을 수행할 수 있다.
제어부(190)는 실제 영상에 포함되는 객체들을 센싱부(110)의 센싱데이터를 이용하지 않고 자체적으로 판단할 수 있다. 예를 들어, 제어부(190)는 실제 영상과 저장부(150)에 저장된 영상들을 비교하여, 실제 영상에 매핑되는 영상을 검출한다. 그리고, 제어부(190)는 검출된 영상에 매핑저장된 객체데이터의 상세정보를 이용하여 실제 영상에 포함되는 객체들을 판단할 수 있다.
제어부(190)는 실제 영상에 포함되는 객체들 중 의미 객체에 대해, 의미 객체의 AR 정보창을 표시할지를 결정할 수 있다. 의미 객체는 AR 정보창이 존재하는 객체이다. 도 2를 참조하면, 객체(210)는 해당 AR 정보창(210a)이 존재하므로 의미 객체이며, 객체(220)는 의미 객체가 아니다.
또한, 제어부(190)는 AR 정보창들의 크기, 겹침 정도, 사용빈도 등을 고려하여 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하고, 조정된 결과를 이용하여 AR 정보창들의 배치 형태를 결정할 수 있다. 제어부(190)는 배치 형태가 결정된 AR 정보창들과 객체들을 합성하여 표시하도록 합성부(180) 및 표시부(140)를 제어한다.
이하에서는 도 3 내지 도 19를 참조하여 AR 정보창의 배치 형태와 관련된 다양한 실시 예에 대해 설명한다.
제어부(190)는 표시부(140)에 표시된 객체들 중 타겟 객체의 크기와 타겟 객체에 대응하는 타겟 AR 정보창의 크기를 비교하여, 타겟 AR 정보창의 표시 형태를 조정할 수 있다. 예를 들어, 제어부(190)는 타겟 객체의 에지를 검출하여 타겟 객체의 크기를 판단하고, 타겟 AR 정보창은 기설정된 방식으로 생성하므로 그 크기를 알 수 있다.
도 3은 타겟 객체 내에 타겟 AR 정보창이 표시되는 일 예를 보여주는 도면이다.
도 3을 참조하면, 제어부(190)는, 제어부(190)는 타겟 객체(310)에 타겟 AR 정보창(310a)의 삽입될 수 있는지 판단하고, 삽입가능하면, 도 3과 같이 타겟 AR 정보창(310a)을 표시부(140)에 표시한다. 즉, 타겟 객체(310)의 크기가 타겟 객체(310)에 대응하는 타겟 AR 정보창(310a)보다 크므로, 타겟 객체(310) 내에 타겟 AR 정보창(310a)을 배치하여 표시부(140)에 표시할 수 있다.
도 4는 타겟 객체 내에 타겟 AR 정보창이 표시될 수 없는 경우의 일 예를 보여주는 도면이다.
도 4를 참조하면, 제어부(190)는, 타겟 객체(420)의 크기가 타겟 AR 정보창(420a)보다 작거나, 타겟 객체(420)가 다른 객체(410)와의 겹침에 의해 타겟 AR 정보창(420a)이 삽입될 수 있는 영역이 충분한지를 판단한다. 판단 결과, 상기 영역이 불충분하면, 제어부(190)는 타겟 AR 정보창(420a)이 존재함을 나타내는 식별 마크(420b)를 생성하며, 생성된 식별 마크(420b)를 타겟 객체(420)에 배치할 수 있다. 객체(410)의 타겟 AR 정보창(410a)는 원형태를 유지하여 객체(410) 내에 표시된다.
도 5는 객체의 거리를 고려하여 AR 정보창의 크기가 조정되는 일 예를 설명하기 위한 도면이다.
제어부(190)는, 객체들의 실제 위치와 사용자간의 거리가 근거리일수록 AR 정보창들의 크기를 확대하고, 원거리일수록 AR 정보창들의 크기를 축소한 후, 표시부(140)에 표시할 수 있다. 객체들의 실제 위치는 촬영부(120)에 의해 촬영된 실제 객체들의 위치이다. 도 5를 참조하면, 객체(510)는 사용자 또는 사용자 장치(100)와 가장 근거리에 위치하며, 객체들(520, 530)은 순서대로 객체(510) 뒤에 위치한다. 따라서, 제어부(190)는 객체들(510, 520, 530)에 대응하는 AR 객체들(510a, 520a, 530a)의 크기를 점진적으로 작게 처리하여 표시부(140)에 표시한다.
도 6은 객체들의 밀집도(density)를 고려하여 AR 정보창의 크기가 조정되는 일 예를 설명하기 위한 도면이다.
제어부(190)는 객체들의 밀집도를 고려하여, 밀집도가 낮을수록 AR 정보창들의 크기를 확대하여 표시할 수 있다. 도 6을 참조하면, 하나의 실제 영상에는 5개의 객체들과 6개의 AR 정보창이 표시되며, 다른 실제 영상에는 2개의 객체들과 2개의 AR 정보창이 표시된다. 이러한 경우, AR 정보창이 6개인 실제 영상의 밀집도가 높으므로, 제어부(190)는 6개의 AR 정보창들의 크기를 상대적으로 축소표시한다. 반면, AR 정보창이 2개인 실제 영상의 경우, 제어부(190)는 2개의 AR 정보창들의 크기를 상대적으로 확대표시할 수 있다.
객체의 밀집도가 낮은 경우와 높은 경우는 다음과 같이 구분될 수 있다.
밀집도 객체의 크기 객체들의 겹침 여부 AR 정보창의 표시 크기
밀집도가 낮은 경우 객체가 작은 경우 객체들이 서로 겹친 경우 크게 표시
객체들이 겹치지 않은 경우 크게 표시
객체가 큰 경우 객체들이 서로 겹친 경우 크게 표시
객체들이 겹치지 않은 경우 크게 표시
밀집도가 높은 경우 객체가 작은 경우 객체들이 서로 겹친 경우 작게 표시
객체들이 겹치지 않은 경우 작게 표시
객체가 큰 경우 객체들이 서로 겹친 경우 작게 표시
객체들이 겹치지 않은 경우 작게 표시
또는, 제어부(190)는, 객체들의 접근 빈도수를 고려하여, 접근 빈도수가 높을수록 AR 정보창들의 크기를 확대하여 표시할 수 있다. 접근 빈도수는 한 명 이상의 사용자에 의해 객체가 선택된 빈도수이다. 접근 빈도수는 제어부(190)가 자체적으로 카운팅하여 저장하거나, 또는, AR 서버(200)에서 집계할 수도 있다.
또는, 제어부(190)는, 사용자에 의해 설정된 우선순위 또는 중요도를 고려하여, 우선순위 또는 중요도가 높을수록 AR 정보창들의 크기를 확대하여 표시할 수 있다. 사용자는 사용자 입력부(130)를 조작하거나 AR 서버(200)의 웹페이지에 접속하여 객체 별 우선순위 또는 중요도를 설정할 수 있다.
도 7 내지 도 9는 AR 정보창의 종속성을 고려하여 AR 정보창의 표시형태를 결정하는 일 예를 설명하기 위한 도면이다.
실제 영상에 포함된 하나의 객체에 복수 개의 서브 객체들이 존재하는 경우, 제어부(190)는 복수 개의 서브 객체들 중 하나는 부모 객체로 정하고, 나머지는 자식 객체로 정할 수 있다. 예를 들어, 하나의 건물에 은행, 식당 및 편의점이 있는 경우, 은행은 부모 객체, 식당 및 편의점을 자식 객체로 정해질 수 있다. 위치와 크기가 변경되지 않는 자식 객체의 AR 정보창은 부모 객체의 AR 정보창에 종속적일 수 있다. 이러한 특성을 고려하여, 제어부(190)는 부모 객체와 자식 객체를 그룹핑하여 간단하게 AR 정보창을 표시할 수 있다.
이를 위하여, 제어부(190)는, 도 7에 도시된 바와 같이, 동일한 객체(710)에 존재하는 AR 정보창들(710a, 710b, 710c)을 하나로 그룹핑할 수 있다. 제어부(190)는 은행을 부모 객체로 정하고, 치과와 안경점을 자식 객체로 정한 후, 부모 객체의 AR 정보창(710c) 뒤에 자식 객체의 AR 정보창들(710b, 710c)을 숨김 표시할 수 있다. 도 7에서, 'G'는 그룹핑되었음을 의미한다.
또한, 제어부(190)는 도 8에 도시된 바와 같이, 동일한 시선 방향에 위치하는 AR 정보창들(810~860)을 하나로 그룹핑할 수 있다. 도 8을 참조하면, 5개의 객체는 촬영부(120)의 촬영 방향을 기준으로 동일한 시선 방향에 위치함을 알 수 있다. 따라서, 제어부(190)는 동일한 시선 방향에 의해 가려지는 5개의 AR 정보창들(820~860)을 가장 앞에 위치하는 AR 정보창(810)의 뒤에 숨겨 표시할 수 있다. 5개의 AR 정보창들(820~860)은 객체의 실제 거리를 기준으로 순서대로 숨겨질 수 있다.
또한, 제어부(190)는 카테고리의 종류에 따라 AR 정보창들(910~960)을 그룹핑할 수 있다. 도 9를 참조하면, 제어부(190)는 표시부(140)에 표시된 AR 정보창들(910~960) 중 동일한 카테고리에 속하는 AR 정보창들을 하나로 그룹핑하여 표시부(140)에 표시한다. AR 정보창들(910~930)은 병원이라는 카테고리에 속하며, AR 정보창들(940~960)은 음식이라는 카테고리에 속할 수 있다. 따라서, 제어부(190)는 AR 정보창들(910~930)을 하나로 그룹핑하되 AR 정보창(910)을 대표로 표시하고, AR 정보창들(940~960)을 하나로 그룹핑하되 AR 정보창(950)을 대표로 표시한다.
한편, 제어부(190)는 AR 정보창들이 서로 겹쳐지는 정도를 고려하여, AR 정보창들의 표시 형태를 조정할 수 있다. 즉, 제어부(190)는 AR 정보창 생성부(170)에서 생성되는 AR 정보창들을 가공하지 않고 표시하는 경우, AR 정보창들의 겹침을 고려할 수 있다.
먼저, 제어부(190)는, AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들 중 뒤에 위치하는 AR 정보창이 실제 보여지는 영역은, 뒤에 위치하는 AR 정보창에 대응하는 객체의 일부에 배치할 수 있다. 예를 들어, 제1 및 제2AR 정보창들이 일부 겹쳐서 표시되는 경우, 제어부(190)는 뒤에 위치하는 제2AR 정보창 중 실제로 보여지는 영역을 제2AR 정보창에 대응하는 객체의 일부에 표시되도록 할 수 있다.
도 10은 AR 정보창의 전체 영역이 다른 AR 정보창과 겹친 경우, AR 정보창의 표시 형태를 설명하기 위한 도면이다.
도 10을 참조하면, 제어부(190)는 뒤에 위치하는 AR 정보창(1020)의 전체 영역이 가장 앞에 위치하는 AR 정보창(1010)과 겹쳐서 표시되는 경우, AR 정보창(1010)의 내부에, 뒤에 위치하는 AR 정보창(1020)의 윤곽을 점선으로 표시할 수 있다. 사용자는 점선으로 표시된 윤곽을 통해, 현재 표시된 AR 정보창 외에 다른 정보창이 존재함을 인식할 수 있다.
도 11은 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 그룹핑하여 표시하는 표시 형태의 일 예를 설명하기 위한 도면이다.
제어부(190)는 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 n개의 그룹으로 구분하고, n개의 그룹을 표시부(140)에 표시할 수 있다. 이는, 겹침 현상에 의해 AR 정보창들을 명확히 표시하기 어렵기 때문이다. 그룹핑된 AR 정보창은 버블형태로 객체의 좌측 상단 또는 중심에 표시될 수 있다.
도 11을 참조하면, AR 정보창들(1110과 1120, 1130과 1140)을 가공하지 않는 경우, AR 정보창들(1110과 1120, 1130과 1140)이 일부 겹친다. 따라서, 제어부(190)는 AR 정보창들(1110~1140)을 2개의 그룹으로 구분하고, 2개의 그룹의 대표 AR 정보창들(1110, 1140)을 표시부(140)에 표시할 수 있다. 이 때, 제어부(190)는 대표 AR 정보창들(1110, 1140)에 그룹핑을 의미하는 'G', 또는 'pair'를 의미하는 'P'를 추가로 표시할 수 있다. 도 11에서, AR 정보창(1110)은 'C 주차장'과 'B 마트'라는 AR 정보창으로 그룹핑되었으며, AR 정보창(1140)은 'F 피자'와 'D 웨딩홀'이라는 AR 정보창으로 그룹핑되었음을 알 수 있다.
도 12a 및 도 12b는 AR 정보창들이 일부 겹쳐서 표시되는 경우, AR 정보창들을 그룹핑하여 표시하는 표시 형태의 다른 예를 설명하기 위한 도면이다.
제어부(190)는 실제 영상에 표시될 AR 정보창들의 개수가 설정된 개수를 초과하면, 트리 구조를 이용하여 AR 정보창들을 그룹핑할 수 있다. 도 12a를 참조하면, 실제 영상에 복수 개의 AR 정보창들이 표시되는 경우, 사용자는 원하는 정보를 식별하기 어려울 수 없다. 따라서, 제어부(190)는 AR 정보창들을 3개의 그룹으로 구분하고, 3개의 그룹의 대표 AR 정보창들 'K', 'B', 'F'를 표시부(140)에 표시할 수 있다. 이 때, 제어부(190)는 대표 AR 정보창들 'K', 'B', 'F'에 그룹핑을 의미하는 'G', 또는 'pair'를 의미하는 'P'를 추가로 표시할 수 있다. 독립적으로 표시가능한 AR 정보창들 'A'와 'E'는 각각 표시부(140)에 표시될 수 있다.
도 12b는 도 12a에서 트리 구조로 그룹핑된 AR 정보창들의 트리 구조를 보여주는 도면이다. 도 12b를 참조하면, 도 12a의 'K'는 'K'와 'I'로 그룹핑되었으며, 다시 'K'는 'K'와 'J'로 페어링되었으며, 'I'는 'I'와 'G'로 페어링되었음을 알 수 있다. 페어링은 두 개의 AR 정보창이 그룹핑된 경우를 의미한다. 따라서, 이하에서는 설명의 편의상 페어링과 그룹핑을 혼용하며, 결과적으로 동일한 의미로 사용될 수 있다.
도 13은 도 11과 같이 그룹핑된 AR 정보창들의 그룹핑을 해제하는 경우를 설명하기 위한 도면이다.
제어부(190)는 표시부(140)에 표시된 n개의 그룹 중 타겟 그룹이 사용자에 의해 선택되면, 타겟 그룹의 그룹핑을 해제하고, 타겟 그룹에 속하는 AR 정보창들을 해당 객체에 배치할 수 있다. 도 13을 참조하면, AR 정보창들(1110, 1140)은 페어링에 의해 설정된 대표 정보창이며, AR 정보창들(1120, 1130)은 독립적으로 표시되어 있다. 사용자가 AR 정보창(1110)을 터치에 의해 선택하면, 제어부(190)는 AR 정보창(1110)에 페어링된 AR 정보창들(1110, 1111)을 표시할 수 있는 공간을 판단한다. 제어부(190)는 페어링된 AR 정보창(1110)의 페어링을 해제하고, AR 정보창들(1110, 1111)을 각각 판단된 공간에 표시한다. 제어부(190)는 페어링이 해제될 때, AR 정보창들(1110, 1111) 외의 AR 정보창들은 흐리게(사선 표시) 또는 회색으로 표시할 수 있다.
도 14는 도 12a와 같이 그룹핑된 AR 정보창들의 그룹핑을 해제하는 경우를 설명하기 위한 도면이다.
도 12a 및 도 14를 참조하면, AR 정보창(1210)은 그룹핑에 의해 설정된 대표 정보창이다. 사용자가 그룹핑된 AR 정보창(1210)을 터치에 의해 선택하면, 제어부(190)는 그룹핑된 AR 정보창(1210)의 그룹핑을 해제하고, AR 정보창들(1210, 1211)을 각각 표시한다. 그룹핑이 해제된 후, 사용자가 페어링된 AR 정보창(1210)을 선택하면, 제어부(190)는 AR 정보창(1210)의 페어링을 해제하고, AR 정보창들(1210, 1212)을 각각 표시한다.
15 및 도 16은 인식 영역에 AR 정보창을 표시하는 일 예를 설명하기 위한 도면이다.
제어부(190)는 객체들의 크기 및 AR 정보창들의 크기를 비교하고, 비교 결과에 따라 AR 정보창들을 객체들이 표시된 영역 및 객체들이 비표시된 영역 중 하나에 배치할 수 있다. 표시부(140)의 화면 중 객체들이 표시된 영역은 인식 영역, 객체들이 비표시된 영역은 비인식 영역이라 한다.
도 15를 참조하면, 제어부(190)는 객체(1510)의 AR 정보창(1510a)의 크기가 객체(1510)의 크기의 m% 이하일 경우, 인식 영역, 즉, 객체(1510)에 AR 정보창(1510a)을 배치하여 표시할 수 있다. m은 기설정된 값으로서, 예를 들어, 85 등의 숫자를 들 수 있으며, 조정 가능하다.
또한, 도 16을 참조하면, 제어부(190)는 AR 정보창(1610a)의 크기가 객체(1610)의 m% 이상을 차지하면, 비인식 영역에 AR 정보창(1610a)을 배치할 수 있다.
도 17은 비인식 영역에 AR 정보창을 표시하는 일 예를 설명하기 위한 도면이다.
도 17을 참조하면, 제어부(190)는 AR 정보창(1710a)의 크기가 객체(1710)의 m% 이상을 차지하며, 또한, AR 정보창(1710a)의 크기가 비인식 영역의 m% 이상을 차지하면, 식별 마크(1710b)를 생성하여 객체(1710)에 배치할 수 있다.
도 18은 AR 정보창의 가독성을 보강하는 일 예를 설명하기 위한 도면이다.
도 18을 참조하면, 제어부(190)는 표시부(140)에 표시될 AR 정보창들 중 표시부(140)의 포커스 영역(1810) 내에 위치하는 AR 정보창은 강조하여 진하게 처리하고, 포커스 영역(1810) 외에 위치하는 AR 정보창은 흐리게 처리할 수 있다. 포커스 영역(1810)은 표시부(140)의 중심점을 기준으로 설정된 포커싱 영역이다.
도 19는 AR 정보창의 팝업 메뉴를 보여주는 일 예를 설명하기 위한 도면이다.
도 19를 참조하면, 표시부(140)에 표시된 AR 정보창들 중 타겟 AR 정보창(1910)이 선택되면, 제어부(190)는 타겟 AR 정보창(1910)의 상세정보를 보여주기 위한 팝업 메뉴(1920)를 생성하여 표시한다. 팝업 메뉴(1920)는 사용자의 명령을 입력받는 아이콘(1920a, 1920b)을 포함할 수 있다. 사용자가 팝업 메뉴(1920)에 표시된 아이콘(1920a)를 선택하면, 제어부(190)는 선택된 아이콘(1920a)에 대응하는 동작이 수행되도록 한다.
도 20은 본 발명의 일 실시 예에 따른 사용자 장치의 AR 정보창 표시를 위한 방법을 설명하기 위한 흐름도이다.
도 20의 방법은 도 1을 참조하여 설명한 사용자 장치(100)의 제어부(190) 또는 프로세서(미도시)에 의해 수행될 수 있다.
2000단계에서, 사용자 장치는 실제 영상에 포함되는 객체들을 판단할 수 있다. 객체는 위치 정보를 이용하여 판단되거나 또는 실제 영상과 저장된 영상을 비교하여 판단될 수 있다.
2010단계에서, 사용자 장치는 표시된 객체들의 객체 정보를 이용하여 AR 정보창들을 생성하고, 각 AR 정보창의 크기를 결정할 수 있다. 사용자 장치는 각 AR 정보창의 크기와 해당 객체의 크기를 비교하여 AR 정보창들의 크기를 결정할 수 있다.
2020단계에서, 사용자 장치는 크기가 결정된 AR 정보창들의 표시 형태를 결정할 수 있다. 예를 들어, 2010단계에 의해, AR 정보창이 표시될 수 있는 영역이 불충분하면, 사용자 장치는 AR 정보창이 존재함을 나타내는 식별 마크를 해당 객체에 표시할 수 있다. 또한, 사용자 장치는 AR 정보창들을 그룹핑하여 표시할 수 있다.
2030단계에서, 사용자 장치는 AR 정보창들의 겹침을 조정할 수 있다. 예를 들어, 사용자 장치는 AR 정보창들이 일부 겹친 경우, 전체 겹친 경우 등을 고려하여 AR 정보창들을 배치 형태를 결정할 수 있다.
2040단계에서, 사용자 장치는 AR 정보창들의 가독성을 보강할 수 있다. 예를 들어, 사용자 장치는 표시부의 포커싱 영역에 위치하는 AR 정보창은 강조하여 표시하고, 포커싱 영역 외에 위치하는 AR 정보창은 흐리게 표시할 수 있다.
2050단계에서, 사용자 장치는 실제 영상에 AR 정보창들을 합성하여 표시할 수 있다.
상술한 2010단계 내지 2050단계에서 2010단계 내지 2040단계는 선택적으로 수행될 수 있다. 또한, 도 3 내지 도 19를 참조하여 설명한 다양한 실시 예들은 2010단계 내지 2040단계에서 수행될 수 있다.
상술한 본 발명의 실시 예들은 객체의 중심 위치에 AR 정보창을 표시하며, 하나의 실제 영상에 표시되는 모든 AR 정보창들을 모두 보여주는 것을 기본 전제로 할 수 있다. 기존의 AR 정보창은 사용자의 의도와는 무관하게 필터링된 정보만을 제공함으로써, 정보 운신의 폭이 제한적이다. 그러나, 본 발명의 실시 예에 의하면, 가능한 많은 AR 정보창들을 가능한 보기 편한 형태로 보여주는 것을 목적으로 하므로, 보다 많은 정보를 효율적으로 제공할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 사용자 장치 110: 센싱부
120: 촬영부 130: 사용자 입력부
140: 표시부 150: 저장부
160: 통신부 170: AR 정보창 생성부
180: 합성부 190: 제어부

Claims (28)

  1. 실제 영상과 상기 실제 영상에 포함된 객체들에 대응하는 AR(Augmented Reality) 정보창들을 표시하는 표시부; 및
    상기 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하고, 상기 AR 정보창들이 적어도 일부 겹쳐서 표시되거나 상기 AR 정보창들의 개수가 설정된 개수를 초과하는 경우에 상기 AR 정보창들을 하나 이상의 그룹으로 구분하여 상기 AR 정보창들의 배치 형태를 결정하고, 상기 배치 형태가 결정된 AR 정보창들을 상기 객체들과 함께 표시하도록 상기 표시부를 제어하는 제어부
    를 포함하는, AR 정보창 표시를 위한 사용자 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 객체들 중 AR 정보창이 존재하는 의미 객체에 대해, 상기 의미 객체의 AR 정보창을 표시할지를 결정하는, AR 정보창 표시를 위한 사용자 장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 객체들 중 타겟 객체의 크기와 상기 타겟 객체에 대응하는 타겟 AR 정보창의 크기를 비교하여, 상기 타겟 AR 정보창의 표시 형태를 조정하는, AR 정보창 표시를 위한 사용자 장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 객체들 중 타겟 객체의 크기가 상기 타겟 객체에 대응하는 타겟 AR 정보창보다 크면, 상기 타겟 객체 내에 상기 타겟 AR 정보창을 배치하는, AR 정보창 표시를 위한 사용자 장치.
  5. 제3항에 있어서,
    상기 제어부는, 상기 타겟 객체의 크기가 상기 타겟 AR 정보창보다 작거나, 상기 타겟 객체가 다른 객체와의 겹침에 의해 상기 타겟 AR 정보창이 삽입될 수 있는 영역이 불충분하면, 상기 타겟 AR 정보창이 존재함을 나타내는 식별 마크를 생성하며, 상기 생성된 식별 마크를 상기 타겟 객체에 배치하는, AR 정보창 표시를 위한 사용자 장치.
  6. 제1항에 있어서,
    상기 제어부는, 상기 객체들의 실제 위치와 사용자간의 거리가 근거리일수록 상기 AR 정보창들의 크기를 확대하고, 원거리일수록 상기 AR 정보창들의 크기를 축소하는, AR 정보창 표시를 위한 사용자 장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 표시되는 객체들의 밀집도(density)를 고려하여, 상기 밀집도가 낮을수록 상기 AR 정보창들의 크기를 확대하는, AR 정보창 표시를 위한 사용자 장치.
  8. 제1항에 있어서,
    상기 제어부는, 상기 표시되는 객체들의 접근 빈도수를 고려하여, 상기 접근 빈도수가 높을수록 상기 AR 정보창들의 크기를 확대하는, AR 정보창 표시를 위한 사용자 장치.
  9. 제1항에 있어서,
    상기 제어부는, 사용자에 의해 설정된 우선순위를 고려하여, 상기 우선순위가 높을수록 상기 AR 정보창들의 크기를 확대하는, AR 정보창 표시를 위한 사용자 장치.
  10. 제1항에 있어서,
    상기 제어부는, 상기 AR 정보창들 중 동일한 객체에 존재하는 AR 정보창들을 하나로 그룹핑하거나, 상기 AR 정보창들 중 동일한 시선 방향에 위치하는 AR 정보창들을 하나로 그룹핑하거나, 또는, 상기 AR 정보창들 중 동일한 카테고리에 속하는 AR 정보창들을 하나로 그룹핑하는, AR 정보창 표시를 위한 사용자 장치.
  11. 제1항에 있어서,
    상기 제어부는, 상기 AR 정보창들이 서로 겹쳐지는 정도를 고려하여, 상기 AR 정보창들의 표시 형태를 조정하는, AR 정보창 표시를 위한 사용자 장치.
  12. 제11항에 있어서,
    상기 제어부는, 상기 AR 정보창들이 일부 겹쳐서 표시되는 경우, 상기 AR 정보창들 중 뒤에 위치하는 AR 정보창이 실제 보여지는 영역은, 상기 뒤에 위치하는 AR 정보창에 대응하는 객체의 일부에 배치되는, AR 정보창 표시를 위한 사용자 장치.
  13. 제11항에 있어서,
    상기 제어부는, 상기 AR 정보창들 중 가장 앞에 위치하는 AR 정보창과 그 뒤에 위치하는 AR 정보창의 전체 영역이 겹쳐서 표시되는 경우, 상기 가장 앞에 위치하는 AR 정보창의 내부에, 상기 뒤에 위치하는 AR 정보창의 윤곽을 점선으로 표시하는, AR 정보창 표시를 위한 사용자 장치.
  14. 제1항에 있어서,
    상기 제어부는, 상기 객체들의 크기 및 상기 AR 정보창들의 크기를 비교하고, 비교 결과에 따라 상기 AR 정보창들을 상기 객체들이 표시된 영역 및 상기 객체들이 비표시된 영역 중 하나에 배치하는, AR 정보창 표시를 위한 사용자 장치.
  15. 제1항에 있어서,
    상기 제어부는, 상기 AR 정보창들 중 상기 표시부의 포커스 영역-상기 표시부의 중심점을 기준으로 설정된 영역-내에 위치하는 AR 정보창은 진하게 처리하고, 상기 포커스 영역 외에 위치하는 AR 정보창은 흐리게 처리하는, AR 정보창 표시를 위한 사용자 장치.
  16. 제1항에 있어서,
    상기 표시부에 표시된 AR 정보창들 중 타겟 AR 정보창이 선택되면, 상기 제어부는, 상기 타겟 AR 정보창의 상세정보를 보여주기 위한 팝업 메뉴를 생성하는, AR 정보창 표시를 위한 사용자 장치.
  17. 제16항에 있어서,
    상기 팝업 메뉴는 사용자의 명령을 입력받는 아이콘을 포함하며,
    상기 제어부는 상기 아이콘이 선택되면, 상기 아이콘에 대응하는 동작이 수행되도록 하는, AR 정보창 표시를 위한 사용자 장치.
  18. 실제 영상과 상기 실제 영상에 포함된 객체들에 대응하는 AR(Augmented Reality) 정보창들을 표시하는 표시부; 및
    상기 AR 정보창들이 일부 겹쳐서 표시되는 경우, 상기 AR 정보창들을 n개의 그룹으로 구분하고, 상기 n개의 그룹을 상기 객체들과 함께 표시하도록 상기 표시부를 제어하는 제어부
    를 포함하는, AR 정보창 표시를 위한 사용자 장치.
  19. 제18항에 있어서,
    사용자에 의해 상기 n개의 그룹 중 타겟 그룹이 선택되면, 상기 제어부는, 상기 타겟 그룹의 그룹핑을 해제하고, 상기 타겟 그룹에 속하는 AR 정보창들을 해당 객체에 배치하는, AR 정보창 표시를 위한 사용자 장치.
  20. 제19항에 있어서,
    상기 제어부는, 상기 타겟 그룹의 그룹핑이 해제되면, 나머지 그룹들의 AR 정보창들은 흐리게 표시하는, AR 정보창 표시를 위한 사용자 장치.
  21. AR(Augmented Reality) 서비스를 제공하는 사용자 장치의 AR 정보창 표시를 위한 방법에 있어서,
    실제 영상에 포함된 객체들을 판단하는 단계;
    상기 판단된 객체들에 대응하는 AR 정보창들을 생성하는 단계;
    상기 생성된 AR 정보창들의 크기, 표시 위치, 표시 형태 및 색상 중 적어도 하나를 조정하고, 상기 AR 정보창들이 적어도 일부 겹쳐서 표시되거나 상기 AR 정보창들의 개수가 설정된 개수를 초과하는 경우에 상기 AR 정보창들을 하나 이상의 그룹으로 구분하여 상기 AR 정보창들의 배치 형태를 결정하는 단계; 및
    상기 배치 형태가 결정된 AR 정보창들을 상기 객체들과 함께 표시하는 단계
    를 포함하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  22. 제21항에 있어서,
    상기 객체들 중 AR 정보창이 존재하는 의미 객체에 대해, 상기 의미 객체의 AR 정보창을 표시할지를 결정하는 단계
    를 더 포함하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  23. 제21항에 있어서,
    상기 결정하는 단계는, 상기 객체들 중 타겟 객체의 크기와 상기 타겟 객체에 대응하는 타겟 AR 정보창의 크기를 비교하여, 상기 타겟 AR 정보창의 표시 형태를 조정하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  24. 제21항에 있어서,
    상기 결정하는 단계는, 상기 객체들의 실제 위치와 사용자간의 거리, 상기 AR 정보창들의 밀집도, 상기 AR 정보창들의 접근 빈도수 중 적어도 하나를 고려하여, 상기 AR 정보창들의 크기를 확대 또는 축소하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  25. 제21항에 있어서,
    상기 결정하는 단계는, 상기 AR 정보창들 중 동일한 객체에 존재하는 AR 정보창들을 하나로 그룹핑하거나, 상기 AR 정보창들 중 동일한 시선 방향에 위치하는 AR 정보창들을 하나로 그룹핑하거나, 또는, 상기 AR 정보창들 중 동일한 카테고리에 속하는 AR 정보창들을 하나로 그룹핑하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  26. 제21항에 있어서,
    상기 결정하는 단계는, 상기 AR 정보창들이 서로 겹쳐지는 정도를 고려하여, 상기 AR 정보창들의 표시 형태를 조정하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  27. 제21항에 있어서,
    상기 결정하는 단계는, 상기 객체들의 크기 및 상기 AR 정보창들의 크기를 비교하고, 비교 결과에 따라 상기 AR 정보창들을 상기 객체들이 표시된 영역 및 상기 객체들이 비표시된 영역 중 하나에 배치하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
  28. 제21항에 있어서,
    상기 결정하는 단계는, 상기 AR 정보창들 중 상기 사용자 장치의 화면의 포커스 영역에 위치하는 AR 정보창은 진하게 처리하고, 상기 포커스 영역 외에 위치하는 AR 정보창은 흐리게 처리하는, 사용자 장치의 AR 정보창 표시를 위한 방법.
KR1020100077896A 2010-08-12 2010-08-12 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법 KR101329882B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100077896A KR101329882B1 (ko) 2010-08-12 2010-08-12 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US13/185,409 US20120038671A1 (en) 2010-08-12 2011-07-18 User equipment and method for displaying augmented reality window
CN2011102093238A CN102375741A (zh) 2010-08-12 2011-07-25 用于显示增强现实窗口的用户设备和方法
EP11175520A EP2418623A1 (en) 2010-08-12 2011-07-27 User equipment and method for displaying augmented reality window

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100077896A KR101329882B1 (ko) 2010-08-12 2010-08-12 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120015637A KR20120015637A (ko) 2012-02-22
KR101329882B1 true KR101329882B1 (ko) 2013-11-15

Family

ID=44587690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100077896A KR101329882B1 (ko) 2010-08-12 2010-08-12 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법

Country Status (4)

Country Link
US (1) US20120038671A1 (ko)
EP (1) EP2418623A1 (ko)
KR (1) KR101329882B1 (ko)
CN (1) CN102375741A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592311B2 (en) 2019-02-19 2023-02-28 Samsung Electronics Co., Ltd. Method and apparatus for displaying surrounding information using augmented reality

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403156B (zh) * 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
WO2013128078A1 (en) * 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
WO2014031126A1 (en) 2012-08-24 2014-02-27 Empire Technology Development Llc Virtual reality applications
WO2014035367A1 (en) * 2012-08-27 2014-03-06 Empire Technology Development Llc Generating augmented reality exemplars
CN104583983B (zh) * 2012-08-31 2018-04-24 惠普发展公司，有限责任合伙企业 具有可访问的链接的图像的活动区域
KR102059913B1 (ko) * 2012-11-20 2019-12-30 삼성전자주식회사 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
US9535496B2 (en) * 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
US9390561B2 (en) * 2013-04-12 2016-07-12 Microsoft Technology Licensing, Llc Personal holographic billboard
KR102098058B1 (ko) * 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
CN103530026B (zh) * 2013-10-31 2018-05-18 北京国双科技有限公司 网页弹出框定位方法和装置
FR3019333B1 (fr) * 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
EP3112986B1 (en) 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing
CN105630160A (zh) * 2015-12-21 2016-06-01 黄鸣生 虚拟现实使用界面系统
KR101722053B1 (ko) * 2016-03-22 2017-03-31 김영덕 목적별 관심 영상으로 반복 전환하는 안내 장치 및 그 방법
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
KR101865329B1 (ko) 2016-06-23 2018-06-08 충북대학교 산학협력단 Hmd 헤드셋 장치 및 그 입력 방법
CN114236837A (zh) * 2016-12-05 2022-03-25 凯斯西储大学 用于显示交互式增强现实展示的系统、方法和介质
US10515281B1 (en) * 2016-12-29 2019-12-24 Wells Fargo Bank, N.A. Blood vessel image authentication
KR102315341B1 (ko) * 2017-03-17 2021-10-20 삼성전자주식회사 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치
KR102330829B1 (ko) 2017-03-27 2021-11-24 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
US10296080B2 (en) 2017-06-19 2019-05-21 Disney Enterprises, Inc. Systems and methods to simulate user presence in a real-world three-dimensional space
US10391408B2 (en) 2017-06-19 2019-08-27 Disney Enterprises, Inc. Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space
CN107621883B (zh) * 2017-10-18 2020-05-08 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法
CN107864225A (zh) * 2017-12-21 2018-03-30 北京小米移动软件有限公司 基于ar的信息推送方法、装置及电子设备
CN108710307B (zh) * 2018-05-28 2021-11-30 北京小米移动软件有限公司 智能设备的控制方法、装置及计算机可读存储介质
CN108898678B (zh) 2018-07-09 2020-02-21 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10839607B2 (en) 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
WO2020226833A1 (en) 2019-05-06 2020-11-12 Apple Inc. Device, method, and graphical user interface for composing cgr files
CN113508361A (zh) 2019-05-06 2021-10-15 苹果公司 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
CN111954875A (zh) * 2020-02-24 2020-11-17 北京嘀嘀无限科技发展有限公司 用于显示兴趣点的系统和方法
KR102496201B1 (ko) * 2020-08-25 2023-02-07 (주) 사이언스쇼 혼합현실 체험 시스템 및 그 제어방법
CN112287949A (zh) * 2020-11-02 2021-01-29 杭州灵伴科技有限公司 一种基于多个特征信息的ar信息显示方法及ar显示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118019A (ja) 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63291111A (ja) * 1987-05-25 1988-11-29 Fujitsu Ltd 操作ガイダンス出力制御方法
CN100451955C (zh) * 2005-12-29 2009-01-14 腾讯科技（深圳）有限公司 一种单窗口显示多对象的方法和装置
US20100088631A1 (en) * 2008-10-08 2010-04-08 Lonnie Schiller Interactive metro guide map and portal system, methods of operation, and storage medium
KR101099791B1 (ko) 2008-12-29 2011-12-28 한국세라믹기술원 은 나노입자 함유 메조포러스 실리카를 이용한 항균 및 흡습 기능성 원단의 제조방법
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118019A (ja) 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Blaine Bell, Steven Feiner, Tobias Hollerer, "View management for virtual and augmented reality", UIST '01 Proceedings of the 14th annual ACM symposium on User interface software and technology(2001), *
Blaine Bell, Steven Feiner, Tobias Hollerer, "View management for virtual and augmented reality", UIST '01 Proceedings of the 14th annual ACM symposium on User interface software and technology(2001),*
Fan Zhang, Hanqiu Sun, "Dynamic Labeling Management in Virtual and Augmented Environments", Ninth International Conference on Computer Aided Design and Computer Graphics (CAD/CG 2005), December 07, 20 *
Fan Zhang, Hanqiu Sun, "Dynamic Labeling Management in Virtual and Augmented Environments", Ninth International Conference on Computer Aided Design and Computer Graphics (CAD/CG 2005), December 07, 20*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592311B2 (en) 2019-02-19 2023-02-28 Samsung Electronics Co., Ltd. Method and apparatus for displaying surrounding information using augmented reality

Also Published As

Publication number Publication date
KR20120015637A (ko) 2012-02-22
US20120038671A1 (en) 2012-02-16
EP2418623A1 (en) 2012-02-15
CN102375741A (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
KR101329882B1 (ko) Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
US9977590B2 (en) Mobile terminal and method for controlling the same
AU2014201995B2 (en) Objects in screen images
KR101347518B1 (ko) 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US8453072B2 (en) Parameter setting superimposed upon an image
US10545623B2 (en) Information processing device and information processing method to coordinate with a plurality of information processing devices
US10516830B2 (en) Guided image composition on mobile devices
US9282175B2 (en) Mobile terminal and controlling method thereof
US8135440B2 (en) System for using mobile communication terminal as pointer and method and medium thereof
US20200302108A1 (en) Method and apparatus for content management
KR101295712B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
EP2701152A1 (en) Collaborative 3D video object browsing, editing and augmented reality rendering on a mobile
US10389995B2 (en) Apparatus and method for synthesizing additional information while rendering object in 3D graphic-based terminal
US20120038626A1 (en) Method for editing three-dimensional image and mobile terminal using the same
EP2418621A1 (en) Apparatus and method for providing augmented reality information
CN109584374A (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
KR20150059989A (ko) 문서 인식 방법 및 장치
KR20170136797A (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
US9288385B2 (en) Image sharing system and related computer program product
US10120637B2 (en) Mirror display system having low data traffic and method thereof
KR20140129631A (ko) 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법
CN113273167B (zh) 数据处理设备、方法和存储介质
KR101662214B1 (ko) 지도 서비스 제공 방법, 표시 제어 방법 및 상기 방법을 컴퓨터로 실행시키기 위한 컴퓨터 프로그램
KR102135364B1 (ko) 이동 단말기 및 이의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 6