KR20150026375A - 포터블 디바이스 및 그 제어 방법 - Google Patents

포터블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20150026375A
KR20150026375A KR20130105125A KR20130105125A KR20150026375A KR 20150026375 A KR20150026375 A KR 20150026375A KR 20130105125 A KR20130105125 A KR 20130105125A KR 20130105125 A KR20130105125 A KR 20130105125A KR 20150026375 A KR20150026375 A KR 20150026375A
Authority
KR
South Korea
Prior art keywords
virtual image
marker object
speed
portable device
image
Prior art date
Application number
KR20130105125A
Other languages
English (en)
Other versions
KR102161510B1 (ko
Inventor
이도영
김용신
박효림
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130105125A priority Critical patent/KR102161510B1/ko
Priority to US14/142,445 priority patent/US8817047B1/en
Priority to PCT/KR2014/000478 priority patent/WO2015030321A1/en
Priority to EP14840649.9A priority patent/EP3042266B1/en
Priority to CN201480048368.3A priority patent/CN105493004B/zh
Priority to US14/324,822 priority patent/US9361733B2/en
Publication of KR20150026375A publication Critical patent/KR20150026375A/ko
Application granted granted Critical
Publication of KR102161510B1 publication Critical patent/KR102161510B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

포터블 디바이스가 개시된다. 일 실시예에 따른 포터블 디바이스는, 상기 포터블 디바이스 전방의 이미지(image)를 캡처링하는 카메라 유닛; 가상 이미지(virtual image)를 디스플레이하는 디스플레이 유닛; 및 상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 이미지로부터 마커 오브젝트(marker object)를 디텍팅하고, 상기 마커 오브젝트가 디텍팅되는 경우, 상기 마커 오브젝트에 대응하는 상기 가상 이미지에 대한 정보를 획득하고, 상기 가상 이미지를 상기 마커 오브젝트의 위치에 기초하여 디스플레이하되, 상기 이미지에서의 상기 마커 오브젝트의 위치 변화를 디텍팅하고, 상기 위치 변화가 디텍팅되는 경우, 상기 위치 변화에 따라 상기 가상 이미지를 이동시키고, 상기 가상 이미지의 이동 속도인 제 1 이동 속도 또는 상기 마커 오브젝트의 이동 속도인 제 2 이동 속도를 획득하되, 상기 제 1 이동 속도 또는 상기 제 2 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮출 수 있다.

Description

포터블 디바이스 및 그 제어 방법{PORTABLE DEVICE AND CONTROLLING METHOD THEREOF}
본 명세서는 포터블 디바이스에 대한 것으로, 보다 상세하게는 실제 오브젝트에 대한 가상 이미지를 디스플레이하여 AR(Augmented Reality) 서비스를 제공하는 포터블 디바이스 및 그 제어 방법에 관한 것이다.
기술이 발전함에 따라, 포터블 디바이스는 사용자에게 다양한 서비스를 제공할 수 있는 스마트 디바이스로 변화하고 있다. 그리고 최근 포터블 디바이스는 현실 이미지에 가상 이미지를 혼합하여 보여주는 AR 서비스를 제공하는 디바이스로도 활용되고 있다.
이러한 포터블 디바이스는 주변 이미지로부터 디텍팅된 실제 오브젝트에 대응하는 가상 이미지를 실제 오브젝트에 겹쳐(overlap) 디스플레이 하는 방법을 사용하여 AR 서비스를 제공한다.
그런데, 이러한 디스플레이 방법으로 AR 서비스를 제공하면, 실제 오브젝트가 빠른 속도로 이동하는 경우 가상 이미지도 빠른 속도로 이동하게 되므로, 사용자가 가상 이미지를 관찰하거나 가상 이미지에 포함된 정보를 획득하는데 어려움이 따른다.
이에 AR 서비스를 제공함에 있어서, 가상 이미지의 이동 여부 및 이동 속도에 따라 가상 이미지를 디스플레이 하는 방법을 변경하는 포터블 디바이스 및 포터블 디바이스의 제어 방법을 제공할 필요가 존재한다.
전술한 기술적 과제를 해결하기 위하여, 일 실시예에 따른 포터블 디바이스는, 상기 포터블 디바이스 전방의 이미지(image)를 캡처링하는 카메라 유닛; 가상 이미지(virtual image)를 디스플레이하는 디스플레이 유닛; 및 상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 이미지로부터 마커 오브젝트(marker object)를 디텍팅하고, 상기 마커 오브젝트가 디텍팅되는 경우, 상기 마커 오브젝트에 대응하는 상기 가상 이미지에 대한 정보를 획득하고, 상기 가상 이미지를 상기 마커 오브젝트의 위치에 기초하여 디스플레이하되, 상기 이미지에서의 상기 마커 오브젝트의 위치 변화를 디텍팅하고, 상기 위치 변화가 디텍팅되는 경우, 상기 위치 변화에 따라 상기 가상 이미지를 이동시키고, 상기 가상 이미지의 이동 속도인 제 1 이동 속도 또는 상기 마커 오브젝트의 이동 속도인 제 2 이동 속도를 획득하되, 상기 제 1 이동 속도 또는 상기 제 2 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮출 수 있다.
또한, 일 실시예에 따른 포터블 디바이스의 제어 방법은, 포터블 디바이스 전방의 이미지를 캡처링하는 단계; 상기 이미지로부터 마커 오브젝트를 디텍팅하는 단계; 상기 마커 오브젝트가 디텍팅되는 경우, 상기 마커 오브젝트에 대응하는 상기 가상 이미지에 대한 정보를 획득하고, 상기 가상 이미지를 상기 마커 오브젝트의 위치에 기초하여 디스플레이하는 단계; 상기 이미지에서의 상기 마커 오브젝트의 위치 변화를 디텍팅하는 단계; 상기 위치 변화가 디텍팅되는 경우, 상기 위치 변화에 따라 상기 가상 이미지를 이동시키고, 상기 가상 이미지의 이동 속도 또는 상기 마커 오브젝트의 이동 속도를 획득하는 단계; 및 상기 가상 이미지의 이동 속도 또는 상기 마커 오브젝트의 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 상기 가상 이미지의 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 단계를 포함할 수 있다.
일 실시예에 따른 포터블 디바이스는, 사용자 친화적인 AR 서비스를 제공할 수 있다. 보다 구체적으로 포터블 디바이스는, AR 서비스를 제공함에 있어, 마커 오브젝트의 위치 변화에 따라 이동하게 되는 가상 이미지의 이동 속도를 조절함으로써, 마커 오브젝트의 이동 속도에 관계없이 사용자가 가독할 수 있는 가상 이미지를 제공할 수 있다. 또한, 포터블 디바이스는, 가상 이미지의 이동 속도를 조절하는 경우, 가상 이미지의 디스플레이 방법을 변경함으로써, 가상 이미지의 가독성을 더 높일 수 있다. 또한, 포터블 디바이스는, 디텍팅된 가상 이미지의 이동 속도 또는 마커 오브젝트의 크기에 따라 가상 이미지를 계속하여 디스플레이할지 여부를 결정하여 불필요한 가상 이미지의 디스플레이를 중지시킬 수 있으므로, 포터블 디바이스의 전력 소모를 감소시킬 수 있다.
도 1은 일 실시예에 따른 포터블 디바이스의 블록도이다.
도 2는 일 실시예에 따른 전방의 이미지를 캡쳐링하고, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 3은 일 실시예에 따른 디텍팅된 복수의 마커 오브젝트에 대한 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 4는 일 실시예에 따라 마커 오브젝트의 위치 변화가 디텍팅되는 경우를 나타낸 도면이다.
도 5는 일 실시예에 따른 가상 이미지의 이동 속도에 따라, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 6은 일 실시예에 따른 마커 오브젝트의 디텍팅 기간 또는 마커 오브젝트의 디텍팅 크기에 따라, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 7은 일 실시예에 따른 가상 이미지의 이동 속도를 낮추는 경우, 변경된 디스플레이 방법으로 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 8은 일 실시예에 따른 포터블 디바이스의 제어방법의 순서도이다.
도 9는 다른 실시예에 따른 포터블 디바이스의 제어방법의 순서도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서는, 포터블 디바이스에 관한 것이다. 본 명세서에서, 포터블 디바이스는 휴대 가능한 전자 디바이스로서, 디바이스 전방의 이미지를 캡처링하고 캡처링된 이미지로부터 마커 오브젝트를 디텍팅하며 디텍팅된 마커 오브젝트에 관련된 가상 이미지를 디스플레이할 수 있는 전자 디바이스를 의미한다. 예를 들면, 포터블 디바이스는 스마트 폰, 스마트 패드, PDA(Personal Digital Assistant), 태블릿 피씨 또는 스마트 테이블, HMD(Head Mounted Display) 등의 다양한 전자 디바이스일 수 있다.
본 명세서에서, 마커 오브젝트는 관련된 가상 이미지의 존재 여부 또는 가상 이미지의 디스플레이 여부를 나타내는 마커를 포함하는 오브젝트를 의미한다. 이때, 마커는 임의의 오브젝트의 표면에 구비된 약속된 패턴 또는 코드의 형태이거나, 임의의 오브젝트의 형상 자체일 수 있으며, 이러한 시각적인 식별자를 모두 마커라 지칭할 수 있다. 또한, 본 명세서에서, 가상 이미지는 텍스트와 그래픽으로 구성된 이미지로서, 마커 오브젝트에 관련된 증강현실 정보를 사용자에게 제공하기 위한 이미지를 지칭한다. 예를 들면, 마커 오브젝트가 버스인 경우, 가상 이미지는 버스 노선, 배차 간격 또는 다음 버스의 위치에 대한 정보와 같은 증강현실 정보를 사용자에게 제공하기 위한 이미지일 수 있다.
도 1은 일 실시예에 따른 포터블 디바이스의 블록도이다.
도 1을 참조하면, 포터블 디바이스(100)는 카메라 유닛(110), 디스플레이 유닛(130), 센서 유닛(150), 프로세서(170)를 포함한다.
카메라 유닛(110)은 디바이스 전방의 이미지를 캡처링할 수 있다. 보다 상세하게는, 카메라 유닛(110)은 화각(angle of view) 영역 내의 디바이스 전방의 이미지를 캡처링하고, 캡처링된 이미지를 프로세서(170)에 전달할 수 있다. 여기서, 화각은 카메라가 렌즈를 통해서 이미지를 담을 수 있는 각도를 나타낸다. 여기서, 캡처링된 이미지는 사진, 동영상, 정지 화면의 형태일 수 있다. 또한, 캡처링된 이미지는 적어도 하나의 마커 오브젝트를 포함할 수 있다.
디스플레이 유닛(130)은 가상 이미지를 디스플레이 할 수 있다. 보다 상세하게는, 디스플레이 유닛(130)은 프로세서(170)의 제어 명령에 기초하여 가상 이미지를 디스플레이 할 수 있다.
디스플레이 유닛(130)은 불투명 또는 투명 디스플레이 패널을 구비할 수 있다. 이때, 투명 디스플레이 패널은 반투명 디스플레이 패널을 포함하는 의미이다. 예를 들면, 불투명 디스플레이 패널은 액정 디스플레이(LCD), 플라즈마 디스플레이(PDP), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등의 디스플레이 패널일 수 있다. 예를 들면, 투명 디스플레이 패널은 광학적 씨-스루 디스플레이 패널일 수 있다.
센서 유닛(150)은 디바이스에 구비된 적어도 하나의 센싱 수단을 사용하여 사용자 입력 또는 디바이스의 환경을 센싱하고, 센싱 결과를 프로세서(170)로 전달할 수 있다. 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 이미지 센서, GPS(Global Positioning System)센서 및 터치 센서 등의 센싱 수단을 포함할 수 있다. 상술한 센서들은 별도의 엘리먼트로 포터블 디바이스에 포함되거나, 적어도 하나의 엘리먼트로 통합되어 포터블 디바이스에 포함될 수 있다.
스토리지 유닛은 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 포터블 디바이스(100)의 내부 또는 외부에 구비될 수 있다. 예를 들면, 내부 스토리지 유닛은 플래시 메모리, HDD(Hard Disk Drive), SSD(Solid State Drive)와 같은 저장 수단을 이용하여 포터블 디바이스(100) 내부에 구비될 수 있다. 다른 예를 들면, 외부 스토리지 유닛은 클라우드로 표현되는 인터넷 상의 서버를 이용하여 포터블 디바이스(100) 외부에 구비될 수 있다. 이러한 클라우드를 이용한 외부 스토리지 유닛은 서로 다른 물리적인 위치에 존재하는 데이터를 가상화 기술로 통합해 제공할 수 있다.
커뮤니케이션 유닛은 포터블 디바이스(100)의 외부와 다양한 프로토콜을 사용하여 통신을 수행함으로써, 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛은 유선 또는 무선으로 외부 네트워크에 접속하여, 디지털/아날로그 데이터를 송신/수신할 수 있다.
프로세서(170)는 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱할 수 있다. 또한, 프로세서(170)는 상술한 포터블 디바이스(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다.
본 명세서에서 프로세서는, 캡처링된 이미지로부터 마커 오브젝트를 디텍팅하고, 디텍팅된 마커 오브젝트에 대응하는 가상 이미지를 마커 오브젝트의 위치에 기초하여 디스플레이할 수 있다. 또한, 프로세서는 마커 오브젝트의 위치 변화를 디텍팅하고, 위치 변화에 따라 가상 이미지를 이동시키고, 가상 이미지의 이동 속도인 제 1 이동 속도를 획득할 수 있다. 또한, 프로세서는 제 1 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 제 1 이동 속도를 제 1 기준 속도 이하로 낮출 수 있다. 이러한 프로세서에 대한 상세한 설명은 각 도면을 참조하여 이하에서 상세히 설명한다.
도 1은 일 실시예에 따른 포터블 디바이스(100)의 블록도로서, 분리하여 표시된 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수도 있다. 또한, 도 1의 포터블 디바이스(100)는 일 실시예에 해당하는 것으로, 본 명세서의 실시예들의 수행에 도 1에 포함된 모든 엘러먼트들이 필요한 것은 아니다. 이하에서는 본 명세서의 실시예에 필요한 엘러먼트들 및 그들의 동작에 대하여 상세히 설명하도록 한다.
도 2는 일 실시예에 따른 전방의 이미지를 캡쳐링하고, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 2a는 불투명 디스플레이 패널이 구비된 디스플레이 유닛을 포함하는 포터블 디바이스의 실시예이고, 도 2b는 투명 디스플레이 패널이 구비된 디스플레이 유닛을 포함하는 포터블 디바이스의 실시예이다.
도 2a 및 도 2b를 참조하면, 포터블 디바이스(100)는 카메라 유닛을 이용하여 화각(10) 영역 내의 디바이스 전방의 이미지(20)를 캡처링할 수 있다. 이때, 카메라 유닛은, 디바이스 전방의 이미지(20)를 연속적으로 또는 특정 시간 간격으로 캡처링할 수 있다. 예를 들면, 카메라 유닛은, 디바이스 전방의 이미지(20)를 연속적으로 캡처링하고, 동영상 형태의 캡처링된 이미지(20)를 프로세서에 전달할 수 있다. 다른 예를 들면, 카메라 유닛은, 디바이스 전방의 이미지(20)를 특정 시간 간격으로 캡처링하고, 정지 화면 형태의 캡처링된 이미지(20)를 프로세서에 전달할 수 있다.
또한, 포터블 디바이스는(100)는 프로세서를 이용하여 마커 오브젝트(30)를 디텍팅할 수 있다. 예를 들면, 프로세서는, 카메라 유닛을 통해 캡처링된 이미지(20)로부터 마커 오브젝트(30)를 디텍팅하거나, 디스플레이 유닛에 디스플레이되는 이미지(20)에 해당하는 데이터로부터 마커 오브젝트(30)를 디텍팅할 수 있다. 이때, 프로세서는 기저장된 디텍팅 알고리즘을 적용하여 마커 오브젝트(30)를 디텍팅할 수 있다.
또한, 포터블 디바이스는(100)는 프로세서를 이용하여 마커 오브젝트(30)에 관련된 가상 이미지(40)에 대한 정보(이하, 가상 이미지 정보라고도 함)를 획득할 수 있다. 예를 들면, 프로세서는 내부 스토리지 유닛으로부터 가상 이미지 정보를 직접 획득하거나, 커뮤니케이션 유닛을 통해 외부 스토리지 유닛으로부터 가상 이미지 정보를 수신할 수 있다. 이때, 외부 스토리지 유닛은 서로 다른 물리적인 위치에 존재하는 가상 이미지 정보를 가상화 기술로 통합해 유/무선 통신망을 통해 포터블 디바이스로 제공할 수 있다.
여기서, 가상 이미지 정보는 마커 오브젝트에 관련된 증강현실 정보, 디스플레이 모드(display mode)에 대한 정보 또는 그래픽 유저 인터페이스 포맷(graphic user interface format)에 대한 정보 중 적어도 하나의 정보를 포함할 수 있다.
이때, 디스플레이 모드는 디스플레이 대상에 포함되는 증강현실 정보의 양을 결정하는 모드로서, 일반 디스플레이 모드(general display mode)와 심플 디스플레이 모드(simple display mode)로 구분될 수 있다. 일반 디스플레이 모드는 가상 이미지 정보에 포함된 증강현실 정보 모두를 디스플레이 대상으로 포함하는 디스플레이 모드이고, 심플 디스플레이 모드는 가상 이미지 정보에 포함된 증강현실 정보 중 선택된 일부 증강현실 정보만을 디스플레이 대상으로 포함하는 디스플레이 모드이다.
이때, 그래픽 유저 인터페이스 포맷은 가상 이미지를 디스플레이 유닛을 통해 디스플레이하기 위한 유저 인터페이스 포맷을 의미한다. 일 실시예에 따른 그래픽 유저 인터페이스 포맷은 가상 이미지의 디스플레이 위치, 크기, 모양, 색상 또는 투명도에 대한 설정 값 중 적어도 하나를 포함할 수 있다.
또한, 포터블 디바이스는(100)는 프로세서를 이용하여 가상 이미지(40)를 마커 오브젝트(30)의 위치에 기초하여 디스플레이할 수 있다. 예를 들면, 도 2a에서처럼, 프로세서는 가상 이미지(40)를 대응되는 마커 오브젝트(30)의 상측에 디스플레이할 수 있다. 다른 예를 들면, 프로세서는 가상 이미지(40)를 대응되는 마커 오브젝트(30)의 하측, 좌측 또는 우측 등 다양한 위치에 디스플레이할 수 있다. 또 다른 예를 들면, 프로세서는 가상 이미지(40)를 대응되는 마커 오브젝트(40)에 오버랩하여 디스플레이할 수도 있다.
도 2a에서와 같이, 디스플레이 유닛(130)이 불투명 디스플레이 패널을 구비하는 경우, 포터블 디바이스(100)는 캡처링된 이미지(20)와 가상 이미지(40)를 함께 디스플레이 할 수 있다. 도 2b에서와 같이, 디스플레이 유닛(130)이 투명 디스플레이 패널을 구비하는 경우, 포터블 디바이스(100)는 캡처링된 이미지(20)에 대한 디스플레이 없이, 사용자가 보는 실제 환경에 가상 이미지(40)가 오버랩되도록 디스플레이 할 수 있다.
도 3은 일 실시예에 따른 디텍팅된 복수의 마커 오브젝트에 대한 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
보다 상세하게는, 도 3a는 디텍팅된 복수의 마커 오브젝트 전부에 대한 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 3b는 디텍팅된 복수의 마커 오브젝트 중 선택된 마커 오브젝트에 대한 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 3c는 디텍팅된 복수의 마커 오브젝트 중 사용자의 시선 위치에 있는 마커 오브젝트에 대한 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이다.
도 3a 내지 도 3 b에서, 포터블 디바이스가 가상 이미지 정보를 획득하고, 가상 이미지를 마커 오브젝트의 위치에 기초하여 디스플레이하는 구체적인 내용은 도 2에서 상술한 바와 같으므로, 자세한 내용은 생략한다.
도 3a를 참조하면, 복수의 마커 오브젝트(30-1,30-2,30-3,30-4)가 디텍팅되는 경우, 포터블 디바이스는 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 각각에 관련된 가상 이미지 정보를 획득할 수 있다. 그리고, 포터블 디바이스는 획득된 가상 이미지 정보를 이용하여 가상 이미지(40-1,40-2,40-3,40-4)를 대응되는 마커 오브젝트(30-1,30-2,30-3,30-4)의 위치에 기초하여 각각 디스플레이할 수 있다.
도 3b를 참조하면, 복수의 마커 오브젝트(30-1,30-2,30-3,30-4)가 디텍팅되는 경우, 포터블 디바이스는 기설정된 선택 조건에 따라 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 중 특정 마커 오브젝트(30-1,30-2)를 선택하고, 선택된 특정 마커 오브젝트(30-1,30-2)에 관련된 가상 이미지 정보를 획득할 수 있다. 여기서, 선택 조건은 관련 가상 이미지를 디스플레이하는 특정 마커 오브젝트를 선택하기 위한 조건으로서, 마커 오브젝트의 속성, 종류에 대한 정보를 포함할 수 있다. 이러한 선택 조건은 사용자의 입력에 기초하여 설정된 조건일 수 있다. 또한, 선택 정보는 포터블 디바이스에 기저장된 조건일 수 있다.
예를 들면, 도 3b에서처럼, 마커 오브젝트의 이동성이 선택 조건으로 설정되 경우, 포터블 디바이스는 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 중 이동성을 갖는 특정 마커 오브젝트(30-1,30-2)를 선택하고, 선택된 특정 마커 오브젝트(30-1,30-2)에 관련된 가상 이미지 정보를 획득할 수 있다. 그리고, 포터블 디바이스는 획득된 가상 이미지 정보를 이용하여 가상 이미지(40-1,40-2)를 대응되는 특정 마커 오브젝트(30-1,30-2) 위치에 기초하여 각각 디스플레이할 수 있다.
도 3c를 참조하면, 복수의 마커 오브젝트(30-1,30-2,30-3,30-4)가 디텍팅되는 경우, 포터블 디바이스는 센서 유닛(150)을 통한 사용자의 시선에 대한 센싱 결과를 이용하여 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 중 센싱된 시선 위치에 있는 마커 오브젝트(30-1)를 디텍팅할 수 있다.
예를 들면, 도 3b에서처럼, 포터블 디바이스는 디텍팅된 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 중 센싱된 시선 위치 또는 그 근접 영역에 있는 하나의 마커 오브젝트(30-1)를 디텍팅할 수 있다. 그리고, 포터블 디바이스는 일부 마커 오브젝트(30-1)에 대한 가상 이미지 정보를 획득하고, 획득된 가상 이미지 정보를 이용하여 가상 이미지(40-1)를 대응되는 마커 오브젝트(30-1)의 위치에 기초하여 디스플레이할 수 있다.
다른 예를 들면, 포터블 디바이스는 디텍팅된 복수의 마커 오브젝트(30-1,30-2,30-3,30-4) 중 센싱된 시선 위치로부터 기설정된 거리 내에 있는 복수의 마커 오브젝트(30-1,30-3)를 디텍팅할 수도 있다. 그리고, 포터블 디바이스는 일부 마커 오브젝트(30-1, 30-3)에 대한 가상 이미지 정보를 획득하고, 획득된 가상 이미지 정보를 이용하여 가상 이미지(40-1, 40-3)를 대응되는 마커 오브젝트(30-1, 30-3)의 위치에 기초하여 각각 디스플레이할 수 있다.
도 4는 일 실시예에 따라 마커 오브젝트의 위치 변화가 디텍팅되는 경우를 나타낸 도면이다. 마커 오브젝트의 위치 변화는 마커 오브젝트의 절대적인 위치 변화 또는 포터블 디바이스와 마커 오브젝트 간의 상대적인 위치 변화로 인하여 발생할 수 있다.
도 4a는 마커 오브젝트의 절대적인 위치 변화에 대한 실시예이고, 도 4b는 마커 오브젝트의 상대적인 위치 변화에 대한 실시예이다. 이때, 프로세서는 기저장된 디텍팅 알고리즘 또는 트래킹 알고리즘을 적용하여 마커 오브젝트(30)의 위치 변화를 디텍팅할 수 있다. 또한, 포터블 디바이스는 센서 유닛을 통한 마커 오브젝트의 위치 및 방향에 대한 센싱 결과를 이용하여 마커 오브젝트의 절대적인 위치 변화와 상대적인 위치 변화를 구분하여 판단할 수 있고, 각각의 경우에 대응되는 데이터 처리를 수행할 수 있다.
도 4a에서, 마커 오브젝트(30)는 이동 중이고, 포터블 디바이스(100)는 정지 상태이므로, 포터블 디바이스(100)는 마커 오브젝트(30)의 절대적인 위치 변화를 디텍팅할 수 있다.
예를 들면, 포터블 디바이스(100)는 프로세서를 이용하여, 카메라 유닛을 통해 캡처링된 이미지로부터 마커 오브젝트(30)의 절대적인 위치 변화를 디텍팅할 수 있다. 다른 예를 들면, 포터블 디바이스(100)는 프로세서를 이용하여, 디스플레이 유닛(130)에 디스플레이하는 이미지에 해당하는 데이터로부터 마커 오브젝트(30)의 절대적인 위치 변화를 디텍팅할 수 있다. 이때, 마커 오브젝트(30)는 버스, 지하철 등과 같이 이동 가능한 오브젝트일 수 있다.
도 4b에서, 마커 오브젝트(30)는 정지 상태이고, 포터블 디바이스(100)는 이동 중인 상태이므로, 포터블 디바이스(100)는 마커 오브젝트(30)의 상대적인 위치 변화를 디텍팅할 수 있다.
예를 들면, 포터블 디바이스(100)는 프로세서를 이용하여, 카메라 유닛을 통해 캡처링된 이미지로부터 마커 오브젝트(30)의 상대적인 위치 변화를 디텍팅할 수있다. 다른 예를 들면, 포터블 디바이스(100)는 프로세서를 이용하여, 디스플레이 유닛(130)에 디스플레이하는 이미지에 해당하는 데이터로부터 마커 오브젝트(30)의 상대적인 위치 변화를 디텍팅할 수 있다. 이때, 마커 오브젝트(30)는 건물, 버스 정류장 안내판 등과 같이 GPS로 위치가 고정되는 오브젝트일 수 있다.
여기서, 포터블 디바이스(100)의 이동은 디바이스를 들고 있거나, 착용한 사용자의 이동에 기초할 수 있다. 또한, 포터블 디바이스(100)의 이동은 디바이스를 들고 있거나, 착용한 사용자가 탑승한 버스 등과 같은 운송 수단의 이동에 기초할 수 있다.
이처럼, 마커 오브젝트(30)의 위치 변화가 디텍팅되는 경우, 포터블 디바이스(100)는 프로세서를 이용하여, 마커 오브젝트(30)의 위치 변화에 따라 가상 이미지(40)를 이동시키고, 가상 이미지(40)의 이동 속도(제 1 이동 속도라고도 함)를 획득할 수 있다. 이때, 프로세서는 디스플레이 유닛(130)에 디스플레이된 이미지로부터 가상 이미지(40)의 이동 속도를 획득할 수 있다.
또한, 프로세서는 마커 오브젝트(30)의 이동 속도(제 2 이동 속도라고도 함)를 더 획득할 수 있다. 이때, 프로세서는 카메라 유닛을 통해 캡처링된 이미지 또는 디스플레이 유닛(130)을 통해 디스플레이된 이미지로부터 마커 오브젝트(30)의 이동 속도를 획득할 수 있다. 이때, 프로세서는 마커 오브젝트(30)의 절대적인 위치 변화가 디텍팅된 경우에만, 마커 오브젝트(30)의 이동 속도를 획득할 수도 있다.
또한, 마커 오브젝트의 위치 변화가 디텍팅되는 경우, 프로세서는 가상 이미지의 가속도(제 1 이동 가속도라고도 함) 또는 마커 오브젝트의 가속도(제 2 이동 가속도라고도 함)를 더 획득할 수 있다.
도 5는 일 실시예에 따른 가상 이미지의 이동 속도에 따라, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다. 도 5는 각 시간(t1, t2, t3, t4)에 디스플레이 유닛을 통해 디스플레이되는 가상 이미지의 모습을 보여주고, 각 시간(t1, t2, t3, t4) 사이의 간격은 동일하다.
도 5a는 가상 이미지의 이동 속도가 제 1 기준 속도보다 느린 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 5b는 가상 이미지의 이동 속도가 제 1 기준 속도보다 빠르고 제 2 기준 속도보다 느린 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 5c는 가상 이미지의 이동 속도가 제 2 기준 속도보다 빠른 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 5d는 가상 이미지의 이동 속도는 제 1기준 속도보다 빠르나 가상 이미지의 가속도는 음의 가속도인 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이다.
도 5a에서, 각 시간(t1, t2, t3)에서의 가상 이미지(40)의 이동 속도는 제 1 기준 속도보다 느리다. 이 경우, 포터블 디바이스는 마커 오브젝트(30)의 위치 변화에 따라 가상 이미지(40)를 이동시키고, 가상 이미지(40)를 계속하여 마커 오브젝트(30)와 인접한 위치에 디스플레이할 수 있다.
여기서, 제 1 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지를 가독하기 위하여 요구되는 최저 속도를 지칭한다. 즉, 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 느리면 사용자는 가상 이미지(40)를 충분히 가독할 수 있으나, 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 빠르면 사용자는 가상 이미지(40)를 충분히 가독할 수 없다.
제 1 기준 속도는 디스플레이 영역과 가상 이미지의 크기 비율, 가상 이미지에 포함된 증강현실 정보의 양 또는 디스플레이 유닛의 해상도 중 적어도 하나에 기초하여 설정될 수 있다. 예를 들면, 가상 이미지의 크기에 비해 디스플레이 영역의 크기가 클수록, 가상 이미지에 포함된 증강현실 정보의 양이 적을수록, 디스플레이 유닛의 해상도가 높을수록 제 1 기준 속도 값이 커진다. 이러한 제 1 기준 속도는 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
도 5b에서, 각 시간(t1, t2, t3)에서의 가상 이미지(40)의 이동 속도는 제 1 기준 속도보다 빠르고 제 2 기준 속도보다 느리다. 이 경우, 포터블 디바이스는 가상 이미지(40)의 이동 속도를 제 1 기준 속도 이하로 낮출 수 있다. 또한, 가상 이미지(40)의 이동 속도를 제 1 기준 속도 이하로 낮추는 경우, 포터블 디바이스는 그래픽 유저 인터페이스 포맷을 변경하며, 변경된 그래픽 유저 인터페이스 포맷에 따라 가상 이미지를 디스플레이할 수 있다. 이에 대하여는 도 7에서 상세히 설명한다.
여기서, 제 2 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지(40)를 가독하기 위하여 요구되는 최대 속도를 지칭한다. 즉, 가상 이미지(40)의 이동 속도가 제 2 기준 속도보다 빠르면, 사용자가 가상 이미지(40)를 충분히 가독하는 것이 불가능하거나 불필요하므로, 포터블 디바이스는 가상 이미지(40)의 디스플레이를 중지할 수 있다.
제 2 기준 속도는 디스플레이 영역과 가상 이미지의 크기 비율, 가상 이미지에 포함된 증강현실 정보의 양 또는 디스플레이 유닛의 해상도 중 적어도 하나에 기초하여 설정될 수 있다. 예를 들면, 가상 이미지의 크기에 비해 디스플레이 영역의 크기가 클수록, 가상 이미지에 포함된 증강현실 정보의 양이 적을수록, 디스플레이 유닛의 해상도가 높을수록 제 2 기준 속도 값이 커진다. 이러한 제 1 기준 속도는 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
도 5c에서, 각 시간(t1, t2, t3)에서의 가상 이미지(40)의 이동 속도는 제 2 기준 속도보다 빠르다. 이 경우, 사용자가 가상 이미지(40)를 충분히 가독하는 것이 불가능하거나 불필요하므로, 포터블 디바이스는 가상 이미지(40)의 디스플레이를 중지할 수 있다. 이때, 포터블 디바이스는 가상 이미지(40)를 서서히 사라지게 하는 방법(fade out)으로 가상 이미지(40)의 디스플레이를 중지시킬 수 있다.
도 5a 내지 5c는 가상 이미지(40)의 이동 속도가 일정한 속도인 경우를 도시하고 있으나, 이에 한정되지 아니하고 가상 이미지(40)의 이동 속도는 계속하여 변할 수 있다. 따라서, 포터블 디바이스는 실시간으로 가상 이미지(40)의 이동 속도를 획득하고, 이동 속도에 따른 상술한 데이터 처리를 실시간으로 수행할 수 있다. 또한, 포터블 디바이스는 기설정된 시간 간격으로 가상 이미지(40)의 이동 속도를 획득하고, 이동 속도에 따른 상술한 데이터 처리를 기설정된 시간 간격으로 수행할 수 있다.
그리고, 도 5a 내지 5c는 가상 이미지(40)의 이동 속도에 기초하여 설명하고 있으나, 마커 오브젝트(30)의 이동 속도가 획득된 경우에도 동일한 설명이 적용될 수 있다. 즉, 마커 오브젝트(30)의 이동 속도가 제 1 기준 속도보다 느린 경우, 포터블 디바이스는 마커 오브젝트(30)의 위치 변화에 따라 가상 이미지(40)를 이동시키고, 가상 이미지(40)를 계속하여 마커 오브젝트(30)와 인접한 위치에 디스플레이할 수 있다. 또한, 마커 오브젝트(30)의 이동 속도가 제 1 기준 속도보다 빠르고 제 2 기준 속도보다 느린 경우, 포터블 디바이스는 가상 이미지(40)의 이동 속도를 제 1 기준 속도 이하로 낮출 수 있다. 또한, 마커 오브젝트(30)의 이동 속도가 제 2 기준 속도보다 빠른 경우, 포터블 디바이스는 가상 이미지(40)의 디스플레이를 중지할 수 있다.
도 5d에서, 각 시간(t1, t2)에서의 가상 이미지(40)의 이동 속도는 제 1 기준 속도보다 빠르고, 시간(t2)에서의 가상 이미지(40)의 이동 가속도는 음의 가속도이고, 각 시간(t3, t4)에서의 가상 이미지(40)의 이동 속도는 제 1 기준 속도보다 느리다.
시간(t2)에서와 같이, 가상 이미지(40)의 이동 속도는 제 1 기준 속도보다 빠르나 가상 이미지(40)의 이동 가속도가 음의 가속도인 경우, 포터블 디바이스는 가속도의 크기에 기초하여 이동 속도를 제 1 기준 속도 이하로 낮출지 여부를 결정하고, 결정된 결과에 따라 가상 이미지(40)를 디스플레이할 수 있다. 예를 들면, 가상 이미지(40)의 이동 가속도가 기설정된 크기 이상인 음의 가속도를 갖는 경우, 현 시점에서의 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 빠르더라도 짧은 시간 내에 이동 속도가 제 1 기준 속도보다 느리게 될 것이므로, 포터블 디바이스는 가상 이미지(40)의 이동 속도를 낮추지 않을 수 있다.
이때, 기설정된 크기는 디스플레이 영역과 가상 이미지의 크기 비율, 가상 이미지에 포함된 증강현실 정보의 양 또는 디스플레이 유닛의 해상도 중 적어도 하나에 기초하여 설정될 수 있다. 또한, 기설정된 크기는 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
도 5d에 도시된 바와 달리, 가상 이미지(40)의 이동 속도 및 가상 이미지(40)의 이동 가속도는 계속하여 변할 수 있다. 따라서, 포터블 디바이스는 실시간으로 가상 이미지(40)의 이동 속도 및 가상 이미지(40)의 이동 가속도를 획득하고, 이동 속도 및 이동 가속도에 따른 상술한 데이터 처리를 실시간으로 수행할 수 있다. 또한, 포터블 디바이스는 기설정된 시간 간격으로 가상 이미지(40)의 이동 속도 및 가상 이미지(40)의 이동 가속도를 획득하고, 이동 속도 및 이동 가속도에 따른 상술한 데이터 처리를 기설정된 시간 간격으로 수행할 수 있다.
그리고, 도 5d는 가상 이미지(40)의 이동 속도 및 가상 이미지(40)의 이동 가속도에 기초하여 설명하고 있으나, 마커 오브젝트(30)의 이동 속도 및 마커 오브젝트(30)의 이동 가속도가 획득된 경우에 대하여도 동일한 설명이 적용될 수 있다. 즉, 마커 오브젝트(30)의 이동 속도는 제 1 기준 속도보다 빠르나 마커 오브젝트(30)의 이동 가속도가 음의 가속도인 경우, 포터블 디바이스는 가속도의 크기에 기초하여 가상 이미지(30)의 이동 속도를 제 1 기준 속도 이하로 낮출지 여부를 결정하고, 결정된 결과에 따라 가상 이미지(40)를 디스플레이할 수 있다. 예를 들면, 마커 오브젝트(30)의 이동 가속도가 기설정된 크기 이상인 음의 가속도를 갖는 경우, 현 시점에서의 마커 오브젝트(30)의 이동 속도가 제 1 기준 속도보다 빠르더라도 짧은 시간 내에 이동 속도가 제 1 기준 속도보다 느리게 될 것이므로, 포터블 디바이스는 가상 이미지(40)의 이동 속도를 낮추지 않을 수 있다.
도 6은 일 실시예에 따른 마커 오브젝트의 디텍팅 기간(이하 디텍팅 기간) 또는 마커 오브젝트의 디텍팅 크기(이하 디텍팅 크기)에 따라, 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다. 도 6는 각 시간(t1, t2, t3)에 디스플레이 유닛을 통해 디스플레이되는 가상 이미지의 모습을 보여주고, 각 시간(t1, t2, t3) 사이의 간격은 동일하다.
도 6a는 디텍팅 기간이 기준 기간보다 짧은 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이고, 도 6b는 디텍팅 크기가 기준 크기보다 작은 경우 가상 이미지를 디스플레이하는 포터블 디바이스의 실시예이다.
도 6a에서, 각 시간(t1, t2, t3)에서의 가상 이미지(40)의 이동 속도 또는 마커 오브젝트(30)의 이동 속도는 제 1 기준 속도보다 느리지만, 마커 오브젝트(30)의 디텍팅 기간은 기준 기간보다 짧다. 이 경우, 포터블 디바이스는 마커 오브젝트(30)의 디텍팅이 종료된 시간(t2) 이후 기설정된 시간 동안 가상 이미지(40)를 더 디스플레이할 수 있다. 이때, 기설정된 시간은 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
일 실시예에 따르면, 시간(t3)에서처럼, 포터블 디바이스는 마커 오브젝트(30)의 디텍팅이 종료된 시간(t2) 이후 기설정된 시간 동안 가상 이미지(40)를 마커 오브젝트(30)의 디텍팅이 종료된 위치에 정지 상태로 디스플레이할 수 있다. 다른 실시예에 따르면, 포터블 디바이스는 그래픽 유저 인터페이스 포맷을 변경하며, 변경된 그래픽 유저 인터페이스 포맷에 따라 가상 이미지(40)를 디스플레이할 수 있다. 이에 대하여는 도 7에서 상세히 설명한다.
여기서, 기준 기간은 기설정된 시간으로서, 이동하는 가상 이미지를 충분히 가독하기 위하여 요구되는 최저 시간을 지칭한다. 즉, 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 느린 경우에도, 마커 오브젝트(30)의 디텍팅 기간이 기준 기간보다 짧으면, 사용자는 가상 이미지를 충분히 가독할 수 없다.
이러한 기준 기간은 화각 영역과 마커 오브젝트의 크기 비율, 가상 이미지에 포함된 증강현실 정보의 양 또는 디스플레이 유닛의 해상도 중 적어도 하나에 기초하여 설정될 수 있다. 예를 들면, 가상 이미지의 크기에 비해 화각 영역의 크기가 클수록, 가상 이미지에 포함된 증강현실 정보의 양이 적을수록, 디스플레이 유닛의 해상도가 높을수록 기준 기간의 값이 커질 수 있다. 또한, 기준 기간은 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
도 6b에서, 각 시간(t1, t2, t3, t4)에서의 가상 이미지(40)의 이동 속도 또는 마커 오브젝트(30)의 이동 속도는 제 1 기준 속도보다 느리지만, 시간 (t3, t4)에서 마커 오브젝트(30)의 디텍팅 크기는 기준 크기보다 짧다. 이 경우, 포터블 디바이스는 가상 이미지(40)의 디스플레이를 중지할 수 있다.
여기서, 기준 크기는 기설정된 크기로서, 가상 이미지를 디스플레이하기 위하여 요구되는 마커 오브젝트의 최저 크기를 지칭한다. 즉, 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 느린 경우에도, 마커 오브젝트(30)의 디텍팅 크기가 기준 크기보다 작으면, 디텡팅된 마커 오브젝트(30)에 대한 가상 이미지(40)를 디스플레이할 필요가 없을 정도로 마커 오브젝트(30)가 사용자의 시야에서 멀어진 경우에 해당하므로, 포터블 디바이스는 가상 이미지(40)의 디스플레이를 중지할 수 있다.
이러한 기준 크기는 화각 영역과 마커 오브젝트의 크기 비율, 가상 이미지에 포함된 증강현실 정보의 양 또는 디스플레이 유닛의 해상도 중 적어도 하나에 기초하여 설정될 수 있다. 예를 들면, 가상 이미지의 크기에 비해 화각 영역의 크기가 클수록, 가상 이미지에 포함된 증강현실 정보의 양이 적을수록, 디스플레이 유닛의 해상도가 높을수록 기준 크기의 값이 커질 수 있다. 또한, 기준 크기는 사용자의 설정에 따라 다양한 값으로 설정될 수 있으며, 다양한 방법으로 설정될 수 있다.
도 6a 및 6b에서는 가상 이미지(40)의 이동 속도 또는 마커 오브젝트(30)의 이동 속도가 제 1 기준 속도보다 느린 경우로 가정하여 설명하고 있으나, 설정에 따라서 가상 이미지(40)의 이동 속도가 제 1 기준 속도보다 빠른 경우에도 동일한 설명이 적용될 수 있다.
도 7은 일 실시예에 따른 가상 이미지의 이동 속도를 낮추는 경우, 변경된 디스플레이 방법으로 가상 이미지를 디스플레이하는 포터블 디바이스를 나타낸 도면이다.
도 7a를 참조하면, 가상 이미지(30)의 이동 속도를 제 1 기준 속도 이하로 낮추는 경우, 포터블 디바이스는 프로세서를 이용하여 마커 오브젝트(30)에 대응하는 가상 마커 오브젝트(virtual object; 50)를 획득하고, 획득된 가상 마커 오브젝트(50)를 가상 이미지(40)와 함께 디스플레이 유닛(130-1)에 디스플레이할 수 있다.
이때, 포터블 디바이스는 내부 스토리지 유닛 또는 외부 스토리지 유닛으로부터 가상 마커 오브젝트(50)를 획득할 수 있다. 여기서, 가상 마커 오브젝트(50)는 마커 오브젝트(30)에 대응하는 가상 오브젝트를 의미한다. 이때, 가상 마커 오브젝트(50)의 모양, 색, 투명도, 위치 등은 사용자의 입력에 따라 다양하게 설정될 수 있고, 기저장된 방법에 의하여 설정될 수도 있으며, 다양한 방법으로 설정될 수 있다.
이처럼 포터블 디바이스가, 가상 마커 오브젝트(50)를 가상 이미지(40)와 함께 디스플레이하는 경우, 마커 오브젝트(30)가 시야를 벗어나는 경우에도, 가상 이미지(40)가 어떤 마커 오브젝트(40)에 대응되는지를 나타내 줄 수 있다는 점에서 유용하다.
또한, 포터블 디바이스는 가상 마커 오브젝트와 대응되는 마커 오브젝트의 연결 관계를 나타내는 인디케이터를 더 디스플레이 할 수 있다.
도 7b를 참조하면, 가상 이미지(30)의 이동 속도를 제 1 기준 속도 이하로 낮추는 경우, 포터블 디바이스는 프로세서를 이용하여 가상 이미지(40)와 이에 대응되는 마커 오브젝트(30)의 연결 관계를 나타내는 인디케이터(indicator; 60)를 디스플레이 유닛(130-2)에 더 디스플레이할 수 있다. 이때, 인디케이터의 모양, 색, 위치 등은 사용자의 입력에 따라 다양하게 설정될 수 있고, 기저장된 방법에 의하여 설정될 수도 있으며, 다양한 방법으로 설정될 수 있다.
이처럼 포터블 디바이스가, 인디케이터(60)를 더 디스플레이하는 경우, 마커 오브젝트(30)와 가상 이미지(40)의 위치가 멀어지는 경우에도, 가상 이미지(40)가 어떤 마커 오브젝트(30)에 대응되는지를 나타내 줄 수 있다는 점에서 유용하다.
도 7c를 참조하면, 가상 이미지(30)의 이동 속도를 제 1 기준 속도 이하로 낮추는 경우, 포터블 디바이스는 프로세서를 이용하여 가상 이미지(40)를 심플 디스플레이 모드로 디스플레이 유닛(130-3)에 디스플레이할 수 있다. 여기서, 심플 디스플레이 모드는 상술한 바와 같이 가상 이미지에 포함된 마커 오브젝트에 관련된 증강현실 정보들 중 선택된 일부 증강현실 정보만을 디스플레이 대상으로 포함하는 디스플레이 모드이다.
이때, 프로세서는 기정의된 우선 순위에 따라 증강현실 정보들 중 일부 증강현실 정보만을 선택할 수 있다. 예를 들면, 증강현실 정보가 버스 노선, 다음 버스의 위치, 배차 간격에 대한 정보를 포함하고, 버스 노선, 다음 버스의 위치, 배차 간격 순으로 우선 순위가 정해진 경우, 프로세서는 제 1 및 제 2 우선 순위를 갖는 버스 노선, 다음 버스의 위치에 대한 증강현실 정보만을 선택하여 디스플레이 할 수 있다. 여기서, 우선 순위는 사용자의 입력에 따라 다양하게 정의될 수 있고, 기설정된 방법에 의하여 정의될 수도 있으며, 다양한 방법으로 정의될 수 있다.
이처럼 포터블 디바이스가 적은 양의 증강현실 정보를 포함하는 가상 이미지를 디스플레이하는 경우, 가상 이미지의 이동 속도가 빠른 경우에도, 가상 이미지에 대한 사용자의 가독성을 높일 수 있다는 장점을 갖는다.
도 7d를 참조하면, 이동 속도를 제 1 기준 속도 이하로 낮추는 경우, 프로세서는 그래픽 유저 인터페이스 포맷을 변경하고, 변경된 그래픽 유저 인터페이스 포맷에 따라 가상 이미지(40)를 디스플레이 유닛(130-4)에 디스플레이할 수 있다. 도 7d에서는 가상이미지의 디스플레이 색상에 대한 그래픽 유저 인터페이스 포맷을 변경하여 가상 이미지(40)를 디스플레이하는 모습을 도시하였으나, 그래픽 유저 인터페이스 포맷은 상술한 바와 같이 가상 이미지(40)의 디스플레이 위치, 크기, 색상 또는 투명도에 대한 설정 값을 포함할 수 있다. 여기서, 그래픽 유저 인터페이스 포맷은 사용자의 입력에 따라 다양하게 설정될 수 있고, 기저장된 방법에 의하여 설정될 수도 있으며, 다양한 방법으로 설정될 수 있다.
이처럼 포터블 디바이스가, 그래픽 유저 인터페이스 포맷을 변경하여 가상 이미지의 크기를 줄이는 방식 등으로 가상 이미지를 디스플레이하는 경우, 가상 이미지의 이동 속도가 빠른 경우에도, 가상 이미지에 대한 사용자의 가독성을 높일 수 있다는 점에서 유용하다.
도 7에서는 가상 이미지의 이동 속도를 낮추는 경우에 대한 실시예들을 도시하였으나, 이에 한정되지 아니하고 가상 이미지를 정지 상태로 디스플레이하는 경우에도 동일한 실시예가 적용될 수 있다.
도 8은 일 실시예에 따른 포터블 디바이스의 제어방법의 순서도이다.
먼저, 포터블 디바이스는 디바이스 전방의 이미지를 캡처링할 수 있다(S810). 도 2에서 상술한 바와 같이, 포터블 디바이스는 카메라 유닛을 통해 화각 영역 내의 디바이스 전방의 이미지를 캡처링하고, 캡처링된 이미지를 프로세서로 전달할 수 있다. 이때, 카메라 유닛은, 디바이스 전방의 이미지를 연속적으로 또는 특정 시간 간격으로 캡처링할 수 있다.
또한, 포터블 디바이스는 캡처링된 이미지로부터 마커 오브젝트를 디텍팅할 수 있다(S820).
도 2에서 상술한 바와 같이, 포터블 디바이스는 카메라 유닛을 통해 캡처링된 이미지로부터 마커 오브젝트를 디텍팅할 수 있다. 또한, 포터블 디바이스는 디스플레이 유닛에 디스플레이하는 이미지에 해당하는 데이터로부터 마커 오브젝트를 디텍팅할 수 있다.
또한, 포터블 디바이스는 마커 오브젝트가 디텍팅되는 경우, 마커 오브젝트에 관련된 가상 이미지에 대한 가상 이미지 정보를 획득하고, 가상 이미지를 마커 오브젝트의 위치에 기초하여 디스플레이할 수 있다(S830).
도 2에서 상술한 바와 같이, 포터블 디바이스는 내부 스토리지 유닛 또는 외부 스토리지 유닛으로부터 가상 이미지 정보를 획득할 수 있다. 여기서, 가상 이미지 정보는 마커 오브젝트에 관련된 증강현실 정보, 디스플레이 모드(display mode)에 대한 정보 또는 그래픽 유저 인터페이스 포맷(graphic user interface format)에 대한 정보 중 적어도 하나의 정보를 포함할 수 있으며, 자세한 내용은 상술한 바와 같다. 그리고, 도 3에서 상술한 바와 같이, 포터블 디바이스는 선택된 마커 오브젝트 또는 사용자의 시선 위치에 있는 특정 마커 오브젝트에 대한 가상 이미지 정보를 획득하고, 이러한 특정 마커 오브젝트에 대응하는 가상 이미지만을 디스플레이할 수 있다.
또한, 포터블 디바이스는 캡쳐링된 이미지에서의 마커 오브젝트의 위치 변화를 디텍팅할 수 있다(S840). 도 4에서 상술한 바와 같이, 포터블 디바이스는 카메라 유닛을 통해 캡처링된 이미지 또는 디스플레이 유닛에 디스플레이하는 이미지에 해당하는 데이터로부터, 마커 오브젝트의 절대적인 위치 변화 또는 디바이스와 마커 오브젝트 간의 상대적인 위치 변화를 디텍팅할 수 있다. 또한, 포터블 디바이스는 센서 유닛을 통한 마커 오브젝트의 위치 및 방향에 대한 센싱 결과를 이용하여 마커 오브젝트의 절대적인 위치 변화와 상대적인 위치 변화를 구분하여 판단할 수 있고, 각각의 경우에 대응되는 데이터 처리를 수행할 수 있다.
또한, 포터블 디바이스는 마커 오브젝트의 위치 변화가 디텍팅되는 경우, 위치 변화에 따라 가상 이미지를 이동시키고, 가상 이미지의 이동 속도를 획득할 수 있다(S850).
도 5에서 상술한 바와 같이, 포터블 디바이스는 마커 오브젝트의 위치 변화에 따라 가상 이미지를 이동시키고, 가상 이미지를 계속하여 마커 오브젝트와 인접한 위치에 디스플레이할 수 있다. 그리고, 포터블 디바이스는 마커 오브젝트에 대한 이동 속도를 더 획득할 수 있다. 나아가, 포터블 디바이스는 가상 이미지의 가속도 및 마커 오브젝트의 가속도를 더 획득할 수 있다.
또한, 포터블 디바이스(100)는 가상 이미지의 이동 속도가 제 1 기준 속도보다 빠른지 여부를 판단할 수 있다(S860).
도 5에서 상술한 바와 같이, 포터블 디바이스는 가상 이미지의 이동 속도가 제 2 기준 속도보다 빠른지 여부를 더 판단할 수 있다. 또한, 포터블 디바이스는 마커 오브젝트의 이동 속도가 제 1 기준 속도 또는 제 2 기준 속도보다 빠른지 여부를 더 판단할 수 있다. 여기서, 제 1 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지를 가독하기 위하여 요구되는 최저 속도를 지칭하고, 제 2 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지(40)를 가독하기 위하여 요구되는 최대 속도를 지칭하며, 자세한 내용은 상술한 바와 같다.
또한, 포터블 디바이스(100)는 가상 이미지의 이동 속도가 제 1 기준 속도보다 빠른 경우, 가상 이미지의 이동 속도를 제 1 기준 속도 이하로 낮출 수 있다(S870).
이에 대하여는 도 6에 상술한 내용과 동일하다. 또한 도 7에서 상술한 바와 같이, 포터블 디바이스는 가상 이미지의 이동 속도를 낮추는 경우, 가상 마커 오브젝트 또는 인디케이터를 더 디스플레할 수 있다. 또한, 포터블 디바이스는 가상 이미지의 이동 속도를 낮추는 경우, 디스플레이 모드 또는 그래픽 유저 인터페이스 포맷을 변경하여 디스플레이 할 수 있다. 이러한 디스플레이 방법을 통해 가상 이미지에 대한 사용자의 가독성을 높일 수 있다.
도 9은 다른 실시예에 따른 포터블 디바이스의 제어방법의 순서도이다.
먼저, 포터블 디바이스는 디바이스 전방의 이미지를 캡처링할 수 있다(S910). 그리고, 포터블 디바이스는 캡처링된 이미지로부터 마커 오브젝트를 디텍팅할 수 있다(S920). 그리고, 포터블 디바이스는 마커 오브젝트가 디텍팅되는 경우, 마커 오브젝트에 관련된 가상 이미지에 대한 가상 이미지 정보를 획득하고, 가상 이미지를 마커 오브젝트의 위치에 기초하여 디스플레이할 수 있다(S930). 그리고, 포터블 디바이스는 캡쳐링된 이미지에서의 마커 오브젝트의 위치 변화를 디텍팅할 수 있다(S940). S910 내지 S940에 대한 설명은 도 8에서 상술한 S810 내지 S840의 내용과 동일하므로 자세한 설명은 생략한다.
또한, 포터블 디바이스는 마커 오브젝트의 위치 변화가 디텍팅되는 경우, 위치 변화에 따라 가상 이미지를 이동시키고, 가상 이미지의 이동 속도 또는 마커 오브젝트의 이동 속도를 획득할 수 있다(S950). 즉, 도 5에서 상술한 바와 같이, 포터블 디바이스는 마커 오브젝트의 위치 변화에 따라 가상 이미지를 이동시키고, 가상 이미지를 계속하여 마커 오브젝트와 인접한 위치에 디스플레이할 수 있다. 그리고, 포터블 디바이스는 가상 이미지의 이동 속도 또는 마커 오브젝트의 이동 속도를 획득할 수 있다. 나아가, 포터블 디바이스는 가상 이미지의 가속도 또는 마커 오브젝트의 가속도를 더 획득할 수 있다.
또한, 포터블 디바이스(100)는 가상 이미지의 이동 속도 또는 마커 오브젝트의 이동 속도가 제 1 기준 속도보다 빠른지 여부를 판단할 수 있다(S960). 나아가, 도 5에서 상술한 바와 같이, 포터블 디바이스는 가상 이미지의 이동 속도 또는 마커 오브젝트의 이동 속도가 제 2 기준 속도보다 빠른지 여부를 더 판단할 수 있다. 여기서, 제 1 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지를 가독하기 위하여 요구되는 최저 속도를 지칭하고, 제 2 기준 속도는 기설정된 속도로서, 이동하는 가상 이미지(40)를 가독하기 위하여 요구되는 최대 속도를 지칭하며, 자세한 내용은 상술한 바와 같다.
또한, 포터블 디바이스(100)는 가상 이미지의 이동 속도 또는 마커 오브젝트의 이동 속도가 제 1 기준 속도보다 빠른 경우, 가상 이미지의 이동 속도를 제 1 기준 속도 이하로 낮출 수 있다(S970). 이에 대하여는 도 8에 상술한 내용과 동일하다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 명세서에 따른 포터블 디바이스 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서의 포터블 디바이스 및 그 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
30: 마커 오브젝트
40: 가상 이미지
50: 가상 마커 오브젝트
60: 인디케이터

Claims (20)

  1. 포터블 디바이스에 있어서,
    상기 포터블 디바이스 전방의 이미지(image)를 캡처링하는 카메라 유닛;
    가상 이미지(virtual image)를 디스플레이하는 디스플레이 유닛; 및
    상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 이미지로부터 마커 오브젝트(marker object)를 디텍팅하고,
    상기 마커 오브젝트가 디텍팅되는 경우, 상기 마커 오브젝트에 대응하는 상기 가상 이미지에 대한 정보를 획득하고, 상기 가상 이미지를 상기 마커 오브젝트의 위치에 기초하여 디스플레이하되,
    상기 이미지에서의 상기 마커 오브젝트의 위치 변화를 디텍팅하고,
    상기 위치 변화가 디텍팅되는 경우, 상기 위치 변화에 따라 상기 가상 이미지를 이동시키고, 상기 가상 이미지의 이동 속도인 제 1 이동 속도 또는 상기 마커 오브젝트의 이동 속도인 제 2 이동 속도를 획득하되,
    상기 제 1 이동 속도 또는 상기 제 2 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추는, 포터블 디바이스.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도 또는 상기 제 2 이동 속도가 제 2 기준 속도보다 빠른 것으로 판단되는 경우, 상기 가상 이미지의 디스플레이를 중지하되,
    상기 제 2 기준 속도는 상기 제 1 기준 속도보다 빠른, 포터블 디바이스.
  3. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 경우,
    상기 마커 오브젝트에 대응하는 가상 오브젝트(virtual object)를 획득하고, 상기 가상 오브젝트를 상기 가상 이미지와 함께 디스플레이하는, 포터블 디바이스.
  4. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 경우,
    상기 가상 이미지 및 상기 마커 오브젝트 간의 연결 관계를 나타내는 인디케이터(indicator)를 추가적으로 디스플레이하는, 포터블 디바이스.
  5. 제 1항에 있어서,
    상기 가상 이미지에 대한 정보는 상기 마커 오브젝트에 관련된 증강현실(augmented reality) 정보, 디스플레이 모드에 대한 정보, 그래픽 유저 인터페이스 포맷에 대한 정보 중 적어도 하나를 포함하는, 포터블 디바이스.
  6. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 경우,
    상기 가상 이미지를 심플 디스플레이 모드(simple display mode)로 디스플레이하는, 포터블 디바이스.
  7. 제 6항에 있어서,
    상기 심플 디스플레이 모드는 상기 가상 이미지에 포함된 상기 마커 오브젝트에 관련된 증강현실 정보들 중 선택된 일부 증강현실 정보를 디스플레이 대상으로 포함하는 디스플레이 모드인, 포터블 디바이스.
  8. 제 1항에 있어서,
    상기 프로세서는,
    상기 위치 변화가 디텍팅되는 경우,
    상기 이미지로부터 상기 마커 오브젝트의 디텍팅 기간(period)에 대한 정보를 더 획득하고,
    상기 디텍팅 기간이 기준 기간보다 짧은 것으로 판단되는 경우, 상기 마커 오브젝트의 디텍팅이 종료된 시점 이후 기설정된 시간 동안 상기 가상 이미지를 디스플레이하는, 포터블 디바이스.
  9. 제 8항에 있어서,
    상기 프로세서는,
    상기 마커 오브젝트의 디텍팅이 종료된 시점 이후 기설정된 시간 동안 상기 가상 이미지를 디스플레이하는 경우,
    상기 마커 오브젝트의 디텍팅이 종료된 위치에 상기 가상 이미지를 정지 상태로 디스플레이하는, 포터블 디바이스.
  10. 제 1항에 있어서,
    상기 프로세서는,
    상기 위치 변화가 디텍팅되는 경우,
    상기 이미지로부터 상기 마커 오브젝트의 디텍팅 크기(size)에 대한 정보를 더 획득하고,
    상기 디텍팅 크기가 기준 크기보다 작은 것으로 판단되는 경우, 상기 가상 이미지의 디스플레이를 중지하는, 포터블 디바이스.
  11. 제 1항에 있어서,
    사용자의 시선을 센싱하고, 센싱 결과를 프로세서에 전달하는 센서 유닛을 더 포함하고,
    상기 프로세서는,
    상기 센싱 결과를 이용하여 상기 이미지에서 상기 시선이 머무르는 위치를 디텍팅하고,
    상기 위치에 기초하여 상기 마커 오브젝트를, 상기 이미지로부터 선택적으로 디텍팅하는, 포터블 디바이스.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 시선이 머무르는 위치를 디텍팅한 경우,
    상기 위치로부터 기설정된 거리 내에 있는 적어도 하나의 상기 마커 오브젝트를, 상기 이미지로부터 선택적으로 디텍팅하는, 포터블 디바이스.
  13. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 경우,
    그래픽 유저 인터페이스 포맷을 변경하고, 상기 변경된 그래픽 유저 인터페이스 포맷에 따라, 상기 가상 이미지를 디스플레이하는, 포터블 디바이스.
  14. 제 13항에 있어서,
    상기 그래픽 유저 인터페이스 포맷은,
    상기 가상 이미지의 디스플레이 위치, 크기, 모양, 색상 또는 투명도에 대한 설정 값 중 적어도 하나를 포함하는, 포터블 디바이스.
  15. 제 1항에 있어서,
    상기 포터블 디바이스는,
    헤드 마운티드 디스플레이(HMD: head mounted display) 디바이스인, 포터블 디바이스.
  16. 제 15항에 있어서,
    상기 디스플레이 유닛은 광학적 씨-스루 패널로 구성되는, 포터블 디바이스.
  17. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 이동 속도 또는 상기 제 2 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우,
    상기 가상 이미지의 가속도 또는 상기 마커 오브젝트의 가속도를 더 획득하고, 상기 획득된 가속도에 기초하여 상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮출지 여부를 결정하는, 포터블 디바이스.
  18. 제 17항에 있어서,
    상기 프로세서는,
    상기 가상 이미지의 가속도 또는 상기 마커 오브젝트의 가속도를 더 획득한 경우,
    상기 획득된 가속도가 기설정된 크기 이상인 음의 가속도이면, 상기 제 1 이동 속도를 상기 제 1 기준 속도 이하로 낮추지 않는 것으로 결정하는, 포터블 디바이스.
  19. 포터블 디바이스 전방의 이미지를 캡처링하는 단계;
    상기 이미지로부터 마커 오브젝트를 디텍팅하는 단계;
    상기 마커 오브젝트가 디텍팅되는 경우, 상기 마커 오브젝트에 대응하는 상기 가상 이미지에 대한 정보를 획득하고, 상기 가상 이미지를 상기 마커 오브젝트의 위치에 기초하여 디스플레이하는 단계;
    상기 이미지에서의 상기 마커 오브젝트의 위치 변화를 디텍팅하는 단계;
    상기 위치 변화가 디텍팅되는 경우, 상기 위치 변화에 따라 상기 가상 이미지를 이동시키고, 상기 가상 이미지의 이동 속도 또는 상기 마커 오브젝트의 이동 속도를 획득하는 단계; 및
    상기 가상 이미지의 이동 속도 또는 상기 마커 오브젝트의 이동 속도가 제 1 기준 속도보다 빠른 것으로 판단되는 경우, 상기 가상 이미지의 이동 속도를 상기 제 1 기준 속도 이하로 낮추는 단계를 포함하는 포터블 디바이스의 제어방법.
  20. 제 19항에 있어서,
    상기 가상 이미지의 이동 속도 또는 상기 마커 오브젝트의 이동 속도가 제 2 기준 속도보다 빠른 것으로 판단되는 경우, 상기 가상 이미지의 디스플레이를 중지하는 단계를 더 포함하고,
    상기 제 2 기준 속도는 상기 제 1 기준 속도보다 빠른, 포터블 디바이스의 제어방법.
KR1020130105125A 2013-09-02 2013-09-02 포터블 디바이스 및 그 제어 방법 KR102161510B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020130105125A KR102161510B1 (ko) 2013-09-02 2013-09-02 포터블 디바이스 및 그 제어 방법
US14/142,445 US8817047B1 (en) 2013-09-02 2013-12-27 Portable device and method of controlling therefor
PCT/KR2014/000478 WO2015030321A1 (en) 2013-09-02 2014-01-16 Portable device and method of controlling therefor
EP14840649.9A EP3042266B1 (en) 2013-09-02 2014-01-16 Portable device and method of controlling therefor
CN201480048368.3A CN105493004B (zh) 2013-09-02 2014-01-16 便携式设备及其控制方法
US14/324,822 US9361733B2 (en) 2013-09-02 2014-07-07 Portable device and method of controlling therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130105125A KR102161510B1 (ko) 2013-09-02 2013-09-02 포터블 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150026375A true KR20150026375A (ko) 2015-03-11
KR102161510B1 KR102161510B1 (ko) 2020-10-05

Family

ID=51358566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105125A KR102161510B1 (ko) 2013-09-02 2013-09-02 포터블 디바이스 및 그 제어 방법

Country Status (5)

Country Link
US (1) US8817047B1 (ko)
EP (1) EP3042266B1 (ko)
KR (1) KR102161510B1 (ko)
CN (1) CN105493004B (ko)
WO (1) WO2015030321A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106811A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
WO2018174499A3 (ko) * 2017-03-20 2018-11-08 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
KR20200006005A (ko) * 2018-07-09 2020-01-17 재단법인대구경북과학기술원 식별 타겟, 이를 포함하는 웨어러블 구조물 및 이를 이용한 오브젝트 식별 시스템
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR20210078342A (ko) * 2019-12-18 2021-06-28 주식회사 인터포 증강현실을 이용한 가상객체 관리 방법, 증강현실을 이용한 행사 관리 방법 및 모바일 단말

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
DE102014210481A1 (de) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
US9557951B2 (en) * 2015-03-04 2017-01-31 International Business Machines Corporation Filtering information within augmented reality overlays
US9563983B2 (en) * 2015-03-04 2017-02-07 International Business Machines Corporation Filtering information within augmented reality overlays
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
CN105657825B (zh) * 2015-12-29 2020-06-05 歌尔科技有限公司 一种定位方法、移动终端、云服务器及定位系统
US9996978B2 (en) 2016-02-08 2018-06-12 Disney Enterprises, Inc. System and method of simulating first-person control of remote-controlled vehicles
US9922465B2 (en) 2016-05-17 2018-03-20 Disney Enterprises, Inc. Systems and methods for changing a perceived speed of motion associated with a user
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
NO343601B1 (en) * 2018-02-02 2019-04-08 Kitron Asa Method and system for augmented reality assembly guidance
JP7400721B2 (ja) * 2018-08-29 2023-12-19 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN111258520B (zh) * 2018-12-03 2021-09-14 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법
KR20130069730A (ko) * 2010-07-16 2013-06-26 퀄컴 인코포레이티드 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) 1994-07-22 1994-08-18 Monash University A graphical display system
US7463270B2 (en) 2006-02-10 2008-12-09 Microsoft Corporation Physical-virtual interpolation
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
WO2010094065A1 (en) 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
WO2011058640A1 (ja) * 2009-11-12 2011-05-19 富士通株式会社 並列計算用の通信方法、情報処理装置およびプログラム
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US8660679B2 (en) 2010-12-02 2014-02-25 Empire Technology Development Llc Augmented reality system
US20130007672A1 (en) * 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
KR20130069730A (ko) * 2010-07-16 2013-06-26 퀄컴 인코포레이티드 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106811A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
WO2018174499A3 (ko) * 2017-03-20 2018-11-08 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
KR20200006005A (ko) * 2018-07-09 2020-01-17 재단법인대구경북과학기술원 식별 타겟, 이를 포함하는 웨어러블 구조물 및 이를 이용한 오브젝트 식별 시스템
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11270114B2 (en) 2019-08-30 2022-03-08 Lg Electronics Inc. AR device and method for controlling the same
KR20210078342A (ko) * 2019-12-18 2021-06-28 주식회사 인터포 증강현실을 이용한 가상객체 관리 방법, 증강현실을 이용한 행사 관리 방법 및 모바일 단말

Also Published As

Publication number Publication date
KR102161510B1 (ko) 2020-10-05
EP3042266B1 (en) 2023-06-07
EP3042266A4 (en) 2017-03-22
WO2015030321A1 (en) 2015-03-05
CN105493004A (zh) 2016-04-13
US8817047B1 (en) 2014-08-26
CN105493004B (zh) 2018-08-31
EP3042266A1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US9361733B2 (en) Portable device and method of controlling therefor
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9304320B2 (en) Head-mounted display and method of controlling the same
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
US11636644B2 (en) Output of virtual content
US8830142B1 (en) Head-mounted display and method of controlling the same
US20160292922A1 (en) Display control device, display control method, and recording medium
JP2013512480A (ja) 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
US20150199849A1 (en) Head mounted display and method of controlling thereof
KR20150090435A (ko) 포터블 디바이스 및 그 제어 방법
KR20180062867A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20140092029A1 (en) Method and apparatus for interacting with a head mounted display
US20230215098A1 (en) Method and system for creating and storing map target

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant