KR101877901B1 - Method and appratus for providing vr image - Google Patents

Method and appratus for providing vr image Download PDF

Info

Publication number
KR101877901B1
KR101877901B1 KR1020160182252A KR20160182252A KR101877901B1 KR 101877901 B1 KR101877901 B1 KR 101877901B1 KR 1020160182252 A KR1020160182252 A KR 1020160182252A KR 20160182252 A KR20160182252 A KR 20160182252A KR 101877901 B1 KR101877901 B1 KR 101877901B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
map
user
magnitude
Prior art date
Application number
KR1020160182252A
Other languages
Korean (ko)
Other versions
KR20180077666A (en
Inventor
장윤
백희원
피민규
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020160182252A priority Critical patent/KR101877901B1/en
Publication of KR20180077666A publication Critical patent/KR20180077666A/en
Application granted granted Critical
Publication of KR101877901B1 publication Critical patent/KR101877901B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 전자 장치가 VR 영상을 제공하는 방법 및 그 전자 장치를 제공한다. 본 방법은 장소 정보를 설정하고, 장소 정보에 대응하는 복수의 지도 이미지를 획득하며, 복수의 지도 이미지를 통합하여 360도 회전가능한 VR 영상을 생성하고, 전자 장치의 사용자의 모션이 감지됨에 따라, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정하고, 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여 이동 위치의 VR 영상을 생성한다. The present invention provides a method and an electronic device for an electronic device to provide VR images. The method includes the steps of setting location information, acquiring a plurality of map images corresponding to the place information, integrating a plurality of map images to generate a VR image capable of rotating 360 degrees, Determines a moving position that the user wants to move in the VR image, acquires at least one map image corresponding to the moving position, and generates a VR image of the moving position.

Description

VR영상을 제공하는 방법 및 그 전자 장치 {METHOD AND APPRATUS FOR PROVIDING VR IMAGE}METHOD AND APPARATUS FOR PROVIDING VR IMAGE < RTI ID = 0.0 >

본 발명은 VR 영상을 제공하는 방법 및 그 전자 장치에 관한 것이다.The present invention relates to a method and an electronic apparatus for providing a VR image.

인터넷 분야가 새로운 산업분야로 부각되고 이에 따른 각종 서비스와 비즈니스가 활성화되고 있는 시점에서 멀티미디어의 기능과 효과들이 놀라운 성장세를 보이고 있다. 이러한 인터넷 분야에서 최근 주목을 받고 있는 것들 중 하나가 3차원 지리 정보 서비스이다. 즉, 항공사진촬영, 정밀 측량 등 GIS(Geographic Information System) 기술을 활용하여 구축된 공간정보를 이용하여 인터넷 상에서 3차원 영상을 제공하고 이를 기반으로 길찾기, 지역 정보 검색 등을 수행하는 새로운 형태의 서비스가 최근 주목받고 있다.With the emergence of the Internet sector as a new industrial field and various services and businesses that are pursuing this, the functions and effects of multimedia are showing remarkable growth. One of the most noteworthy things in this Internet field is the 3D geographic information service. That is, a new type of 3D image is provided on the Internet using spatial information constructed by utilizing geographic information system (GIS) technology such as aerial photographing and precision surveying, Service is getting attention recently.

아울러 3차원 영상에 부가하여 주요 도로의 사진 이미지를 파노라마 형태로 연결하여 제공해주는 서비스도 등장하고 있다. 그러나, 종래의 3차원 영상 제공 서비스는 지도 정보와 연동된 특정 지점에서의 VR(virtual reality) 영상 만을 제공해 줄 뿐 사용자의 움직임에 따라 능동적으로 그 변화된 위치의 VR 영상을 실시간으로 제공해주지는 못하고 있다.In addition, there is a service that provides panoramic images by linking photographic images of major roads to 3D images. However, the conventional three-dimensional image providing service only provides VR (Virtual Reality) images at specific points linked with the map information, and does not actively provide the VR images of the changed positions according to the user's motion in real time.

미국등록특허 제 8,818,138호(발명의 명칭: SYSTEM AND METHOD FOR CREATING, STORING AND UTILIZING IMAGES OF A GEOGRAPHICAL LOCATION)U.S. Patent No. 8,818,138 (entitled SYSTEM AND METHOD FOR CREATING, STORING AND UTILIZING IMAGES OF A GEOGRAPHICAL LOCATION)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일 실시예는 사용자가 원하는 위치의 360도 회전가능한 VR 영상을 제공하며, 사용자의 움직임에 따라 변경된 위치에 대응하여 VR 영상을 변경하는 방법 및 그 전자 장치를 제공하는 것에 목적이 있다. 또한, 본 발명의 일 실시예는 사용자에 의해 촬영 또는 캡처된 이미지에 대응하는 장소의 VR 영상을 제공하는 것에 목적이 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a VR image which can be rotated 360 degrees at a desired position by a user, And to provide an electronic device. It is also an object of the present invention to provide a VR image of a place corresponding to an image taken or captured by a user.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 VR 영상 제공 방법은, 장소 정보를 설정하는 단계; 장소 정보에 대응하는 복수의 지도 이미지를 획득하는 단계; 복수의 지도 이미지를 통합하여 360도로 회전가능한 VR영상을 생성하는 단계; 전자 장치의 사용자의 모션이 감지됨에 따라, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정하는 단계; 및 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여, 이동 위치의 VR 영상을 생성하는 단계를 포함한다. According to a first aspect of the present invention, there is provided a VR image providing method comprising: setting location information; Obtaining a plurality of map images corresponding to the place information; Generating a VR image capable of rotating 360 degrees by integrating a plurality of map images; Determining, as the motion of the user of the electronic device is sensed, a movement position in which the user is to move within the VR image; And acquiring at least one map image corresponding to the movement position to generate a VR image of the movement position.

또한, 본 발명의 제2 측면에 따른 전자 장치는, VR 영상을 제공하는 프로그램이 저장된 메모리 및 상기 프로그램을 실행하는 프로세서를 포함하며, 프로세서는 상기 프로그램이 실행됨에 따라, 장소 정보를 설정하고, 장소 정보에 대응하는 복수의 지도 이미지를 획득하며, 복수의 지도 이미지를 통합하여 360도 회전가능한 VR 영상을 생성하고, 전자 장치의 사용자의 모션이 감지됨에 따라, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정하고, 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여 이동 위치의 VR 영상을 생성한다. According to a second aspect of the present invention, there is provided an electronic device comprising a memory for storing a program for providing a VR image and a processor for executing the program, wherein the processor sets location information as the program is executed, Acquires a plurality of map images corresponding to the information, generates a VR image capable of rotating 360 degrees by integrating a plurality of map images, and generates a VR image in which the user moves in a VR image And acquires at least one map image corresponding to the movement position to generate a VR image of the movement position.

또한, 본 발명의 제 3 측면은, 상기 제 1 측면의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다. A third aspect of the present invention provides a computer-readable recording medium on which a program for implementing the method of the first aspect is recorded.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발의 일 실시예는 사용자가 장소의 명칭을 모르는 경우라도 해당 장소의 이미지를 촬영 또는 캡처(capture)함으로써 해당 장소의 VR 영상을 제공하며, VR 영상을 사용자의 움직임에 대응하여 변경함으로써 해당 장소에 대한 사용자의 간접 경험을 제공할 수 있다. According to an embodiment of the present invention, even when the user does not know the name of the place, the VR image of the place is provided by capturing or capturing an image of the place, It is possible to provide the indirect experience of the user to the place by changing it in response to the movement of the user.

도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 도 1의 제어부가 장소 위치를 결정하는 일례이다.
도 3은 본 발명의 일 실시예에 따라 도 1의 제어부가 장소 위치를 결정하기 위해 지도 이미지를 제공하는 일례이다.
도 4는 본 발명의 일 실시예에 따라 도 1의 제어부가 VR 영상을 생성하는 일례이다.
도 5는 본 발명의 일 실시예에 따라 도 1의 제어부가 VR 영상을 화면에 표시한 일례이다.
도 6은 본 발명의 일 실시예에 따라 전자 장치가 VR 영상을 제공하는 방법을 설명하는 순서도이다.
1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
FIG. 2 is an example in which the controller of FIG. 1 determines a location according to an embodiment of the present invention.
FIG. 3 is an example of providing a map image to determine the location of a location according to an embodiment of the present invention.
4 is an example of a VR image generated by the controller of FIG. 1 according to an embodiment of the present invention.
5 is an example of the VR image displayed on the screen by the controller of FIG. 1 according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing an electronic device with a VR image according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.  1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.

도 1을 참조하면, 전자 장치(100)는 제어부(110), 메모리(120), 통신부(130), 센싱부(140), 사용자 입력부(150) 및 디스플레이부(160)를 포함한다. 그러나, 도 1에 도시된 구성 요소 모두가 전자 장치(100)의 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다. 예를 들어, 전자 장치(100)는 카메라(미도시), 마이크로폰(미도시)을 더 포함할 수 있다. Referring to FIG. 1, an electronic device 100 includes a control unit 110, a memory 120, a communication unit 130, a sensing unit 140, a user input unit 150, and a display unit 160. However, not all of the components shown in Fig. 1 are essential components of the electronic device 100. Fig. The electronic device 100 may be implemented by more components than the components shown in FIG. 1 and the electronic device 100 may be implemented by fewer components than the components shown in FIG. For example, the electronic device 100 may further include a camera (not shown), a microphone (not shown).

제어부(110)는 통상적으로 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(110)는 메모리(120)에 저장된 프로그램들을 실행함으로써, 통신부(130), 센싱부(140), 사용자 입력부(150), 디스플레이부(160) 등의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. The control unit 110 is typically capable of controlling the overall operation of the electronic device 100. For example, the control unit 110 controls the signal flow of the communication unit 130, the sensing unit 140, the user input unit 150, and the display unit 160 by executing the programs stored in the memory 120, It is possible to perform a function of processing data.

제어부(110)는 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(ram), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(rom) 및 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 제어부(110)는 데이터 처리를 위한 CPU(central processing unit) 이외에, 그래픽 처리를 위한GPU(graphic processor unit), 신호 처리를 위한 DSP(digital signal processor)를 더 포함할 수 있으며, 상기한 적어도 하나의 프로세서를 통합한 SoC(system on chip)로 구현될 수 있다. 한편, 실시예에 따라서 ‘제어부’ 라는 용어는 '프로세서', '프로세싱 회로', '컨트롤러', '연산 장치' 등의 용어와 동일한 의미로 해석될 수 있다.The control unit 110 includes a RAM used as a storage area corresponding to various operations performed in the electronic device 100, a ROM storing a control program for controlling the electronic device 100, . ≪ / RTI > For example, in addition to a central processing unit (CPU) for data processing, the controller 110 may further include a graphic processor unit (GPU) for processing graphics and a digital signal processor (DSP) And a system on chip (SoC) incorporating at least one processor. Meanwhile, the term 'control unit' may be interpreted in the same sense as the terms 'processor', 'processing circuit', 'controller', 'arithmetic unit' and the like.

제어부(110)는 메모리(120)에 저장된 VR 영상 제공 프로그램이 실행됨에 따라, VR 영상을 생성하기 위한 장소 정보를 설정할 수 있다. 여기서, 장소 정보는 촬영부(미도시)를 통해 촬영되거나 캡처된 이미지로부터 추출되는 것일 수 있다. 예를 들어, 사용자는 인터넷 서핑을 하거나 잡지를 보는 중에 가보고 싶은 장소의 사진을 촬영 또는 캡쳐 할 수 있다. 또한, 사용자는 VR 영상 제공 프로그램을 통해 촬영 또는 캡처된 이미지의 장소에 대한 VR 영상을 제공받을 수 있다. As the VR image providing program stored in the memory 120 is executed, the controller 110 can set the location information for generating the VR image. Here, the place information may be photographed through a photographing unit (not shown) or extracted from the captured image. For example, a user can capture or capture a picture of a place he or she wants to go while surfing the Internet or viewing a magazine. In addition, the user can receive the VR image of the location of the captured or captured image through the VR image providing program.

구체적으로, 제어부(110)는 VR 영상 제공 프로그램이 실행되면, 전자 메모리(120)에 기 저장된 이미지, 촬영된 이미지, 또는 캡처된 이미지를 획득할 수 있다. 또한, 제어부(110)는 획득된 이미지에 포함된 적어도 하나의 객체를 추출할 수 있다. 이어서, 제어부(110)는 추출된 적어도 하나의 객체에 대응하는 장소 정보를 결정할 수 있다. 예를 들어, 제어부(110)는 획득된 이미지로부터 특징점들을 추출하고, 특징점들로부터 적어도 하나의 객체를 추출할 수 있다. 제어부(110)는 적어도 하나의 객체가 위치하는 장소에 대한 정보를 탐색할 수 있다. 또는, 제어부(110)는 외부 서버(미도시)에 구현된 뉴럴 네트워크(neural network) 등을 이용할 수 있다. 이 경우, 제어부(110)는 획득된 이미지 또는 적어도 하나의 객체를 통신부(130)를 통해 외부 서버(미도시)로 전송하고, 이미지에 포함된 적어도 하나의 객체가 위치하는 장소에 대한 정보를 수신할 수 있다. Specifically, when the VR image providing program is executed, the control unit 110 can acquire an image previously stored in the electronic memory 120, a captured image, or a captured image. In addition, the control unit 110 may extract at least one object included in the acquired image. Then, the control unit 110 can determine the place information corresponding to the extracted at least one object. For example, the control unit 110 may extract the feature points from the acquired image and extract at least one object from the feature points. The control unit 110 may search for information on a place where at least one object is located. Alternatively, the controller 110 may use a neural network implemented in an external server (not shown). In this case, the control unit 110 transmits the acquired image or at least one object to an external server (not shown) through the communication unit 130, and receives information about a place where at least one object included in the image is located can do.

또는, 제어부(110)는 촬영 또는 캡처된 이미지 대신에, 장소 정보를 나타내는 텍스트를 입력받는 사용자 인터페이스(예를 들어, 키보드(keyboard) 이미지 등)를 제공할 수 있다. 따라서, 사용자는 원하는 장소를 직접 입력할 수 있다. Alternatively, the control unit 110 may provide a user interface (e.g., a keyboard image or the like) that receives text indicating place information instead of the captured or captured image. Therefore, the user can directly input a desired place.

다음으로, 제어부(110)는 장소 정보에 대응하는 복수의 지도 이미지를 획득한다. 예를 들어, 제어부(110)는 외부의 지도 이미지 DB(database)(200)로부터 복수의 지도 이미지를 획득할 수 있다. 이때, 지도 이미지 DB(200)에 저장된 지도 이미지는 지도 상의 일정 위치에 대응하여 촬영된 3차원 이미지일 수 있다. 제어부(110)는 외부의 지도 이미지 DB(200)가 제공하는 API(application programming interface)를 이용하여 지도 이미지를 획득할 수 있다. 이때, 제어부(110)는 API 가 제공하는 파라미터(parameter)들을 조정함으로써, 외부의 지도 이미지 DB(200)에 저장된 하나의 지도 이미지를 복수 개로 분할하고, 분할된 복수의 지도 이미지를 획득할 수 있다. 또한, 제어부(110)는 API 가 제공하는 파라미터들을 조정함으로써, 분할된 각각의 지도 이미지가 임계 해상도 이상의 해상도를 갖도록 조정할 수 있다. 여기서, 임계 해상도는, 예를 들어, 외부의 지도 이미지 DB(200)에 기 저장된 지도 이미지의 해상도와 동일하거나 작을 수 있다. Next, the control unit 110 acquires a plurality of map images corresponding to the place information. For example, the control unit 110 may acquire a plurality of map images from an external map image database (database) 200. At this time, the map image stored in the map image DB 200 may be a three-dimensional image photographed corresponding to a predetermined position on the map. The control unit 110 may acquire a map image using an application programming interface (API) provided by the external map image DB 200. [ At this time, the control unit 110 may divide one map image stored in the external map image DB 200 into a plurality of images by adjusting the parameters provided by the API, and obtain a plurality of divided map images . In addition, the control unit 110 can adjust the divided map images so as to have a resolution higher than the critical resolution by adjusting the parameters provided by the API. Here, the threshold resolution may be equal to or smaller than the resolution of the map image previously stored in the external map image DB 200, for example.

이후, 제어부(110)는 복수의 지도 이미지를 통합하여 360도 회전가능한 VR 영상을 생성한다. 이때, 복수의 지도 이미지는 임계 해상도 이상의 해상도를 가지므로, 하나의 지도 이미지만을 획득하는 경우보다 고해상도의 VR 영상을 생성할 수 있다. 구체적으로, 제어부(110)는 복수의 지도 이미지를 통합하고, 불필요한 부분을 크롭핑(cropping)하여 평면 형태의 VR 영상을 생성할 수 있다. 이후, 제어부(110)는 평면 형태의 VR 영상을 좌안 영상과 우안 영상으로 구분하고, 각 영상을 구(sphere)에 맵핑함으로써, 구 형태의 VR 영상(즉, 좌안 VR 영상 및 우안 VR 영상)을 생성할 수 있다. 제어부(110)는 디스플레이부(160)를 제어하여, 전자 장치(100)의 좌측 화면에서 좌안 VR 영상의 일부를 표시하며, 우측 화면에서 우안 VR 영상의 일부를 표시할 수 있다. 따라서, 전자 장치(100)를 직간접적으로 착용한 사용자는 VR 영상을 통해 가상 현실(virtual reality)을 경험할 수 있다. Thereafter, the controller 110 combines a plurality of map images to generate a VR image capable of rotating 360 degrees. At this time, since the plurality of map images have a resolution higher than the threshold resolution, a high-resolution VR image can be generated as compared with the case of acquiring only one map image. Specifically, the controller 110 may combine a plurality of map images and crop unnecessary portions to generate a planar VR image. Then, the control unit 110 divides the VR image in a planar form into a left eye image and a right eye image, and maps each image to a sphere, thereby generating spherical VR images (i.e., left eye VR image and right eye VR image) Can be generated. The control unit 110 controls the display unit 160 to display a part of the left eye VR image on the left screen of the electronic device 100 and a part of the right eye VR image on the right screen. Therefore, a user wearing the electronic device 100 directly or indirectly can experience virtual reality through the VR image.

다음으로, 제어부(110)는 전자 장치(100)의 사용자의 모션이 감지됨에 따라, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정한다. 여기서, 사용자의 모션은 사용자의 제자리 움직임, 사용자의 이동, 사용자의 손가락 지시 등을 포함할 수 있다. Next, as the motion of the user of the electronic device 100 is detected, the control unit 110 determines the movement position in which the user is to move within the VR image. Here, the motion of the user may include a movement of the user, a movement of the user, a finger instruction of the user, and the like.

제어부(110)는 센싱부(140)를 통해 감지된 사용자 모션에 응답하여, 이동 위치를 결정할 수 있다. 구체적으로, 제어부(110)는 방향 센서(orientation sensor)(미도시)에 감지되는 전자 장치(100)의 방향을 이용하여, VR 영상 내에서 사용자가 이동하려는 이동 방향을 결정할 수 있다. 또한, 제어부(110)는 가속도 센서((accelerator sensor)(미도시)를 통해 감지되는 전자 장치(100)의 흔들림을 이용하여, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정할 수 있다. 구체적으로, 제어부(110)는 흔들림의 크기를 이용할 수 있다. 예를 들어, 제어부(110)는 전자 장치(100)의 흔들림의 크기가 임계값 이상이면 기준점으로부터 이동 방향으로 단위 거리(예를 들어, 5미터, 10미터 등)만큼 떨어진 위치를 이동 위치로 결정할 수 있다. 여기서, 기준점은 장소 정보에 대응되며, 기 생성된 VR 영상 내의 임의의 위치일 수 있다. 또한, 이동 위치는 위도 및 경도 정보를 포함할 수 있다. The controller 110 may determine the movement position in response to the user motion sensed through the sensing unit 140. [ In particular, the controller 110 may determine the direction of movement of the user within the VR image using the orientation of the electronic device 100 sensed by an orientation sensor (not shown). In addition, the controller 110 can determine the movement position of the user to move within the VR image by using the shake of the electronic device 100 sensed through the accelerometer (not shown). The control unit 110 may control the unit distance from the reference point to the movement direction (for example, 5 [deg.]), For example, if the size of the shake of the electronic device 100 is equal to or greater than the threshold value Meter, 10-meter, etc.) as the movement position. Here, the reference point corresponds to the place information, and may be an arbitrary position in the created VR image. .

보다 구체적으로, 제어부(110)는 수학식 1을 이용하여, 가속도 센서에 의해 감지된 이전의 x, y, z축의 중력 가속도 크기와 현재의 x, y, z축의 중력 가속도 크기의 차이를 기초로 흔들림의 크기를 산출할 수 있다. More specifically, using Equation (1), the controller 110 calculates the gravity acceleration magnitudes of the x, y, and z axes detected by the acceleration sensor and the gravity acceleration magnitudes of the current x, y, The magnitude of the shake can be calculated.

Figure 112016129036316-pat00001
Figure 112016129036316-pat00001

위 식에서

Figure 112016129036316-pat00002
는 흔들림 크기를 나타내며,
Figure 112016129036316-pat00003
은 현재 감지된 x, y, z축 각각의 중력 가속도 크기를 나타내며,
Figure 112016129036316-pat00004
는 과거에 감지된 x, y, z축 각각의 중력 가속도 크기를 나타낸다. 또한,
Figure 112016129036316-pat00005
는 현재의 시간 정보를 나타내며,
Figure 112016129036316-pat00006
는 이전의 시간 정보를 나타낸다. In the above equation
Figure 112016129036316-pat00002
Represents the shake size,
Figure 112016129036316-pat00003
Represents the gravity acceleration magnitude of each of the currently sensed x, y, and z axes,
Figure 112016129036316-pat00004
Represents the magnitude of gravitational acceleration of each of the x, y, and z axes detected in the past. Also,
Figure 112016129036316-pat00005
Represents the current time information,
Figure 112016129036316-pat00006
Indicates the previous time information.

한편, 제어부(110)는 흔들림의 크기를 기초로, 서로 다른 이동 위치를 결정할 수 있다. 예를 들어, 제어부(110)는 흔들림의 크기가 제1 임계값을 초과하면, 이동 방향으로 제1 단위 거리만큼 떨어진 위치를 이동 위치로 결정할 수 있다. 또한, 제어부(110)는 흔들림의 크기가 제2 임계값(제2 임계값>제1 임계값)을 초과하면, 이동 방향으로 제2 단위 거리(제2 단위 거리>제1 단위 거리)만큼 떨어진 위치를 이동 위치로 결정할 수 있다. 이를 통해, 제어부(110)는 사용자가 가상 공간 내에서 천천히 걷는 효과, 보통 속도로 걷는 효과, 또는 뛰는 효과를 제공할 수 있다. On the other hand, the control unit 110 can determine different movement positions based on the magnitude of the shake. For example, when the magnitude of the shaking exceeds the first threshold value, the control unit 110 may determine a position that is a distance of the first unit distance in the moving direction as the moving position. In addition, when the magnitude of the shake exceeds the second threshold value (second threshold value> first threshold value), the control unit 110 determines that the second unit distance (second unit distance> first unit distance) The position can be determined as the movement position. Accordingly, the control unit 110 can provide a user with an effect of walking slowly in a virtual space, an effect of walking at a normal speed, or a beating effect.

그러나, 흔들림의 크기가 임계값(또는 제1 임계값)을 초과하지 않는 경우, 사용자가 이동하지 않는 것으로 결정한 후, 제어부(110)는 기존의 VR 영상의 다른 부분을 표시할 수 있다. 또한, 제어부(110)는 흔들림의 크기가 임계시간 이상 지속되지 않는 경우, 사용자가 이동하지 않는 것으로 결정할 수 있다. 이는, 의도치 않은 움직임으로 인해 VR 영상이 변경되는 것을 방지하기 위함이다. However, if the size of the shake does not exceed the threshold value (or the first threshold value), the controller 110 may display another portion of the existing VR image after determining that the user does not move. In addition, the controller 110 may determine that the user does not move if the magnitude of the shake does not last more than the threshold time. This is to prevent the VR image from being changed due to unintentional movement.

한편, 제어부(110)는 전자 장치(100)에 구비된 센싱부(140)를 통해 사용자 모션을 감지할 수 있을 뿐 아니라, 전자 장치(100)와 결합된 보조 기구(예를 들어, 헬멧, HMD(head mounted device) 등)에 의해 감지된 사용자 모션에 대한 정보를 수신할 수도 있다. 이 경우, 제어부(110)는 수신된 정보를 기초로, 전술한 동작을 수행할 수 있다. The control unit 110 can sense the user's motion through the sensing unit 140 provided in the electronic device 100 and can detect the motion of the user using an auxiliary device (for example, a helmet, an HMD (e.g., a head mounted device, etc.). In this case, the control unit 110 can perform the above-described operation based on the received information.

다음으로, 제어부(110)는 이동 위치가 결정됨에 따라, 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득한다. 먼저, 제어부(110)는 화면에서 재생 중인 360 도 영상 내에 포함된 적어도 하나의 경로를 추출할 수 있다. 예를 들어, 제어부(110)는 VR 영상 내에 포함된 차도, 인도, 복도, 계단 등과 같이 사용자가 진행할 수 있는 경로를 추출할 수 있다. 이어서, 제어부(110)는 이동 위치를 기초로, 추출된 적어도 하나의 경로 중 하나의 경로를 선택할 수 있다. 제어부(110)는 통신부(130)를 통해, 선택된 경로에 대응하는 적어도 하나의 지도 이미지를 외부의 지도 이미지 DB(200)로부터 획득할 수 있다. 제어부(110)는 획득된 지도 이미지를 기초로 이동 위치의 VR 영상을 생성할 수 있다. 이때, 제어부(110)는 기존의 지도 이미지들 중 일부를 재사용 할 수 도 있으나, 이에 제한되지 않는다. Next, as the movement position is determined, the control unit 110 acquires at least one map image corresponding to the movement position. First, the control unit 110 may extract at least one path included in the 360-degree image being reproduced on the screen. For example, the control unit 110 may extract a path that the user can proceed, such as a roadway, a lead, a corridor, a stairway, etc., included in the VR image. Subsequently, the control unit 110 can select one of the extracted at least one route based on the moved position. The control unit 110 can acquire at least one map image corresponding to the selected route from the external map image DB 200 through the communication unit 130. [ The control unit 110 may generate a VR image of the movement position based on the obtained map image. At this time, the control unit 110 may reuse some of the existing map images, but the present invention is not limited thereto.

제어부(110)는 이동 위치의 VR 영상이 생성됨에 따라, 디스플레이부(160)를 제어하여, 화면에 재생 중인 VR 영상을 이동 위치의 VR 영상으로 변경하여 표시할 수 있다.As the VR image of the movement position is generated, the control unit 110 controls the display unit 160 so that the VR image being reproduced on the screen is changed to the VR image of the movement position and displayed.

이와 같이, 전자 장치(100)는 가상 공간 내에서의 사용자의 이동 의도를 감지하고 가상 공간을 사용자의 이동 의도에 따라 변환하여 제공함으로써, 사용자가 보다 현실감 있게 가상 공간을 탐색하고 경함할 수 있도록 할 수 있다. 또한, 개시된 실시예에 따른 전자 장치(100)는 전자 장치(100)의 흔들림을 이용하여 사용자의 이동 의도를 판단하므로, 사용자가 실제로 움직일 필요 없이 전자 장치(100)를 직간접적으로 착용한 상태에서 고개를 끄덕이는 등의 모션을 취함으로써 가상 공간 내에서 원하는 방향으로 이동하는 효과를 발생시킬 수 있다. 이는, 실제 환경과 차단된 사용자의 잠재적 사고위험을 감소시킬 수 있다. As described above, the electronic device 100 senses the user's intention to move within the virtual space and converts and provides the virtual space according to the user's intention to move, thereby enabling the user to more realistically search for and lighten the virtual space . In addition, since the electronic device 100 according to the disclosed embodiment judges the user's intention to move using the shake of the electronic device 100, the electronic device 100 can be operated in a state in which the electronic device 100 is directly or indirectly worn It is possible to generate the effect of moving in a desired direction in the virtual space by taking a motion such as nodding the head. This can reduce the potential risk of accidental interception of the actual environment and the blocked user.

한편, 메모리(120)는 제어부(110)의 제어에 의해 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장한다. 메모리(120)는 통신부(130), 센싱부(140), 사용자 입력부(150) 등의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. The memory 120 stores various data, programs or applications for driving and controlling the electronic device 100 under the control of the control unit 110. [ The memory 120 may store input / output signals or data corresponding to driving of the communication unit 130, the sensing unit 140, the user input unit 150, and the like.

또한, 메모리(120)는 전자 장치(100)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부로부터 다운로드된 어플리케이션, 어플리케이션과 관련된 GUI, GUI 를 제공하기 위한 다양한 객체들(예를 들어, 이미지, 텍스트, 동영상 등), 사용자 정보, 문서, 데이터 베이스 또는 관련 데이터들을 저장할 수 있다. The memory 120 may also include a control program for controlling the electronic device 100, an application originally provided or externally downloaded from the manufacturer, a GUI associated with the application, various objects (e.g., images, Text, video, etc.), user information, documents, databases, or related data.

메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등을 포함할 수 있다.The memory 120 may include nonvolatile memory, volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

통신부(130)는 제어부(110)의 제어에 의해 전자 장치(100)를 외부 장치(예를 들어, 지도 이미지 DB(200) 등)와 연결할 수 있다. 제어부(110)는 통신부(130)를 통해 외부 장치에 접근하여 콘텐트(예를 들어, 지도 이미지 등)를 획득하거나, 외부 장치로부터 어플리케이션을 다운로드하거나 또는 웹 브라우징을 할 수 있다. 통신부(130)는 전자 장치(100)의 성능 및 구조에 대응하여 무선 랜(미도시) 블루투스(미도시), 및 유선 이더넷(Ethernet, 미도시) 중 적어도 하나를 포함할 수 있다. 또한, 통신부(130)는 무선랜, 블루투스, 및 유선 이더넷의 조합을 포함할 수 있으나, 이에 한정되는 것은 아니다. The communication unit 130 may connect the electronic device 100 with an external device (e.g., the map image DB 200) under the control of the control unit 110. [ The control unit 110 may access the external device through the communication unit 130 to acquire the content (e.g., a map image), download the application from the external device, or browse the web. The communication unit 130 may include at least one of a wireless LAN (not shown), a Bluetooth (not shown), and a wired Ethernet (not shown) corresponding to the performance and structure of the electronic device 100. The communication unit 130 may include a combination of a wireless LAN, a Bluetooth, and a wired Ethernet, but is not limited thereto.

센싱부(140)는 전자 장치(100)의 사용자 모션을 감지하고, 감지된 정보를 제어부(110)로 제공할 수 있다. 센싱부(140)는 적어도 하나의 센서를 포함할 수 있으며, 예를 들어, 방향 센서 및 가속도 센서를 포함할 수 있으며, 이외에 자이로 센서, 근접 센서, 적외선 센서, 전자기 센서 등을 더 포함할 수 있다.The sensing unit 140 may sense the user's motion of the electronic device 100 and provide the sensed information to the control unit 110. The sensing unit 140 may include at least one sensor, for example, a direction sensor and an acceleration sensor, and may further include a gyro sensor, a proximity sensor, an infrared sensor, an electromagnetic sensor, and the like .

사용자 입력부(150)는 전자 장치(100)를 제어하기 위한 사용자 입력을 수신한다. 예를 들어, 사용자 입력부(150)는 키(미도시), 터치 패널(미도시) 및 펜 인식 패널(미도시) 중 적어도 하나를 포함할 수 있다.The user input unit 150 receives a user input for controlling the electronic device 100. For example, the user input unit 150 may include at least one of a key (not shown), a touch panel (not shown), and a pen recognition panel (not shown).

또한, 전자 장치(100)는 VR 영상을 제공할 장소 정보를 설정하기 위해 이미지를 촬영 또는 캡처하기 위한 카메라(미도시)를 더 포함할 수 있다. 카메라는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 얻어진 이미지는 제어부(110) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.In addition, the electronic device 100 may further include a camera (not shown) for shooting or capturing an image in order to set place information to provide VR images. The camera can obtain image frames such as still images or moving images through the image sensor. The image obtained through the image sensor can be processed through the control unit 110 or a separate image processing unit (not shown).

도 2는 본 발명의 일 실시예에 따라 도 1의 제어부(110)가 장소 위치를 결정하는 일례이다. FIG. 2 is an example in which the controller 110 of FIG. 1 determines a location according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 제어부(110)는 VR 영상 제공 프로그램이 실행됨에 따라, 촬영 또는 캡쳐된 이미지(210)로부터 적어도 하나의 객체를 추출하고, 추출된 객체로부터 장소 정보를 탐색할 수 있다. 예를 들어, 장소 정보는 "에펠 타워", "파리" 등일 수 있다. 2, the control unit 110 can extract at least one object from the captured or captured image 210 and search for the place information from the extracted object as the VR image providing program is executed . For example, the location information may be "Eiffel Tower "," Paris ", and the like.

이후, 제어부(110)는 장소 정보(230)를 포함하는 사용자 인터페이스(220)를 제공할 수 있다. 장소 정보(230)가 사용자가 원하는 곳일 경우, 사용자는 해당 장소에 대응하는 VR 영상을 제공하라는 사용자 입력을 할 수 있으며, 장소 정보(230)가 사용자가 원하지 않는 경우, 다른 장소 정보를 탐색할 수 있다. VR 영상을 제공하거나 다른 장소 정보를 탐색하기 위해, 제어부(110)는 사용자 인터페이스(220) 상에서 다양한 GUI(graphic user interface)들을 제공할 수 있다. 예를 들어, 제어부(110)는 장소 정보(230)에 대응하는 VR 영상을 요청하는 사용자 입력을 수신하기 위한 제1 GUI("GO")(221)를 제공할 수 있다. Then, the controller 110 may provide a user interface 220 including the place information 230. If the location information 230 is a location desired by the user, the user can input a user input to provide a VR image corresponding to the location, and if the location information 230 is not desired by the user, have. In order to provide a VR image or to search for other place information, the control unit 110 may provide various GUIs (user interfaces) on the user interface 220. For example, the control unit 110 may provide a first GUI ("GO") 221 for receiving a user input requesting a VR image corresponding to the place information 230.

또한, 제어부(110)는 다른 장소 정보를 탐색하기 위해 새로운 이미지를 촬영 또는 캡처하기 위한 제2 GUI("GET IMAGE FROM CAMERA")(222) 및 기 저장된 이미지 중에서 하나를 선택하기 위한 제 3 GUI("GET IMAGE FROM GALLERY")(223)를 제공할 수 있다. Further, the control unit 110 may include a second GUI ("GET IMAGE FROM CAMERA") 222 for shooting or capturing a new image to search for other place information, and a third GUI "GET IMAGE FROM GALLERY") 223.

또한, 제어부(110)는 사용자로부터 직접 장소 정보를 입력받기 위한 제 4 GUI("NO IMAGE")(224)를 더 제공할 수 있다. 제 4 GUI(224)에 대한 사용자 입력이 수신되는 경우, 제어부(110)는 사용자 인터페이스(220)를 전환하여 제공할 수 있다. 예를 들어, 제어부(110)는 사용자로부터 장소 정보를 입력받기 위한 키보드 이미지를 제공할 수 있다. Further, the control unit 110 may further provide a fourth GUI ("NO IMAGE") 224 for receiving the place information directly from the user. When a user input to the fourth GUI 224 is received, the control unit 110 may switch the user interface 220 and provide it. For example, the control unit 110 may provide a keyboard image for receiving place information from a user.

또는, 제어부(110)는, 제 4 GUI(224)에 대한 사용자 입력이 수신됨에 따라, 도 3에 도시된 바와 같이, 지도 이미지(310)를 제공할 수도 있다. 제어부(110)는 지도 이미지(310) 상에서 수신되는 사용자 입력에 응답하여 장소 정보를 설정할 수 있다. 한편, 제어부(110)는 사용자 입력에 응답하여, 설정된 장소 정보를 나타내는 팝업 윈도우(예컨대, "루브르 박물관" 등)(320)를 제공할 수도 있다. Alternatively, the control unit 110 may provide a map image 310, as shown in FIG. 3, as user input to the fourth GUI 224 is received. The control unit 110 may set the location information in response to a user input received on the map image 310. Meanwhile, the control unit 110 may provide a pop-up window (e.g., a "Louvre museum") 320 indicating the set place information in response to a user input.

도 4는 본 발명의 일 실시예에 따라 도 1의 제어부(110)가 VR 영상을 생성하는 일례이다. 4 is an example in which the controller 110 of FIG. 1 generates a VR image according to an embodiment of the present invention.

도 4를 참조하면, 제어부(110)는 통신부를 통해, 외부의 지도 이미지 DB(200)로부터 지도 이미지를 획득할 수 있다. 이때, 지도 이미지 DB(200)는 지도와 연계되며, 지도 상의 일정 위치에 대응되어 실제로 촬영된 이미지들을 3차원 파노라마(panorama) 이미지 형태로 저장할 수 있다. 예를 들어, 지도 이미지 DB(200)는 3차원 카메라로 촬영된 스트리트 뷰(street view)를 저장할 수 있다. 제어부(110)는 지도 이미지 DB(200)가 제공하는 API 를 조정함으로써, 지도 이미지 DB(200)에 저장된 하나의 지도 이미지(411)를 8개로 분할하여 분할된 8개의 지도 이미지(412)를 획득할 수 있다. 이때, 8개의 지도 이미지(412) 각각은 하나의 지도 이미지(411)와 동일 또는 유사한 해상도일 수 있다. Referring to FIG. 4, the controller 110 can acquire a map image from an external map image DB 200 through a communication unit. At this time, the map image DB 200 is linked with the map, and can store the actually photographed images in a three-dimensional panorama image form corresponding to a predetermined position on the map. For example, the map image DB 200 can store a street view photographed by a three-dimensional camera. The control unit 110 divides one map image 411 stored in the map image DB 200 into eight and adjusts the API provided by the map image DB 200 to obtain eight divided map images 412 can do. At this time, each of the eight map images 412 may be the same or similar resolution as one of the map images 411.

이후, 제어부(110)는 8개의 지도 이미지(412)를 통합하고 불필요한 영역을 크롭핑함으로써, 평면 형태의 VR 이미지(422)를 생성할 수 있다. 이어서, 제어부(110)는 평면 형태의 VR 이미지(422)를 좌안 영상과 우안 영상으로 구분하고, 각 영상을 구에 맵핑함으로써 구 형태의 VR 영상(423)을 생성할 수 있다. 또한, 제어부(110)는 디스플레이부(160)를 제어하여, 좌측 화면에 VR 영상(423) 중 좌안 VR 영상(423-1)의 일부를 표시하며, 우측 화면에 우안 VR 영상(423-2)의 일부를 표시할 수 있다. Thereafter, the control unit 110 can generate the VR image 422 in a planar form by integrating the eight map images 412 and cropping the unnecessary area. Then, the controller 110 divides the planar VR image 422 into a left eye image and a right eye image, and maps each image to a sphere, thereby generating a spherical VR image 423. The controller 110 controls the display unit 160 to display a part of the left eye VR image 423-1 of the VR image 423 on the left screen and the right eye VR image 423-2 on the right screen, Can be displayed.

도 5는 본 발명의 일 실시예에 따라 도 1의 제어부(110)가 VR 영상을 화면에 표시한 일례이다. 도 5에 도시된 바와 같이, 좌안 VR 영상(423-1)의 일부(510)가 전자 장치(100)의 좌측 화면에 표시되며, 우안 VR 영상(423-2)의 일부(520)가 전자 장치(100)의 우측 화면에 표시될 수 있다. 5 is an example of the VR image displayed on the screen by the controller 110 of FIG. 1 according to an embodiment of the present invention. A part 510 of the left eye VR image 423-1 is displayed on the left screen of the electronic device 100 and a part 520 of the right eye VR image 423-2 is displayed on the left screen of the electronic device 100, Can be displayed on the right screen of the display unit 100.

한편, 상기한 설명에서 전자 장치(100)는 VR 영상을 제공하기 위해 머리 착용형 장치(head-mounted-device, HMD)로 구현될 수 있다. 또는, 전자 장치(100)는 별도의 머리 창용형 장치와 결합될 수 있는 스마트 기기일 수 있다. 예를 들어, 전자 장치(100)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 등으로 구현될 수 있다. Meanwhile, in the above description, the electronic device 100 may be implemented as a head-mounted-device (HMD) to provide a VR image. Alternatively, the electronic device 100 may be a smart device that can be combined with a separate head-starting device. For example, the electronic device 100 may be a smartphone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, a desktop personal computer A laptop personal computer, a netbook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, a mobile medical device, a camera or a wearable device, Or the like.

도 6은 본 발명의 일 실시예에 따라 전자 장치(100)가 VR 영상을 제공하는 방법을 도시한 순서도이다. 도 6에 도시된 VR 영상을 제공하는 방법의 단계들은, 앞서 설명된 도 1 내지 도 5 등에서 설명된 실시예들과 관련된다. 따라서, 이하 생략된 내용이라 하여도, 도 1 내지 도 5 등에서 앞서 설명된 내용들은, 도 6 의 방법에 적용될 수 있다.Figure 6 is a flow diagram illustrating a method by which electronic device 100 provides VR images in accordance with one embodiment of the present invention. The steps of the method for providing the VR image shown in Fig. 6 are related to the embodiments described in Figs. 1 to 5 and the like described above. Therefore, the contents described above in Figs. 1 to 5 and the like can be applied to the method of Fig. 6 even if omitted below.

도 6을 참조하면, 전자 장치(100)는 장소 정보를 설정한다(s610). 예를 들어, 전자 장치(100)는 전자 장치(100)에 기 저장된 이미지, 촬영된 이미지, 또는 캡처된 이미지로부터 장소 정보를 설정할 수 있다. 보다 구체적으로, 전자 장치(100)는 기 저장된 이미지, 촬영된 이미지, 또는 캡처된 이미지에 포함된 적어도 하나의 객체를 추출하고, 추출된 객체에 대응하는 장소 정보를 탐색할 수 있다. 또는, 전자 장치(100)는 외부 서버에 구현된 뉴럴 네트워크 등을 이용하여 해당 이미지에 대응하는 장소 정보를 획득할 수도 있다. 또는, 전자 장치(100)는 사용자로부터 직접 장소 정보를 입력 받을 수도 있다. Referring to FIG. 6, the electronic device 100 sets place information (s610). For example, the electronic device 100 may set location information from an image pre-stored in the electronic device 100, a captured image, or a captured image. More specifically, the electronic device 100 can extract at least one object included in the pre-stored image, the captured image, or the captured image, and search for the place information corresponding to the extracted object. Alternatively, the electronic device 100 may acquire location information corresponding to the image using a neural network implemented in an external server. Alternatively, the electronic device 100 may receive location information directly from the user.

다음으로, 전자 장치(100)는 장소 정보에 대응하는 복수의 지도 이미지를 획득한다(s620). 전자 장치(100)는 외부의 지도 이미지 DB(database)(200)로부터 복수의 지도 이미지를 획득할 수 있다. 이때, 전자 장치(100)는 외부의 지도 이미지 DB(200)가 제공하는 API(application programming interface)를 이용하여 지도 이미지를 획득할 수 있다. 또한, 전자 장치(100)는 API 가 제공하는 파라미터(parameter)들을 조정함으로써, 외부의 지도 이미지 DB(200)에 저장된 하나의 지도 이미지를 복수 개로 분할하고, 분할된 복수의 지도 이미지를 획득할 수 있다.Next, the electronic device 100 acquires a plurality of map images corresponding to the place information (s620). The electronic device 100 may acquire a plurality of map images from an external map image database (database) At this time, the electronic device 100 can acquire a map image using an application programming interface (API) provided by the external map image DB 200. [ In addition, the electronic device 100 may divide one map image stored in the external map image DB 200 into a plurality of maps by adjusting the parameters provided by the API, and acquire a plurality of divided map images have.

이어서, 전자 장치(100)는 복수의 이미지를 통합하여 360도 회전가능한 VR 영상을 생성한다(s630). 구체적으로, 전자 장치(100)는 복수의 지도 이미지를 통합하고, 불필요한 부분을 크롭핑하여 평면 형태의 VR 영상을 생성할 수 있다. 이어서, 전자 장치(100)는 평면 형태의 VR 영상을 좌안 영상과 우안 영상으로 구분하고, 각 영상을 구(sphere)에 맵핑함으로써, 구 형태의 VR 영상(즉, 좌안 VR 영상 및 우안 VR 영상)을 생성할 수 있다. 전자 장치(100)는 좌측 화면에서 좌안 VR 영상의 일부를 표시하며, 우측 화면에서 우안 VR 영상의 일부를 표시할 수 있다.Subsequently, the electronic device 100 combines the plurality of images to generate a VR image capable of rotating 360 degrees (s630). Specifically, the electronic device 100 may integrate a plurality of map images, and may generate a flat VR image by cropping unnecessary portions. Then, the electronic device 100 divides the planar VR image into a left eye image and a right eye image, and maps each image to a sphere to generate spherical VR images (i.e., left eye VR image and right eye VR image) Can be generated. The electronic device 100 displays a part of the left eye VR image on the left screen and a part of the right eye VR image on the right screen.

전자 장치(100)는 사용자 모션이 감지됨에 따라, VR 영상 내에서 사용자가 이동하려는 이동 위치를 결정한다(s640). 여기서, 사용자의 모션은 사용자의 제자리 움직임, 사용자의 이동, 사용자의 손가락 지시 등을 포함할 수 있으며, 전자 장치(100)는 전자 장치(100)에 구비된 방향 센서(orientation sensor), 가속도 센서(accelerator sensor) 등을 이용하여 사용자 모션을 감지할 수 있다. 또한, 전자 장치(100)는 감지된 사용자 모션에 응답하여 사용자가 이동하려는 이동 위치(예컨대, 위도 및 경도 정보)를 결정할 수 있다. As the user motion is detected, the electronic device 100 determines the movement position in which the user wants to move within the VR image (s640). The electronic device 100 may include an orientation sensor, an acceleration sensor (not shown) provided in the electronic device 100, and a motion sensor accelerator sensor or the like. In addition, the electronic device 100 may determine a movement location (e.g., latitude and longitude information) that the user is to move in response to the sensed user motion.

구체적으로, 전자 장치(100)는 방향 센서를 통해 감지된 전자 장치(100)의 방향과 가속도 센서를 통해 감지된 전자 장치(100)의 흔들림의 크기를 기초로, 이동 위치를 결정할 수 있다. 예를 들어, 전자 장치(100)는 흔들림의 크기가 임계값 이상이면, 기준점으로부터 사용자가 이동하려는 이동 방향으로 단위 거리(예를 들어, 5미터, 10미터 등)만큼 떨어진 이동 위치를 결정할 수 있다. 여기서, 기준점은 장소 정보에 대응되며, VR 영상 내의 임의의 위치일 수 있다. 또한, 흔들림의 크기는 가속도 센서에 의해 감지된 과거의 x, y, z축의 중력 가속도 크기와 현재의 x, y, z축의 중력 가속도 크기의 차이를 기초로 산출될 수 있다. 한편, 전자 장치(100)는 흔들림의 크기가 클수록 기준점으로부터 먼 거리에서 이동 위치를 결정할 수 있다. Specifically, the electronic device 100 can determine the movement position based on the direction of the electronic device 100 sensed through the direction sensor and the magnitude of the shake of the electronic device 100 sensed through the acceleration sensor. For example, if the magnitude of the shake is greater than or equal to a threshold value, then the electronic device 100 may determine a movement position away from the reference point by a unit distance (e.g., 5 meters, 10 meters, etc.) . Here, the reference point corresponds to the place information and may be an arbitrary position in the VR image. Also, the magnitude of the shake can be calculated on the basis of the magnitude of the gravitational acceleration of the past x, y, z axis sensed by the acceleration sensor and the difference of the gravitational acceleration magnitude of the current x, y, z axes. On the other hand, as the magnitude of the shake increases, the electronic device 100 can determine the movement position at a distance from the reference point.

이후, 전자 장치(100)는 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여, 이동 위치의 VR 영상을 생성한다(s650). Thereafter, the electronic device 100 acquires at least one map image corresponding to the movement position and generates a VR image of the movement position (s650).

전자 장치(100)는 적어도 하나의 지도 이미지를 획득하기 위해, 360 도 영상 내에 포함된 적어도 하나의 경로를 추출할 수 있다. 이어서, 전자 장치(100)는 결정된 이동 위치를 기초로, 추출된 적어도 하나의 경로 중 하나의 경로를 선택할 수 있다. 전자 장치(100)는 선택된 경로에 대응하는 적어도 하나의 지도 이미지를 외부의 지도 이미지 DB(200)로부터 획득할 수 있다. 전자 장치(100)는 획득된 지도 이미지를 기초로 이동 위치의 VR 영상을 생성할 수 있다. 이때, 전자 장치(100)는 기존의 지도 이미지들 중 일부를 재사용 할 수 도 있으나, 이에 한정되는 것은 아니다. The electronic device 100 may extract at least one path included in the 360 degree image to obtain at least one map image. Subsequently, the electronic device 100 can select one of the extracted at least one path based on the determined movement position. The electronic device 100 may obtain at least one map image corresponding to the selected path from the external map image DB 200. [ The electronic device 100 may generate a VR image of the moving position based on the obtained map image. At this time, the electronic device 100 may reuse some of the existing map images, but the present invention is not limited thereto.

또한, 전자 장치(100)는 이동 위치의 VR 영상이 생성됨에 따라, 전자 장치(100)의 화면에 재생 중인 VR 영상을 이동 위치의 VR 영상으로 변경하여 표시할 수 있다. Also, as the VR image of the moving position is generated, the electronic device 100 can display the VR image being reproduced on the screen of the electronic device 100 by changing the VR image of the moving position.

한편, 단계 s610 내지 s650은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.On the other hand, steps s610 to s650 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능한 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.One embodiment of the invention may also be embodied in the form of a computer-readable medium having instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable medium also includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data .

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 전자 장치
110: 제어부
120: 메모리
130: 통신부
140: 센서부
150: 사용자 입력부
160: 디스플레이부
200: 지도 이미지 DB
100: Electronic device
110:
120: Memory
130:
140:
150: User input
160:
200: Map image DB

Claims (12)

전자 장치가 VR 영상을 제공하는 방법에 있어서,
장소 정보를 설정하는 단계;
상기 장소 정보에 대응하는 복수의 지도 이미지를 획득하는 단계;
상기 복수의 지도 이미지를 통합하여 360도 회전가능한 VR 영상을 생성하는 단계;
상기 전자 장치의 사용자의 모션이 감지됨에 따라, 상기 VR 영상 내에서 상기 사용자가 이동하려는 이동 위치를 결정하는 단계; 및
상기 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여, 상기 이동 위치의 VR 영상을 생성하는 단계;를 포함하되,
상기 이동 위치를 결정하는 단계는,
상기 전자 장치가 향하는 이동 방향을 감지하는 단계;
상기 전자 장치의 흔들림을 감지하는 단계; 및
상기 흔들림의 크기가 임계값을 초과하면, 상기 장소 정보로부터 상기 이동 방향으로 단위 거리만큼 떨어진 위치를 이동 위치로 결정하는 단계;를 포함하되,
상기 흔들림의 크기는, 이전의 중력 가속도 크기와 현재의 중력 가속도 크기의 차이를 기초로 결정하는,
VR 영상 제공 방법.
A method for an electronic device to provide VR images,
Setting location information;
Obtaining a plurality of map images corresponding to the place information;
Generating a VR image capable of rotating 360 degrees by integrating the plurality of map images;
Determining a movement position in which the user is to move within the VR image as motion of a user of the electronic device is sensed; And
Acquiring at least one map image corresponding to the movement position and generating a VR image of the movement position,
Wherein the determining the movement position comprises:
Sensing a direction of movement of the electronic device;
Sensing a shake of the electronic device; And
And determining, as a movement position, a position that is a unit distance from the place information in the movement direction when the size of the shake exceeds a threshold value,
The magnitude of the shake is determined based on the difference between the previous magnitude of gravitational acceleration and the current magnitude of gravitational acceleration,
VR image providing method.
제 1 항에 있어서,
상기 장소 정보를 설정하는 단계는,
사용자에 의해 촬영되거나 캡처(capture)된 이미지를 획득하는 단계;
상기 이미지에 포함된 적어도 하나의 객체를 추출하는 단계; 및
상기 적어도 하나의 객체가 위치하는 장소에 대한 정보를 탐색하는 단계; 를 포함하는 것인, VR 영상 제공 방법.
The method according to claim 1,
Wherein the setting of the place information comprises:
Obtaining an image captured or captured by a user;
Extracting at least one object included in the image; And
Searching information about a place where the at least one object is located; The VR image providing method comprising:
제 1 항에 있어서,
상기 복수의 지도 이미지를 획득하는 단계는
서버에 저장된 지도 이미지를 복수 개로 분할하는 단계; 및
상기 분할된 복수의 지도 이미지를 상기 서버로부터 획득하는 단계;를 포함하는 것인, VR 영상 제공 방법.
The method according to claim 1,
The step of acquiring the plurality of map images
Dividing a map image stored in a server into a plurality of images; And
And obtaining the divided plurality of map images from the server.
제 1 항에 있어서,
상기 흔들림의 크기는, 이전의 x, y, z축 각각의 중력 가속도 크기의 합과 현재의 x, y, z 축 각각의 중력 가속도 크기의 합의 차이를 기초로 결정되는 것인, VR 영상 제공 방법.
The method according to claim 1,
Wherein the magnitude of the shake is determined based on a difference between a sum of gravity acceleration magnitudes of each of the x, y, and z axes and a sum of a gravity acceleration magnitude of each of the x, y, .
제 1 항에 있어서,
상기 이동 위치의 VR 영상을 생성하는 단계는
상기 전자 장치의 화면에서 재생 중인 VR 영상 내에 포함된 적어도 하나의 경로를 추출하는 단계;
상기 이동 위치를 기초로, 상기 적어도 하나의 경로 중에서 하나를 선택하는 단계;
상기 선택된 경로에 대응하는 적어도 하나의 지도 이미지를 획득하는 단계; 및
상기 획득된 적어도 하나의 지도 이미지를 기초로 상기 이동 위치의 VR 영상을 생성하는 단계;를 포함하는 것인, VR 영상 제공 방법.
The method according to claim 1,
The step of generating the VR image of the movement position
Extracting at least one path included in the VR image being reproduced on the screen of the electronic device;
Selecting one of the at least one path based on the moved position;
Obtaining at least one map image corresponding to the selected path; And
And generating a VR image of the movement position based on the obtained at least one map image.
VR 영상을 제공하는 전자 장치에 있어서,
VR 영상을 제공하는 프로그램이 저장된 메모리 및 상기 프로그램을 실행하는 프로세서;를 포함하며,
상기 프로세서는, 상기 프로그램이 실행됨에 따라,
장소 정보를 설정하고, 상기 장소 정보에 대응하는 복수의 지도 이미지를 획득하며,
상기 복수의 지도 이미지를 통합하여 360도 회전가능한 VR 영상을 생성하고,
상기 전자 장치의 사용자의 모션이 감지됨에 따라, 상기 VR 영상 내에서 상기 사용자가 이동하려는 이동 위치를 결정하고,
상기 이동 위치에 대응하는 적어도 하나의 지도 이미지를 획득하여, 상기 이동 위치의 VR 영상을 생성하되,
상기 전자 장치는
상기 사용자의 모션을 감지하는 센서부를 더 포함하며,
상기 프로세서는,
상기 센서부를 통해, 상기 전자 장치가 향하는 이동 방향을 감지하고, 상기 전자 장치의 흔들림을 감지하며,
상기 흔들림의 크기가 임계값을 초과하면, 상기 장소 정보로부터 상기 이동 방향으로 단위 거리만큼 떨어진 위치를 이동 위치로 결정하되,
상기 흔들림의 크기는, 이전의 중력 가속도 크기와 현재의 중력 가속도 크기의 차이를 기초로 결정되는 것인,
전자 장치.
An electronic device for providing a VR image,
A memory for storing a program for providing a VR image, and a processor for executing the program,
The processor, as the program is executed,
Setting location information, acquiring a plurality of map images corresponding to the location information,
Generating a VR image capable of rotating 360 degrees by integrating the plurality of map images,
As the motion of the user of the electronic device is sensed, determines a movement position in which the user is to move within the VR image,
Acquiring at least one map image corresponding to the movement position to generate a VR image of the movement position,
The electronic device
And a sensor unit for sensing motion of the user,
The processor comprising:
Wherein the sensor unit detects a direction of movement of the electronic device, detects a shake of the electronic device,
Wherein when the size of the shaking exceeds a threshold value, a position that is a unit distance from the place information in the moving direction is determined as a moving position,
Wherein the magnitude of the shake is determined based on a difference between a magnitude of previous gravitational acceleration and a magnitude of current gravitational acceleration.
Electronic device.
제 6 항에 있어서,
상기 프로세서는,
사용자에 의해 촬영되거나 캡처(capture)된 이미지를 획득하며, 상기 이미지에 포함된 적어도 하나의 객체를 추출하고, 상기 적어도 하나의 객체가 위치하는 장소에 대한 정보를 탐색하는 것인, 전자 장치.
The method according to claim 6,
The processor comprising:
Acquiring an image captured or captured by a user, extracting at least one object included in the image, and searching for information on a location where the at least one object is located.
제 6 항에 있어서,
상기 전자 장치는
서버와 통신하는 통신부를 더 포함하며,
상기 프로세서는,
상기 통신부를 통해 상기 서버에 접속하여 상기 서버에 저장된 지도 이미지를 복수 개로 분할하고, 상기 분할된 복수의 지도 이미지를 상기 서버로부터 획득하는 것인, 전자 장치.
The method according to claim 6,
The electronic device
And a communication unit for communicating with the server,
The processor comprising:
Wherein the server is connected to the server via the communication unit to divide the map image stored in the server into a plurality of images and obtains the divided plurality of map images from the server.
제 6 항에 있어서,
상기 흔들림의 크기는, 이전의 x, y, z축 각각의 중력 가속도 크기의 합과 현재의 x, y, z 축 각각의 중력 가속도 크기의 합의 차이를 기초로 결정되는 것인, 전자 장치.
The method according to claim 6,
Wherein the magnitude of the shake is determined based on the sum of the magnitude of the gravitational acceleration of each of the previous x, y, z axes and the sum of the gravitational acceleration magnitudes of each of the current x, y, z axes.
제 6 항에 있어서,
상기 프로세서는,
기 생성된 VR 영상 내에 포함된 적어도 하나의 경로를 추출하고, 상기 이동 위치를 기초로 상기 적어도 하나의 경로 중에서 하나를 선택하며,
상기 선택된 경로에 대응하는 적어도 하나의 지도 이미지를 획득하고, 상기 획득된 적어도 하나의 지도 이미지를 기초로 상기 이동 위치의 VR 영상을 생성하는 것인, 전자 장치.
The method according to claim 6,
The processor comprising:
Extracting at least one path included in the generated VR image, selecting one of the at least one path based on the moved position,
Obtain at least one map image corresponding to the selected path, and generate a VR image of the moved position based on the obtained at least one map image.
제 6 항에 있어서,
상기 전자 장치는, 머리 착용형 장치(head mounted device) 형태로 구현되거나, 머리 착용형 장치와 결합되는 스마트 기기(smart device)로 구현되는 것인, 전자 장치.
The method according to claim 6,
Wherein the electronic device is implemented in the form of a head mounted device or is implemented as a smart device coupled with a head wearable device.
제 1 항 내지 제 5 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체. A computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 5 is recorded.
KR1020160182252A 2016-12-29 2016-12-29 Method and appratus for providing vr image KR101877901B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160182252A KR101877901B1 (en) 2016-12-29 2016-12-29 Method and appratus for providing vr image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182252A KR101877901B1 (en) 2016-12-29 2016-12-29 Method and appratus for providing vr image

Publications (2)

Publication Number Publication Date
KR20180077666A KR20180077666A (en) 2018-07-09
KR101877901B1 true KR101877901B1 (en) 2018-07-12

Family

ID=62919051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182252A KR101877901B1 (en) 2016-12-29 2016-12-29 Method and appratus for providing vr image

Country Status (1)

Country Link
KR (1) KR101877901B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017152A (en) 2018-08-08 2020-02-18 (주)한국체스게임 Sysyem for provinding virtual reality service and method therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102435185B1 (en) * 2021-03-25 2022-08-22 노원일 How to create 3D images based on 360° VR shooting and provide 360° VR contents service

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08124100A (en) * 1994-10-28 1996-05-17 Nikon Corp Monitoring device for distance between vehicles
JPH11259673A (en) * 1998-01-08 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> Space stroll video display method, in-space object retrieving method, and in-space object extracting method, device therefor, and recording medium where the methods are recorded
JP2004062618A (en) * 2002-07-30 2004-02-26 Koei:Kk Program, recording medium, metaball plotting method and game machine
US20070265084A1 (en) * 2006-04-28 2007-11-15 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
EP2660645A1 (en) * 2012-05-04 2013-11-06 Sony Computer Entertainment Europe Limited Head-mountable display system
US20140347390A1 (en) * 2013-05-22 2014-11-27 Adam G. Poulos Body-locked placement of augmented reality objects
KR20150084200A (en) * 2014-01-13 2015-07-22 엘지전자 주식회사 A head mounted display and the method of controlling thereof
KR20150123605A (en) * 2014-04-25 2015-11-04 세종대학교산학협력단 Apparatus for playing mixed reality content and method for rendering mixed reality content
WO2016209167A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte. Ltd. Systems and methods for generating 360 degree mixed reality environments

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08124100A (en) * 1994-10-28 1996-05-17 Nikon Corp Monitoring device for distance between vehicles
JPH11259673A (en) * 1998-01-08 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> Space stroll video display method, in-space object retrieving method, and in-space object extracting method, device therefor, and recording medium where the methods are recorded
JP2004062618A (en) * 2002-07-30 2004-02-26 Koei:Kk Program, recording medium, metaball plotting method and game machine
US20070265084A1 (en) * 2006-04-28 2007-11-15 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
EP2660645A1 (en) * 2012-05-04 2013-11-06 Sony Computer Entertainment Europe Limited Head-mountable display system
US20140347390A1 (en) * 2013-05-22 2014-11-27 Adam G. Poulos Body-locked placement of augmented reality objects
KR20150084200A (en) * 2014-01-13 2015-07-22 엘지전자 주식회사 A head mounted display and the method of controlling thereof
KR20150123605A (en) * 2014-04-25 2015-11-04 세종대학교산학협력단 Apparatus for playing mixed reality content and method for rendering mixed reality content
WO2016209167A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte. Ltd. Systems and methods for generating 360 degree mixed reality environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
정재훈 외 7인, "동작기반의 체험형 리모트 콘트롤", 한국 HCI학회(2007) *
정재훈 외 7인, "동작기반의 체험형 리모트 콘트롤", 한국 HCI학회(2007)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017152A (en) 2018-08-08 2020-02-18 (주)한국체스게임 Sysyem for provinding virtual reality service and method therefor

Also Published As

Publication number Publication date
KR20180077666A (en) 2018-07-09

Similar Documents

Publication Publication Date Title
US9280849B2 (en) Augmented reality interface for video tagging and sharing
JP7344974B2 (en) Multi-virtual character control method, device, and computer program
US9121724B2 (en) 3D position tracking for panoramic imagery navigation
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US11636644B2 (en) Output of virtual content
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
JP2017505923A (en) System and method for geolocation of images
KR101806957B1 (en) Method and system for automatic update of point of interest
JP2017212510A (en) Image management device, program, image management system, and information terminal
KR101877901B1 (en) Method and appratus for providing vr image
CN107851069B (en) Image management system, image management method, and program
JP2010231741A (en) Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof
JP5951465B2 (en) Program, information terminal, server and method for determining line-of-sight area based on road information
GB2513865A (en) A method for interacting with an augmented reality scene
JP2008219390A (en) Image reader
KR20190089689A (en) Method and apparatus for providing street view, and computer program for executing the method
US8786752B2 (en) Digital device and method for controlling the same
KR101939530B1 (en) Method and apparatus for displaying augmented reality object based on geometry recognition
JP2017126868A (en) Image display system, information processing device, image display method and image display program
US20240071018A1 (en) Smooth object correction for augmented reality devices
WO2024015051A1 (en) Immmersive digital map navigation using one hand
KR20190006584A (en) Method and apparatus for displaying augmented reality object based on geometry recognition
KR20140139210A (en) Method of providing 2D contents and portable terminal for playing 2D contents based in cloud service

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant