KR20190047922A - System for sharing information using mixed reality - Google Patents

System for sharing information using mixed reality Download PDF

Info

Publication number
KR20190047922A
KR20190047922A KR1020170142314A KR20170142314A KR20190047922A KR 20190047922 A KR20190047922 A KR 20190047922A KR 1020170142314 A KR1020170142314 A KR 1020170142314A KR 20170142314 A KR20170142314 A KR 20170142314A KR 20190047922 A KR20190047922 A KR 20190047922A
Authority
KR
South Korea
Prior art keywords
virtual object
gps coordinates
image
information
mixed reality
Prior art date
Application number
KR1020170142314A
Other languages
Korean (ko)
Other versions
KR102022912B1 (en
Inventor
김영평
이성욱
Original Assignee
주식회사 아이티원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티원 filed Critical 주식회사 아이티원
Priority to KR1020170142314A priority Critical patent/KR102022912B1/en
Publication of KR20190047922A publication Critical patent/KR20190047922A/en
Application granted granted Critical
Publication of KR102022912B1 publication Critical patent/KR102022912B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

The present invention provides an information system using mixed reality, comprising: a first device, portable, providing a mixed reality space based on captured images, generating a virtual object at a position set by a user within the mixed reality space according to a user input and transmitting, to a sharing server, a GPS coordinates of the virtual object and information on the virtual object calculated from a GPS coordinates of the first device and a spatial coordinates of the position set by the user; a second device portable; and the sharing server storing the GPS coordinates of the virtual object and the information on the virtual object and transmitting the GPS coordinates of the virtual object and information on the virtual object to the second device if the GPS coordinates of the virtual object is included in an image captured by the second device, wherein the second device displays the virtual object on a position of the captured image corresponding to the GPS coordinates of the virtual object. The present invention can share information, based on a geographical position, with many and unspecified persons using the mixed reality.

Description

혼합현실을 이용한 정보 공유 시스템{System for sharing information using mixed reality}{Information sharing system using mixed reality}

본 발명은 정보 공유 시스템에 관한 것으로, 보다 상세하게는 혼합현실을 이용한 정보 공유 시스템에 관한 것이다.The present invention relates to an information sharing system, and more particularly, to an information sharing system using mixed reality.

기존의 가상현실은 가상의 공간과 사물만을 대상으로 하지만, 혼합현실(Mixed Reality)은 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공한다. 즉, 완전한 가상세계를 전제로 하는 가상현실과는 달리 현실세계 위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다.Conventional virtual reality only deals with virtual spaces and objects, but Mixed Reality synthesizes virtual objects on the basis of real world, and reinforces additional information that is difficult to obtain by the real world alone. In other words, unlike a virtual reality that assumes a complete virtual world, it combines virtual objects on the real world to further increase the effect of reality.

이러한 특징 때문에 혼합현실은 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실 환경에 응용이 가능하다.Because of this feature, mixed reality can be applied to various real environments, unlike existing virtual reality, which can be applied only to fields such as games.

본 발명이 이루고자 하는 기술적 과제는 혼합현실을 이용하여 지리적 위치를 기반으로 하는 정보를 불특정 다수 간에 공유할 수 있는 시스템을 제공하는 데 있다.An object of the present invention is to provide a system capable of sharing information based on geographical location among an unspecified number of users using mixed reality.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 혼합현실을 이용한 정보 공유 시스템은, 휴대 가능한 제1 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하고, 상기 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 디바이스; 휴대 가능한 제2 디바이스; 및 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고, 상기 제2 디바이스는 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an information sharing system using a mixed reality, the system comprising: a first portable device capable of providing a mixed reality space based on a captured image, A first device for generating a virtual object according to the input and transmitting the GPS coordinates of the virtual object calculated from the GPS coordinates of the first device and the spatial coordinates of the user designated location and the virtual object information to the shared server; A second portable device; And storing GPS coordinates of the virtual object and information of the virtual object, and when GPS coordinates of the virtual object are included in an image taken by the second device, GPS coordinates of the virtual object and information of the virtual object And the second device displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the image to be photographed.

상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표 및 촬영 방향 정보를 상기 공유 서버로 전송하고, 상기 공유 서버는 상기 제2 디바이스의 GPS 좌표 및 상기 촬영 방향 정보를 이용하여 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는지 판단할 수 있다.Wherein the second device transmits GPS coordinates and photographing direction information of the second device to the sharing server, and the sharing server transmits the GPS coordinates and photographing direction information of the second device to the second device by using the GPS coordinates of the second device and the photographing direction information It is possible to determine whether the GPS coordinates of the virtual object are included in the image.

상기 공유 서버는 상기 제2 디바이스의 GPS 좌표와 상기 가상객체의 GPS 좌표 간의 거리가 소정 거리 이내이고 상기 촬영 방향을 중심으로 하는 일정 화각 내에 상기 가상객체의 GPS 좌표가 포함되면 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는 것으로 판단할 수 있다.When the GPS coordinate of the virtual object is included within a predetermined angle of view with the distance between the GPS coordinate of the second device and the GPS coordinate of the virtual object being within a predetermined distance and centering on the photographing direction, It can be determined that the GPS coordinates of the virtual object are included in the captured image.

상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표로부터 상기 가상객체의 GPS 좌표의 거리에 따라 상기 가상객체의 크기를 다르게 표시할 수 있다.The second device may display the size of the virtual object differently according to the distance of the GPS coordinates of the virtual object from the GPS coordinates of the second device.

상기 제1 디바이스의 GPS 좌표가 (x1, y1, z1)이고 상기 공간 좌표가 (a, b, c)일 때, 상기 가상객체의 GPS 좌표는 (x1+a, y1+b, z1+c)로 산출될 수 있다.When the GPS coordinates of the first device (x 1, y 1, z 1) and said spatial coordinates (a, b, c), GPS coordinates of the virtual object (x 1 + a, y 1 + b , z 1 + c).

상기 가상객체는 텍스트, 이미지 또는 이들의 조합을 포함할 수 있다.The virtual object may comprise text, an image, or a combination thereof.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 혼합현실을 이용한 정보 공유 시스템은, 휴대 가능한 제1 디바이스에 설치되는 제1 애플리케이션으로서, 촬영되는 영상을 바탕으로 제공되는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 애플리케이션; 휴대 가능한 제2 디바이스에 설치되는 제2 애플리케이션; 및 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고, 상기 제2 애플리케이션은 상기 제2 디바이스에 의해 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an information sharing system using a mixed reality, the system comprising: a first application installed in a portable first device, A first application for generating a virtual object according to an input and transmitting GPS coordinates of the virtual object calculated from the GPS coordinates of the first device and the spatial coordinates of the user specified location and information about the virtual object to a shared server; A second application installed in a portable second device; And storing GPS coordinates of the virtual object and information of the virtual object, and when GPS coordinates of the virtual object are included in an image taken by the second device, GPS coordinates of the virtual object and information of the virtual object And the second application displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the image photographed by the second device.

상기된 본 발명에 의하면 혼합현실을 이용하여 지리적 위치를 기반으로 하는 정보를 불특정 다수 간에 공유할 수 있는 효과가 있다.According to the present invention, information based on a geographical location can be shared among an unspecified number of users using mixed reality.

도 1은 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 일부 구성을 보여준다.
도 2는 제1 사용자(110)가 제1 디바이스(100)에 의해 촬영되는 건물에 있는 매장을 방문하고 난 후기를 가상객체(VO)로 입력한 예를 보여준다.
도 3은 혼합현실 공간 내의 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표계를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 나머지 일부 구성을 보여준다.
도 5는 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)가 표시되는 화면의 예를 보여준다.
도 6은 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)가 더 크게 표시되는 화면의 예를 보여준다.1 shows a part of an information sharing system using mixed reality according to an embodiment of the present invention.
2 shows an example in which a first user 110 visits a store in a building photographed by the first device 100 and inputs a short term as a virtual object VO.
3 shows a spatial coordinate system of the user-specified position P in the mixed reality space, that is, the virtual object VO.
FIG. 4 illustrates a remaining part of the configuration of an information sharing system using mixed reality according to an embodiment of the present invention.
FIG. 5 shows an example of a screen in which a virtual object VO is displayed on an image taken by the second device 300.
FIG. 6 shows an example of a screen in which a virtual object VO is displayed in a larger size on an image taken by the second device 300.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 일부 구성을 보여준다. 본 실시예에 따른 정보 공유 시스템은 제1 사용자(110)의 제1 디바이스(100) 및 공유 서버(200)를 포함한다.1 shows a part of an information sharing system using mixed reality according to an embodiment of the present invention. The information sharing system according to the present embodiment includes the first device 100 of the first user 110 and the shared server 200. [

제1 디바이스(100)는 휴대 가능한 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공한다. 일 예로, 제1 디바이스(100)는 헤드 마운트형 디스플레이(head mounted display; HMD) 디바이스일 수 있다. 다른 예로, 제1 디바이스(100)는 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)일 수도 있다. 제1 디바이스(100)는 혼합현실 공간을 제공하기 위해 현실 환경의 3차원 맵을 생성할 수 있으며, 이를 위하여 예컨대 깊이 카메라를 구비할 수 있다. 또한 제1 디바이스(100)는 위치 파악을 위하여 GPS 모듈을 구비할 수 있고, 촬영 방향 인식을 위해 자이로센서를 구비할 수 있다.The first device 100 is a portable device that provides a mixed reality space based on the image to be photographed. In one example, the first device 100 may be a head mounted display (HMD) device. As another example, the first device 100 may be a handheld mobile device (e.g., smart phone, tablet computer, etc.). The first device 100 may generate a three-dimensional map of the real environment to provide a mixed reality space, and may be provided with a depth camera, for example. In addition, the first device 100 may include a GPS module for location determination, and may include a gyro sensor to recognize a photographing direction.

제1 디바이스(100)(또는 제1 디바이스(100)에 설치된 제1 애플리케이션, 이하 제1 디바이스(100)의 기능 또는 동작은 제1 애플리케이션의 기능 또는 동작으로도 해석될 수 있음)는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성한다. 즉, 제1 디바이스(100)는 촬영되는 영상을 바탕으로 생성된 혼합현실 공간 내에 제1 사용자(110)가 지정한 어떤 위치에 제1 사용자(110)가 입력한 가상객체를 생성한다.The first device 100 (or a first application installed in the first device 100, hereinafter the function or operation of the first device 100 may also be interpreted as a function or an operation of the first application) And creates a virtual object according to the user's input at a user-specified position within the virtual object. That is, the first device 100 creates a virtual object input by the first user 110 at a certain position designated by the first user 110 in the mixed reality space generated based on the captured image.

사용자 지정 위치는, 예를 들면 도 1에 도시된 바와 같이 건물의 특정 지점(P)이 될 수 있다. 다른 예로, 벽이나 나무 등의 특정 지점이 될 수도 있고, 심지어는 (혼합현실 공간에서 사용자가 지정할 수 있는 한) 허공의 특정 지점이 될 수도 있다. The user-specified position may be a specific point P of the building, for example, as shown in Fig. In other cases, it may be a specific point on a wall or a tree, or even a specific point in the air (as far as the user can specify in mixed reality space).

가상객체는 텍스트, 이미지(2차원 또는 3차원), 또는 이들의 조합을 포함할 수 있다. 텍스트나 이미지는 제1 사용자(110)가 직접 입력하거나 그린 것일 수도 있고, 어떤 저장소(웹사이트, 파일, 폴더, 메모리 등)에서 불러온 것일 수도 있다.The virtual object may comprise text, image (two or three dimensional), or a combination thereof. The text or image may be directly input or drawn by the first user 110 or may be retrieved from some repository (web site, file, folder, memory, etc.).

도 2는 제1 사용자(110)가 제1 디바이스(100)에 의해 촬영되는 건물에 있는 매장을 방문하고 난 후기(혹은 메모, 평가, 소감 등)를 가상객체(VO)로 입력한 예를 보여준다. 제1 사용자(110)는 매장의 이름이나 지도상의 위치 등을 입력할 필요 없이, 촬영되는 영상에서 위치(P)만을 지정함으로써 자신이 방문한(또는 후기 등을 기록할) 매장을 특정할 수 있으며, 그 위치(P)에 예컨대 텍스트 형식으로 후기를 기록할 수 있다. 가령 제1 사용자(110)는 도시된 바와 같이 후기로서 "전망좋고 커피맛 좋음"이라고 기록할 수 있다. 2 shows an example in which a first user 110 visits a store in a building photographed by the first device 100 and inputs a later (or memo, evaluation, impressions, etc.) as a virtual object VO . The first user 110 can specify a shop visited (or recorded later) by designating only the position P in the captured image without inputting the name of the store or the location on the map, It is possible to record a later date in the position P, for example, in a text format. For example, the first user 110 may record the latter as "viewable and coffee-tasting" as shown.

도 3은 혼합현실 공간 내의 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표계를 나타낸다. 혼합현실 공간에서 가상객체는 사용자 시점, 즉 제1 디바이스(100)를 원점으로 하는 공간 좌표계에 놓여진다. 도 3에서, 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표는 (a, b, c)로 표현된다.3 shows a spatial coordinate system of the user-specified position P in the mixed reality space, that is, the virtual object VO. In the mixed reality space, the virtual object is placed in the spatial coordinate system with the user viewpoint, that is, the first device 100 as the origin. 3, the spatial coordinates of the user-specified position P, that is, the virtual object VO are expressed by (a, b, c).

한편 제1 디바이스(100)는 절대 위치로서 GPS 모듈을 이용하여 GPS 좌표가 정의된다. 도 3에서 제1 디바이스(100)의 GPS 좌표는 (x1, y1, z1)이다.On the other hand, the GPS coordinates are defined using the GPS module as the absolute position of the first device 100. In Figure 3 GPS coordinates of the first device 100 is (x 1, y 1, z 1).

그러면 제1 디바이스(100)는 제1 디바이스(100)의 GPS 좌표 (x1, y1, z1)과 가상객체(VO)의 공간 좌표 (a, b, c)로부터 가상객체(VO)의 GPS 좌표를 (x1+a, y1+b, z1+c)로 산출할 수 있다. 이것이 가상객체(VO)의 절대 위치가 된다.The first device 100 then determines the virtual object VO from the GPS coordinates x 1 , y 1 , z 1 of the first device 100 and the spatial coordinates a, b, c of the virtual object VO. the GPS coordinates can be calculated as (x 1 + a, y 1 + b, z 1 + c). This is the absolute position of the virtual object VO.

제1 디바이스(100)는 가상객체(VO)의 GPS 좌표 및 가상객체(VO)의 정보를 무선 통신망을 통하여 공유 서버(200)로 전송한다. 그러면 공유 서버(200)는 가상객체(VO)의 정보를 그것의 GPS 좌표와 매칭하여 저장한다. The first device 100 transmits the GPS coordinates of the virtual object VO and the information of the virtual object VO to the shared server 200 through the wireless communication network. Then, the shared server 200 stores information of the virtual object VO by matching with its GPS coordinates.

다수의(그리고 곳곳의) 제1 사용자(110)들에 의해, 다수의 제1 디바이스(100)들로부터 다수의 가상객체(VO)들이 수집됨으로써, 공유 서버(200)에는 수많은 지리적 위치마다(혹은 해당 지리적 위치의 매장, 건물, 지표 등마다) 각종 컨텐츠가 축적될 수 있다. 이렇게 축적된 컨텐츠는 본 발명의 실시예에 의하여 해당 위치 근처를 방문한 다른 사용자들에게 공유될 수 있다.By collecting a plurality of virtual objects VO from a plurality of first devices 100 by a plurality of (and in various places) first users 110, the shared server 200 can be accessed for a number of geographic locations Various contents can be accumulated for each store, building, and indicator of the corresponding geographical location). According to the embodiment of the present invention, the accumulated contents can be shared with other users visiting the vicinity of the location.

도 4는 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 나머지 일부 구성을 보여준다. 본 실시예에 따른 정보 공유 시스템은 제2 사용자(310)의 제2 디바이스(300)를 더 포함한다.FIG. 4 illustrates a remaining part of the configuration of an information sharing system using mixed reality according to an embodiment of the present invention. The information sharing system according to the present embodiment further includes the second device 300 of the second user 310. [

제2 디바이스(300)는 휴대 가능한 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하는 HMD 디바이스 또는 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)일 수도 있고, 혼합현실 기능이 없는 핸드헬드 모바일 디바이스일 수도 있다. 제2 디바이스(300)는 위치 파악을 위해 GPS 모듈을 구비할 수 있고, 촬영 방향 인식을 위해 자이로센서를 구비할 수 있다.The second device 300 may be a portable device that may be an HMD device or a handheld mobile device (e.g., a smart phone, a tablet computer, etc.) that provides a mixed reality space based on the images being shot, Or may be a handheld mobile device without functionality. The second device 300 may include a GPS module for locating and may include a gyro sensor for recognizing the photographing direction.

공유 서버(200)는, 제2 디바이스(300)(또는 제2 디바이스(300)에 설치된 제2 애플리케이션, 이하 제2 디바이스(300)의 기능 또는 동작은 제2 애플리케이션의 기능 또는 동작으로도 해석될 수 있음)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되면, 해당 가상객체(VO)의 정보 및 그 GPS 좌표를 제2 디바이스(300)로 전송하고, 이를 수신한 제2 디바이스(300)는 촬영되는 영상의 가상객체(VO)의 GPS 좌표에 대응하는 위치에 가상객체(VO)를 표시한다.The shared server 200 may also be configured so that the second application 300 (or the second application installed in the second device 300, hereinafter referred to as the second device 300) If the GPS coordinates of the virtual object VO are included in the image captured by the second device 300, the information of the virtual object VO and its GPS coordinates are transmitted to the second device 300, The display unit 300 displays the virtual object VO at a position corresponding to the GPS coordinates of the virtual object VO of the image to be photographed.

예컨대 도 4에 도시된 바와 같이, 제2 사용자(310)가 가상객체(VO)의 GPS 좌표(P)의 근처에서 제2 디바이스(300)로 영상을 촬영하여 GPS 좌표(P)가 촬영되는 영상에 포함되면, 공유 서버(200)는 가상객체(VO)의 정보, 즉 "전망좋고 커피맛 좋음" 및 그 GPS 좌표를 제2 디바이스(300)로 전송하고, 도 5에 도시된 바와 같이 제2 디바이스(300)는 촬영되는 영상의 해당 GPS 좌표에 대응하는 위치에 "전망좋고 커피맛 좋음"이라는 텍스트를 표시한다.For example, as shown in FIG. 4, when the second user 310 photographs an image to the second device 300 in the vicinity of the GPS coordinates P of the virtual object VO, The shared server 200 transmits the information of the virtual object VO, i.e., " prospective coffee taste " and its GPS coordinates to the second device 300, The device 300 displays the text " Prospective and Coffee Taste " at a position corresponding to the corresponding GPS coordinates of the image to be photographed.

공유 서버(200)가 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수 있도록, 제2 디바이스(300)는 주기적으로(혹은 촬영 시에) GPS 좌표를 공유 서버(200)로 전송하고, 촬영 시에 촬영 방향 정보를 공유 서버(200)로 전송할 수 있다.The second device 300 may periodically (or at the time of photographing) determine whether the GPS coordinates of the virtual object VO are included in the image captured by the second device 300, The coordinates may be transmitted to the shared server 200, and the shooting direction information may be transmitted to the sharing server 200 at the time of shooting.

그러면 공유 서버(200)는 제2 디바이스(300)의 GPS 좌표와 촬영 방향 정보를 이용하여 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수 있다.The sharing server 200 may then determine whether the GPS coordinates of the virtual object VO are included in the image photographed by the second device 300 using the GPS coordinates and the photographing direction information of the second device 300 .

예를 들면, 제2 디바이스(300)와 가상객체(VO)의 거리, 즉 제2 디바이스(300)의 GPS 좌표와 가상객체(VO)의 GPS 좌표(P) 간의 거리가 소정 거리(예컨대 수m 혹은 수십m) 이내이고 제2 디바이스(300)의 촬영 방향을 중심으로 하는 일정 화각(가령 120ㅀ) 내에 가상객체(VO)의 GPS 좌표(P)가 포함되면, 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는 것으로 판단할 수 있다.For example, if the distance between the second device 300 and the virtual object VO, that is, the distance between the GPS coordinates of the second device 300 and the GPS coordinates P of the virtual object VO is a predetermined distance If the GPS coordinates P of the virtual object VO are included within a predetermined angle of view (for example, 120 ㅀ) centered on the photographing direction of the second device 300, the second device 300 It can be determined that the GPS coordinates of the virtual object VO are included in the photographed image.

만일 제2 디바이스(300)가 혼합현실 기능을 가지는 디바이스라면, 제2 디바이스(300)는 촬영되는 영상의 공간 좌표들(혹은 그 범위)을 GPS 좌표로 변환하여 공유 서버(200)로 전송하고, 공유 서버(200)는 이를 이용하여 촬영되는 영상 내에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수도 있다.If the second device 300 is a device having a mixed reality function, the second device 300 converts the spatial coordinates (or a range thereof) of the photographed image into GPS coordinates and transmits the coordinates to the shared server 200, The sharing server 200 may use the information to determine whether the GPS coordinates of the virtual object VO are included in the photographed image.

제2 디바이스(300)는 공유 서버(200)로부터 가상객체(VO)의 정보와 GPS 좌표를 수신하면, 현재 제2 디바이스(300)의 GPS 좌표와 촬영 방향 정보를 이용하여 화면 내에 가상객체(VO)의 GPS 좌표(P)에 대응하는 위치를 산출하고, 그 위치에 가상객체(VO)를 표시할 수 있다.When the second device 300 receives the information of the virtual object VO and the GPS coordinates from the shared server 200, the second device 300 uses the GPS coordinates and the photographing direction information of the second device 300, ), And display the virtual object VO at that position.

제2 디바이스(300)는 제2 디바이스(300)로부터 가상객체(VO)까지의 거리, 즉 제2 디바이스(300)의 GPS 좌표와 가상객체(VO)의 GPS 좌표 간의 거리에 따라 가상개체(VO)의 크기를 다르게 표시할 수 있다. 예컨대 가상객체(VO)가 멀리 있을수록 작게, 가까이 있을수록 크게 표시하는 것이다. 이 경우 제2 사용자(310)가 가상객체(VO)에 다가갈수록 가상객체(VO)는 더 크게 표시될 것이다. 도 6은 도 5에 비하여 가상객체(VO)에(실제로는, 가상객체(VO)의 GPS 좌표에) 더 가까이 접근함으로써 가상객체(VO)가 더 크게 표시된 화면을 보여준다. The second device 300 may determine the distance between the second device 300 and the virtual object VO according to the distance between the GPS coordinates of the second device 300 and the GPS coordinates of the virtual object VO, ) Can be displayed differently. For example, as the virtual object VO is far away, it is small, and when it is near, it is displayed large. In this case, as the second user 310 approaches the virtual object VO, the virtual object VO will be displayed larger. FIG. 6 shows a screen in which the virtual object VO is displayed in a larger size by approaching the virtual object VO (actually, the GPS coordinates of the virtual object VO) in comparison with FIG.

본 발명에 설명된 디바이스, 애플리케이션, 서버의 기능 또는 동작들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. The functions or operations of the devices, applications, servers described in the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which are executed through a processor of a computer or other programmable data processing apparatus, Respectively. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the memory to produce a manufacturing item containing instruction means for performing the described function. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the described functions.

또한, 각 기능 또는 동작들은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each function or operation may represent a portion of a module, segment, or code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments the functions mentioned may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (7)

휴대 가능한 제1 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하고, 상기 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 디바이스;
휴대 가능한 제2 디바이스; 및
상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고,
상기 제2 디바이스는 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.A method for providing a mixed reality space, the method comprising: providing a mixed reality space based on an image to be photographed; generating a virtual object according to user input at a user specified location in the mixed reality space; A first device for transmitting GPS coordinates of the virtual object calculated from the spatial coordinates of the location and information of the virtual object to a shared server;
A second portable device; And
The GPS coordinates of the virtual object and the information of the virtual object are stored in the image captured by the first device and the GPS coordinates of the virtual object are included in the image taken by the second device, To a second device,
Wherein the second device displays the virtual object at a position corresponding to GPS coordinates of the virtual object of the image to be photographed. 제1항에 있어서,
상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표 및 촬영 방향 정보를 상기 공유 서버로 전송하고,
상기 공유 서버는 상기 제2 디바이스의 GPS 좌표 및 상기 촬영 방향 정보를 이용하여 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는지 판단하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method according to claim 1,
The second device transmits GPS coordinates and photographing direction information of the second device to the sharing server,
Wherein the sharing server determines whether the GPS coordinate of the virtual object is included in the image photographed by the second device using the GPS coordinates of the second device and the photographing direction information, Shared system. 제2항에 있어서,
상기 공유 서버는 상기 제2 디바이스의 GPS 좌표와 상기 가상객체의 GPS 좌표 간의 거리가 소정 거리 이내이고 상기 촬영 방향을 중심으로 하는 일정 화각 내에 상기 가상객체의 GPS 좌표가 포함되면 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는 것으로 판단하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.3. The method of claim 2,
When the GPS coordinate of the virtual object is included within a predetermined angle of view with the distance between the GPS coordinate of the second device and the GPS coordinate of the virtual object being within a predetermined distance and centering on the photographing direction, And determines that the GPS coordinates of the virtual object are included in the captured image. 제3항에 있어서,
상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표로부터 상기 가상객체의 GPS 좌표의 거리에 따라 상기 가상객체의 크기를 다르게 표시하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method of claim 3,
Wherein the second device displays the size of the virtual object differently according to the distance of the GPS coordinates of the virtual object from the GPS coordinates of the second device. 제1항에 있어서,
상기 제1 디바이스의 GPS 좌표가 (x1, y1, z1)이고 상기 공간 좌표가 (a, b, c)일 때, 상기 가상객체의 GPS 좌표는 (x1+a, y1+b, z1+c)로 산출되는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method according to claim 1,
When the GPS coordinates of the first device (x 1, y 1, z 1) and said spatial coordinates (a, b, c), GPS coordinates of the virtual object (x 1 + a, y 1 + b , z 1 + c). 제1항에 있어서,
상기 가상객체는 텍스트, 이미지 또는 이들의 조합을 포함하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method according to claim 1,
Wherein the virtual object includes text, image, or a combination thereof. 휴대 가능한 제1 디바이스에 설치되는 제1 애플리케이션으로서, 촬영되는 영상을 바탕으로 제공되는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 애플리케이션;
휴대 가능한 제2 디바이스에 설치되는 제2 애플리케이션; 및
상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고,
상기 제2 애플리케이션은 상기 제2 디바이스에 의해 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.
A first application installed in a portable first device, the virtual application creating method comprising: generating a virtual object according to a user input at a user-specified position in a mixed reality space provided on the basis of an image to be photographed; A first application for transmitting GPS coordinates of the virtual object calculated from the spatial coordinates of the location and information of the virtual object to a shared server;
A second application installed in a portable second device; And
The GPS coordinates of the virtual object and the information of the virtual object are stored in the image captured by the first device and the GPS coordinates of the virtual object are included in the image taken by the second device, To a second device,
Wherein the second application displays the virtual object at a position corresponding to GPS coordinates of the virtual object of the image photographed by the second device.
KR1020170142314A 2017-10-30 2017-10-30 System for sharing information using mixed reality KR102022912B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Publications (2)

Publication Number Publication Date
KR20190047922A true KR20190047922A (en) 2019-05-09
KR102022912B1 KR102022912B1 (en) 2019-09-19

Family

ID=66546409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Country Status (1)

Country Link
KR (1) KR102022912B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459432A (en) * 2020-03-30 2020-07-28 Oppo广东移动通信有限公司 Virtual content display method and device, electronic equipment and storage medium
KR102283301B1 (en) * 2020-12-31 2021-07-29 더에이치알더 주식회사 Apparatus and Method for Providing real time comunication platform based on XR

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620856B1 (en) 2022-08-26 2024-01-03 한국과학기술원 Method and apparatus for object proximity analysis on the mixed reality network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110038425A (en) * 2009-10-08 2011-04-14 삼성에스디에스 주식회사 Content sharing system and method using real-world location for augmented reality
KR20130139280A (en) * 2010-11-08 2013-12-20 마이크로소프트 코포레이션 Automatic variable virtual focus for augmented reality displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110038425A (en) * 2009-10-08 2011-04-14 삼성에스디에스 주식회사 Content sharing system and method using real-world location for augmented reality
KR20130139280A (en) * 2010-11-08 2013-12-20 마이크로소프트 코포레이션 Automatic variable virtual focus for augmented reality displays

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459432A (en) * 2020-03-30 2020-07-28 Oppo广东移动通信有限公司 Virtual content display method and device, electronic equipment and storage medium
KR102283301B1 (en) * 2020-12-31 2021-07-29 더에이치알더 주식회사 Apparatus and Method for Providing real time comunication platform based on XR

Also Published As

Publication number Publication date
KR102022912B1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
KR102414587B1 (en) Augmented reality data presentation method, apparatus, device and storage medium
Arth et al. The history of mobile augmented reality
Williams et al. BIM2MAR: an efficient BIM translation to mobile augmented reality applications
KR101260576B1 (en) User Equipment and Method for providing AR service
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
KR102222974B1 (en) Holographic snap grid
KR100985737B1 (en) Method, terminal device and computer-readable recording medium for providing information on an object included in visual field of the terminal device
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US20090316951A1 (en) Mobile imaging device as navigator
KR20130029800A (en) Mobile device based content mapping for augmented reality environment
JP2017126142A (en) Information processing apparatus, information processing method, and program
KR20190047922A (en) System for sharing information using mixed reality
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
KR20210148074A (en) AR scenario content creation method, display method, device and storage medium
JP2021136017A (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
JP5981371B2 (en) Information terminal, system, program, and method for controlling display of augmented reality by posture
JP2016184295A (en) Display control method, display control program, and information processing apparatus
KR20220085142A (en) Intelligent construction site management supporting system and method based extended reality
Tokusho et al. Prototyping an outdoor mobile augmented reality street view application
JP2011060254A (en) Augmented reality system and device, and virtual object display method
CN112788443B (en) Interaction method and system based on optical communication device
KR102260193B1 (en) Remote augmented reality communication method and system that provides security for 3d-space
US9188444B2 (en) 3D object positioning in street view
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
CN108235764A (en) Information processing method, device, cloud processing equipment and computer program product

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right