KR20090044700A - System and method for providing context-aware augmented reality - Google Patents

System and method for providing context-aware augmented reality Download PDF

Info

Publication number
KR20090044700A
KR20090044700A KR1020070110916A KR20070110916A KR20090044700A KR 20090044700 A KR20090044700 A KR 20090044700A KR 1020070110916 A KR1020070110916 A KR 1020070110916A KR 20070110916 A KR20070110916 A KR 20070110916A KR 20090044700 A KR20090044700 A KR 20090044700A
Authority
KR
South Korea
Prior art keywords
context
sensor
augmented reality
data
converting
Prior art date
Application number
KR1020070110916A
Other languages
Korean (ko)
Other versions
KR100900806B1 (en
Inventor
홍동표
우운택
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070110916A priority Critical patent/KR100900806B1/en
Publication of KR20090044700A publication Critical patent/KR20090044700A/en
Application granted granted Critical
Publication of KR100900806B1 publication Critical patent/KR100900806B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법, 그리고 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 개시된다. 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 한다. 이러한 본 발명에 따르면, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 가능한 증강현실을 제공할 수 있다. A system and method for providing context aware augmented reality and a computer readable recording medium having recorded thereon a program for executing the method are disclosed. System for providing context-aware augmented reality according to the present invention, the sensor unit for collecting data from the surrounding environment; A context generator configured to generate a context by converting the collected data and data input from a user; And a scene generator configured to generate an augmented reality scene using the input image and the generated context. According to the present invention, it is possible to provide a context-aware augmented reality that grasps information about the user and the environment around the user in order to provide a variety of augmented reality services.

증강현실(Augmented Reality), 컨텍스트 Augmented Reality, Context

Description

컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법{System and method for providing context-aware augmented reality}System and method for providing context-augmented augmented reality

본 발명은 증강현실을 제공하기 위한 시스템 및 방법에 관한 것으로, 특히 컨텍스트 인식이 가능한 증강현실을 제공하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing augmented reality, and more particularly to a system and method for providing augmented reality capable of context recognition.

증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.Augmented Reality is generally a term derived from virtual environment and virtual reality, and refers to a mixture of real world image and virtual image by inserting computer graphic image into the real environment. Real-world information may contain information that the user does not need, and sometimes the user may lack information. However, using computer-generated virtual environments, you can simplify or hide information you don't need. In other words, the augmented reality system combines the real world and the virtual world to allow interaction with the user in real time.

그러나, 현재 제공되고 있는 증강현실 서비스 또는 현재까지 연구된 결과를 살펴보면, 사용자나 주변 환경의 상태를 고려하지 않고 모든 사용자에게 동일한 서비스를 제공하는 수준에 머무르고 있다. 따라서 증강현실 서비스를 보다 다채롭게 제공하기 위해서는 사용자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 기술이 중요한 역할을 담당할 것으로 파악되고 있다. 그러나 컨텍스트 인식이 가능한 증강현실을 제공하기 위한 구체적인 시스템 구조는 아직까지 제안되지 않았으며, 사용자에 따른 개인화의 측면 역시 고려되지 못하고 있다.However, looking at the augmented reality services that are currently being provided or the results of the studies so far, they remain at the level of providing the same service to all users without considering the state of the user or the surrounding environment. Therefore, in order to provide augmented reality services more colorfully, context-aware technology that grasps information about the user and the environment surrounding the user is expected to play an important role. However, a specific system structure for providing augmented reality with context recognition has not been proposed yet, and the aspect of personalization according to the user has not been considered.

본 발명이 이루고자 하는 기술적 과제는, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하고, 사용자에 따른 개인화 측면을 고려할 수 있는 컨텍스트 인식 가능한 증강현실을 위한 시스템 및 방법, 그리고 상기 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. The technical problem to be achieved by the present invention, to provide a variety of augmented reality services in a variety of systems and methods for context-aware augmented reality that can grasp information about the user and the environment surrounding the user, and can consider personalization according to the user, And a method for providing a computer readable recording medium having recorded thereon.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects which are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, a system for providing context-aware augmented reality according to the present invention, the sensor unit for collecting data from the surrounding environment; A context generator configured to generate a context by converting the collected data and data input from a user; And a scene generator configured to generate an augmented reality scene using the input image and the generated context.

여기서, 상기 컨텍스트 생성부는 객체를 추적하기 위한 트래커를 포함하고, 상기 트래커는 상기 수집된 데이터에 근거하여 상기 객체를 추적하는 것일 바람직하다.Here, the context generator includes a tracker for tracking an object, and the tracker tracks the object based on the collected data.

또한, 상기 컨텍스트 생성부는 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 컨택스트 통합부를 더 포함하고, 상기 트래커는 상기 통합된 컨텍스트에 따라서 상기 객체를 추적하는 것이 바람직하다.The context generator may further include a context integration unit that integrates the collected data to generate an integrated context, and wherein the tracker tracks the object according to the integrated context.

또한, 상기 컨텍스트 생성부는, 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를 입력받아, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 컨텍스트 관리부를 더 포함하는 것이 바람직하다.The context generator may further include a context manager that receives the integrated context and data input from the user, and converts the object into a context suitable for the augmented reality scene according to a result of tracking the object. Do.

또한, 상기 센서부는, 모바일 단말기에 부착된 센서 또는 주변 환경에 위치한 센서를 포함하는 것이 바람직하다.The sensor unit may include a sensor attached to a mobile terminal or a sensor located in a surrounding environment.

또한, 상기 센서부는, 상기 수집된 데이터를 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 센서를 포함하는 것이 바람직하다.The sensor unit may further include a sensor for converting the collected data into metadata including information about a sensor ID, a sensor type, and a sensor state.

또한, 상기 센서는, 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 A/D 컨버터; 상기 변환된 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 변환부를 포함하는 것이 바람직하다. The sensor may further include an A / D converter for converting the sensed analog data into digital data; It is preferable to include a conversion unit for converting the converted digital data into metadata including information on the ID of the sensor, the type of the sensor, the state of the sensor.

상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법은, (a) 센서를 이용하여 주변 환경으로부터 데이터를 수집하는 단계; (b) 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 단계; 및 (c) 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 단계를 포함하는 것을 특징으로 한다.In order to solve the other technical problem, a method for providing a context-aware augmented reality according to the present invention, (a) collecting data from the surrounding environment using a sensor; (b) generating a context by converting the collected data and data input from a user; And (c) generating an augmented reality scene using the input image and the generated context.

여기서, 상기 (b) 단계는, 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 단계; 상기 통합된 컨텍스트에 따라서 객체를 추적하는 단계; 및 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 단계를 포함하는 것이 바람직하다.Here, step (b) may include: integrating the collected data to generate an integrated context; Tracking an object according to the unified context; And converting the integrated context and data input from the user into a context suitable for the augmented reality scene according to a result of tracking the object.

또한, 상기 (a) 단계에서, 상기 수집된 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다. In addition, in the step (a), it is preferable to convert the collected data into metadata including information on the ID of the sensor, the type of the sensor, and the state of the sensor.

또한, 상기 (a) 단계는, 상기 센서에서 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 단계; 및 상기 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 단계를 포함하는 것이 바람직하다.The step (a) may include converting analog data sensed by the sensor into digital data; And converting the digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor.

상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른, 컨텍스트 인식 증강현실을 제공하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above another technical problem, according to the present invention, there is provided a computer-readable recording medium recording a program for executing a method for providing context-aware augmented reality.

본 발명에 따르면, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용 자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 가능한 증강현실을 제공할 수 있다. 나아가, 트래커가 센서부에서 수집된 데이터에 근거하여 객체를 추적함으로써, 주변 환경의 상태에 따라 보다 정확하게 객체를 추적할 수 있으며, 또한, 주변 환경으로부터 수집된 데이터와 사용자로부터 입력된 데이터를 컨텍스트로 변환하고, 이를 이용하여 증강현실 장면을 생성함으로써 개인화된 증강현실 서비스를 제공할 수 있다. 그리고, 센서가 전달하는 데이터가 센서 ID를 포함함으로써 동일한 센서들 중에서 특정 센서를 구분할 수 있으며, 센서 종류를 포함함으로써 특정 종류의 센서에서 센싱된 값들만을 구분하여 처리할 수 있고, 센서의 상태에 관한 정보를 포함함으로써 센서의 정상 동작 여부를 감지할 수 있게 된다. According to the present invention, in order to provide augmented reality services more colorfully, it is possible to provide a context-aware augmented reality that grasps information about the user and the environment around the user. Furthermore, the tracker tracks the object based on the data collected by the sensor unit, so that the tracker can track the object more accurately according to the state of the surrounding environment, and also uses the data collected from the surrounding environment and the data input from the user as context. By converting and generating an augmented reality scene using the same, a personalized augmented reality service can be provided. In addition, the data transmitted by the sensor may include a sensor ID to distinguish a specific sensor among the same sensors, and by including a sensor type, only the values sensed by a specific type of sensor may be distinguished and processed. By including the information, it is possible to detect the normal operation of the sensor.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, the substantially identical components are represented by the same reference numerals, and thus redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템의 블록도이다. 본 실시예에서, 컨텍스트란 사용자와 응용 서비스 사이의 상호작용을 위해 필요한 사용자, 장소, 대상물 등의 개체 상태를 나타내는 정보를 의미한다. 도 1을 참조하면, 본 실시예에 따른 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부(110), 센서부(110)에서 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부(120), 입력 영상과 컨텍스트 생성부(120)에서 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부(130)로 이루어진다. 1 is a block diagram of a system for providing context aware augmented reality according to an embodiment of the present invention. In the present embodiment, the context refers to information representing an object state such as a user, a place, and an object required for interaction between a user and an application service. Referring to FIG. 1, the system according to the present embodiment includes a sensor unit 110 that collects data from a surrounding environment, a context that converts data collected by the sensor unit 110 and data input from a user to generate a context. The scene generator 130 may include a scene generator 130 that generates an augmented reality scene using the input image and the context generated by the context generator 120.

센서부(110)는 사용자의 모바일 단말기 등에 부착된 모바일 센서(112)와 서비스 제공과 관련된 장소에 미리 설치된 환경 센서(114) 등을 포함할 수 있다. 이들 센서는 주변 환경으로부터 데이터, 예를 들면 온도, 습도, 위치, 밝기, 시간 등의 데이터를 수집한다. 한편, 이들 센서는 센싱된 값을 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다. 이 점에 관해서는 후술하기로 한다.The sensor unit 110 may include a mobile sensor 112 attached to a user's mobile terminal and the like, and an environmental sensor 114 previously installed at a place related to service provision. These sensors collect data from the environment, such as temperature, humidity, location, brightness, time, and the like. On the other hand, these sensors preferably convert the sensed value into metadata including information about the ID of the sensor, the type of sensor, and the state of the sensor. This point will be described later.

센서부(110)에서 수집된 데이터는 네트워크를 거쳐 컨텍스트 생성부(120)로 전달된다.The data collected by the sensor unit 110 is transferred to the context generating unit 120 via a network.

컨텍스트 생성부(120)는 컨텍스트 통합부(122), 트래커(124), 컨텍스트 관리부(126), 사용자 입력부(128)를 포함할 수 있다.The context generator 120 may include a context integrator 122, a tracker 124, a context manager 126, and a user input unit 128.

컨텍스트 통합부(122)는 네트워크를 통해 전달된 센서부(110)에서 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성한다. The context integrator 122 integrates the data collected by the sensor unit 110 transmitted through the network to generate an integrated context.

트래커(124)는 객체(M)를 추적하는데, 이때, 센서부(110)에서 수집된 데이터에 근거하여 객체(M)를 추적한다. 여기서 객체(M)는 어떤 대상 물체일 수도 있고 증강의 기준이 되는 마커일 수도 있다. 구체적으로, 트래커(124)는 컨텍스트 통합부(122)에서 통합된 컨텍스트에 따라서 객체(M)를 추적한다. 예를 들어, 센서부(110)에서 수집된 데이터가 위치 정보라면, 그 위치 정보를 참조하여 객체(M)를 추적하거나, 센서부(110)에서 수집된 데이터가 밝기 정보, 즉 조도라면, 조도가 높을 경우, 객체(M) 추적시의 민감도를 낮추고, 조도가 낮을 경우에는 객체(M) 추적시의 민감도를 높일 수 있다.The tracker 124 tracks the object M. At this time, the tracker 124 tracks the object M based on the data collected by the sensor unit 110. In this case, the object M may be any target object or a marker that is a reference for augmentation. In detail, the tracker 124 tracks the object M according to the context integrated in the context integrator 122. For example, if the data collected by the sensor unit 110 is location information, the object M is tracked with reference to the location information, or if the data collected by the sensor unit 110 is brightness information, that is, illuminance, illuminance When is high, the sensitivity when tracking the object (M) can be lowered, and when the illumination is low, it is possible to increase the sensitivity when tracking the object (M).

본 실시예에 따르면, 이와 같이 트래커(124)가 센서부(110)에서 수집된 데이터에 근거하여 객체(M)를 추적함으로써, 주변 환경의 상태에 따라 보다 정확하게 객체(M)를 추적할 수 있다.According to the present embodiment, as described above, the tracker 124 tracks the object M based on the data collected by the sensor unit 110, thereby more accurately tracking the object M according to the state of the surrounding environment. .

한편, 컨텍스트 통합부(122)에서 통합된 컨텍스트와 트래커(124)가 객체(M)를 추적한 결과는 후술할 컨텍스트 관리부(126)로 전달된다.Meanwhile, the context integrated by the context integrator 122 and the result of the tracker 124 tracking the object M are transmitted to the context manager 126 which will be described later.

사용자 입력부(128)는 사용자로부터 사용자 관련 데이터를 입력받는다. 여기 서 사용자 관련 데이터는 사용자 자신이 직접 입력한 정보일 수도 있고, 사용자의 상태를 센서 등으로 감지하여 생성되는 정보일 수도 있다. The user input unit 128 receives user related data from a user. Here, the user-related data may be information directly input by the user or may be information generated by detecting a user's state with a sensor or the like.

컨텍스트 관리부(126)는 컨텍스트 통합부(122)에서 통합된 컨텍스트와 사용자 입력부(128)를 통하여 입력된 사용자 관련 데이터를 입력받아, 트래커(124)가 객체(M)를 추적한 결과에 따라 애플리케이션에 요구되는 증강현실 장면에 적합한 형태의 컨텍스트로 변환하고, 이를 관리하며, 후술할 장면 생성부(130)로 전달한다.The context manager 126 receives the context integrated from the context integrator 122 and the user related data input through the user input unit 128, and transmits the data to the application according to the tracker 124 tracking the object M. FIG. It converts the context into a form suitable for the required augmented reality scene, manages it, and transfers it to the scene generator 130 to be described later.

장면 생성부(130)는 카메라 등의 촬상 장치로부터 영상을 입력받고, 컨텍스트 관리부(126)로부터 전달받은 컨텍스트에 따라 증강현실 장면을 생성한다.The scene generator 130 receives an image from an imaging device such as a camera, and generates an augmented reality scene according to the context received from the context manager 126.

상술한 본 실시예에 따르면, 증강 현실 장면을 생성함에 있어서 컨텍스트를 이용함으로써 보다 개인화되고, 주변 환경에 적응적인 증강현실 서비스를 제공할 수 있다.According to the present embodiment described above, it is possible to provide augmented reality service that is more personalized and adaptive to the surrounding environment by using a context in generating an augmented reality scene.

도 2는 본 발명의 일 실시예에 따른 센서부(110)에 포함된 센서의 블록도이다. 여기서 센서는 모바일 단말기에 부착된 모바일 센서(112) 또는 주변 환경에 위치한 환경 센서(114) 중 어느 것이든 해당될 수 있다.2 is a block diagram of a sensor included in the sensor unit 110 according to an embodiment of the present invention. The sensor may correspond to any one of the mobile sensor 112 attached to the mobile terminal or the environmental sensor 114 located in the surrounding environment.

도 2를 참조하면, 본 실시예에 따른 센서는 A/D 컨버터(210)와 변환부(220)를 포함하여 이루어진다. Referring to FIG. 2, the sensor according to the present embodiment includes an A / D converter 210 and a converter 220.

A/D 컨버터(210)에 입력되는 센싱된 데이터는 아날로그 데이터로서, A/D 컨버터(210)는 아날로그 데이터를 디지털 데이터로 변환한다. The sensed data input to the A / D converter 210 is analog data, and the A / D converter 210 converts the analog data into digital data.

변환부(220)는 디지털 데이터를 센서 자체에 관련된 정보, 예를 들면 도 2에 도시된 바와 같이 센서를 식별할 수 있는 ID, 센서의 종류, 센서의 상태에 관한 정보 등을 포함하는 메타 데이터 형태로 변환한다. 또한, 변환부(220)는 에러 체크를 위한 체크섬(Checksum)을 포함시켜 메타 데이터 형태로 변환하는 것이 바람직하다.The conversion unit 220 converts the digital data into metadata related to information related to the sensor itself, for example, an ID capable of identifying the sensor as shown in FIG. 2, a type of the sensor, and information on a state of the sensor. Convert to In addition, the conversion unit 220 preferably includes a checksum for error checking and converts the data into meta data.

본 실시예에 따르면 센서가 전달하는 데이터가 센서 ID를 포함함으로써 동일한 센서들 중에서 특정 센서를 구분할 수 있으며, 센서 종류를 포함함으로써 특정 종류의 센서에서 센싱된 값들만을 구분하여 처리할 수 있고, 센서의 상태에 관한 정보를 포함함으로써 센서의 정상 동작 여부를 감지할 수 있게 된다. 따라서 센싱된 데이터에 따라 동작하는 상술한 컨텍스트 통합부(122)나 트래커(124) 등이 센서로부터 전달된 데이터를 센서 자체에 관련된 정보에 따라 처리하거나 또는 센서로부터 전달되는 데이터를 목적에 맞게 필터링하도록 구현하는 것이 가능해진다.According to the present embodiment, the data transmitted by the sensor includes a sensor ID to distinguish a specific sensor among the same sensors, and by including a sensor type, only the values sensed by a specific type of sensor may be distinguished and processed. By including information on the state of the sensor can be detected whether the normal operation. Therefore, the above-described context integrator 122 or tracker 124 operating according to the sensed data processes the data transmitted from the sensor according to the information related to the sensor itself, or filters the data transmitted from the sensor according to the purpose. It becomes possible to implement.

도 3은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법의 흐름도이다. 본 실시예에 따른 방법은 도 1에 관하여 설명된 컨텍스트 인식 증강현실을 제공하기 위한 시스템에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법에도 적용된다. 3 is a flowchart of a method for providing context aware augmented reality according to an embodiment of the present invention. The method according to this embodiment consists of steps processed in a system for providing context aware augmented reality described with reference to FIG. 1. Therefore, although omitted below, the contents described with reference to FIG. 1 also apply to the method for providing context-augmented reality according to the present embodiment.

310단계에서, 센서를 이용하여 주변 환경으로부터 데이터를 수집한다.In step 310, data is collected from the surrounding environment using a sensor.

320단계에서, 수집된 데이터와 사용자로부터 입력된 사용자 관련 데이터를 변환하여 컨텍스트를 생성한다.In operation 320, the context is generated by converting the collected data and user-related data input from the user.

330단계에서, 입력되는 영상과 320단계에서 생성된 컨텍스트를 이용하여 증강현실 장면을 생성한다.In operation 330, an augmented reality scene is generated using the input image and the context generated in operation 320.

도 4는 본 발명의 일 실시예에 따른 상기 320단계의 상세 흐름도이다. 본 실시예에 따른 320단계는 도 1에 관하여 설명된 컨텍스트 생성부(120)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 방법에도 적용된다.4 is a detailed flowchart of step 320 according to an embodiment of the present invention. Operation 320 according to the present exemplary embodiment may include operations processed by the context generator 120 described with reference to FIG. 1. Therefore, even if omitted below, the content described with reference to FIG. 1 is also applied to the method according to the present embodiment.

410단계에서, 상기 310단계에서 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성한다.In operation 410, the data collected in operation 310 is integrated to generate an integrated context.

420단계에서, 상기 410단계에서 통합된 컨텍스트에 따라서 객체를 추적한다.In step 420, the object is tracked according to the integrated context in step 410.

430단계에서, 상기 410단계에서 통합된 컨텍스트와 사용자로부터 입력된 사용자 관련 데이터를, 상기 420단계에서 객체를 추적한 결과에 따라, 애플리케이션에 요구되는 증강현실 장면에 적합한 형태의 컨텍스트로 변환한다.In operation 430, the context integrated in operation 410 and user related data input from the user are converted into a context suitable for an augmented reality scene required for an application according to a result of tracking an object in operation 420.

도 5는 본 발명의 일 실시예에 따른 상기 310단계의 상세 흐름도이다. 본 실시예에 따른 310단계는 도 2에 관하여 설명된 센서에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 2에 관하여 기술된 내용은 본 실시예에 따른 방법에도 적용된다.5 is a detailed flowchart of step 310 according to an embodiment of the present invention. Step 310 according to the present embodiment consists of steps processed in the sensor described with reference to FIG. 2. Therefore, even if omitted below, the content described with reference to FIG. 2 is also applied to the method according to the present embodiment.

510단계에서, 입력되는 센싱된 아날로그 데이터를 디지털 데이터로 변환한다. In operation 510, the input sensed analog data is converted into digital data.

520단계에서, 디지털 데이터를 센서 자체에 관련된 정보, 예를 들면 센서를 식별할 수 있는 ID, 센서의 종류, 센서의 상태에 관한 정보 등을 포함하는 메타 데이터 형태로 변환한다.In operation 520, the digital data is converted into a metadata form including information related to the sensor itself, for example, an ID for identifying the sensor, a type of sensor, and information about a state of the sensor.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으 로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템의 블록도이다.1 is a block diagram of a system for providing context aware augmented reality according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 센서부에 포함된 센서의 블록도이다. 2 is a block diagram of a sensor included in a sensor unit according to an exemplary embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법의 흐름도이다.3 is a flowchart of a method for providing context aware augmented reality according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 상기 320단계의 상세 흐름도이다. 4 is a detailed flowchart of step 320 according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 상기 310단계의 상세 흐름도이다. 5 is a detailed flowchart of step 310 according to an embodiment of the present invention.

Claims (12)

컨텍스트 인식 증강현실을 제공하기 위한 시스템에 있어서,In the system for providing context aware augmented reality, 주변 환경으로부터 데이터를 수집하는 센서부;A sensor unit collecting data from the surrounding environment; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및A context generator configured to generate a context by converting the collected data and data input from a user; And 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 하는 시스템.And a scene generator for generating an augmented reality scene using the input image and the generated context. 제1항에 있어서,The method of claim 1, 상기 컨텍스트 생성부는 객체를 추적하기 위한 트래커를 포함하고,The context generator includes a tracker for tracking an object, 상기 트래커는 상기 수집된 데이터에 근거하여 상기 객체를 추적하는 것을 특징으로 하는 시스템.The tracker tracks the object based on the collected data. 제2항에 있어서,The method of claim 2, 상기 컨텍스트 생성부는 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 컨택스트 통합부를 더 포함하고,The context generator further includes a context integration unit that integrates the collected data to generate an integrated context. 상기 트래커는 상기 통합된 컨텍스트에 따라서 상기 객체를 추적하는 것을 특징으로 하는 시스템.The tracker tracks the object according to the integrated context. 제3항에 있어서,The method of claim 3, 상기 컨텍스트 생성부는, 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를 입력받아, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 컨텍스트 관리부를 더 포함하는 것을 특징으로 하는 시스템.The context generating unit may further include a context manager which receives the integrated context and data input from the user, and converts the object into a context suitable for the augmented reality scene according to a result of tracking the object. system. 제1항에 있어서,The method of claim 1, 상기 센서부는, 모바일 단말기에 부착된 센서 또는 주변 환경에 위치한 센서를 포함하는 것을 특징으로 하는 시스템.The sensor unit, characterized in that it comprises a sensor attached to the mobile terminal or a sensor located in the environment. 제1항에 있어서, 상기 센서부는,The method of claim 1, wherein the sensor unit, 상기 수집된 데이터를 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 센서를 포함하는 것을 특징으로 하는 시스템.And a sensor for converting the collected data into metadata including information about a sensor ID, a sensor type, and a sensor state. 제6항에 있어서, 상기 센서는,The method of claim 6, wherein the sensor, 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 A/D 컨버터;An A / D converter converting the sensed analog data into digital data; 상기 변환된 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 변환부를 포함하는 것을 특징으로 하는 시스템.And a converting unit converting the converted digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor. 컨텍스트 인식 증강현실을 제공하기 위한 방법에 있어서,In the method for providing context aware augmented reality, (a) 센서를 이용하여 주변 환경으로부터 데이터를 수집하는 단계;(a) collecting data from the surrounding environment using a sensor; (b) 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 단계; 및(b) generating a context by converting the collected data and data input from a user; And (c) 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 단계를 포함하는 것을 특징으로 하는 시스템.(c) generating an augmented reality scene using the input image and the generated context. 제8항에 있어서,The method of claim 8, 상기 (b) 단계는,In step (b), 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 단계;Integrating the collected data to create an integrated context; 상기 통합된 컨텍스트에 따라서 객체를 추적하는 단계; 및Tracking an object according to the unified context; And 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 단계를 포함하는 것을 특징으로 하는 방법.And converting the integrated context and data input from the user into a context suitable for the augmented reality scene according to a result of tracking the object. 제8항에 있어서,The method of claim 8, 상기 (a) 단계에서, 상기 수집된 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것을 특징으로 하는 방법.In the step (a), characterized in that for converting the collected data into metadata including information on the sensor ID, the type of the sensor, the state of the sensor. 제10항에 있어서,The method of claim 10, 상기 (a) 단계는, In step (a), 상기 센서에서 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 단계; 및Converting the analog data sensed by the sensor into digital data; And 상기 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 방법.And converting the digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor. 제8항 내지 제11항 중 어느 한 항에 기재된 컨텍스트 인식 증강현실을 제공하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method for providing the context aware augmented reality according to any one of claims 8 to 11.
KR1020070110916A 2007-11-01 2007-11-01 System and method for providing context-aware augmented reality KR100900806B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070110916A KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context-aware augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070110916A KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context-aware augmented reality

Publications (2)

Publication Number Publication Date
KR20090044700A true KR20090044700A (en) 2009-05-07
KR100900806B1 KR100900806B1 (en) 2009-06-04

Family

ID=40855229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070110916A KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context-aware augmented reality

Country Status (1)

Country Link
KR (1) KR100900806B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011159487A3 (en) * 2010-06-17 2012-04-19 Microsoft Corporation Augmentation and correction of location based data through user feedback
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
KR20140028116A (en) * 2010-03-08 2014-03-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Broadband passive tracking for augmented reality
KR101394818B1 (en) * 2010-03-25 2014-05-13 종협 이 Data integration for wireless network systems
US9277283B2 (en) 2011-01-07 2016-03-01 Samsung Electronics Co., Ltd. Content synchronization apparatus and method
KR20240001463A (en) 2022-06-27 2024-01-03 주식회사 파르온 Object recognition and augmented reality content realization system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303948B1 (en) 2010-08-13 2013-09-05 주식회사 팬택 Apparatus and Method for Providing Augmented Reality Information of invisible Reality Object
KR101546653B1 (en) 2012-06-26 2015-08-25 한국과학기술원 Areal-time coi registration system and the method based on augmented reality
KR20220013631A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013691A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for verifying the axis alignment of the extended reality service apparatus
KR20220013709A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013645A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013688A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 An apparatus for providing extended reality service including axis alignment verification function
KR20220013695A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for verifying the axis alignment of the extended reality service apparatus
KR20220013647A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013704A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for operation of axis alignment verification device for extended reality service
KR20220013652A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013649A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording media in which the axis synchronization program of the terminal's internal sensor and external sensor is recorded
KR20220013707A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for operation of axis alignment verification device for extended reality service
KR20220013646A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013687A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Apparatus for extended reality service including axis alignment verification function and method for verification of axis alignment
KR20220013702A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013655A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of extended reality service device
KR20220013657A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for recording by axis synchronization program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248374B1 (en) * 1997-11-25 2000-03-15 정선종 Error correction method of tracking error caused by a camera and a tracker`s misalignment in augmented reality system
KR101086068B1 (en) * 2004-12-10 2011-11-22 한국문화콘텐츠진흥원 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same
KR200398885Y1 (en) 2005-07-29 2005-10-17 (주)포스트미디어 Augmented reality experiencing telescope by using visual tracking

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028116A (en) * 2010-03-08 2014-03-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Broadband passive tracking for augmented reality
KR101394818B1 (en) * 2010-03-25 2014-05-13 종협 이 Data integration for wireless network systems
KR101452678B1 (en) * 2010-03-25 2014-10-22 종협 이 Data integration for wireless network systems
WO2011159487A3 (en) * 2010-06-17 2012-04-19 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9277283B2 (en) 2011-01-07 2016-03-01 Samsung Electronics Co., Ltd. Content synchronization apparatus and method
US9979788B2 (en) 2011-01-07 2018-05-22 Samsung Electronics Co., Ltd. Content synchronization apparatus and method
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
KR20240001463A (en) 2022-06-27 2024-01-03 주식회사 파르온 Object recognition and augmented reality content realization system

Also Published As

Publication number Publication date
KR100900806B1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
KR100900806B1 (en) System and method for providing context-aware augmented reality
US20200387793A1 (en) Intelligent recognition and alert methods and systems
US10043551B2 (en) Techniques to save or delete a video clip
US20150380055A1 (en) Techniques for indexing video files
JP4694471B2 (en) How to place a location stamp on a photo or video clip taken with a digital camera
TW200721828A (en) Imaging device, information processing method, and computer program
CN100525392C (en) Camera video image processing system and method thereof
WO2004001667A3 (en) Systems and methods for de-blurring motion blurred images
EP3230956A1 (en) Augmentation of stop-motion content
TW200805096A (en) Search apparatus and method, and program
CN105119783A (en) Network request data detection method and device
US20200012338A1 (en) Dynamic augmented reality media creation
JP2008118643A (en) Apparatus and method of managing image file
US20120144073A1 (en) Method and apparatus for transferring digital content
RU2008143212A (en) ENVIRONMENTAL LIGHTING ON THE BASIS OF EVENTS
Wong et al. Invisible geo-location signature in a single image
CN113641996B (en) Detection method, graphical interface and related device
CN104049861A (en) Electronic device and method of operating the same
JPWO2019087248A1 (en) Land use determination system, land use determination method and program
KR20130116408A (en) Method and apparatus for detecting leak of information resources data
Kumar et al. Location identification of the individual based on image metadata
CN109388722A (en) It is a kind of for adding or searching the method and apparatus of social connections people
Giouroukis et al. Resense: Transparent record and replay of sensor data in the Internet of Things
CN113114986B (en) Early warning method based on picture and sound synchronization and related equipment
CN101437115B (en) Digital camera and method for setting image name

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130313

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee