WO2012134069A2 - 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 - Google Patents

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 Download PDF

Info

Publication number
WO2012134069A2
WO2012134069A2 PCT/KR2012/001654 KR2012001654W WO2012134069A2 WO 2012134069 A2 WO2012134069 A2 WO 2012134069A2 KR 2012001654 W KR2012001654 W KR 2012001654W WO 2012134069 A2 WO2012134069 A2 WO 2012134069A2
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
reality content
marker
posture
axis sensor
Prior art date
Application number
PCT/KR2012/001654
Other languages
English (en)
French (fr)
Other versions
WO2012134069A3 (ko
Inventor
박재완
김승균
권기석
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Publication of WO2012134069A2 publication Critical patent/WO2012134069A2/ko
Publication of WO2012134069A3 publication Critical patent/WO2012134069A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to an augmented reality service implementation technology using a mobile device.
  • An example of such an augmented reality may be a technique of detecting an augmented reality marker from an image captured by a camera and synthesizing the 3D virtual object according to the detected marker to the image and outputting the same.
  • a virtual character or the like that does not exist in reality can be made to exist on the screen.
  • the virtual object must be synthesized with the image.
  • the marker is not recognized on the screen due to the movement of the camera or a part of the marker covered by the surrounding object, the virtual object corresponding to the marker, that is, the augmented reality content also suddenly disappears.
  • the present invention is to continuously output the augmented reality content on the screen by continuously tracking the output position and posture of the augmented reality content even if the marker temporarily disappears on the screen when the augmented reality content is output using the augmented reality marker.
  • the augmented reality content tracking device recognizing an augmented reality marker from the input image, and calculating the position and posture of the recognized augmented reality marker; Calculating, by the augmented reality content tracking device, the position and attitude of the augmented reality content corresponding to the augmented reality marker using the calculated position and attitude information of the augmented reality marker; In the augmented reality content tracking device, synthesizing the augmented reality content with the input image by using the calculated position and attitude information of the augmented reality content; In the augmented reality content tracking device, updating the position and attitude of the augmented reality content using a six-axis sensor included in the augmented reality content tracking device when the augmented reality marker is not recognized in the input image. ; And in the augmented reality content tracking device, synthesizing the augmented reality content with the input image using the updated position and attitude information of the augmented reality content and outputting the synthesized image.
  • the initial value Storing as; Calculating a position and posture change amount of the six-axis sensor from the time when the augmented reality marker was last recognized in the input image; And updating the position and posture of the augmented reality content by using the calculated position and posture change amount of the six-axis sensor and the initial value.
  • the position and attitude change amount of the six-axis sensor includes a three-dimensional movement amount and the three-dimensional rotation amount measured by the six-axis sensor, augmented reality content tracking method.
  • An augmented reality content tracking device comprising: a marker recognizer for recognizing an augmented reality marker from an input image; A calculator configured to calculate a position and posture of an augmented reality content corresponding to the augmented reality marker by using the recognized position and posture information of the augmented reality marker; An image output unit for synthesizing the augmented reality content with the input image and outputting the calculated position and attitude information of the augmented reality content; And a six-axis sensor unit measuring a position and posture change of the augmented reality content tracking device, wherein the calculator is configured to use the six-axis sensor unit when the augmented reality marker is not recognized in the input image.
  • Augmented reality content tracking device to update the position and posture of the augmented reality content
  • the image output unit synthesizes the augmented reality content with the input image using the updated position and attitude information of the augmented reality content, .
  • the calculator the position and attitude information of the augmented reality content at the time when the augmented reality marker was last recognized in the input image as the initial value, and in the input image Compute the position and attitude change amount of the six-axis sensor unit from the time when the augmented reality marker was last recognized, and the position and attitude of the augmented reality content using the calculated position and attitude change amount and the initial value of the six-axis sensor unit.
  • augmented reality content tracking device To update, augmented reality content tracking device.
  • the position and attitude change amount of the six-axis sensor includes a three-dimensional movement amount and the three-dimensional rotation amount measured by the six-axis sensor, augmented reality content tracking device.
  • the augmented reality content does not disappear on the screen by continuously tracking the output position and posture of the augmented reality content even if the marker temporarily disappears on the screen when the augmented reality content is output using the augmented reality marker. It can be controlled to output continuously without.
  • the sensing result of the 6-axis sensor is used only in the section where the augmented reality marker is not visible on the screen, and the position is tracked using the marker in the remaining sections, which is caused by the error of the 6-axis sensor.
  • the error in calculating the content position can be minimized.
  • FIG. 1 is a block diagram showing the configuration of an apparatus for tracking augmented reality content according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of tracking augmented reality content in an apparatus for tracking augmented reality content according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an apparatus 100 for tracking augmented reality content according to an embodiment of the present invention.
  • the augmented reality content tracking device 100 is the image input unit 102, the marker recognition unit 104, the calculation unit 106, the image output unit 108 and the six-axis
  • the sensor unit 110 is included.
  • Such augmented reality content tracking device 100 may be implemented as a mobile device that can be taken while the user moves as needed, such as a digital camera or a smartphone having a camera module and a display.
  • the image input unit 102 receives an image (video) captured by a camera module or the like.
  • the marker recognizer 104 recognizes an augmented reality marker from an image input by the image input unit 102 and extracts augmented reality content corresponding to the recognized augmented reality marker.
  • the augmented reality marker is generally used to calculate the type and output position of the augmented reality content to be synthesized and output to the image, and is configured to have a preset shape or pattern.
  • a marker is not only a marker used in a general marker-based augmented reality system, but also a target such as a user-defined image or a pattern used to import an object in a markerless augmented reality system. Note that it includes both.
  • the augmented reality content may be, for example, a three-dimensional virtual object as an object to be synthesized and output on an image.
  • the augmented reality content is different from the position and posture outputted according to the position and posture of the augmented reality marker in the image, and further includes relative output position and posture information based on the augmented reality marker.
  • the augmented reality content and its relative position and posture information may be stored in a database inside the augmented reality content tracking device 100 and then extracted by the marker recognition unit 104 or stored in an external server or the like. It may also be transmitted by wired / wireless networks.
  • augmented reality markers Matters related to such augmented reality markers, augmented reality content and marker recognition in an image, etc. are known in the art, and a detailed description thereof will be omitted herein.
  • the present invention is not limited to a specific type of marker, content, or a specific marker recognition method, and it is noted that any type of marker that can be recognized as a valid identifier on a screen can be used.
  • the calculator 106 calculates the position and posture information of the recognized augmented reality marker, and calculates the position and posture of the augmented reality content corresponding to the augmented reality marker.
  • the calculator 106 may form a shape in the image of the augmented reality marker (for example, when a square augmented reality marker is placed obliquely from the camera, it may have a shape such as a trapezoid instead of a square). And calculating the position and posture in the 3D space of the augmented reality marker by using size information, and using the calculated position and posture and the relative positions and postures of the previously stored augmented reality content. Calculate the position and attitude within the dimensional space.
  • the position and the posture in the three-dimensional space of the marker or the content refer to the relative position and the posture with respect to the augmented reality content tracking device 100.
  • the calculator 106 calculates an output position and an output form in the image of the augmented reality content. That is, even if the same 3D content is different depending on the position of the augmented reality content tracking device 100, the calculation unit 106, the augmented reality content existing in the calculated 3D position is actually on the 2D screen. Calculate whether it looks like
  • the image output unit 108 synthesizes the augmented reality content with the input image according to the output position and output form calculated by the calculator 106 and outputs the synthesized reality content.
  • Recognition of the augmented reality marker, calculation of the position of the augmented reality content, and image synthesis using the marker recognition unit 104, the calculator 106, and the image output unit 108 as described above may be performed by the image input unit 102.
  • Each frame is performed in real time, and thus, a user who views an image output from the image output unit 108 may feel that the augmented reality content actually exists in the image.
  • the 6-axis sensor unit 110 measures the position and posture change of the augmented reality content tracking device 100.
  • the six-axis sensor unit 110 includes, for example, a sensor such as an acceleration sensor or a gyroscope included in a mobile terminal, and detects a three-dimensional position movement and a three-dimensional rotation of the augmented reality content tracking device 100. It is configured to. That is, when the augmented reality content tracking device 100 moves or changes its position in the 3D space, such movement or posture change is detected by the 6-axis sensor unit 110.
  • the augmented reality marker may not be recognized on the screen.
  • the content must be output continuously.
  • an augmented reality marker is attached to the floor and the corresponding augmented reality content is an animal such as a dinosaur that is larger than a person's height.
  • the augmented reality content tracking device 100 recognizes this and identifies the content (dinosaur) corresponding to the marker.
  • the distance between the marker and the augmented reality content tracking device 100 is close, the area photographed is narrow compared to the size of the content, so only the bottom portion of the dinosaur is output on the screen.
  • the position and posture of the augmented reality content is updated using the 6-axis sensor unit 110, and the image output unit
  • the augmented reality content is synthesized with the input image using the position and posture information of the augmented reality content updated at 108 and output.
  • the calculator 106 determines when the augmented reality marker disappears from the image, that is, the augmented reality marker in the input image. Finally, the position and posture information of the augmented reality content calculated at the recognized time point is stored as an initial value.
  • the calculator 106 stores the position and attitude information of the six-axis sensor unit 110 when the augmented reality marker disappears from the image as a reference value.
  • the position and posture information measured by the 6-axis sensor unit 110 is compared with the reference value, and thus the 3D of the augmented reality content tracking device 100.
  • the position and posture of the augmented reality content is updated by calculating the position and posture change in space and reflecting the calculated change in the initial value.
  • the position and posture change amount of the six-axis sensor unit 110 means the three-dimensional movement amount and the three-dimensional rotation amount measured by the six-axis sensor unit 110.
  • the image output unit 108 synthesizes the augmented reality content with the input image and outputs the same using the same.
  • the augmented reality content tracking device 100 estimates the position and attitude of the augmented reality content from the recognized augmented reality marker as described above and displays it.
  • the augmented reality content is continuously displayed without disappearing even when the augmented reality marker is not displayed on the screen, thereby increasing the utilization of the augmented reality marker and the content. It becomes possible. That is, as described above, content of a huge size that is difficult to be displayed on the screen can be expressed.
  • the position and the posture are calculated in real time using the augmented reality marker, and the 6-axis sensor information is used only in the section where the marker disappears on the screen, thereby minimizing the output error of the augmented reality content.
  • the 6-axis sensor information is used only in the section where the marker disappears on the screen, thereby minimizing the output error of the augmented reality content.
  • FIG. 2 is a flowchart 200 illustrating an augmented reality content tracking method in the augmented reality content tracking device according to an embodiment of the present invention.
  • the marker recognizer 104 recognizes an augmented reality marker from the input image (204), calculates the position and posture of the recognized augmented reality marker
  • the position and the posture of the augmented reality content corresponding to the augmented reality marker are calculated using the calculated position and posture information of the augmented reality marker.
  • the augmented reality content is synthesized with the input image and output using the calculated position and attitude information of the augmented reality content (208).
  • the marker recognizer 104 determines whether the augmented reality marker is present in the input image (212), and if present, the 204 to 208 Repeat the steps.
  • the calculation unit 106 uses the position and posture shift amount of the 6-axis sensor measured by the 6-axis sensor unit 110 to determine the position and the position of the augmented reality content.
  • the posture is updated (214, 216), and the augmented reality content is synthesized with the input image and output using the updated position and posture information of the augmented reality content (208).
  • a method of updating the position and attitude of the augmented reality content using the six-axis sensor unit 110 is the same as described with reference to FIG. 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 방법은, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계; 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계; 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계; 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계를 포함한다.

Description

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
본 발명은 모바일 디바이스를 이용한 증강 현실 서비스 구현 기술과 관련된다.
최근 들어, 스마트폰 등의 대중화와 더불어 증강 현실(Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 출력하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.
일반적으로, 상기와 같은 가상 물체를 화면상에 나타내기 위해서는 입력되는 각 영상의 각 프레임 별로 마커를 인지하고 마커의 종류 및 위치 등에 대응되도록 가상 물체의 크기, 위치, 형태 등을 계산하여 계산된 위치에 상기 가상 물체를 영상과 합성하여야 한다. 그런데, 만약 카메라가 이동하거나 또는 주변의 물체에 의하여 마커의 일부가 가려지는 등으로 인하여 화면 상에서 마커가 인식되지 않을 경우 마커에 대응되는 가상 물체, 즉 증강 현실 콘텐츠 또한 갑자기 사라지게 되는 문제가 있었다.
본 발명은 증강 현실 마커를 이용한 증강 현실 콘텐츠의 출력 시 마커가 일시적으로 화면상에서 사라지더라도 계속해서 증강 현실 콘텐츠의 출력 위치 및 자세를 추적함으로써 화면상에서 증강 현실 콘텐츠가 연속적으로 출력될 수 있도록 하는 데 그 목적이 있다.
1. 증강 현실 콘텐츠 추적 장치에서, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및 상기 증강 현실 콘텐츠 추적 장치에서, 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계를 포함하는 증강 현실 콘텐츠 추적 방법.
2. 위 1에 있어서, 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계는, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하는 단계; 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서의 위치 및 자세 변화량을 계산하는 단계; 및 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계를 더 포함하는 증강 현실 콘텐츠 추적 방법.
3. 위 2에 있어서, 상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 방법.
4. 증강 현실 콘텐츠 추적 장치로서, 입력된 영상으로부터 증강 현실 마커를 인식하는 마커 인식부; 인식된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 계산부; 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 영상 출력부; 및 상기 증강 현실 콘텐츠 추적 장치의 위치 및 자세 변화를 측정하는 6축 센서부;를 포함하며, 상기 계산부는, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 6축 센서부를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 상기 영상 출력부는 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는, 증강 현실 콘텐츠 추적 장치.
5. 위 4에 있어서, 상기 계산부는, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하고, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서부의 위치 및 자세 변화량을 계산하며, 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는, 증강 현실 콘텐츠 추적 장치.
6. 위 5에 있어서, 상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 장치.
본 발명의 실시예들에 따를 경우, 증강 현실 마커를 이용한 증강 현실 콘텐츠의 출력 시 마커가 일시적으로 화면상에서 사라지더라도 계속해서 증강 현실 콘텐츠의 출력 위치 및 자세를 추적함으로써 화면상에서 증강 현실 콘텐츠가 사라지지 않고 연속적으로 출력될 수 있도록 제어할 수 있다.
또한 본 발명의 실시예들에 따를 경우, 화면상에서 증강 현실 마커가 보이지 않는 구간에서만 6축 센서의 센싱 결과를 활용하며, 나머지 구간에서는 마커를 이용하여 위치를 추적하게 되므로 6축 센서의 오차에 의한 콘텐츠 위치 계산시의 오차를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치에서의 증강 현실 콘텐츠 추적 방법을 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치(100)의 구성을 나타낸 블록도이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치(100)는 영상 입력부(102), 마커 인식부(104), 계산부(106), 영상 출력부(108) 및 6축 센서부(110)를 포함한다. 이와 같은 증강 현실 콘텐츠 추적 장치(100)는 카메라 모듈 및 디스플레이를 갖춘 디지털 카메라 또는 스마트폰 등 이용자가 필요에 따라 이동하면서 촬영할 수 있는 모바일 장치로 구현될 수 있다.
영상 입력부(102)는 카메라 모듈 등으로부터 촬영된 영상(동영상)을 입력받는다.
마커 인식부(104)는 영상 입력부(102)에서 입력된 영상에서 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 콘텐츠를 추출한다. 상기 증강 현실 마커는 일반적으로 영상에 합성되어 출력될 증강 현실 콘텐츠의 종류 및 출력 위치를 계산하기 위한 것으로서, 기 설정된 형태 또는 무늬 등을 가지도록 구성된다. 본 발명의 실시예에서, 마커란 일반적인 마커 기반 증강 현실 시스템에서 사용되는 마커 뿐만 아니라, 마커리스(markerless) 증강 현실 시스템에서 오브젝트를 불러오기 위하여 사용되는 사용자 정의 이미지 또는 패턴 등의 타겟(target)을 모두 포함하는 의미임을 유의한다. 또한, 증강 현실 콘텐츠는 영상에 합성되어 출력되기 위한 오브젝트(object)로서, 예를 들어 3차원 가상 오브젝트 등이 될 수 있다. 상기 증강 현실 콘텐츠는 상기 영상 내에서의 증강 현실 마커의 위치 및 자세에 따라 출력되는 위치 및 자세가 달라지게 되는 바, 상기 증강 현실 마커를 기준으로 할 때의 상대적 출력 위치 및 자세 정보를 더 포함한다. 이와 같은 상기 증강 현실 콘텐츠 및 이의 상대적 위치 및 자세 정보는 증강 현실 콘텐츠 추적 장치(100)의 내부의 데이터베이스 등에 저장되어 있다가 마커 인식부(104)에 의하여 추출될 수도 있고, 또는 외부의 서버 등에 저장되어 있다가 유/무선 네트워크에 의하여 전송될 수도 있다.
이와 같은 증강 현실 마커, 증강 현실 콘텐츠 및 영상 내에서의 마커 인식 등과 관련된 사항은 본 기술분야에서는 다양한 방법들이 알려져 있는 바, 여기서는 그 상세한 설명을 생략하기로 한다. 또한 본 발명은 특정한 형태의 마커, 콘텐츠 또는 특정 마커 인식 방법에 한정되는 것이 아니며, 화면상에서 유효한 식별자로 인식될 수 있는 어떠한 형태의 마커도 사용이 가능함을 유의한다.
계산부(106)는 인식된 상기 증강 현실 마커의 위치 및 자세 정보를 계산하고, 이를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산한다.
구체적으로, 계산부(106)는 상기 증강 현실 마커의 상기 영상 내에서의 형태 (예를 들어, 정사각형 형태의 증강 현실 마커가 카메라로부터 비스듬히 놓여 있을 경우에는 정사각형이 아닌 사다리꼴 등의 형태를 띄게 된다) 및 크기 정보 등을 이용하여 상기 증강 현실 마커의 3차원 공간 내에서의 위치 및 자세를 계산하고, 계산된 위치 및 자세와 기 저장된 상기 증강 현실 콘텐츠의 상대적 위치 및 자세를 이용하여 증강 현실 콘텐츠의 3차원 공간 내에서의 위치 및 자세를 계산한다. 본 발명의 실시예에서, 특별한 설명이 없는 한 마커 또는 콘텐츠의 3차원 공간 내에서의 위치 및 자세는 증강 현실 콘텐츠 추적 장치(100)를 기준으로 한 상대적 위치 및 자세를 의미한다.
이와 같이 증강 현실 콘텐츠의 3차원 공간 내에서의 위치 및 자세가 계산되면, 계산부(106)는 이로부터 상기 증강 현실 콘텐츠의 상기 영상 내에서의 출력 위치 및 출력 형태를 계산한다. 즉, 동일한 3차원 콘텐츠라도 증강 현실 콘텐츠 추적 장치(100)의 위치에 따라 보이는 형태가 다르게 되므로, 계산부(106)는 계산된 3차원 위치에 존재하는 상기 증강 현실 콘텐츠가 2차원 화면상에서 실제 어떤 형태로 보일지를 계산하게 된다.
영상 출력부(108)는 계산부(106)에서 계산된 출력 위치 및 출력 형태에 따라 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력한다.
상기와 같은 마커 인식부(104), 계산부(106) 및 영상 출력부(108)를 이용한 증강 현실 마커의 인식, 증강 현실 콘텐츠의 위치 계산 및 영상 합성은 영상 입력부(102)에서 입력되는 영상의 각 프레임마다 실시간으로 수행되며, 따라서 영상 출력부(108)에서 출력되는 영상을 본 사용자는 상기 영상에 상기 증강 현실 콘텐츠가 실제로 존재하는 듯한 느낌을 받게 된다.
다음으로, 6축 센서부(110)는 증강 현실 콘텐츠 추적 장치(100)의 위치 및 자세 변화를 측정한다. 이와 같은 6축 센서부(110)는, 예를 들어 모바일 단말기에 포함되는 가속도 센서 또는 자이로스코프 등의 센서를 포함하며, 증강 현실 콘텐츠 추적 장치(100)의 3차원 위치 이동 및 3차원 회전을 감지하도록 구성된다. 즉, 증강 현실 콘텐츠 추적 장치(100)가 3차원 공간 내에서 위치를 이동하거나 또는 자세를 변경할 경우 이와 같은 이동 또는 자세 변경은 6축 센서부(110)에 의하여 감지되게 된다.
전술한 바와 같은 과정에 의하여 화면 상에 존재하는 증강 현실 마커를 인식하고 그에 대응되는 증강 현실 콘텐츠를 화면 상에 합성하여 디스플레이하는 경우, 경우에 따라 화면 상에서 증강 현실 마커가 인식되지 않는 경우에도 증강 현실 콘텐츠를 계속해서 출력하여야 하는 경우가 발생할 수 있다. 예를 들어, 증강 현실 마커가 바닥에 붙어 있고 그에 대응되는 증강 현실 콘텐츠가 사람의 키보다 큰 공룡 등의 동물일 경우를 가정하자. 먼저 사용자가 증강 현실 콘텐츠 추적 장치(100)의 카메라를 아래로 하여 바닥에 놓인 증강 현실 마커를 촬영하게 되면, 증강 현실 콘텐츠 추적 장치(100)는 이를 인식하고 상기 마커에 대응되는 콘텐츠(공룡)을 화면 상에 출력하게 되며, 이 경우 상기 마커와 증강 현실 콘텐츠 추적 장치(100)의 거리가 가까울 경우 상기 콘텐츠의 크기에 비해 촬영되는 영역이 좁으므로 상기 공룡의 아랫부분만이 화면 상에 출력된다.
이와 같은 상태에서 상기 사용자가 증강 현실 콘텐츠 추적 장치(100)의 카메라를 점차 위쪽으로 이동하게 되면, 상기 카메라의 이동에 따라 점차 상기 공룡의 몸통 부분이 화면 상에 출력되어야 하나, 이 경우 상기 카메라에 이동에 따라 입력되는 영상이 상기 증강 현실 마커가 위치하는 영역을 벗어나게 되면 마커 인식부(104)는 더 이상 증강 현실 마커를 인식하지 못하게 되므로 상기 증강 현실 콘텐츠(공룡) 또한 화면에서 갑자기 사라지게 된다.
이와 같은 문제점을 해결하기 위하여, 본 발명에서는 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 6축 센서부(110)를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 영상 출력부(108)에서 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력하도록 구성된다.
구체적으로 증강 현실 콘텐츠 추적 장치(100)의 이동 (또는 다른 물체 등에 의한 마커의 가려짐) 등으로 인하여 증강 현실 마커가 입력 영상에서 사라진 경우의 증강 현실 콘텐츠의 출력 방법을 설명하면 다음과 같다.
먼저, 영상 입력부(102)에서 입력되는 영상에서 증강 현실 마커가 더 이상 인식되지 않는 경우, 계산부(106)는 상기 영상에서 증강 현실 마커가 사라진 시점, 즉 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장한다.
또한, 계산부(106)는 상기 영상에서 증강 현실 마커가 사라진 시점에서의 6축 센서부(110)의 위치 및 자세 정보를 기준값으로 저장한다.
이후, 증강 현실 콘텐츠 추적 장치(100)가 3차원 공간 내에서 이동함에 따라 6축 센서부(110)에서 측정되는 위치 및 자세 정보를 상기 기준값과 비교하여 증강 현실 콘텐츠 추적 장치(100)의 3차원 공간 내에서의 위치 및 자세 변화량을 계산하고, 계산된 상기 변화량을 상기 최초값에 반영함으로써 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트한다. 이때 6축 센서부(110)의 위치 및 자세 변화량은 6축 센서부(110)에서 측정된 3차원 이동량 및 3차원 회전량을 의미한다.
이와 같이 증강 현실 콘텐츠의 업데이트된 위치 및 자세 정보가 계산되면, 영상 출력부(108)는 이를 이용하여 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력하게 된다.
한편, 화면 내에서 증강 현실 마커가 재차 인식되는 경우, 증강 현실 콘텐츠 추적 장치(100)는 앞서 설명한 바와 같이 인식된 상기 증강 현실 마커로부터 증강 현실 콘텐츠의 위치 및 자세를 추정하고 이를 디스플레이하게 된다.
이와 같이 6축 센서를 이용하여 증강 현실 콘텐츠의 위치를 업데이트할 경우 화면 상에서 증강 현실 마커가 보이지 않게 되는 경우에도 증강 현실 콘텐츠가 사라지지 않고 연속적으로 표현되므로, 증강 현실 마커 및 콘텐츠의 활용도를 한층 높일 수 있게 된다. 즉, 전술한 바와 같이 화면 상에 한번에 표현되기 어려운 거대한 크기의 콘텐츠 또한 표현이 가능하게 된다.
또한, 본 발명에서는 증강 현실 마커가 화면 상에 존재하는 경우에는 이를 이용하여 실시간으로 위치 및 자세를 계산하고, 화면 상에서 마커가 사라지는 구간에서만 6축 센서 정보를 사용하므로 증강 현실 콘텐츠의 출력 오차를 최소화할 수 있다. 즉, 6축 센서로부터 계산되는 위치 및 자세의 경우 시간이 지남에 따라 오차가 누적되게 되나, 본 발명에서는 화면 상에서 마커가 사라지는 구간에서만 6축 센서 정보를 사용하도록 하여 6축 센서의 사용을 최소화함으로써 이와 같이 오차의 누적을 최소화할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치에서의 증강 현실 콘텐츠 추적 방법을 나타낸 순서도(200)이다.
먼저, 영상 입력부(102)로부터 영상이 입력되면(202), 마커 인식부(104)는 입력된 영상으로부터 증강 현실 마커를 인식하고(204), 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하며, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산한다(206).
다음으로, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력한다(208).
이후, 증강 현실 콘텐츠 추적 장치(100)에 새로운 영상이 입력되면(210), 마커 인식부(104)는 입력된 영상에 증강 현실 마커가 존재하는지를 판단하고(212), 존재하는 경우 상기 204 내지 208 단계를 반복 수행한다.
그러나 이와 달리 입력된 영상에 증강 현실 마커가 존재하지 않는 경우, 계산부(106)는 6축 센서부(110)에서 측정된 6축 센서의 위치, 자세 이동량을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고(214, 216), 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력한다(208). 구체적인 6축 센서부(110)를 이용한 증강 현실 콘텐츠의 위치 및 자세 업데이트 방법에 대해서는 도 1에서 설명한 바와 동일하다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
[부호의 설명]
102 : 영상 입력부 104 : 마커 인식부
106 : 계산부 108 : 영상 출력부
110 : 6축 센서부

Claims (6)

  1. 증강 현실 콘텐츠 추적 장치에서, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및
    상기 증강 현실 콘텐츠 추적 장치에서, 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계;
    를 포함하는 증강 현실 콘텐츠 추적 방법.
  2. 청구항 1에 있어서,
    상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계는,
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하는 단계;
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서의 위치 및 자세 변화량을 계산하는 단계; 및
    계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계;
    를 더 포함하는 증강 현실 콘텐츠 추적 방법.
  3. 청구항 2에 있어서,
    상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 방법.
  4. 증강 현실 콘텐츠 추적 장치로서,
    입력된 영상으로부터 증강 현실 마커를 인식하는 마커 인식부;
    인식된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 계산부;
    계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 영상 출력부; 및
    상기 증강 현실 콘텐츠 추적 장치의 위치 및 자세 변화를 측정하는 6축 센서부;를 포함하며,
    상기 계산부는, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 6축 센서부를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 상기 영상 출력부는 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는, 증강 현실 콘텐츠 추적 장치.
  5. 청구항 4에 있어서,
    상기 계산부는,
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하고, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서부의 위치 및 자세 변화량을 계산하며, 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는, 증강 현실 콘텐츠 추적 장치.
  6. 청구항 5에 있어서,
    상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 장치.
PCT/KR2012/001654 2011-03-31 2012-03-07 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 WO2012134069A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0029561 2011-03-31
KR1020110029561A KR101056418B1 (ko) 2011-03-31 2011-03-31 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2012134069A2 true WO2012134069A2 (ko) 2012-10-04
WO2012134069A3 WO2012134069A3 (ko) 2012-11-29

Family

ID=44933217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001654 WO2012134069A2 (ko) 2011-03-31 2012-03-07 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Country Status (3)

Country Link
US (1) US8648879B2 (ko)
KR (1) KR101056418B1 (ko)
WO (1) WO2012134069A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103335A (ko) * 2017-01-09 2019-09-04 스냅 인코포레이티드 증강 현실 객체 조작

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5872923B2 (ja) 2012-02-22 2016-03-01 株式会社マイクロネット Ａｒ画像処理装置及び方法
KR101887548B1 (ko) * 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
GB2502946A (en) * 2012-04-13 2013-12-18 Blippar Com Ltd Maintaining augmented reality image when marker leaves field of view
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9589000B2 (en) 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
KR101281314B1 (ko) * 2013-02-18 2013-07-03 구덕회 증강현실시스템 및 증강현실구현방법
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR20150025114A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR102178975B1 (ko) * 2013-11-18 2020-11-13 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
US9536352B2 (en) * 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
US10642349B2 (en) * 2015-05-21 2020-05-05 Sony Interactive Entertainment Inc. Information processing apparatus
KR20180101746A (ko) * 2017-03-06 2018-09-14 삼성전자주식회사 증강 현실 컨텐츠를 제공하기 위한 방법, 전자 기기 및 시스템
KR101908991B1 (ko) * 2017-05-22 2018-12-19 주식회사 엠코코아 증강현실 구현 장치
CN109410299B (zh) * 2017-08-15 2022-03-11 腾讯科技（深圳）有限公司 一种信息处理方法、装置和计算机存储介质
CN109658514B (zh) * 2017-10-11 2022-03-11 腾讯科技（深圳）有限公司 一种数据处理方法、装置和计算机存储介质
US10692289B2 (en) 2017-11-22 2020-06-23 Google Llc Positional recognition for augmented reality environment
KR101869220B1 (ko) * 2018-03-28 2018-06-19 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
JP6950669B2 (ja) * 2018-12-06 2021-10-13 セイコーエプソン株式会社 表示装置の制御方法、表示装置、及び、表示システム
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
KR102285663B1 (ko) 2020-01-10 2021-08-04 (주)얼라이브엔터테인먼트 코드 추출을 통한 영상 콘텐츠 오버래핑 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087545A (ko) * 2008-02-13 2009-08-18 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20100006736A (ko) * 2008-07-10 2010-01-21 광주과학기술원 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
KR20100067155A (ko) * 2008-12-11 2010-06-21 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
KR101152919B1 (ko) * 2008-02-13 2012-06-05 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
KR101010904B1 (ko) 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087545A (ko) * 2008-02-13 2009-08-18 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20100006736A (ko) * 2008-07-10 2010-01-21 광주과학기술원 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
KR20100067155A (ko) * 2008-12-11 2010-06-21 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103335A (ko) * 2017-01-09 2019-09-04 스냅 인코포레이티드 증강 현실 객체 조작
KR102254709B1 (ko) 2017-01-09 2021-05-24 스냅 인코포레이티드 증강 현실 객체 조작
KR20210059040A (ko) * 2017-01-09 2021-05-24 스냅 인코포레이티드 증강 현실 객체 조작
KR102406297B1 (ko) 2017-01-09 2022-06-10 스냅 인코포레이티드 증강 현실 객체 조작
KR20220080209A (ko) * 2017-01-09 2022-06-14 스냅 인코포레이티드 증강 현실 객체 조작
KR102577968B1 (ko) 2017-01-09 2023-09-14 스냅 인코포레이티드 증강 현실 객체 조작

Also Published As

Publication number Publication date
WO2012134069A3 (ko) 2012-11-29
KR101056418B1 (ko) 2011-08-11
US8648879B2 (en) 2014-02-11
US20120249528A1 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
WO2012134069A2 (ko) 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
JP6763448B2 (ja) 視覚強化ナビゲーション
CN102448681B (zh) 动作空间提示装置、动作空间提示方法以及程序
KR101334049B1 (ko) 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
EP1596332B1 (en) Information processing method and apparatus for finding position and orientation of targeted object
WO2013162235A1 (ko) 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
WO2011096668A2 (ko) 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN106569591A (zh) 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
CN110895676B (zh) 动态对象跟踪
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
JP5350427B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
US20230316677A1 (en) Methods, devices, apparatuses, and storage media for virtualization of input devices
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
JP2000275013A (ja) 視点位置姿勢の決定方法、コンピュータ装置および記憶媒体
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR101253644B1 (ko) 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
CN103903253A (zh) 一种可移动终端定位方法及系统
KR20140125596A (ko) 이동형 증강현실 제공 장치 및 그 방법
CN111898535A (zh) 目标识别方法、装置及存储介质
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
CN115900713A (zh) 辅助语音导航方法、装置、电子设备及存储介质
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12763660

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12763660

Country of ref document: EP

Kind code of ref document: A2