KR20120133648A - Control terminal and server for managing target devices using Augmented Reality Contents - Google Patents

Control terminal and server for managing target devices using Augmented Reality Contents Download PDF

Info

Publication number
KR20120133648A
KR20120133648A KR1020110052391A KR20110052391A KR20120133648A KR 20120133648 A KR20120133648 A KR 20120133648A KR 1020110052391 A KR1020110052391 A KR 1020110052391A KR 20110052391 A KR20110052391 A KR 20110052391A KR 20120133648 A KR20120133648 A KR 20120133648A
Authority
KR
South Korea
Prior art keywords
content
target device
augmented reality
information
image
Prior art date
Application number
KR1020110052391A
Other languages
Korean (ko)
Other versions
KR101239284B1 (en
Inventor
권문영
홍승표
최정아
김형찬
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020110052391A priority Critical patent/KR101239284B1/en
Publication of KR20120133648A publication Critical patent/KR20120133648A/en
Application granted granted Critical
Publication of KR101239284B1 publication Critical patent/KR101239284B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A control terminal and a server for controlling a target device through AR(Augmented Reality) content are provided to synthesize virtual AR content on an object and to control an actual object through the AR content. CONSTITUTION: A display unit(320) reads out an image of an image photographing unit. The display unit recognizes an object. The display unit receives the AR content from an AR server which supplies AR content about the recognized object. The display unit displays the AR content with the photographed image. An interaction unit(330) controls a target device to an AR content control signal. [Reference numerals] (310) Image photographing unit; (320) Display unit; (330) Interaction unit; (340) Augmented reality server; (350) Target device; (AA,CC) Image; (BB) Image information; (DD) AR content; (EE,FF) AR content control signal

Description

증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버{Control terminal and server for managing target devices using Augmented Reality Contents}Control terminal and server for managing target devices using Augmented Reality Contents}

본 발명은 증강현실 지원 단말기에 관한 것이다. 상세히, 증강현실 컨텐츠 제공 시스템 내의 제어 단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 방법에 관한 것이다. The present invention relates to an augmented reality support terminal. In detail, the present invention relates to a method of controlling a target device through an augmented reality content in a control terminal in the augmented reality content providing system.

유비쿼터스 환경이 점차 확대되면서 컴퓨터의 기능이 여러 종류의 기기에도 접목이 되고 있다. 또한, 언제 어디에서든 무선 통신 기술을 통해 네트워크에 연결된 기기에 접속이 가능하며, 제어가 가능하다.As the ubiquitous environment gradually expands, computer functions are being applied to various kinds of devices. In addition, anytime, anywhere wireless communication technology can be connected to the network connected devices and control.

최근에는 제어단말기를 통해 실시간으로 촬영한 영상에 컴퓨터 그래픽스, 문자 등의 요소를 합성하여 표시하는 증강현실(Augmented Reality:AR) 기술이 대두되고 있다. 아직까지 증강현실 기술은 단순한 정보 제공에만 머물러 있어, 현실 세계와 직접적인 인터랙션은 불가능하다. Recently, Augmented Reality (AR) technology, which combines and displays elements such as computer graphics and text on images captured in real time through a control terminal, has emerged. So far, augmented reality technology is only providing information, so there is no direct interaction with the real world.

종래의 증강현실 기술 중에는 카메라 등을 통해 획득한 영상 정보와 이에 대응하는 지역 정보 데이터를 합성하여 출력하는 기술이 있으나, 이러한 기술은 카메라 등을 통해 획득한 영상 정보를 통해 인식한 지역 정보를 매핑하는 방식의 단방향 인터랙션만 가능했다. 즉, 카메라 등을 통해 획득한 영상에 입력된 정보를 제어하거나 조작할 수는 없었다. The conventional augmented reality technology has a technology for synthesizing the image information obtained through the camera and the corresponding local information data, but this technology maps the area information recognized through the image information obtained through the camera, etc. Only one-way interactions were possible. That is, it was not possible to control or manipulate information input to an image acquired through a camera or the like.

또한, 종래의 터치스크린 기반 디지털 장치에서 제공되던 증강현실 기술 중 영상 내의 빌딩, 건물, 간판, 패턴 등과 같은 객체를 인식하여, 해당 객체에 가상의 증강현실 컨텐츠를 합성하여 부가 정보를 제시하는 방식의 인터랙션 방법이 있으나, 이 방식 역시 해당 객체에 대한 1차적인 정보만 제공하는 방식으로 단방향 인터랙션만 가능하다. 즉, 현실 세계의 객체와 직접적인 인터랙션 등은 어려운 문제점이 있다. In addition, by recognizing an object such as a building, a building, a sign, a pattern, etc. in an image among augmented reality technologies provided in a conventional touch screen-based digital device, a virtual augmented reality content is synthesized on the object to present additional information. There is an interaction method, but this method also provides only the primary information on the object, so that only one-way interaction is possible. That is, direct interaction with objects in the real world has a difficult problem.

본 발명의 바람직한 일 실시예에서는 영상장치로부터 획득한 영상에서 객체를 3차원 모델로 검출하고 트랙킹하며, 객체 위에 가상의 증강현실 컨텐츠를 합성하며, 증강현실 컨텐츠를 통해 실제 객체를 제어하는 사용자 인터랙션을 지원한다.According to an exemplary embodiment of the present invention, a 3D model is detected and tracked from an image obtained from an imaging apparatus, a virtual augmented reality content is synthesized on the object, and a user interaction for controlling a real object through the augmented reality content is performed. Support.

본 발명의 바람직한 일 실시예에서, 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기는 제어하고자 하는 타겟장치를 촬영하고 촬영한 영상을 저장하는 영상촬영부; 상기 영상촬영부의 영상을 판독하여 객체를 인식한 후, 인식한 객체에 대한 AR(가상현실)컨텐츠를 제공하는 증강현실서버로부터 상기 AR컨텐츠를 수신하여 상기 촬영한 영상과 함께 표시하는 표시부; 및 상기 표시부에서 표시한 상기 AR컨텐츠 내에 AR컨텐츠 제어 신호가 있는 경우, 상기 AR컨텐츠 제어신호로 상기 타겟장치를 제어하는 인터랙션부;를 포함한다. In a preferred embodiment of the present invention, the control terminal for controlling the target device through the augmented reality content, the image capture unit for shooting the target device to be controlled and stores the captured image; A display unit configured to read an image of the image photographing unit, recognize an object, receive the AR content from an augmented reality server that provides AR content for the recognized object, and display the AR content together with the captured image; And an interaction unit for controlling the target device with the AR content control signal when an AR content control signal is present in the AR content displayed by the display unit.

바람직하게, 상기 AR컨텐츠는 상기 판독된 객체의 물리적 인터페이스에 대한 AR컨텐츠 제어신호를 포함하고, 상기 인터랙션부에서는 상기 물리적 인터페이스에 대한 AR컨텐츠 제어신호를 통해 상기 타겟장치를 제어하는 것을 특징으로 한다. Preferably, the AR content includes an AR content control signal for a physical interface of the read object, and the interaction unit controls the target device through an AR content control signal for the physical interface.

본 발명의 또 다른 바람직한 일 실시예에서, 증강현실서버는 단말기로부터 수신한 영상을 인식하여 객체를 판독하는 객체판독부; 증강현실 컨텐츠를 이용하여 제어하고자 하는 타겟장치에 대한 정보를 포함하는 객체데이터베이스; 상기 영상을 인식하여 판독된 객체에 대응되는 AR 컨텐츠 정보를 상기 객체데이터베이스로부터 획득하는 객체정보획득부;및 상기 객체정보획득부에서 획득한 AR컨텐츠 정보를 상기 단말기로 전송하는 전송부;를 포함한다. In another preferred embodiment of the present invention, the augmented reality server comprises: an object reader for recognizing an image received from a terminal to read an object; An object database including information on a target device to be controlled using augmented reality content; And an object information acquisition unit obtaining AR content information corresponding to the object read by recognizing the image from the object database; and a transmission unit transmitting AR content information obtained from the object information acquisition unit to the terminal. .

바람직하게, 상기 객체데이터베이스는 상기 타겟장치의 제품 정보 모델 정보, 상기 타겟 장치 코드, 상기 타겟 장치에서 이용되는 기호에 관한 정보, 타겟 장치의 매뉴얼에 포함된 데이터, 이미지, 그리고, 상기 타겟 장치의 AR 컨텐츠 정보와, AR 컨텐츠 정보에 매핑되는 타겟장치의 제어 정보를 포함하는 것을 특징으로 한다. Preferably, the object database includes product information model information of the target device, the target device code, information about a symbol used in the target device, data included in a manual of the target device, an image, and an AR of the target device. And the control information of the target device mapped to the content information and the AR content information.

본 발명의 또 다른 바람직한 일 실시예에서, 제어단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 방법은 제어하고자 하는 타겟장치를 촬영하고 촬영한 영상을 저장하는 단계; 증강현실서버로부터 AR컨텐츠를 수신하여 상기 촬영한 영상과 함께 표시하는 단계로서, 상기 증강현실서버는 타겟장치 영상 내의 객체를 인식한 후, 인식한 객체에 대한 AR컨텐츠를 제공하는, 표시 단계 ; 및 상기 표시단계에서 표시한 상기 AR컨텐츠 내에 AR컨텐츠 제어 신호가 있는 경우, 상기 AR컨텐츠 제어신호로 상기 타겟장치를 제어하는 인터랙션단계;를 포함한다.In another preferred embodiment of the present invention, a method for controlling a target device through augmented reality content in the control terminal comprises the steps of photographing the target device to be controlled and storing the captured image; Receiving AR content from an augmented reality server and displaying the image together with the captured image, wherein the augmented reality server recognizes an object in a target device image and then provides AR content for the recognized object; And an interaction step of controlling the target device with the AR content control signal when there is an AR content control signal in the AR content displayed in the display step.

본 발명의 또 다른 바람직한 일 실시예에서, 증강현실서버에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 방법으로서, 상기 증강현실서버는 증강현실 컨텐츠를 이용하여 제어하고자 하는 타겟장치에 대한 정보를 포함하는 객체데이터베이스를 포함하고, 상기 방법은 단말기로부터 수신한 영상을 인식하여 객체를 판독하는 객체판독단계; 상기 영상을 인식하여 판독된 객체에 대응되는 AR 컨텐츠 정보를 상기 객체데이터베이스로부터 획득하는 객체정보획득단계;및 상기 객체정보획득부에서 획득한 AR컨텐츠 정보를 상기 단말기로 전송하는 단계;를 포함한다.In another preferred embodiment of the present invention, a method for controlling a target device through augmented reality content in an augmented reality server, wherein the augmented reality server includes information on a target device to be controlled using augmented reality content An object database, the method comprising: an object reading step of recognizing an image received from a terminal and reading an object; And an object information acquiring step of acquiring AR content information corresponding to the object read by recognizing the image from the object database; and transmitting the AR content information acquired by the object information acquiring unit to the terminal.

본 발명의 바람직한 일 실시예에서는 영상장치로부터 획득한 영상에서 객체를 판독하여 증강현실 컨텐츠를 부가한 후, 실제 객체를 제어할 수 있는 사용자 인터랙션을 지원한다. According to an exemplary embodiment of the present invention, after adding an augmented reality content by reading an object from an image obtained from an image device, the present invention supports user interaction for controlling an actual object.

본 발명의 바람직한 일 실시예에서는 휴대용 단말기를 통해 휴대용 단말기 주변에 위치한 전자 기기를 실제로 제어할 수 있다. 또한, 본 발명의 바람직한 일 실시예에서는 가상현실 컨텐츠를 활용함으로써 직관적인 제어가 가능하며, 사용자 인터페이스의 일관성을 유지할 수 있는 효과가 있다. According to an exemplary embodiment of the present invention, an electronic device located near the portable terminal may be actually controlled through the portable terminal. In addition, in one preferred embodiment of the present invention by using the virtual reality content can be intuitive control, there is an effect that can maintain the consistency of the user interface.

또한, 본 발명의 바람직한 일 실시예에서 가상현실의 활용 범위를 타 기기를 통한 전자기기 제어, 정보기기의 AR 가이드를 제공하면서 동시에 제어, 원격 제어를 통한 해당 정보기기의 실시간 A/S 등 보다 다양한 분야로 확장될 수 있다.In addition, in a preferred embodiment of the present invention to control the electronic device through the other device, the AR guide of the information device, while controlling the use of virtual reality at the same time, a variety of real-time A / S of the corresponding information device through the remote control It can be extended to the field.

도 1 (a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 증강현실 컨텐츠 제공 시스템의 예를 제시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 증강현실서버의 내부 구성도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 제어제어단말기의 내부 구성도를 도시한다.
도 4(a) 내지 (c)는 본 발명의 바람직한 일 실시예로서, 제어 단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 증강현실 컨텐츠 제공 시스템 내의 제어 단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 흐름도를 도시한다. 1 (a) and (b) show an example of an augmented reality content providing system as a preferred embodiment of the present invention.
2 is a diagram illustrating an internal configuration of an augmented reality server as a preferred embodiment of the present invention.
3 is a diagram illustrating an internal configuration of a control control terminal as a preferred embodiment of the present invention.
4 (a) to 4 (c) illustrate an example of controlling a target device through augmented reality content in a control terminal as an exemplary embodiment of the present invention.
FIG. 5 is a flowchart for controlling a target device through augmented reality content in a control terminal in a system for providing augmented reality content according to an embodiment of the present invention.

이하에서, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that the same elements among the drawings are denoted by the same reference numerals and symbols as much as possible even though they are shown in different drawings.

하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 본 발명에 보다 더 충실하도록 하기 위해서, 본 발명의 취지를 벗어나지 않는 범위 내에서 당업자 수준의 변경이나 변형이 있을 수 있음을 명기하는 바이다.Further, in order to further improve the present invention, it is to be understood that changes and modifications may be made by those skilled in the art within the scope of the present invention.

도 1 (a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 증강현실 컨텐츠 제공 시스템의 예를 제시한다. 1 (a) and (b) show an example of an augmented reality content providing system as a preferred embodiment of the present invention.

증강현실 컨텐츠 제공 시스템은 제어단말기(110), 증강현실서버(120) 및 타겟장치(130)를 포함한다. 증강현실 컨텐츠 제공 시스템에서 통신망 연결은 도 1 (a) 및 (b)와 같이 구현될 수 있다. 도 1(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 이에 제한되는 것은 아니며, 다양한 변형이 가능함을 유의하여야 한다. The augmented reality content providing system includes a control terminal 110, an augmented reality server 120 and the target device 130. In the augmented reality content providing system, communication network connection may be implemented as shown in FIGS. 1 (a) and (b). 1 (a) and (b) is a preferred embodiment of the present invention, it is not limited to this, it should be noted that various modifications are possible.

도 1(a)는 제어단말기(110)가 타겟장치(130)를 근거리 통신을 통하여 직접 제어하기 위한 증강현실 컨텐츠 제공 시스템에서 통신망의 일 예이다. 도 1(a)에서 통신망은 제어단말기(110)와 증강현실서버(120)간, 그리고 제어단말기(110)와 타겟장치(130) 간에 구현이 가능하다.FIG. 1A illustrates an example of a communication network in an AR content providing system for directly controlling the target device 130 through local area communication. In FIG. 1A, the communication network may be implemented between the control terminal 110 and the augmented reality server 120 and between the control terminal 110 and the target device 130.

도 1 (b)는 제어단말기(110)가 증강현실서버(120)를 통해 타겟장치(130)를 제어하는 증강현실 컨텐츠 제공 시스템에서 통신망의 일 예이다. 도 1 (b)에서 통신망은 제어단말기(110)와 증강현실서버(120) 간, 그리고 증강현실서버(120)와 타겟장치(130) 간에 구현이 가능하다. 1 (b) is an example of a communication network in the augmented reality content providing system in which the control terminal 110 controls the target device 130 through the augmented reality server 120. In Figure 1 (b) the communication network can be implemented between the control terminal 110 and the augmented reality server 120, and between the augmented reality server 120 and the target device 130.

증강현실 컨텐츠 제공 시스템에서 제어단말기(110)는 유무선 네트워크 또는 이동통신망과 통신이 가능하다. 본 발명의 바람직한 일 실시예에서, 제어단말기(110)는 영상 촬영이 가능한 단말기인 것을 가정하며, 예로는 터치가 가능한 디스플레이를 포함하는 휴대용 단말기, 영상 촬영기기, 휴대용 제어단말기, pda, 핸드헬드 기기, 노트북 등이 있다. In the augmented reality content providing system, the control terminal 110 may communicate with a wired or wireless network or a mobile communication network. In a preferred embodiment of the present invention, it is assumed that the control terminal 110 is a terminal capable of capturing an image, for example, a portable terminal including a touchable display, an image photographing device, a portable control terminal, a pda, a handheld device , Laptops and so on.

증강현실서버(120)는 제어단말기(110)에서 촬영한 영상을 통해 증강현실 컨텐츠를 제공하거나 제어한다. 이를 위해, 증강현실서버(120)는 타겟장치(130)를 인식 또는 판독이 가능하도록 구현되어야 하며, 타겟장치(130)에 대한 정보를 저장하고 있는 것을 가정한다. 또한, 증강현실서버(120)는 유무선 네트워크 또는 이동통신망과 통신이 가능하다. The augmented reality server 120 provides or controls the augmented reality content through the image taken by the control terminal 110. To this end, the augmented reality server 120 should be implemented to be able to recognize or read the target device 130, it is assumed that stores the information about the target device (130). In addition, the AR server 120 may communicate with a wired or wireless network or a mobile communication network.

타겟장치(130)에 대한 정보의 예로는 타겟장치(130)의 제품정보, 매뉴얼 데이터 등과 같이 타겟장치(130)의 디스플레이 상에 표시되는 정보 및 타겟장치(130)에 대한 정보의 증강현실(AR) 컨텐츠 정보와 AR 컨텐츠와 매핑되는 타겟장치(130)의 제어 정보 등을 포함한다. Examples of the information about the target device 130 include augmented reality (AR) of information displayed on the display of the target device 130 and information on the target device 130, such as product information and manual data of the target device 130. ) Content information and control information of the target device 130 mapped with the AR content.

타겟장치(130)는 제어단말기(110)의 제어 대상이 되는 장치를 의미한다. 본 발명의 바람직한 일 실시예에서, 타겟장치(130)는 디스플레이를 포함하는 네트워크 통신이 가능한 전자기기를 사용한다. 예를 들어, 근거리 통신이나 유무선 네트워크 통신이 가능한 LCD를 구비한 세탁기, 노트북, 핸드폰, TV, 전자 오븐 기타 전자 제어 및 표시 장치 등을 포함한다. The target device 130 refers to a device to be controlled by the control terminal 110. In a preferred embodiment of the present invention, the target device 130 uses an electronic device capable of network communication including a display. Examples include washing machines, laptops, mobile phones, TVs, electronic ovens, and other electronic control and display devices having LCDs capable of short-range or wired and wireless network communications.

도 2 는 본 발명의 바람직한 일 실시예로서, 증강현실서버의 내부 구성도를 도시한다. 도 2에 도시된 증강현실서버(200)는 서버를 통해서 구현되나, 휴대용 제어단말기에서도 구현될 수 있다. 2 is a diagram illustrating an internal configuration of an augmented reality server as a preferred embodiment of the present invention. The augmented reality server 200 shown in FIG. 2 is implemented through a server, but may also be implemented in a portable control terminal.

증강현실서버(200)는 객체판독부(210), 객체 정보 획득부(220) 및 객체DB(230)을 포함한다. The augmented reality server 200 includes an object reader 210, an object information acquirer 220, and an object DB 230.

객체판독부(210)는 제어단말기(도 1, 110 참고)로부터 획득한 영상을 인식하여 객체를 판독한다. 객체를 판독하는 방법으로는 마커, OCR 인식, 이미지 분석을 통한 물체 인식을 포함할 수 있다. The object reader 210 reads an object by recognizing an image obtained from a control terminal (see FIGS. 1 and 110). Methods of reading an object may include marker, OCR recognition, and object recognition through image analysis.

이후 객체 정보 획득부(220)는 객체판독부(210)에서 판독한 객체와 객체DB(230)로부터 영상에서 인식한 객체의 정보를 결합하여, 객체의 정보를 파악할 수 있다. 또한, 도면에는 도시되지 않았으나, 증강현실서버(200)는 통신부를 더 포함할 수 있으며, 제어단말기와 통신이 가능하다. Thereafter, the object information acquisition unit 220 may combine the information of the object read by the object reading unit 210 and the information of the object recognized in the image from the object DB 230 to determine the information of the object. In addition, although not shown in the drawing, the augmented reality server 200 may further include a communication unit, it is possible to communicate with the control terminal.

객체DB(230)는 예를 들어, 3D 모델 정보와 같은 타겟장치의 제품 정보 모델 정보, 타겟 장치 코드, 타겟 장치에서 이용되는 기호에 관한 정보, 타겟 장치의 매뉴얼에 포함된 데이터, 이미지, 그리고, 타겟 장치의 AR 컨텐츠 정보와, AR 컨텐츠 정보에 매핑되는 타겟장치의 제어 정보를 포함한다.The object DB 230 may include, for example, product information model information of the target device such as 3D model information, target device code, information about symbols used in the target device, data, images, and the like contained in the manual of the target device. AR content information of the target device and control information of the target device mapped to the AR content information.

도 3 은 본 발명의 바람직한 일 실시예로서, 제어단말기의 내부 구성도를 도시한다. 3 is a diagram illustrating an internal configuration of a control terminal as a preferred embodiment of the present invention.

제어단말기(300)는 영상촬영부(310), 표시부(320) 및 인터랙션부(330)를 포함한다. The control terminal 300 includes an image photographing unit 310, a display unit 320, and an interaction unit 330.

영상촬영부(310)는 카메라와 같은 영상촬영 수단을 의미한다. 영상촬영부(310)는 또한 촬영한 영상을 저장할 수 있다. 제어단말기(300)에서는 영상촬영부(310)를 통해 타겟장치를 촬영하여 입력 영상을 생성한다. 또한, 제어 단말기(300)는 영상촬영부(310)에 기저장된 영상을 입력영상으로 활용할 수도 있다. 영상촬영부(310)는 영상 또는 영상 정보를 증강현실서버(340)로 전송한다. The image capturing unit 310 means an image capturing means such as a camera. The image capturing unit 310 may also store the captured image. The control terminal 300 generates an input image by photographing the target device through the image photographing unit 310. In addition, the control terminal 300 may utilize an image previously stored in the image capturing unit 310 as an input image. The image capturing unit 310 transmits the image or the image information to the augmented reality server 340.

증강현실서버(340)는 제어단말기(300)의 영상촬영부(310)로부터 수신한 영상 또는 영상정보에서 객체를 추출하여 판독한 후, 객체에 대한 AR컨텐츠를 제어단말기(300)에 전송한다. The augmented reality server 340 extracts and reads an object from an image or image information received from the image photographing unit 310 of the control terminal 300, and then transmits AR content of the object to the control terminal 300.

표시부(320)에서는 영상촬영부(310)에서 촬영한 영상과, 상기 영상 중 추출된 객체와 관련된, 증강현실서버(340)로부터 수신한 AR컨텐츠를 함께 디스플레이한다. The display unit 320 displays the image photographed by the image capturing unit 310 and the AR content received from the augmented reality server 340 related to the object extracted from the image.

인터랙션부(330)는 상기 표시부(320)에서 표시하는 AR컨텐츠 내에 제어 신호가 있는 경우 해당 제어신호를 증강현실서버(340) 또는 타겟장치(350)로 전송하여 타겟장치(350)를 제어한다. The interaction unit 330 controls the target device 350 by transmitting the control signal to the augmented reality server 340 or the target device 350 when there is a control signal in the AR content displayed on the display unit 320.

도 4(a) 내지 (c)는 본 발명의 바람직한 일 실시예로서, 제어 단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 일 예를 도시한다. 4 (a) to 4 (c) illustrate an example of controlling a target device through augmented reality content in a control terminal as an exemplary embodiment of the present invention.

도 4(a)와 같이 제어 단말기(410)에서 제어하고자 하는 타겟장치(430)를 촬영하여, 촬영한 영상(420)을 증강현실서버로 전송한다. 증강현실서버에서는 수신한 영상(420)을 분석한 후 객체를 인식하여, 타겟장치를 판독한다. As shown in FIG. 4A, the control device 410 captures the target device 430 to be controlled, and transmits the captured image 420 to the AR server. The augmented reality server analyzes the received image 420, recognizes the object, and reads the target device.

일 예로서, 증강현실서버는 도 4(a)에 도시된 타겟장치인 세탁기의 모델을 인식한다(예; 삼성 하우젠 WR-PF168UW). 또한, 영상(420) 내에 표시된 객체(411)를 판독한다. 예를 들면, 도 4(a)의 영상 내에 표시된 객체(411)(예; 에러 코드를 나타내는 정보 표시인 CL)를 인식한 후 관련 정보를 객체DB에서 불러온다. As an example, the AR server recognizes a model of a washing machine, which is the target device shown in FIG. 4 (a) (eg, Samsung Hausen WR-PF168UW). In addition, the object 411 displayed in the image 420 is read. For example, after recognizing the object 411 (for example, CL which is an information display indicating an error code) displayed in the image of FIG. 4A, related information is retrieved from the object DB.

도 4(b)는 본 발명의 바람직한 일 실시예로서, 제어 단말기에 AR컨텐츠가 표시된 일 예를 도시한다.4 (b) shows an example in which AR content is displayed on a control terminal as a preferred embodiment of the present invention.

증강현실서버는 인식한 영상 및/또는 판독한 객체에 대한 AR컨텐츠 정보를 제어 단말기(410)로 전송한다. 제어 단말기(410)에서는 촬영한 영상(420)과 함께 AR컨텐츠(412, 413)를 표시한다. The AR server transmits AR content information about the recognized image and / or the read object to the control terminal 410. The control terminal 410 displays AR contents 412 and 413 together with the captured image 420.

또한, 제어 단말기(410)에서는 표시한 AR컨텐츠(412, 413) 내에 AR컨텐츠제어신호가 있는 경우, 타겟장치(430)로 해당 제어신호(414, 415, 416)를 증강현실서버 또는 타겟장치(430)로 전송하여 타겟장치(430)를 제어한다. In addition, when the AR content control signal is present in the displayed AR content 412 and 413, the control terminal 410 transmits the control signal 414, 415, 416 to the target device 430 using the AR server or the target device ( It transmits to 430 to control the target device 430.

도 4(c)는 본 발명의 바람직한 일 실시예로서, AR컨텐츠제어신호를 이용하여 타켓장치(430)의 에러코드 CL(도 4(a), 411 참고)를 판독하여 제어단말기(410)에서 AR컨텐츠를 통한 가이드를 제공하고, 가이드를 따라 AR컨텐츠를 조작하여 타켓장치를 제어하는 일 실시 예를 도시한다. FIG. 4 (c) is a preferred embodiment of the present invention. The control terminal 410 reads the error code CL (see FIGS. 4 (a) and 411) of the target device 430 using the AR content control signal. An embodiment of providing a guide through the AR content and controlling the target device by manipulating the AR content along the guide is illustrated.

객체DB의 정보를 불러와서 제어단말기(410)의 디스플레이에 표시한다. 이 때, 표시되는 AR컨텐츠는 타겟장치 정보, 에러코드 정보, 에러코드를 해결을 위한 AR가이드 등을 포함할 수 있다. AR컨텐츠제어신호를 이용하여 AR가이드를 선택하면, 순서에 따라 해당 설명과 작동법이 제시될 수 있다. The information of the object DB is retrieved and displayed on the display of the control terminal 410. In this case, the displayed AR content may include target device information, error code information, and an AR guide for solving the error code. When the AR guide is selected using the AR content control signal, the corresponding description and operation method may be presented in order.

제어단말기(410)의 디스플레이에 표시된 객체의 AR 제어영역(412, 413, 414, 415)을 조작하면, 매핑되어 있는 제어 신호를 네트워크를 통해 전송하여 실제 타겟장치의 해당 영역을 제어할 수 있다(412, 413, 414, 415). 이때, 타켓 장치(430)와 통신하여, 제어 상황을 제어단말기에 표시할 수 있다. When the AR control areas 412, 413, 414, and 415 of the object displayed on the display of the control terminal 410 are manipulated, the mapped control signal may be transmitted through the network to control the corresponding area of the actual target device ( 412, 413, 414, 415). At this time, by communicating with the target device 430, the control situation can be displayed on the control terminal.

AR가이드라고 함은 순서에 따라 제공되는 AR컨텐츠를 조작함으로써 타겟제어( 에러코드 해제, 상태 인식, 동작 변경 ) 등을 할 수 있는 것을 말한다. The AR guide means that target control (error code release, status recognition, operation change), etc. can be performed by manipulating AR contents provided in sequence.

도 5 는 본 발명의 바람직한 일 실시예로서, 증강현실 컨텐츠 제공 시스템 내의 제어 단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 흐름도를 도시한다. FIG. 5 is a flowchart for controlling a target device through augmented reality content in a control terminal in a system for providing augmented reality content according to an embodiment of the present invention.

증강현실 컨텐츠 제공 시스템은 제어단말기(510), 증강현실서버(520) 및 타겟장치(530)를 포함한다. The augmented reality content providing system includes a control terminal 510, an augmented reality server 520, and a target device 530.

제어단말기(510)는 촬영을 통해 타겟장치의 영상을 획득한다(S511). 이후 획득한 영상 데이터를 증강현실서버(520)로 전송한다(S512). 증강현실서버(520)에서 객체를 판독하여(S521) 객체 정보를 획득한다(S522). 이후, 제어 단말기(510)로 AR컨텐츠와 같은 객체정보를 전송한다(S523). The control terminal 510 acquires an image of the target device through photographing (S511). Thereafter, the acquired image data is transmitted to the augmented reality server 520 (S512). The augmented reality server 520 reads the object (S521) and obtains object information (S522). Thereafter, the object information such as AR content is transmitted to the control terminal 510 (S523).

제어단말기(510)에서는 증강현실서버(520)로부터 타겟장치의 객체에 대한 AR컨텐츠와 같은 객체정보를 수신하면, 해당 객체와 근거리 통신으로 페어링을 수행한다(S513). 다만, 도 5에서는 제어 단말기(510)가 타겟장치(530)와 직접 근거리 통신으로 페어링을 수행하는 단계만 도시되었으나, 제어 단말기(510)는 증강현실서버(520)를 통해서도 타겟장치(530)와 통신이 가능함을 유의하여야 한다. When the control terminal 510 receives object information such as AR content of an object of the target device from the AR server 520, the control terminal 510 performs pairing with the corresponding object in short range communication (S513). In FIG. 5, only the step in which the control terminal 510 performs pairing by direct short-range communication with the target device 530 is illustrated. However, the control terminal 510 is also connected to the target device 530 through the augmented reality server 520. It should be noted that communication is possible.

이후, 제어단말기(510)는 촬영했던 영상과 영상 내에서 판독된 객체에 증강현실서버(520)로부터 수신한 AR컨텐츠를 부가한다(S515). 그리고, AR컨텐츠 내에 제어신호가 존재하는지를 판단하여(S516), 제어신호가 존재하는 경우 AR컨텐츠 제어신호를 타겟장치(530)로 전송한다(S517). 타겟장치(530)에서는 수신한 AR컨텐츠 제어신호를 기초로 해당 인터페이스를 제어할 수 있다(S531).Thereafter, the control terminal 510 adds AR content received from the AR server 520 to the captured image and the object read in the image (S515). In operation S516, it is determined whether a control signal exists in the AR content, and when the control signal exists, the AR content control signal is transmitted to the target device 530 (S517). The target device 530 may control the corresponding interface based on the received AR content control signal (S531).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). It also includes. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. The best embodiments have been disclosed in the drawings and specification above. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims.

그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (9)

증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기로서, 상기 제어단말기는
제어하고자 하는 타겟장치를 촬영하고 촬영한 영상을 저장하는 영상촬영부;
상기 영상촬영부의 영상을 판독하여 객체를 인식한 후, 인식한 객체에 대한 AR(가상현실)컨텐츠를 제공하는 증강현실서버로부터 상기 AR컨텐츠를 수신하여 상기 촬영한 영상과 함께 표시하는 표시부;
상기 표시부에서 표시한 상기 AR컨텐츠 내에 AR컨텐츠 제어 신호가 있는 경우, 상기 AR컨텐츠 제어신호로 상기 타겟장치를 제어하는 인터랙션부;를 포함하는 것을 특징으로 하는 제어단말기.A control terminal for controlling a target device through augmented reality content, the control terminal is
An image photographing unit photographing a target device to be controlled and storing the photographed image;
A display unit configured to read an image of the image photographing unit, recognize an object, receive the AR content from an augmented reality server that provides AR content for the recognized object, and display the AR content together with the captured image;
And an interaction unit configured to control the target device using the AR content control signal when an AR content control signal is present in the AR content displayed by the display unit. 제 1 항에 있어서, 상기 제어단말기는
상기 타겟장치와 근거리 통신을 수행하는 것을 특징으로 하는 제어단말기.The method of claim 1, wherein the control terminal
The control terminal, characterized in that for performing short-range communication with the target device. 제 1 항에 있어서,
상기 AR컨텐츠는 상기 판독된 객체의 물리적 인터페이스에 대한 AR컨텐츠 제어신호를 포함하고, 상기 인터랙션부에서는 상기 물리적 인터페이스에 대한 AR컨텐츠 제어신호를 통해 상기 타겟장치를 제어하는 것을 특징으로 하는 제어단말기.The method of claim 1,
And the AR content includes an AR content control signal for a physical interface of the read object, and the interaction unit controls the target device through an AR content control signal for the physical interface. 단말기로부터 수신한 영상을 인식하여 객체를 판독하는 객체판독부;
증강현실 컨텐츠를 이용하여 제어하고자 하는 타겟장치에 대한 정보를 포함하는 객체데이터베이스;
상기 영상을 인식하여 판독된 객체에 대응되는 AR 컨텐츠 정보를 상기 객체데이터베이스로부터 획득하는 객체정보획득부;및
상기 객체정보획득부에서 획득한 AR컨텐츠 정보를 상기 단말기로 전송하는 전송부;를 포함하는 것을 특징으로 하는 증강현실서버.An object reader for recognizing an image received from a terminal and reading an object;
An object database including information on a target device to be controlled using augmented reality content;
An object information acquisition unit for acquiring AR content information corresponding to the object read by recognizing the image from the object database; and
Augmented reality server comprising a; transmitting unit for transmitting the AR content information obtained from the object information acquisition unit to the terminal. 제 4 항에 있어서, 상기 객체판독부는 마커, OCR 인식 및 이미지 분석을 통해 객체를 판독하는 것을 특징으로 하는 증강현실서버. The augmented reality server of claim 4, wherein the object reading unit reads an object through a marker, OCR recognition, and image analysis. 제 4 항에 있어서,
상기 객체데이터베이스는 상기 타겟장치의 제품 정보 모델 정보, 상기 타겟 장치 코드, 상기 타겟 장치에서 이용되는 기호에 관한 정보, 타겟 장치의 매뉴얼에 포함된 데이터, 이미지, 그리고, 상기 타겟 장치의 AR 컨텐츠 정보와, AR 컨텐츠 정보에 매핑되는 타겟장치의 제어 정보를 포함하는 것을 특징으로 하는 증강현실서버. The method of claim 4, wherein
The object database may include product information model information of the target device, the target device code, information about a symbol used in the target device, data, images, and AR content information of the target device. Augmented reality server comprising the control information of the target device mapped to the AR content information. 제어단말기에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 방법으로서,
제어하고자 하는 타겟장치를 촬영하고 촬영한 영상을 저장하는 단계;
증강현실서버로부터 AR컨텐츠를 수신하여 상기 촬영한 영상과 함께 표시하는 단계로서, 상기 증강현실서버는 타겟장치 영상 내의 객체를 인식한 후, 인식한 객체에 대한 AR컨텐츠를 제공하는, 표시 단계 ;
상기 표시단계에서 표시한 상기 AR컨텐츠 내에 AR컨텐츠 제어 신호가 있는 경우, 상기 AR컨텐츠 제어신호로 상기 타겟장치를 제어하는 인터랙션단계;를 포함하는 것을 특징으로 하는 방법.As a method for controlling a target device through augmented reality content in the control terminal,
Photographing the target device to be controlled and storing the captured image;
Receiving AR content from an augmented reality server and displaying the image together with the captured image, wherein the augmented reality server recognizes an object in a target device image and then provides AR content for the recognized object;
And when the AR content control signal is present in the AR content displayed in the display step, controlling the target device using the AR content control signal. 증강현실서버에서 증강현실 컨텐츠를 통해 타겟장치를 제어하는 방법으로서, 상기 증강현실서버는 증강현실 컨텐츠를 이용하여 제어하고자 하는 타겟장치에 대한 정보를 포함하는 객체데이터베이스를 포함하고, 상기 방법은
단말기로부터 수신한 영상을 인식하여 객체를 판독하는 객체판독단계;
상기 영상을 인식하여 판독된 객체에 대응되는 AR 컨텐츠 정보를 상기 객체데이터베이스로부터 획득하는 객체정보획득단계;및
상기 객체정보획득부에서 획득한 AR컨텐츠 정보를 상기 단말기로 전송하는 단계;를 포함하는 것을 특징으로 하는 방법.A method for controlling a target device through augmented reality content in an augmented reality server, wherein the augmented reality server includes an object database including information on a target device to be controlled using augmented reality content, and the method includes:
An object reading step of reading an object by recognizing an image received from a terminal;
An object information acquisition step of acquiring AR content information corresponding to the object read by recognizing the image from the object database; and
And transmitting the AR content information obtained by the object information acquisition unit to the terminal. 제 8 항에 있어서, 상기 객체데이터베이스는 상기 타겟장치의 제품 정보 모델 정보, 상기 타겟 장치 코드, 상기 타겟 장치에서 이용되는 기호에 관한 정보, 타겟 장치의 매뉴얼에 포함된 데이터, 이미지, 그리고, 상기 타겟 장치의 AR 컨텐츠 정보와, AR 컨텐츠 정보에 매핑되는 타겟장치의 제어 정보를 포함하는 것을 특징으로 하는 방법. The apparatus of claim 8, wherein the object database includes product information model information of the target device, the target device code, information about a symbol used in the target device, data included in a manual of the target device, an image, and the target. And AR content information of the device and control information of the target device mapped to the AR content information.
KR1020110052391A 2011-05-31 2011-05-31 Control terminal and server for managing target devices using Augmented Reality Contents KR101239284B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110052391A KR101239284B1 (en) 2011-05-31 2011-05-31 Control terminal and server for managing target devices using Augmented Reality Contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052391A KR101239284B1 (en) 2011-05-31 2011-05-31 Control terminal and server for managing target devices using Augmented Reality Contents

Publications (2)

Publication Number Publication Date
KR20120133648A true KR20120133648A (en) 2012-12-11
KR101239284B1 KR101239284B1 (en) 2013-03-06

Family

ID=47516976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052391A KR101239284B1 (en) 2011-05-31 2011-05-31 Control terminal and server for managing target devices using Augmented Reality Contents

Country Status (1)

Country Link
KR (1) KR101239284B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435087B1 (en) * 2010-06-28 2014-08-27 엘지전자 주식회사 Method and apparatus for providing the operation state of an external device
WO2014150980A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Content creation tool
WO2014197394A1 (en) * 2013-06-03 2014-12-11 Daqri, Llc Data manipulation based on real world object manipulation
WO2014197387A1 (en) * 2013-06-03 2014-12-11 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
KR102058972B1 (en) * 2018-07-09 2019-12-24 엘지전자 주식회사 Registration method of home appliance
CN111913566A (en) * 2019-05-10 2020-11-10 阿里巴巴集团控股有限公司 Data processing method and device, electronic equipment and computer storage medium
KR102252815B1 (en) * 2020-12-01 2021-05-17 박광수 A method for guiding a method of synchronizing a servo motor and an encoder, and a system implementing the same
WO2021107499A1 (en) * 2019-11-29 2021-06-03 한국과학기술원 Image processing method using transparent flat plate, and apparatus for performing same
KR20210121609A (en) * 2020-03-30 2021-10-08 주식회사 코이노 Apparatus for remote guide and method thereof
CN114528061A (en) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 AR-based device using method, device and intelligent terminal system
CN114641177A (en) * 2020-12-15 2022-06-17 华为技术有限公司 Electronic device
US11822728B2 (en) 2020-12-17 2023-11-21 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069366B1 (en) 2013-05-27 2020-01-23 경북대학교 산학협력단 Augmented reality implementation apparatus and method for interacting with robot for education
KR102385263B1 (en) 2018-01-04 2022-04-12 삼성전자주식회사 Mobile home robot and controlling method of the mobile home robot
KR20230031562A (en) 2021-08-27 2023-03-07 엘지전자 주식회사 A mobile terminal and method for registering a home appliance in an application, and a system and program therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065118A (en) * 2003-08-19 2005-03-10 Hitachi Ltd Mobile terminal with remote control function and remote control server
KR100538082B1 (en) * 2005-05-12 2005-12-22 버츄얼빌더스 주식회사 Integrated building information management system based on augmented reality

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435087B1 (en) * 2010-06-28 2014-08-27 엘지전자 주식회사 Method and apparatus for providing the operation state of an external device
US9247142B2 (en) 2010-06-28 2016-01-26 Lg Electronics Inc. Method and apparatus for providing the operation state of an external device
US9679416B2 (en) 2013-03-15 2017-06-13 Daqri, Llc Content creation tool
WO2014150980A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Content creation tool
US10147239B2 (en) 2013-03-15 2018-12-04 Daqri, Llc Content creation tool
US9996983B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via intent
JP2016521882A (en) * 2013-06-03 2016-07-25 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ Data manipulation based on real world object manipulation
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9996155B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via thought
WO2014197387A1 (en) * 2013-06-03 2014-12-11 Daqri, Llc Manipulation of virtual object in augmented reality via intent
WO2014197394A1 (en) * 2013-06-03 2014-12-11 Daqri, Llc Data manipulation based on real world object manipulation
KR102058972B1 (en) * 2018-07-09 2019-12-24 엘지전자 주식회사 Registration method of home appliance
CN111913566A (en) * 2019-05-10 2020-11-10 阿里巴巴集团控股有限公司 Data processing method and device, electronic equipment and computer storage medium
WO2021107499A1 (en) * 2019-11-29 2021-06-03 한국과학기술원 Image processing method using transparent flat plate, and apparatus for performing same
KR20210121609A (en) * 2020-03-30 2021-10-08 주식회사 코이노 Apparatus for remote guide and method thereof
KR102252815B1 (en) * 2020-12-01 2021-05-17 박광수 A method for guiding a method of synchronizing a servo motor and an encoder, and a system implementing the same
CN114641177A (en) * 2020-12-15 2022-06-17 华为技术有限公司 Electronic device
US11822728B2 (en) 2020-12-17 2023-11-21 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
CN114528061A (en) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 AR-based device using method, device and intelligent terminal system

Also Published As

Publication number Publication date
KR101239284B1 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
KR101239284B1 (en) Control terminal and server for managing target devices using Augmented Reality Contents
CN111417028B (en) Information processing method, information processing device, storage medium and electronic equipment
JP5389111B2 (en) Augmented reality information providing apparatus and method
CN106462322B (en) The tracking data that equipment for augmented reality provides
US8797921B2 (en) Communication terminal and method for data transmission
CN102164234B (en) Apparatus having photograph function
US20120105447A1 (en) Augmented reality-based device control apparatus and method using local wireless communication
US20140009494A1 (en) Display control device, display control method, and program
KR101330805B1 (en) Apparatus and Method for Providing Augmented Reality
US20150070247A1 (en) Information processing apparatus, information processing method, and program
TW201331824A (en) Display control apparatus, display control method, and program
CN110800314B (en) Computer system, remote operation notification method, and recording medium
CN107920265A (en) The method of electronic equipment and control electronics
KR20110136024A (en) Method for interchanging between augmented reality device
US20090226101A1 (en) System, devices, method, computer program product
KR100946673B1 (en) Method and system for remote controlling of digital device
US10013949B2 (en) Terminal device
KR20220057388A (en) Terminal for providing virtual augmented reality and control method thereof
JP6909022B2 (en) Programs, information terminals, information display methods and information display systems
KR101276313B1 (en) Communication protocol transaction system of mobile and server for image recognition
KR101283636B1 (en) An apparatus of remocon for smart-tv
JP2023140075A (en) remote control device
KR20110136031A (en) System for transferring augmented reality between different platform
KR20240054141A (en) A display apparatus and a method of operating the display apparatus
KR101525223B1 (en) System for transferring data, method for transferring data and computer-readable recording medium comprising program for performing the same

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 8