KR101039611B1 - Method for displaying message using augmented reality - Google Patents

Method for displaying message using augmented reality Download PDF

Info

Publication number
KR101039611B1
KR101039611B1 KR1020090033221A KR20090033221A KR101039611B1 KR 101039611 B1 KR101039611 B1 KR 101039611B1 KR 1020090033221 A KR1020090033221 A KR 1020090033221A KR 20090033221 A KR20090033221 A KR 20090033221A KR 101039611 B1 KR101039611 B1 KR 101039611B1
Authority
KR
South Korea
Prior art keywords
pattern
image capturing
capturing apparatus
augmented reality
message
Prior art date
Application number
KR1020090033221A
Other languages
Korean (ko)
Other versions
KR20100114707A (en
Inventor
이종원
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020090033221A priority Critical patent/KR101039611B1/en
Publication of KR20100114707A publication Critical patent/KR20100114707A/en
Application granted granted Critical
Publication of KR101039611B1 publication Critical patent/KR101039611B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Abstract

본 발명은 증강현실에 기반하여 메시지를 표시하는 방법 및 장치에 관한 것이다. 본 발명의 메시지 표시 방법은 영상 촬영 장치와 영상 표시 장치를 구비한 사용자 단말이 패턴과 추가정보를 입력받는 단계와, 상기 영상 촬영 장치가 상기 입력받은 패턴에 상응하는 패턴을 촬영한 경우 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 위치를 추정하는 단계와, 상기 입력받은 추가정보를 상기 추정된 영상 촬영 장치의 위치에 따라 상기 촬영한 패턴에 부가하여 증강현실로서 상기 영상 표시 장치에 표시하는 단계를 포함한다. 본 발명에 의하면 옷의 패턴을 기반으로 개인적인 관계가 있는 사용자 사이에 비밀 정보를 다른 사람에게 모르게 전달할 수 있다. 이를 통해 사용자들 사이에 디지털 정보를 실제 공간과 연관하여 보여줌으로써 디지털의 다양성과 아날로그의 감정을 서로만의 방식으로 전달할 수 있다는 장점이 있다.The present invention relates to a method and apparatus for displaying a message based on augmented reality. The message display method of the present invention includes the steps of receiving a pattern and additional information by a user terminal having an image capturing apparatus and an image display apparatus, and when the image capturing apparatus captures a pattern corresponding to the input pattern, Estimating the position of the image capturing apparatus with respect to the pattern; and adding the received additional information to the photographed pattern according to the estimated position of the image capturing apparatus and displaying the image on the image display apparatus as an augmented reality. Include. According to the present invention, secret information can be transmitted to other people without knowing a person based on a pattern of clothes. By doing so, digital information is displayed in relation to the real space among users, so that digital diversity and analog emotion can be transmitted in a unique way.

증강현실, 패턴, 메시지, 영상 촬영, 영상 표시 Augmented Reality, Pattern, Message, Video Shooting, Video Display

Description

증강현실에 기반하여 메시지를 표시하는 방법{METHOD FOR DISPLAYING MESSAGE USING AUGMENTED REALITY}How to display a message based on augmented reality {METHOD FOR DISPLAYING MESSAGE USING AUGMENTED REALITY}

본 발명은 증강현실에 기반하여 메시지를 표시하는 방법 및 장치에 관한 것으로서, 사용자의 옷 등에 존재하는 패턴을 기반으로 증강현실 환경에서 정보를 전달하는 방법 및 이를 이용하는 장치에 관한 것이다.The present invention relates to a method and apparatus for displaying a message based on augmented reality, and to a method for transmitting information in an augmented reality environment based on a pattern present in a user's clothes and the like, and an apparatus using the same.

본 발명은 서울시 산학연 협력사업, 기술기반 구축사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 10557, 연구과제명: 차세대 PMP 콘텐츠산업 클러스터 사업].The present invention is derived from a study conducted as part of the Seoul-Academic-industrial cooperation project and technology-based construction project. [Project No. 10557, Project Title: Next Generation PMP Content Industry Cluster Project].

증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실환경과 가상환경을 융합하는 시스템으로 1990년대 후반부터 미국·일본을 중심으로 연구개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증 강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. Augmented Reality (Augmented Reality) is one of the virtual reality that combines the real world that the user sees and the virtual world with additional information in one image. It is a system that converges the real environment and the virtual environment. Since the late 1990s, R & D has been focused on the US and Japan. Augmented reality, a concept that complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics play a role in providing additional information necessary for the real environment. This means that the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image that the user sees. Virtual reality technology immerses the user in the virtual environment and cannot see the real environment. However, augmented reality technology, which is a mixture of real and virtual objects, provides a better sense of reality by allowing the user to see the real environment.

증강현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 이 기술을 응용하려는 연구가 이어져왔고, 최근 게임 분야에서도 이 기술을 접목하려는 연구가 활발히 이루어지고 있다. 최근 휴대폰, PDA(personal digital assistants), UMPC(ultra mobile personal computer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드헬드 증강현실 시스템이 가능해졌다. 이러한 시스템이 가능해지면서 모바일 기기를 사용한 콘텐츠가 다수 개발되었다. 그리고 모바일 기기의 보급이 매우 빠르게 보편화 되어 증강현실 콘텐츠를 누구나 장소에 구분 없이 접할 수 있는 환경이 조성되고 있는 상황이다. 최근 유럽, 북미, 일본, 한국 등에서 모바일 환경에서 증강현실 게임, 안내 시스템 등이 개발되고 있으나 아직은 실생활에 유용한 콘텐츠가 부족하여 사용자로부터 많은 관심을 이끌지 못하고 있다. Since the research on augmented reality technology has been started, research has been conducted to apply this technology in various fields, and researches are being actively applied to this technology in game field recently. Recently, the development of mobile network devices such as mobile phones, personal digital assistants (PDAs), ultra mobile personal computers (UMPCs), and the development of wireless network devices have enabled handheld augmented reality systems. The availability of these systems has led to the development of a number of content using mobile devices. In addition, the spread of mobile devices has become very popular, creating an environment where anyone can access augmented reality content in any place. Recently, augmented reality games and guidance systems have been developed in the mobile environment in Europe, North America, Japan, Korea, etc., but they are not yet attracting much attention from users due to the lack of useful contents for real life.

따라서 본 발명은 실생활에 존재하는 옷 등과 연결시켜 사용자들 사이에 친밀한 정보를 전달할 수 있는 증강현실 시스템을 구현하는 것을 목적으로 한다.Therefore, an object of the present invention is to implement an augmented reality system that can be connected to the clothes and the like existing in the real life to deliver intimate information between users.

본 발명의 목적들은 앞에서 언급한 목적으로 제한되지 않는다. 본 발명의 다른 목적 및 장점들은 아래 설명에 의해 더욱 분명하게 이해될 것이다. The objects of the present invention are not limited to the above-mentioned objects. Other objects and advantages of the invention will be more clearly understood by the following description.

이와 같은 목적을 달성하기 위한 본 발명은 증강현실에 기반하여 메시지를 표시하는 방법으로서, 영상 촬영 장치와 영상 표시 장치를 구비한 사용자 단말이 패턴과 추가정보를 입력받는 단계와, 상기 영상 촬영 장치가 상기 입력받은 패턴에 상응하는 패턴을 촬영한 경우 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 위치를 추정하는 단계와, 상기 입력받은 추가정보를 상기 추정된 영상 촬영 장치의 위치에 따라 상기 촬영한 패턴에 부가하여 증강현실로서 상기 영상 표시 장치에 표시하는 단계를 포함하는 것을 일 특징으로 한다. 바람직하게는, 상기 패턴의 촬영 위치에 관한 정보를 입력받는 단계를 추가로 포함한다. In order to achieve the above object, the present invention provides a method for displaying a message based on augmented reality, comprising: receiving a pattern and additional information from a user terminal including an image capturing apparatus and an image display apparatus; Estimating the position of the image capturing apparatus with respect to the photographed pattern when photographing a pattern corresponding to the input pattern; and photographing the received additional information according to the estimated position of the image capturing apparatus In addition to the augmented reality characterized in that it comprises the step of displaying on the image display device. Preferably, the method may further include receiving information regarding a photographing position of the pattern.

바람직하게는, 상기 영상 촬영 장치의 위치는 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 이격 거리와 방향이다. 또한 상기 패턴은 상기 패턴과 추가정보를 전송한 사용자의 옷에 존재하는 패턴이다. Preferably, the position of the image capturing apparatus is a separation distance and a direction of the image capturing apparatus with respect to the photographed pattern. In addition, the pattern is a pattern present in the clothes of the user who transmitted the pattern and the additional information.

바람직하게는, 상기 영상 촬영 장치의 위치를 추정하는 단계는 상기 영상 촬 영 장치를 통해 촬영한 패턴의 소정 특징점들을 추출하고 상기 사용자 단말의 데이터베이스에 구비된 패턴 중에서 동일한 패턴을 선택하는 과정과, 상기 선택된 패턴에 존재하는 특징점들의 위치를 추정하는 과정과, 상기 추출된 특징점들과 상기 추정된 특징점들의 대응관계를 기반으로 상기 영상 촬영 장치의 위치를 추정하는 과정을 구비한다. Preferably, the estimating of the position of the image capturing apparatus comprises: extracting predetermined feature points of a pattern photographed by the image capturing apparatus and selecting the same pattern among patterns included in a database of the user terminal; Estimating the positions of the feature points existing in the selected pattern, and estimating the position of the imaging apparatus based on the corresponding relationship between the extracted feature points and the estimated feature points.

또한 본 발명은 증강현실에 기반하여 메시지를 표시하는 장치로서, 패턴과 추가정보를 입력받는 통신부와, 영상 촬영 장치와, 영상 표시 장치와, 제어부를 구비하고, 상기 제어부는 상기 영상 촬영 장치가 상기 입력받은 패턴에 상응하는 패턴을 촬영한 경우 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 위치를 추정하고, 상기 입력받은 추가정보를 상기 추정된 영상 촬영 장치의 위치에 따라 상기 촬영한 패턴에 부가하여 상기 영상 표시 장치에 표시하는 것을 다른 특징으로 한다. In addition, the present invention is a device for displaying a message based on augmented reality, comprising a communication unit for receiving a pattern and additional information, an image capture device, an image display device, and a control unit, the control unit is the image capture device is When the pattern corresponding to the received pattern is photographed, the position of the image photographing apparatus is estimated with respect to the photographed pattern, and the additional information received is added to the photographed pattern according to the estimated position of the image photographing apparatus. The display on the video display device is another feature.

이와 같은 본 발명에 의하면, 실생활에 존재하는 옷과 증강현실 기술을 연동하여 사용자들 사이에 친밀한 정보를 전달함으로써, 디지털과 아날로그가 통합된 환경을 제공하여 다양한 정보와 감성을 함께 전달할 수 있는 증강현실을 구현할 수 있다는 장점이 있다.According to the present invention, by integrating augmented reality technology and clothes existing in the real life to deliver intimate information between users, providing a digital and analog integrated environment to deliver a variety of information and emotions together augmented reality The advantage is that it can be implemented.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.The above objects, features, and advantages will be described in detail with reference to the accompanying drawings, whereby those skilled in the art may easily implement the present invention. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 의한 증강현실에 기반한 비밀 메시지 전달 시스템을 구현하는 방법 및 이를 이용하는 장치 의 구성과 연결 관계를 설명하는 도면이다. 도시된 바와 같이 서버(110)는 데스크톱 컴퓨터(120)과 모바일 장치(140, 150)와 유선 또는 무선 네트워크를 통해 연결된다. 그리고 사용자 단말(140)은 카메라(141), 디스플레이부(142), 제어부(143), 통신부(144)를 구비하고 있다. 사용자 단말(140)은 스마트폰, PDA, UMPC 등과 같은 무선 단말이거나 유선 단말일 수 있다. 데스크톱 컴퓨터(120)는 카메라(121)을 구비하고 있으며 유선 또는 무선 네트워크를 통해 서버와 연결된다. 1 is a view illustrating a configuration and connection relationship of a method for implementing a secret message delivery system based on augmented reality and an apparatus using the same according to an embodiment of the present invention. As shown, the server 110 is connected to the desktop computer 120 and the mobile devices 140 and 150 through a wired or wireless network. In addition, the user terminal 140 includes a camera 141, a display unit 142, a controller 143, and a communication unit 144. The user terminal 140 may be a wireless terminal such as a smartphone, a PDA, a UMPC, or a wired terminal. The desktop computer 120 includes a camera 121 and is connected to the server through a wired or wireless network.

사용자는 데스크톱 컴퓨터(120)나 모바일 장치(150)를 통해 옷(130)과 옷 위의 패턴(131)을 선택하고 전달하고자 하는 메시지와 받을 사용자를 서버(110)로 전달을 한다. 서버(110)는 사용자가 작성한 메시지가 있음을 확인하고 받을 사용자에게 문자 메시지나 이메일로 통보한다. 받을 사용자는 모바일 장치(140)를 통해 옷(130), 옷 위의 패턴(131), 사용자가 작성한 메시지를 통신부(144)를 통해 전달받는다.The user selects the clothes 130 and the pattern 131 on the clothes through the desktop computer 120 or the mobile device 150, and delivers the message to the server 110 and the user to receive the message. The server 110 confirms that there is a message written by the user and notifies the receiving user by text message or email. The user who receives the clothes receives the clothes 130, the pattern 131 on the clothes, and a message written by the user through the communication unit 144 through the mobile device 140.

모바일 장치(140)에 있는 카메라(141)는 옷의 패턴(131)을 촬영하고 이를 기 반으로 제어부(143)는 카메라의 위치를 추정하고 보내진 메시지를 증강하여 디스플레이부(142)를 통해 보여준다.The camera 141 in the mobile device 140 photographs the pattern 131 of the clothes, and based on this, the controller 143 estimates the position of the camera and augments the sent message and shows it through the display unit 142.

도 2는 본 발명의 실시예에 따른 증강현실에 기반한 비밀 메시지 전달 시스템 구현 방법의 흐름도이다.2 is a flowchart illustrating a method of implementing a secret message delivery system based on augmented reality according to an embodiment of the present invention.

먼저, 사용자는 옷(130)과 옷 위의 패턴(131)을 데스크톱 컴퓨터(120)에 부착된 카메라(121) 또는 모바일 장치(150)에 부착된 카메라(141)를 통해 선택한다(S202). 사용자는 옷 위의 패턴이 서버(110)의 데이터베이스에 존재하는 경우는 패턴을 서버의 데이터베이스에서 선택할 수 있다. 그런 후에 상기 패턴(131)에 전달할 메시지를 데스크톱 컴퓨터(120)나 모바일 장치(150)를 통해 작성한다(S204). 선택된 옷과 옷 위의 패턴, 전달할 메시지와 받을 사용자에 대한 정보를 데스크톱 컴퓨터(120)나 모바일 장치(150)의 통신부(144)를 통해 서버(110)로 전송한다(S206). 서버(110)는 제어부(112)에서 전달 받을 사용자에게 메일 또는 문자로 전달할 메시지가 있음을 통보한다(S208). 받을 사용자는 서버(110)에 모바일 장치(140)에 있는 통신부(144)를 통해 연결하고 서버에 있는 메시지와 관련 정보를 전송 받는다(S210). 받은 사용자는 선택된 옷 위의 패턴(131)을 모바일 장치(140)에 부착된 카메라(141)를 통해 확인하고 상기 패턴을 기반으로 카메라(141)의 위치를 추정한 후 개인화된 메시지를 증강한다(S212).First, the user selects the clothes 130 and the pattern 131 on the clothes through the camera 121 attached to the desktop computer 120 or the camera 141 attached to the mobile device 150 (S202). If the pattern on the clothes exists in the database of the server 110, the user can select the pattern from the database of the server. Thereafter, a message to be transmitted to the pattern 131 is written through the desktop computer 120 or the mobile device 150 (S204). The selected clothes and the pattern on the clothes, a message to be transmitted and information about the user to be received are transmitted to the server 110 through the communication unit 144 of the desktop computer 120 or the mobile device 150 (S206). The server 110 notifies the user to be delivered by the control unit 112 that there is a message to be delivered by mail or text (S208). The receiving user connects to the server 110 through the communication unit 144 in the mobile device 140 and receives the message and the related information in the server (S210). The received user checks the pattern 131 on the selected clothes through the camera 141 attached to the mobile device 140, estimates the position of the camera 141 based on the pattern, and then augments a personalized message ( S212).

도 3은 본 발명의 일 실시예에 따른 사용자 모바일 장치(140)에서의 증강현실 구현 방법의 흐름도이다. 3 is a flowchart illustrating a method for implementing augmented reality in a user mobile device 140 according to an embodiment of the present invention.

먼저 사용자 모바일 장치(140)는 통신부(144)를 통해 서버(110)에 보내진 옷(130), 옷 위의 패턴(131), 증강될 메시지에 대한 정보를 전송 받는다(S302). First, the user mobile device 140 receives the information about the clothes 130 sent to the server 110, the pattern 131 on the clothes, and the message to be augmented through the communication unit 144 (S302).

다음에 사용자가 카메라(141)를 통해 옷(130)에 표시된 패턴(131)을 촬영하면(S304), 제어부(143)는 카메라의 촬영 결과와 상기 패턴에 대한 크기 및 위치 정보를 기반으로 카메라(141)의 위치 정보를 추정한다(S306). 여기서 카메라 위치 정보란 카메라가 패턴으로부터 얼마나 멀리 떨어져 있는지, 패턴의 정면을 기준으로 어느 방향에 있는지 등에 대한 정보이다.Next, when the user photographs the pattern 131 displayed on the clothes 130 through the camera 141 (S304), the controller 143 determines the camera (based on the photographing result of the camera and the size and position information of the pattern). The location information of 141 is estimated (S306). Here, the camera position information is information about how far the camera is from the pattern, in which direction relative to the front of the pattern, and the like.

다음에 제어부(143)는 추정된 카메라의 위치 정보에 따라 전송 받은 메시지를 현실세계에 융합하여 디스플레이부(148)에 표시한다(S308). 즉, 메시지가 실제 공간에 존재하는 것과 같이 카메라의 위치에 따라 메시지의 다른 모습이 표시된다. 예를 들어, 메시지를 3차원 객체로 생각하면 카메라가 오른쪽에 있으면 3차원 객체의 오른쪽 부분이 주로 보이고 카메라가 왼쪽에 있으면 3차원 객체의 왼쪽 부분이 주로 보이게 표시된다.Next, the controller 143 fuses the received message according to the estimated camera position information to the real world and displays the message on the display unit 148 (S308). That is, the message is displayed differently according to the position of the camera as if the message exists in the real space. For example, if you think of a message as a three-dimensional object, the right side of the three-dimensional object is mainly visible when the camera is on the right side, and the left part of the three-dimensional object is mainly visible when the camera is on the left side.

도 4는 본 발명의 일 실시예에 따라 카메라의 위치 정보를 추정하는 방법을 설명하는 흐름도이다. 먼저, 옷(130)에 있는 패턴(131)의 알고 있는 특징점(패턴의 코너 등)을 추출하여 사용자 단말의 데이터베이스에 있는 패턴 중 동일한 패턴을 선택한다(S402). 다음에는 해당 패턴에 존재하는 특징점들의 2차원 위치를 추정한다(S404). 단계 2에서 획득된 패턴의 특징점들과 단계 1에서 획득된 패턴의 특징점들 중에서 서로 상응하는 특징점들을 찾아낸다(S406). 즉, 단계 2에서 획득된 각각의 특징점과 상응하는 실제 공간에 그려진 패턴의 특징점을 찾아낸다. 다음에는 최소 4개의 상응하는 특징점 쌍을 기반으로 패턴(131)에 대한 카메라의 거리 및 방향 을 추정한다(S408).4 is a flowchart illustrating a method of estimating location information of a camera according to an embodiment of the present invention. First, a known feature point (a corner of a pattern, etc.) of the pattern 131 in the clothes 130 is extracted to select the same pattern among the patterns in the database of the user terminal (S402). Next, the two-dimensional position of the feature points present in the pattern is estimated (S404). The feature points of the pattern acquired in step 2 and the feature points of the pattern obtained in step 1 are found to correspond to each other (S406). That is, the feature points of the pattern drawn in the real space corresponding to each feature point obtained in step 2 are found. Next, the distance and direction of the camera with respect to the pattern 131 are estimated based on at least four corresponding feature point pairs (S408).

이하에서는 본 실시예에 의해 제공되는 서비스의 시나리오를 예를 들어 설명한다. 최근에 결혼한 신혼부부가 있다. 부인 A는 남편 B에게 전달하고 싶은 메시지가 있다. 하지만 직접 본인이 말 또는 메모로 전달하기에는 조금 쑥스러워 다른 방법은 없을까 고민한다. 부인 A는 최근 구입한 옷에 포함된 증강현실 비밀 메시지(AR Secret Message) 서비스가 생각났다. 부인 A는 서버에 접속하여 원하는 메시지를 그림과 텍스트를 사용하여 만들고 남편 B에게 서버에 접속하라고 문자를 보낸다. 남편 B는 궁금한 마음으로 서버에 접속하여 핸드폰으로 정보를 다운받고 퇴근까지 궁금한 마음으로 설레고 있다. 집에 돌아와 남편 B는 부인 A의 옷에 있는 패턴을 휴대폰의 카메라로 촬영하여 메시지를 확인하고 미소 짓는다.Hereinafter, a scenario of a service provided by the present embodiment will be described by way of example. There is a newly married couple who has recently married. Wife A has a message to her husband B. But it's a bit embarrassing to deliver it in words or notes. Mrs. A recalled the AR Secret Message service included in her latest purchase. Mrs. A connects to the server, creates a message using pictures and text, and texts her husband B to connect to the server. My husband, B, is curious and connects to the server, downloads the information on his cell phone, and is excited about his work. Returning home, husband B photographs the pattern on his wife's clothing with the phone's camera to check the message and smile.

전술한 실시예에서는 메시지를 전달한 사용자의 옷에 존재하는 패턴을 이용하나, 특정 가구나 건물 등에 존재하는 패턴을 이용할 수도 있다.In the above-described embodiment, a pattern existing in the clothes of the user who delivered the message is used, but a pattern existing in a specific furniture or a building may be used.

전술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체 (씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다. As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식 을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be apparent to those of ordinary skill.

도 1은 본 발명의 일 실시예에 의한 메시지 표시 장치와 이를 이용하는 전체 시스템의 연결 관계를 보이는 도면이다.1 is a view showing a connection relationship between a message display device and an entire system using the same according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 메시지 전달 방법을 설명하는 흐름도이다. 2 is a flowchart illustrating a message delivery method according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 메시지 표시 방법을 설명하는 흐름도이다.3 is a flowchart illustrating a message display method according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 카메라 위치 추정 방법을 설명하는 흐름도이다.4 is a flowchart illustrating a camera position estimation method according to an embodiment of the present invention.

Claims (7)

서버, 사용자 단말, 데스크탑 컴퓨터 및 모바일 장치가 유무선 네트워크를 통해 연결된 시스템에서 증강현실에 기반하여 메시지를 표시하는 방법에 있어서,In a method for displaying a message based on augmented reality in a system in which a server, a user terminal, a desktop computer, and a mobile device are connected through a wired or wireless network, 상기 서버는 상기 데스크탑 컴퓨터 또는 모바일 장치로부터 패턴과 추가정보를 전송받는 단계와,The server receiving the pattern and the additional information from the desktop computer or the mobile device; 영상 촬영 장치와 영상 표시 장치를 구비한 상기 사용자 단말이 상기 서버로부터 상기 패턴과 추가정보를 전달받는 단계와,Receiving the pattern and the additional information from the server by the user terminal having an image photographing device and an image display device; 상기 영상 촬영 장치가 상기 입력받은 패턴에 상응하는 패턴을 촬영한 경우 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 위치를 추정하는 단계와,Estimating the position of the image capturing apparatus with respect to the photographed pattern when the image capturing apparatus photographs a pattern corresponding to the received pattern; 상기 입력받은 추가정보를 상기 추정된 영상 촬영 장치의 위치에 따라 상기 촬영한 패턴에 부가하여 증강현실로서 상기 영상 표시 장치에 표시하는 단계를 포함하되,And adding the received additional information to the image display apparatus as an augmented reality in addition to the photographed pattern according to the estimated position of the image capturing apparatus. 상기 영상 촬영 장치의 위치를 추정하는 단계는,Estimating the position of the image capturing apparatus, 상기 영상 촬영 장치를 통해 촬영한 패턴의 소정 특징점들을 추출하고 상기 사용자 단말의 데이터베이스에 구비된 패턴 중에서 동일한 패턴을 선택하는 과정과,Extracting predetermined feature points of a pattern photographed by the image capturing apparatus and selecting the same pattern among patterns provided in a database of the user terminal; 상기 선택된 패턴에 존재하는 특징점들의 위치를 추정하는 과정과,Estimating the positions of the feature points present in the selected pattern; 상기 추출된 특징점들과 상기 추정된 특징점들의 대응관계를 기반으로 상기 영상 촬영 장치의 위치를 추정하는 과정을 구비하는 것을 특징으로 하는 메시지 표시 방법. And estimating the position of the image capturing apparatus based on the correspondence relationship between the extracted feature points and the estimated feature points. 제 1 항에 있어서,The method of claim 1, 상기 패턴의 촬영 위치에 관한 정보를 입력받는 단계를 추가로 포함하는 것을 특징으로 하는 메시지 표시 방법. And receiving information regarding a photographing position of the pattern. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 영상 촬영 장치의 위치는 상기 촬영한 패턴에 대한 상기 영상 촬영 장치의 이격 거리와 방향인 것을 특징으로 하는 메시지 표시 방법. And the position of the image capturing apparatus is a distance and a direction of the image capturing apparatus with respect to the photographed pattern. 제 1 항에 있어서,The method of claim 1, 상기 패턴은 상기 패턴과 추가정보를 전송한 사용자의 옷에 존재하는 패턴인 것을 특징으로 하는 메시지 표시 방법. The pattern is a message display method, characterized in that the pattern present in the clothes of the user who transmitted the pattern and the additional information. 제 1 항에 있어서,The method of claim 1, 상기 영상 촬영 장치는 카메라인 것을 특징으로 하는 메시지 표시 방법.And the image capturing apparatus is a camera. 삭제delete
KR1020090033221A 2009-04-16 2009-04-16 Method for displaying message using augmented reality KR101039611B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090033221A KR101039611B1 (en) 2009-04-16 2009-04-16 Method for displaying message using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090033221A KR101039611B1 (en) 2009-04-16 2009-04-16 Method for displaying message using augmented reality

Publications (2)

Publication Number Publication Date
KR20100114707A KR20100114707A (en) 2010-10-26
KR101039611B1 true KR101039611B1 (en) 2011-06-09

Family

ID=43133814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090033221A KR101039611B1 (en) 2009-04-16 2009-04-16 Method for displaying message using augmented reality

Country Status (1)

Country Link
KR (1) KR101039611B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101719264B1 (en) * 2010-12-23 2017-03-23 한국전자통신연구원 System and method for providing augmented reality contents based on broadcasting
KR101330808B1 (en) * 2011-01-27 2013-11-18 주식회사 팬택 Apparatus for editing of augmented reality data
KR101258454B1 (en) * 2011-05-11 2013-04-26 주식회사 로보쓰리 The method and the system finding the exit using augmented reality in big maze

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (en) * 2006-01-13 2007-02-02 엘지전자 주식회사 Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (en) * 2006-01-13 2007-02-02 엘지전자 주식회사 Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)

Also Published As

Publication number Publication date
KR20100114707A (en) 2010-10-26

Similar Documents

Publication Publication Date Title
US10776933B2 (en) Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US9710969B2 (en) Indicating the geographic origin of a digitally-mediated communication
CN109802931B (en) Communication processing method, terminal and storage medium
CN109426333B (en) Information interaction method and device based on virtual space scene
US9516266B2 (en) Sharing content
KR101773885B1 (en) A method and server for providing augmented reality objects using image authentication
US20190088030A1 (en) Rendering virtual objects based on location data and image data
US10136289B2 (en) Cross device information exchange using gestures and locations
US20120194548A1 (en) System and method for remotely sharing augmented reality service
KR102402580B1 (en) Image processing system and method in metaverse environment
KR20110112405A (en) Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
KR20130029683A (en) Mobile terminal, server and method for forming communication channel using augmented reality
KR20110093664A (en) Data transfer method and system
KR20090087807A (en) Method for implementing augmented reality
KR101768532B1 (en) System and method for video call using augmented reality
JP5393927B1 (en) Video generation device
KR20140143777A (en) Method of communication and of information in augmented reality
KR20150039233A (en) Method and system for social augmented reality service
KR101039611B1 (en) Method for displaying message using augmented reality
KR20210036212A (en) Server, device and method for providing augmented reality
EP2668640A1 (en) Method, apparatus and computer program product for three-dimensional stereo display
CN108092950B (en) AR or MR social method based on position
KR102052836B1 (en) Server for transmitting and receiving secret messages using augmented reality, and user terminal for the same, and method for transmitting and receiving secret messages using thereof
KR101725194B1 (en) Method for identifying terminal
CN112312110A (en) Non-transitory computer readable medium, image processing apparatus, and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee