KR102028139B1 - Method for displaying image using augmented reality - Google Patents

Method for displaying image using augmented reality Download PDF

Info

Publication number
KR102028139B1
KR102028139B1 KR1020190036502A KR20190036502A KR102028139B1 KR 102028139 B1 KR102028139 B1 KR 102028139B1 KR 1020190036502 A KR1020190036502 A KR 1020190036502A KR 20190036502 A KR20190036502 A KR 20190036502A KR 102028139 B1 KR102028139 B1 KR 102028139B1
Authority
KR
South Korea
Prior art keywords
image
marker
user terminal
augmented reality
image data
Prior art date
Application number
KR1020190036502A
Other languages
Korean (ko)
Inventor
전지혜
오장원
박구만
Original Assignee
주식회사 스탠스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스탠스 filed Critical 주식회사 스탠스
Priority to KR1020190036502A priority Critical patent/KR102028139B1/en
Application granted granted Critical
Publication of KR102028139B1 publication Critical patent/KR102028139B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

An objective of the present invention is to provide a method for displaying an image based on augmented reality which displays a customized image in accordance with a user preference. The method for displaying an image based on augmented reality comprises: a step where a user terminal photographs a prescribed area to generate first image data; a step of analyzing a first image corresponding to the first image data to recognize a first marker included in the first image; a step of reading first marker image data corresponding to the first marker; and a step of displaying a first marker image corresponding to the first marker image data by overlapping the first marker image on the position of the first marker of the first image. The method further comprises: a step of reading second marker image data corresponding to a second marker additionally recognized in the first image after the first marker image is displayed; and a step of displaying a second marker image corresponding to the second marker image data by overlapping the second marker image on the position of the second marker of the first image. The step of displaying the second marker image by overlapping the second marker image on the position of the second marker of the first image is synchronized with a playback time of the first marker image to synchronize a playback time of the second marker image to display the second marker image.

Description

증강현실 기반의 영상 표시방법{METHOD FOR DISPLAYING IMAGE USING AUGMENTED REALITY}Augmented reality-based image display method {METHOD FOR DISPLAYING IMAGE USING AUGMENTED REALITY}

본 발명은 증강현실 기반의 영상 표시방법으로서, 더 상세하게는 서로 다른 순간에 제공되는 영상들을 동기화하여 표시하는 증강현실 기반의 영상 표시방법에 관한 것이다.The present invention relates to an augmented reality based image display method, and more particularly, to an augmented reality based image display method for synchronizing and displaying images provided at different moments.

증강 현실(augmented reality)이란 현실 공간의 구성물들의 이미지와 가상의 이미지가 결합한 것으로서 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여 주는 기술이다. 이러한 증강현실은 실제 환경에 가상의 정보를 결합하여 부가 정보를 제공하기 때문에, 가상 환경에서 체험공간을 제공하는 가상현실(virtual reality)와는 차이가 있다.Augmented reality is a combination of the images of the constituents of the real space and the virtual image. The augmented reality is a technology that superimposes a virtual object on the real world seen by the user. Since augmented reality provides additional information by combining virtual information with a real environment, it is different from virtual reality that provides an experience space in a virtual environment.

증강 현실은 혼합 현실(mixed reality)로도 불리며, 실제 환경에 가상의 정보를 추가할 수 있는 특성 때문에 게임, 가상 교육 등 많은 분야에서 활용되고 있다.Augmented reality is also called mixed reality and is being used in many fields such as games and virtual education because of the ability to add virtual information to the real environment.

한편, 증강 현실을 이용하기 위해서는 객체를 촬영하여 객체를 표시 화면에 제공할 수 있는 별도의 기기가 필요하며, 표시 화면에 가상 정보를 제공하기 위한 마커도 요구된다.Meanwhile, in order to use augmented reality, a separate device capable of photographing an object and providing the object on a display screen is required, and a marker for providing virtual information on the display screen is also required.

본 발명이 이루고자 하는 기술적인 과제는 사용자 취향에 따른 커스터마이징 영상을 표시하는 증강현실 기반의 영상 표시방법을 제공하는데 있다.The technical problem to be achieved by the present invention is to provide an augmented reality-based image display method for displaying a customized image according to the user's taste.

본 발명의 실시 예에 따른 증강현실 기반의 영상 제공방법은, 사용자 단말이, 소정의 영역을 촬영하여 제1 영상 데이터를 생성하는 단계와, 상기 제1 영상 데이터에 대응하는 제1 영상을 분석하여 상기 제1 영상에 포함된 제1 마커를 인식하는 단계와, 상기 제1 마커에 대응하는 제1 마커 영상 데이터를 리드하는 단계와, 상기 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 상기 제1 영상의 제1 마커의 위치 상에 중첩하여 표시하는 단계와, 상기 제1 마커 영상이 표시된 이후, 상기 사용자 단말이 상기 제1 영상 내에서 추가로 인식된 제2 마커에 대응하는 제2 마커 영상 데이터를 리드하는 단계와, 상기 사용자 단말이, 상기 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계를 포함하고, 상기 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계는, 상기 제1 마커 영상의 재생 시점에 동기화하여 제2 마커 영상의 재생 시점을 동기화하여 상기 제2 마커 영상을 표시한다.In the augmented reality-based image providing method according to an embodiment of the present invention, the step of the user terminal, taking a predetermined area to generate the first image data, by analyzing the first image corresponding to the first image data Recognizing a first marker included in the first image, reading first marker image data corresponding to the first marker, and generating a first marker image corresponding to the first marker image data. Overlaying and displaying the first marker image on a first image, and after the first marker image is displayed, a second marker image corresponding to a second marker additionally recognized by the user terminal in the first image Reading data; and displaying, by the user terminal, a second marker image corresponding to the second marker image data to be superimposed on a position of a second marker of the first image. The displaying of the second marker image by overlapping the position of the second marker of the first image may include synchronizing the reproduction time of the second marker image by synchronizing with the reproduction time of the first marker image. Display.

실시 예에 따라, 상기 제1 및 제2 마커들 각각은 포토 카드로 이루어질 수 있다.According to an embodiment, each of the first and second markers may be a photo card.

실시 예에 따라, 상기 사용자 단말이, 상기 소정의 영역을 표시하는 제1 영상을 중심 표시 영역과 주변 표시 영역으로 구분하는 단계와, 상기 사용자 단말이, 상기 제1 및 제2 마커들의 상기 제1 영상 내 위치에 대응하여 상기 제1 영상에 중첩되어 표시되는 상기 제1 및 제2 마커 영상들 각각의 크기를 조절하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the user terminal divides a first image displaying the predetermined area into a central display area and a peripheral display area, and wherein the user terminal comprises the first and second markers of the first and second markers. The method may further include adjusting the size of each of the first and second marker images overlapping the first image to correspond to a position in the image.

실시 예에 따라, 상기 제1 및 제2 마커 영상들 각각의 크기를 조절하는 단계는, 상기 제1 영상의 중심 영역에 위치한 마커에 대응하는 마커 영상을 기준 크기로 표시하고, 상기 제1 영상의 주변 영역에 위치한 마커에 대응한 마커 영상을 기준 크기보다 기설정된 비율로 축소하여 표시할 수 있다.According to an embodiment, adjusting the size of each of the first and second marker images may include displaying a marker image corresponding to a marker located at a center area of the first image as a reference size, and adjusting the size of the first image. The marker image corresponding to the marker located in the peripheral area may be reduced and displayed at a preset ratio rather than the reference size.

실시 예에 따라, 상기 기준 크기로 표시되는 영상에 대응하는 소리는 스피커부를 통해 출력되고, 상기 기설정된 비율로 축소되어 표시되는 영상에 대응하는 소리는 차단될 수 있다.According to an embodiment, the sound corresponding to the image displayed at the reference size may be output through the speaker unit, and the sound corresponding to the image reduced and displayed at the preset ratio may be blocked.

실시 예에 따라, 상기 제1 및 제2 마커 영상들은 동일한 주제를 표현하는 움직임과 소리를 포함할 수 있다.According to an embodiment, the first and second marker images may include a motion and a sound representing the same subject.

본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법에 의하면, 마커들의 위치를 조절하여 증강현실 기반의 영상을 동시에 감상할 수 있으며, 재생중인 마커 영상의 재생 시점을 판단하여 새롭게 표시되는 마커 영상의 재생 시점을 동기화할 수 있다.According to the augmented reality-based image display method according to an embodiment of the present invention, the augmented reality-based image can be simultaneously viewed by adjusting the positions of the markers, and the newly displayed marker image is determined by determining the playback time of the marker image being played. Can synchronize the playback time.

또한, 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법에 의하면, 사용자의 취향에 따라 실제로 조합하기 어려운 가상 음악 그룹, 가상 운동 그룹을 결성하여 증강현실 기반의 영상을 감상할 수 있다.In addition, according to the augmented reality-based image display method according to an embodiment of the present invention, the augmented reality-based image can be viewed by forming a virtual music group, a virtual exercise group that is difficult to actually combine according to the user's taste.

도 1은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말의 개략적인 블록도이다.
도 3은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도이다.
도 4a와 도 4b는 본 발명의 다른 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도들이다.
도 5a와 도 5b는 본 발명의 또 다른 실시 예에 따른 증강현실 기반의 영상 표시 방법을 설명하기 위한 개념도들이다.
도 6은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 흐름도이다.1 is a schematic block diagram of an augmented reality-based image display system according to an embodiment of the present invention.
2 is a schematic block diagram of a user terminal according to an exemplary embodiment of the present invention.
3 is a conceptual diagram illustrating a method of displaying an image based on augmented reality according to an exemplary embodiment of the present invention.
4A and 4B are conceptual views illustrating an augmented reality-based image display method according to another embodiment of the present invention.
5A and 5B are conceptual views illustrating a method of displaying an image based on augmented reality according to another exemplary embodiment of the present invention.
6 is a flowchart illustrating an augmented reality-based image display method according to an embodiment of the present invention.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the embodiments described below are merely to describe in detail enough to be able to easily carry out the invention by those skilled in the art, the scope of protection of the present invention is limited It does not mean. In describing the various embodiments of the present disclosure, the same reference numerals will be used to refer to elements having the same technical features.

도 1은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템의 개략적인 블록도이고, 도 2는 본 발명의 실시 예에 따른 사용자 단말의 개략적인 블록도이다.1 is a schematic block diagram of an augmented reality-based image display system according to an embodiment of the present invention, Figure 2 is a schematic block diagram of a user terminal according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템은 마커(MK)와, 마커(MK)를 인식하여 증강현실 기반의 영상을 제공하는 사용자 단말(100)을 포함한다. Referring to FIG. 1, an augmented reality-based image display system according to an embodiment of the present invention includes a marker MK and a user terminal 100 that recognizes a marker MK and provides an augmented reality-based image. .

마커(MK)는 증강현실이 구현된 영상에서 가상 영상의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미한다. 마커(MK)는 증강현실에서 구현될 가상 객체에 대응될 수 있는데, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 포함하는 마커일 수도 있다. 마커(MK)는 기하학적 문양이나 패턴 등이 인식 정보로 사용될 수도 있으나, 포토 카드로 이루어져 특정한 인물, 캐릭터 등이 인식 정보로도 사용될 수 있다. The marker MK refers to a recognition mark used to align the 3D position and posture of the virtual image with an object in the real world in an image where augmented reality is implemented. The marker MK may correspond to a virtual object to be implemented in augmented reality. The marker MK may be a synthetic marker that is predefined and created by a user, and includes a marker of a real object that may be recognized using image recognition technology. It may be. The marker MK may be used as recognition information such as a geometrical pattern or a pattern, but a specific person or character may be used as recognition information by using a photo card.

사용자 단말(100)은 마커(MK)를 촬영하여 마커(MK)에 포함된 인식 정보를 인식함으로써, 마커(MK)에 대응하는 증강현실 기반의 영상을 표시할 수 있다.The user terminal 100 may display the augmented reality-based image corresponding to the marker MK by capturing the marker MK and recognizing recognition information included in the marker MK.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 영상 촬영부(110), 영상 편집부(120), 저장부(130), 표시부(140), 통신부(150), 및 스피커부(160)를 포함한다.Referring to FIG. 2, the user terminal 100 according to an exemplary embodiment may include an image capturing unit 110, an image editing unit 120, a storage unit 130, a display unit 140, a communication unit 150, and a speaker. The unit 160 is included.

영상 촬영부(110)는 소정의 영역을 촬영하여 제1 영상 데이터를 생성할 수 있다. 제1 영상 데이터는 소정의 영역을 제1 영상으로서 사용자 단말(100)에 표시하기 위한 데이터로서, 영상 촬영부(110)의 촬영에 의해 실시간으로 생성될 수 있다. 이와 같은 영상 촬영부(110)는 사용자 단말(100)에 구비된 카메라로 구현될 수 있으며, 영상 촬영부(110)에 의해 촬영된 제1 영상은 실시간으로 표시부(140)에 표시될 수 있다.The image capturing unit 110 may generate first image data by capturing a predetermined area. The first image data is data for displaying a predetermined area on the user terminal 100 as the first image, and may be generated in real time by capturing the image capturing unit 110. The image capturing unit 110 may be implemented as a camera provided in the user terminal 100, and the first image captured by the image capturing unit 110 may be displayed on the display unit 140 in real time.

영상 편집부(120)는 영상 촬영부(110)에 의해 생성된 제1 영상 데이터를 분석하여 제1 영상 내에 위치한 마커(MK)를 인식할 수 있다. 영상 편집부(120)는 제1 영상에 포함된 마커(MK)의 기하학적 형상, 특징점을 기초로 마커(MK)를 인식하거나, 인물 이미지, 캐릭터 이미지 등을 기저장된 이미지와 비교하여 마커(MK)를 인식할 수 있다.The image editing unit 120 may recognize the marker MK located in the first image by analyzing the first image data generated by the image capturing unit 110. The image editing unit 120 recognizes the marker MK based on the geometric shape and the feature point of the marker MK included in the first image, or compares the marker MK with a pre-stored image of a person image or a character image. I can recognize it.

영상 편집부(120)는 인식된 마커(MK)에 대응하는 마커 영상 데이터를 저장부(130)로터 리드할 수 있다. 여기서, 마커 영상 데이터는 마커(MK) 별 마커 영상이 기저장된 데이터일 수 있으며, 마커 영상은 인물, 캐릭터의 움직임과 음성을 포함하는 영상, 특정한 소리를 내는 악기를 연주하는 영상, 가상의 객체에 관한 영상 등 다양한 영상이 포함될 수 있다.The image editor 120 may read the marker image data corresponding to the recognized marker MK from the storage 130. Here, the marker image data may be data in which a marker image for each marker (MK) is pre-stored, and the marker image may include an image including movement of a person, a character, and a voice, an image playing a musical instrument, and a virtual object. Various images, such as related images, may be included.

예컨대, 영상 촬영부(110)에 의해 특정 아이돌 가수를 인쇄한 마커(MK)가 인식된 경우, 상기 마커(MK)에 대응하는 마커 영상 데이터가 리드될 수 있다. 상기 마커 영상 데이터는 상기 아이돌 가수가 노래를 부르며 안무 동작을 수행하는 마커 영상에 관한 것일 수 있다.For example, when the marker MK printing a specific idol singer is recognized by the image capturing unit 110, marker image data corresponding to the marker MK may be read. The marker image data may relate to a marker image in which the idol singer sings and performs a choreography operation.

영상 편집부(120)는 마커 영상 데이터가 리드되면, 제1 영상 내 마크가 배치된 위치에 마커 영상을 중첩하여 표시할 수 있다. 예컨대, 제1 영상이 테이블 상에 배치된 포토 카드를 표시하고 있는 경우, 아이돌 가수가 노래를 부르며 안무 동작을 수행하는 마커 영상은 제1 영상의 포토 카드 위치에서 중첩되어 표시될 수 있다. 즉, 아이돌 가수가 테이블 상의 포토 카드 위에서 노래를 부르며 안무 동작을 수행하도록 제1 영상과 마커 영상이 표시될 수 있다.When the marker image data is read, the image editing unit 120 may overlap the marker image at the position where the mark in the first image is arranged and display the overlapped image. For example, when the first image displays a photo card arranged on a table, a marker image in which an idol singer sings and performs a choreography operation may be overlapped and displayed at the photo card position of the first image. That is, the first image and the marker image may be displayed so that the idol singer sings on the photo card on the table and performs the choreography operation.

실시 예에 따라, 마커 영상이 표시된 이후 제1 영상 내에 새로운 마커가 인식된 경우, 영상 편집부(120)는 새롭게 인식된 마커에 대응하는 마커 영상 데이터를 리드하여 새로운 마커 영상을 제1 영상에 중첩하여 표시할 수 있다.According to an embodiment, when a new marker is recognized in the first image after the marker image is displayed, the image editing unit 120 reads marker image data corresponding to the newly recognized marker and superimposes the new marker image on the first image. I can display it.

새로운 마커 영상(이하, '제2 마커 영상'이라 함)은 기존에 재생 중이던 마커 영상(이하, '제1 마커 영상'이라 함)의 재생 시점에 대응하여 제1 영상에서 중첩되어 표시될 수 있다. 다시 말해, 제1 마커 영상이 t초 재생된 이후 제2 마커 영상이 함께 재생되는 경우, 제2 마커 영상은 t초가 경과된 이후의 재생 시점부터 재생되게 된다.The new marker image (hereinafter referred to as a 'second marker image') may be superimposed on the first image corresponding to the playback time of the marker image (hereinafter referred to as the “first marker image”) that is being played back. . In other words, when the second marker image is reproduced together after the first marker image is reproduced t seconds, the second marker image is reproduced from the reproduction time point after t seconds have elapsed.

여기서, 제1 마커 영상과 제2 마커 영상은 특정한 주제와 관련된 인물 또는 캐릭터의 음성, 움직임 등을 포함하는 것일 수 있기 때문에, 제1 마커 영상과 제2 마커 영상의 재생 시점 동기화를 통해 사용자는 제1 마커 영상과 제2 마커 영상을 비교 감상할 수 있다.In this case, since the first marker image and the second marker image may include voices or movements of a person or a character related to a specific subject, the user may create a first marker image by synchronizing the playback time points of the first marker image and the second marker image. The first marker image and the second marker image can be compared and viewed.

예컨대, 제1 마커 영상과 제2 마커 영상은 팝가수 마이클 잭슨(Michael Jackson)의 노래 '빌리진(Billie Jean)'을 부르며 안무 동작을 수행하는 제1 및 제2 인물들의 영상에 관한 것일 수 있다. 만약, 제1 마커 영상이 제1 영상에서 30초 동안 표시된 이후 제2 마커 영상이 추가적으로 표시되는 경우. 제2 마커 영상은 30초가 경과된 시점부터 표시될 수 있다. 즉, 제1 마커 영상의 제1 인물과 제2 마커 영상의 제2 인물이 동일한 시점에서 노래를 부르고 안무 동작을 수행하도록 제1 마커 영상과 제2 마커 영상의 재생 시점이 동기화될 수 있다.For example, the first marker image and the second marker image may relate to images of first and second persons singing a song 'Billie Jean' by pop singer Michael Jackson and performing a choreography operation. If the second marker image is additionally displayed after the first marker image is displayed for 30 seconds in the first image. The second marker image may be displayed from a time point when 30 seconds have passed. That is, the playback time of the first marker image and the second marker image may be synchronized such that the first person of the first marker image and the second person of the second marker image sing at the same time and perform a choreography operation.

한편, 제1 마커 영상과 제2 마커 영상은 동일한 인물 또는 캐릭터에 관한 영상일 수도 있으나, 이에 한정되지 않으며 각각이 서로 다른 인물 또는 캐릭터에 관한 영상일 수도 있다.The first marker image and the second marker image may be images of the same person or character, but are not limited thereto and may be images of different people or characters.

저장부(130)는 마커를 인식하기 위한 정보들, 예컨대 인물 이미지, 캐릭터 이미지 등을 저장할 수 있으며, 마커에 대응하는 마커 영상 데이터를 저장할 수 있다. The storage unit 130 may store information for recognizing the marker, for example, a person image, a character image, and the like, and may store marker image data corresponding to the marker.

표시부(140)는 영상 촬영부(110)에 의해 생성된 제1 영상 데이터를 실시간으로 표시할 수 있으며, 영상 편집부(120)의 제어에 대응하여 제1 영상과 마커 영상을 중첩하여 함께 표시할 수도 있다.The display unit 140 may display the first image data generated by the image capturing unit 110 in real time, and may overlap the first image and the marker image and display the first image data under the control of the image editing unit 120. have.

통신부(150)는 외부의 사용자 단말, 사물 인터넷 장치, 서버 등 외부의 장치와 유선 또는 무선 통신을 수행하여 마커 영상 데이터, 마커 인식을 위한 데이터 등을 수신할 수 있다.The communicator 150 may receive marker image data, marker recognition data, or the like by performing wired or wireless communication with an external device such as an external user terminal, an IoT apparatus, or a server.

스피커부(160)는 표시부(140)에서 영상이 표시됨에 대응하여 영상의 소리를 출력할 수 있다.The speaker unit 160 may output a sound of the image in response to the image being displayed on the display unit 140.

도 3은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도이고, 도 4a와 도 4b는 본 발명의 다른 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도들이다.3 is a conceptual diagram illustrating an augmented reality-based image display method according to an embodiment of the present invention, Figures 4a and 4b is a conceptual diagram for explaining an augmented reality based image display method according to another embodiment of the present invention. admit.

도 3을 참조하면, 포토 카드로 구현된 제1 및 제2 마커들(MK1 및 MK2)이 도시되어 있다. 제1 및 제2 마커들(MK1 및 MK2) 각각은 포토 카드에 인쇄된 인물을 촬영한 마커 영상에 대응될 수 있으며, 각 마커 영상은 해당 인물이 특정 노래를 부르며 안무 동작을 수행하는 내용을 포함할 수 있다.Referring to FIG. 3, first and second markers MK1 and MK2 implemented as a photo card are shown. Each of the first and second markers MK1 and MK2 may correspond to a marker image photographing a person printed on a photo card, and each marker image includes contents of the person singing a specific song and performing a choreography operation. can do.

제1 및 제2 마커들(MK1 및 MK2) 각각에 대응하는 마커 영상 속 제1 및 제2 인물들(HM1 및 HM2)은 동일한 주제를 표현하는 움직임 및 음성을 표현할 수 있다. 여기서, 제1 및 제2 인물들(HM1 및 HM2)이 동일한 주제를 표현한다 함은 인물들 각각이 동일한 노래, 동일한 안무, 동일한 대사의 연기, 동일한 운동 포즈 등을 표현하는 것을 의미하지만, 개인의 특성에 따라 주제를 표현하는데 소리 또는 움직임에 차이가 있을 수도 있다.The first and second persons HM1 and HM2 in the marker image corresponding to each of the first and second markers MK1 and MK2 may express motion and voice expressing the same subject. Here, the first and second people (HM1 and HM2) represent the same theme means that each person represents the same song, the same choreography, the same acting, the same movement pose, but the individual Depending on the characteristics, there may be a difference in sound or movement in expressing the subject.

예컨대, 제1 및 제2 인물들(HM1 및 HM2)은 동일한 노래를 부르며 해당 노래에 상응하는 동일한 안무를 표현하거나, 골프 스윙과 같은 운동 포즈를 표현하거나, 동일한 대사를 연기하면서 움직임을 표현할 수도 있다.For example, the first and second persons HM1 and HM2 may sing the same song and express the same choreography corresponding to the song, express the movement pose such as the golf swing, or express the movement while acting the same dialogue. .

제1 및 제2 마커 영상들(IM1 및 IM2) 속 인물들의 움직임은 동일한 주제를 표현하기 때문에, 인물들 각각의 음성과 움직임은 시간의 흐름에 따라 동일하게 진행될 수 있다.Since the movements of the persons in the first and second marker images IM1 and IM2 represent the same theme, the voice and the movement of each of the persons may proceed in the same manner as time passes.

예컨대, 제1 시점(t0)에서 마커 영상이 시작되면 제1 내지 제3 인물들은 동일한 포즈를 취하고 있고, 제2 시점(t1) 및 제3 시점(t2)으로 마커 영상들이 재생되면서 각 인물은 동일한 안무와 동일한 노래를 표현하게 된다.For example, when the marker image starts at the first time point t0, the first to third persons pose the same pose, and the marker images are reproduced at the second time point t1 and the third view point t2, and each person has the same pose. You will express the same song as choreography.

한편, 사용자 단말(100)은 제1 영상 내 마커가 인식됨에 따라 마커 영상을 제1 영상에 표시하는 순간부터 마커 영상의 재생 시간을 판단하고, 이후 새로운 마커가 인식되면 이미 경과된 재생 시간을 고려하여 새로운 마커 영상을 재생할 수 있다.Meanwhile, when the marker in the first image is recognized, the user terminal 100 determines the playback time of the marker image from the moment when the marker image is displayed on the first image. To play a new marker image.

도 4a를 참조하면, 사용자 단말(100)의 영상 촬영부(110)가 소정의 영역(MA)을 촬영하고 있으며, 소정의 영역(MA) 내에 제1 마커(MK1)가 배치되어 있다. 영상 촬영부(110)가 소정의 영역을 촬영함에 따라 제1 영상 데이터가 생성되어 표시부(140)의 표시 영역(DA)에서는 제1 영상이 표시되게 된다. Referring to FIG. 4A, the image capturing unit 110 of the user terminal 100 photographs the predetermined area MA, and the first marker MK1 is disposed in the predetermined area MA. As the image capturing unit 110 captures a predetermined area, first image data is generated to display the first image in the display area DA of the display unit 140.

그리고, 제1 영상 내에 제1 마커(MK1)가 영상 편집부(120)에 의해 인식됨에 따라 제1 마커(MK1)에 대응하는 제1 마커 영상 데이터가 리드되고, 제1 마커 영상이 제1 영상 내 제1 마커의 위치에 표시된다.As the first marker MK1 is recognized by the image editing unit 120 in the first image, first marker image data corresponding to the first marker MK1 is read, and the first marker image is read in the first image. It is displayed at the position of the first marker.

영상 편집부(120)는 제1 마커 영상을 제1 영상에 중첩되어 표시를 함과 동시에 제1 마커 영상의 재생 시간을 실시간으로 체크하게 된다.The image editing unit 120 displays the first marker image superimposed on the first image and checks the reproduction time of the first marker image in real time.

도 4b를 참조하면, 소정의 영역 내에 새로운 제2 마커(MK2)가 인식되는 경우, 영상 편집부(120)는 제2 마커(MK2)에 대응하는 제2 마커 영상 데이터를 리드하여, 제2 마커 영상을 제1 영상 내 제2 마커(MK2)의 위치에 중첩하여 표시한다.Referring to FIG. 4B, when a new second marker MK2 is recognized in a predetermined region, the image editing unit 120 reads second marker image data corresponding to the second marker MK2 to display a second marker image. Is displayed at the position of the second marker MK2 in the first image.

이때, 제2 마커 영상은 영상의 초기 시점부터 재생되는 것이 아니라, 제1 마커 영상과의 동기화를 위해 제1 마커 영상의 재생 시점에 대응하여 제2 마커 영상의 재생 시점이 결정된다. 따라서, 표시부(140)의 표시 영역에는 제1 및 제2 마커 영상들이 동기화된 상태로 제1 영상에 중첩되어 표시될 수 있다.In this case, the second marker image is not reproduced from the initial time point of the image, but the reproduction time point of the second marker image is determined to correspond to the reproduction time point of the first marker image for synchronization with the first marker image. Therefore, the first and second marker images may be displayed on the display area of the display unit 140 while being superimposed on the first image.

한편, 제1 마커(MK1)가 소정의 영역 밖으로 이동되어 제1 영상 내에 제1 마커(MK1)가 위치하지 않으면 제1 마커 영상이 제1 영상에 더이상 표시되지 않는다. 이때, 소정의 영역에 진입하는 새로운 마커들에 대응하는 마커 영상은 제1 마커 영상에 동기화되어 표시되는 것이 아니라, 현재 소정의 영역 내에서 재생되는 제2 마커 영상의 재생 시점에 대응하여 표시될 수 있다.Meanwhile, when the first marker MK1 is moved out of a predetermined region and the first marker MK1 is not positioned in the first image, the first marker image is no longer displayed on the first image. In this case, the marker images corresponding to the new markers entering the predetermined region may not be displayed in synchronization with the first marker image, but may be displayed corresponding to the reproduction time of the second marker image currently reproduced in the predetermined region. have.

이와 같이, 마커(MK)를 이용하여 다양한 영상을 동시에 시청하고 싶은 사용자는 마커의 위치만을 조절하여 서로 다른 영상을 동시에 감상할 수 있으며, 영상의 동기화를 통해 비교 감상을 할 수 있을 뿐만 아니라, 마커의 움직임만으로 영상 편집효과를 얻을 수 있다.As such, a user who wants to watch various images at the same time using the marker (MK) can simultaneously view different images by adjusting only the position of the marker, and not only compare and view through synchronization of the images, but also the markers. You can get a video editing effect with only the movement of.

예컨대, 제1 마커(MK1)에 대응하는 제1 마커 영상이 '강남 스타일'을 노래하며 춤추는 A 그룹의 아이돌 가수를 촬영한 것이고, 제2 마커(MK2)에 대응하는 제2 마커 영상이 '강남 스타일'을 노래하며 춤추는 B 그룹의 아이돌 가수를 촬영한 것이라면, 사용자는 제1 마커(MK1)와 제2 마커(MK2)의 위치 변경만을 수행하여 A 그룹과 B 그룹의 합동 공연 영상을 감상할 수 있다. For example, the first marker image corresponding to the first marker MK1 is a picture of an idol singer of the group A singing while singing 'Gangnam style', and the second marker image corresponding to the second marker MK2 is 'Gangnam'. If you are shooting an idol singer of group B who sings and dances, you can watch the joint performance of group A and group B only by changing the position of the first marker MK1 and the second marker MK2. have.

또한, 제1 마커(MK1)와 제2 마커(MK2) 중 어느 한 마커를 소정의 영역에 제외시킴으로써 무대에서 특정 인물의 영상만을 재생하도록 변경할 수 있으며, 다시 제외된 마커를 소정에 영역에 투입시키더라도 마커 영상의 동기화에 의해 동일한 시점의 마커 영상들이 동시에 재생될 수 있다.In addition, by excluding any one of the first marker MK1 and the second marker MK2 to a predetermined region, it may be changed to reproduce only an image of a specific person on the stage, and the excluded marker may be added to the predetermined region. Even if the marker images are synchronized, marker images of the same view may be simultaneously played back.

또한, 제1 마커(MK1)에 대응하는 제1 마커 영상이 '타이거 우즈'의 골프 스윙폼을 촬영한 영상이고, 제2 마커(MK2)에 대응하는 제2 마커 영상이 '박인비'의 골프 스윙폼을 촬영한 영상인 것이라면, 사용자는 제1 마커(MK1)와 제2 마커(MK2)의 위치 이동에 따라 '타이거 우즈'와 '박인비'의 골프 스윙을 동시에 감상할 수 있다. 사용자는 본인의 스윙폼을 촬영한 영상에 대응하는 마커(MK)를 소정에 영역에 투입하여 선수들과 사용자 자신의 스윙폼을 비교할 수도 있다.Also, the first marker image corresponding to the first marker MK1 is an image of a golf swing form of Tiger Woods, and the second marker image corresponding to the second marker MK2 is a golf swing of 'Park Inbee'. If the image is a form photographed, the user can simultaneously watch the golf swings of 'Tiger Woods' and 'Park Inbee' as the position of the first marker MK1 and the second marker MK2 moves. The user may compare a player's own swing form with a player by putting a marker MK corresponding to an image of the swing form of the user into a predetermined region.

이와 같이 본 발명의 실시 예에 따른 증강현실 기반의 영상 제공방법에 의하면 사용자의 취향에 따라 결성된 커스터마이징 댄스 그룹이 공연하는 영상을 생성할 수도 있으며, 가장 좋아하는 가수를 표시 영역의 센터에 위치시키는 등 무대 감독이 될 수도 있고, 좋아하는 운동선수의 포즈를 따라하기 위한 영상 교육자료를 제공할 수도 있다.As described above, according to the augmented reality-based image providing method according to an embodiment of the present invention, an image created by a customized dance group formed according to a user's taste may be generated, and a favorite singer may be placed in the center of the display area. You can be a backstage backer, or you can provide video training to follow your favorite athlete's pose.

도 5a와 도 5b는 본 발명의 또 다른 실시 예에 따른 증강현실 기반의 영상 표시 방법을 설명하기 위한 개념도들이다.5A and 5B are conceptual views illustrating a method of displaying an image based on augmented reality according to another exemplary embodiment of the present invention.

도 5a와 도 5b를 참조하면. 소정의 영역(MA)을 촬영한 제1 영상에는 중심 영역(CA)과 주변 영역(SA)이 설정될 수 있다. 영상 편집부(120)는 제1 영상 내에 마커가 중심 영역(CA)에 위치하는 경우 기준 크기로 마커 영상을 표시하게 되지만, 주변 영역(SA)에 위치하는 경우 기준 크기보다 기설정된 비율로 축소된 크기로 표시할 수 있다.5a and 5b. The central area CA and the peripheral area SA may be set in the first image photographing the predetermined area MA. The image editing unit 120 displays the marker image at a reference size when the marker is located in the center area CA in the first image, but is reduced in a preset ratio than the reference size when the marker is located in the peripheral area SA. Can be displayed as

또한, 중심 영역(CA)에 위치한 마커(MK)에 대응하는 마커 영상의 소리는 스피커부(160)를 통해 출력될 수 있지만, 주변 영역에 위치한 마커(MK)에 대응하는 마커 영상의 소리는 차단될 수 있다.In addition, the sound of the marker image corresponding to the marker MK located in the center area CA may be output through the speaker unit 160, but the sound of the marker image corresponding to the marker MK located in the peripheral area is blocked. Can be.

예컨대, 제1 및 제2 마커들(MK1 및 MK2)이 중심 영역(CA)에 존재하는 경우, 제1 및 제2 마커들(MK1 및 MK2)에 대응하는 제1 및 제2 마커 영상들 모두 기준 크기로 표시되면서 소리도 출력될 수 있다. For example, when the first and second markers MK1 and MK2 exist in the central area CA, both the first and second marker images corresponding to the first and second markers MK1 and MK2 are referred to. Sound can be output while displaying in size.

하지만, 도 5b와 같이 제1 마커가 주변 영역(SA)으로 이동된 경우, 영상 편집부(120)는 제1 마커 영상을 기설된 비율로 축소하여 주변 영역에 위치한 마커상에 표시할 수 있다.However, as shown in FIG. 5B, when the first marker is moved to the peripheral area SA, the image editing unit 120 may reduce the first marker image by a predetermined ratio and display the first marker image on the marker located in the peripheral area.

중심 영역(CA)에서 표시될 수 있는 마커 영상들의 영역은 한정되어 있지만, 중심 영역(CA)에서 감상하고 싶은 마커 영상들은 표시할 수 있는 영역보다 많이 제공될 수 있다. 따라서, 사용자는 주변 영역(SA)에 마커(MK)들을 배치시켜서 축소된 비율로 마커 영상들을 재생시킴과 동시에 집중하고 싶은 마커 영상에 대응하는 마커만을 중심 영역(CA)에 배치할 수 있다.Although the area of the marker images that can be displayed in the center area CA is limited, more marker images to be viewed in the center area CA may be provided than the area that can be displayed. Therefore, the user may arrange the markers MK in the peripheral area SA to reproduce the marker images at a reduced ratio and simultaneously place only the markers corresponding to the marker images to be concentrated in the central area CA.

이로써, 사용자는 마커의 위치 변경만을 통해 중심 영역(CA)에서 표시되는 마커 영상을 집중하여 감상할 수 있으며, 동시에 주변 영역(SA)에서 표시되는 마커 영상을 항시 모니터링할 수 있다.As a result, the user may concentrate on and enjoy the marker image displayed in the central area CA only by changing the position of the marker, and may simultaneously monitor the marker image displayed in the peripheral area SA.

도 6은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an augmented reality-based image display method according to an embodiment of the present invention.

도 6을 참조하면, 사용자 단말(100)은 소정의 영역(MA)을 촬영하여 제1 영상 데이터를 생성할 수 있다(S100).Referring to FIG. 6, the user terminal 100 may generate first image data by photographing a predetermined area MA (S100).

사용자 단말(110)은 제1 영상 데이터에 대응하는 제1 영상을 분석하여 제1 영상에 포함된 제1 마커(MK1)를 인식할 수 있다(S110).The user terminal 110 may analyze the first image corresponding to the first image data to recognize the first marker MK1 included in the first image (S110).

사용자 단말(100)은 제1 마커(MK1)에 대응하는 제1 마커 영상 데이터를 리드할 수 있다(S120).The user terminal 100 may read first marker image data corresponding to the first marker MK1 (S120).

사용자 단말(100)은 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 제1 영상의 제1 마커(MK1)의 위치 상에 중첩하여 표시할 수 있다(S130).The user terminal 100 may superimpose and display a first marker image corresponding to the first marker image data on the position of the first marker MK1 of the first image (S130).

사용자 단말(100)은 제1 마커 영상이 표시된 이후, 사용자 단말이 제1 영상 내에서 추가로 인식된 제2 마커(MK2)에 대응하는 제2 마커 영상 데이터를 리드할 수 있다(S140).After the first marker image is displayed, the user terminal 100 may read second marker image data corresponding to the second marker MK2 further recognized in the first image (S140).

사용자 단말(100)은 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 제1 영상의 제2 마커(MK2)의 위치 상에 중첩하여 표시할 수 있다(S150). 이때, 사용자 단말은 제1 마커 영상의 재생 시점에 제2 마커 영상의 재생 시점을 동기화하여 제2 마커 영상을 표시할 수 있다.The user terminal 100 may superimpose and display a second marker image corresponding to the second marker image data on the position of the second marker MK2 of the first image (S150). In this case, the user terminal may display the second marker image by synchronizing the reproduction time of the second marker image with the reproduction time of the first marker image.

이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.While the embodiments of the present invention have been described above, it will be understood by those skilled in the art that various modifications may be made without departing from the scope of the claims.

100: 사용자 단말
110: 영상 촬영부
120: 영상 편집부
130: 저장부
140: 표시부
150: 통신부
160: 스피커부
MK: 마커100: user terminal
110: video recording unit
120: video editing unit
130: storage unit
140: display unit
150: communication unit
160: speaker unit
MK: Marker

Claims (6)

사용자 단말이, 소정의 영역을 촬영하여 제1 영상 데이터를 생성하는 단계;
상기 사용자 단말이, 상기 제1 영상 데이터에 대응하는 제1 영상을 분석하여 상기 제1 영상에 포함된 제1 마커를 인식하는 단계;
상기 사용자 단말이, 상기 제1 마커에 대응하는 제1 마커 영상 데이터를 리드하는 단계;
상기 사용자 단말이, 상기 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 상기 제1 영상의 제1 마커의 위치 상에 중첩하여 표시하고, 상기 제1 마커 영상의 재생 시점을 기준 시점으로 설정하는 단계;
상기 사용자 단말이, 상기 제1 영상 내에서 추가로 인식된 제2 마커에 대응하는 제2 마커 영상 데이터를 리드하는 단계;
상기 사용자 단말이, 상기 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계로서, 상기 제2 마커 영상은 상기 설정된 기준 시점에 재생 시점이 동기화되어 표시됨;
상기 제1 영상 내에서 상기 제1 마커가 인식되지 않는 경우, 상기 사용자 단말이, 상기 제1 마커 영상의 표시를 중단하고, 상기 기준 시점을 상기 제2 마커 영상의 재생 시점으로 변경하는 단계;
상기 사용자 단말이, 상기 제1 영상 내에서 추가로 인식된 제3 마커에 대응하는 제3 마커 영상 데이터를 리드하는 단계; 및
상기 사용자 단말이, 상기 제3 마커 영상 데이터에 대응하는 제3 마커 영상을 상기 제1 영상의 제3 마커의 위치 상에 중첩하여 표시하는 단계로서, 상기 제3 마커 영상은 상기 변경된 기준 시점에 재생 시점이 동기화되어 표시되는, 증강현실 기반의 영상 제공방법.Generating, by the user terminal, first image data by photographing a predetermined area;
Analyzing, by the user terminal, a first image corresponding to the first image data to recognize a first marker included in the first image;
Reading, by the user terminal, first marker image data corresponding to the first marker;
The user terminal superimposes and displays a first marker image corresponding to the first marker image data on a position of a first marker of the first image, and sets a reproduction viewpoint of the first marker image as a reference viewpoint. step;
Reading, by the user terminal, second marker image data corresponding to a second marker additionally recognized in the first image;
Displaying, by the user terminal, a second marker image corresponding to the second marker image data overlapping and displaying the second marker image on the position of the second marker of the first image, wherein the second marker image is reproduced at the set reference time point. Time points are synchronized and displayed;
If the first marker is not recognized in the first image, stopping, by the user terminal, displaying the first marker image and changing the reference time point to a playback time point of the second marker image;
Reading, by the user terminal, third marker image data corresponding to a third marker additionally recognized in the first image; And
And displaying, by the user terminal, a third marker image corresponding to the third marker image data to overlap the position of the third marker of the first image, and reproduce the third marker image at the changed reference time point. The view is synchronized and displayed, augmented reality based image providing method. 제1항에 있어서,
상기 제1 내지 제3 마커들 각각은 포토 카드로 이루어진 증강현실 기반의 영상 제공방법.The method of claim 1,
Each of the first to third markers is augmented reality-based image providing method consisting of a photo card. 제1항에 있어서,
상기 사용자 단말이, 상기 제1 영상을 중심 영역과 주변 영역으로 구분하는 단계; 및
상기 사용자 단말이, 상기 제1 영상 내 마커의 위치에 대응하여 상기 제1 영상에 중첩되어 표시되는 마커 영상들 각각의 크기를 조절하는 단계; 를 더 포함하는 증강현실 기반의 영상 제공방법.The method of claim 1,
Dividing, by the user terminal, the first image into a central area and a peripheral area; And
Adjusting, by the user terminal, the size of each of the marker images superimposed on the first image corresponding to the position of the marker in the first image; Augmented reality based image providing method further comprising. 제3항에 있어서, 상기 마커 영상들 각각의 크기를 조절하는 단계는,
상기 제1 영상의 상기 중심 영역에 위치한 마커에 대응하는 마커 영상을 기준 크기로 표시하고, 상기 제1 영상의 상기 주변 영역에 위치한 마커에 대응한 마커 영상을 상기 기준 크기보다 기설정된 비율로 축소하여 표시하는 단계인, 증강현실 기반의 영상 제공방법.The method of claim 3, wherein adjusting the size of each of the marker images comprises:
Displaying a marker image corresponding to the marker located in the center region of the first image at a reference size, and reducing the marker image corresponding to the marker located at the peripheral region of the first image at a predetermined ratio from the reference size Display step, augmented reality based image providing method. 제4항에 있어서,
상기 기준 크기로 표시되는 마커 영상에 대응하는 소리는 스피커부를 통해 출력되고, 상기 기설정된 비율로 축소되어 표시되는 마커 영상에 대응하는 소리는 차단되는 증강현실 기반의 영상 제공방법.The method of claim 4, wherein
And a sound corresponding to the marker image displayed at the reference size is output through a speaker unit, and a sound corresponding to the marker image reduced and displayed at the predetermined ratio is cut off. 제1항에 있어서,
상기 제1 내지 제3 마커 영상들은 동일한 주제를 표현하는 움직임과 소리를 포함하는 증강현실 기반의 영상 제공방법.The method of claim 1,
The first to third marker images are augmented reality-based image providing method comprising a motion and sound representing the same subject.
KR1020190036502A 2019-03-29 2019-03-29 Method for displaying image using augmented reality KR102028139B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190036502A KR102028139B1 (en) 2019-03-29 2019-03-29 Method for displaying image using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190036502A KR102028139B1 (en) 2019-03-29 2019-03-29 Method for displaying image using augmented reality

Publications (1)

Publication Number Publication Date
KR102028139B1 true KR102028139B1 (en) 2019-10-04

Family

ID=68208202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190036502A KR102028139B1 (en) 2019-03-29 2019-03-29 Method for displaying image using augmented reality

Country Status (1)

Country Link
KR (1) KR102028139B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310063B1 (en) 2021-02-04 2021-10-08 주식회사 아라니아 Method for playing and synchronizing action time of image using photo card
KR102396640B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Method for playing image by adjusting object size and start time among images from photo card
KR102396639B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Method for playing images using photo card
KR102396641B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Image playing method for synchronizing operating start time and object size of images from photo card
KR102396642B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Image playing method for playing center image based on photo card
KR102396638B1 (en) 2021-02-09 2022-05-12 주식회사 아라니아 Method for playing image by adjusting object size among photo card based on it
KR20220152017A (en) * 2021-05-07 2022-11-15 (주)루디벨 Method for providing augmented reality-based concerto using multi-music card

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237680A (en) * 2008-03-26 2009-10-15 Namco Bandai Games Inc Program, information storage medium, and image generation system
KR20120056489A (en) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 Karaoke apparatus and method thereof for providing augmented reality images
KR101808452B1 (en) * 2016-10-10 2017-12-12 케이티하이텔 주식회사 Hybrid vr karaoke system
JP2018201652A (en) * 2017-05-31 2018-12-27 株式会社バンダイナムコエンターテインメント Computer system and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237680A (en) * 2008-03-26 2009-10-15 Namco Bandai Games Inc Program, information storage medium, and image generation system
KR20120056489A (en) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 Karaoke apparatus and method thereof for providing augmented reality images
KR101808452B1 (en) * 2016-10-10 2017-12-12 케이티하이텔 주식회사 Hybrid vr karaoke system
JP2018201652A (en) * 2017-05-31 2018-12-27 株式会社バンダイナムコエンターテインメント Computer system and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310063B1 (en) 2021-02-04 2021-10-08 주식회사 아라니아 Method for playing and synchronizing action time of image using photo card
KR102396638B1 (en) 2021-02-09 2022-05-12 주식회사 아라니아 Method for playing image by adjusting object size among photo card based on it
KR102396640B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Method for playing image by adjusting object size and start time among images from photo card
KR102396639B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Method for playing images using photo card
KR102396641B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Image playing method for synchronizing operating start time and object size of images from photo card
KR102396642B1 (en) 2021-02-10 2022-05-12 주식회사 아라니아 Image playing method for playing center image based on photo card
KR20220152017A (en) * 2021-05-07 2022-11-15 (주)루디벨 Method for providing augmented reality-based concerto using multi-music card
KR102651446B1 (en) * 2021-05-07 2024-03-27 (주)루디벨 Method for providing augmented reality-based concerto using multi-music card

Similar Documents

Publication Publication Date Title
KR102028139B1 (en) Method for displaying image using augmented reality
KR101304111B1 (en) A dancing karaoke system
US9143721B2 (en) Content preparation systems and methods for interactive video systems
CN109462776A (en) A kind of special video effect adding method, device, terminal device and storage medium
JPH11219446A (en) Video/sound reproducing system
JP4671192B2 (en) Image processing apparatus and image processing method
US8958686B2 (en) Information processing device, synchronization method, and program
JP6518689B2 (en) Program and information processing apparatus
CN106534618B (en) Method, device and system for realizing pseudo field explanation
JP4981370B2 (en) Movie generation system and movie generation method
WO2015151766A1 (en) Projection photographing system, karaoke device, and simulation device
CN106909217A (en) A kind of line holographic projections exchange method of augmented reality, apparatus and system
KR101767569B1 (en) The augmented reality interactive system related to the displayed image contents and operation method for the system
WO2022221902A1 (en) System and method for performance in a virtual reality environment
CN110213560A (en) A kind of immersion video broadcasting method and system
JP2020162880A (en) Program and computer system
JP2004328788A (en) Method for compounding person video image separately photographed and background video image recorded and outputting to indicator, and karaoke apparatus adopting the method
Dsouza Think in 3D: Food For Thought for Directors, Cinematographers and Stereographers
KR101295862B1 (en) Karaoke apparatus and method thereof for providing augmented reality images
KR102324579B1 (en) Method and system for matching a dance
KR20200025285A (en) System and method for entertainer experience
JP5310682B2 (en) Karaoke equipment
KR20140084463A (en) Apparatus and method for displaying image of narrator information and, server for editing video data
JP2016166928A (en) Performance device, performance method, program, and amusement system
JP2004134891A (en) Image processing apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant