KR102154270B1 - A server that providing AR images using image recognition - Google Patents

A server that providing AR images using image recognition Download PDF

Info

Publication number
KR102154270B1
KR102154270B1 KR1020180149231A KR20180149231A KR102154270B1 KR 102154270 B1 KR102154270 B1 KR 102154270B1 KR 1020180149231 A KR1020180149231 A KR 1020180149231A KR 20180149231 A KR20180149231 A KR 20180149231A KR 102154270 B1 KR102154270 B1 KR 102154270B1
Authority
KR
South Korea
Prior art keywords
image
data
service application
user
displayed
Prior art date
Application number
KR1020180149231A
Other languages
Korean (ko)
Other versions
KR20200063495A (en
Inventor
임훈
Original Assignee
임훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임훈 filed Critical 임훈
Priority to KR1020180149231A priority Critical patent/KR102154270B1/en
Publication of KR20200063495A publication Critical patent/KR20200063495A/en
Application granted granted Critical
Publication of KR102154270B1 publication Critical patent/KR102154270B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Architecture (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 단말을 통해 실시간으로 촬영되는 타겟이미지의 영상데이터를 서비스 애플리케이션으로부터 수신하는 수신부; 데이터베이스를 검색하여 상기 타겟이미지와 매칭되는 타겟이미지의 AR데이터를 선택하는 선택부; 및 상기 선택된 AR데이터를 상기 서비스 애플리케이션으로 제공하여, 상기 타겟이미지 상으로 표출하는 제어부;를 포함하며, 상기 수신부는, 상기 단말로 표출되는 AR데이터에 대한 사용자의 조작정보를 수신하고, 상기 제어부는, 상기 조작정보에 따라서 상기 AR데이터 내 오브젝트를 컨트롤하거나, 상기 조작정보에 대응하는 기능을 실행시키는 이미지 인식을 이용하여 AR영상을 제공하는 서버에 관한 것이다.The present invention includes a receiving unit for receiving image data of a target image captured in real time through a terminal from a service application; A selection unit for searching a database and selecting AR data of a target image matching the target image; And a control unit for providing the selected AR data to the service application and displaying the target image on the target image, wherein the receiving unit receives operation information of a user for the AR data displayed on the terminal, and the control unit And a server that provides an AR image using image recognition that controls an object in the AR data according to the manipulation information or executes a function corresponding to the manipulation information.

Description

이미지 인식을 이용하여 AR영상을 제공하는 서버 {A server that providing AR images using image recognition}Server that provides AR images using image recognition {A server that providing AR images using image recognition}

본 발명은 이미지 인식을 이용하여 AR영상을 제공하는 서버에 관한 것이다.The present invention relates to a server that provides an AR image using image recognition.

최근 들어, AR 기술이 발전함에 따라서 다양한 분야에 AR 기술이 적용되고 있다.In recent years, as AR technology develops, AR technology is being applied to various fields.

하지만, 애플리케이션을 이용하여 촬영되는 이미지를 인식하고, 실시간으로 촬영되는 영상 상으로 각종 정보를 제공하는 방법은 제시되어 있지 않은 상황이다.However, a method of recognizing an image captured using an application and providing various information on an image captured in real time has not been proposed.

예를 들어, 달력, 각종 작품과 같이 많은 정보를 표시해주지 못하는 오브젝트의 경우에 적용할 경우, 달력의 이미지를 인식시킴으로써, 애플리케이션을 통해 단말의 화면으로 각종 정보를 출력해줄 수 있는데, 이러한 기술은 현재 공개되어 있지 않은 상황이다.For example, in the case of objects that cannot display a lot of information such as a calendar or various works, by recognizing the image of the calendar, various information can be output to the screen of the terminal through the application. It is a situation that is not disclosed.

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 애플리케이션을 통해 타겟이미지가 입력되면, 타겟이미지에 해당하는 AR데이터를 선택하여 단말에 촬영되고 있는 타겟이미지 상에 AR데이터를 표출하는 이미지 인식을 이용하여 AR영상을 제공하는 서버에 관한 것이다.The present invention for solving the above-described problem uses image recognition to select AR data corresponding to the target image when a target image is input through an application and display AR data on the target image being photographed on the terminal. It relates to a server that provides AR video.

또한, 본 발명은 애플리케이션을 통해 달력이미지가 입력되면, 현재 날짜, 시각, 현재 위치의 시간, 날씨정보 등의 AR데이터를 단말로 촬영 중인 달력이미지 상에 표출하는 이미지 인식을 이용하여 AR영상을 제공하는 서버에 관한 것이다.In addition, the present invention provides an AR image using image recognition that displays AR data such as the current date, time, time of the current location, and weather information on the calendar image being photographed by the terminal when a calendar image is input through the application. It relates to a server that does.

또한, 본 발명은 애플리케이션을 통해 달력이미지가 입력되고, 사용자로부터 달력모드를 입력받으면 스포츠 종목의 경기일정, 쇼핑몰/백화점의 할인 일정, 박물관/전시회/박람회의 일정을 달력이미지 상에 AR데이터로 표출해주는 이미지 인식을 이용하여 AR영상을 제공하는 서버에 관한 것이다.In addition, in the present invention, the calendar image is input through the application, and when the user inputs the calendar mode, the event schedule of the sports event, the discount schedule of the shopping mall/department store, and the schedule of the museum/exhibition/exhibition are displayed as AR data on the calendar image It relates to a server that provides an AR image using image recognition.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 인식을 이용하여 AR영상을 제공하는 서버는, 단말을 통해 실시간으로 촬영되는 타겟이미지의 영상데이터를 서비스 애플리케이션으로부터 수신하는 수신부; 데이터베이스를 검색하여 상기 타겟이미지와 매칭되는 타겟이미지의 AR데이터를 선택하는 선택부; 및 상기 선택된 AR데이터를 상기 서비스 애플리케이션으로 제공하여, 상기 타겟이미지 상으로 표출하는 제어부;를 포함하며, 상기 수신부는, 상기 단말로 표출되는 AR데이터에 대한 사용자의 조작정보를 수신하고, 상기 제어부는, 상기 조작정보에 따라서 상기 AR데이터 내 오브젝트를 컨트롤하거나, 상기 조작정보에 대응하는 기능을 실행시키는 것을 특징으로 한다.A server for providing an AR image using image recognition according to an embodiment of the present invention for solving the above-described problem includes: a receiver configured to receive image data of a target image captured in real time through a terminal from a service application; A selection unit for searching a database and selecting AR data of a target image matching the target image; And a control unit for providing the selected AR data to the service application and displaying the target image on the target image, wherein the receiving unit receives operation information of a user for the AR data displayed on the terminal, and the control unit And controlling the object in the AR data or executing a function corresponding to the manipulation information according to the manipulation information.

또한, 상기 제어부는, 상기 타겟이미지가 제1달력이미지에 해당하는 경우, 제1AR데이터를 상기 서비스 애플리케이션으로 제공하며, 상기 제1달력이미지는 연도, 월, 일 중 적어도 하나를 의미하는 문자, 숫자 또는 이미지가 포함된 이미지이고, 상기 제1AR데이터는, 월, 일, 요일 정보와 상기 단말 위치의 국가, 시간, 날씨 정보 중 적어도 하나를 포함할 수 있다.In addition, when the target image corresponds to a first calendar image, the control unit provides first AR data to the service application, and the first calendar image is a letter or number representing at least one of a year, month, and day. Alternatively, the first AR data may include at least one of month, day, and day of the week information and country, time, and weather information of the terminal location.

또한, 상기 수신부는, 상기 단말에 설치된 달력 또는 일정 애플리케이션으로부터 수집된 사용자의 일정정보를 상기 서비스 애플리케이션으로부터 수신하고, 상기 제어부는, 상기 제1AR데이터를 상기 애플리케이션을 통해 표출되고 있는 제1달력이미지 상에 표출하되, 상기 일정정보를 날짜별로 분류하여 각 날짜에 해당하는 영역에 표출할 수 있다.In addition, the receiving unit receives the user's schedule information collected from a calendar installed in the terminal or a schedule application from the service application, and the control unit receives the first AR data on a first calendar image displayed through the application. However, the schedule information may be classified by date and displayed in an area corresponding to each date.

또한, 상기 제1AR데이터는 일측에 달력모드 변경이미지를 포함하며, 상기 제어부는, 상기 달력모드 변경이미지가 선택되면, 상기 서비스 애플리케이션으로 제2모드, 제3모드 및 제4모드를 표출하고, 이중 하나를 선택받으면 각 모드에 해당하는 AR데이터를 선택하여 상기 서비스 애플리케이션의 제1달력이미지 상에 표출하는 것을 특징으로 하고, 상기 제2모드는 사용자로부터 선택된 특정 스포츠 종목의 경기 일정에 해당하는 제2AR데이터와 대응되고, 상기 제3모드는 사용자로부터 선택된 쇼핑몰, 백화점의 할인 일정에 해당하는 제3AR데이터와 대응되고, 상기 제4모드는 사용자로부터 선택된 박물관, 박람회, 전시회 일정에 해당하는 제4AR데이터와 대응되는 것이다.Further, the first AR data includes a calendar mode change image on one side, and the control unit, when the calendar mode change image is selected, displays a second mode, a third mode and a fourth mode as the service application, and When one is selected, AR data corresponding to each mode is selected and displayed on the first calendar image of the service application, and the second mode is a second AR corresponding to the game schedule of a specific sport selected by the user. Data, and the third mode corresponds to 3AR data corresponding to the discount schedule of the shopping mall and department store selected by the user, and the fourth mode corresponds to the 4AR data corresponding to the museum, fair, and exhibition schedule selected by the user. It corresponds.

또한, 상기 수신부를 통해 수신되는 영상데이터에 감지되는 사용자의 손동작을 감지하는 제스쳐 감지부를 더 포함하며, 상기 제스쳐 감지부는, 좌측에서 우측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 다음 날짜로 변경하여 상기 서비스 애플리케이션으로 제공하고, 우측에서 좌측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 이전 날짜로 변경하여 상기 서비스 애플리케이션으로 제공하고, 하측에서 상측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 다음 달로 변경하여 상기 서비스 애플리케이션으로 제공하고, 상측에서 하측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 이전 달로 변경하여 상기 서비스 애플리케이션으로 제공하되, 사용자 손동작에서 펼쳐진 손가락의 갯수만큼 날짜 수 또는 개월 수를 변경하여 제공하는 것을 특징으로 한다.Further, it further comprises a gesture detection unit for detecting a user's hand motion detected in the image data received through the receiving unit, the gesture detection unit, when a hand movement from left to right is detected, the date of the first AR data Is provided to the service application, and when a hand motion from right to left is detected, the date of the first AR data is changed to a previous date and provided to the service application, and when a hand motion from lower to upper is detected, the The date of the first AR data is changed to the next month and provided to the service application, and when a hand motion from the top to the bottom is detected, the date of the first AR data is changed to the previous month and provided to the service application, but a finger spread from the user's hand motion It is characterized in that the number of days or months is changed and provided by the number of.

또한, 상기 타겟이미지가 영화포스터 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 영화와 매칭되는 제5AR데이터를 선택하고, 상기 제어부는 상기 제5AR데이터를 상기 서비스 애플리케이션의 영화포스터 이미지 상에 표출하되, 상기 제5AR데이터는 해당 영화의 주요정보, 배우, 제작진, 예고편 중 적어도 하나에 대한 이미지 또는 영상이고, 상기 제5AR데이터의 일측에 영화예매 이미지를 표출하여, 상기 영화예매 이미지가 상기 서비스 애플리케이션을 통해 클릭되면, 상기 서비스 애플리케이션을 해당 영화의 예매 사이트 또는 예매 애플리케이션으로 연결하는 것을 특징으로 한다.In addition, when the target image is a movie poster image, the selection unit searches a database and selects 5AR data matching the movie, and the controller displays the 5AR data on the movie poster image of the service application. , The 5AR data is an image or video of at least one of the main information of the corresponding movie, actors, production crew, and trailer, and a movie reservation image is displayed on one side of the 5AR data, so that the movie reservation image is the service application. When clicked through, the service application is connected to a reservation site or a reservation application for a corresponding movie.

또한, 상기 타겟이미지가 특정 제품 또는 서비스의 광고 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 광고와 매칭되는 제6AR데이터를 선택하고, 상기 제어부는 상기 제6AR데이터를 상기 서비스 애플리케이션의 광고 이미지 상에 표출하되, 상기 제6AR데이터는 해당 광고의 광고주, 광고모델, 광고제품, 광고서비스 중 적어도 하나에 대한 이미지 또는 영상이고, 상기 제6AR데이터의 일측에 구매 이미지를 표출하고, 상기 구매 이미지가 클릭되면, 단말을 통해 스크린샷 할 수 있는 해당 제품 또는 서비스의 할인쿠폰 이미지를 표출한뒤, 상기 서비스 애플리케이션을 해당 제품 또는 서비스의 구매 페이지 또는 애플리케이션으로 연결시키는 것을 특징으로 한다.In addition, when the target image is an advertisement image of a specific product or service, the selection unit searches a database and selects 6AR data matching the advertisement, and the control unit transfers the 6AR data to the advertisement image of the service application. However, the 6AR data is an image or video of at least one of an advertiser, an advertisement model, an advertisement product, and an advertisement service of the advertisement, and a purchase image is displayed on one side of the 6AR data, and the purchase image is clicked. Then, after displaying a discount coupon image of a corresponding product or service that can be screened through a terminal, the service application is connected to a purchase page or application of the corresponding product or service.

또한, 상기 타겟이미지가 전시회 또는 미술관에 전시된 작품의 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 작품 이미지와 매칭되는 제7AR데이터를 선택하고, 상기 제어부는 상기 제7AR데이터를 상기 서비스 애플리케이션의 작품 이미지 상에 표출하되, 상기 제7AR데이터는 상기 작품 이미지의 영상, 설명 이미지, 설명 음성 중 적어도 하나인 것을 특징으로 한다.In addition, when the target image is an image of a work exhibited in an exhibition or art museum, the selection unit searches a database and selects 7AR data matching the corresponding work image, and the control unit transfers the 7AR data to the service application. It is expressed on the work image, wherein the 7th AR data is at least one of an image, an explanation image, and an explanation sound of the work image.

또한, 상기 서버는, 상기 타겟이미지 및 AR데이터를 업로드하여 편집할 수 있는 편집모듈을 제공하며, 상기 편집모듈은, 타겟이미지를 업로드하고, 각 타겟이미지의 AR데이터, 비디오 데이터, 오디오 데이터, 텍스트, 사용자 조작에 의해 조작이 가능한 오브젝트 이미지, 달력이미지, 및 사용자 조작에 의해 기능 실행이 가능한 기능 버튼 이미지 중 적어도 하나 이상을 할당하고 수정이 가능한 것을 특징으로 한다.In addition, the server provides an editing module capable of uploading and editing the target image and AR data, and the editing module uploads a target image, and AR data, video data, audio data, and text of each target image , At least one of an object image that can be manipulated by a user operation, a calendar image, and a function button image capable of executing a function by a user operation may be allocated and modified.

또한, 상기 편집모듈은, 상기 서비스 애플리케이션을 통해 수집되어 전송되는 사용자의 일정정보를 상기 AR데이터에 적용하고, 상기 서비스 애플리케이션을 통해 달력모드에서 경기일정, 할인일정 또는 전시회일정을 입력받으면, 해당 일정정보를 외부서버로부터 로딩하여 AR데이터로 저장하는 것을 특징으로 한다.In addition, the editing module applies the user's schedule information collected and transmitted through the service application to the AR data, and when a game schedule, a discount schedule, or an exhibition schedule is input in the calendar mode through the service application, the corresponding schedule It is characterized in that the information is loaded from an external server and stored as AR data.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method may be further provided.

상기와 같은 본 발명에 따르면, 실시간으로 촬영되는 타겟이미지 상에 AR데이터를 표출하여 사용자가 단말의 화면으로 각종 정보를 확인할 수 있게 해주는 효과가 있다.According to the present invention as described above, there is an effect of allowing a user to check various information on a screen of a terminal by expressing AR data on a target image captured in real time.

또한, AR데이터로 각종 정보를 표출해주기 때문에, 타겟이미지에 복잡한 정보를 포함시키지 않아서 타겟이미지를 복잡하지 않고, 미적으로 제작할 수 있다.In addition, since various types of information are expressed by AR data, complex information is not included in the target image, so that the target image can be produced aesthetically without being complicated.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 이미지 인식을 이용하여 AR영상을 제공하는 서버의 블록도이다.
도 2 및 도 6은 실제 단말을 이용하여 이미지 인식을 이용하여 달력이미지의 AR영상이 표출되는 것을 예시한 도면이다.
도 7은 단말을 통해 촬영되고 있는 달력이미지에 AR데이터를 표출하는 것을 예시한 도면이다.
도 8은 본 발명의 실시예에 따른 제2모드를 선택하여 스포츠 종목의 경기 일정이 AR데이터로 표출되는 것을 예시한 도면이다.
도 9는 본 발명의 실시예에 따른 제4모드를 선택하여 전시회의 일정이 AR데이터로 표출되는 것을 예시한 도면이다.
도 10은 달력이미지의 촬영 중에 사용자의 손동작이 감지되는 것을 예시한 도면이다.
도 11은 영화 포스터를 타겟이미지로 인식하여 예고편과 예매 기능을 AR데이터로 제공하는 것을 예시한 도면이다.
1 is a block diagram of a server providing an AR image using image recognition according to an embodiment of the present invention.
2 and 6 are diagrams illustrating an example in which an AR image of a calendar image is displayed using image recognition using an actual terminal.
7 is a diagram illustrating an example of displaying AR data on a calendar image being photographed through a terminal.
FIG. 8 is a diagram illustrating that a game schedule of a sports event is expressed as AR data by selecting a second mode according to an embodiment of the present invention.
9 is a diagram illustrating that a schedule of an exhibition is expressed as AR data by selecting a fourth mode according to an embodiment of the present invention.
10 is a diagram illustrating that a user's hand motion is detected while a calendar image is captured.
11 is a diagram illustrating an example of recognizing a movie poster as a target image and providing a trailer and a reservation function as AR data.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only the present embodiments are intended to complete the disclosure of the present invention, It is provided to fully inform the technician of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements. Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.Prior to the description, the meaning of terms used in the present specification will be briefly described. However, it should be noted that the description of terms is not intended to limit the technical idea of the present invention unless explicitly described as limiting the present invention, since it is intended to help the understanding of the present specification.

단말: 대표적인 예로 스마트폰이 해당하며, 이외에도 태블릿PC, PDA, 핸드헬드 기기, 노트북 등과 같이 애플리케이션, 프로그램이 설치 가능하고 디스플레이와 카메라 기능을 탑재하고 있는 기기라면 무엇이든 적용이 가능하다.Terminal: A typical example is a smartphone, and in addition, applications and programs such as tablet PCs, PDAs, handheld devices, notebooks, etc. can be installed, and any device equipped with display and camera functions can be applied.

도 1은 본 발명의 실시예에 따른 이미지 인식을 이용하여 AR영상을 제공하는 서버의 블록도이다.1 is a block diagram of a server providing an AR image using image recognition according to an embodiment of the present invention.

다만, 몇몇 실시예에서 서버는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.However, in some embodiments, the server may include fewer or more components than the components illustrated in FIG. 1.

도 1을 참조하면, 본 발명의 실시예에 따른 이미지 인식을 이용하여 AR영상을 제공하는 서버는 수신부, 선택부, 데이터베이스, 제어부를 포함한다.Referring to FIG. 1, a server that provides an AR image using image recognition according to an embodiment of the present invention includes a receiving unit, a selection unit, a database, and a control unit.

수신부는 단말을 통해 실시간으로 촬영되는 타겟이미지의 영상데이터를 서비스 애플리케이션으로부터 수신한다.The receiving unit receives video data of the target image captured in real time through the terminal from the service application.

데이터베이스는 서버에서 제공하는 편집모듈을 통해 등록된 각종 타겟이미지와 각 타겟이미지에 할당되어 있는 설정, AR데이터 등이 저장되어 있다.The database stores various target images registered through the editing module provided by the server, settings allocated to each target image, AR data, and the like.

선택부는 서비스 애플리케이션으로부터 수신된 타겟이미지의 영상데이터를 데이터베이스에 매칭시켜 매칭되는 타겟이미지를 선택하고, 해당 타겟이미지의 AR데이터를 선택한다.The selection unit selects a matching target image by matching the image data of the target image received from the service application to the database, and selects the AR data of the target image.

제어부는 선택부를 통해 선택된 AR데이터를 서비스 애플리케이션으로 제공하고, 단말을 통해 실시간으로 촬영되어 화면으로 디스플레이되고 있는 타겟이미지 상으로 AR데이터를 표출한다.The control unit provides the AR data selected through the selection unit as a service application, and displays the AR data on a target image captured in real time through the terminal and displayed on the screen.

이때, 수신부는 단말로 표출되는 AR데이터에 대한 사용자의 조작정보를 수신하고, 제어부는 수신된 조작정보에 따라서 AR데이터 내 오브젝트를 컨트롤하거나, 조작정보에 대응하는 기능을 실행시킨다.At this time, the receiving unit receives the user's manipulation information for the AR data displayed to the terminal, and the controller controls an object in the AR data or executes a function corresponding to the manipulation information according to the received manipulation information.

보다 상세하게 예시하면, 단말을 소지한 사용자가 타겟이미지를 접하게 되면, 단말에 설치되어 있는 서비스 애플리케이션을 실행시키게 된다.In more detail, when a user with a terminal encounters a target image, a service application installed in the terminal is executed.

그리고, 서비스 애플리케이션이 실행되면 서비스 애플리케이션이 단말의 촬영부(카메라)를 실행시키고, 실시간으로 촬영되는 타겟이미지의 영상데이터를 서버의 수신부로 전송하게 된다.Then, when the service application is executed, the service application executes the photographing unit (camera) of the terminal and transmits the image data of the target image captured in real time to the receiving unit of the server.

그리고, 선택부는 수신된 타겟이미지의 영상데이터를 데이터베이스에 검색하여, 타겟이미지와 매칭되는 타겟이미지의 AR데이터를 선택하게 된다.Then, the selection unit searches for the image data of the received target image in the database, and selects the AR data of the target image matching the target image.

후에, 제어부는 선택부를 통해 선택된 AR데이터를 서비스 애플리케이션으로 제공하고, 서비스 애플리케이션은 AR데이터를 단말의 실시간 촬영 영상이 표출되고 있는 화면으로 표출하게 된다. 이때, 서비스 애플리케이션은 단순하게 화면 상으로 AR데이터를 표출하는 것이 아니라, 타겟이미지 상으로 표출하게 된다.Thereafter, the control unit provides the AR data selected through the selection unit as a service application, and the service application displays the AR data on a screen on which a real-time photographed image of the terminal is displayed. At this time, the service application does not simply display AR data on the screen, but rather on the target image.

이때, 단순 정보에 해당하는 AR데이터를 표출하는 경우도 있지만, 사용자가 AR데이터를 조작하여 움직이게 할 수도 있고, 추가적인 정보가 표시되도록 할 수 있다.In this case, AR data corresponding to simple information may be displayed, but the user may manipulate the AR data to make it move, or additional information may be displayed.

따라서, 사용자는 단말의 화면을 터치하여 AR데이터에 조작정보를 입력할 수 있게 된다.Accordingly, the user can input manipulation information to AR data by touching the screen of the terminal.

이에 대한 보다 상세한 설명들은 다른 도면들을 참조하여 설명하도록 한다.More detailed descriptions thereof will be described with reference to other drawings.

도 2 및 도 6은 실제 단말을 이용하여 이미지 인식을 이용하여 달력이미지의 AR영상이 표출되는 것을 예시한 도면이다.2 and 6 are diagrams illustrating an example in which an AR image of a calendar image is displayed using image recognition using an actual terminal.

도 2는 본 발명의 실시예로, 타겟이미지가 아트 포스터인 경우가 예시되어 있다.2 is an exemplary embodiment of the present invention, illustrating a case where the target image is an art poster.

그리고, 도 3은 단말을 통해 실시간으로 촬영되는 타겟이미지(아트 포스터)의 영상데이터가 서비스 애플리케이션을 통해 서버의 수신부로 전송되었고, 서버의 선택부가 데이터베이스를 검색하여 해당 타겟이미지(아트 포스터)와 매칭되는 타겟이미지의 AR데이터를 선택하였고, 제어부가 선택된 AR데이터를 서비스 애플리케이션으로 제공하여 타겟이미지(아트 포스터) 상으로 표출하는 것이 예시되어 있다.3 shows that the image data of the target image (art poster) photographed in real time through the terminal was transmitted to the receiver of the server through the service application, and the selector of the server searches the database and matches the target image (art poster). It is illustrated that the AR data of the target image is selected, and the control unit provides the selected AR data as a service application and displays it on the target image (art poster).

그 후에, 사용자는 타겟이미지의 AR데이터를 화면상으로 확인할 수 있지만, 좀 더 자세히 보기 위해 다른 각도에서 AR데이터를 확인하고 싶을 수 있다.After that, the user can check the AR data of the target image on the screen, but may want to check the AR data from a different angle to see more details.

따라서, 서비스 애플리케이션은 사용자가 화면 상으로 AR데이터 터치하여 조작정보를 입력하면 해당 조작정보를 서버로 전송한다.Accordingly, the service application transmits the operation information to the server when the user inputs operation information by touching AR data on the screen.

수신부는 단말의 서비스 애플리케이션으로 출력되는 AR데이터에 대한 사용자의 조작정보를 수신하고, 제어부가 상기 조작정보에 따라서 AR데이터 내 오브젝트를 컨트롤하거나, 조작정보에 대응하는 기능을 실행시킨다.The receiver receives the user's manipulation information for the AR data output to the service application of the terminal, and the controller controls an object in the AR data or executes a function corresponding to the manipulation information according to the manipulation information.

따라서, 도 4와 같이 사용자가 AR데이터를 좌우 방향으로 회전시키는 조작정보를 입력하였고, 서버의 제어부가 AR데이터 내 오브젝트를 컨트롤하여 좌우 방향으로 회전시키고 있는 것을 알 수 있다.Accordingly, as shown in FIG. 4, it can be seen that the user inputs manipulation information for rotating the AR data in the left-right direction, and the controller of the server controls the object in the AR data to rotate it in the left-right direction.

도 4에서는 좌우 방향을 예시하였지만, 조작정보에 따라서 상하 방향으로 회전시킴으로써, 사용자가 AR데이터 오브젝트의 상면 또는 하면을 확인할 수도 있다.Although the left and right directions are illustrated in FIG. 4, by rotating in the vertical direction according to the manipulation information, the user can check the upper or lower surface of the AR data object.

또 다른 예로, 2이상의 손가락을 벌리는 조작정보를 입력하면 오브젝트를 확대할 수도 있고, 역으로 오므리는 조작정보를 입력하면 오브젝트를 다시 축소할 수도 있다.As another example, the object may be enlarged by inputting manipulation information that spreads two or more fingers apart, or the object may be reduced again by inputting manipulation information that is closed in reverse.

또 다른 예로, 분해가 가능한 오브젝트의 경우 서비스 애플리케이션을 통해 단말의 화면으로 분해, 조립 버튼을 표출할 수 있고, 사용자로부터 해당 버튼이 터치되면 오브젝트의 구성요소를 분해하여 표출하거나, 역으로 조립하여 표출할 수도 있다.As another example, in the case of an object that can be disassembled, the disassembled and assembled button can be displayed on the screen of the terminal through the service application, and when the user touches the button, the components of the object are disassembled and displayed, or reversely assembled and displayed. You may.

도 5 및 도 6은 본 발명의 실시예로, 타겟이미지가 달력이미지인 경우가 예시되어 있다.5 and 6 are examples of the present invention, illustrating a case where the target image is a calendar image.

도 5와 같이 특정장소에 있는 타겟이미지(달력이미지)가 단말을 통해 촬영되어 서비스 애플리케이션으로부터 수신되면, 도 6과 같이 해당하는 AR데이터가 화면으로 표시되고 있다.As shown in FIG. 5, when a target image (calendar image) in a specific place is photographed through a terminal and received from a service application, the corresponding AR data is displayed on the screen as shown in FIG. 6.

도 5 및 도 6을 참조하면, 타겟이미지(달력이미지)에는 "2018 CALENDAR"라는 문자만이 표시되어 있지만, 사용자가 촬영하고 그 후에 단말의 화면으로 월, 날짜, 요일, 현재날씨, 온도 등의 각종 정보들이 AR데이터로 표시되고 있는 것을 알 수 있다.5 and 6, only the text "2018 CALENDAR" is displayed in the target image (calendar image), but after the user shoots, the screen of the terminal displays the month, date, day of the week, current weather, temperature, etc. It can be seen that various pieces of information are displayed as AR data.

일반적으로 달력의 경우 월 단위로 표시되는 경우가 많다. 이러한 경우에는 달력의 공간이 협소하여 매우 한정적인 정보만을 담을 수 있다. 또한, 일 단위로 표시되는 달력의 경우에는 달력의 두께가 매우 두껍고 매일 매일 넘겨주어야 한다는 문제점이 있다.In general, calendars are often displayed in monthly units. In this case, the space of the calendar is small, so only very limited information can be stored. In addition, in the case of a calendar displayed on a daily basis, there is a problem that the thickness of the calendar is very thick and must be turned over every day.

또한, 위와 같은 실물의 달력들은 현재 날씨, 온도 등과 같은 각종 정보들을 담을 수 없고, 이를 해결하기 위해서는 달력을 인터넷 IoT가 가능한 디스플레이 모듈로 구현하여야 하지만, 이렇게 구현하면 제작비용이 매우 높아진다는 문제점이 있다.In addition, the real calendars above cannot contain various information such as the current weather and temperature, and to solve this, the calendar must be implemented as a display module capable of Internet IoT, but there is a problem that the production cost is very high when implemented in this way. .

위 구성들을 요약하면, 서버의 제어부는 타겟이미지가 제1달력이미지에 해당하는 경우, 제1AR데이터를 서비스 애플리케이션으로 제공한다. 이때, 제1달력이미지는 연도, 월, 일 중 적어도 하나를 의미하는 문자, 숫자 또는 이미지가 포함된 이미지이고, 제1AR데이터는 월, 일, 요일 정보와 단말 위치의 국가, 시간, 날씨 정보 중 적어도 하나를 포함하는 것이다.Summarizing the above configurations, when the target image corresponds to the first calendar image, the controller of the server provides the first AR data as a service application. At this time, the first calendar image is an image including letters, numbers, or images representing at least one of year, month, and day, and the first AR data is among month, day, day of the week information and country, time, and weather information of the terminal location. It includes at least one.

도 7은 단말을 통해 촬영되고 있는 달력이미지에 AR데이터를 표출하는 것을 예시한 도면이다.7 is a diagram illustrating an example of displaying AR data on a calendar image being photographed through a terminal.

본 발명의 실시예로, 서버의 수신부는 단말에 설치된 달력 또는 일정 애플리케이션으로부터 수집된 사용자의 일정정보를 서비스 애플리케이션으로부터 수신할 수 있다.In an embodiment of the present invention, the receiver of the server may receive the user's schedule information collected from the calendar installed in the terminal or the schedule application from the service application.

그리고, 제어부는 제1AR데이터를 애플리케이션을 통해 표출되고 있는 제1달력이미지 상에 표출하되, 상기 일정정보를 날짜별로 분류하여 각 날짜에 해당하는 영역에 표출할 수 있다.In addition, the control unit may display the first AR data on the first calendar image displayed through the application, but may classify the schedule information by date and display it in an area corresponding to each date.

스마트폰이 출시된 이후에 Android, ios와 같은 운영체제를 통해 수 많은 일정 관리, 달력 애플리케이션을 이용할 수 있게 되었고, 스마트폰, 태블릿PC를 사용하는 대부분의 사람들이 이중에서 본인에게 적합한 애플리케이션을 다운받아 사용하고 있다. (물론, 각 스마트폰/태블릿PC 제조사에서 제공하는 애플리케이션을 이용하는 경우가 많지만, 이 또한 포함한다)Since the release of smartphones, numerous schedule management and calendar applications have been available through operating systems such as Android and ios, and most people who use smartphones and tablet PCs download and use applications suitable for them. Are doing. (Of course, applications provided by each smartphone/tablet PC manufacturer are often used, but this is also included)

서버는 사용자에게 서비스 애플리케이션을 통해서 일정관리, 달력 애플리케이션과의 연동 여부를 체크받을 수 있다.The server may receive a check from the user through the service application to check whether it is linked with the schedule management or calendar application.

그리고, 서비스 애플리케이션이 일정 주기마다 연동된 애플리케이션으로부터 사용자의 일정을 수집하고, 서버의 데이터베이스에 저장한다.Then, the service application collects the user's schedule from the interlocked application every certain period and stores it in the database of the server.

도 6에서는 타겟이미지(달력이미지)가 인식되면, 일반적인 정보들이 표출되었다면, 위와 같은 구성들을 통해 사용자가 단말의 서비스 애플리케이션을 통해 타겟이미지(달력이미지)를 인식시키면, 도 7과 같이 개인화된 정보가 표출되게 된다.In FIG. 6, when the target image (calendar image) is recognized, if general information is displayed, when the user recognizes the target image (calendar image) through the service application of the terminal through the above configurations, personalized information as shown in FIG. Will be expressed.

도 7에는 월, 일, 요일, 지역정보, 현재 날씨, 오늘 날씨, 미세먼저 정보가 AR데이터로 표출되고 있으며, 하단에는 사용자의 개인 일정이 표출되고 있다.In FIG. 7, month, day, day of the week, local information, current weather, today's weather, and fine first information are displayed as AR data, and the user's personal schedule is displayed at the bottom.

도 8은 본 발명의 실시예에 따른 제2모드를 선택하여 스포츠 종목의 경기 일정이 AR데이터로 표출되는 것을 예시한 도면이고, 도 9는 본 발명의 실시예에 따른 제4모드를 선택하여 전시회의 일정이 AR데이터로 표출되는 것을 예시한 도면이다.8 is a diagram illustrating an example in which a game schedule of a sports event is expressed as AR data by selecting a second mode according to an embodiment of the present invention, and FIG. 9 is an exhibition by selecting a fourth mode according to an embodiment of the present invention. It is a diagram illustrating that the schedule of is expressed as AR data.

본 발명의 실시예에 따르면, 제1AR데이터는 일측에 달력모드 변경이미지를 포함한다.According to an embodiment of the present invention, the first AR data includes a calendar mode change image on one side.

달력모드 변경이미지가 선택/클릭/터치 되면, 사용자의 조작에 따라서 달력이 일간 모드, 주간 모드, 월간 모드로 변경될 수 있다.When the calendar mode change image is selected/clicked/touched, the calendar can be changed to daily mode, weekly mode, or monthly mode according to the user's operation.

일간 모드는 AR데이터가 1일씩 표출되며, 주간 모드는 1주일씩, 월간 모드는 1개월씩 타겟이미지 상으로 표출되어 사용자가 용이하게 달력을 확인할 수 있도록 한다.In the daily mode, AR data is displayed every day, the weekly mode is displayed on the target image for one week, and the monthly mode is displayed on the target image every month, so that the user can easily check the calendar.

또한, 서버의 제어부는 달력모드 변경이미지가 선택되면, 서비스 애플리케이션으로 제2모드, 제3모드, 제4모드를 표출하고, 이중 하나를 선택받으면 각 모드에 해당하는 AR데이터를 선택하여 서비스 애플리케이션의 제1달력이미지 상에 표출하는 것을 특징으로 한다.In addition, when the calendar mode change image is selected, the controller of the server displays the second mode, the third mode, and the fourth mode as a service application, and when one of them is selected, the controller of the server selects the AR data corresponding to each mode, It is characterized in that it is displayed on the first calendar image.

보다 상세하게는, 제2모드는 사용자로부터 선택된 특정 스포츠 종목의 경기 일정에 해당하는 제2AR데이터와 대응된다.In more detail, the second mode corresponds to the second AR data corresponding to the game schedule of the specific sports event selected by the user.

제3모드는 사용자로부터 선택된 쇼핑몰, 백화점의 할인 일정에 해당하는 제3AR데이터와 대응된다.The third mode corresponds to 3AR data corresponding to a discount schedule of a shopping mall or department store selected by the user.

제4모드는 사용자로부터 선택된 박물관, 박람회, 전시회 일정에 해당하는 제4AR데이터와 대응된다.The fourth mode corresponds to the 4AR data corresponding to the schedule of museums, fairs, and exhibitions selected by the user.

위와 같은 각 모드들에 대한 설정은 사용자가 서버에 접속하여 설정할 수 있으며, 웹브라우저를 통해 서버에 접속하여 설정할 수도 있고, 서비스 애플리케이션을 통해서 설정할 수도 있다.The settings for each of the above modes can be set by a user connecting to the server, accessing the server through a web browser, or setting through a service application.

제2모드는 각종 스포츠 종목의 경기 일정 중 하나 이상을 선택하여 설정할 수 있다.The second mode can be set by selecting one or more of the game schedules of various sports events.

예를 들어, 프로야구, K리그, 프로농구, 프리미어리그, 챔피언스리그 등과 같은 경기들 중 하나를 선택할 수 있으며, 이중에서 한국 프로야구를 선택하여 설정하고, 달력모드 변경이미지를 선택하면 도 8과 같이 11월 첫째주의 프로야구 경기 일정이 AR데이터로 표출된다.For example, you can select one of games such as professional baseball, K league, professional basketball, premier league, champions league, etc. If you select and set Korean professional baseball from among them, and select the calendar mode change image, as shown in FIG. Likewise, the schedule of the pro baseball game in the first week of November is expressed as AR data.

그리고, 도 9에서는 제4AR데이터에 대한 예시로, 사용자가 설정한 A미술관의 전시회 일정, 박람회 일정이 AR데이터로 표출되는 것이 예시되어 있다.In addition, as an example of the 4th AR data, FIG. 9 illustrates that the exhibition schedule and the exhibition schedule of Art Museum A set by the user are expressed as AR data.

도면상으로 예시하지 않았지만, 제3모드, 제3AR데이터 역시 각종 인터넷 쇼핑몰, 마트, 백화점을 설정하면, 사용자는 도 8, 도 9와 동일하게 할인 일정, 이벤트 일정 등의 정보를 AR데이터로 제공받을 수 있다.Although not illustrated in the drawing, if various internet shopping malls, marts, and department stores are set for the 3rd mode and 3rd AR data, the user can receive information such as discount schedule and event schedule as AR data as in FIGS. 8 and 9. I can.

또 다른 예로, 사용자가 제2모드, 제3모드, 제4모드를 설정하게 되면, 특정 일정의 1일전, 10시간전, 1시간전 등과 같이 일정이 임박하였을 때 서비스 애플리케이션을 통해 알림 메시지를 제공할 수 있다.As another example, when the user sets the second mode, the third mode, and the fourth mode, a notification message is provided through the service application when a schedule is imminent, such as 1 day, 10 hours, or 1 hour before a specific schedule. can do.

또한, 서버의 제어부는 AR데이터에 제2모드의 경기 Live 방송의 링크 주소, 제3모드의 쇼핑몰의 주소 링크, 제4모드의 박물관, 전시회의 인터넷 홈페이지/예매 홈페이지 링크 주소를 AR데이터로 제공하여, 사용자가 타겟이미지 상에 표출되고 있는 AR데이터에서 바로 접속이 가능하도록 할 수 있다.In addition, the control unit of the server provides the AR data with the link address of the game live broadcast in the second mode, the address link of the shopping mall in the third mode, the internet homepage/reservation homepage of the museum and the exhibition in the fourth mode as AR data. , It is possible to enable a user to access directly from the AR data displayed on the target image.

도 10은 달력이미지의 촬영 중에 사용자의 손동작이 감지되는 것을 예시한 도면이다.10 is a diagram illustrating that a user's hand motion is detected while a calendar image is captured.

도 2 내지 도 4를 통해서는 사용자가 단말의 화면을 직접적으로 터치하여 조작정보를 입력함으로써, 화면으로 표출되고 있는 AR데이터 내 오브젝트를 조작하는 것을 예시하였다.2 to 4 illustrate that a user directly touches a screen of a terminal and inputs manipulation information to manipulate an object in AR data displayed on the screen.

도 10에서는 타겟이미지가 달력이미지인 경우에, 사용자가 손동작이 카메라에 보이도록 함으로써 달력을 컨트롤하는 것을 예시하고 있다.In FIG. 10, when the target image is a calendar image, it is exemplified that the user controls the calendar by making a hand gesture visible to the camera.

본 발명의 실시예에 따르면 서버는 제스쳐 감지부를 더 포함한다.According to an embodiment of the present invention, the server further includes a gesture detection unit.

제스쳐 감지부는 수신부를 통해 수신되는 영상데이터에 감지되는 사용자의 손동작을 감지한다.The gesture detection unit detects a user's hand motion detected in image data received through the receiving unit.

보다 상세하게는, 제스쳐 감지부는 좌측에서 우측으로 향하는 손동작이 감지되면, 제1AR데이터의 날짜를 다음 날짜로 변경하여 서비스 애플리케이션으로 제공하고, 우측에서 좌측으로 향하는 손동작이 감지되면, 제1AR데이터의 날짜를 이전 날짜로 변경하여 서비스 애플리케이션으로 제공한다.More specifically, when the gesture detection unit detects a left-to-right hand motion, it changes the date of the first AR data to the next date and provides it to the service application, and when a right-to-left hand motion is detected, the date of the first AR data Is provided as a service application by changing to the previous date.

그리고, 제스쳐 감지부는 하측에서 상측으로 향하는 손동작이 감지되면 제1AR데이터의 날짜를 다음 달로 변경하여 서비스 애플리케이션으로 제공하고, 상측에서 하측으로 향하는 손동작이 감지되면 제1AR데이터의 날짜를 이전 달로 변경하여 서비스 애플리케이션으로 제공한다.And, when the gesture detection unit detects a hand motion from the lower side to the upper side, it changes the date of the first AR data to the next month and provides the service as a service application, and when the hand motion from the upper side to the lower side is detected, the date of the first AR data is changed to the previous month. Provided as an application.

이때, 제스쳐 감지부는 사용자의 손동작에서 펼쳐진 손가락의 갯수만큼 날짜 수 개월 수를 변경하여 제공하는 것을 특징으로 한다.In this case, the gesture detection unit is characterized in that the number of days and months is changed and provided by the number of fingers spread out in the user's hand motion.

도 10의 (a)와 (b)를 비교하면, 사용자가 손가락을 한 개 펼친 상태에서 좌측에서 우측으로 향하는 제스쳐를 취하였다. 제스쳐 감지부는 이를 감지하고 달력이미지에 7일 수요일로 표출되고 있던 AR데이터를 8일 목요일로 변경하여 표출하고 있는 것을 알 수 있다.Comparing (a) and (b) of FIG. 10, a user made a gesture from left to right with one finger spread out. The gesture detection unit detects this, and it can be seen that the AR data displayed on the calendar image as Wednesday the 7th is changed to Thursday the 8th and is displayed.

만약, 이때, 손가락을 4개를 펼친 상태에서 동일한 제스쳐를 취하였다면, 제스쳐 감지부는 이를 감지하고 4일 후인 11일 일요일의 AR데이터를 제공하여 서비스 애플리케이션에 11일 일요일이 표출되도록 하였을 것이다.At this time, if the same gesture was taken with four fingers spread out, the gesture detection unit would have sensed this and provided AR data for the 11th Sunday, 4 days later, so that Sunday the 11th was expressed in the service application.

위와 같은 제스쳐 감지부의 구성으로 인해, 본 발명은 사용자가 달력의 날짜를 손쉽게 변경할 수 있는 기능을 제공하게 된다.Due to the configuration of the gesture detection unit as described above, the present invention provides a function for the user to easily change the date of the calendar.

도 11은 영화 포스터를 타겟이미지로 인식하여 예고편과 예매 기능을 AR데이터로 제공하는 것을 예시한 도면이다.11 is a diagram illustrating an example of recognizing a movie poster as a target image and providing a trailer and a reservation function as AR data.

본 발명의 실시예로, 타겟이미지가 영화포스터 이미지인 경우, 선택부는 데이터베이스를 검색하여 해당 영화와 매칭되는 제5AR데이터를 선택한다.In an embodiment of the present invention, when the target image is a movie poster image, the selection unit searches the database and selects the 5th AR data matching the movie.

제어부는 제5AR데이터를 서비스 애플리케이션 촬영 화면의 영화포스터 이미지 상에 표출한다. 이때, 제5AR데이터는 해당 영화의 주요정보, 배우, 제작진, 예고편 중 적어도 하나에 대한 이미지 또는 영상이 될 수 있다.The controller displays the 5AR data on the movie poster image of the service application shooting screen. In this case, the 5th AR data may be an image or video of at least one of main information of the corresponding movie, actors, production staff, and trailers.

그리고, 제어부는 제5AR데이터의 일측에 영화예매 이미지를 표출하여, 영화예매 이미지가 사용자로부터 서비스 애플리케이션을 통해 클릭되면, 서비스 애플리케이션을 해당 영화의 예매 사이트 또는 예매 애플리케이션으로 연결하는것을 특징으로 한다.In addition, the control unit displays the movie reservation image on one side of the 5AR data, and when the movie reservation image is clicked by the user through the service application, the control unit connects the service application to the movie reservation site or the reservation application.

다수의 사람들이 통행하는 장소나 영화관 등의 장소에는 상영 중이거나 개봉 예정인 영화의 포스터가 부착되어 영화를 홍보하는 경우가 많다.In places where a large number of people pass or in places such as movie theaters, posters of movies being screened or scheduled to be released are often attached to promote movies.

하지만, 영화의 포스터 같은 경우는 하나의 이미지만 포함되어 감독, 주연 등에 대한 간략한 정보만 보여주고 있기 때문에 이를 접하는 사람에게 제공되는 정보가 한정적이다.However, in the case of a movie poster, only one image is included and only brief information about the director and the lead role is shown, so the information provided to the person who encounters it is limited.

하지만, 본 발명의 실시예를 활용하면, 사용자가 영화포스터 이미지를 서비스 애플리케이션을 작동시켜 인식하게 되면, 서버에서 해당 영화의 썸네일, 예고편, 주요장면, 주연과 조연의 사진 등을 제5AR데이터로 표출해주게 된다.However, using the embodiment of the present invention, when a user recognizes a movie poster image by operating a service application, the server displays the thumbnail, trailer, main scene, and photos of the lead and supporting actors as 5AR data. Will do it.

이를 통해, 사람들은 해당 영화의 다양한 정보들을 접할 수 있게 되고, 영화의 홍보 효과가 증가된다.Through this, people can access various information of the movie, and the promotion effect of the movie is increased.

또한, 사용자가 해당 영화의 예고편을 확인하고 그 자리에서 예매를 진행할 수 있도록 하기 위해서, 영화예매 이미지를 제5AR데이터와 함께 제공함으로써, 영화를 손쉽게 예매할 수 있도록 하는 효과를 발휘한다.In addition, in order for the user to check the trailer of the corresponding movie and proceed with the reservation on the spot, the movie reservation image is provided together with the 5th AR data, thereby exerting the effect of allowing the movie to be easily reserved.

또 다른 예로, 타겟이미지가 특정 제품 또는 서비스의 광고 이미지인 경우, 선택부는 데이터베이스를 검색하여 해당 광고와 매칭되는 제6AR데이터를 선택한다.As another example, when the target image is an advertisement image of a specific product or service, the selection unit searches a database and selects the 6thAR data matching the advertisement.

그리고, 제어부는 제6AR데이터를 서비스 애플리케이션의 광고 이미지 상에 표출한다. 이때, 제6AR데이터는 해당 광고의 광고주, 광고모델, 광고제품, 광고서비스 중 적어도 하나에 대한 이미지 또는 영상일 수 있다.Then, the controller displays the 6th AR data on the advertisement image of the service application. In this case, the 6th AR data may be an image or video of at least one of an advertiser, an advertisement model, an advertisement product, and an advertisement service of the advertisement.

또한, 제어부는 제6AR데이터의 일측에 구매 이미지를 표출하고, 구매 이미지가 클릭되면, 단말을 통해 스크린샷 할 수 있는 해당 제품 또는 서비스의 할인쿠폰 이미지를 표출한뒤, 서비스 애플리케이션을 해당 제품 또는 서비스의 구매 페이지 또는 애플리케이션으로 연결시키는 것을 특징으로 한다.In addition, the control unit displays a purchase image on one side of the 6AR data, and when the purchase image is clicked, displays a discount coupon image of the product or service that can be screenshotted through the terminal, and then transfers the service application to the product or service. It characterized in that the link to the purchase page or application.

따라서, 사용자는 특정 제품 또는 특정 서비스의 광고 이미지를 접하고, 이를 서비스 애플리케이션을 통해 인식시키면 보다 상세한 정보를 접할 수 있고, 이를 구매할 수 있는 웹페이지나 애플리케이션으로 연결되어 구매를 진행할 수 있게 된다.Accordingly, when a user encounters an advertisement image of a specific product or a specific service and recognizes it through a service application, more detailed information can be accessed, and the purchase can be made by connecting to a web page or application where the user can purchase it.

또 다른 예로, 타겟이미지가 전시회 또는 미술관에 전시된 작품의 이미지인 경우, 선택부는 데이터베이스를 검색하여 해당 작품 이미지와 매칭되는 제7AR데이터를 선택한다.As another example, when the target image is an image of a work displayed in an exhibition or an art museum, the selection unit searches a database and selects the 7th AR data matching the image of the work.

그리고, 제어부는 제7AR데이터를 서비스 애플리케이션의 작품 이미지 상에 표출한다. 이때, 제7AR데이터는 작품 이미지의 영상, 설명 이미지, 설명 음성 중 적어도 하나인 것을 특징으로 한다.Then, the control unit displays the 7th AR data on the work image of the service application. At this time, the 7th AR data is characterized in that it is at least one of an image of a work image, an explanation image, and an explanation sound.

미술관이나 전시회에 가면 각종 작품들이 전시되어 있는데, 해당 작품에 대한 설명들을 작품 근처에 함께 전시하게 되면 작품의 배치가 어수선해지고, 미관상 보기가 좋지 않은 경우가 생길 수 있다.When you go to an art gallery or an exhibition, various works are displayed, and if explanations about the work are displayed together near the work, the arrangement of the work may become cluttered and the appearance may be unpleasant.

이 또한, 본 발명의 실시예를 활용하면, 작품만을 전시해놓고 나머지 상세한 정보들은 스마트 애플리케이션을 통해 작품 이미지를 인식하게 되면 제7AR데이터으로 제공해줌으로써, 위의 문제점들을 해결할 수 있게 된다.In addition, if the embodiment of the present invention is used, only the work is displayed and the remaining detailed information is provided as 7th AR data when the work image is recognized through a smart application, thereby solving the above problems.

본 발명의 실시예에 따르면, 서버는 타겟이미지 및 AR데이터를 업로드하여 편집할 수 있는 편집모듈을 제공한다.According to an embodiment of the present invention, the server provides an editing module capable of uploading and editing a target image and AR data.

그리고, 편집모듈은 타겟이미지를 업로드하고, 각 타겟이미지의 AR데이터, 비디오 데이터, 오디오 데이터, 텍스트, 사용자 조작에 의해 조작이 가능한 오브젝트 이미지, 달력이미지 및 사용자 조작에 의해 기능 실행이 가능한 기능 버튼 이미지 중 적어도 하나를 할당하고 수정이 가능한 것을 특징으로 한다.In addition, the editing module uploads the target image, and AR data, video data, audio data, text of each target image, object image that can be manipulated by user manipulation, calendar image, and function button image that can be executed by user manipulation. It is characterized in that at least one of them can be assigned and modified.

또한, 편집모듈은 서비스 애플리케이션을 통해 수집되어 전송되는 사용자의 일정정보를 AR데이터에 적용하고, 서비스 애플리케이션을 통해 달력모드에서 경기일정, 할인일정 또는 전시회일정을 입력받으면, 해당 항목의 일정정보를 외부서버로부터 로딩하여 AR데이터로 저장하는 것을 특징으로 한다.In addition, the editing module applies the user's schedule information collected and transmitted through the service application to AR data, and when the game schedule, discount schedule, or exhibition schedule is input in the calendar mode through the service application, the schedule information of the corresponding item is externally stored. It is characterized in that it is loaded from the server and stored as AR data.

이와 같은 편집모듈의 기능으로 인해, 위에서 설명한 실시예들의 구성을 생성하거나 편집 또는 수정할 수 있게 된다.Due to the function of the editing module, it is possible to create, edit, or modify the configuration of the embodiments described above.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You can understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.

10: 서버
110: 수신부
120: 선택부
130: 데이터베이스
140: 제어부
150: 제스쳐 감지부
160: 편집 모듈
300: 단말
400: 타겟이미지
10: server
110: receiver
120: selection
130: database
140: control unit
150: gesture detection unit
160: editing module
300: terminal
400: target image

Claims (10)

단말을 통해 실시간으로 촬영되는 타겟이미지의 영상데이터를 서비스 애플리케이션으로부터 수신하는 수신부;
데이터베이스를 검색하여 상기 타겟이미지와 매칭되는 타겟이미지의 AR데이터를 선택하는 선택부;
상기 선택된 AR데이터를 상기 서비스 애플리케이션으로 제공하여, 상기 단말을 통해 실시간으로 촬영되어 화면으로 디스플레이 되고 있는 타겟이미지 상으로 표출하는 제어부; 및
상기 수신부를 통해 수신되는 영상데이터에 감지되는 사용자의 손동작을 감지하는 제스쳐 감지부를 포함하고,
상기 단말로 표출되는 AR데이터에 대한 사용자의 조작정보가 수신되면, 상기 조작정보에 따라서 상기 AR데이터 내 오브젝트를 컨트롤하거나 상기 조작정보에 대응되는 기능을 실행시키고,
상기 타겟이미지가 달력이미지에 해당되는 경우, 월, 일, 요일 정보와 상기 단말 위치의 국가, 시간, 날씨 정보 중 적어도 하나를 포함하는 제1AR데이터를 상기 서비스 애플리케이션으로 제공하여 상기 타겟이미지 상으로 표출하도록 하고,
상기 단말에 설치된 달력 또는 일정 애플리케이션으로부터 수집된 사용자의 일정정보를 상기 서비스 애플리케이션으로부터 수신하고, 상기 제1AR데이터를 상기 서비스 애플리케이션을 통해 표출되고 있는 달력이미지 상에 표출하되, 상기 일정정보를 날짜별로 분류하여 각 날짜에 해당하는 영역에 표출하고,
상기 달력이미지는 연도, 월, 일 중 적어도 하나를 의미하는 문자, 숫자 또는 이미지가 포함된 이미지이고,
상기 제스쳐 감지부는,
좌측에서 우측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 다음 날짜로 변경하여 상기 서비스 애플리케이션으로 제공하고,
우측에서 좌측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 이전 날짜로 변경하여 상기 서비스 애플리케이션으로 제공하고,
하측에서 상측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 다음 달로 변경하여 상기 서비스 애플리케이션으로 제공하고,
상측에서 하측으로 향하는 손동작이 감지되면, 상기 제1AR데이터의 날짜를 이전 달로 변경하여 상기 서비스 애플리케이션으로 제공하되,
사용자 손동작에서 펼쳐진 손가락의 개수만큼 날짜 수 또는 개월 수를 변경하여 제공하고,
상기 타겟이미지가 영화포스터 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 영화와 매칭되는 제5AR데이터를 선택하고,
상기 제5AR데이터를 상기 서비스 애플리케이션의 영화포스터 이미지 상에 표출하되, 상기 제5AR데이터는 해당 영화의 주요정보, 배우, 제작진, 예고편 중 적어도 하나에 대한 이미지 또는 영상이고,
상기 제5AR데이터의 일측에 영화예매 이미지를 표출하여, 상기 영화예매 이미지가 상기 서비스 애플리케이션을 통해 클릭되면, 상기 서비스 애플리케이션을 해당 영화의 예매 사이트 또는 예매 애플리케이션으로 연결하고,
상기 타겟이미지가 특정 제품 또는 서비스의 광고 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 광고와 매칭되는 제6AR데이터를 선택하고,
상기 제6AR데이터를 상기 서비스 애플리케이션의 광고 이미지 상에 표출하되, 상기 제6AR데이터는 해당 광고의 광고주, 광고모델, 광고제품, 광고서비스 중 적어도 하나에 대한 이미지 또는 영상이고,
상기 제6AR데이터의 일측에 구매 이미지를 표출하고, 상기 구매 이미지가 클릭되면, 단말을 통해 스크린샷 할 수 있는 해당 제품 또는 서비스의 할인쿠폰 이미지를 표출한뒤, 상기 서비스 애플리케이션을 해당 제품 또는 서비스의 구매 페이지 또는 애플리케이션으로 연결시키고,
상기 타겟이미지가 전시회 또는 미술관에 전시된 작품의 이미지인 경우, 상기 선택부는 데이터베이스를 검색하여 해당 작품 이미지와 매칭되는 제7AR데이터를 선택하고,
상기 제어부는 상기 제7AR데이터를 상기 서비스 애플리케이션의 작품 이미지 상에 표출하되, 상기 제7AR데이터는 상기 작품 이미지의 영상, 설명 이미지, 설명 음성 중 적어도 하나인 것을 특징으로 하는,
이미지 인식을 이용하여 AR영상을 제공하는 서버.
A receiving unit for receiving image data of a target image captured in real time through a terminal from a service application;
A selection unit for searching a database and selecting AR data of a target image matching the target image;
A control unit for providing the selected AR data to the service application and displaying it on a target image that is captured in real time through the terminal and displayed on a screen; And
A gesture detection unit for detecting a user's hand motion detected by the image data received through the receiving unit,
When the user's manipulation information for the AR data displayed to the terminal is received, the object in the AR data is controlled according to the manipulation information or a function corresponding to the manipulation information is executed,
When the target image corresponds to a calendar image, 1AR data including at least one of month, day, day of the week information and country, time, and weather information of the terminal location is provided to the service application and displayed on the target image Do it,
The user's schedule information collected from the calendar or schedule application installed in the terminal is received from the service application, and the first AR data is displayed on a calendar image displayed through the service application, and the schedule information is classified by date. To display in the area corresponding to each date,
The calendar image is an image including letters, numbers, or images representing at least one of year, month, and day,
The gesture detection unit,
When a hand motion from left to right is detected, the date of the first AR data is changed to the next date and provided to the service application,
When a hand motion from right to left is detected, the date of the first AR data is changed to a previous date and provided to the service application,
When a hand motion from the lower side to the upper side is detected, the date of the first AR data is changed to the next month and provided to the service application,
When a hand motion from the top to the bottom is detected, the date of the first AR data is changed to the previous month and provided to the service application,
Provides by changing the number of days or months by the number of fingers spread in the user's hand gesture,
When the target image is a movie poster image, the selection unit searches a database and selects the 5AR data matching the movie,
The 5AR data is displayed on a movie poster image of the service application, wherein the 5AR data is an image or video of at least one of main information of the movie, actors, production crew, and trailer,
When a movie reservation image is displayed on one side of the 5AR data, and the movie reservation image is clicked through the service application, the service application is connected to a reservation site or a reservation application for the movie,
When the target image is an advertisement image of a specific product or service, the selection unit searches a database and selects 6AR data matching the advertisement,
The 6AR data is displayed on the advertisement image of the service application, wherein the 6AR data is an image or video of at least one of an advertiser, an advertisement model, an advertisement product, and an advertisement service of the advertisement,
A purchase image is displayed on one side of the 6AR data, and when the purchase image is clicked, a discount coupon image of the corresponding product or service that can be screened through the terminal is displayed, and the service application Link to the purchase page or application,
When the target image is an image of a work exhibited in an exhibition or an art gallery, the selection unit searches a database and selects the 7th AR data matching the image of the work,
The control unit displays the 7 AR data on the work image of the service application, wherein the 7 AR data is at least one of an image of the work image, a description image, and a description sound,
Server that provides AR images using image recognition.
삭제delete 삭제delete 제1항에 있어서,
상기 제1AR데이터는 일측에 달력모드 변경이미지를 포함하며,
상기 제어부는,
상기 달력모드 변경이미지가 선택되면, 상기 서비스 애플리케이션으로 제2모드, 제3모드 및 제4모드를 표출하고, 이중 하나를 선택받으면 각 모드에 해당하는 AR데이터를 선택하여 상기 서비스 애플리케이션의 제1달력이미지 상에 표출하는 것을 특징으로 하고,
상기 제2모드는 사용자로부터 선택된 특정 스포츠 종목의 경기 일정에 해당하는 제2AR데이터와 대응되고,
상기 제3모드는 사용자로부터 선택된 쇼핑몰, 백화점의 할인 일정에 해당하는 제3AR데이터와 대응되고,
상기 제4모드는 사용자로부터 선택된 박물관, 박람회, 전시회 일정에 해당하는 제4AR데이터와 대응되는 것인, 이미지 인식을 이용하여 AR영상을 제공하는 서버.
The method of claim 1,
The first AR data includes a calendar mode change image on one side,
The control unit,
When the calendar mode change image is selected, the second mode, the third mode, and the fourth mode are displayed as the service application, and when one of them is selected, the AR data corresponding to each mode is selected and the first calendar of the service application It is characterized in that it is expressed on an image,
The second mode corresponds to second AR data corresponding to a game schedule of a specific sports event selected by the user,
The third mode corresponds to third AR data corresponding to a discount schedule of a shopping mall or department store selected by a user,
The fourth mode corresponds to the fourth AR data corresponding to the schedule of museums, fairs, and exhibitions selected by the user. The server providing AR images using image recognition.
삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 서버는,
상기 타겟이미지 및 AR데이터를 업로드하여 편집할 수 있는 편집모듈을 제공하며,
상기 편집모듈은,
타겟이미지를 업로드하고, 각 타겟이미지의 AR데이터, 비디오 데이터, 오디오 데이터, 텍스트, 사용자 조작에 의해 조작이 가능한 오브젝트 이미지, 달력이미지, 및 사용자 조작에 의해 기능 실행이 가능한 기능 버튼 이미지 중 적어도 하나 이상을 할당하고 수정이 가능한 것을 특징으로 하는,
이미지 인식을 이용하여 AR영상을 제공하는 서버.
The method of claim 1,
The server,
Provides an editing module for uploading and editing the target image and AR data,
The editing module,
Upload a target image, and at least one of AR data, video data, audio data, text, object images that can be manipulated by user manipulation, calendar images, and function button images that can perform functions by user manipulation Characterized in that it is possible to assign and modify,
Server that provides AR images using image recognition.
제9항에 있어서,
상기 편집모듈은,
상기 서비스 애플리케이션을 통해 수집되어 전송되는 사용자의 일정정보를 상기 AR데이터에 적용하고,
상기 서비스 애플리케이션을 통해 달력모드에서 경기일정, 할인일정 또는 전시회일정을 입력받으면, 해당 일정정보를 외부서버로부터 로딩하여 AR데이터로 저장하는 것을 특징으로 하는,
이미지 인식을 이용하여 AR영상을 제공하는 서버.
The method of claim 9,
The editing module,
Applying the user's schedule information collected and transmitted through the service application to the AR data,
When a game schedule, a discount schedule, or an exhibition schedule is input in a calendar mode through the service application, the schedule information is loaded from an external server and stored as AR data,
Server that provides AR images using image recognition.
KR1020180149231A 2018-11-28 2018-11-28 A server that providing AR images using image recognition KR102154270B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149231A KR102154270B1 (en) 2018-11-28 2018-11-28 A server that providing AR images using image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149231A KR102154270B1 (en) 2018-11-28 2018-11-28 A server that providing AR images using image recognition

Publications (2)

Publication Number Publication Date
KR20200063495A KR20200063495A (en) 2020-06-05
KR102154270B1 true KR102154270B1 (en) 2020-09-09

Family

ID=71088899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149231A KR102154270B1 (en) 2018-11-28 2018-11-28 A server that providing AR images using image recognition

Country Status (1)

Country Link
KR (1) KR102154270B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235374A (en) * 2012-05-08 2013-11-21 Sony Corp Image processing apparatus, and projection control method and program
KR101879586B1 (en) * 2016-12-16 2018-07-18 경희대학교 산학협력단 Method and system for managing implementation of augmented reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108494A (en) * 2013-02-28 2014-09-11 엘지전자 주식회사 Remote device for a multimedia commerce service and method for the same
KR102303115B1 (en) * 2014-06-05 2021-09-16 삼성전자 주식회사 Method For Providing Augmented Reality Information And Wearable Device Using The Same
KR20170088654A (en) * 2016-01-25 2017-08-02 한국기술교육대학교 산학협력단 Method and system for providing racing video service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235374A (en) * 2012-05-08 2013-11-21 Sony Corp Image processing apparatus, and projection control method and program
KR101879586B1 (en) * 2016-12-16 2018-07-18 경희대학교 산학협력단 Method and system for managing implementation of augmented reality

Also Published As

Publication number Publication date
KR20200063495A (en) 2020-06-05

Similar Documents

Publication Publication Date Title
US11782667B2 (en) Multi-panel, multi-communication video wall and system and method for seamlessly isolating one or more panels for individual user interaction
KR102649254B1 (en) Display control method, storage medium and electronic device
US10225471B2 (en) System and method for autonomously recording a visual media
JP5777023B2 (en) Eye tracking type user interface
DE112016000085B4 (en) Device, method, and graphical user interface for navigating media content
EP2983077B1 (en) Display control device, display control method, and display control program
US20150040031A1 (en) Method and electronic device for sharing image card
US9372874B2 (en) Content processing apparatus, content processing method, and program
KR101636460B1 (en) Electronic device and method for controlling the same
KR102490438B1 (en) Display apparatus and control method thereof
US20170168559A1 (en) Advertisement relevance
TWI779343B (en) Method of a state recognition, apparatus thereof, electronic device and computer readable storage medium
US20190174069A1 (en) System and Method for Autonomously Recording a Visual Media
WO2021063096A1 (en) Video synthesis method, apparatus, electronic device, and storage medium
JP6046874B1 (en) Information processing apparatus, information processing method, and program
US10915869B1 (en) Systems and methods for asset management
US20120162459A1 (en) Image capturing apparatus and image patchwork method thereof
KR102154270B1 (en) A server that providing AR images using image recognition
JP2023054039A (en) Information processing system
KR20160108103A (en) Use terminal device, digital signage device and control methods thereof
CN110008364A (en) Image processing method, device and system
CN112492206B (en) Image processing method and device and electronic equipment
US20230325216A1 (en) System for organizing and displaying information on a display device
JP2014110469A (en) Electronic device, image processing method, and program
CN117274057A (en) Image stitching method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant