KR102208916B1 - System for recognizing broadcast program based on image recognition - Google Patents

System for recognizing broadcast program based on image recognition Download PDF

Info

Publication number
KR102208916B1
KR102208916B1 KR1020190027995A KR20190027995A KR102208916B1 KR 102208916 B1 KR102208916 B1 KR 102208916B1 KR 1020190027995 A KR1020190027995 A KR 1020190027995A KR 20190027995 A KR20190027995 A KR 20190027995A KR 102208916 B1 KR102208916 B1 KR 102208916B1
Authority
KR
South Korea
Prior art keywords
broadcast
information
user terminal
text
broadcast program
Prior art date
Application number
KR1020190027995A
Other languages
Korean (ko)
Other versions
KR20200109032A (en
Inventor
최재호
Original Assignee
최재호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최재호 filed Critical 최재호
Priority to KR1020190027995A priority Critical patent/KR102208916B1/en
Publication of KR20200109032A publication Critical patent/KR20200109032A/en
Application granted granted Critical
Publication of KR102208916B1 publication Critical patent/KR102208916B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372Programme
    • G06K9/00221
    • G06K9/00624
    • G06K9/00744
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/377Scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/43Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 사용자 단말에서 현재 방송 출력기기를 통해 방송되는 방송 화면을 촬영하고, 촬영된 방송 화면에 나타나는 텍스트 또는 출연자 등의 객체 정보를 추출하여 현재 방송중인 방송 프로그램을 자동으로 인식할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 영상 인식 기반의 방송 프로그램 인식 시스템은, 방송사에서 방송하는 방송 프로그램을 실시간 출력하는 방송 출력 기기와, 어플리케이션이 설치되고, 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 실시간 출력되는 방송 영상에서 다수의 방송 화면을 획득하고, 다수의 방송 화면으로부터 특징 정보를 추출하여 추출된 특징 정보와 방송 화면 수집 시간을 포함하는 방송 프로그램 인식 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 방송 정보를 이용하여 어플리케이션에서 제공하는 서비스를 제공하는 사용자 단말 및, 방송 시간별 방송 프로그램과, 방송 프로그램별 특징 정보가 등록 저장되고, 사용자 단말에서 실행되는 어플리케이션과 연동하여 사용자 단말로부터 인가되는 방송 프로그램 인식요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 정보를 검색하며, 검색된 방송 정보를 해당 사용자 단말로 전송하는 서비스 서버를 포함하여 구성되고, 상기 방송 프로그램을 인식하기 위한 특징 정보는 방송 화면상에 출력되는 방송사 로고 또는 방송 프로그램 명을 포함하는 텍스트 정보 이거나 방송 화면상에 출력되는 출연자 또는 사물을 포함하는 객체 정보인 것을 특징으로 한다.
The present invention captures a broadcast screen broadcast through a current broadcast output device in a user terminal, and extracts object information such as text or performers appearing on the captured broadcast screen so that the currently broadcast program can be automatically recognized. It's about technology.
In the broadcast program recognition system based on image recognition according to the present invention, a broadcast output device that outputs a broadcast program broadcasted by a broadcaster in real time, an application is installed, and a camera is driven according to the execution of the application to be output in real time from the broadcast output device. In addition to acquiring a plurality of broadcast screens from a broadcast image and transmitting the extracted feature information and broadcast program recognition request information including the broadcast screen collection time to the service server by extracting feature information from the plurality of broadcast screens, service A user terminal that provides a service provided by an application using broadcasting information authorized from a server, a broadcasting program according to broadcasting time, and characteristic information for each broadcasting program are registered and stored, and approved from the user terminal in connection with the application executed in the user terminal. Based on the broadcast program recognition request information, the feature information of the broadcast program corresponding to the broadcast time and feature information received from the user terminal are compared to search for broadcast information corresponding to the feature information requested by the user, and the searched broadcast information is retrieved from the user. It is configured to include a service server transmitted to the terminal, and the characteristic information for recognizing the broadcast program is text information including a broadcaster logo or broadcast program name displayed on a broadcast screen, or a performer or object output on the broadcast screen. It is characterized in that it is object information to include.

Description

영상 인식 기반의 방송 프로그램 인식 시스템{System for recognizing broadcast program based on image recognition}System for recognizing broadcast program based on image recognition

본 발명은 사용자 단말에서 현재 방송 출력기기를 통해 방송되는 방송 화면을 촬영하고, 촬영된 방송 화면에 나타나는 텍스트 또는 출연자 등의 객체 정보를 추출하여 현재 방송중인 방송 프로그램을 자동으로 인식할 수 있도록 해 주는 기술에 관한 것이다. The present invention captures a broadcast screen broadcast through a current broadcast output device in a user terminal, and extracts object information such as text or performers appearing on the captured broadcast screen so that the currently broadcast program can be automatically recognized. It's about technology.

증강현실이란, 사용자가 눈으로 보는 현실세계에 컴퓨터를 통해 가상 물체를 겹쳐 보여주는 기술로서, 스마트폰의 보급에 따라 카메라를 통해 촬영한 현실 세계와 가상의 이미지나 영상을 결합하여 보여주는 서비스가 상용화되고 있다.Augmented reality is a technology that superimposes a virtual object through a computer on the real world that users see through the eyes.With the spread of smartphones, a service that combines the real world shot through a camera and a virtual image or video is commercialized. have.

또한, 휴대용 단말기, PDA 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 모바일 기기를 이용한 증강현실 시스템이 가능해졌다.In addition, an augmented reality system using mobile devices has become possible with the improvement of computing capabilities of mobile devices such as portable terminals and PDAs and the development of wireless network devices.

예를 들어, 스마트폰으로 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 기능을 제공할 수 있다.For example, when a camera is used to illuminate the surroundings with a smartphone, information such as a location of a nearby store and a phone number may be displayed in a 3D image.

특히, 최근에는 TV 프로그램을 인식하고 인식된 방송 TV 프로그램에 맞는 PPL(제품간접광고, Product PLacement) 등을 스마트 폰을 통해 제공하는 등의 다양한 스마트폰 AR 어플리케이션이 등장하고 있으며, 이러한 AR 어플리케이션을 통해 현재 방송되는 TV 프로그램과 제휴하여 다양한 서비스를 사용자에게 제공하고 있다.In particular, in recent years, various smart phone AR applications such as recognizing TV programs and providing PPL (Product PLacement) suitable for the recognized broadcast TV programs through smart phones, etc. have appeared. Various services are provided to users in partnership with currently broadcast TV programs.

이때, 스마트폰 AR 애플리케이션은 현재 TV방송 프로그램을 인식해야 하며, 현재에는 TV와 스마트폰이 연결된 상태에서, 스마트 폰 AR 어플리케이션이 현재 방송 프로그램을 TV로부터 다운받아 현재 방송되는 프로그램을 인식하게 된다.At this time, the smart phone AR application must recognize the current TV broadcast program, and currently, while the TV and the smart phone are connected, the smart phone AR application downloads the current broadcast program from the TV and recognizes the currently broadcast program.

그러나, 이러한 방법을 사용하기 위해서는 사용자가 미리 스마트 폰과 TV를 블루투스 등을 활용해서 연결해야만 하고 TV가 이러한 기능을 모두 지원해야만 하는 한계가 있다.However, in order to use this method, there is a limitation in that the user must connect the smart phone and the TV in advance using Bluetooth, and the TV must support all of these functions.

또한, 사용자가 TV 시청중에 AR 서비스를 이용하기 위해서는 미리 모든 세팅해 놓아야 하는 바, 현실적으로 사용자들이 이러한 기능 사용을 미리 인지하여 모두 세팅한 상태에서 TV를 시청하는 경우는 드물 수 밖에 없기 때문에, 현실적으로 스마트 폰 AR 애플리케이션의 활용이 활성화되기에는 어려움이 있다.In addition, in order for users to use AR services while watching TV, all settings must be set in advance.In reality, it is rare for users to watch TV in a state where all of these functions are set after recognizing the use of these functions. It is difficult to activate the use of phone AR applications.

이와 관련하여, 선행문헌 1(한국등록특허 제10-1850482호)에도 방송 연동형 증강현실 서비스 시스템 및 방법이 개시되어 있다.In this regard, a broadcast-linked augmented reality service system and method are also disclosed in Prior Document 1 (Korean Patent No. 10-1850482).

그러나, 선행문헌 1은 방송 서버에서 AR 서비스를 위한 메타정보를 미리 작성하여 방송 정보와 함께 방송하고, 스마트폰에 설치된 AR 어플리케이션에서 촬영된 방송화면에서 메타정보를 인식함으로써, 방송 프로그램에 대응되는 AR 서비스를 제공하도록 구성된다. However, Prior Document 1 creates meta information for AR service in a broadcast server in advance, broadcasts it with broadcast information, and recognizes meta information from a broadcast screen shot in an AR application installed on a smartphone, thereby creating an AR corresponding to a broadcast program. It is configured to provide services.

즉, 선행문헌1은 방송사 서버에서 각 방송 영상에 증강현실 서비스를 위한 메타정보를 미리 삽입하여 방송 영상을 생성하여야 방송사와 연계한 서비스가 가능하다는 한계가 있다. In other words, Prior Document 1 has a limitation in that a broadcaster-linked service is possible only when a broadcaster server generates a broadcast image by inserting meta information for an augmented reality service into each broadcast image in advance.

또한, 방송사에서는 자신들의 원본 콘텐츠를 특정 서비스를 위해 수정하고 메타 정보를 입력해야하는 불편함이 있으며, 사용자들은 원치 않는 메타 정보를 화면에서 봐야만 하는 한계가 있다. In addition, broadcasters are inconvenient to modify their original content for a specific service and input meta information, and users have limitations in having to view unwanted meta information on the screen.

1. 한국등록특허 제10-1850482호 (발명의 명칭 : 방송 연동형 증강현실 서비스 시스템 및 방법)1. Korean Patent Registration No. 10-1850482 (Name of invention: Broadcast-linked augmented reality service system and method)

이에, 본 발명은 상기한 사정을 감안하여 창출된 된 것으로, 사용자 단말에서 현재 방송 출력기기를 통해 방송되는 방송 화면을 촬영하고, 촬영된 방송 화면에 나타나는 텍스트 또는 출연자 등의 객체 정보를 추출하여 현재 방송중인 방송 프로그램을 자동으로 인식할 수 있도록 해 주는 영상 인식 기반의 방송 프로그램 인식 시스템을 제공함에 그 기술적 목적이 있다. Accordingly, the present invention was created in view of the above circumstances, and the user terminal captures a broadcast screen broadcast through a broadcast output device, and extracts object information such as text or performers appearing on the captured broadcast screen. There is a technical purpose of providing a broadcast program recognition system based on image recognition that enables automatic recognition of a broadcast program being broadcast.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 방송사에서 방송하는 방송 프로그램을 실시간 출력하는 방송 출력 기기와, 어플리케이션이 설치되고, 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 실시간 출력되는 방송 영상에서 다수의 방송 화면을 획득하고, 다수의 방송 화면으로부터 특징 정보를 추출하여 추출된 특징 정보와 방송 화면 수집 시간을 포함하는 방송 프로그램 인식 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 방송 정보를 이용하여 어플리케이션에서 제공하는 서비스를 제공하는 사용자 단말 및, 방송 시간별 방송 프로그램과, 방송 프로그램별 특징 정보가 등록 저장되고, 사용자 단말에서 실행되는 어플리케이션과 연동하여 사용자 단말로부터 인가되는 방송 프로그램 인식요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 정보를 검색하며, 검색된 방송 정보를 해당 사용자 단말로 전송하는 서비스 서버를 포함하여 구성되고, 방송 프로그램을 인식하기 위한 상기 특징 정보는 방송 화면상에 출력되는 방송사 로고 또는 방송 프로그램 명을 포함하는 텍스트 정보 이거나 방송 화면상에 출력되는 출연자 또는 사물을 포함하는 객체 정보로 구성되며, 상기 사용자 단말은 방송 출력 기기 상단의 양 모서리를 기준으로 방송 화면상의 일정 영역을 관심 영역으로 추출하여 텍스트를 인식하되, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되는 경우에는 해당 텍스트정보를 특징 정보로서 서비스 서버로 전송하고, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되지 않는 경우에 한하여 제2 모서리 기준의 제2 관심 영역에서 텍스트 인식을 수행하여 텍스트 정보를 추출하며, 상기 사용자 단말은 텍스트 정보가 추출되지 않는 경우에는 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출하되, 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 제1 객체가 추출되지 않는 경우 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 제2 객체가 추출되지 않는 경우 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출하고, 제1 내지 제3 객체 중 하나를 특징 정보로서 서비스 서버로 전송하는 것을 특징으로 하는 영상 인식 기반의 방송 프로그램 인식 시스템이 제공된다.According to an aspect of the present invention for achieving the above object, a broadcast output device that outputs a broadcast program broadcasted by a broadcaster in real time, an application is installed, and a camera is driven according to the execution of the application to be output in real time from the broadcast output device. In addition to acquiring a plurality of broadcast screens from a broadcast image and transmitting the extracted feature information and broadcast program recognition request information including the broadcast screen collection time to the service server by extracting feature information from the plurality of broadcast screens, service A user terminal that provides a service provided by an application using broadcasting information authorized from a server, a broadcasting program according to broadcasting time, and characteristic information for each broadcasting program are registered and stored, and approved from the user terminal in connection with the application executed in the user terminal. Based on the broadcast program recognition request information, the feature information of the broadcast program corresponding to the broadcast time and feature information received from the user terminal are compared to search for broadcast information corresponding to the feature information requested by the user, and the searched broadcast information is retrieved from the user. Consisting of a service server transmitted to a terminal, the characteristic information for recognizing a broadcast program is text information including a broadcaster logo or broadcast program name displayed on a broadcast screen, or a performer or object output on the broadcast screen. Consists of object information to be included, and the user terminal extracts a certain area on the broadcast screen as a region of interest based on both corners of the upper end of the broadcast output device and recognizes the text. If recognized, the text information is transmitted to the service server as feature information, and text recognition is performed in the second region of interest based on the second corner only when the text is not recognized in the first region of interest based on the first corner. Text information is extracted, and when text information is not extracted, the user terminal extracts the entire broadcast screen as a region of interest, and extracts object information having a certain shape from the region of interest. Perform facial recognition to extract the performer output from the broadcast screen as a first object, and if the first object is not extracted, a moving object is extracted as a second object by comparing multiple broadcast screens, and the second object is not extracted. If not, there is provided a broadcast program recognition system based on image recognition, characterized in that a fixed object output from a broadcast screen is extracted as a third object and one of the first to third objects is transmitted to a service server as feature information.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 방송사에서 방송하는 방송 프로그램을 실시간 출력하는 방송 출력 기기와, AR 어플리케이션이 설치되고, AR 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 실시간 출력되는 방송 영상에서 다수의 방송 화면을 획득함과 더불어, 자신의 위치정보를 획득하며, 다수의 방송 화면으로부터 추출된 특징 정보와 방송 화면 수집 시간 및 위치정보를 포함하는 AR 컨텐츠 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 AR 컨텐츠 정보를 이용하여 AR 서비스를 제공하는 사용자 단말 및, 방송 시간별 방송 프로그램과, 방송 프로그램별 특징 정보가 등록 저장됨과 더불어, 방송 프로그램별 위치에 따른 서로 다른 AR 컨텐츠정보가 등록 저장되고, 사용자 단말에서 실행되는 AR 어플리케이션과 연동하여 사용자 단말로부터 인가되는 AR 컨텐츠 요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 프로그램을 검색하며, 검색된 방송 프로그램에 대해 사용자 위치에 대응하는 AR 컨텐츠정보를 해당 사용자 단말로 전송하는 서비스 서버를 포함하여 구성되고, 방송 프로그램을 인식하기 위한 상기 특징 정보는 방송 화면상에 출력되는 방송사 로고 또는 방송 프로그램 명을 포함하는 텍스트 정보 이거나 방송 화면상에 출력되는 출연자 또는 사물을 포함하는 객체 정보로 구성되며, 상기 사용자 단말은 방송 화면에서 방송 출력 기기 상단의 양 모서리를 기준한 일정 영역을 관심 영역으로 추출하여 텍스트를 인식하되, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되는 경우에는 해당 텍스트정보를 특징 정보로서 서비스 서버로 전송하고, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되지 않는 경우에 한하여 제2 모서리 기준의 제2 관심 영역에서 텍스트 인식을 수행하여 텍스트 정보를 추출하며, 상기 사용자 단말은 텍스트 정보가 추출되지 않는 경우에는 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출하되, 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 제1 객체가 추출되지 않는 경우 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 제2 객체가 추출되지 않는 경우 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출하고, 제1 내지 제3 객체 중 하나를 특징 정보로서 서비스 서버로 전송하는 것을 특징으로 하는 영상 인식 기반의 방송 프로그램 인식 시스템이 제공된다.
In addition, according to another aspect of the present invention for achieving the above object, a broadcast output device for real-time output of a broadcast program broadcasted by a broadcaster, and an AR application are installed, and a camera is driven to broadcast according to the execution of the AR application. In addition to acquiring multiple broadcast screens from broadcast images output in real time from output devices, acquiring own location information and requesting AR content including feature information extracted from multiple broadcast screens, broadcast screen collection time and location information In addition to transmitting information to the service server, a user terminal that provides an AR service using AR content information authorized from the service server, and broadcast programs by broadcast time, and feature information by broadcast programs are registered and stored, and broadcast. Different AR content information according to the location of each program is registered and stored, and feature information of a broadcast program corresponding to the broadcast time and user terminal based on AR content request information approved from the user terminal in connection with the AR application executed in the user terminal Comprising a service server that compares the feature information received from and searches for a broadcast program corresponding to the feature information requested by the user, and transmits AR content information corresponding to the user location to the user terminal for the searched broadcast program, The characteristic information for recognizing a broadcast program is text information including a broadcaster logo or broadcast program name output on the broadcast screen, or consists of object information including a performer or object output on the broadcast screen, and the user terminal In the broadcast screen, a certain area based on both corners of the broadcast output device is extracted as a region of interest to recognize text, but when text is recognized in the first region of interest based on the first corner, the corresponding text information is used as feature information. Transmits to the server, and extracts text information by performing text recognition in the second ROI based on the second corner only when the text is not recognized in the first ROI based on the first corner, If text information is not extracted, the user terminal extracts the entire broadcast screen as an ROI, extracts object information having a certain shape from the ROI, and performs face recognition in the ROI to provide performers output from the broadcast screen. If the first object is extracted as an object, and if the first object is not extracted, a moving object is extracted as a second object by comparing multiple broadcast screens, and if the second object is not extracted, the fixed object output from the broadcast screen is a third object. An image recognition-based broadcast program recognition system is provided, which extracts as and transmits one of the first to third objects as feature information to a service server.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

본 발명에 의하면, 사용자 단말에서 현재 방송 출력기기와 연결하거나 또는 방송 정보를 변경하는 불편함 및 기기의 요구 사양의 필요없이 사용자 단말에서 외부 타 기기에서 출력되는 방송 화면을 촬영하여 현재 방송되고 있는 방송 프로그램을 자동으로 인식할 수 있게 됨으로써, 이러한 방송 프로그램을 인식하여 서비스를 제공하는 응용 어플리케이션의 활성화가 가능하다.According to the present invention, the user terminal captures a broadcast screen output from another external device without the inconvenience of connecting with the current broadcast output device or changing broadcast information and the need for the required specifications of the device, and broadcasting currently being broadcasted. By being able to automatically recognize a program, it is possible to activate an application application that recognizes such a broadcast program and provides a service.

따라서, 방송사에서 방송되는 방송 프로그램(컨텐츠)에 특정 정보 등을 추가하거나 수정하는 편집처리를 수행하지 않고서도, 사용자 단말에 설치된 어플리케이션을 통해 용이하게 방송 프로그램의 인식이 가능함으로써, 방송 프로그램을 이용한 응용 어플리케이션의 활용성을 보다 향상시킬 수 있다. Therefore, it is possible to easily recognize the broadcast program through the application installed in the user terminal without performing the editing process of adding or modifying specific information to the broadcast program (content) broadcasted by the broadcaster. The usability of the application can be further improved.

도1은 본 발명의 제1 실시예에 따른 영상 인식 기반의 방송 프로그램 인식 시스템의 개략적인 구성을 예시한 도면.
도2는 도1에 도시된 사용자 단말(200)을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 영상 수집부(220)에서의 방송 영상 수집 과정을 설명하기 위한 도면.
도4는 도2에 도시된 특징 정보 추출부(230)에서 텍스트 정보 추출을 위한 관심영역을 설명하기 위한 도면.
도5는 도1에 도시된 영상 인식 기반의 방송 프로그램 인식 시스템의 동작을 설명하기 위한 도면.
1 is a diagram illustrating a schematic configuration of a broadcast program recognition system based on image recognition according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing the functionally separated user terminal 200 shown in FIG. 1;
3 is a view for explaining a broadcast image collection process in the image collection unit 220 shown in FIG. 2;
FIG. 4 is a diagram illustrating an ROI for extracting text information in the feature information extracting unit 230 shown in FIG. 2.
5 is a view for explaining the operation of the broadcast program recognition system based on image recognition shown in FIG. 1;

본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the embodiments described in the present invention and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, the scope of the present invention is limited to the embodiments and drawings described in the text. Should not be construed as limited by That is, since the embodiments can be variously changed and have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only those effects, the scope of the present invention should not be understood as being limited thereto.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the field to which the present invention belongs, unless otherwise defined. Terms defined in a commonly used dictionary should be construed as having the meaning of the related technology in context, and cannot be interpreted as having an ideal or excessively formal meaning that is not clearly defined in the present invention.

먼저, 본 발명은 사용자 단말 즉, 스마트 폰에 설치된 응용어플리케이션을 이용하여 서비스를 수행하되, 방송 프로그램을 이용하여 서비스를 수행하는 각종 응용어플리케이션에 대해 적용되어 실시될 수 있는 것으로, 이하에서는 방송 프로그램을 이용하여 AR(증강현실) 서비스를 제공하는 AR 어플리케이션에 대해 설명한다.First, the present invention can be applied to various application applications that perform a service using an application application installed in a user terminal, that is, a smart phone, but perform a service using a broadcast program. An AR application that provides AR (Augmented Reality) services will be described.

도1은 본 발명의 제1 실시예에 따른 영상 인식 기반의 방송 프로그램 인식 시스템의 개략적인 구성을 예시한 도면이다. 1 is a diagram illustrating a schematic configuration of a broadcast program recognition system based on image recognition according to a first embodiment of the present invention.

도1을 참조하면, 영상 인식 기반의 방송 프로그램 인식 시스템은 방송 출력 기기(100)와 사용자 단말(200), 서비스 서버(300)를 포함한다.Referring to FIG. 1, a broadcast program recognition system based on image recognition includes a broadcast output device 100, a user terminal 200, and a service server 300.

방송 출력 기기(100)는 방송사로부터 현재 방송되는 방송 프로그램을 선택된 채널에 대응하여 실시간 방송 출력한다. 즉, 방송 정보가 화면을 통해 표시출력됨과 더불어, 방송 화면에 대응되는 음성이 출력된다.The broadcast output device 100 outputs a broadcast program currently broadcast from a broadcaster in real time in response to a selected channel. That is, broadcast information is displayed and output through a screen, and a voice corresponding to the broadcast screen is output.

이러한 방송 출력 기기(100)는 TV를 포함하여 실시간으로 방송사에서 방송하는 프로그램을 출력하는 각종 형태의 기기가 될 수 있다.The broadcast output device 100 may be various types of devices that output a program broadcasted by a broadcaster in real time, including a TV.

사용자 단말(200)에는 AR(증강 현실) 어플리케이션이 설치되고, AR 어플리케이션의 실행에 따라 방송 출력 기기(100)에서 출력되는 방송을 인식하여, 인식된 방송 정보를 이용하여 AR 서비스를 제공한다.An AR (augmented reality) application is installed in the user terminal 200, and a broadcast output from the broadcast output device 100 is recognized according to execution of the AR application, and an AR service is provided using the recognized broadcast information.

이때, 사용자 단말(200)은 AR 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 출력되는 방송 영상에서 다수의 방송 화면을 수집하고, 다수의 방송 화면으로부터 특징 정보를 추출하여 추출된 특징 정보와 방송 화면 수집 시간을 포함하는 방송 프로그램 인식 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 방송 프로그램을 이용하여 AR 서비스를 제공한다. At this time, the user terminal 200 drives the camera according to the execution of the AR application to collect a plurality of broadcast screens from the broadcast image output from the broadcast output device, extracts feature information from the plurality of broadcast screens, and extracts feature information and In addition to transmitting broadcast program recognition request information including broadcast screen collection time to the service server, AR service is provided using a broadcast program authorized from the service server.

이러한 사용자 단말(200)은 카메라 및 영상처리수단과 화면 표시수단을 구비하는 스마트 폰이나 태블릿 PC 를 포함하는 각종 무선통신단말이 될 수 있다.The user terminal 200 may be various wireless communication terminals including a smart phone or tablet PC having a camera and image processing means and a screen display means.

서비스 서버(300)는 AR 어플리케이션을 서비스를 요구하는 사용자 단말(200)로 제공하고, AR 어플리케이션과 연동하여 사용자 단말(200)로부터 인가되는 방송 화면의 특징 객체정보에 대응하는 방송 정보를 확인하여 해당 방송 정보를 해당 사용자 단말(200)로 제공한다.The service server 300 provides the AR application to the user terminal 200 requesting the service, and checks the broadcast information corresponding to the characteristic object information of the broadcast screen applied from the user terminal 200 by interworking with the AR application. Broadcast information is provided to the user terminal 200.

이때, 서버스 서버(300)는 각 방송사와 연동하여 현재 시간에 방송되는 방송 프로그램정보를 제공받을 수 있다. In this case, the servers server 300 may interlock with each broadcaster to receive broadcast program information broadcasted at the current time.

또한, 서비스 서버(300)는 시간별 방송 프로그램과, 방송 프로그램별 특징정보를 미리 등록하고, 사용자 단말(200)로부터 인가되는 텍스트 또는 객체 중 적어도 하나를 포함하는 특징 정보와, 특징 정보가 추출된 화면에 대응되는 방송 화면 수집 시간을 근거로 기 등록된 방송 프로그램을 검색하여 특징 정보에 대응되는 방송 정보를 해당 사용자 단말(200)로 전송한다.In addition, the service server 300 pre-registers a broadcast program for each time and feature information for each broadcast program, and features information including at least one of a text or an object applied from the user terminal 200, and a screen from which the feature information is extracted. Based on the broadcast screen collection time corresponding to, the previously registered broadcast program is searched and broadcast information corresponding to the feature information is transmitted to the corresponding user terminal 200.

여기서, 서비스 서버(300)는 방송 프로그램에 대한 특징 정보로서, 텍스트만 저장하거나, 객체만 저장하거나 또는 텍스트와 객체정보 모두를 저장할 수 있으며, 객체 정보는 해당 방송 프로그램에 출연하는 출연자를 포함하고, 방송 시간 단위로 화면에 방송되는 출원자 정보가 저장될 수 있다. Here, the service server 300 may store only text, only objects, or both text and object information as characteristic information on the broadcast program, and the object information includes performers appearing in the broadcast program, Applicant information broadcasted on the screen in units of broadcast time may be stored.

즉, 하나의 방송 프로그램에 대해 전체 출연자를 포함한 객체 정보가 저장되거나, 또는 하나의 방송 프로그램에 대해 일정 방송 시간 단위로 해당 시간에 방송 화면상에 출력되는 출연자를 포함한 객체 정보가 저장될 수 있다. 이는 하나의 방송 프로그램에서 다양한 텍스트 정보(방송 프로그램 명)가 출력되는 경우를 고려하여 객체 정보와 동일하게 적용하여 저장될 수 있다. That is, object information including all performers may be stored for one broadcast program, or object information including performers displayed on a broadcast screen at a corresponding time in a predetermined broadcast time unit for one broadcast program may be stored. This may be applied and stored in the same manner as object information in consideration of a case where various text information (broadcast program name) is output from one broadcast program.

도2는 도1에 도시된 사용자 단말(200)을 기능적으로 분리하여 나타낸 블록구성도이다.FIG. 2 is a block diagram showing a functionally separated user terminal 200 shown in FIG. 1.

도2를 참조하면, 사용자 단말(200)은 통신부(210)와, 영상 인식부(220), 특징 정보 추출부(230), AR 서비스부(240) 및, 데이터 메모리(250)를 포함한다.Referring to FIG. 2, the user terminal 200 includes a communication unit 210, an image recognition unit 220, a feature information extraction unit 230, an AR service unit 240, and a data memory 250.

통신부(210)는 서비스 서버(300)와 방송 프로그램 관련 정보를 송수신한다. 통신부(210)는 서비스 서버(300)로 특징 정보를 전송하고, 서비스 서버(300)로부터 이에 대응하는 방송 정보를 수신한다.The communication unit 210 transmits and receives information related to a broadcast program with the service server 300. The communication unit 210 transmits feature information to the service server 300 and receives broadcast information corresponding thereto from the service server 300.

영상 인식부(220)는 카메라를 구동하여 방송 출력기기(100)로부터 현재 표시 출력되는 방송 영상을 수집한다. 이때, 영상 인식부(220)는 카메라를 통해 일정 시간 단위로 다수의 방송 영상 화면을 촬영하여 수집할 수 있다.The image recognition unit 220 drives a camera to collect a broadcast image currently displayed and output from the broadcast output device 100. In this case, the image recognition unit 220 may capture and collect a plurality of broadcast image screens at a predetermined time unit through the camera.

즉, 영상 수집부(220)는 카메라를 실행 상태로 설정한 상태에서, 표시창을 통해 카메라를 통해 인식되는 화면을 표시출력한다.That is, the image collection unit 220 displays a screen recognized by the camera through the display window while setting the camera to the running state.

이때, 사용자 단말(200)의 표시창에는 도3에 도시된 바와 같이, 방송 화면 표시 영역(201)을 출력하고, 방송 출력 기기(100)로부터 표시 출력되는 방송 화면(101)을 방송 화면 표시 영역(201)내에 위치시킴으로써, 일정 시간 동안 방송되는 방송 영상의 방송 화면(101)을 수집할 수 있다.In this case, as shown in FIG. 3, the broadcast screen display area 201 is output on the display window of the user terminal 200, and the broadcast screen 101 displayed and output from the broadcast output device 100 is displayed in the broadcast screen display area ( By positioning within 201), it is possible to collect the broadcast screen 101 of the broadcast video that is broadcast for a certain time.

특징 정보 추출부(230)는 상기 영상 수집부(222)에서 수집된 방송 화면에서 해당 방송 프로그램을 인식하기 위한 기 설정된 특징 정보를 추출한다.The feature information extracting unit 230 extracts preset feature information for recognizing a corresponding broadcast program from the broadcast screen collected by the image collecting unit 222.

이때, 특징 정보 추출부(230)는 텍스트 추출 모듈(231)과 객체 추출 모듈(232) 중 하나 또는 이들 모두를 포함하여 구성될 수 있다. In this case, the feature information extraction unit 230 may be configured to include one or both of the text extraction module 231 and the object extraction module 232.

즉, 방송 화면에서 추출되는 특징정보로서, 텍스트만을 추출하거나, 객체만을 추출하거나, 또는 텍스트와 객체를 모두 추출할 수 있으며, 텍스트가 추출되지 않는 경우에 한하여 객체를 추출할 수 있다. That is, as feature information extracted from a broadcast screen, only text, only objects, or both text and objects can be extracted, and objects can be extracted only when text is not extracted.

텍스트 추출 모듈(231)은 방송 전체 화면에서 텍스트를 추출하기 위하여 기 설정된 위치의 관심 영역을 추출하고, 관심 영역내에 존재하는 텍스트를 추출한다. The text extracting module 231 extracts a region of interest at a preset location to extract text from the entire broadcast screen, and extracts text existing in the region of interest.

일반적으로 현재 대한민국에서 방송되고 있는 프로그램의 화면정보를 일측 상단, 예컨대 오른쪽 또는 왼쪽 모서리에는 일정 크기로 방송사 로그 또는 현재 방송되고 있는 프로그램 명이나, 이후 방송 예정인 프로그램 명, 또는 새롭게 방영될 프로그램 명등의 방송사를 인지할 수 있는 텍스트 정보가 표시출력된다. 도3에는 우 방송 화면(101)의 우 상단 영역에 방송사 로고가 출력되는 형상이 예시되어 있다. In general, the screen information of the program currently being broadcast in Korea is displayed at the top of one side, for example, in the right or left corner, in a broadcaster log with a certain size, or the name of the program currently being broadcast, the name of the program scheduled to be broadcast later, or the name of the program to be broadcast Text information that can be recognized is displayed. 3 illustrates a shape in which a broadcaster logo is displayed on the upper right area of the right broadcast screen 101.

이를 고려하여, 텍스트 추출 모듈(231)은 도4에 도시된 바와 같이 방송 전체 화면(101)에서 엣지 디텍션 방식을 이용하여 우 상단 또는 좌 상단의 모서리 영역을 추출하고, 모서리를 기준으로 모서리에 인접하는 일정 크기의 관심 영역(102,103)을 추출하며, 추출된 관심 영역에서 프로그램 명에 해당하는 텍스트 정보를 획득한다.In consideration of this, the text extraction module 231 extracts the upper right or upper left corner area from the entire broadcast screen 101 using an edge detection method as shown in FIG. 4, and is adjacent to the corner based on the corner. The regions of interest 102 and 103 having a predetermined size are extracted, and text information corresponding to the program name is obtained from the extracted regions of interest.

이때, 텍스트 추출 모듈(231)은 해당 방송 화면에서 텍스트 정보가 추출되지 않는 경우, 다른 방송 화면에서 텍스트 정보가 추출되는 때까지 동일하게 텍스트 정보 추출동작을 수행한다. In this case, when text information is not extracted from a corresponding broadcast screen, the text extracting module 231 similarly performs text information extraction until text information is extracted from another broadcast screen.

또한, 텍스트 추출 모듈(231)은 방송 출력 기기(100) 상단의 양 모서리를 기준으로 추출된 일정 영역의 관심 영역에서 텍스트를 추출함에 있어서, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되는 경우에는 해당 텍스트정보를 특징 정보로서 설정하고, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되지 않는 경우에 한하여 제2 모서리 기준의 제2 관심 영역에서 텍스트 인식을 수행하여 해당 텍스트정보를 특징정보로서 설정할 수 있다. In addition, the text extraction module 231 extracts text from a region of interest of a predetermined region extracted based on both corners of the upper end of the broadcast output device 100, wherein the text is recognized in the first region of interest based on the first corner. In this case, the text information is set as feature information, and only when the text is not recognized in the first region of interest based on the first corner, text recognition is performed in the second region of interest based on the second corner to characterize the text information. It can be set as information.

한편, 객체 추출 모듈(232)은 방송 전체 화면에서 일정 형상을 갖는 객체를 추출한다. 객체로서는 해당 프로그램에 등장하는 출연자 또는 사물을 포함할 수 있다. Meanwhile, the object extraction module 232 extracts an object having a predetermined shape from the entire broadcast screen. The object may include performers or objects appearing in the program.

이때, 객체 추출모듈(232)은 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출하되, 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 제1 객체가 추출되지 않는 경우 다수의 방송 화면을 비교하여 차량이나 동물을 포함하는 움직이는 객체를 제2 객체로서 추출하며, 제2 객체가 추출되지 않는 경우 가구나 나무 등의 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출할 수 있다.At this time, the object extraction module 232 extracts the entire broadcast screen as a region of interest, extracts object information having a certain shape from the region of interest, and performs face recognition in the region of interest to determine the performer output from the broadcast screen as a first object And, if the first object is not extracted, a moving object including a vehicle or animal is extracted as a second object by comparing a plurality of broadcast screens, and if the second object is not extracted, from a broadcast screen such as furniture or trees. The output fixed object may be extracted as a third object.

즉, 객체 추출모듈(232)은 출연자나 움직이는 객체 또는 고정 객체 중 하나를 특징 정보로서 결정할 수 있다. That is, the object extraction module 232 may determine one of a performer, a moving object, or a fixed object as feature information.

또한, 객체 추출모듈(232)은 얼굴 인식 알고리즘을 이용하여 출연자를 추출할 수 있으며, 얼굴 인식된 추출된 모든 출연자의 얼굴정보를 객체 정보로 설정하거나 또는 다수의 수집 화면에서 인식된 얼굴 중 다수 회 추출된 얼굴 정보 순으로 정렬하여 일정 개수 미만의 출연자 정보를 객체 정보로 설정할 수 있다.In addition, the object extraction module 232 may extract the performers using a face recognition algorithm, and set the face information of all the extracted performers with face recognition as object information, or multiple times among faces recognized in a plurality of collection screens. By sorting in the order of extracted face information, information on performers less than a certain number can be set as object information.

또한, 객체 추출모듈(232)는 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출하여, 제1 내지 제3 객체 모두를 특징 정보로서 설정할 수 있다.In addition, the object extraction module 232 extracts the performer output from the broadcast screen as a first object by performing face recognition in the region of interest, and extracts a moving object as a second object by comparing a plurality of broadcast screens. The fixed object output from is extracted as a third object, and all of the first to third objects may be set as feature information.

이때, 서비스 서버(300)는 방송 프로그램별 객체 정보에 대해, 출연자, 움직이는 객체, 고정 객체별로 해당 정보가 각각 저장되는 것이 바람직하다. In this case, it is preferable that the service server 300 stores the object information for each broadcast program for each performer, a moving object, and a fixed object.

AR 서비스부(240)는 현재 방송 출력기기(100)를 통해 방송되는 방송 정보를 이용하여 서비스 프로그램에 따른 각종 AR 서비스를 제공한다. The AR service unit 240 provides various AR services according to a service program by using broadcast information currently broadcast through the broadcast output device 100.

예컨대, 방송 정보를 이용한 AR 서비스로는 시청하고 있는 드라마에서 제공되는 가구나 출연자가 입고 있는 옷 또는 가방 등의 정보를 제공할 수 있다. For example, as an AR service using broadcast information, information such as furniture provided in a drama being watched or clothes or bags worn by performers may be provided.

데이터 메모리(250)는 서비스 서버(300)로부터 제공받은 AR 어플리케이션을 포함하여 방송 프로그램 AR 서비스 제공을 위한 각종 정보가 저장된다.The data memory 250 stores various types of information for providing an AR service for a broadcast program including an AR application provided from the service server 300.

이어, 도5를 참조하여 본 발명에 따른 영상 인식 기반의 방송 프로그램 인식 시스템의 동작을 설명한다.Next, the operation of the broadcast program recognition system based on image recognition according to the present invention will be described with reference to FIG. 5.

먼저, 서비스 서버(300)에 각 방송사로부터 제공받은 방송 프로그램 정보가 미리 등록되고, 시간대별 방송 프로그램과, 방송 프로그램별 텍스트 정보 또는 객체 정보를 포함하는 특징 정보가 저장된다. 이때, 객체정보는 출연자(사람), 움직이는 객체, 고정 객체로 객체 종류로 구분되어 저장될 수 있다. First, broadcast program information provided from each broadcaster is registered in the service server 300 in advance, and feature information including broadcast programs for each time slot and text information or object information for each broadcast program is stored. In this case, the object information may be classified into an object type and stored as a performer (person), a moving object, and a fixed object.

그리고, 사용자 단말(200)은 서비스 서버(300)로 AR 서비스를 위해 AR 어플리케이션을 다운 받아 설치한다(ST100, ST200).Then, the user terminal 200 downloads and installs an AR application for AR service to the service server 300 (ST100, ST200).

사용자 단말(200)에 설치된 AR 어플리케이션이 실행된 상태에서, 사용자 단말(200)은 카메라를 실행상태로 설정하고, 카메라를 통해 인식되는 영상을 표시출력한다. 이때, 사용자 단말(200)의 표시창에는 도3과 같이 방송 화면 표시 영역(201)이 출력되고, 사용자가 사용자 단말(200)에 구비된 카메라의 위치를 방송 출력 기기(100)가 촬영되도록 설정하여 방송 출력 기기(100)가 표시창에 출력되는영상 표시 영역에 포함되는 경우, 카메라를 통해 촬영 처리를 수행함으로써, 방송 영상을 수집한다(ST300).While the AR application installed in the user terminal 200 is running, the user terminal 200 sets the camera to the running state and displays an image recognized through the camera. At this time, the broadcast screen display area 201 is output on the display window of the user terminal 200 as shown in FIG. 3, and the user sets the location of the camera provided in the user terminal 200 so that the broadcast output device 100 is photographed. When the broadcast output device 100 is included in the image display area output on the display window, the broadcast image is collected by performing a photographing process through the camera (ST300).

여기서, 방송 영상의 수집은 방송 화면 표시 영역이 클리어되는 때까지 일정 시간, 예컨대 3초 이상 수행할 수 있다. Here, the collection of broadcast images may be performed for a predetermined period of time, for example, 3 seconds or longer until the broadcast screen display area is cleared.

그리고, 사용자 단말(200)은 수집된 방송 영상을 일정 시간 단위로 캡쳐함으로써, 다수의 방송 화면을 생성한다(ST400). 이때, 카메라는 상기 ST300 단계에서 일정 시간 단위로 촬영동작을 수행하여 다수의 방송 화면을 획득할 수 있다. Then, the user terminal 200 generates a plurality of broadcast screens by capturing the collected broadcast images in a predetermined time unit (ST400). In this case, the camera may acquire a plurality of broadcast screens by performing a photographing operation in a predetermined time unit in step ST300.

이어, 사용자 단말(200)은 방송 화면에서 해당 방송을 인식하기 위한 특징 정보를 추출하고, 특징 정보 및 방송 시간을 포함하는 방송 프로그램 요청정보를 서비스 서버(300)로 전송한다(ST500, ST600).Subsequently, the user terminal 200 extracts feature information for recognizing the broadcast from the broadcast screen, and transmits broadcast program request information including feature information and broadcast time to the service server 300 (ST500, ST600).

사용자 단말(200)은 방송 화면에서 관심 영역을 추출하고, 추출된 관심 영역내에서 텍스트 정보 또는 객체 정보 또는 이들 모두를 추출한다.The user terminal 200 extracts a region of interest from the broadcast screen, and extracts text information or object information, or both, from the extracted region of interest.

이때, 사용자 단말(200)은 방송 화면 상단의 제1 모서리와 제2 모서리에서 동시에 제1 및 제2 관심영역을 추출하고, 이로부터 텍스트 인식처리를 수행할 수 있다. In this case, the user terminal 200 may simultaneously extract the first and second ROI from the first and second corners of the top of the broadcast screen, and perform text recognition processing therefrom.

또한, 대부분의 방송사에서 방송사 로고 또는 방송 프로그램명을 광고하는 영역이 제1 모서리인 경우, 제1 모서리의 제1 관심영역에서 텍스트가 추출되지 않는 경우에 한하여 제2 모서리의 제2 관심영역에 대한 텍스트 추출동작을 수행하도록 실시할 수 있다.In addition, in most broadcasters, when an area advertising a broadcaster logo or program name is the first corner, the second region of interest of the second corner is only when text is not extracted from the first region of interest of the first corner. It can be implemented to perform a text extraction operation.

한편, 사용자 단말 (200)은 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출한다.Meanwhile, the user terminal 200 extracts the entire broadcast screen as an ROI, and extracts object information having a predetermined shape from the ROI.

이때, 사용자 단말(200)은 관심 영역에서 얼굴 인식을 수행하고 출연자를 제1 객체로서 추출할 수 있으며, 얼굴 인식이 이루어지지 않는 경우, 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 움직이는 객체가 존재하지 않는 경우, 고정 객체를 제3 객체로서 추출할 수 있다. At this time, the user terminal 200 may perform face recognition in the region of interest and extract the performer as a first object. When face recognition is not performed, the moving object is extracted as a second object by comparing multiple broadcast screens. And, when there is no moving object, the fixed object may be extracted as a third object.

또한, 사용자 단말(200)은 제1 객체가 다수 추출되는 경우, 다수의 방송 화면에서 제1 객체의 추출 횟수를 카운트하고, 카운트 횟수가 많은 순으로 일정 수의 출연자 정보를 특징 객체로 설정할 수 있다. 이는 제2 및 제3 객체에 대해서도 동일하게 적용하여 특징 객체를 설정한다.In addition, when a plurality of first objects are extracted, the user terminal 200 may count the number of times the first object is extracted from a plurality of broadcast screens, and set a certain number of performer information as a feature object in the order of the number of counts. . This applies equally to the second and third objects to set the feature object.

또한, 객체정보는 하나의 방송 프로그램 요청정보에 대해 제1 내지 제3 객체 모두가 포함될 수 있다. Also, the object information may include all of the first to third objects for one broadcast program request information.

바람직하게는 텍스트 정보가 추출되지 않는 경우에 한하여, 객체 정보를 추출하도록 실시할 수 있다.Preferably, object information may be extracted only when text information is not extracted.

서비스 서버(300)는 상기 사용자 단말(200)로부터 인가되는 방송 프로그램 요청정보에서 방송 시간에 대응되는 방송 프로그램을 검색함과 더불어, 검색된 방송 프로그램에 대해 기 등록된 객체정보와 방송 프로그램 요청정보에서 포함된 특징 정보를 비교하여 특징 정보에 대응되는 방송 프로그램을 결정한다(ST700).The service server 300 searches for a broadcast program corresponding to the broadcast time from the broadcast program request information applied from the user terminal 200, and includes object information and broadcast program request information previously registered for the searched broadcast program. A broadcast program corresponding to the feature information is determined by comparing the generated feature information (ST700).

서비스 서버(300)는 상기 ST700 단계에서 결정된 방송 프로그램 정보를 해당 스마트폰(800)으로 전송하고(ST800), 사용자 단말(800)은 수신된 방송 프로그램 정보를 이용하여 사용자에 의해 선택된 AR 서비스를 수행한다(ST900). The service server 300 transmits the broadcast program information determined in step ST700 to the corresponding smartphone 800 (ST800), and the user terminal 800 performs the AR service selected by the user using the received broadcast program information. Do (ST900).

한편, 본 발명에 있어서는 상기 ST800 단계에서 서비스 서버(300)는 해당 방송 프로그램에 대응되는 AR 서비스를 위한 컨텐츠정보를 해당 사용자 단말(200)로 전송하여 사용자 단말(200)에 설치된 AR 어플리케이션에 의해 해당 컨텐츠에 대한 AR 서비스가 수행될 수 있다. On the other hand, in the present invention, in the step ST800, the service server 300 transmits content information for an AR service corresponding to the broadcast program to the user terminal 200 and corresponds to the AR application installed in the user terminal 200. AR service for content may be performed.

즉, 사용자 단말(200)은 GPS 수신기 등을 이용하여 자신의 현재 위치정보를 추가로 획득하여, 다수의 방송 화면으로부터 추출된 특징 정보와 방송 화면 수집 시간 및 위치정보를 포함하는 AR 컨텐츠 요청정보를 서비스 서버(300)로 전송하고, 이에 대해 서비스 서버(300)로부터 인가되는 AR 컨텐츠 정보를 이용하여 AR 서비스를 제공한다.That is, the user terminal 200 additionally acquires its own current location information using a GPS receiver, etc., and provides AR content request information including feature information extracted from a plurality of broadcast screens and broadcast screen collection time and location information. It transmits to the service server 300 and provides an AR service using AR content information that is authorized from the service server 300 for this.

그리고, 서비스 서버(300)는 방송 프로그램별 사용자 위치에 따른 서로 다른 AR 컨텐츠정보를 미리 등록 저장하고, 사용자 단말로부터 인가되는 AR 컨텐츠 요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말(200)로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 프로그램을 검색함과 더불어, 검색된 방송 프로그램에 대해 사용자 위치에 대응하는 AR 컨텐츠정보를 호출하여 해당 사용자 단말(200)로 전송한다. In addition, the service server 300 pre-registers and stores different AR content information according to the user location for each broadcast program, and based on the AR content request information applied from the user terminal, the feature information of the broadcast program corresponding to the broadcast time and the user The user terminal 200 searches for a broadcast program corresponding to the feature information requested by the user by comparing the feature information received from the terminal 200, and calls AR content information corresponding to the user location for the searched broadcast program. Transfer to.

이때, 서비스 서버(300)는 방송 프로그램별 AR 서비스 종류와, AR 서비스 종류별 위치에 따른 서로 다른 AR 컨텐츠정보가 미리 등록 저장되고, 사용자 단말(200)은 AR 서비스 종류정보가 추가로 포함된 AR 컨텐츠 정보를 서비스 서버(300)로 전송하며, 서비스 서버(300)는 AR 서비스 종류에 대해 사용자 위치에 대응되는 AR 컨텐츠 정보를 해당 사용자 단말(200)로 전송할 수 있다. In this case, the service server 300 pre-registers and stores AR service types for each broadcast program and different AR content information according to locations for each AR service type, and the user terminal 200 additionally includes AR service type information. The information is transmitted to the service server 300, and the service server 300 may transmit AR content information corresponding to the user location for the AR service type to the corresponding user terminal 200.

예컨대, 서비스 서버(300)는 A 드라마에 대해 서울 지역의 사용자 단말(200)로는 서울 지역 관련 AR 정보(예컨대 광고 또는 서울 지역 할인 쿠폰 등)를 전송하고, 동일한 A 드라마에 대해 부산 지역의 사용자 단말(200)로는 부산 지역 관련 AR정보를 전송한다. For example, the service server 300 transmits AR information related to Seoul to the user terminal 200 in the Seoul area for drama A (eg, advertisement or discount coupon for the Seoul area), and the user terminal in the Busan area for the same drama A To 200, AR information related to the Busan area is transmitted.

100 : 방송출력기기, 200 : 사용자 단말,
210 : 통신부, 220 : 영상 수집부,
230 : 특징정보 추출부, 231 : 텍스트 추출모듈,
232 : 객체 추출모듈, 240 : AR 서비스부,
250 : 데이터메모리, 300 : 서비스 서버.
100: broadcast output device, 200: user terminal,
210: communication unit, 220: image collection unit,
230: feature information extraction unit, 231: text extraction module,
232: object extraction module, 240: AR service unit,
250: data memory, 300: service server.

Claims (6)

방송사에서 방송하는 방송 프로그램을 실시간 출력하는 방송 출력 기기와,
어플리케이션이 설치되고, 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 실시간 출력되는 방송 영상에서 다수의 방송 화면을 획득하고, 다수의 방송 화면으로부터 특징 정보를 추출하여 추출된 특징 정보와 방송 화면 수집 시간을 포함하는 방송 프로그램 인식 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 방송 정보를 이용하여 어플리케이션에서 제공하는 서비스를 제공하는 사용자 단말 및,
방송 시간별 방송 프로그램과, 방송 프로그램별 특징 정보가 등록 저장되고, 사용자 단말에서 실행되는 어플리케이션과 연동하여 사용자 단말로부터 인가되는 방송 프로그램 인식요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 정보를 검색하며, 검색된 방송 정보를 해당 사용자 단말로 전송하는 서비스 서버를 포함하여 구성되고,
방송 프로그램을 인식하기 위한 상기 특징 정보는 방송 화면상에 출력되는 방송사 로고 또는 방송 프로그램 명을 포함하는 텍스트 정보 이거나 방송 화면상에 출력되는 출연자 또는 사물을 포함하는 객체 정보로 구성되며,
상기 사용자 단말은 방송 출력 기기 상단의 양 모서리를 기준으로 방송 화면상의 일정 영역을 관심 영역으로 추출하여 텍스트를 인식하되, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되는 경우에는 해당 텍스트정보를 특징 정보로서 서비스 서버로 전송하고, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되지 않는 경우에 한하여 제2 모서리 기준의 제2 관심 영역에서 텍스트 인식을 수행하여 텍스트 정보를 추출하며,
상기 사용자 단말은 텍스트 정보가 추출되지 않는 경우에는 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출하되, 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 제1 객체가 추출되지 않는 경우 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 제2 객체가 추출되지 않는 경우 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출하고, 제1 내지 제3 객체 중 하나를 특징 정보로서 서비스 서버로 전송하는 것을 특징으로 하는 영상 인식 기반의 방송 프로그램 인식 시스템.
A broadcast output device that outputs a broadcast program broadcasted by a broadcaster in real time;
When the application is installed, the camera is driven according to the execution of the application to obtain multiple broadcast screens from the broadcast images output in real time from the broadcast output device, and extract feature information and broadcast screens by extracting feature information from multiple broadcast screens A user terminal that transmits broadcast program recognition request information including time to a service server, and provides a service provided by an application by using broadcast information authorized from the service server for this, and
Broadcast programs for each broadcast time and feature information for each broadcast program are registered and stored, and feature information of a broadcast program corresponding to the broadcast time and the user based on the broadcast program recognition request information that is applied from the user terminal in connection with an application executed in the user terminal Comprising a service server for comparing the feature information received from the terminal to search for broadcast information corresponding to the feature information requested by the user, and transmitting the searched broadcast information to the user terminal,
The characteristic information for recognizing a broadcast program is text information including a broadcaster logo or broadcast program name output on a broadcast screen, or consists of object information including a performer or object output on a broadcast screen,
The user terminal recognizes the text by extracting a certain area on the broadcast screen as a region of interest based on both corners of the top of the broadcast output device, but when the text is recognized in the first region of interest based on the first corner, the corresponding text information is Transmits as feature information to the service server, and extracts text information by performing text recognition in the second ROI based on the second corner only when the text is not recognized in the first ROI based on the first corner,
When the text information is not extracted, the user terminal extracts the entire broadcast screen as a region of interest, extracts object information having a certain shape from the region of interest, and performs face recognition in the region of interest to determine the performers output on the broadcast screen. It extracts as a first object, and if the first object is not extracted, a moving object is extracted as a second object by comparing multiple broadcast screens, and if the second object is not extracted, a fixed object output from the broadcast screen is selected as a third object. An image recognition-based broadcast program recognition system, comprising extracting as an object and transmitting one of the first to third objects as feature information to a service server.
방송사에서 방송하는 방송 프로그램을 실시간 출력하는 방송 출력 기기와,
AR 어플리케이션이 설치되고, AR 어플리케이션의 실행에 따라 카메라를 구동하여 방송 출력 기기에서 실시간 출력되는 방송 영상에서 다수의 방송 화면을 획득함과 더불어, 자신의 위치정보를 획득하며, 다수의 방송 화면으로부터 추출된 특징 정보와 방송 화면 수집 시간 및 위치정보를 포함하는 AR 컨텐츠 요청정보를 서비스 서버로 전송함과 더불어, 이에 대해 서비스 서버로부터 인가되는 AR 컨텐츠 정보를 이용하여 AR 서비스를 제공하는 사용자 단말 및,
방송 시간별 방송 프로그램과, 방송 프로그램별 특징 정보가 등록 저장됨과 더불어, 방송 프로그램별 위치에 따른 서로 다른 AR 컨텐츠정보가 등록 저장되고, 사용자 단말에서 실행되는 AR 어플리케이션과 연동하여 사용자 단말로부터 인가되는 AR 컨텐츠 요청정보를 근거로 방송 시간에 해당하는 방송 프로그램의 특징 정보와 사용자 단말로부터 수신된 특징 정보를 비교하여 사용자가 요청한 특징 정보에 대응하는 방송 프로그램을 검색하며, 검색된 방송 프로그램에 대해 사용자 위치에 대응하는 AR 컨텐츠정보를 해당 사용자 단말로 전송하는 서비스 서버를 포함하여 구성되고,
방송 프로그램을 인식하기 위한 상기 특징 정보는 방송 화면상에 출력되는 방송사 로고 또는 방송 프로그램 명을 포함하는 텍스트 정보 이거나 방송 화면상에 출력되는 출연자 또는 사물을 포함하는 객체 정보로 구성되며,
상기 사용자 단말은 방송 화면에서 방송 출력 기기 상단의 양 모서리를 기준한 일정 영역을 관심 영역으로 추출하여 텍스트를 인식하되, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되는 경우에는 해당 텍스트정보를 특징 정보로서 서비스 서버로 전송하고, 제1 모서리 기준의 제1 관심 영역에서 텍스트가 인식되지 않는 경우에 한하여 제2 모서리 기준의 제2 관심 영역에서 텍스트 인식을 수행하여 텍스트 정보를 추출하며,
상기 사용자 단말은 텍스트 정보가 추출되지 않는 경우에는 방송 화면 전체를 관심 영역으로 추출하고, 관심 영역에서 일정 형상을 갖는 객체 정보를 추출하되, 관심 영역에서 얼굴 인식을 수행하여 방송 화면에서 출력되는 출연자를 제1 객체로서 추출하고, 제1 객체가 추출되지 않는 경우 다수의 방송 화면을 비교하여 움직이는 객체를 제2 객체로서 추출하며, 제2 객체가 추출되지 않는 경우 방송 화면에서 출력되는 고정 객체를 제3 객체로서 추출하고, 제1 내지 제3 객체 중 하나를 특징 정보로서 서비스 서버로 전송하는 것을 특징으로 하는 영상 인식 기반의 방송 프로그램 인식 시스템.
A broadcast output device that outputs a broadcast program broadcasted by a broadcaster in real time;
The AR application is installed, and the camera is driven according to the execution of the AR application to acquire multiple broadcast screens from the broadcast images output in real time from the broadcast output device, acquires own location information, and extracts from multiple broadcast screens. A user terminal that transmits AR content request information including the received feature information and broadcast screen collection time and location information to the service server, and provides AR services using AR content information authorized from the service server for this,
In addition to the registration and storage of broadcasting programs by broadcasting time and characteristic information by broadcasting programs, different AR content information according to the location of each broadcasting program is registered and stored, and AR content approved from the user terminal by interlocking with the AR application executed in the user terminal Based on the request information, the feature information of the broadcast program corresponding to the broadcast time and feature information received from the user terminal are compared to search for a broadcast program corresponding to the feature information requested by the user, and the searched broadcast program corresponding to the user location It is configured to include a service server that transmits AR content information to a corresponding user terminal,
The characteristic information for recognizing a broadcast program is text information including a broadcaster logo or broadcast program name output on a broadcast screen, or consists of object information including a performer or object output on a broadcast screen,
The user terminal extracts a certain area based on both corners of the top of the broadcast output device from the broadcast screen as an ROI and recognizes the text, but when the text is recognized in the first ROI based on the first corner, the corresponding text information is Transmits as feature information to the service server, and extracts text information by performing text recognition in the second ROI based on the second corner only when the text is not recognized in the first ROI based on the first corner,
When the text information is not extracted, the user terminal extracts the entire broadcast screen as a region of interest, extracts object information having a certain shape from the region of interest, and performs face recognition in the region of interest to determine the performers output on the broadcast screen. It extracts as a first object, and if the first object is not extracted, a moving object is extracted as a second object by comparing multiple broadcast screens, and if the second object is not extracted, a fixed object output from the broadcast screen is selected as a third object. An image recognition-based broadcast program recognition system, comprising extracting as an object and transmitting one of the first to third objects as feature information to a service server.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020190027995A 2019-03-12 2019-03-12 System for recognizing broadcast program based on image recognition KR102208916B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190027995A KR102208916B1 (en) 2019-03-12 2019-03-12 System for recognizing broadcast program based on image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027995A KR102208916B1 (en) 2019-03-12 2019-03-12 System for recognizing broadcast program based on image recognition

Publications (2)

Publication Number Publication Date
KR20200109032A KR20200109032A (en) 2020-09-22
KR102208916B1 true KR102208916B1 (en) 2021-01-27

Family

ID=72706742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027995A KR102208916B1 (en) 2019-03-12 2019-03-12 System for recognizing broadcast program based on image recognition

Country Status (1)

Country Link
KR (1) KR102208916B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299565B1 (en) * 2021-04-27 2021-09-08 (주)비코 Method for real time person object cognition and real time image processing on real time broadcasting image and apparatus for performing the method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397453B1 (en) * 2013-12-24 2014-05-20 렉스젠(주) System for monitoring an image and method thereof
KR101850482B1 (en) * 2016-10-27 2018-04-19 주식회사 씨제이헬로 System and method for providing providing augmented reality service associated with broadcasting

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120036494A (en) * 2010-10-08 2012-04-18 에스케이플래닛 주식회사 Method and system for providing real-time broadcasting information
KR102157313B1 (en) * 2013-09-03 2020-10-23 삼성전자주식회사 Method and computer readable recording medium for recognizing an object using a captured image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397453B1 (en) * 2013-12-24 2014-05-20 렉스젠(주) System for monitoring an image and method thereof
KR101850482B1 (en) * 2016-10-27 2018-04-19 주식회사 씨제이헬로 System and method for providing providing augmented reality service associated with broadcasting

Also Published As

Publication number Publication date
KR20200109032A (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US9788065B2 (en) Methods and devices for providing a video
CN108737882B (en) Image display method, image display device, storage medium and electronic device
CN104012106B (en) It is directed at the video of expression different points of view
CN111897507B (en) Screen projection method and device, second terminal and storage medium
US20120272279A1 (en) Apparatus for providing internet protocol television broadcasting contents, user terminal and method for providing internet protocol television broadcasting contents information
US20050262548A1 (en) Terminal device, contents delivery system, information output method and information output program
EP2999232A1 (en) Media playing method, device and system
CN103581705A (en) Method and system for recognizing video program
KR101850482B1 (en) System and method for providing providing augmented reality service associated with broadcasting
KR20150083355A (en) Augmented media service providing method, apparatus thereof, and system thereof
US20120331514A1 (en) Method and apparatus for providing image-associated information
CN102917247A (en) Method for automatically recognizing television channel and television program
CN103945234A (en) Video-related information providing method and device
KR20120118144A (en) Apparatus and method for capturing subject in photographing device
JP2006270869A (en) Associated information acquisition system and method, management apparatus, and associated information transmission program
US20150089527A1 (en) Viewing program identification system, method, and program
KR102208916B1 (en) System for recognizing broadcast program based on image recognition
KR20180025754A (en) Display apparatus and control method thereof
KR20120036494A (en) Method and system for providing real-time broadcasting information
CN104936003A (en) Screenshot method and screenshot device
KR101359286B1 (en) Method and Server for Providing Video-Related Information
KR20100116306A (en) Program rating research system and the research method
KR20160141087A (en) Providing system and method of moving picture contents for based on augmented reality location of multimedia broadcast scene
KR20150064613A (en) Video display device and operating method thereof
KR101536262B1 (en) Method for providing time machine advertisement based on smart-TV with logotional advertisement function

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant