KR20200091730A - Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements - Google Patents

Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements Download PDF

Info

Publication number
KR20200091730A
KR20200091730A KR1020190008885A KR20190008885A KR20200091730A KR 20200091730 A KR20200091730 A KR 20200091730A KR 1020190008885 A KR1020190008885 A KR 1020190008885A KR 20190008885 A KR20190008885 A KR 20190008885A KR 20200091730 A KR20200091730 A KR 20200091730A
Authority
KR
South Korea
Prior art keywords
image
target
advertisement
shot
information
Prior art date
Application number
KR1020190008885A
Other languages
Korean (ko)
Inventor
오강현
정동진
전성우
Original Assignee
주식회사 캐스트이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 캐스트이즈 filed Critical 주식회사 캐스트이즈
Priority to KR1020190008885A priority Critical patent/KR20200091730A/en
Publication of KR20200091730A publication Critical patent/KR20200091730A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/72—Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

An operation method of an image analysis device comprises the following steps of: storing shot information for each target image to be identified in a target image database; receiving a channel image transmitted from a target channel; sequentially detecting shots in the channel image and generating fingerprint information of each shot; grouping detected adjacent shots into a similar semantic group and extracting a sub-image composed of a plurality of shots; searching for a specific target image including shot fingerprint information that is the same as the sub-image or similar above standards in the target image database, and recording information that the specific target image is transmitted from the target channel at transmission time of the sub-image in a target image transmission timetable, wherein the shot information includes fingerprint information of shots constituting each image.

Description

샷 지문 정보를 기초로 영상 식별하는 방법 및 장치, 이를 이용한 광고 송출 시간표 제공 방법{METHOD AND APPARATUS FOR IDENTIFYING VIDEOS BASED ON SHOT FINGERPRINT INFORMATION, METHOD FOR PROVIDING ELECTRONIC PROGRAM GUIDE OF ADVERTISEMENTS}METHOD AND APPARATUS FOR IDENTIFYING VIDEOS BASED ON SHOT FINGERPRINT INFORMATION, METHOD FOR PROVIDING ELECTRONIC PROGRAM GUIDE OF ADVERTISEMENTS}

본 발명은 영상 식별 방법에 관한 것이다.The present invention relates to an image identification method.

TV를 통해 다양한 프로그램 및 광고가 송출된다. 사용자는 편성표를 비롯해, 케이블 및 IPTV의 전자 프로그램 정보(Electronic Program Guide, EPG)를 통해서 프로그램 정보를 획득할 수 있다. 그러나 EPG는 실제 송출과 차이가 있고 특히 프로그램과 프로그램 사이에 송출되는 수 많은 광고 정보까지 제공하지 않는다. 예를 들면, EPG는 프로그램 정보만을 포함하므로, 프로그램1이 저녁 9시30분에 종료되고, 이어서 프로그램2가 시작되는 것으로 표시되지만, 실제로 프로그램1은 9시30분에 정확히 끝나는 것이 아니라, 9시27분43초에 종료가 되고, 이후 몇몇 광고가 이어진 이후 9시30분12초에 프로그램2가 시작될 수 있다. 두 프로그램 사이의 약 2분30초 정도의 광고가 송출되나 현재의 EPG는 광고 정보를 제공하지 않는다. 즉, 각 채널은 프로그램과 광고가 모두 편성되어 있으나, 프로그램 편성 정보만 제공하는 것이 현재의 편성표이다. 즉, 현재의 편성표는 광고 정보의 공백을 갖고 있으며, 프로그램의 시작 및 종료 시각을 정확하게 알려주지 못하는 불완전함 내포한다.Various programs and advertisements are transmitted through TV. The user can obtain program information through an electronic program guide (EPG) of a cable and an IPTV, including a schedule. However, the EPG is different from the actual transmission, and does not even provide a lot of advertisement information, especially between programs. For example, the EPG contains only program information, so that Program 1 ends at 9:30 pm, followed by Program 2, but actually Program 1 does not end exactly at 9:30, but at 9 o'clock. The program ends at 27:43, and after a few advertisements, program 2 may start at 9:30:12. An advertisement of about 2 minutes and 30 seconds is sent between the two programs, but the current EPG does not provide advertisement information. That is, each channel has both a program and an advertisement, but the current schedule is to provide only program organization information. That is, the current schedule has a gap in advertisement information, and implies that it is impossible to accurately indicate the start and end times of the program.

광고는 프로그램과 프로그램 사이에 송출되는데, 시청률이 높은 프로그램일수록 광고 단가가 높다. 프로그램 시청률은 프로그램 전후 광고 또는 중간 광고 노출에 영향을 미치므로, 프로그램 시청률은 광고주에게 매우 중요하다. 그러나 일반적인 시청률 조사는 조사 지역을 대표할 수 있는 패널을 구축하고, 이들의 시청 기록을 바탕으로 모집단의 시청 행태를 추정하는 방식으로 이루어진다. 따라서, 프로그램 시청률은 추정되는 것이고, 시청률이 높은 프로그램의 전후에 삽입된 광고는 많은 사람들이 보는 것으로 추정할 수는 있으나, 정확한 것은 아니다. 시청자는 프로그램 사이의 짧은 시간 동안 채널을 돌려서 다른 프로그램을 본 후, 원하는 프로그램이 시작될 때 돌아올 수 있지만, 현재 일반적인 시청률 조사는 그런 채널 이동까지 책임지지 못한다. 또한 시청자가 시청 중인 프로그램이 종료되기 일정 시간 전에 다른 채널로 넘어가면 그 프로그램 뒤의 광고는 시청하지 않지만, 이를 시청률 조사가 반영하지 못한다. 결국 프로그램 시청률 조사만으로는 정확한 광고 시청 여부를 확인할 수 없다. 즉, 현재의 프로그램 편성표와 시청률 조사는 광고 가치를 정확하게 측정할 수 없는 한계가 있다.The advertisement is sent between the program and the program. The higher the rating, the higher the unit price of the advertisement. Since the program viewership rate affects the advertisement before or after the program, the audience rating of the program is very important to the advertiser. However, the general audience rating survey is done by constructing a panel that can represent the survey area and estimating the population's viewing behavior based on their viewing history. Therefore, the program viewing rate is estimated, and the advertisement inserted before and after the program having a high viewing rate can be estimated to be viewed by many people, but is not accurate. Viewers can turn the channel for a short time between programs to watch other programs, then return when the desired program starts, but the current general rating survey is not responsible for such channel movement. Also, if a viewer moves to another channel a certain time before the program being watched ends, the advertisement behind the program is not watched, but the audience rating survey does not reflect it. After all, it is not possible to confirm whether or not an accurate advertisement is viewed only by surveying the audience rating of the program. That is, current program schedules and audience rating surveys have limitations that cannot accurately measure advertising value.

본 발명이 해결하고자 하는 과제는 샷 지문 정보를 기초로 목표 영상(예를 들면, 광고 영상)을 식별하고, 이를 이용해 채널에서 송출되는 목표 영상 송출 시간표를 제공하는 방법 및 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method and apparatus for identifying a target image (for example, an advertisement image) based on the shot fingerprint information and using this to provide a target image transmission timetable transmitted from a channel.

또한, 본 발명이 해결하고자 하는 과제는 목표 영상 시청자 수를 계산하는 방법 및 장치를 제공하는 것이다.In addition, a problem to be solved by the present invention is to provide a method and apparatus for calculating the number of target video viewers.

한 실시예에 따른 영상 분석 장치의 동작 방법으로서, 식별하고자 하는 목표 영상별 샷 정보를 목표 영상 데이터베이스에 저장하는 단계, 타겟 채널에서 송출된 채널 영상을 입력받는 단계, 상기 채널 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성하는 단계, 검출한 인접 샷들을 유사 의미 집단으로 묶어 복수의 샷들로 구성된 서브 영상을 추출하는 단계, 상기 목표 영상 데이터베이스에서 상기 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 특정 목표 영상을 검색하는 단계, 그리고 상기 서브 영상의 송출 시간에 상기 타겟 채널에서 상기 특정 목표 영상이 송출된 정보를 목표 영상 송출 시간표에 기록하는 단계를 포함한다. 상기 샷 정보는 각 영상을 구성하는 샷들의 지문 정보를 포함한다.As an operation method of an image analysis apparatus according to an embodiment, storing shot information for each target image to be identified in a target image database, receiving a channel image transmitted from a target channel, and sequentially shot from the channel image Detecting, generating fingerprint information of each shot, grouping the detected adjacent shots into a similar semantic group, and extracting a sub-image composed of a plurality of shots, the same as or equal to or higher than the reference in the target image database Searching for a specific target image including shot fingerprint information, and recording information on the target channel that is transmitted from the target channel at the target channel transmission time at a transmission time of the sub-image. The shot information includes fingerprint information of shots constituting each image.

상기 샷 정보는 각 영상을 구성하는 샷의 개수인 샷 길이를 더 포함할 수 있다. 상기 특정 목표 영상을 검색하는 단계는 상기 목표 영상 데이터베이스에서 샷 길이가 상기 서브 영상과 동일하거나 기준 이상으로 유사한 후보 목표 영상들을 추출하고, 상기 후보 목표 영상들 중에서 샷 지문 정보가 상기 서브 영상과 동일하거나 기준 이상인 영상을 상기 특정 목표 영상으로 추출할 수 있다.The shot information may further include a shot length that is the number of shots constituting each image. The step of searching for the specific target image extracts candidate target images having a shot length equal to or greater than a reference from the target image database, and among the candidate target images, the shot fingerprint information is the same as the sub-image. An image above a standard may be extracted as the specific target image.

상기 동작 방법은 상기 목표 영상 데이터베이스에서 상기 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 목표 영상이 검색되지 않은 경우, 상기 서브 영상을 신규 영상 데이터베이스에 신규 영상으로 저장하는 단계, 그리고 판단 기준을 기초로 상기 신규 영상이 신규 목표 영상인지 판단하거나, 관리자로부터 상기 신규 영상을 신규 목표 영상으로 저장 지시를 입력받으면, 상기 목표 영상 데이터베이스에 상기 신규 영상을 목표 영상으로 저장하는 단계를 더 포함할 수 있다.The operation method includes the step of storing the sub-image as a new image in the new image database when the target image including shot fingerprint information that is the same as the sub-image or more than a reference is not found in the target image database. Further comprising the step of determining whether the new video is a new target video based on a criterion or receiving an instruction to store the new video as a new target video from the administrator, storing the new video as a target video in the target video database. Can.

상기 판단 기준은 상기 채널 영상에서 상기 신규 영상의 전 또는 후에 검출된 영상의 종류, 상기 신규 영상의 재생 시간, 그리고 상기 신규 영상의 샷 길이 중 적어도 하나를 포함할 수 있다.The determination criterion may include at least one of a type of an image detected before or after the new image in the channel image, a reproduction time of the new image, and a shot length of the new image.

상기 동작 방법은 채널별로 목표 영상들이 송출된 정보를 포함하는 상기 목표 영상 송출 시간표를 제공하는 단계를 더 포함할 수 있다.The operation method may further include providing the target image transmission timetable including information on which target images are transmitted for each channel.

상기 목표 영상 송출 시간표를 제공하는 단계는 각 채널에서 복수의 목표 영상들이 송출된 시간 구간을 표시하고, 상기 복수의 목표 영상들 중에서 선택된 목표 영상의 상세 정보를 표시하는 인터페이스 화면을 제공할 수 있다.The providing of the target image transmission timetable may provide an interface screen displaying a time period in which a plurality of target images are transmitted from each channel and displaying detailed information of a target image selected from the plurality of target images.

상기 동작 방법은 상기 타겟 채널의 시간에 따른 시청자 수를 획득하는 단계, 상기 타겟 채널의 목표 영상 송출 시간표와 상기 타겟 채널의 시간에 따른 시청자 수를 이용하여, 상기 타겟 채널에서 노출된 각 목표 영상의 시청자 수를 계산하는 단계, 그리고 각 목표 영상의 시청자 수를 출력하는 단계를 더 포함할 수 있다.The operation method includes acquiring the number of viewers according to the time of the target channel, and using the target image transmission timetable of the target channel and the number of viewers according to the time of the target channel, of each target image exposed in the target channel. The method may further include calculating the number of viewers, and outputting the number of viewers of each target image.

상기 타겟 채널의 시간에 따른 시청자 수는 상기 타겟 채널에 연결된 셋톱박스 수나 사용자 단말 수를 기초로 계산될 수 있다.The number of viewers over time of the target channel may be calculated based on the number of set top boxes or user terminals connected to the target channel.

상기 목표 영상은 광고 영상일 수 있다.The target video may be an advertising video.

다른 실시예에 따른 영상 분석 장치의 동작 방법으로서, 스트리밍 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성하는 단계, 상기 스트리밍 영상의 적어도 일부 구간을 유사한 인접 샷들로 묶어 복수의 서브 영상들로 구분하고, 각 서브 영상의 송출 시간을 확인하는 단계, 식별 광고 정보가 대응된 광고 영상들의 샷 지문 정보들과 각 서브 영상의 샷 지문 정보들을 비교하여 각 서브 영상에 해당하는 광고 정보를 식별하는 단계, 상기 복수의 서브 영상들 중에서 광고 정보가 식별된 서브 영상의 경우, 상기 식별된 서브 영상의 송출 시간에 식별된 광고 정보가 송출된 정보를 기록하는 단계, 그리고 상기 스트리밍 영상에서 식별된 광고 정보들이 송출된 시간 정보를 포함하는 광고 송출 시간표를 생성하는 단계를 포함한다.As an operation method of an image analysis apparatus according to another embodiment, sequentially detecting shots in a streaming image and generating fingerprint information of each shot, a plurality of sub-images are grouped by combining at least some sections of the streaming image with similar adjacent shots Steps to check the transmission time of each sub-image, identify the advertisement information corresponding to each sub-image by comparing the shot fingerprint information of the advertisement images corresponding to the identification advertisement information and the shot fingerprint information of each sub-image In the case of a sub-image in which advertisement information is identified among the plurality of sub-images, recording information in which the advertisement information identified at the transmission time of the identified sub-image is transmitted, and the advertisement identified in the streaming image. And generating an advertisement transmission timetable including time information from which the information was transmitted.

상기 동작 방법은 상기 복수의 서브 영상들 중에서 광고 정보가 식별되지 않은 서브 영상의 경우, 미식별 서브 영상을 신규 영상 데이터베이스에 신규 영상으로 저장하는 단계, 그리고 상기 신규 영상을 신규 식별 광고 정보에 대응시키고, 상기 신규 영상의 샷 지문 정보들을 광고 영상 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In the case of a sub-image in which advertisement information is not identified among the plurality of sub-images, the method of operation may include storing a sub-image for each food as a new image in a new image database, and corresponding the new image to the new identification advertisement information. The method may further include storing shot fingerprint information of the new image in an advertisement image database.

상기 광고 송출 시간표는 각 채널에서 복수의 광고 영상들이 송출된 시간 구간을 표시하고, 상기 복수의 광고 영상들 중에서 선택된 영상의 상세 정보를 표시하는 인터페이스 화면을 포함할 수 있다.The advertisement transmission timetable may include an interface screen displaying a time period in which a plurality of advertisement images are transmitted in each channel, and displaying detailed information of an image selected from the plurality of advertisement images.

상기 동작 방법은 상기 스트리밍 영상을 송출하는 채널의 시간에 따른 시청자 수를 획득하는 단계, 상기 광고 송출 시간표와 상기 채널의 시간에 따른 시청자 수를 이용하여, 상기 채널에서 노출된 각 광고 영상의 시청자 수를 계산하는 단계, 그리고 각 광고 영상의 시청자 수를 출력하는 단계를 더 포함할 수 있다.The operation method includes acquiring the number of viewers according to the time of the channel transmitting the streaming image, and using the advertisement transmission timetable and the number of viewers according to the time of the channel, the number of viewers of each advertisement image exposed in the channel Computing step, and may further include the step of outputting the number of viewers of each advertisement video.

상기 각 서브 영상에 해당하는 광고 정보를 식별하는 단계는 광고 영상들의 샷 지문 정보들을 포함하는 샷 정보를 광고 영상 데이터베이스에 저장하고, 상기 광고 영상 데이터베이스에서 각 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 특정 광고 영상을 검색할 수 있다.In the step of identifying advertisement information corresponding to each sub-image, shot information including shot fingerprint information of advertisement images is stored in an advertisement image database, and in the advertisement image database, shot fingerprints identical or similar to each sub-image or more than a reference are similar. It is possible to search for a specific advertisement image including information.

상기 샷 정보는 각 영상을 구성하는 샷의 개수인 샷 길이를 더 포함할 수 있다. 상기 각 서브 영상에 해당하는 광고 정보를 식별하는 단계는 상기 광고 영상 데이터베이스에서 샷 길이가 각 서브 영상과 동일하거나 기준 이상으로 유사한 후보 광고 영상들을 추출하고, 상기 후보 광고 영상들과 샷 지문 정보들을 비교하여 상기 특정 광고 영상을 검색할 수 있다.The shot information may further include a shot length that is the number of shots constituting each image. In the step of identifying advertisement information corresponding to each sub-image, candidate advertisement images having a shot length equal to or greater than or equal to each sub-image are extracted from the advertisement image database, and the candidate advertisement images and shot fingerprint information are compared. By doing so, the specific advertisement image can be searched.

실시예에 따르면 채널에서 송출되는 목표 영상(예를 들면, 광고 영상)을 식별하고, 이를 이용해 채널에서 송출되는 목표 영상 송출 시간표를 제공할 수 있다.According to an embodiment, a target video transmitted from a channel (eg, an advertising video) may be identified, and a target video transmission timetable transmitted from the channel may be provided using the target video.

실시예에 따르면 목표 영상 시청자 수를 계산할 수 있고, 특히 광고별 시청자 수를 기반으로 광고 슬롯(slot)의 정확한 가치를 알 수 있으며, 광고 슬롯별 광고비를 책정할 수 있다.According to an embodiment, the number of target video viewers can be calculated, in particular, the exact value of an advertisement slot can be determined based on the number of viewers per advertisement, and the advertisement cost per advertisement slot can be set.

실시예에 따르면 시청자별 광고 시청 여부를 분석해 시청자 가구별로 맞춤형 광고를 송출할 수 있다.According to an embodiment, it is possible to analyze whether or not advertisements are viewed for each viewer and send customized advertisements for each viewer's furniture.

실시예에 따르면 본 방송을 주문형 비디오로 제작하여 서비스하는 전송 사업자들은 VOD 제작 비용을 줄이고, 서비스 업로드 시간을 줄일 수 있으며, 본 방송과 다른 광고 영상을 삽입하여 광고 수입을 늘릴 수 있다.According to an embodiment, transmission providers that produce and service this broadcast on demand video can reduce VOD production cost, reduce service upload time, and increase advertising revenue by inserting different broadcast and other advertisement videos.

도 1은 비디오의 계층 구조를 설명하는 도면이다.
도 2는 한 실시예에 따른 영상 분석 장치의 구성도이다.
도 3은 한 실시예에 따른 목표 영상 식별 방법을 설명하는 도면이다.
도 4는 한 실시예에 따른 목표 영상 송출 시간표의 예시 화면이다.
도 5는 한 실시예에 따른 영상 식별하는 방법의 흐름도이다.
도 6은 한 실시예에 따른 목표 영상 시청자 수 계산 방법의 흐름도이다.1 is a diagram illustrating a hierarchical structure of video.
2 is a configuration diagram of an image analysis apparatus according to an embodiment.
3 is a diagram illustrating a target image identification method according to an embodiment.
4 is an exemplary screen of a target video transmission timetable according to an embodiment.
5 is a flowchart of an image identification method according to an embodiment.
6 is a flowchart of a method for calculating the number of target video viewers according to an embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated. In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.

도 1은 비디오의 계층 구조를 설명하는 도면이다.1 is a diagram illustrating a hierarchical structure of video.

도 1을 참고하면, 비디오는 유사 프레임이 모여 샷(Shot)을 이루고, 유사 의미 집단의 샷들이 모여 장면(scene)을 구성하며, 장면들의 집합이 하나의 클러스터를 형성하는 계층적 구조를 가진다. 설명에서는 샷들의 집합인 장면이 본 발명에서 식별하고자 하는 독립된 목표 영상(예를 들면, 광고 영상)에 해당한다.Referring to FIG. 1, a video has a hierarchical structure in which similar frames are gathered to form a shot, shots of similar semantic groups are gathered to form a scene, and a set of scenes forms a cluster. In the description, a scene that is a set of shots corresponds to an independent target image (eg, an advertisement image) to be identified in the present invention.

샷(Shot)은 한 번의 연속 촬영으로 찍은 장면을 이르는 말로서, 일반적으로하나의 카메라로 찍은 영상이 나오다가 다른 카메라로 촬영한 화면으로 바뀌는 것을 샷 전환이라고 정의한다. 본 발명에서는 장면의 하위 개념인 샷의 지문 정보(fingerprint)를 기초로 목표 영상을 식별하는 것으로 설명하나, 장면의 지문 정보를 기초로 목표 영상을 식별할 수 있다.Shot (Shot) is a term that refers to a scene taken with one continuous shot, and generally refers to the transition of a shot taken from one camera to a screen shot with another camera. In the present invention, the target image is described based on the fingerprint information of the shot, which is a lower concept of the scene, but the target image can be identified based on the fingerprint information of the scene.

샷/장면 경계 검출 방법은 비디오의 계층적 구조를 해석하여 비디오 요약 및 탐색용 색인(indexing), 샷 전환(shot change)/장면 전환(scene change) 기반 편집 등 다양하게 이용된다.The shot/scene boundary detection method analyzes the hierarchical structure of the video and is used in various ways, such as video summarization and searching indexing, shot change/scene change-based editing, and the like.

다음에서 샷 지문 정보를 기초로 전체 분석 영상에서 목표 영상들을 식별하는 방법 및 장치, 이를 이용한 광고 송출 시간표 제공 방법에 대해 설명한다. Next, a method and apparatus for identifying target images from the entire analysis image based on the shot fingerprint information and a method for providing an advertisement transmission timetable using the same will be described.

지문 정보는 영상 혹은 화면의 일부를 고유하게 나타낼 수 있는 요약 정보로서, 샷 지문 정보는 샷을 고유하게 나타내는 고유 특징을 포함한다. 즉, 지문 정보는 가변적인 길이의 샷을 고유하게 나타낼 수 있는 일정 비트나 바이트의 코드 정보이다. 샷 지문 정보는 여러 영상들이 묶여 하나의 영상처럼 스트리밍될 때, 묶인 개별 영상들을 특정할 수 있다. Fingerprint information is summary information that can uniquely represent a part of an image or a screen, and shot fingerprint information includes a unique feature that uniquely represents a shot. That is, the fingerprint information is code information of a certain bit or byte that can uniquely represent a shot of variable length. When the shot fingerprint information is streamed as one image by bundling several images, it is possible to specify individual images that are bundled.

분석 영상은 실시간으로 수신되는 채널 영상 또는 파일로 저장된 영상일 수 있다. 실시간으로 수신되는 채널 영상은 파일로 저장된 후 목표 영상들을 식별하는데 사용될 수 있다. 분석 영상은 적어도 하나의 메인 영상과 적어도 하나의 서브 영상을 포함하고, 메인 영상의 앞 또는 뒤에 적어도 하나의 서브 영상이 부가된다. 메인 영상은 예를 들면, 일정 시간 이상의 재생 시간을 가지는 방송 프로그램 영상이고, 서브 영상은 일정 시간(예를 들면, 1분) 이내의 재생 시간을 가지는 광고 영상일 수 있다.The analysis image may be a channel image received in real time or an image stored as a file. The channel image received in real time can be used to identify target images after being saved as a file. The analysis image includes at least one main image and at least one sub image, and at least one sub image is added before or after the main image. The main video may be, for example, a broadcast program video having a playback time equal to or greater than a certain time, and the sub video may be an advertising video having a playback time within a certain time (eg, 1 minute).

목표 영상은 분석 영상에서 식별하고자 하는 대상으로서, 메인 영상과 서브 영상 중 적어도 하나일 수 있다. 메인 영상은 EPG를 통해 식별할 수 있으므로, 본 발명에서는 주로 서브 영상(예를 들면, 광고 영상)을 식별하고, 식별한 서브 영상의 송출(재생) 시작 시각 및 종료 시각을 획득하는 것으로 설명한다. 앞으로, 목표 영상을 광고 영상으로 가정하고 설명할 수 있으나, 반드시 목표 영상이 광고 영상으로 한정되는 것은 아니다. 즉, 목표 영상은 예를 들면, 뮤직 비디오 영상, 비디오 클립 등 다양할 수 있다.The target image is an object to be identified in the analysis image, and may be at least one of a main image and a sub image. Since the main image can be identified through the EPG, the present invention mainly describes sub-images (eg, advertisement images), and acquires the start and end times of transmission (playback) of the identified sub-images. In the future, it may be assumed that the target video is an advertising video, but the target video is not necessarily limited to the advertising video. That is, the target image may be various, for example, a music video image or a video clip.

광고 영상들을 식별함으로써, 광고 송출 시간표(광고 EPG)를 생성할 수 있고, 각 광고 송출 시간에 추출된 해당 채널 시청자 수를 기초로 각 광고의 시청자 수를 알 수 있다.By identifying the advertisement images, an advertisement transmission timetable (ad EPG) can be generated, and the number of viewers of each advertisement can be known based on the number of corresponding channel viewers extracted at each advertisement transmission time.

도 2는 한 실시예에 따른 영상 분석 장치의 구성도이고, 도 3은 한 실시예에 따른 목표 영상 식별 방법을 설명하는 도면이다.2 is a configuration diagram of an image analysis apparatus according to an embodiment, and FIG. 3 is a diagram illustrating a target image identification method according to an embodiment.

도 2를 참고하면, 적어도 하나의 프로세서에 의해 동작하는 영상 분석 장치(10)는 목표 영상 데이터베이스 관리부(110), 분석 영상 입력부(130), 목표 영상 식별부(150), 그리고 목표 영상 송출 시간표 생성부(170)를 포함한다. 영상 분석 장치(10)는 채널 시청자 수 획득부(210), 목표 영상 시청자 수 계산부(230)를 더 포함할 수 있다. 영상 분석 장치(10)는 본 발명에서 설명하는 동작을 수행하는 명령어들을 포함하는 프로그램을 탑재하고, 프로그램은 프로세서에 의해 구동된다.Referring to FIG. 2, the image analysis apparatus 10 operated by at least one processor generates a target image database management unit 110, an analysis image input unit 130, a target image identification unit 150, and a target image transmission timetable Includes part 170. The image analysis apparatus 10 may further include a channel viewer number acquisition unit 210 and a target image viewer number calculation unit 230. The image analysis apparatus 10 is equipped with a program including instructions for performing an operation described in the present invention, and the program is driven by a processor.

목표 영상 데이터베이스 관리부(110)는 식별하고자 하는 목표 영상별로 기본 정보와 샷 정보를 관리한다. 목표 영상별 기본 정보와 샷 정보는 목표 영상 데이터베이스에 저장될 수 있다. 기본 정보는 예를 들면, 표 1과 같이 광고상품, 광고 종류, 광고 제목, 광고 시간, 광고주, 광고 대행사 등을 포함할 수 있다. 샷 정보는 목표 영상을 구성하는 복수의 샷들 각각의 지문 정보를 포함한다. 샷 정보는 샷의 길이(샷의 개수)를 더 포함할 수 있다. 샷 지문 정보는 샷을 고유하게 나타내는 고유 특징으로서, 다양하게 정의될 수 있고, 예를 들면, 색상, 음성, 사물 배치, 장면 전환 위치, 시간 길이 등을 포함하는 특징값으로 표현될 수 있다.The target image database management unit 110 manages basic information and shot information for each target image to be identified. Basic information and shot information for each target image may be stored in the target image database. The basic information may include, for example, advertisement products, advertisement types, advertisement titles, advertisement times, advertisers, advertisement agencies, and the like, as shown in Table 1. The shot information includes fingerprint information of each of a plurality of shots constituting the target image. The shot information may further include the length of the shot (the number of shots). The shot fingerprint information is a unique characteristic that uniquely represents the shot, and may be variously defined, and may be expressed as feature values including, for example, color, voice, object arrangement, scene change position, time length, and the like.

목표 영상 데이터베이스 관리부(110)는 복수의 샷들로 구성된 목표 영상의 샷 경계를 검출한 후, 구분된 각 샷의 지문 정보를 획득한다. 샷 경계는 샷 전환 탐지 기술 등을 이용하여 검출될 수 있다. 비디오에서 샷 경계를 검출하는 방법은 연속 프레임간 차이를 계산하고, 차이가 충분히 크면 샷 경계라고 간주한다. 프레임간 차이는 픽셀 기반 방법, 블록 기반 방법, 히스토그램 기반 방법, 에지 기반 방법, 모션벡터 기반 방법 등으로 계산될 수 있다.The target image database manager 110 detects a shot boundary of a target image composed of a plurality of shots, and then acquires fingerprint information of each shot. The shot boundary may be detected using a shot change detection technique or the like. The method of detecting the shot boundary in the video calculates the difference between successive frames, and considers the shot boundary if the difference is sufficiently large. The difference between frames may be calculated by a pixel-based method, a block-based method, a histogram-based method, an edge-based method, a motion vector-based method, and the like.

영상 IDVideo ID 기본 정보Basic Information 샷 정보Shot information 목표 영상ATarget image A 광고상품광고 종류
광고 제목
광고 시간
광고주
광고 대행사 등Advertising Product Advertising Type
Ad title
Advertising time
Advertiser
Advertising agency, etc. 샷1: 7459(10F)
샷2: 9452(18F)
샷3: 3489(45F)
샷4: 4561(30F)Shot 1: 7459 (10F)
Shot 2: 9452 (18F)
Shot 3: 3489 (45F)
Shot 4: 4561 (30F) 목표 영상BTarget video B -- -- 목표 영상CTarget Video C -- --

목표 영상 데이터베이스 관리부(110)는 알고 있는 목표 영상들을 사전에 분석하여 각 목표 영상의 샷 지문 정보들을 저장한다. 이후, 목표 영상 데이터베이스 관리부(110)는 목표 영상 식별부(150)에서 식별되지 않은 일정 길이의 영상이 발견되면, 해당 영상을 신규 영상 데이터베이스에 저장한다. 이후, 신규 영상 데이터베이스에 저장된 신규 영상이 목표 영상인 경우, 신규 영상의 샷 지문 정보들을 목표 영상 데이터베이스에 저장하여 새로운 목표 영상으로 관리한다. 목표 영상이 광고인 경우, 광고 대행사나 콘텐츠 제공자(Content Provider, CP)를 통해 광고들을 전달받거나, 실제 채널에서 송출되는 광고들 수집할 수 있다. 새로운 광고가 계속 출시되므로, 목표 영상 데이터베이스 관리부(110)는 새로운 광고 송출을 지속적으로 모니터링하고, 신규 광고의 지문 정보를 빠르게 목표 영상 데이터베이스에 업데이트한다.The target image database manager 110 analyzes known target images in advance and stores shot fingerprint information of each target image. Thereafter, when the target image database management unit 110 finds an image of a predetermined length that is not identified in the target image identification unit 150, the target image database management unit 110 stores the image in the new image database. Thereafter, when the new image stored in the new image database is the target image, shot fingerprint information of the new image is stored in the target image database and managed as the new target image. When the target video is an advertisement, advertisements may be delivered through an advertisement agency or a content provider (Content Provider, CP), or advertisements transmitted from an actual channel may be collected. Since new advertisements are continuously released, the target image database management unit 110 continuously monitors new advertisement transmissions and quickly updates fingerprint information of the new advertisements to the target image database.

분석 영상 입력부(130)는 목표 영상들이 포함된 분석 영상을 입력받는다. 분석 영상은 실시간으로 송출(스트리밍)되는 채널별 영상일 수 있다. 예를 들면, 분석 영상은 IPTV 채널들, 지상파 방송 채널들, 케이블 방송 채널들, 위성 방송 채널들, 인터넷 방송 채널들 중 적어도 하나의 채널에서 실시간으로 스트리밍되는 영상일 수 있다. 분석 채널이 복수인 경우, 분석 영상 입력부(130)는 복수의 채널들 각각에서 송출되는 영상들을 독립적으로 입력받는다. 한편, 분석 영상 입력부(130)는 실시간 스트리밍 영상뿐만 아니라, 미리 저장된 스트리밍 영상이나 VOD 영상을 분석 영상으로 입력받을 수 있다.The analysis image input unit 130 receives an analysis image including target images. The analysis image may be a channel-specific image that is transmitted (streamed) in real time. For example, the analysis image may be an image that is streamed in real time on at least one of IPTV channels, terrestrial broadcasting channels, cable broadcasting channels, satellite broadcasting channels, and Internet broadcasting channels. When there are multiple analysis channels, the analysis image input unit 130 independently receives images transmitted from each of the plurality of channels. Meanwhile, the analysis image input unit 130 may receive a pre-stored streaming image or VOD image as an analysis image as well as a real-time streaming image.

목표 영상 식별부(150)는 각 채널에서 수신한 분석 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성한다. 샷 지문 정보는 예를 들면, 색상, 음성, 사물 배치, 장면 전환 위치, 시간 길이 등을 포함하는 특징값으로 표현될 수 있다. 목표 영상 식별부(150)는 샷 전환 탐지 기술 등을 이용하여 샷 경계를 구분할 수 있다. The target image identification unit 150 sequentially detects shots from the analysis image received in each channel and generates fingerprint information of each shot. The shot fingerprint information may be expressed as feature values including, for example, color, voice, object arrangement, scene change position, time length, and the like. The target image identification unit 150 may classify the shot boundary using a shot change detection technique or the like.

목표 영상 식별부(150)는 검출한 샷들을 유사 의미 집단끼리 묶어 복수의 샷들로 구성된 서브 영상들을 검출한다. 예를 들면, 목표 영상 식별부(150)는 15개의 샷을 순차적으로 검출한 경우, 4개의 샷으로 구성된 서브 영상1, 5개의 샷으로 구성된 서브 영상2, 6개의 샷으로 구성된 서브 영상3으로 샷들을 그룹핑할 수 있다. The target image identification unit 150 bundles the detected shots into similar semantic groups to detect sub-images composed of a plurality of shots. For example, if the target image identification unit 150 sequentially detects 15 shots, the shots are made of sub-images 1 of 4 shots, sub-image 2 of 5 shots, and sub-image 3 of 6 shots. You can group them.

목표 영상 식별부(150)는 목표 영상 데이터베이스 관리부(110)에서 검출된 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 목표 영상을 추출한다. The target image identification unit 150 extracts a target image including shot fingerprint information that is the same as or greater than or equal to a reference to the sub-image detected by the target image database management unit 110.

한 실시예에 따르면, 목표 영상 식별부(150)는 목표 영상 데이터베이스 관리부(110)에서 검출된 영상의 적어도 하나의 샷(예를 들면, 최초 샷)과 동일하거나 유사한 샷을 포함하는 영상들을 후보 목표 영상들로 추출한 후, 후보 목표 영상들 중에서 검출된 영상의 나머지 샷들과 동일하거나 유사한 샷을 포함하는 영상을 목표 영상으로 추출할 수 있다.According to one embodiment, the target image identification unit 150 is a candidate target for images that include the same or similar shots of at least one shot (for example, the first shot) of the image detected by the target image database manager 110. After extraction as images, an image including a shot identical or similar to the remaining shots of the detected image among candidate target images may be extracted as the target image.

다른 실시예에 따르면, 목표 영상 식별부(150)는 검출된 영상과 목표 영상 데이터베이스 관리부(110)에 저장된 영상의 샷 지문 정보를 비교하기 전에, 목표 영상 데이터베이스 관리부(110)에서 검출된 영상의 샷 길이(영상을 구성하는 샷의 개수)와 동일 유사한 후보 목표 영상들을 추출할 수 있다. 즉, 목표 영상 식별부(150)는 샷 길이가 동일하거나, 샷 길이가 기준 이내(예를 들면, 1) 차이가 있는 영상들을 후보 목표 영상들로 추출할 수 있다. 그리고 목표 영상 식별부(150)는 후보 목표 영상들 중에서 검출된 영상과 동일 유사한 샷 지문 정보들을 포함하는 목표 영상을 추출할 수 있다. 목표 영상 데이터베이스 관리부(110)에 저장된 목표 영상의 수가 매우 많은 경우, 샷 지문 정보의 동일 유사 여부를 비교하는 데 많은 시간이 소요된다. 따라서, 샷 길이로 후보 목표 영상들을 추출한 후, 샷 지문 정보의 동일 유사 여부를 비교하여 목표 영상 추출 시간을 줄일 수 있다.According to another embodiment, before the target image identification unit 150 compares the fingerprint image information of the detected image and the image stored in the target image database management unit 110, the target image database management unit 110 detects the shot of the image detected by the target image database management unit 110 Candidate target images similar to the length (the number of shots constituting the image) may be extracted. That is, the target image identification unit 150 may extract images having the same shot length or a difference in the shot length within a reference (eg, 1) as candidate target images. In addition, the target image identification unit 150 may extract a target image including shot fingerprint information similar to the detected image from the candidate target images. When the number of target images stored in the target image database management unit 110 is very large, it takes a lot of time to compare the similarity of shot fingerprint information. Therefore, after extracting candidate target images by the shot length, it is possible to reduce the target image extraction time by comparing whether the shot fingerprint information is the same or similar.

도 3을 참고하면, 목표 영상 식별부(150)는 특정 채널의 스트리밍 영상에서, 순차적으로 샷을 검출하고, 각 샷의 지문 정보를 생성한다. 연속된 4개의 샷이 하나의 영상을 구성하고, 샷 지문 정보가 7459(10F), 9452(18F), 3489(45F), 4561(30F)인 경우, 목표 영상 데이터베이스 관리부(110)에서 동일한 샷 지문 정보를 포함하는 목표 영상A를 추출한다. Referring to FIG. 3, the target image identification unit 150 sequentially detects shots from a streaming image of a specific channel and generates fingerprint information of each shot. If four consecutive shots constitute one image, and the shot fingerprint information is 7459 (10F), 9452 (18F), 3489 (45F), or 4561 (30F), the same shot fingerprint from the target image database management unit 110 The target image A including information is extracted.

목표 영상 식별부(150)는 샷 7459(10F)의 시작 시각이 9시20분15초이고, 마지막 샷 4561(30F)의 종료 시각이 9시20분30초인 경우, 특정 채널에서 9시20분15초부터 9시20분30초까지 목표 영상A가 송출된 것으로 식별한다.When the start time of the shot 7459 (10F) is 9:20:15, and the end time of the last shot 4561 (30F) is 9:20:30, the target image identification unit 150 is 9:20 on a specific channel. It is identified that the target image A has been transmitted from 15 seconds to 9:20:30.

동일한 방법으로, 목표 영상 식별부(150)는 샷 4561(30F) 이후의 샷들을 순차적으로 검출하면서 특정 채널에서 9시20분30초부터 9시20분45초까지 5개의 샷으로 구성된 목표 영상B가 송출된 것으로 식별할 수 있다. 목표 영상 식별부(150)는 표 2와 같이 각 채널에서 식별한 목표 영상 정보를 저장한다.In the same way, the target image identification unit 150 sequentially detects the shots after the shots 4561 (30F) and target images B composed of five shots from 9:20:30 to 9:20:45 on a specific channel. Can be identified as being sent. The target image identification unit 150 stores target image information identified in each channel as shown in Table 2.

채널IDChannel ID 시간time 영상 IDVideo ID 채널 KChannel K 09:20:15~09:20:30(15초)09:20:15~09:20:30 (15 seconds) 목표 영상ATarget image A 채널 KChannel K 09:20:30~09:20:45(15초)09:20:30~09:20:45 (15 seconds) 목표 영상BTarget video B

한편, 목표 영상 식별부(150)는 샷 4561(30F) 이후에 5개의 샷으로 구성된 영상을 검출했지만, 검출한 5개의 샷들에 해당하는 목표 영상이 목표 영상 데이터베이스 관리부(110)에서 검색되지 않을 수 있다. 그러면, 목표 영상 식별부(150)는 5개의 샷들로 구성된 신규 영상을 목표 영상 데이터베이스 관리부(110)로 전달하여 신규 목표 영상으로의 추가를 요청할 수 있다. 신규 영상은 신규 영상 데이터베이스에 임시로 저장될 수 있다. Meanwhile, the target image identification unit 150 detects an image composed of 5 shots after the shot 4561 (30F), but the target image corresponding to the detected 5 shots may not be searched in the target image database management unit 110 have. Then, the target image identification unit 150 may transmit a new image composed of five shots to the target image database management unit 110 to request addition to the new target image. The new image may be temporarily stored in the new image database.

분석 영상에서 여러 개의 목표 영상들이 차례로 식별되는 상황에서, 목표 영상들(예를 들면, 광고)로 식별된 영상들 사이에서 특정 영상이 식별되지 않을 수 있다. 만약, 미식별된 특정 영상이 목표 영상들과 유사한 영상 길이(예를 들면, 15초나 30초) 또는 목표 영상들과 유사한 샷 길이를 가지는 경우, 미식별 특정 영상이 새로운 목표 영상일 가능성이 높기 때문에, 목표 영상 식별부(150)는 미식별 특정 영상을 신규 목표 영상으로 추가 요청한다. 목표 영상 데이터베이스 관리부(110)는 미식별 특정 영상의 샷 지문 정보들을 저장하고, 이를 새로운 목표 영상으로 관리한다. 이때, 목표 영상 데이터베이스 관리부(110)는 미식별 특정 영상들 중에서 관리자에 의해 추가 요청된 미식별 특정 영상만 새로운 목표 영상으로 추가할 수 있다. 추가된 신규 목표 영상의 기본 정보는 관리자 의해 입력되거나, 목표 영상 데이터베이스 관리부(110)가 광고 정보 제공 서버에서 기본 정보를 추출하여 입력할 수 있다.In a situation in which multiple target images are sequentially identified in an analysis image, a specific image may not be identified between images identified as target images (eg, advertisements). If the specific image classified by the food has a video length similar to the target images (for example, 15 seconds or 30 seconds) or a shot length similar to the target images, since the specific food classified by the food is more likely to be a new target image , The target image identification unit 150 additionally requests a specific image for each food as a new target image. The target image database manager 110 stores shot fingerprint information of a specific image for each food and manages it as a new target image. At this time, the target image database management unit 110 may add only the specific image specific to the food requested by the administrator among the specific images specific to the food as a new target image. The basic information of the added new target video may be input by an administrator, or the target video database management unit 110 may extract and input basic information from the advertisement information providing server.

목표 영상 식별부(150)는 식별하고자 하는 목표 영상에 맞춰 샷 지문 정보를 생성할 수 있다. 예를 들어, 목표 영상 식별부(150)가 광고와 같이 메인 영상의 앞, 뒤 또는 중간에 삽입되는 서브 영상들을 목표 영상으로 식별하는 경우, 메인 영상인 방송 프로그램의 샷을 검출하고 샷 지문 정보를 생성할 필요 없다. 이 경우, 목표 영상 식별부(150)는 메인 영상의 시작 및 종료 시점을 확인하고, 메인 영상들 사이의 서브 영상들의 샷을 검출하고 샷 지문 정보를 생성할 수 있다. 메인 영상의 시작 및 종료 시점은 메인 영상의 특징 정보(예를 들면, 채널 식별 정보나 등급 고지 화면 등)로 확인하거나, EPG 정보를 기초로 메인 영상의 시작 및 종료 시각을 확인한 후, 시작/종료 시각 전후의 일정 시간(예를 들면, 20분)의 분석 영상에서 샷을 검출하여 메인 영상의 전후에 부가된 서브 영상들을 식별할 수 있다.The target image identification unit 150 may generate shot fingerprint information according to a target image to be identified. For example, when the target image identification unit 150 identifies sub-images inserted in the front, back, or middle of the main image as an advertisement, as a target image, it detects a shot of a broadcast program that is the main image and displays the shot fingerprint information. No need to create. In this case, the target image identification unit 150 may check the start and end times of the main image, detect a shot of sub-images between the main images, and generate shot fingerprint information. The start and end time of the main video is checked with the feature information of the main video (for example, channel identification information or a rating notice screen), or after confirming the start and end times of the main video based on EPG information, start/end It is possible to identify sub-images added before and after the main image by detecting a shot in the analysis image at a predetermined time (for example, 20 minutes) before and after the time.

목표 영상 송출 시간표 생성부(170)는 분석 채널별로 검출된 목표 영상들의 식별 정보와 송출 시간(방송 시간)를 결합하여 목표 영상 송출 시간표를 작성한다. 목표 영상 송출 시간표는 목표 영상 식별부(150)에서 목표 영상이 특정되면 짧은 시간 내에, 즉 거의 실시간으로 생성될 수 있다.The target image transmission timetable generation unit 170 creates a target image transmission timetable by combining the identification information of the target images detected for each analysis channel and the transmission time (broadcast time). The target image transmission timetable may be generated within a short time, that is, in near real time, when the target image is specified in the target image identification unit 150.

채널 시청자 수 획득부(210)는 분석 채널별로 해당 채널의 시간별 시청자 수를 획득한다. 채널 시청자 수 획득부(210)는 분석 채널들을 가입자에게 제공하는 사업자들로부터 획득할 수 있다. IPTV 사업자나 인터넷 방송 사업자는 각 채널에 연결된 셋톱박스 수나 사용자 단말 수를 실시간으로 또는 일정 시간 후에 알 수 있다. The channel viewer number acquisition unit 210 acquires the number of viewers by time of the corresponding channel for each analysis channel. The channel viewer number acquisition unit 210 may be obtained from operators that provide analysis channels to subscribers. IPTV operators or Internet broadcasters can know the number of set-top boxes or user terminals connected to each channel in real time or after a certain time.

목표 영상 시청자 수 계산부(230)는 채널별 목표 영상 송출 시간표와 해당 채널의 시간별 시청자 수를 이용하여, 각 목표 영상의 시청자 수를 계산한다. 목표 영상 시청자 수 계산부(230)는 각 목표 영상의 시청자 수를 광고주, 방송사 등에 보고할 수 있다.The target video viewer count calculator 230 calculates the number of viewers of each target video by using the target video transmission timetable for each channel and the number of viewers by time of the corresponding channel. The target video viewer count calculator 230 may report the number of viewers of each target video to an advertiser, a broadcaster, or the like.

한편, 단일 영상에 대해서 샷 경계가 일관되게 검출되고, 샷 지문 정보들이 일관되게 검출되도록 샷 경계 검출 방법을 최적화한다. 광고 영상과 같은 목표 영상은 동일한 영상이 여러 번 반복되어 송출되므로, 단일 영상에 대한 샷 경계 검출 결과가 일관되도록 하여 목표 영상 식별의 오류를 줄일 수 있다. 예를 들어, 15초의 특정 영상이 7개의 샷으로 나눠지고 각각의 길이를 알고 있다면, 전체 영상을 분석하다가 특정 길이의 7개 샷들이 15초 동안 나타난다면 목표 영상으로 특정할 수 있다. Meanwhile, the shot boundary detection method is optimized so that the shot boundary is consistently detected for a single image and the shot fingerprint information is consistently detected. Since a target image such as an advertisement image is transmitted repeatedly the same image several times, errors in target image identification can be reduced by making the shot boundary detection results for a single image consistent. For example, if a specific image of 15 seconds is divided into 7 shots and each length is known, when the entire image is analyzed and 7 shots of a specific length appear for 15 seconds, the target image may be specified.

도 4는 한 실시예에 따른 목표 영상 송출 시간표의 예시 화면이다.4 is an exemplary screen of a target video transmission timetable according to an embodiment.

도 4를 참고하면, 목표 영상이 광고인 경우, 목표 영상 송출 시간표는 광고 영상 송출 시간표(300)로 제공될 수 있다. Referring to FIG. 4, when the target video is an advertisement, the target video transmission timetable may be provided as an advertisement video transmission timetable 300.

지금까지의 EPG는 프로그램 송출 전에 편성되므로, 시청자가 시청하는 실제 프로그램 시청 시간과 차이가 있고, 프로그램과 프로그램 사이에 송출되는 수 많은 광고 정보까지 제공하지 못한다. 하지만 본 발명에 따른 영상 분석 장치(10)는 실시간으로 송출되는 영상으로부터 프로그램 및 광고를 식별하고, 정확한 송출 시간을 확인하여 광고 영상 송출 시간표(300)를 생성한다. 영상 분석 장치(10)는 연속적으로 송출되는 광고들을 샷 지문 정보를 기초로 개별 광고 영상으로 분할하고, 각 광고가 송출되는 시간을 초 단위로 파악한 후, 송출 시간 정보를 포함한 광고 정보를 광고 영상 송출 시간표에 기록한다.Since the EPG so far is organized before the program is transmitted, there is a difference from the actual viewing time of the viewer watching, and it does not provide a lot of advertisement information transmitted between the program and the program. However, the image analysis apparatus 10 according to the present invention identifies programs and advertisements from images transmitted in real time, and checks an accurate transmission time to generate an advertisement image transmission timetable 300. The image analysis device 10 divides advertisements continuously transmitted into individual advertisement images based on shot fingerprint information, identifies the time in which each advertisement is transmitted in seconds, and then sends advertisement information including transmission time information to the advertisement image Record on the timetable.

광고 영상 송출 시간표(300)의 UI(User Interface) 화면은 다양하게 제공될 수 있다. 광고 영상들이 송출된 시간 구간을 표시하는데, 광고는 대체로 15초에서 1분 미만이므로, 프로그램의 길이와 차이가 많이 나서, 프로그램과 함께 광고들을 표시하는 것이 쉽지 않다. 로그(log) 변환 등의 방법을 이용해 상대적으로 짧은 길이의 광고들을 쉽게 확인할 수 있도록 UI를 제공할 수 있다. The UI (User Interface) screen of the advertisement video transmission timetable 300 may be provided in various ways. It displays the time interval in which the advertisement images were sent. Since the advertisement is generally 15 seconds to less than 1 minute, it is difficult to display advertisements together with the program because there are many differences in the length of the program. Using a method such as log conversion, a UI can be provided to easily check advertisements of relatively short length.

광고 영상 송출 시간표(300)는 프로그램 사이에 광고 구간(310)을 표시하고, 광고 구간(310)에 포함되는 광고 정보가 많을 경우, 도 4와 같이, 화면의 특정 영역(예를 들면, 화면 상단)에 광고 상세 정보를 제공하는 상세 정보 영역(330)을 별도로 제공할 수 있다. 이때, 광고 상세 정보 영역(330)은 광고 상품명(title), 광고 종류(category), 광고주, 광고 대행사, 노출된 채널, 광고 송출 시간, 광고 길이 등의 광고 정보를 제공할 수 있다.The advertisement video transmission timetable 300 displays the advertisement section 310 between programs, and when there is a lot of advertisement information included in the advertisement section 310, as shown in FIG. 4, a specific area of the screen (for example, the top of the screen) ) May provide a detailed information area 330 providing advertisement detailed information. In this case, the advertisement detail information area 330 may provide advertisement information such as an advertisement product title, advertisement category, advertiser, advertisement agency, exposed channel, advertisement delivery time, advertisement length, and the like.

사용자는 광고 영상 송출 시간표(300)의 광고 구간(310)에서, 광고들을 순차적으로 넘길 수 있고, 해당 광고를 상세 정보 영역(330)에서 확인할 수 있다.In the advertisement section 310 of the advertisement video transmission timetable 300, the user may sequentially pass advertisements and check the advertisement in the detailed information area 330.

이처럼, 광고 영상 송출 시간표(300)는 기존 EPG가 보여주지 못한 송출 광고 정보를 보여줄 수 있다. 또한 광고 영상 송출 시간표(300)는 광고주, 콘텐츠 제공자(CP), 전송 사업자들이 유용하게 사용할 수 있는 광고 편성 정보를 포함한다. 콘텐츠 제공자(CP)는 지상파 방송국, 케이블 방송국, 인터넷 방송국 외에도 콘텐츠를 생산해서 송출하는 모두를 포함한다. 전송 사업자는 CP가 생성한 콘텐츠를 사용자에게 전달하는 플랫폼을 의미하며, IPTV 사업자, 네이버, 카카오 등의 포탈 등이 이에 포함될 수 있다. As such, the advertisement video transmission timetable 300 may show transmission advertisement information that the existing EPG did not show. In addition, the advertisement video transmission timetable 300 includes advertisement composition information that can be usefully used by advertisers, content providers (CPs), and transmission providers. Content providers (CPs) include terrestrial broadcasting stations, cable broadcasting stations, and Internet broadcasting stations, as well as producing and transmitting content. The transmission service provider means a platform that delivers content generated by the CP to users, and portals such as IPTV service providers, Naver, and Kakao may be included therein.

광고 영상 송출 시간표(300)는 각 채널에서 송출된 각 광고의 송출 시간을 포함하므로, 송출 시간에 해당 채널에 머무른 시청자 수를 이용하여 광고 시청자 수를 계산할 수 있다. 이처럼, 광고 영상 송출 시간표(300)는 광고 시청 여부를 조사할 수 있는 근거 자료를 제공하고, 광고 가치를 정확하게 측정할 수 있도록 도와준다. 또한 광고 영상 송출 시간표(300)는 광고 관련된 다양한 사업 모델에 활용될 수 있다.Since the advertisement video transmission timetable 300 includes the transmission time of each advertisement transmitted from each channel, it is possible to calculate the number of advertisement viewers using the number of viewers staying in the corresponding channel at the transmission time. As such, the advertisement video transmission timetable 300 provides evidence to investigate whether or not an advertisement is viewed, and helps to accurately measure advertisement value. In addition, the advertisement video transmission timetable 300 may be used in various business models related to advertisement.

도 5는 한 실시예에 따른 영상 식별하는 방법의 흐름도이다.5 is a flowchart of an image identification method according to an embodiment.

도 5를 참고하면, 영상 분석 장치(10)는 식별하고자 하는 목표 영상별로 기본 정보와 샷 정보를 목표 영상 데이터베이스에 저장한다(S110). 기본 정보는 광고상품, 광고 종류, 광고 제목, 광고 시간, 광고주, 광고 대행사 등을 포함할 수 있다. 샷 정보는 목표 영상을 구성하는 복수의 샷들 각각의 지문 정보를 포함하고, 샷의 길이(샷의 개수)를 더 포함할 수 있다.Referring to FIG. 5, the image analysis apparatus 10 stores basic information and shot information for each target image to be identified in the target image database (S110). The basic information may include advertisement products, advertisement types, advertisement titles, advertisement times, advertisers, advertisement agencies, and the like. The shot information may include fingerprint information of each of a plurality of shots constituting the target image, and may further include a length of the shot (the number of shots).

영상 분석 장치(10)는 타겟 채널에서 송출되는 타겟 채널 영상을 입력받는다(S120). 타겟 채널은 IPTV 채널, 지상파 방송 채널, 케이블 방송 채널, 위성 방송 채널, 인터넷 방송 채널 중 어느 하나이고, 타겟 채널 영상은 타겟 채널에서 스트리밍되는 영상으로서, 목표 영상의 포함 여부를 분석하는 분석 영상이다. 분석 채널이 복수인 경우, 영상 분석 장치(10)는 복수의 채널들 각각에서 송출되는 영상들을 독립적으로 입력받을 수 있다.The image analysis apparatus 10 receives the target channel image transmitted from the target channel (S120). The target channel is any one of an IPTV channel, a terrestrial broadcast channel, a cable broadcast channel, a satellite broadcast channel, and an Internet broadcast channel, and the target channel image is an image streamed from the target channel and is an analysis image analyzing whether a target image is included. When there are multiple analysis channels, the image analysis apparatus 10 may independently receive images transmitted from each of the plurality of channels.

영상 분석 장치(10)는 타겟 채널 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성한다(S130). 영상 분석 장치(10)는 샷 경계 검출 기술을 통해 샷을 검출할 수 있다.The image analysis apparatus 10 sequentially detects shots in the target channel image and generates fingerprint information of each shot (S130). The image analysis apparatus 10 may detect a shot through a shot boundary detection technique.

영상 분석 장치(10)는 검출한 샷들을 유사 의미 집단끼리 묶어 복수의 샷들로 구성된 서브 영상을 추출한다(S140). 이때, 영상 분석 장치(10)는 타겟 채널에서 송출된 서브 영상의 송출 시간을 서브 영상에 매핑한다.The image analysis apparatus 10 extracts a sub-image composed of a plurality of shots by grouping the detected shots into similar semantic groups (S140). At this time, the image analysis apparatus 10 maps the transmission time of the sub-image transmitted from the target channel to the sub-image.

영상 분석 장치(10)는 목표 영상 데이터베이스에서 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 목표 영상을 검색한다(S150).The image analysis apparatus 10 searches for a target image including shot fingerprint information that is the same as the sub-image or more than a reference in the target image database (S150).

영상 분석 장치(10)는 목표 영상 데이터베이스에서 서브 영상과 동일 유사한 특정 목표 영상이 검출되면, 타겟 채널에서 송출된 서브 영상을 특정 목표 영상으로 식별한다(S160). 영상 분석 장치(10)는 서브 영상의 적어도 하나의 샷(예를 들면, 최초 샷)과 동일하거나 유사한 샷을 포함하는 후보 목표 영상들을 목표 영상 데이터베이스에서 추출한 후, 후보 목표 영상들 중에서 검출된 서브 영상의 나머지 샷들과 동일하거나 유사한 샷을 포함하는 특정 목표 영상을 추출할 수 있다. 또는 영상 분석 장치(10)는 서브 영상의 샷 길이와 동일 유사한 후보 목표 영상들을 목표 영상 데이터베이스에서 추출한 후, 후보 목표 영상들과 서브 영상의 샷 지문 정보를 비교할 수 있다.When a specific target image similar to the sub-image is detected in the target image database, the image analysis apparatus 10 identifies the sub-image transmitted from the target channel as a specific target image (S160). The image analysis apparatus 10 extracts candidate target images including the same or similar shot from at least one shot (for example, the first shot) of the sub-image from the target image database, and then detects the sub-images among the candidate target images A specific target image including a shot identical or similar to the rest of the shots may be extracted. Alternatively, the image analysis apparatus 10 may extract candidate target images similar to the shot length of the sub-image from the target image database, and then compare the shot fingerprint information of the candidate target images and the sub-image.

영상 분석 장치(10)는 서브 영상에 매핑된 송출 시간에 타겟 채널에서 특정 목표 영상이 송출된 정보를 목표 영상 송출 시간표에 기록한다(S170). The image analysis apparatus 10 records information on which a specific target image is transmitted from a target channel at a transmission time mapped to a sub-image in a target image transmission timetable (S170).

영상 분석 장치(10)는 도 4와 같은 목표 영상 송출 시간표를 제공한다(S180). The image analysis device 10 provides a target image transmission timetable as shown in FIG. 4 (S180).

영상 분석 장치(10)는 목표 영상 데이터베이스에서 서브 영상과 동일 유사한 목표 영상이 검색되지 않으면, 서브 영상을 신규 영상 데이터베이스에 저장한다(S190).If the target image similar to the sub-image is not searched in the target image database, the image analysis apparatus 10 stores the sub-image in the new image database (S190).

영상 분석 장치(10)는 판단 기준을 기초로 서브 영상이 신규 목표 영상인지 판단하거나, 관리자로부터 서브 영상을 신규 목표 영상으로 저장 지시를 입력받으면, 목표 영상 데이터베이스에 서브 영상을 신규 목표 영상으로 저장한다(S192). 영상 분석 장치(10)는 서브 영상이 신규 목표 영상이 아닌 경우, 신규 영상 데이터베이스에서 서브 영상을 삭제할 수 있다. The image analysis apparatus 10 determines whether the sub-image is a new target image based on a determination criterion or, when an instruction to store a sub-image as a new target image is input from a manager, stores the sub-image as a new target image in the target image database. (S192). When the sub-image is not a new target image, the image analysis apparatus 10 may delete the sub-image from the new image database.

판단 기준은 타겟 채널 영상에서 서브 영상의 검출 위치, 서브 영상의 재생 시간, 샷의 길이 중 적어도 하나를 포함할 수 있다. 예를 들어, 서브 영상의 전후에 송출된 영상이 목표 영상인 경우, 즉, 서브 영상이 목표 영상들 사이에서 송출된 경우, 서브 영상은 목표 영상으로 판단될 수 있다. 목표 영상이 광고 영상이고, 서브 영상의 전후에 송출된 영상이 메인 방송 프로그램 영상인 경우, 서브 영상은 목표 영상인 광고 영상으로 판단될 수 있다. 서브 영상이 목표 영상들과 유사한 영상 길이(예를 들면, 15초나 30초) 또는 목표 영상들과 유사한 샷 길이를 가지는 경우, 서브 영상은 목표 영상으로 판단될 수 있다.The determination criterion may include at least one of a detection position of a sub-image, a reproduction time of a sub-image, and a length of a shot in the target channel image. For example, when the image transmitted before and after the sub-image is a target image, that is, when the sub-image is transmitted between the target images, the sub-image may be determined as the target image. When the target video is an advertising video and the video transmitted before and after the sub video is the main broadcast program video, the sub video may be determined as the target video. When the sub-image has an image length similar to the target images (for example, 15 seconds or 30 seconds) or a shot length similar to the target images, the sub-image may be determined as the target image.

기존부터 방송되던 광고들은 미리 샷 지문 정보를 분석하여 목표 영상 데이터베이스에 저장한 후에 식별할 수 있지만, 신규 광고 영상은 방송 전에 목표 영상 데이터베이스에 저장되기 어려울 수 있다. 그러면, 신규 광고 영상은 채널에서 송출되더라도 식별할 수 없다. 따라서, 영상 분석 장치(10)는 미식별 영상이 발견되면, 신규 광고 영상인지 판단하거나, 관리자가 신규 광고 영상 여부를 판단할 수 있는 인터페이스 화면을 제공한다. 이를 통해 영상 분석 장치(10)는 신규 광고 영상에 대한 정보가 저장되어 있지 않더라도 신규 광고 영상을 식별할 수 있어서, 광고주, 광고 대행사, CP로부터 광고 영상을 반드시 제공받을 필요가 없다. Advertisements previously broadcast can be identified after analyzing the shot fingerprint information in advance and storing it in the target image database, but the new advertisement image may be difficult to be stored in the target image database before broadcasting. Then, the new advertisement image cannot be identified even if it is transmitted from the channel. Accordingly, when the food-specific image is found, the image analysis device 10 determines whether it is a new advertisement image, or provides an interface screen through which the administrator can determine whether the advertisement image is new. Through this, the image analysis device 10 can identify the new advertisement image even if the information about the new advertisement image is not stored, so it is not necessary to be provided with the advertisement image from the advertiser, the advertising agency, and the CP.

실제로 관리자가 미식별 영상이 목표 영상인지의 판단하거나 목표 영상의 기본 정보를 입력해야 할 수 있으나, 수많은 신규 광고 집행을 미리 파악할 수 없는 방송 광고 시장에서 영상 분석 장치(10)는 신규 광고 영상을 자동 검출 및 데이터베이스 저장할 수 있다. 특히 CP가 독점하는 광고 송출 정보를 IPTV 사업자, 케이블방송 사업자와 같은 전송 사업자들이 확보할 수 있어, 전송 사업자들이 광고 관련 다양한 사업을 가능하게 하고, 새로운 부가가치를 창출할 수 있다.In reality, the administrator may need to determine whether the video for each gourmet is a target video or input basic information of the target video, but in the broadcast advertising market, where a number of new advertisements cannot be grasped in advance, the video analysis device 10 automatically displays the new advertising video. Detection and database storage. In particular, transmission operators such as IPTV operators and cable broadcasters can secure advertisement transmission information exclusively by CP, so that transmission operators can enable various businesses related to advertisement and create new added value.

도 6은 한 실시예에 따른 목표 영상 시청자 수 계산 방법의 흐름도이다.6 is a flowchart of a method for calculating the number of target video viewers according to an embodiment.

도 6을 참고하면, 영상 분석 장치(10)는 타겟 채널에서 목표 영상들의 송출 시간 정보가 기록된 목표 영상 송출 시간표를 획득한다(S210).Referring to FIG. 6, the image analysis apparatus 10 acquires a target image transmission timetable in which transmission time information of target images is recorded in a target channel (S210 ).

영상 분석 장치(10)는 타겟 채널의 시간에 따른 시청자 수를 획득한다(S220). 한편, 영상 분석 장치(10)는 각 시청자가 시청 중인 채널 정보를 알 수도 있다. IPTV 사업자 등의 전송 사업자들은 배포한 셋톱박스를 통해 각 시청자가 시청 중인 채널 정보를 알 수 있다. The image analysis apparatus 10 acquires the number of viewers over time of the target channel (S220). Meanwhile, the image analysis device 10 may know channel information that is being viewed by each viewer. Transmission providers such as IPTV operators can know the channel information each viewer is watching through the set-top box.

영상 분석 장치(10)는 타겟 채널의 목표 영상 송출 시간표와 타겟 채널의 시간에 따른 시청자 수를 이용하여, 타겟 채널에서 노출된 각 목표 영상의 시청자 수를 계산한다(S230).The image analysis apparatus 10 calculates the number of viewers of each target image exposed on the target channel using the target image transmission timetable of the target channel and the number of viewers according to the time of the target channel (S230).

영상 분석 장치(10)는 각 목표 영상의 시청자 수를 출력한다(S240). 영상 분석 장치(10)는 지정된 보고 시점에 각 목표 영상의 시청자 수를 광고주, CP, 광고 대행사 등에 보고할 수 있다. The image analysis device 10 outputs the number of viewers of each target image (S240). The video analysis device 10 may report the number of viewers of each target video at a designated reporting time point to an advertiser, CP, advertising agency, and the like.

본 발명에 따르면, 광고주, CP, 광고 대행사 등은 막연히 메인 프로그램의 추정된 시청률에 의존하여 광고 시청률을 추정할 필요 없이, 실제 광고 시청자 수를 정확히 알 수 있다. 즉, TV 환경에서 프로그램이 아닌 광고에 대한 시청률 전수 조사가 가능하므로, 광고주는 TV 광고에서도 인터넷 및 모바일 앱 광고와 같이 소비자에 대한 광고 도달률을 정확하게 파악할 수 있다. 따라서, 광고주는 효율적인 광고 집행을 할 수 있다. 또한 광고주는 광고 시청률 전수 조사를 통해서 광고 집행 결과에 대한 다양한 데이터를 확보할 수 있게 되며, 이를 이용해서 광고 관련한 각종 컨설팅 사업에 활용할 수 있다. According to the present invention, advertisers, CPs, advertising agencies, etc. can accurately know the actual number of advertisement viewers without vaguely estimating the advertisement viewership rate depending on the estimated viewership rate of the main program. That is, since it is possible to conduct a survey on the audience rating for advertisements, not programs, in the TV environment, advertisers can accurately grasp the advertisement arrival rate for consumers, such as Internet and mobile app advertisements, in TV advertisements. Therefore, the advertiser can effectively execute advertisements. In addition, advertisers can secure various data on advertisement execution results through a survey of advertisement audience ratings, which can be used in various consulting business related to advertisements.

본 발명에 따르면, TV 광고 시장에서 합리적인 광고 과금 모델을 정립할 수 있다. 광고 요금을 시간대로 묶는 것을 넘어서, 동일 시간대라도 순서 배치(광고 슬롯 배치)에 따라 광고료가 세밀하게 책정될 수 있다. 실제로 동일 시간대의 광고라고 하더라도, 광고 배치 순서에 따라 광고 효과는 현격하게 차이가 날 수 있지만, 동일한 광고 요금이 책정되고 있다. 따라서 본 발명에 따르면, 광고별 시청자 수를 계산할 수 있으므로, 광고 슬롯(slot)의 정확한 가치를 알 수 있다.According to the present invention, it is possible to establish a reasonable advertising charging model in the TV advertising market. Beyond bundling advertisement charges into time zones, advertisement charges can be set in detail according to order arrangement (ad slot placement) even in the same time zone. In fact, even for advertisements of the same time, the advertisement effect may differ significantly depending on the order of placement of advertisements, but the same advertisement fee is set. Therefore, according to the present invention, since the number of viewers per advertisement can be calculated, the exact value of an advertisement slot can be known.

본 발명에 따르면, 광고 종량제 모델을 통해 광고주의 마케팅 비용을 절감할 수 있다. 시청자가 광고 영상을 시청했는지 여부를 확인 가능하므로, 광고 노출 당 과금이라는 종량제 모델을 도입할 수 있다. 종량제 모델은 광고가 시청되지 않았음에도 불구하고 광고 슬롯에 일괄적으로 책정되어 있는 정액 광고비를 지불하는 정액제에 비해 합리적이다. CP는 광고 슬롯 가치를 재평가 하여 슬롯별 광고비를 책정할 수 있다.According to the present invention, it is possible to reduce the advertiser's marketing cost through the advertising pay-as-you-go model. Since it is possible to check whether or not the viewer has watched the advertisement video, a pay-as-you-go model, which is billed per advertisement impression, can be introduced. The pay-as-you-go model is reasonable compared to the flat-rate, which pays the flat-rate advertising fee, which is set in the ad slot even though the ad has not been viewed. CP can re-evaluate the value of the advertisement slot and set the advertisement cost for each slot.

본 발명에 따르면, TV 광고 시장에서 시청자에 대한 맞춤형 광고 및 타겟 광고가 가능하다. TV 프로그램 시청 여부 및 광고 시청 여부를 분석해 시청자 가구에 대한 프로파일링한 후, 맞춤형 광고를 가구별로 송출할 수 있다. 또한 시청자가 관심 있는 광고는 시청할 가능성이 높기 때문에, 각 시청자의 광고 시청 여부를 분석하여, 해당 시청자에게 광고를 추천할 수 있다. 이를 통해 광고 집행 효율을 높이고 맞춤형 광고를 제공할 수 있다. According to the present invention, customized advertisements and target advertisements for viewers are possible in the TV advertisement market. After analyzing whether to watch TV programs and whether to watch advertisements, profile the viewers' furniture, and then send customized advertisements for each household. In addition, since there is a high possibility of viewing advertisements of interest to viewers, it is possible to analyze advertisements of each viewer and recommend advertisements to the viewers. Through this, it is possible to increase advertisement execution efficiency and provide customized advertisements.

본 발명에 따르면, IPTV 사업자를 포함하는 전송 사업자들은 본 방송에 대한 주문형 비디오(VOD) 제작 비용을 줄이고, 서비스 업로드 시간을 줄일 수 있으며, 자사의 광고 수입을 증대시킬 수 있다. 전송 사업자들은 본 방송과 VOD 제공 시간의 간격을 줄이기 위한 서비스를 실시하고 있다. 예를 들면, KT의 "성질 급한 VOD", SK브로드밴드의 "Just 10 Minutes", LG U+의 "Quick 배포"를 제공하기 위해서, 각 전송 사업자는 채널에서 송출되는 영상에서 본 방송만을 탐지하는 것이 필요하다. 현재는 광고 영상을 자동으로 탐지할 수 없기 때문에, 사람이 본 방송의 전후 부분을 모니터링하며, 중간 광고를 편집한다. 본 발명에 따르면, 채널 영상에서 광고 영상을 자동으로 탐지할 수 있어, 전송 사업자들은 VOD 서비스를 빠른 시간에 제공할 수 있다. 특히, 중간 광고의 경우 지속적으로 모니터링 하지 않는 이상, 어느 시점에서 광고가 송출되는지 알 수 없으나, 본 발명에 따르면, 광고 영상을 식별할 수 있으므로, 본 방송에 포함된 중간 광고를 전송 사업자가 집행하는 광고로 자연스럽게 대체할 수 있다. According to the present invention, transmission providers including IPTV operators can reduce production cost of video-on-demand (VOD) for the broadcast, reduce service upload time, and increase their advertising revenue. Transmission operators are providing services to reduce the gap between the main broadcasting and VOD provision time. For example, in order to provide KT's "Rapid Quality VOD", SK Broadband's "Just 10 Minutes", and LG U+'s "Quick Distribution", it is necessary for each transmission provider to detect only the broadcasts seen in the video transmitted from the channel. Do. At this time, since the advertisement video cannot be automatically detected, the front and rear parts of the broadcast viewed by a person are monitored and the intermediate advertisement is edited. According to the present invention, it is possible to automatically detect an advertisement image in a channel image, so that transmission providers can provide a VOD service in a short time. In particular, in the case of an intermediate advertisement, it is not possible to know at what point the advertisement is transmitted unless it is continuously monitored, but according to the present invention, since the advertisement image can be identified, the transmission provider executes the intermediate advertisement included in the broadcast Ads can be replaced naturally.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiment of the present invention described above is not implemented only through an apparatus and a method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (15)

영상 분석 장치의 동작 방법으로서,
식별하고자 하는 목표 영상별 샷 정보를 목표 영상 데이터베이스에 저장하는 단계,
타겟 채널에서 송출된 채널 영상을 입력받는 단계,
상기 채널 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성하는 단계,
검출한 인접 샷들을 유사 의미 집단으로 묶어 복수의 샷들로 구성된 서브 영상을 추출하는 단계,
상기 목표 영상 데이터베이스에서 상기 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 특정 목표 영상을 검색하는 단계, 그리고
상기 서브 영상의 송출 시간에 상기 타겟 채널에서 상기 특정 목표 영상이 송출된 정보를 목표 영상 송출 시간표에 기록하는 단계를 포함하고,
상기 샷 정보는 각 영상을 구성하는 샷들의 지문 정보를 포함하는, 동작 방법.As a method of operating the video analysis device,
Storing shot information for each target image to be identified in the target image database,
Receiving a channel image transmitted from a target channel,
Sequentially detecting shots in the channel image and generating fingerprint information of each shot,
Grouping the detected adjacent shots into similar semantic groups and extracting a sub-image composed of a plurality of shots
Retrieving a specific target image including shot fingerprint information identical to or greater than a reference from the sub-image in the target image database, and
And recording information transmitted from the target channel in the target channel in a target video transmission timetable at a transmission time of the sub-image.
The shot information includes fingerprint information of shots constituting each image. 제1항에서,
상기 샷 정보는 각 영상을 구성하는 샷의 개수인 샷 길이를 더 포함하고,
상기 특정 목표 영상을 검색하는 단계는
상기 목표 영상 데이터베이스에서 샷 길이가 상기 서브 영상과 동일하거나 기준 이상으로 유사한 후보 목표 영상들을 추출하고, 상기 후보 목표 영상들 중에서 샷 지문 정보가 상기 서브 영상과 동일하거나 기준 이상인 영상을 상기 특정 목표 영상으로 추출하는, 동작 방법.In claim 1,
The shot information further includes a shot length that is the number of shots constituting each image,
The step of searching for the specific target image is
In the target image database, candidate target images having a shot length equal to or greater than or equal to the reference level are extracted, and among the candidate target images, an image whose shot fingerprint information is equal to or greater than or equal to the reference level is used as the specific target image. How to extract, how to operate. 제1항에서,
상기 목표 영상 데이터베이스에서 상기 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 목표 영상이 검색되지 않은 경우, 상기 서브 영상을 신규 영상 데이터베이스에 신규 영상으로 저장하는 단계, 그리고
판단 기준을 기초로 상기 신규 영상이 신규 목표 영상인지 판단하거나, 관리자로부터 상기 신규 영상을 신규 목표 영상으로 저장 지시를 입력받으면, 상기 목표 영상 데이터베이스에 상기 신규 영상을 목표 영상으로 저장하는 단계
를 더 포함하는, 동작 방법.In claim 1,
Storing the sub-image as a new image in the new image database when a target image including shot fingerprint information identical to or greater than a reference is not found in the target image database; and
Storing the new image as a target image in the target image database when determining whether the new image is a new target image or receiving an instruction to store the new image as a new target image based on a determination criterion.
Further comprising, the operation method. 제3항에서,
상기 판단 기준은
상기 채널 영상에서 상기 신규 영상의 전 또는 후에 검출된 영상의 종류, 상기 신규 영상의 재생 시간, 그리고 상기 신규 영상의 샷 길이 중 적어도 하나를 포함하는, 동작 방법.In claim 3,
The above criteria
And a type of an image detected before or after the new image in the channel image, a reproduction time of the new image, and a shot length of the new image. 제1항에서,
채널별로 목표 영상들이 송출된 정보를 포함하는 상기 목표 영상 송출 시간표를 제공하는 단계를 더 포함하는, 동작 방법.In claim 1,
And providing the target image transmission timetable including information on which target images are transmitted for each channel. 제5항에서,
상기 목표 영상 송출 시간표를 제공하는 단계는
각 채널에서 복수의 목표 영상들이 송출된 시간 구간을 표시하고, 상기 복수의 목표 영상들 중에서 선택된 목표 영상의 상세 정보를 표시하는 인터페이스 화면을 제공하는, 동작 방법.In claim 5,
Providing the target video transmission timetable is
An operation method of providing an interface screen displaying a time period in which a plurality of target images are transmitted from each channel and displaying detailed information of a target image selected from the plurality of target images. 제5항에서,
상기 타겟 채널의 시간에 따른 시청자 수를 획득하는 단계,
상기 타겟 채널의 목표 영상 송출 시간표와 상기 타겟 채널의 시간에 따른 시청자 수를 이용하여, 상기 타겟 채널에서 노출된 각 목표 영상의 시청자 수를 계산하는 단계, 그리고
각 목표 영상의 시청자 수를 출력하는 단계
를 더 포함하는, 동작 방법.In claim 5,
Obtaining the number of viewers over time of the target channel,
Calculating the number of viewers of each target image exposed in the target channel using the target video transmission timetable of the target channel and the number of viewers according to the time of the target channel, and
Outputting the number of viewers for each target video
Further comprising, the operation method. 제7항에서,
상기 타겟 채널의 시간에 따른 시청자 수는 상기 타겟 채널에 연결된 셋톱박스 수나 사용자 단말 수를 기초로 계산되는, 동작 방법.In claim 7,
The number of viewers over time of the target channel is calculated based on the number of set-top boxes or user terminals connected to the target channel. 제1항에서,
상기 목표 영상은 광고 영상인, 동작 방법.In claim 1,
The target video is an advertising video, operation method. 영상 분석 장치의 동작 방법으로서,
스트리밍 영상에서 샷을 순차적으로 검출하고, 각 샷의 지문 정보를 생성하는 단계,
상기 스트리밍 영상의 적어도 일부 구간을 유사한 인접 샷들로 묶어 복수의 서브 영상들로 구분하고, 각 서브 영상의 송출 시간을 확인하는 단계,
식별 광고 정보가 대응된 광고 영상들의 샷 지문 정보들과 각 서브 영상의 샷 지문 정보들을 비교하여 각 서브 영상에 해당하는 광고 정보를 식별하는 단계,
상기 복수의 서브 영상들 중에서 광고 정보가 식별된 서브 영상의 경우, 상기 식별된 서브 영상의 송출 시간에 식별된 광고 정보가 송출된 정보를 기록하는 단계, 그리고
상기 스트리밍 영상에서 식별된 광고 정보들이 송출된 시간 정보를 포함하는 광고 송출 시간표를 생성하는 단계
를 포함하는, 동작 방법.As a method of operation of the video analysis device,
Sequentially detecting shots in the streaming video and generating fingerprint information for each shot,
Grouping at least a portion of the streaming video into similar adjacent shots, dividing the video into a plurality of sub-videos, and checking transmission time of each sub-video;
Identifying advertisement information corresponding to each sub-image by comparing shot fingerprint information of the advertisement images to which the identification advertisement information corresponds and shot fingerprint information of each sub-image,
In the case of a sub-image in which advertisement information is identified among the plurality of sub-images, recording information in which the advertisement information identified in the transmission time of the identified sub-image is transmitted, and
Generating an advertisement transmission timetable including time information on which the advertisement information identified in the streaming video is transmitted.
Including, operating method. 제10항에서,
상기 복수의 서브 영상들 중에서 광고 정보가 식별되지 않은 서브 영상의 경우, 미식별 서브 영상을 신규 영상 데이터베이스에 신규 영상으로 저장하는 단계, 그리고
상기 신규 영상을 신규 식별 광고 정보에 대응시키고, 상기 신규 영상의 샷 지문 정보들을 광고 영상 데이터베이스에 저장하는 단계
를 더 포함하는, 동작 방법.In claim 10,
In the case of a sub-image in which advertisement information is not identified among the plurality of sub-images, storing the sub-image for each food as a new image in a new image database, and
Corresponding to the new image to the new identification advertisement information, and storing the shot fingerprint information of the new image in the advertisement image database
Further comprising, the operation method. 제10항에서,
상기 광고 송출 시간표는
각 채널에서 복수의 광고 영상들이 송출된 시간 구간을 표시하고, 상기 복수의 광고 영상들 중에서 선택된 영상의 상세 정보를 표시하는 인터페이스 화면을 포함하는, 동작 방법.In claim 10,
The advertisement delivery timetable
And an interface screen displaying a time period in which a plurality of advertisement images are transmitted from each channel, and displaying detailed information of a selected image among the plurality of advertisement images. 제10항에서,
상기 스트리밍 영상을 송출하는 채널의 시간에 따른 시청자 수를 획득하는 단계,
상기 광고 송출 시간표와 상기 채널의 시간에 따른 시청자 수를 이용하여, 상기 채널에서 노출된 각 광고 영상의 시청자 수를 계산하는 단계, 그리고
각 광고 영상의 시청자 수를 출력하는 단계
를 더 포함하는, 동작 방법.In claim 10,
Obtaining the number of viewers over time of the channel for transmitting the streaming video,
Calculating the number of viewers of each advertisement image exposed in the channel by using the advertisement transmission timetable and the number of viewers according to the time of the channel, and
Outputting the number of viewers of each advertisement video
Further comprising, the operation method. 제10항에서,
상기 각 서브 영상에 해당하는 광고 정보를 식별하는 단계는
광고 영상들의 샷 지문 정보들을 포함하는 샷 정보를 광고 영상 데이터베이스에 저장하고, 상기 광고 영상 데이터베이스에서 각 서브 영상과 동일하거나 기준 이상으로 유사한 샷 지문 정보들을 포함하는 특정 광고 영상을 검색하는, 동작 방법.In claim 10,
The step of identifying advertisement information corresponding to each sub-image is
An operation method of storing shot information including shot fingerprint information of advertisement images in an advertisement image database, and searching for a specific advertisement image in the advertisement image database that includes shot fingerprint information that is the same as or greater than or equal to each sub-image. 제14항에서,
상기 샷 정보는 각 영상을 구성하는 샷의 개수인 샷 길이를 더 포함하고,
상기 각 서브 영상에 해당하는 광고 정보를 식별하는 단계는
상기 광고 영상 데이터베이스에서 샷 길이가 각 서브 영상과 동일하거나 기준 이상으로 유사한 후보 광고 영상들을 추출하고, 상기 후보 광고 영상들과 샷 지문 정보들을 비교하여 상기 특정 광고 영상을 검색하는, 동작 방법.In claim 14,
The shot information further includes a shot length that is the number of shots constituting each image,
The step of identifying advertisement information corresponding to each sub-image is
An operation method of extracting candidate advertisement images having a shot length equal to or greater than a reference level from the advertisement image database and comparing the candidate advertisement images with shot fingerprint information to search for the specific advertisement image.
KR1020190008885A 2019-01-23 2019-01-23 Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements KR20200091730A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190008885A KR20200091730A (en) 2019-01-23 2019-01-23 Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190008885A KR20200091730A (en) 2019-01-23 2019-01-23 Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements

Publications (1)

Publication Number Publication Date
KR20200091730A true KR20200091730A (en) 2020-07-31

Family

ID=71834978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008885A KR20200091730A (en) 2019-01-23 2019-01-23 Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements

Country Status (1)

Country Link
KR (1) KR20200091730A (en)

Similar Documents

Publication Publication Date Title
US11317165B2 (en) Streaming video
US20230024837A1 (en) Automated identification of video program content
JP5824007B2 (en) System and method for media insertion based on keyword search
US9602855B2 (en) Systems and methods for automated extraction of closed captions in real time or near real-time and tagging of streaming data for advertisements
US7593858B2 (en) System and method for identifying desirable subscribers
US9166714B2 (en) Method of and system for presenting enriched video viewing analytics
US8255949B1 (en) Television program targeting for advertising
US9553922B1 (en) Media event based social networking interfaces
US10455269B2 (en) Systems and methods for automated extraction of closed captions in real time or near real-time and tagging of streaming data for advertisements
US9635405B2 (en) System and method for scalable, high accuracy, sensor and ID based audience measurement system based on distributed computing architecture
US10116982B2 (en) Systems and methods for automated extraction of closed captions in real time or near real-time and tagging of streaming data for advertisements
US8959548B2 (en) Presenting advertisements with video program descriptions
CN101512591A (en) System and methods for competitive dynamic selection of digital advertising assets in a video distribution system
KR101500500B1 (en) Personalized content recommendation system and method
US20200053409A1 (en) Systems and Methods for Automated Extraction of Closed Captions in Real Time or Near Real-Time and Tagging of Streaming Data for Advertisements
US10015548B1 (en) Recommendation of segmented content
KR20200091730A (en) Method and apparatus for identifying videos based on shot fingerprint information, method for providing electronic program guide of advertisements
US20220027942A1 (en) Real-time Guaranteed Campaign Delivery Optimization Using Broadcast Schedules and Historic Viewing Data
US20230141399A1 (en) Automated evaluation of replaced video program content
US20170238066A1 (en) Method and computer program product for selectively displaying advertisments during media playback
AU2012255729A1 (en) System and method for scalable, high accuracy, sensor and ID based audience measurement system