KR102275494B1 - 자동 콘텐츠 인식을 위한 프레임 확실성 결정 방법 및 시스템 - Google Patents

자동 콘텐츠 인식을 위한 프레임 확실성 결정 방법 및 시스템 Download PDF

Info

Publication number
KR102275494B1
KR102275494B1 KR1020197027218A KR20197027218A KR102275494B1 KR 102275494 B1 KR102275494 B1 KR 102275494B1 KR 1020197027218 A KR1020197027218 A KR 1020197027218A KR 20197027218 A KR20197027218 A KR 20197027218A KR 102275494 B1 KR102275494 B1 KR 102275494B1
Authority
KR
South Korea
Prior art keywords
media device
frame
fingerprint
metric
broadcast
Prior art date
Application number
KR1020197027218A
Other languages
English (en)
Other versions
KR20190119626A (ko
Inventor
앤드류 엘. 애쉬바커
Original Assignee
로쿠, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로쿠, 인코퍼레이티드 filed Critical 로쿠, 인코퍼레이티드
Publication of KR20190119626A publication Critical patent/KR20190119626A/ko
Application granted granted Critical
Publication of KR102275494B1 publication Critical patent/KR102275494B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Abstract

자동 콘텐츠 인식을 위한 프레임 확실성 메트릭(340)을 결정하기 위한 방법은 브로드캐스트 미디어 스트림(S)의 브로드캐스트 프레임들(F1-n)에 관한 미디어 기기 스트림(S)의 미디어 기기 프레임들(FD1-n) 사이의 프레임 매치(310)를 결정하는 단계 및 다음에 의해 상기 프레임 매치를 이동할지 여부를 결정하는 단계를 포함한다: 제1 미디어 기기 핑거프린트(222b) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초한 제1 프레임 확실성 메트릭; 상기 제1 미디어 기기 핑거프린트에 순차적으로 인접한 제2 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제2 프레임 확실성 메트릭; 상기 제1 미디어 기기 핑거프린트에 순차적으로 인접한 제3 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제3 프레임 확실성 메트릭; 및 최대 프레임 확실성 메트릭. 상기 방법은 상기 최대 프레임 확실성 메트릭을 상기 타겟 브로드캐스트 핑거프린트와 매칭되는 타겟 미디어 기기 핑거프린트(222TM)로서 식별하는 단계를 더 포함한다.

Description

자동 콘텐츠 인식을 위한 프레임 확실성 결정 방법 및 시스템
본 개시 내용은 자동 콘텐츠 인식을 위한 프레임 확실성 메트릭을 결정하는 것에 관한 것이다.
오늘날 미디어 기기들은 점점 보편화되고 있고 텔레비전과 같은 가정의 범위가 설치물들에서 미디어 소비자와 함께 이동하는 모바일 기기들에 이를 수 있다. 텔레비전, 셋톱 박스, 휴대폰, 랩탑 및 태블릿과 같은 미디어 기기들은 다양한 소스로부터 미디어 콘텐츠에 액세스하고 이를 검색할 수 있다. 예를 들어, 미디어 기기는 유선 또는 무선 연결로부터 위성, 공중파 방송 또는 스트리밍 시스템들을 통해 미디어 콘텐츠를 수신할 수 있다. 미디어 기기들의 사용이 계속해서 증가함에 따라, 미디어 컨텐츠에 대한 미디어 기기 연결도 증가되어왔다. 이러한 성장에 따라, 새로운 미디어 콘텐츠 시장이 등장했고 구 미디어 콘텐츠 시장은 상황에 맞는 미디어 콘텐츠를 이해하고 미디어 소비자에게 제공하도록 적응되었다.
본 개시 내용의 일 양태는 자동 콘텐츠 인식을 위한 프레임 확실성 메트릭을 결정하기 위한 방법을 제공한다. 상기 방법은 데이터 처리 하드웨어에서, 브로드캐스트 미디어 스트림의 브로드캐스트 프레임들을 나타내는 브로드캐스트 핑거프린트들을 수신하는 단계를 포함한다. 상기 방법은 또한 상기 데이터 처리 하드웨어에서, 상응하는 미디어 기기에서의 미디어 기기 스트림의 미디어 기기 프레임들을 나타내는 미디어 기기 핑거프린트들을 수신하는 단계를 포함한다. 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 브로드캐스트 미디어 스트림의 상기 브로드캐스트 프레임들에 관한 상기 미디어 기기 스트림의 상기 미디어 기기 프레임들 사이의 프레임 매치를 결정하는 단계를 더 포함한다. 상기 방법은 상기 데이터 처리 하드웨어에 의해, 다음을 결정함으로써 상기 프레임 매치를 이동할지 여부를 결정하는 단계를 포함한다: 제1 미디어 기기 핑거프린트 및 타겟 브로드캐스트 핑거프린트에 기초한 제1 프레임 확실성 메트릭; 상기 제2 미디어 기기 핑거프린트에 순차적으로 인접한 제2 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제2 프레임 확실성 메트릭; 상기 제2 미디어 기기 핑거프린트와 반대로 상기 제1 미디어 기기 핑거프린트에 순차적으로 인접한 제3 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제3 프레임 확실성 메트릭, (각각의 프레임 확실성 메트릭은 상응하는 상기 핑거프린트들 간 매칭의 특질을 나타냄); 및 상기 제1 프레임 확실성 메트릭, 상기 제2 프레임 확실성 메트릭 및 상기 제3 프레임 확실성 메트릭 중 최대 프레임 확실성 메트릭. 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 최대 프레임 확실성 메트릭에 상응하는 상기 미디어 기기 핑거프린트를 상기 타겟 브로드캐스트 핑거프린트와 매칭되는 타겟 미디어 기기 핑거프린트로서 식별하는 단계를 더 포함한다.
본 개시 내용의 구현 예들은 다음 임의적인 특징들 중 하나 이상을 포함할 수 있다. 일부 구현 예에서, 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 미디어 기기 핑거프린트가 상기 타겟 미디어 기기 핑거프린트에 상응하는지 여부를 결정하는 단계를 포함한다. 상기 미디어 기기 핑거프린트가 상기 타겟 미디어 기기 핑거프린트에 상응할 때, 상기 방법은: 상기 타겟 미디어 기기 핑거프린트의 상기 프레임 확실성 메트릭을 타겟 프레임 확실성 메트릭으로서 식별하는 단계; 상기 제4 미디어 기기 핑거프린트에 순차적으로 인접한 제4 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제4 프레임 확실성 메트릭을 결정하는 단계; 상기 제4 미디어 기기 핑거프린트와 반대로 상기 타겟 미디어 기기 핑거프린트에 순차적으로 인접한 제5 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제5 프레임 확실성 메트릭을 결정하는 단계; 및 상기 타겟 프레임 확실성 메트릭, 상기 제4 프레임 확실성 메트릭 및 상기 제5 프레임 확실성 메트릭 중 최대 프레임 확실성 메트릭을 결정하는 단계를 포함한다. 상기 방법의 다양한 구현 예에서, 상기 프레임 확실성 메트릭은 1보다 큰 확실성 레벨을 갖는다. 일부 예에서, 상기 프레임 확실성 메트릭이 1보다 큰 확실성 레벨을 가질 때, 제1 확실성 레벨은 상기 제1 프레임 확실성 메트릭, 상기 제2 프레임 확실성 메트릭 및 상기 제3 프레임 확실성 메트릭 중 상기 최대 프레임 확실성 메트릭에 상응한다. 다른 예들에서, 제2 확실성 레벨은 상기 타겟 프레임 확실성 메트릭, 상기 제4 프레임 확실성 메트릭 및 상기 제5 프레임 확실성 메트릭 중 상기 최대 프레임 확실성 메트릭을 식별한다.
일부 구현 예에서, 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 최대 프레임 확실성 메트릭이 프레임 확실성 메트릭 임계치를 충족시키는지 여부를 결정하는 단계를 더 포함한다. 일부 예에서, 상기 최대 프레임 확실성 메트릭이 상기 프레임 확실성 메트릭 임계치를 충족시킬 때, 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 타겟 브로드캐스트 핑거프린트에 상응하는 프레임 위치를 상기 타겟 미디어 기기 핑거프린트에 상응하는 미디어 기기 프레임과 연관시키는 단계를 포함한다. 임의적으로, 상기 방법은 상기 데이터 처리 하드웨어에 의해, 상기 타겟 미디어 기기 핑거프린트에 상응하는 상기 미디어 기기 프레임의 상기 프레임 위치에 기초화여 광고 교체를 명령하는 단계를 더 포함한다.
일부 예에서, 상기 프레임 매치를 결정할 때, 상기 방법은 상기 브로드캐스트 기기 핑거프린트들에 관한 상기 미디어 기기 핑거프린트들 사이의 상기 프레임 매치를 결정하는 단계를 더 포함한다. 임의적으로, 상기 미디어 기기가 미디어 기기 프레임률을 가질 때, 브로드캐스터는 브로드캐스트 프레임률을 가지며, 상기 미디어 기기 프레임률은 상기 미만이다.
본 개시 내용의 다른 양태는 자동 콘텐츠 인식을 위한 프레임 확실성 메트릭을 결정하기 위한 시스템을 제공한다. 상기 시스템은 데이터 처리 하드웨어 및 상기 데이터 처리 하드웨어와 통신하는 메모리 하드웨어를 포함한다. 상기 메모리 하드웨어는 상기 데이터 처리 하드웨어 상에서 실행될 때 상기 데이터 처리 하드웨어가 동작들을 수행하게 할 수 있는 명령들을 저장한다. 상기 동작들은 브로드캐스트 미디어 스트림의 브로드캐스트 프레임들을 나타내는 브로드캐스트 핑거프린트들을 수신하는 동작, 상응하는 미디어 기기에서의 미디어 기기 스트림의 미디어 기기 프레임들을 나타내는 미디어 기기 핑거프린트들을 수신하는 동작, 및 상기 브로드캐스트 미디어 스트림의 상기 브로드캐스트 프레임들에 관한 상기 미디어 기기 스트림의 상기 미디어 기기 프레임들 사이의 프레임 매치를 결정하는 동작을 포함한다. 상기 시스템은 다음에 의해 상기 프레임 매치를 이동할지 여부를 결정하는 동작: 제1 미디어 기기 핑거프린트 및 타겟 브로드캐스트 핑거프린트에 기초한 제1 프레임 확실성 메트릭을 결정, 상기 제1 미디어 기기 핑거프린트에 순차적으로 인접한 제2 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제2 프레임 확실성 메트릭을 결정; 상기 제2 미디어 기기 핑거프린트와 반대로 상기 제1 미디어 기기 핑거프린트에 순차적으로 인접한 제3 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제3 프레임 확실성 메트릭을 결정, (각각의 프레임 확실성 메트릭은 상응하는 상기 핑거프린트들 간 매칭의 특질을 나타냄); 및 및 상기 제1 프레임 확실성 메트릭, 상기 제2 프레임 확실성 메트릭 및 상기 제3 프레임 확실성 메트릭 중 최대 프레임 확실성 메트릭을 결정. 상기 시스템은 상기 최대 프레임 확실성 메트릭에 상응하는 상기 미디어 기기 핑거프린트를 상기 타겟 브로드캐스트 핑거프린트와 매칭되는 타겟 미디어 기기 핑거프린트로서 식별하는 동작들을 더 포함한다.
상기 시스템의 다양한 구현 예에서, 상기 동작들은 상기 미디어 기기 핑거프린트가 상기 타겟 미디어 기기 핑거프린트에 상응하는지 여부를 결정하는 동작을 더 포함한다. 상기 미디어 기기 핑거프린트가 상기 타겟 미디어 기기 핑거프린트에 상응할 때, 상기 시스템은 다음을 위한 동작들을 더 포함한다: 상기 타겟 미디어 기기 핑거프린트의 상기 프레임 확실성 메트릭을 타겟 프레임 확실성 메트릭으로서 식별하는 동작; 상기 제4 미디어 기기 핑거프린트에 순차적으로 인접한 제4 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제4 프레임 확실성 메트릭을 결정하는 동작; 상기 제4 미디어 기기 핑거프린트와 반대로 상기 타겟 미디어 기기 핑거프린트에 순차적으로 인접한 제5 미디어 기기 핑거프린트 및 상기 타겟 브로드캐스트 핑거프린트에 기초한 제5 프레임 확실성 메트릭을 결정하는 동작; 및 상기 타겟 프레임 확실성 메트릭, 상기 제4 프레임 확실성 메트릭 및 상기 제5 프레임 확실성 메트릭 중 최대 프레임 확실성 메트릭을 결정하는 동작. 상기 방법의 다양한 구현 예에서, 상기 프레임 확실성 메트릭은 1보다 큰 확실성 레벨을 갖는다. 일부 예에서, 상기 프레임 확실성 메트릭이 1보다 큰 확실성 레벨을 가질 때, 제1 확실성 레벨은 상기 제1 프레임 확실성 메트릭, 상기 제2 프레임 확실성 메트릭 및 상기 제3 프레임 확실성 메트릭 중 상기 최대 프레임 확실성 메트릭에 상응한다. 다른 예들에서, 제2 확실성 레벨은 상기 타겟 프레임 확실성 메트릭, 상기 제4 프레임 확실성 메트릭 및 상기 제5 프레임 확실성 메트릭 중 상기 최대 프레임 확실성 메트릭을 식별한다.
일부 예에서, 상기 시스템은 상기 최대 프레임 확실성 메트릭이 프레임 확실성 메트릭 임계치를 충족시키는지 여부를 결정하는 동작들을 더 포함한다. 일부 예에서, 상기 최대 프레임 확실성 메트릭이 상기 프레임 확실성 메트릭 임계치를 충족시킬 때, 상기 동작들은 상기 타겟 브로드캐스트 핑거프린트에 상응하는 프레임 위치를 상기 타겟 미디어 기기 핑거프린트에 상응하는 미디어 기기 프레임과 연관시키는 동작을 더 포함할 수 있다. 임의적으로, 상기 동작들은 상기 타겟 미디어 기기 핑거프린트에 상응하는 상기 미디어 기기 프레임의 상기 프레임 위치에 기초화여 광고 교체를 명령하는 동작을 더 포함한다.
상기 시스템의 일부 동작에서, 상기 프레임 매치를 결정하는 동작은 상기 브로드캐스트 기기 핑거프린트들에 관한 상기 미디어 기기 핑거프린트들 사이의 상기 프레임 매치를 결정하는 동작을 더 포함한다. 일부 예에서, 상기 미디어 기기가 미디어 기기 프레임률을 가질 때, 브로드캐스터는 브로드캐스트 프레임률을 가지며, 상기 미디어 기기 프레임률은 상기 미만이다.
본 개시 내용의 하나 이상의 구현 예의 세부 사항들은 첨부 도면들 및 아래 내용에서 제시된다. 다른 양태들, 특징들 및 이점들은 내용 및 도면들 및 청구범위로부터 명백할 것이다.
도 1a는 자동 콘텐츠 인식 환경의 일례의 개략도이다.
도 1b는 자동 콘텐츠 인식 환경의 일례의 개략도이다.
도 2는 자동 콘텐츠 인식 환경의 예시적인 서버의 개략도이다.
도 3a 내지 도 3c는 미디어 기기에 상응하는 예시적인 자동 콘텐츠 인식 모듈들의 개략도들이다.
도 3d 내지 도 3f는 미디어 기기에 상응하는 자동 콘텐츠 인식 모듈의 예시적인 싱크로나이저들의 개략도들이다.
도 4는 동적 광고 교체의 예시적인 시나리오의 개략도이다.
도 5는 예시적인 자동 콘텐츠 인식 환경에 대한 흐름도이다.
도 6는 본 명세서에 설명된 시스템들 및 방법들을 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 기기의 개략도이다.
같은 참조 부호들은 다양한 도면에서 같은 요소들을 나타낸다.
일반적으로, 자동 콘텐츠 인식(ACR)은 미디어 기기 상에서 또는 미디어 파일 내에서 미디어 콘텐츠를 식별하는 처리이다. ACR은 사회에 의해 일상적으로 소비되는 방대한 양의 미디어 콘텐츠를 식별하는 데 점점 유용해지고 있다. 상업적 관점에서, ACR은 사업체들 및 다른 개체들이 미디어 콘텐츠 소비를 이해하게 하고, 아마도 보다 효과적으로, 미디어 콘텐츠의 소비자들(즉, 미디어 기기 사용자들)에게 마케팅하거나 그들을 타겟으로 삼게 할 수 있다. 예를 들어, 광고가 미디어 기기의 사용자 개인에게 맞춰질 때 광고 또는 오퍼는 보다 효과적일 수 있다. 따라서, 브로드캐스터들, 상업 제공자, 광고주들 및 다른 개체들은 어떤 프로그램들이 시청되고 있는지, 또는 보다 상세하게는, 시청하는 동안 프로그램 어디에 사용자가 있는지를 알고 싶어한다. 이러한 유형의 정보를 이용하여, 미디어 기기 사용자는 보다 정확하게 요구를 채워주는 미디어 콘텐츠를 수신할 수 있다.
도 1a는 자동 콘텐츠 인식 환경(10)의 일례이다. 자동 콘텐츠 인식 환경(10)은 미디어 콘텐츠를 미디어 기기(30)의 사용자(20)(즉, 시청자)에게 배포하기 위한 여러 계층을 포함할 수 있다. 도 1a는 미디어 콘텐츠 배포 처리를 다음 네 개의 계층으로 간략화하려고 한다: 브로드캐스트 계층(100); 추가 콘텐츠 계층(110); 네트워크 계층(120); 및 기기 계층(130). 각각의 계층(100, 110, 120, 130)은 미디어 스트림(S)에 영향을 미치는 개체들을 가질 수 있다. 브로드캐스트 계층(100)은 브로드캐스트 미디어 스트림(SB)을 생성하기 위해 수반될 수 있는 브로드캐스트 개체들을 나타낸다. 이러한 브로드캐스트 개체들은 브로드캐스터(102) 및 브로드캐스트 디스트리뷰터(104)를 포함할 수 있다. 브로드캐스터(102)는 지역 브로드캐스터들, 다중 채널 네트워크들 또는 다른 미디어 콘텐츠 소유권자들과 같은 하나 이상의 미디어 콘텐츠 제공자들일 수 있다. 브로드캐스트 디스트리뷰터(104)는 미디어 콘텐츠를 배포하기 위한 인프라스트럭처 또는 자원들(예를 들어, 신호 선들, 통신 타워들, 통신 안테나들, 서버들 등)을 제공하는 브로드캐스트 개체이다. 브로드캐스터(102) 및 브로드캐스트 디스트리뷰터(104)는 제공되는 미디어 콘텐츠의 유형 또는 미디어 콘텐츠를 수신하는 미디어 기기의 유형과 같은 브로드캐스팅 변수들에 따라 동일한 브로드캐스트 개체 또는 상이한 브로드캐스트 개체일 수 있다.
일부 구현 예에서, 브로드캐스트 미디어 스트림(SB)은 추가 콘텐츠 계층(110)으로서 표현되는 콘텐츠 개체들로부터의 추가 미디어 콘텐츠(SC)를 포함한다. 이러한 콘텐츠 개체들은 상용 서비스 제공자들(112), 광고주들(114) 또는 브로드캐스트 미디어 스트림(SB)에 추가 미디어 콘텐츠(SC)를 기고하는 다른 개체들을 포함한다. 일반적으로, 상용 서비스 제공자들(112)은 추가 미디어 콘텐츠(SC)를 조달 및/또는 호스팅하는 콘텐츠 개체들인 한편, 광고주들(114)은 광고, 오퍼, 딜, 할인 또는 상품 및/또는 서비스의 다른 프로모션과 같은 콘텐츠를 갖는 추가 미디어 콘텐츠(SC)를 생성하는 콘텐츠 개체들이다. 추가적으로 또는 대안적으로, 상용 서비스 제공자들(112) 및 광고주들(114)은 동일한 콘텐츠 개체일 수 있다. 추가 콘텐츠 계층(110)은 브로드캐스트 계층(100), 네트워크 계층(120), 기기 계층(130) 또는 이들의 임의의 조합으로 추가 미디어 콘텐츠(SC)를 전달할 수 있다. 임의적으로, 추가 콘텐츠 계층(110)은 추가 미디어 콘텐츠(SC)를 브로드캐스트 미디어 스트림(SB)과 짝지어 추가 미디어 콘텐츠(SC)를 포함하는 조합된 브로드캐스트 미디어 스트림(SB, SC)을 형성할 수 있다.
도 1a를 더 참조하면, 네트워크 계층(120)은 브로드캐스트 계층(100) 및/또는 추가 콘텐츠 계층(110)으로부터 브로드캐스트 미디어 스트림(SB) 및 추가 미디어 콘텐츠(SC)를 수신하도록 구성된다. 예를 들어, 네트워크 계층(120)이 브로드캐스트 계층(100)으로부터 미디어 스트림(S)을 수신하는 경우, 네트워크 계층(120)은 추가 미디어 콘텐츠(SC)와 함께 또는 추가 미디어 콘텐츠(SC)와 독립적으로 브로드캐스트 미디어 스트림(SB)을 수신할 수 있다. 유사하게, 네트워크 계층(120)이 추가 콘텐츠 계층(110)으로부터 미디어 스트림(S)을 수신하는 경우, 네트워크 계층(120)은 추가 미디어 콘텐츠(SC)와 함께 또는 추가 미디어 콘텐츠(SC)와 독립적으로 브로드캐스트 미디어 스트림(SB)을 수신할 수 있다. 일부 구현 예에서, 네트워크 계층(120)은 브로드캐스트 계층(100)으로부터의 브로드캐스트 미디어 스트림(SB)을 추가 콘텐츠 계층(110)으로부터의 추가 미디어 콘텐츠(SC)와 짝지어 추가 미디어 콘텐츠(SC)가 함유된 브로드캐스트 미디어 스트림(SB)을 나타내는 네트워크 미디어 스트림(SN)을 생성할 수 있다.
네트워크 계층(120)은 핑거프린터(200)를 포함한다. 핑거프린터(200)는 데이터 처리 하드웨어(212) 및 메모리 하드웨어(214)를 갖는 서버(210) 상에서 동작하도록 구성된다. 핑거프린터(200)는 브로드캐스트 핑거프린트 생성기(220)를 포함한다. 네트워크 계층(120)은 핑거프린트들(222) 및 핑거프린트들(222)과 관련된 메타데이터(224)를 핑거프린트 데이터베이스(230) 및/또는 메타데이터 데이터베이스(240)에 저장하도록 구성될 수 있다. 일반적으로, 핑거프린트(222)는 미디어 스트림(S)의 적어도 하나의 프레임(Fn)에 상응하는 적어도 하나의 고유 식별자이다. 예를 들어, 적어도 하나의 고유 식별자는 값(예를 들어, 픽셀 값), 문자와 숫자를 조합한 표현 또는 오디오 비주얼 이미지의 압축된 버전일 수 있다. 추가적으로 또는 대안적으로, 네트워크 계층(120)은 브로드캐스트 미디어 스트림(SB), 추가 미디어 콘텐츠(SC) 또는 양자를 저장하도록 구성된다.
도 1a는 또한 임의의 계층(즉, 브로드캐스트 계층(100), 추가 콘텐츠 계층(110) 또는 네트워크 계층(120))이 기기 계층(130)과 통신할 수 있음을 도시한다. 기기 계층(130)에서, 텔레비전, PC, 랩탑, 태블릿 또는 휴대폰과 같은 미디어 기기들(30)은 미디어 기기 스트림(SD)(예를 들어, 브로드캐스트 미디어 스트림(SB), 추가 콘텐츠 스트림(SC) 또는 네트워크 미디어 스트림(SN)의 임의의 조합)을 수신하고, 상응하는 미디어 기기 스트림(SD)(예를 들어, 브로드캐스트 미디어 스트림(SB), 추가 콘텐츠 스트림(SC) 또는 네트워크 미디어 스트림(SN)의 임의의 조합)의 전부 또는 부분을 사용자(20)에게 전달할 수 있다. 기기는 일부 형태의 미디어 콘텐츠를 수신 또는 전달하도록 구성된 미디어 기기(30)와 관련된 임의의 하드웨어 또는 임의의 소프트웨어를 의미할 수 있다. 일부 구현 예에서, 미디어 기기들(30)은 상응하는 미디어 스트림(예를 들어, 브로드캐스트 미디어 스트림(SB), 추가 콘텐츠 스트림(SC) 또는 네트워크 미디어 스트림(SN)의 임의의 조합)을 해석하거나 그것과 상호 작용하도록 구성될 수 있다. 예를 들어, 미디어 기기들(30)는 브로드캐스트 미디어 스트림(101a)으로부터의 추가 미디어 콘텐츠(SC)를 식별한다. 미디어 기기들(30)은 브로드캐스트 미디어 스트림(101a)의 추가 미디 콘텐츠(SC)를 교체 미디어 콘텐츠로 교체 또는 오버레이할 수 있다. 미디어 기기들(30)은 브로드캐스트 미디어 스트림(SB, SC)에 미리 정의된 콘텐츠가 있는지 필터링할 수 있다. 추가적으로 또는 대안적으로, 미디어 기기들(30)은 미디어 스트림(예를 들어, 브로드캐스트 미디어 스트림(SB), 추가 콘텐츠 스트림(SC) 또는 네트워크 미디어 스트림(SN)의 임의의 조합)과 관련된 정보 또는 데이터를 브로드캐스트 계층(100), 추가 콘텐츠 계층(110), 네트워크 계층(120) 또는 기기 계층(130)의 다른 미디어 기기들(30)을 이용하여 전달하도록 구성될 수 있다.
도 1b는 자동 콘텐츠 인식 환경(10)의 일례이다. 자동 콘텐츠 인식 환경(10)은 브로드캐스터(102), 핑거프린터(200) 및 자동 콘텐츠 인식 모듈(ACR 모듈)(300)을 포함한다. 브로드캐스터(102)는 브로드캐스트 미디어 스트림(SB, SC)을 채널들(Ch1-n)에 의해 핑거프린터(200)로 브로드캐스트 프레임률(RB)로 브로드캐스팅한다. 브로드캐스트 프레임률(RB)은 브로드캐스트 미디어 스트림(SB, SC)을 각각의 브로드캐스트 프레임(F1-n)이 브로드캐스트 미디어 스트림(SB)(101a) 내 픽셀들에 의해 표현되는 오디오 비주얼 이미지에 상응하도록 브로드캐스트 프레임들(F1-n)로 나눈다. 핑거프린터(200)는 브로드캐스트 핑거프린트 생성기(220)에서 각각의 브로드캐스트 프레임(F1-n)을 수신하도록 구성된다. 브로드캐스트 핑거프린트 생성기(220)는 각각의 브로드캐스트 프레임(F1-n)을 수신하고 각각의 브로드캐스트 프레임(F1-n)을 나타내는 브로드캐스트 핑거프린트들(222, 222a)을 생성하도록 구성된다. 일반적으로, 브로드캐스트 핑거프린트(222, 222a)는 브로드캐스트 프레임(F1-n)에 상응하는 적어도 하나의 고유 식별자이다. 핑거프린터(200)는 각각의 브로드캐스트 핑거프린트(222, 222a)를 핑거프린트 데이터베이스(230)와 같은 데이터베이스에 저장할 수 있다. 일부 예에서, 핑거프린터(200)는 각각의 브로드캐스트 핑거프린트(222, 222a)를 프레임 위치(예를 들어, 프레임 타임 코드), 프레임의 유형(예를 들어, 라이브 프로그램 또는 광고) 또는 핑거프린트 식별자 태그와 같이 브로드캐스트 프레임(F1-n)에 상응하는 메타데이터(224)에 따라 또는 그것과 함께 저장한다. 다른 예들에서, 핑거프린터(200)는 각각의 브로드캐스트 핑거프린트들(222, 222a)의 메타데이터(224)에 상응하는 별개의 데이터베이스 또는 데이터베이스들을 갖는다. 메타데이터(224)에 대한 별개의 데이터베이스는 핑거프린터(200)가 보다 많은 브로드캐스트 핑거프린트(222, 222a)를 저장하게 할 수 있다.
도 1b를 더 참조하면, 브로드캐스터(102)는 또한 브로드캐스트 미디어 스트림(SB, SC)을 미디어 기기(30)에 브로드캐스팅한다. 미디어 기기(30)는 브로드캐스터(102)로부터의 브로드캐스트 미디어 스트림(SB, SC)을 미디어 기기 스트림(SD, 101b)으로서 수신한다. 미디어 기기(30)는 미디어 기기 스트림(SB, 101b)으로부터 미디어 프레임들(FD1-n)을 캡처하도록 그리고 캡처된 미디어 프레임들(FD1-n)을 ACR 모듈(300)에 전달하도록 구성된다. 도 1b에 도시된 예에서, 미디어 기기(30)는 미디어 기기 스트림(SD)을 수신하는 텔레비전(30, 30a)(TV)이다. 예를 들어, 텔레비전(30, 30a)은 텔레비전 채널들(Ch1-n)을 미디어 기기 스트림(SD)으로서 수신한다.
일부 구현 예에서, 브로드캐스터(102)는 브로드캐스트 미디어 스트림(SB, SC)을 브로드캐스트 프레임률(RB)로 제공한다. 미디어 기기(30)(예를 들어, TV(30, 30a)로서 도시된)는 상응하는 브로드캐스트 미디어 스트림(SB, SC)을 미디어 기기 스트림(SD)으로서 브로드캐스트 프레임률(RB)로 수신할 수 있다. 보통, 브로드캐스트 프레임률(RB)은 브로드캐스트 포맷(예를 들어, 1080 60i, 720 60P 등)의 다양한 산업 표준에 상응한다. 예를 들어, 몇몇 통상 브로드캐스트 프레임률(RB)은 30P(29.97 프레임/초), 24P(23.98 프레임/초) 및 60P(59.94 프레임/초)를 포함한다. 미디어 기기(30)는 미디어 기기 스트림(SD)의 프레임들(FD1-n)을 미디어 기기 프레임률(RMD)로 캡처하도록 구성될 수 있다. 미디어 기기 프레임률(RMD)은 상응하는 미디어 기기(30)가 캡처된 프레임들(FD1-n)을 ACE 모듈(300)에 제공하는 프레임률이다. 일부 구현 예에서, 미디어 기기(30)는 미디어 기기 스트림(SD)을 브로드캐스트 프레임률(RB)로 수신하도록 구성되나, 미디어 기기 스트림(SD)의 프레임들(FD1-n)을 ACR 모듈(300)에 대해 미디어 기기 프레임률(RMD)로 캡처하도록도 구성될 수 있다. 예를 들어, 브로드캐스트 프레임률(RB)은 미디어 기기 프레임률(RMD)과 상이하다. 이러한 차이의 일례는 브로드캐스트 프레임률(RB)이 미디어 기기 프레임률(RMD)보다 큰 것이다(예를 들어, 30P의 브로드캐스트 프레임률 및 4 프레임/초의 미디어 기기 프레임률(RMD)). 프레임률들의 차이는 미디어 기기(30)에서 프레임 캡처 하드웨어 또는 소프트웨어와 관련된 자원 제한(CPU, 메모리 등)일 수 있다.
일부 예에서, ACR 모듈(300)은 핑거프린터(200)로부터 브로드캐스트 핑거프린트들(222, 222a)을 그리고 미디어 기기 스트림(SD)으로부터 미디어 기기 프레임들(FD1-n)을 수신한다. ACR 모듈(300)은 미디어 기기 프레임들(FD1-n)을 브로드캐스트 프레임들(F1-n)과 비교하여 매칭 프레임들(Fn, FDn)을 식별할 수 있다. ACR 모듈(300)은 텔레비전(30, 30a) 내부 기기(예를 들어, 텔레비전(30, 30a)의 하드웨어 또는 소프트웨어) 또는 텔레비전(30, 30a)과 통신하는 외부 기기(예를 들어, 헤드엔드 시스템 또는 셋톱 박스)일 수 있다.
도 2는 핑거프린터(200)의 브로드캐스트 핑거프린트 생성기(220)의 일례이다. 브로드캐스트 핑거프린트 생성기(220)는 브로드캐스트 미디어 스트림(SB, SC)의 채널들(Ch1-n)에 상응하는 브로드캐스트 프레임들(F1-n)을 수신한다. 브로드캐스트 핑거프린트 생성기(220)는 각각의 수신된 브로드캐스트 프레임(F1-n)에 대한 브로드캐스트 핑거프린트(222, 222a)를 생성할 수 있고 브로드캐스트 핑거프린트(222, 222a)를 핑거프린트 데이터베이스(230)에 저장할 수 있다. 일부 예에서, 각각의 브로드캐스트 핑거프린트(222, 222a)는 상응하는 브로드캐스트 미디어 스트림(SB)(101a)의 브로드캐스트 프레임(F1-n)의 적어도 하나의 픽셀 값(VP)을 나타낸다. 적어도 하나의 픽셀 값(VP)은 브로드캐스트 프레임(F1-n)의 평균 픽셀 값 또는 색 공간 값들의 합일 수 있다. 예를 들어, 적어도 하나의 픽셀 값(VP)은 브로드캐스트 핑거프린트 생성기(220)가 그레이-UV(YUV) 색 공간에 따라 브로드캐스트 핑거프린트(222, 222a)를 생성할 때 상응하는 브로드캐스트 프레임(F1-n)의 그레이스케일 값들의 합 및/또는 평균을 나타낼 수 있다. 다시 말해, 상응하는 브로드캐스트 프레임(F1-n)의 각각의 픽셀이 브로드캐스트 핑거프린트(222, 222a)가 픽셀 영역의 그레이스케일 값들의 합 및/또는 평균을 나타내도록 그레이스케일 값으로 표현된다. 일부 구현 예에서, 핑거프린트(222)(예를 들어, 브로드캐스트 핑거프린트(222, 222a))은 상응하는 브로드캐스트 프레임(F1-n)의 서브-프레임들(Fsub)에 기초한 고유 식별자이다. 서브-프레임(Fsub)당 픽셀들에 따라, 각각의 서브-프레임(Fsub)은 상응하는 픽셀 값(VP) 또는 상응하는 평균 픽셀 값을 가질 수 있다.
도 2는 또한 서브-프레임들(Fsub)로 나눠지는 브로드캐스트 프레임(F1-n)에 상응하는 브로드캐스트 핑거프린트(222a, F1-n)의 일례를 도시한다. 일부 예에서, 브로드캐스트 핑거프린트 생성기(220)는 브로드캐스트 프레임들(F1-n) 간을 보다 정확하게 비교 또는 구별하기 위해 각각의 브로드캐스트 프레임(F1-n)을 서브-프레임들(Fsub)로 나눌 수 있다. 서브-프레임들(Fsub)을 이용하면, 각각의 핑거프린트(222)는 상응하는 프레임(F1-n)의 하나보다 많은 평균 픽셀 값(VP)을 나타낼 수 있다. 각각의 브로드캐스트 프레임(F1-n)을 서브-프레임들(Fsub)로 나눔으로써, 전체 브로드캐스트 프레임(F1-n)의 픽셀 값(VP)(또는 평균 픽셀 값)에 기초하여 브로드캐스트 핑거프린트 생성 동안 브로드캐스트 핑거프린트들(222, 222a)보다 더 많은 세부 사항(예를 들어, 각각의 서브-프레임들(Fsub)의 픽셀들)이 고려된다. 그에 따라, 브로드캐스트 핑거프린트 생성기(220)가 각각의 브로드캐스트 프레임(F1-n)을 나누는 서브-프레임들(Fsub)의 수는 목적하는 정확성 레벨에 따른다. 예를 들어, 도 2에 도시된 바와 같이, 브로드캐스트 핑거프린트 생성기(220)는 각각의 브로드캐스트 프레임(F1-n)을 16개의 서브-프레임(Fsub)으로 나눠 4x4 어레이를 획정한다. 16개의 서브-프레임(Fsub)의 각 서브-프레임(Fsub)은 각각의 브로드캐스트 핑거프린트(222a)가 각 서브-프레임(Fsub)과 연관된 정수 값을 갖는 16개의 정수 벡터에 의해 각각의 상응하는 브로드캐스트 프레임(F1-n)을 나타내도록 평균 픽셀 값(Vp11-44)을 갖는다. 도면들이 각각의 브로드캐스트 프레임(F1-n) 또는 각각의 미디어 기기 프레임(FD1-n)을 4x4 어레이로서 도시할 수 있지만, 임의의 서브-프레임 나눔이 가능하다.
도 3a 내지 도 3g는 ACR 모듈(300)의 예들이다. ACR 모듈(300)은 브로드캐스트 미디어 스트림(SB, SC)의 브로드캐스트 프레임들(F1-n)에 관한 미디어 기기 스트림(SD)의 미디어 기기 프레임들(FD1-n) 사이의 프레임 매치(310)를 결정하도록 구성된다. 일부 예에서, ACR 모듈(300)은 핑거프린트 생성기(320) 및 싱크로나이저(330)를 포함한다. 핑거프린트 생성기(320)는 ACR 모듈(300)의 브로드캐스트 핑거프린트 생성기(220)가 미디어 기기(30)(예를 들어, TV(30, 30a))에서 캡처된 미디어 기기 프레임들(FD1-n)에 상응하는 핑거프린트들(222)(즉, 미디어 기기 핑거프린트들(222, 222b))을 생성하는 것을 제외하고는, 브로드캐스트 핑거프린트 생성기(220)와 유사하게 기능하다. 핑거프린트 생성기(320)는 미디어 기기 핑거프린트들(222, 222b)을 싱크로나이저(330)에 전달하도록 구성된다.
일부 구현 예에서, 싱크로나이저(330)는 핑거프린터(200)로부터 미디어 기기 핑거프린트들(222, 222b) 및 브로드캐스트 핑거프린트들(222, 222a)을 수신한다. 미디어 기기 핑거프린트들(222, 222b) 및 브로드캐스트 핑거프린트들(222, 222a)을 이용하여, 싱크로나이저(330)는 프레임 매치(310)를 식별한다. 프레임 매치(310)는 주어진 미디어 기기 프레임(FD1-n)과 매칭되는 브로드캐스트 프레임(F1-n)이다. 추가적으로 또는 대안적으로, 프레임 매치(310)에 상응하는 브로드캐스트 프레임(F1-n)은 또한 매칭 브로드캐스트 프레임(FMB)이라 지칭되는 한편 프레임 매치(310)에 상응하는 미디어 기기 프레임(FD1-n)은 매칭된 미디어 기기 프레임(FMD)이라 지칭된다. ACR 모듈(300)은 매칭 브로드캐스트 프레임(FMB)에 기초하여 미디어 기기 스트림(SD)에서의 미디어 콘텐츠의 파라미터들을 식별할 수 있다. 예를 들어, 프레임 매치(310)를 이용하여, ACR 모듈(300)은 매칭 브로드캐스트 프레임(FMB)으로부터 메타데이터(224)를 식별할 수 있다. 메타데이터(224)는 프레임 위치(예를 들어, 프레임 타임 코드), 프레임의 유형(예를 들어, 라이브 프로그램 또는 광고), 매칭 브로드캐스트 프레임(FMB)에 상응하는 채널, 식별자 태그 또는 매칭 브로드캐스트 프레임(FMB)과 관련된 임의의 기술자를 포함할 수 있다. ACR 모듈(300)은 매칭 브로드캐스트 프레임(FMB)으로부터의 메타데이터(224)를 프레임 매치(310)의 매칭된 미디어 기기 프레임(FMD)과 연관시킬 수 있다. 일부 예에서, ACR 모듈(300)은 미디어 기기 프레임(FD1-n)에 상응하는 채널(Ch)에 관한 메타데이터(224) 및/또는 채널(Ch) 내 프레임 위치(예를 들어, 프레임 타임 코드)를 연관시킨다.
채널(Ch)에 대한 지식 및 미디어 기기(30)에서의 미디어 기기 스트림(SD)의 위치를 이용하여, 브로드캐스터들(102) 및 추가 콘텐츠 제공자들은 사용자(20)가 어떤 프로그램을 시청하고 있는지 그리고 당시 사용자(20)가 프로그램의 시퀀스 어디에 있는지를 알 수 있다. 그 다음 브로드캐스터(102) 및 추가 콘텐츠 제공자는 그러한 정보를 사용하여 사용자(20)를 정확하게 광고에 대한 타겟으로 삼고 사용자(20)에 비-상업적인 정보(예를 들어, 뉴스 알람, 소식, 교육 정보 등)를 오퍼 또는 제공할 수 있다. 그에 따라, ACR 모듈(300)은 개체가 미디어 기기(30)의 사용 동안 사용자(20)에 제공되는 미디어 콘텐츠를 조정하게 할 수 있다. 그러나 ACR 모듈(300)에서의 프레임 매치 처리가 갖는 잠재적인 문제점은 연속되는 미디어 기기 프레임(FD1-n)이 매우 유사할 수 있어, 연속되는 미디어 기기 프레임(FD1-n)이 장면 전환이 급격하게 변하는 연속되는 미디어 기기 프레임(FD1-n)을 발생시키지 않는 한 시간이 지남에 따라 아주 약간의 변화만 갖게 된다는 점이다. 통상적으로 연속되는 미디어 기기 프레임(FD1-n) 간 아주 약간의 변화로 인해, ACR 모듈(300)은 프레임 매치(310)를 잘못 식별하는 위험에 처할 수 있다. 다시 말해, ACR 모듈(300)이 사용자(20)에 의해 미디어 기기 스트림(SD)이 하나의 미디어 기기 프레임(FD1-n)(매칭된 미디어 기기 프레임(FD1-n))에서 시청되고 있다고 결정할 때, 실제로 사용자(20)는 미디어 기기 스트림(SD)으로부터 매칭된 미디어 기기 프레임(FMD) 보다 몇 미디어 기기 프레임(FD1-n) 앞 또는 뒤를 보고 있는 것이다.
일부 상황에서, ACR 모듈(300)에 의해 매칭되는 프레임은 브로드캐스트(즉, 브로드캐스트 프레임률(RB))와 미디어 기기(즉, 미디어 기기 프레임률(RMD)) 사이에 프레임률의 차이가 있을 때 훨씬 더 큰 매칭 오차(즉, 프레임 매치(310)를 잘못 식별할 위험)를 가질 수 있다. 예를 들어, 미디어 기기 프레임률(RMD)이 브로드캐스트 프레임률(RB)보다 훨씬 더 느린 경우, 매칭된 미디어 기기 프레임(FMD)은 사용자(20)에 의해 현재 시청되고 있는 미디어 기기 프레임(FD1-n)으로부터 시간이 더 멀 수 있어; 타이밍 불일치를 야기한다. 일부 예에서, 타이밍 불일치는 ACR 모듈(300)에 기초하여 동적 광고 교체(DAR)를 수행하는 추가 콘텐츠 제공자들이 광고 대신 라이브 프로그램을 교체할만큼 충분히 크다.
매칭 오차의 잠재성을 해결하기 위해, ACR 모듈(300)은 프레임 매치(310)가 매칭 브로드캐스트 프레임(FMB)과 가장 잘 매칭되는 미디어 기기 프레임(FD1-n)에 상응하는지 여부에 대한 표시자로서 프레임 확실성 메트릭(340)을 결정하도록 구성된다. 다시 말해, ACR 모듈(300)이 프레임 확실성 메트릭(340)에 의해, 프레임 매치(310)가 원래 매치 미디어 기기 프레임(FMD)과 상이한 미디어 기기 프레임(FD1-n)으로 이동해야 하는지를 결정할 수 있다. ACR 모듈(300)은 매치 미디어 기기 프레임(FMD)에 순차적으로 인접하는 미디어 기기 프레임(FD1-n)이 보다 큰 프레임 확실성 메트릭(340)을 가질 때 프레임 매치(310)를 이동시키도록 프로그래밍될 수 있다.
도 3a 내지 도 3g에 도시된 바와 같이, ACR 모듈(300)의 싱크로나이저(330)는 메트릭 생성기(332) 및 조절기(334)를 포함한다. 메트릭 생성기(332)는 프레임들(F) 간 비교에 기초하여 프레임 확실성 메트릭(340, 340i-n)을 생성한다. 프레임 확실성 메트릭(340)은 프레임들(F) 및/또는 프레임들(F)에 상응하는 핑거프린트들(222) 간 매치의 강도를 나타내는 유사성의 측정이다. 매치의 강도를 나타내는 유사성의 측정은 두 변수 간 연관성을 측정하는 통계적 상관 관계와 같은 정량적 상관 관계(예를 들어, Pearson 상관 관계, Kendall 상관 관계 또는 Spearman 상관 관계)일 수 있다. 일부 구현 예에서, 프레임 확실성 메트릭(340)은 1보다 큰 확실성 레벨을 가지며 이때 각각의 확실성 레벨은 프레임들(F) 및/또는 프레임들(F)에 상응하는 핑거프린트들(222) 간 상이한 매치의 강도를 나타낸다. 기본 예들로서, 프레임 확실성 메트릭(340)은 이산적인 정량적 측정 범위들에 상응하는 2 또는 3의 확실성 레벨들(예를 들어, 저 및 고 또는 저, 중 및 고)(예를 들어, 저 = 0-0.33, 중 = 0.34-0.66 그리고 고 = 0.067-1.0)을 가질 수 있다. 일부 예에서, 메트릭 생성기(332)는 미디어 기기 핑거프린트(222, 222b) 및 브로드캐스트 핑거프린트(222, 222a)에 따라 프레임 확실성 메트릭(340)을 결정한다. 이러한 예들에서, 브로드캐스트 핑거프린트(222, 222a)는 매칭 브로드캐스트 프레임(FMB)에 상응하는 프린트(222, 222TB)이다. 도 3a 내지 도 3c에 도시된 바와 같이, 핑거프린터(200)는 타겟 브로드캐스트 핑거프린트(222, 222TB)를 포함하여, 브로드캐스트 핑거프린트들(222, 222a)을 ACR 모듈(300)에 제공할 수 있다. 다른 예들에서, ACR 모듈(300)은 타겟 브로드캐스트 핑거프린트(222, 222TB)를 얻기 위해 핑거프린터(200)에 질의하거나 그것과 통신할 수 있다.
일부 구현 예에서, 메트릭 생성기(332)는 ACR 모듈(300)에 대한 최대 프레임 확실성 메트릭(342)을 결정하기 위해 프레임 확실성 메트릭들(340, 340i-n)의 반복을 생성한다. 각 반복은 조절기(334)에 의해 제공되는 매치 미디어 기기 프레임(FMD)에 순차적으로 인접한 매치 미디어 기기 프레임(FMD)에 상응할 수 있다. 추가적으로 또는 대안적으로, 각각의 반복은 매치 미디어 기기 프레임(FMD) 및 매치 미디어 기기 프레임(FMD)에 순차적으로 인접하는 각각의 프레임(Fadj)에 상응하는 세 개의 상이한 프레임 확실성 메트릭(340, 340(1-3))에 상응할 수 있다. 조절기(334)는 프레임(F)(예를 들어, 미디어 기기 프레임(FD1-n) 또는 미디어 기기 프레임(FD1-n)) 및/또는 프레임(Fadj)에 상응하는 핑거프린트(222)를 수신하도록 그리고 수신된 프레임(Fadj)에 순차적으로 인접하는 프레임(Fadj) 및/또는 순차적으로 인접하는 프레임(Fadj)에 상응하는 순차적으로 인접하는 핑거프린트(222, Fadj)를 리턴하도록 구성된다.
도 3a 내지 도 3c는 메트릭 생성기(332)의 제1 반복의 예들이다. 이러한 예들에서, 메트릭 생성기(332)는 프레임 매치(310)와 관련된 핑거프린트들(222)에 기초하여 제1 프레임 확실성 메트릭(340, 3401)을 결정한다. 다시 말해, 메트릭 생성기(332)는 제1 미디어 기기 핑거프린트(222, FMD)(예를 들어, 매치 미디어 기기 프레임(FMD)에 상응하는 미디어 기기 핑거프린트(222, 222b)) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제1 프레임 확실성 메트릭(340, 3401)을 결정한다. 조절기(334)는 제1 미디어 기기 핑거프린트(222, FMD) 및/또는 타겟 브로드캐스트 핑거프린트(222, 222TB)를 수신하고 메트릭 생성기(332)에 제1 미디어 기기 핑거프린트(222, FMD)에 순차적으로 인접하는 제2 미디어 기기 핑거프린트(222, Fadj)를 타겟 브로드캐스트 핑거프린트(222, 222TB)와 함께 리턴한다. 추가적으로 또는 대안적으로, 메트릭 생성기(332)는 타겟 브로드캐스트 핑거프린트(222, 222TB)를 저장하여 조절기(334)가 단지 제1 미디어 기기 핑거프린트(222, FMD)에 순차적으로 인접하는 제2 미디어 기기 핑거프린트(222, Fadj)만 리턴하도록 구성될 수 있다. 예를 들어, 메트릭 생성기(332)가 프레임 매치(310)에 기초하여 타겟 브로드캐스트 핑거프린트(222, 222TB)를 저장하는 경우, 메트릭 생성기(332)는 타겟 브로드캐스트 핑거프린트(222, 222TB)를 조절기(334)에 전달하지 않을 수 있다.
ACR 모듈(300)은 메트릭 생성기(332)와 조절기(334) 사이 프레임 확실성 메트릭 처리의 여러 반복을 반복할 수 있다. ACR 모듈(300)은 여러 반복을 수행하여 각 반복의 각 프레임 확실성 메트릭(340, 340i) 중에서 최대 프레임 확실성 메트릭(342)을 결정할 수 있다. 최대 프레임 확실성 메트릭(342)을 이용하여, ACR 모듈(300)은 최대 프레임 확실성 메트릭(342)에 상응하는 미디어 기기 핑거프린트(222, 222b)를 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222, 222TD)로서 식별한다.
일부 예에서, ACR 모듈(300)은 프레임 확실성 메트릭(340)에 기초하여 동작들을 수행할 수 있다. 도 3b는 ACR 모듈(300)이 동적 광고 교체(DAR) 모듈(400)과 추가로 통신한다는 점을 제외하고는 도 3a의 ACR 모듈(300)과 유사한 ACR 모듈(300)의 일례이다. 일반적으로, DAR 모듈(400)은 미디어 기기 스트림(SD) 내에서 광고들을 나타내는 미디어 기기 프레임들(FD1-n)을 식별할 수 있는 시스템이고 광고들을 교체 광고들로 교체(또는 오버레이)할 수 있다. DAR 모듈(400)은 ACR 모듈(300)로부터 전달되는 정보를 사용하여 타겟 미디어 기기 핑거프린트(222, 222TD)에 상응하는 미디어 기기 프레임(FD1-n)의 프레임 위치에 관한 미디어 기기 스트림(SD) 내 광고들의 프레임 위치를 식별할 수 있다. 예를 들어, ACR 모듈(300)이 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222, 222TD)를 식별함에 따라, ACR 모듈(300)은 타겟 미디어 기기 핑거프린트(222, 222TD) 또는 타겟 미디어 기기 핑거프린트(222, 222TD)에 상응하는 미디어 기기 프레임(FD1-n)을 DAR 모듈(400)에 전달한다. 일부 예에서, ACR 모듈(300)은 DAR 모듈(400)이 교체 프레임들의 세트(FRP(1-n))를 교체될 미디어 기기 프레임들(FD1-n)과 정렬시킬 수 있도록 타겟 미디어 기기 핑거프린트(222, 222TD)에 상응하는 미디어 기기 프레임(FD1-n)과 연관된 메타데이터(224)(예를 들어, 프레임 위치)를 전달한다.
도 3c는 또한 ACR 모듈(300)이 임계치 비교기(336)를 포함한다는 점을 제외하고는 도 3b 및 도 3c의 ACR 모듈(300)과 유사한 ACR 모듈(300)의 일례이다. 임계치 비교기(336)는 ACR 모듈(300)에 의해 수행되는 프레임 확실성 메트릭(340)의 반복을 최소화하도록 구성될 수 있다. 반복을 최소화함으로써, ACR 모듈(300)은 보다 빠르게 처리하고 처리 능력에 덜 의존할 수 있다. 임계치 비교기(336)는 각각의 반복 이후 프레임 확실성 메트릭(340)과 비교될 프레임 확실성 메트릭 임계치(340Th)를 갖게 구성될 수 있다. 프레임 확실성 메트릭 임계치(340Th)를 이용하여, ACR 모듈(300)은 ACR 모듈(300)이 최상의 프레임 확실성 메트릭(342)을 결정할 때까지 프레임 확실성 메트릭(340)을 계속해서 결정하지 않아도 된다. 예를 들어, 프레임 확실성 메트릭(340)이 프레임 확실성 메트릭 임계치(340Th)를 초과하는 경우, 싱크로나이저(330)는 프레임 확실성 메트릭 생성을 중단하고 프레임 확실성 메트릭 임계치(340Th)를 초과하는 프레임 확실성 메트릭(340)에 상응하는 미디어 기기 핑거프린트(222, 222b)를 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222, 222TD)로서 식별한다. 도 3c에 도시된 바와 같이, 메트릭 생성기(332)는 조절기(334)에 대한 프레임 확실성 메트릭(340, 3401)의 제1 반복을 생성하고 임계치 비교기(336)는 프레임 확실성 메트릭(340, 3401)의 제1 반복이 프레임 확실성 메트릭 임계치(340Th)를 충족시키는지 여부를 결정한다. 임의적으로, 프레임 확실성 메트릭(340, 3401)이 프레임 확실성 메트릭 임계치(340Th)를 충족시키는 경우, ACR 모듈(300)은 도 3b와 더 상세하게 논의된 바와 같이 DAR 모듈(400)과 통신할 수 있다.
도 3d 내지 도 3g는 ACR 모듈(300)이 프레임 매치(310)를 이동시킬지 여부를 결정할 때 싱크로나이저(330)의 대안도들이다. 메트릭 생성기(332)는 미디어 기기 프레임(FD1-n)에 상응하는 각각의 미디어 기기 핑거프린트(222, 222b)와 타겟 브로드캐스트 핑거프린트(222, 222TB) 간 프레임 확실성 메트릭(340)을 생성한다. 도 3d 내지 도 3g는 미디어 기기 프레임(FD1-n)에 상응하는(예를 들어, 미디어 기기 핑거프린트(222, 222b)를 통해) 각각의 프레임 확실성 메트릭(340, 340(1-n))을 곡선 상의 지점으로서 나타낸다. 일부 예에서, 도 3d 내지 도 3g에 의해 도시된 바와 같이, 메트릭 생성기(332)의 한 번의 반복은 조절기(334)에 세 개의 프레임 확실성 메트릭(340, 3401-3)을 전달하며: 제1 프레임 확실성 메트릭(340, 3401)은 제1 미디어 기기 핑거프린트(222, 222b1) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초한다. 제2 프레임 확실성 메트릭(340, 3402)은 제2 미디어 기기 핑거프린트(222, 222b2) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제2 미디어 기기 핑거프린트(222, 222b2)가 제1 미디어 기기 핑거프린트(222, 222b1)에 순차적으로 인접하게 되고(예를 들어, 시간이 제1 미디어 기기 핑거프린트 전 또는 후); 제3 프레임 확실성 메트릭(340, 3403)은 제3 미디어 기기 핑거프린트(222, 222b3) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제3 미디어 기기 핑거프린트(222, 222b3)가 제2 미디어 기기 핑거프린트(222, 222b2)와 반대로 제1 미디어 기기 핑거프린트(222, 222b1)에 순차적으로 인접하게 된다. 조절기(334)는 이러한 세 개의 프레임 확실성 메트릭(340, 3401-3)으로부터 최대 프레임 확실성 메트릭(342)을 선택할 수 있고 최대 프레임 확실성 메트릭(342)을 갖는 미디어 기기 핑거프린트(222, 222b)를 다음 반복에 대한 제1 미디어 기기 핑거프린트(222, 222b1)(또는 타겟 미디어 기기 핑거프린트)로서 할당할 수 있다. 예를 들어, 도 3d는 세 개의 미디어 기기 핑거프린트(222, 222b1-3)를 실선 선택 박스로 도시하고 세 개 중 중심에 오는 것으로서 제1 미디어 기기 핑거프린트(222, 222b1)를 파선 선택 박스로 지정한다. 세 개의 선택된 미디어 기기 핑거프린트(222, 222b1-3)는 상응하는 프레임 확실성 메트릭(340, 3401-3)과 짝지어지고 조절기(334)는 제3 미디어 기기 핑거프린트(222, 222b3)를 최대 프레임 확실성 메트릭(342)으로 선택한다. 이러한 선택에 기초하여, ACR 모듈(300)은 프레임 매치(310)를 앞으로 이동시키도록 결정힌다. 도 3e는 반대 방향의 프레임 매치(310)의 이동을 도시한다. 보다 상세하게, 최대 프레임 확실성 메트릭(342)을 갖는 미디어 기기 핑거프린트(222, 222b)는 제2 미디어 기기 핑거프린트(222, 222b2)가 제1 미디어 기기 핑거프린트보다 이전 시간 프레임에 상응하기 때문에 뒤로 이동에 상응하는 제2 미디어 기기 핑거프린트(222, 222b2)이다. 도 3f는 프레임 매치(310)의 매치 미디어 기기 프레임에 상응하는 미디어 기기 핑거프린트(222, 222b)가 최대 프레임 확실성 메트릭(342)을 갖는 세 번째 가능한 시나리오를 도시한다. 이러한 예에서, ACR 모듈(300)은 프레임 매치(310)를 이동시킬 필요는 없고, 미디어 기기 핑거프린트(222, 222b1)를 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222,222TD)로서 식별한다.
ACR 모듈(300)을 더 참조하면, 도 3g는 도 3d 또는 도 3e 중 어느 하나의 제1 반복으로부터의 진행으로서 메트릭 생성기(332)와 조절기(334) 간 제2 반복의 일례를 제공한다. 제2 반복에서, 메트릭 생성기(332)는 프레임 매치(310)의 다른 이동이 필요한지 여부를 결정하기 위해 조절기(334)와 통신한다. 제2 반복 동안, ACR 모듈(300)은 제1 반복의 타겟 미디어 기기 핑거프린트(222, 222TD)의 프레임 확실성 메트릭(342)을 타겟 프레임 확실성 메트릭(340, 340T)으로서 식별한다. 메트릭 생성기(332)는 타겟 프레임 확실성 메트릭(340, 340T)을 둘 이상의 프레임 확실성 메트릭(340, 3404-5)과 함께 조절기(334)에 전달한다: 제4 미디어 기기 핑거프린트(222, 222b4) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제4 미디어 기기 핑거프린트(222, 222b4)가 타겟 미디어 기기 핑거프린트(222, 222TD)에 순차적으로 인접하게 되는 제4 프레임 확실성 메트릭(340, 3404) 및 제5 미디어 기기 핑거프린트(222, 222b5) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제5 미디어 기기 핑거프린트(222, 222b5)가 제4 미디어 기기 핑거프린트(222, 222b4)와 반대로 타겟 미디어 기기 핑거프린트(222, 222TD)에 순차적으로 인접하게 되는 제5 프레임 확실성 메트릭(340, 3405) 조절기(334)는 이러한 세 개의 프레임 확실성 메트릭(340, 3404, 5, TD)으로부터 최대 프레임 확실성 메트릭(342)을 선택할 수 있고 최대 프레임 확실성 메트릭(342)을 갖는 미디어 기기 핑거프린트(222, 222b)를 타겟 미디어 기기 핑거프린트(222, 222TD)로서 할당할 수 있다. 도 3g의 예에서, 제1 반복의 타겟 미디어 기기 핑거프린트(222, 222TD)는 다시 최대 프레임 확실성 메트릭(342)을 갖는다. 그에 따라, ACR 모듈(300)은 제1 반복의 타겟 미디어 기기 핑거프린트(222, 222TD)를 다시 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222, 222TD)로서 식별한다. 단지 두 번의 반복이 도시되었지만, 캡처된 미디어 기기 스트림이 미디어 기기 스트림(SD)과 ACR 모듈(300)을 적절하게 싱크로나이징할 타겟 미디어 기기 핑거프린트(222, 222TD)를 식별하기 위해 여러 번 반복할 수 있다.
도 4는 동적 광고 교체(DAR) 모듈(400)에 대한 타이밍 불일치("슬럽(slop)"이라고도 지칭됨)를 도시하기 위한 네 개의 시나리오의 일례이다. 타이밍 불일치 또는 슬럽은 일반적으로 교체 동안에 있는 잘못 교체된 미디어 기기 프레임들(FD1-n)의 수를 나타낸다. 각각의 시나리오에 대해, 도 4는 교체 프레임들의 세트(FRP(1-n))(8개의 프레임으로 도시됨), 원래 프레임들의 세트(FO(1-n)) 및 그 결과로 생긴 프레임들의 세트(FR(1-n))를 도시한다. 원래 프레임들의 세트(FO(1-n))는 DAR 모듈(400)에 의해 동적 광고 교체 타겟이 되는 프레임들에 상응한다. 타겟이 되는 프레임들은 추가 콘텐츠 제공자가 교체하기 원하는 미디어 기기 스트림에서의 기존 광고들을 나타낼 수 있다. 시나리오 1은 아이디얼(ideal) 또는 퍼펙트(perfect) 동적 광고 교체를 도시한다. 이러 한시나리오에서, 교체 프레임들의 세트(FRP(1-n))는 그 결과로 생긴 프레임들의 세트(FR(1-n))가 단지 교체 프레임들의 세트(FRP(1-n))로부터의 프레임들만을 포함하고 원래 프레임들의 세트(Fo(1-n))로부터는 어떠한 프레임도 포함하지 않도록 원래 프레임들의 세트(Fo(1-n))와 정렬된다. 퍼펙트 동적 광고 교체에서, 교체는 사용자(20)에 거의 끊어짐이 없이 보여야 한다. 교체 프레임들의 세트(FRP(1-n))는 미디어 기기 스트림(SD)에 너무 이르게(예를 들어, 라이브 프로그램을 잘라낼 가능성이 있게) 또는 너무 늦게(예를 들어, 두 개의 상이한 광고를 시청할 가능성이 있게) 끼어들지 않는다. DAR 모듈(400)이 원래 프레임들의 세트(Fo(1-n))와 교체 프레임들의 세트(FRP(1-n))를 오정렬시킬 때, 오정렬은 얼리(early, 이른) 또는 레이트(late, 늦은) DAR을 초래할 수 있다. 시나리오 2는 얼리 DAR를 나타낸다. 얼리 DAR은 교체 프레임들의 세트(FRP(1-n))가 타겟이 되는 프레임들 이전에 너무 이르게 미디어 기기 스트림(SD)으로 이음으로써 라이브 프로그램을 잘라낼 수 있기 때문에 미디어 콘텐츠 시청 특질을 떨어뜨릴 수 있다. 예를 들어, 사용자(20)는 그 또는 그녀의 라이브 프로그램이 갑자기 광고로 바뀌는 것을 보고, 광고를 끝마친 다음 다시 다른 광고의 맨 끝(즉, 타겟이 되는 프레임들의 일 부분)으로 전환된다. 시나리오 2는 그 결과로 생긴 프레임들의 세트(FR(1-n))가 원래 프레임들의 세트(Fo(1-n))로부터의 두 개의 원래 프레임을 포함하는 것을 도시함으로써 얼리 DAR을 나타낸다. 반대 효과는 DAR 모듈(400)이 타겟이 되는 프레임을 너무 늦게 교체하는 경우 발생할 수 있다. 예를 들어, 사용자(20)가 라이브 프로그램의 일 부분 이후 광고를 보기 시작한 다음, 미디어 기기 스트림(SD)이 교체 광고로 바뀌는 것을 보며, 그 다음 라이브 프로그램이 재개된 후 라이브 프로그램으로 되돌아간다. 시나리오 2는 그 결과로 생긴 프레임들의 세트(FR(1-n))가 교체 프레임들의 세트(FRP(1-n))로부터의 두 개의 프레임을 포함하는 것을 도시함으로써 레이트 DAR을 나타낸다. 시나리오 4는 DAR 모듈(400)에 의해 오버런 방지(overrun prevention)를 나타낸다. 일부 예에서, DAR 모듈(400)은 오버런 방지에 의해 DAR 오정렬의 이러한 효과들 중 일부를 완화시키도록 구성된다. 예를 들어, 도 4에 도시된 바와 같이, 오버런 방지는 오정렬된 교체 프레임들의 세트(FRP(1-n))의 길이를 줄인다. 일반적으로 슬럽의 허용 가능한 레벨이 단지 세 개의 프레임이기 때문에 적절하게 정렬된 DAR은 특히 상이한 프레임률들의 상황들에서 중요하다.
ACR 모듈(300)의 예들이 보통 ACR 모듈(300)을 기기 계층(130)에 또는 그것과 상호 작용하는 것으로 도시하지만, ACR 모듈(300)의 다양한 기능 또는 기능들의 부분은 자동 콘텐츠 인식 환경(10) 내 어느 계층에서든(예를 들어, 브로드캐스트 계층(100), 네트워크 계층(120) 또는 기기 계층(130)) 수행될 수 있다. 예를 들어, 싱크로나이저(330)는 기기 계층(130)과 통신하는 네트워크 계층(120)(예를 들어, 핑거프린터(200)) 상에 존재할 수 있다. 다른 예들에서, 싱크로나이저(330)의 부분들, 이를테면 메트릭 생성기(332) 또는 조절기(334)가 네트워크 계층(120)에 존재한다. 그러나 여전히, DAR 모듈(400)에 의한 기능들은 브로드캐스터들(102), 브로드캐스트 디스트리뷰터들(104), 상용 서비스 제공자들(112) 또는 광고주들(114)에 의해 추구되는 제어 레벨에 따라 브로드캐스트 계층(100) 또는 추가 콘텐츠 계층(110)에서 일어날 수 있다.
도 5는 자동 콘텐츠 인식을 위한 프레임 확실성 메트릭을 위한 방법(500)을 도시한다. 블록 502에서, 방법(500)은 브로드캐스트 미디어 스트림(SB, SC)의 브로드캐스트 프레임들(F1-n)을 나타내는 브로드캐스트 핑거프린트들(222, 222a)을 수신하는 단계를 포함한다. 블록 504에서, 방법(500)은 상응하는 미디어 기기(30)에서의 미디어 기기 스트림(SD)의 미디어 기기 프레임들(FD1-n)을 나타내는 미디어 기기 핑거프린트들(222, 222b)을 수신하는 단계를 포함한다. 블록 506에서, 방법(500)은 브로드캐스트 미디어 스트림(SB, SC)의 브로드캐스트 프레임들(F1-n)에 관한 미디어 기기 스트림(SD)의 미디어 기기 프레임들(FD1-n) 사이의 프레임 매치(310)를 결정하는 단계를 포함한다. 블록 508에서, 방법(500)은 다음에 의해 프레임 매치(310)를 이동할지 여부를 결정하는 단계를 포함한다: (a) 제1 미디어 기기 핑거프린트(222, 222b1) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제1 프레임 확실성 메트릭(340, 3401)을 결정; (b) 제2 미디어 기기 핑거프린트(222, 222b2) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제2 프레임 확실성 메트릭(340, 3402)을 결정; (c) 제3 미디어 기기 핑거프린트(222, 222b3) 및 타겟 브로드캐스트 핑거프린트(222, 222TB)에 기초하여 제3 프레임 확실성(340, 3403)을 결정; 그리고 (d) 제1 프레임 확실성 메트릭(340, 3401), 제2 프레임 확실성 메트릭(340, 3402) 및 제3 프레임 확실성 메트릭(340, 3403) 중에서 최대 프레임 확실성 메트릭(342)을 결정. 블록 510에서, 방법(500)은 최대 프레임 확실성 메트릭(340)에 상응하는 미디어 기기 핑거프린트(222, 222b(1-3))를 타겟 브로드캐스트 핑거프린트(222, 222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222, 222TD)로서 식별하는 단계를 포함한다.
소프트웨어 애플리케이션(즉, 소프트웨어 자원)은 컴퓨팅 기기로 하여금 작업을 수행하게 하는 컴퓨터 소프트웨어를 지칭할 수 있다. 일부 예에서, 소프트웨어 애플리케이션은 "애플리케이션", "앱" 또는 "프로그램"으로 지칭될 수 있다. 예시적인 애플리케이션들은 시스템 진단 애플리케이션, 시스템 관리 애플리케이션, 시스템 유지 보수 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드 시트 애플리케이션, 메시징 애플리케이션, 미디어 스트리밍 애플리케이션, 소셜 네트워킹 애플리케이션 및 게임 애플리케이션을 포함하지만 이에 제한되지는 않는다.
도 6는 예를 들어, 핑거프린터(200), 핑거프린터 생성기(220, 320), ACR 모듈(300), 싱크로나이저(330), DAR 모듈(400) 등과 같이 본 문서에 설명된 시스템들 및 방법들을 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 기기(600)의 개략도이다. 컴퓨팅 기기(600)는 랩탑, 데스크탑, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것으로 의도된다. 여기에 도시된 구성요소들, 그것들의 연결 및 관계 및 그것들의 기능은 단지 예시적인 것으로 여겨지고, 본 문서에 설명되고/되거나 청구되는 본 발명의 구현을 제한하려는 것은 아니다.
컴퓨팅 기기(600)는 프로세서(610)(예를 들어, 데이터 처리 하드웨어), 메모리 (620)(예를 들어, 메모리 하드웨어), 저장 기기(630), 메모리(620)에 연결되는 고속 인터페이스/제어기(640) 및 고속 확장 포트(650) 및 저속 버스(670) 및 저장 기기(630)에 연결되는 저속 인터페이스/제어기(660)를 포함한다. 각각의 구성요소들(610, 620, 630, 640, 650 및 660)은 다양한 버스를 사용하여 상호 연결되고, 공통 마더보드 상에 또는 다른 방식들로 적절하게 장착될 수 있다. 프로세서(610)는 고속 인터페이스(640)에 접속되는 디스플레이(680)와 같은 외부 입력/출력 기기 상에 그래픽 사용자 인터페이스(GUI)에 대한 그래픽 정보를 디스플레이하기 위해 메모리(620)에 또는 저장 기기(630) 상에 저장된 명령들을 포함하여, 컴퓨팅 기기(600) 내에서의 실행을 위한 명령들을 처리할 수 있다. 다른 구현 예들에서는, 다수의 프로세서 및/또는 다수의 버스가 적절하게 다수의 메모리 및 메모리 유형과 함께 사용될 수 있다. 또한, 다수의 컴퓨팅 기기(600)가 연결될 수 있으며, 각각의 기기는 필요한 동작의 부분들을 제공한다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 다중 프로세서 시스템으로서).
메모리(620)는 컴퓨팅 기기(600) 내에 비-일시적으로 정보를 저장한다. 메모리(620)는 컴퓨터 판독 가능 매체, 휘발성 메모리 유닛(들) 또는 비-휘발성 메모리 유닛(들)일 수 있다. 비-일시적 메모리(620)는 컴퓨팅 기기(600)에 의해 사용하기 위해 일시적 또는 영구적으로 프로그램들(예를 들어, 명령 시퀀스들) 또는 데이터(예를 들어, 프로그램 상태 정보)를 저장하는 데 사용되는 물리적 기기들일 수 있다. 비-휘발성 메모리의 예들은 플래시 메모리 및 판독 전용 메모리(ROM)/ 프로그램 가능 판독 전용 메모리(PROM)/소거 가능 프로그램 가능 판독 전용 메모리 (EPROM)/전자 소거 가능 프로그램 가능 판독 전용 메모리(EEPROM)(예를 들어, 통상적으로 부팅 프로그램과 같은 펌웨어에 사용되는)을 포함하지만 이에 제한되지는 않는다. 휘발성 메모리의 예들은 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 상 변화 메모리(PCM) 뿐만 아니라 디스크 또는 테이프를 포함하지만 이에 제한되지는 않는다.
저장 기기(630)는 컴퓨팅 기기(600)에 대용량 저장 장치를 제공할 수 있다. 일부 구현 예에서, 저장 기기(630)는 컴퓨터 판독 가능 매체이다. 다양한 상이한 구현 예에서, 저장 기기(630)는 저장 영역 네트워크 또는 다른 구성들 내 기기들을 비롯한, 플로피 디스크 기기, 하드 디스크 기기, 광 디스크 기기, 또는 테이프 기기, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 기기, 또는 기기들의 어레이일 수 있다. 추가 구현 예들에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구현된다. 컴퓨터 프로그램 제품은 실행될 때, 전술한 바와 같은 하나 이상의 방법을 수행하는 명령들을 포함한다. 정보 캐리어는 메모리(620), 저장 기기(630), 또는 프로세서(610) 상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(640)는 컴퓨팅 기기(600)에 대한 대역폭 집약적 동작들을 관리하는 한편, 저속 제어기(660)는 보다 낮은 대역폭 집약적 동작들을 관리한다. 이러한 임무 할당은 단지 대표적인 것이다. 일부 구현 예에서, 고속 제어기(640)는 메모리(620), 디스플레이(680)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수있는 고속 확장 포트(650)에 접속된다. 일부 구현 예에서, 저속 제어기(660)는 저장 기기(630) 및 저속 확장 포트(690)에 접속된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(690)는 키보드, 포인팅 기기, 스캐너와 같은 하나 이상의 입력/출력 기기, 또는 예를 들어, 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 기기에 접속될 수 있다.
컴퓨팅 기기(600)는 도면에 도시된 바와 같이, 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(600a)로서 또는 그러한 서버 그룹(600a)에 여러 번, 랩탑 컴퓨터(600b) 또는 랙 서버 시스템(600c)의 부분으로서 구현될 수 있다.
본 명세서에 설명된 시스템들 및 기술들의 다양한 구현 예는 디지털 전자 및/또는 광 회로, 집적 회로, 특수 설계된 ASIC들(주문형 반도체들), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 저장 시스템, 적어도 하나의 입력 기기 및 적어도 하나의 출력 기기로부터 데이터 및 명령들을 수신하기 위해, 그리고 그것들로 데이터 및 명령들을 송신하기 위해 접속되는, 전용 또는 범용일 수 있는, 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 가능 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드라고도 알려져 있는)은 프로그램 가능 프로세서에 대한 기계 명령들을 포함하고, 상위 레벨 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용될 때, "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어들은 기계 판독 가능 신호로서 기계 명령들을 수신하는 기계 판독 가능 매체를 포함하여, 기계 명령들 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 데 사용되는 임의의 컴퓨터 프로그램 제품, 비-일시적 컴퓨터 판독 가능 매체, 장치 및/또는 기기(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 로직 기기(PLD))를 지칭한다. "기계 판독 가능 신호"라는 용어는 기계 명령들 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 데 사용되는 임의의 신호를 지칭한다.
본 명세서에 설명된 프로세스들 및 논리적 흐름들은 입력 데이터에 관해 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 논리적 흐름들은 또한 전용 논리 회로, 예를 들어, FPGA(필드 프로그램 가능 게이트 어레이) 또는 ASIC(주문형 반도체)에 의해 수행될 수도 있다. 컴퓨터 프로그램의 실행에 적합한 프로세서는 예로서, 범용 마이크로 프로세서 및 전용 마이크로 프로세서, 및 임의의 유형의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 양자로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령들을 수행하기 위한 프로세서 및 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 기기이다. 일반적으로, 컴퓨터는 또한 예를 들어, 자기, 자기 광 디스크 또는 광 디스크와 같이 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치를 포함하거나, 그로부터 데이터를 수신하거나 데이터를 전달하기 위해 또는 그 둘 모두를 위해 동작 가능하게 접속될 것이다. 그러나, 컴퓨터에 그러한 기기가 필요하지는 않다. 컴퓨터 프로그램 명령들 및 데이터를 저장하는 데 적합한 컴퓨터 판독 가능 매체는 예로서 반도체 메모리 기기들, 예를 들어, EPROM, EEPROM 및 플래시 메모리 기기들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 자기 광 디스크들; 및 CD ROM 및 DVD-ROM 디스크들을 비롯하여, 모든 형태의 비-휘발성 메모리, 매체 및 메모리 기기들을 포함한다. 프로세서 및 메모리는 전용 논리 회로에 의해 보완되거나 그에통합될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 본 개시 내용의 하나 이상의 양태는 사용자에 정보를 디스플레이하기 위한 디스플레이 기기, 예를 들어 CRT(음극선 관), LCD(액정 디스플레이) 모니터 또는 터치 스크린 그리고 사용자가 컴퓨터에 입력을 제공할 수 있는 임의적으로 키보드 및 포인팅 기기, 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터 상에서 구현될 수 있다. 다른 유형들의 기기들이 또한 사용자와의 상호 작용을 제공하기 위해 사용될 수 있다; 예를 들어, 사용자에 제공되는 피드백은 임의의 형태의 감각 피드백, 예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백일 수 있고; 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 비롯한 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 예를 들어, 사용자의 클라이언트 기기 상의 웹 브라우저로부터 수신된 요청들에 응답하여 웹 페이지둘울 웹 브라우저에 전송함으로써, 사용자에 의해 사용되는 기기로 문서들을 전송하고 그로부터 문서들을 수신함으로써 사용자와 상호 작용할 수 있다.
많은 구현 예가 설명되었다. 그럼에도 불구하고, 본 개시 내용의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음이 이해될 것이다. 따라서, 다른 구현 예들이 다음의 청구범위의 범위 내에 있다.

Claims (20)

  1. 방법으로서,
    데이터 처리 하드웨어(610)에서, 브로드캐스트 미디어 스트림(S)의 브로드캐스트 프레임들(F1-n)을 나타내는 브로드캐스트 핑거프린트들(222a)을 수신하는 단계;
    상기 데이터 처리 하드웨어(610)에서, 상응하는 미디어 기기(30)에서의 미디어 기기 스트림(S)의 미디어 기기 프레임들(FD1-n)을 나타내는 미디어 기기 핑거프린트들(222b)을 수신하는 단계;
    상기 데이터 처리 하드웨어(610)에 의해, 상기 브로드캐스트 미디어 스트림(S)의 상기 브로드캐스트 프레임들(F1-n)에 관한 상기 미디어 기기 스트림(S)의 상기 미디어 기기 프레임들(FD1-n) 사이의 프레임 매치(310)를 결정하는 단계;
    상기 데이터 처리 하드웨어(610)에 의해, 다음에 의해 상기 프레임 매치(310)를 이동할지 여부를 결정하는 단계:
    제1 미디어 기기 핑거프린트(222b1) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제1 프레임 확실성 메트릭(3401)을 결정하는 단계;
    제2 미디어 기기 핑거프린트(222b2) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제2 프레임 확실성 메트릭(3402)을 결정하는 단계로서, 상기 제2 미디어 기기 핑거프린트(222b2)는 상기 제1 미디어 기기 핑거프린트(222b1)에 순차적으로 인접하는, 상기 제2 프레임 확실성 메트릭(3402)을 결정하는 단계;
    제3 미디어 기기 핑거프린트(222b3) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제3 프레임 확실성 메트릭(3403)을 결정하는 단계로서, 상기 제3 미디어 기기 핑거프린트(222b3)는 상기 제2 미디어 기기 핑거프린트(222b2)와 반대로 상기 제1 미디어 기기 핑거프린트(222b1)에 순차적으로 인접하며, 각각의 프레임 확실성 메트릭(340)은 상응하는 핑거프린트들(222) 간 매칭의 강도를 나타내는, 상기 제3 프레임 확실성 메트릭(3403)을 결정하는 단계; 및
    상기 제1 프레임 확실성 메트릭(3401), 상기 제2 프레임 확실성 메트릭(3402) 및 상기 제3 프레임 확실성 메트릭(3403) 중에서 최대 프레임 확실성 메트릭을 결정하는 단계; 및
    상기 데이터 처리 하드웨어(610)에 의해, 상기 최대 프레임 확실성 메트릭에 상응하는 미디어 기기 핑거프린트(222b)를 상기 타겟 브로드캐스트 핑거프린트(222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222TM)로서 식별하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 데이터 처리 하드웨어(610)에 의해, 상기 미디어 기기 핑거프린트(222b)가 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는지 여부를 결정하는 단계; 및
    상기 미디어 기기 핑거프린트(222b)가 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응할 때:
    상기 타겟 미디어 기기 핑거프린트(222TM)의 상기 프레임 확실성 메트릭(340)을 타겟 프레임 확실성 메트릭(340T)으로서 식별하는 단계;
    제4 미디어 기기 핑거프린트(222b4) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제4 프레임 확실성 메트릭(3404)을 결정하는 단계로서, 상기 제4 미디어 기기 핑거프린트(222b4)는 상기 타겟 미디어 기기 핑거프린트(222TM)에 순차적으로 인접하는, 상기 제4 프레임 확실성 메트릭(3404)을 결정하는 단계;
    제5 미디어 기기 핑거프린트(222b5) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제5 프레임 확실성 메트릭(3405)을 결정하는 단계로서, 상기 제5 미디어 기기 핑거프린트(222b5)는 상기 제4 미디어 기기 핑거프린트(222b4)와 반대로 상기 타겟 미디어 기기 핑거프린트(222TM)에 순차적으로 인접하는, 제5 프레임 확실성 메트릭(3405)을 결정하는 단계; 및
    상기 타겟 프레임 확실성 메트릭(340T), 상기 제4 프레임 확실성 메트릭(3404) 및 상기 제5 프레임 확실성 메트릭(3405) 중에서 최대 프레임 확실성 메트릭을 결정하는 단계를 더 포함하는, 방법.
  3. 청구항 1 또는 2에 있어서, 상기 프레임 확실성 메트릭(340)은 1보다 큰 확실성 레벨을 갖는, 방법.
  4. 청구항 2에 있어서, 상기 제1 프레임 확실성 메트릭(3401), 상기 제2 프레임 확실성 메트릭(3402) 및 상기 제3 프레임 확실성 메트릭(3403) 중 상기 최대 프레임 확실성 메트릭은 제1 확실성 레벨을 식별하는, 방법.
  5. 청구항 4에 있어서, 상기 타겟 프레임 확실성 메트릭(340T), 상기 제4 프레임 확실성 메트릭(3404) 및 상기 제5 프레임 확실성 메트릭(3405) 중 상기 최대 프레임 확실성 메트릭은 제2 확실성 레벨을 식별하는, 방법.
  6. 청구항 1 또는 2에 있어서, 상기 데이터 처리 하드웨어(610)에 의해, 상기 최대 프레임 확실성 메트릭이 프레임 확실성 메트릭 임계치(340TH)를 충족시키는지 여부를 결정하는 단계를 더 포함하는, 방법.
  7. 청구항 6에 있어서, 상기 최대 프레임 확실성 메트릭이 상기 프레임 확실성 메트릭 임계치(340Th)를 충족시킬 때, 상기 데이터 처리 하드웨어(610)에 의해, 상기 타겟 브로드캐스트 핑거프린트(222TB)에 상응하는 프레임 위치를 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는 미디어 기기 프레임(FD1-n)과 연관시키는 단계를 더 포함하는, 방법.
  8. 청구항 7에 있어서, 상기 데이터 처리 하드웨어(610)에 의해, 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는 상기 미디어 기기 프레임(FD1-n)의 상기 프레임 위치에 기초화여 광고 교체를 명령하는 단계를 더 포함하는, 방법.
  9. 청구항 1 또는 2에 있어서, 상기 프레임 매치(310)를 결정하는 단계를 상기 브로드캐스트 핑거프린트들(222a)에 관한 상기 미디어 기기 핑거프린트들(222b) 사이의 상기 프레임 매치(310)를 결정하는 단계를 더 포함하는, 방법.
  10. 청구항 1 또는 2에 있어서, 상기 미디어 기기(30)는 미디어 기기 프레임률(RMD)을 갖고, 상기 브로드캐스트 미디어 스트림(S)은 브로드캐스트 프레임률(RB)을 가지며, 상기 미디어 기기 프레임률(RMD)은 상기 브로드캐스트 프레임률(RB) 미만인, 방법.
  11. 시스템으로서,
    데이터 처리 하드웨어(610); 및
    상기 데이터 처리 하드웨어(610)와 통신하는 메모리 하드웨어(620)를 포함하며, 상기 메모리 하드웨어(620)는 상기 데이터 처리 하드웨어(610) 상에서 실행될 때 상기 데이터 처리 하드웨어(610)가 다음 동작들:
    상응하는 미디어 기기(30)에서의 미디어 기기 스트림(S)의 미디어 기기 프레임들(FD1-n)을 나타내는 미디어 기기 핑거프린트들(222b)을 수신하는 동작;
    브로드캐스트 미디어 스트림(S)의 브로드캐스트 프레임들(F1-n)에 관한 상기 미디어 기기 스트림(S)의 상기 미디어 기기 프레임들(FD1-n) 사이의 프레임 매치(310)를 결정하는 동작;
    다음에 의해 상기 프레임 매치(310)를 이동할지 여부를 결정하는 동작:
    제1 미디어 기기 핑거프린트(222b1) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제1 프레임 확실성 메트릭(3401)을 결정하는 동작;
    제2 미디어 기기 핑거프린트(222b2) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제2 프레임 확실성 메트릭(3402)을 결정하는 동작으로서, 상기 제2 미디어 기기 핑거프린트(222b2)는 상기 제1 미디어 기기 핑거프린트(222b1)에 순차적으로 인접하는, 상기 제2 프레임 확실성 메트릭(3402)을 결정하는 동작;
    제3 미디어 기기 핑거프린트(222b3) 및 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제3 프레임 확실성 메트릭(3403)을 결정하는 동작으로서, 상기 제3 미디어 기기 핑거프린트(222b3)는 상기 제2 미디어 기기 핑거프린트(222b2)와 반대로 상기 제1 미디어 기기 핑거프린트(222b1)에 순차적으로 인접하며, 각각의 프레임 확실성 메트릭(340)은 상응하는 핑거프린트들(222) 간 매칭의 강도를 나타내는, 상기 제3 프레임 확실성 메트릭(3403)을 결정하는 동작; 및
    상기 제1 프레임 확실성 메트릭(3401), 상기 제2 프레임 확실성 메트릭(3402) 및 상기 제3 프레임 확실성 메트릭(3403) 중에서 최대 프레임 확실성 메트릭을 결정하는 동작; 및
    상기 최대 프레임 확실성 메트릭에 상응하는 미디어 기기 핑거프린트(222b)를 상기 타겟 브로드캐스트 핑거프린트(222TB)와 매칭되는 타겟 미디어 기기 핑거프린트(222TM)으로서 식별하는 동작을 수행하게 하는 명령들을 저장하는, 시스템.
  12. 청구항 11에 있어서, 상기 동작들은:
    상기 미디어 기기 핑거프린트(222b)가 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는지 여부를 결정하는 동작; 및
    상기 미디어 기기 핑거프린트(222b)가 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응할 때:
    상기 타겟 미디어 기기 핑거프린트(222TM)의 상기 프레임 확실성 메트릭(340)을 타겟 프레임 확실성 메트릭(340T)으로서 식별하는 동작;
    제4 미디어 기기 핑거프린트(222b4) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제4 프레임 확실성 메트릭(3404)을 결정하는 동작으로서, 상기 제4 미디어 기기 핑거프린트(222b4)는 상기 타겟 미디어 기기 핑거프린트(222TM)에 순차적으로 인접하는, 상기 제4 프레임 확실성 메트릭(3404)을 결정하는 동작;
    제5 미디어 기기 핑거프린트(222b5) 및 상기 타겟 브로드캐스트 핑거프린트(222TB)에 기초하여 제5 프레임 확실성 메트릭(3405)을 결정하는 동작으로서, 상기 제5 미디어 기기 핑거프린트(222b5)는 상기 제4 미디어 기기 핑거프린트(222b4)와 반대로 상기 타겟 미디어 기기 핑거프린트(222TM)에 순차적으로 인접하는, 제5 프레임 확실성 메트릭(3405)을 결정하는 동작; 및
    상기 타겟 프레임 확실성 메트릭(340T), 상기 제4 프레임 확실성 메트릭(3404) 및 상기 제5 프레임 확실성 메트릭(3405) 중에서 최대 프레임 확실성 메트릭을 결정하는 동작을 더 포함하는, 시스템.
  13. 청구항 11 또는 12에 있어서, 상기 프레임 확실성 메트릭(340)은 1보다 큰 확실성 레벨을 갖는, 시스템.
  14. 청구항 13에 있어서, 상기 제1 프레임 확실성 메트릭(3401), 상기 제2 프레임 확실성 메트릭(3402) 및 상기 제3 프레임 확실성 메트릭(3403) 중 상기 최대 프레임 확실성 메트릭은 제1 확실성 레벨을 식별하는, 시스템.
  15. 청구항 14에 있어서, 상기 타겟 프레임 확실성 메트릭(340T), 상기 제4 프레임 확실성 메트릭(3404) 및 상기 제5 프레임 확실성 메트릭(3405) 중 상기 최대 프레임 확실성 메트릭은 제2 확실성 레벨을 식별하는, 시스템.
  16. 청구항 11 또는 12에 있어서, 동작들은 상기 최대 프레임 확실성 메트릭이 프레임 확실성 메트릭 임계치(340TH)를 충족시키는지 여부를 결정하는 동작을 더 포함하는, 시스템.
  17. 청구항 16에 있어서, 동작들은 상기 최대 프레임 확실성 메트릭이 상기 프레임 확실성 메트릭 임계치(340Th)를 충족시킬 때, 상기 데이터 처리 하드웨어(610)에 의해, 상기 타겟 브로드캐스트 핑거프린트(222TB)에 상응하는 프레임 위치를 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는 미디어 기기 프레임(FD1-n)과 연관시키는 동작을 더 포함하는, 시스템.
  18. 청구항 17에 있어서, 동작들은 상기 타겟 미디어 기기 핑거프린트(222TM)에 상응하는 상기 미디어 기기 프레임(FD1-n)의 상기 프레임 위치에 기초화여 광고 교체를 명령하는 동작을 더 포함하는, 시스템.
  19. 청구항 11 또는 12에 있어서, 상기 프레임 매치(310)를 결정하는 단계는 브로드캐스트 핑거프린트들(222a)에 관한 상기 미디어 기기 핑거프린트들(222b) 사이의 상기 프레임 매치(310)를 결정하는 단계를 더 포함하는, 시스템.
  20. 청구항 11 또는 12에 있어서, 상기 미디어 기기(30)는 미디어 기기 프레임률(RMD)을 갖고, 상기 브로드캐스트 미디어 스트림(S)은 브로드캐스트 프레임률(RB)을 가지며, 상기 미디어 기기 프레임률(RMD)은 상기 브로드캐스트 프레임률(RB) 미만인, 시스템.
KR1020197027218A 2017-06-30 2018-06-29 자동 콘텐츠 인식을 위한 프레임 확실성 결정 방법 및 시스템 KR102275494B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762527305P 2017-06-30 2017-06-30
US62/527,305 2017-06-30
PCT/US2018/040371 WO2019006351A1 (en) 2017-06-30 2018-06-29 FRAME CERTAINTY FOR AUTOMATIC CONTENT RECOGNITION

Publications (2)

Publication Number Publication Date
KR20190119626A KR20190119626A (ko) 2019-10-22
KR102275494B1 true KR102275494B1 (ko) 2021-07-12

Family

ID=63143352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197027218A KR102275494B1 (ko) 2017-06-30 2018-06-29 자동 콘텐츠 인식을 위한 프레임 확실성 결정 방법 및 시스템

Country Status (6)

Country Link
US (2) US10715863B2 (ko)
EP (1) EP3646197A1 (ko)
JP (1) JP7028888B2 (ko)
KR (1) KR102275494B1 (ko)
CN (1) CN110537371B (ko)
WO (1) WO2019006351A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301686B2 (en) * 2018-05-25 2022-04-12 Intel Corporation Visual anomaly detection without reference in graphics computing environments
US11917240B2 (en) * 2018-08-14 2024-02-27 Inscape Data, Inc. Dynamic content serving using automated content recognition (ACR) and digital media watermarks
US11601695B2 (en) * 2021-02-11 2023-03-07 Roku, Inc. Content-modification system with advertisement reconciliation feature

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2460844A (en) * 2008-06-10 2009-12-16 Half Minute Media Ltd Automatic Detection of Repeating Video Sequences, e.g. Commercials
US20160316262A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition with local matching
WO2016200622A1 (en) * 2015-06-12 2016-12-15 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040194130A1 (en) 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
WO2009140824A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A system for identifying motion video/audio content
US9510044B1 (en) * 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
US8335786B2 (en) * 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US9009066B2 (en) * 2009-02-12 2015-04-14 Echostar Technologies L.L.C. Advertisement management for live internet multimedia content
US9094714B2 (en) * 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US9794642B2 (en) * 2013-01-07 2017-10-17 Gracenote, Inc. Inserting advertisements into video content
CN105052161B (zh) * 2013-03-15 2018-12-28 构造数据有限责任公司 实时电视广告检测的系统和方法
JP5684321B2 (ja) * 2013-04-24 2015-03-11 日本電信電話株式会社 部分映像検出装置、部分映像検出方法、及び部分映像検出プログラム
EP2822287A1 (en) 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
US9743153B2 (en) * 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2460844A (en) * 2008-06-10 2009-12-16 Half Minute Media Ltd Automatic Detection of Repeating Video Sequences, e.g. Commercials
US20160316262A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition with local matching
WO2016200622A1 (en) * 2015-06-12 2016-12-15 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Also Published As

Publication number Publication date
CN110537371B (zh) 2022-11-22
JP2020511880A (ja) 2020-04-16
CN110537371A (zh) 2019-12-03
US11206446B2 (en) 2021-12-21
KR20190119626A (ko) 2019-10-22
WO2019006351A1 (en) 2019-01-03
US20200413131A1 (en) 2020-12-31
US20190007733A1 (en) 2019-01-03
EP3646197A1 (en) 2020-05-06
US10715863B2 (en) 2020-07-14
JP7028888B2 (ja) 2022-03-02

Similar Documents

Publication Publication Date Title
JP6873321B2 (ja) 自動コンテンツ認識のための広告フレームのフラッギング
US11361549B2 (en) Scene frame matching for automatic content recognition
US11206446B2 (en) Frame replacement without overrun
US11184682B2 (en) Obtaining viewer demographics through advertisement selections
AU2021201776B2 (en) Cold matching by automatic content recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant