ES2945713T3 - Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo - Google Patents

Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo Download PDF

Info

Publication number
ES2945713T3
ES2945713T3 ES17778402T ES17778402T ES2945713T3 ES 2945713 T3 ES2945713 T3 ES 2945713T3 ES 17778402 T ES17778402 T ES 17778402T ES 17778402 T ES17778402 T ES 17778402T ES 2945713 T3 ES2945713 T3 ES 2945713T3
Authority
ES
Spain
Prior art keywords
media
video
sponsor
logo
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17778402T
Other languages
English (en)
Inventor
Jeffrey Katz
Cambron Carter
Brian Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GumGum Inc
Original Assignee
GumGum Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GumGum Inc filed Critical GumGum Inc
Application granted granted Critical
Publication of ES2945713T3 publication Critical patent/ES2945713T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0275—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/63—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for services of sales
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543—Billing, e.g. for subscription services
    • H04N21/2547—Third Party Billing, e.g. billing of advertiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/47—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising genres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Se describen sistemas y métodos para identificar objetos relacionados con los deportes en el contenido de los medios, como datos de imágenes o videos, utilizando modelos de aprendizaje automático. Las características del contenido de los medios se pueden proporcionar como entrada a los modelos de clasificación entrenados para detectar la representación de varios objetos y escenas relacionados con los deportes para generar varias métricas asociadas con un evento deportivo subyacente representado en el contenido de los medios. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo REFERENCIA CRUZADA A SOLICITUDES RELACIONADAS
[0001] Esta solicitud reivindica el beneficio de la solicitud de patente provisional de EE. UU. con n.° de serie 62/397.739 titulada "Efficiently Identifying Image Objects in Video Data Using Video Fingerprinting" depositada el 21 de septiembre de 2016, la solicitud de patente provisional de EE. UU. con n.° de serie 62/421.886 titulada "Determining Sponsorship Value Based on Analysis of Image and Video Data" depositada el 14 de noviembre de 2016, y la solicitud de patente provisional de EE. UU. con n.° de serie 62/505.758 titulada "Determining Sponsorship Value Based on Analysis of Image and Video Data" depositada el 12 de mayo de 2017.
ANTECEDENTES
[0002] Es común que las empresas patrocinen eventos deportivos o que coloquen sus anuncios dentro de una arena deportiva. Por ejemplo, una empresa puede contratar a una parte que tenga derechos en un estadio, equipo o liga para colocar una pancarta dentro de un estadio durante los días de partidos, para colocar un logotipo en la camiseta de un equipo, para que se muestre un anuncio en la señalización digital dentro de un estadio, etc. Los patrocinadores y titulares de derechos en el espacio publicitario a menudo determinan el precio y la conveniencia de un espacio publicitario específico en función en parte de la asistencia de la audiencia en persona al evento deportivo y del tamaño de la audiencia televisiva que ve el evento deportivo en casa.
[0003] Sin embargo, es cada vez más común, debido en parte a los cambios en la forma en que las personas consumen contenido, que estos números de asistencia y audiencia televisiva puedan subestimar significativamente el número de personas que realmente vieron al menos un clip o destaque del evento deportivo que contenía el logotipo o anuncio de un patrocinador. Por ejemplo, momentos destacados de vídeos cortos a menudo se reproducen en muchos canales de televisión diferentes y se comparten en Internet a través de las redes sociales, las plataformas para compartir vídeos y otros servicios. Por lo general, estas exposiciones adicionales no se registran de manera fiable ni exhaustiva.
[0004] El documento EP 2922 061 A1 describe un dispositivo de extracción que incluye un procesador que ejecuta un procedimiento. El procedimiento incluye: a partir de imágenes capturadas obtenidas capturando un juego deportivo que tiene un estilo de ataque de partido hacia un objetivo proporcionado en el territorio de un equipo contrario, identificar una parte de las imágenes capturadas en las que las imágenes capturadas cambian con el tiempo hacia una dirección de uno u otro objetivo; y extraer una escena en la que uno u otro equipo está atacando en función de la porción de imágenes capturadas.
[0005] OLIVEIRA GONCALO Y COL, "Automatic Graphic Logo Detection Via Fast Region-based Convolutional Networks", 2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), IEEE, (20160724), doi: 10.1109/IJCNN.2016.7727305, páginas 985 - 991, se refiere a un reconocimiento de marca basado en Redes convolucionales rápidas basadas en regiones.
[0006] BOHUMIL KOVAR Y COL, "Logo detection and classification in a sport video: video indexing for sponsorship revenue control", VISUAL COMMUNICATIONS AND IMAGE PROCESSING; 20-1-2004 -20-1-2004; SAN JOSE, (20010101), vol. 4676, n.° 1, doi: 10.1117/12.451090, ISBN 978-1-62841-730-2, páginas 183 - 193, se refiere a una estrategia para detectar y clasificar un logotipo de marca en fotogramas de un vídeo deportivo.
[0007] Según la invención, se proporcionan el sistema informático y el procedimiento según las reivindicaciones independientes. Las reivindicaciones dependientes exponen realizaciones particulares de la invención.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0008] Los aspectos anteriores y muchas de las ventajas concomitantes de esta descripción se apreciarán más fácilmente a medida que las mismas se comprendan mejor mediante referencia a la siguiente descripción detallada, cuando se toma junto con los dibujos adjuntos, donde:
Las Figuras 1 y 2 son diagramas de flujo de procedimientos ilustrativos para determinar un valor multimedia agregado asociado con una exposición de marca basada en técnicas de huella digital de vídeo.
La Figura 3 es un diagrama de bloques del sistema de un entorno informático adecuado para su uso en varias realizaciones de la presente descripción.
La Figura 4 es un diagrama de flujo de un procedimiento ilustrativo para determinar una valoración general del patrocinador en función de las imágenes y/o el vídeo que aparecen en las publicaciones de las redes sociales. La Figura 5A ilustra datos de análisis de medios de muestra que pueden determinarse y/o almacenarse de acuerdo con aspectos de la presente descripción.
La Figura 5B es una parte de un informe de muestra que proporciona un valor multimedia completo determinado por el sistema para una marca dada en un intervalo de tiempo dado que se descompone de varias maneras. La Figura 6 es un diagrama de flujo de un procedimiento ilustrativo para analizar datos de imagen o vídeo para determinar el deporte, el nombre del equipo, el estado del juego en casa o fuera de casa, y la información de patrocinio asociada con un evento de juego subyacente capturado en la imagen o vídeo.
La Figura 7 es un diagrama de flujo ilustrativo para entrenar uno o más clasificadores o modelos de clasificación para identificar objetos específicos de interés en datos de vídeo.
La Figura 8 ilustra un marcado gráfico de un fotograma de vídeo que resalta logotipos identificados junto con valores multimedia determinados.
La Figura 9 es un diagrama de flujo de un procedimiento ilustrativo para determinar una valoración general del patrocinador en función de las imágenes y/o el vídeo que aparecen en los elementos multimedia.
La Figura 10 es un diagrama de bloques de un sistema de intercambio para la asignación de señalización dinámica en una o más ubicaciones físicas.
La Figura 11 es un diagrama de flujo de un procedimiento ilustrativo para provocar la presentación de datos de patrocinio visual en señalización dinámica en una o más ubicaciones físicas, que puede incluir la valoración de segmentos de tiempo en la señalización dinámica de acuerdo con eventos del mundo real.
La Figura 12 ilustra datos históricos para su uso por el sistema de intercambio en segmentos de tiempo en la señalización dinámica.
DESCRIPCIÓN DETALLADA
[0009] La invención se define en las reivindicaciones adjuntas.
[0010] Los aspectos de la presente descripción se refieren a analizar eficientemente grandes cantidades de datos de vídeo para identificar partes de vídeo donde aparecen uno o más logotipos u otros objetos de imagen de interés, y determinar un valor multimedia agregado atribuible a un evento fuente o vídeo fuente original subyacente asociado con la exposición del logotipo. Por ejemplo, supongamos que una empresa patrocina un evento deportivo que se transmite por televisión, y el logotipo o el nombre de la empresa aparece en la pantalla (como aparecer en un cartel o una pancarta en un estadio) para varios segmentos de la transmisión en vivo. Si bien este evento en vivo da como resultado la exposición inmediata de la marca con respecto a los espectadores que ven la transmisión del juego, puede haber una serie de espectadores adicionales que vean el logotipo o el nombre de la marca durante una repetición o destaque del evento deportivo incluido en las noticias nocturnas o un programa de análisis deportivo que se transmite en un canal diferente en algún momento horas o incluso días después del evento deportivo. El clip/destaque también podría aparecer en las redes sociales, en el sitio web de un editor digital, a través de un servicio de streaming común, un decodificador o transmitido desde un sitio web. Los aspectos de la presente descripción incluyen identificar estos momentos de exposición de marca adicionales a través de potencialmente cientos o miles de canales, sitios web, servicios de streaming, redes sociales y plataformas VR/AR de modo que se pueda determinar un valor multimedia más preciso del patrocinio del evento.
[0011] La huella digital de vídeo se usa generalmente para representar de manera compacta un vídeo o parte de un vídeo de una manera que permita una búsqueda eficiente de otros vídeos para identificar duplicados o ligeras variaciones del mismo vídeo. Por ejemplo, el software informático puede identificar, extraer y comprimir características de datos de vídeo para crear un archivo digital que sirva como una "huella digital" de los datos de vídeo específicos. Las características precisas de vídeo analizadas varían dependiendo de la implementación y técnica específicas, con muchas variaciones que son bien conocidas y utilizadas. Las características de vídeo que pueden considerarse en algunas implementaciones para generar una huella digital de vídeo incluyen análisis de fotogramas clave, análisis de color y cambios de movimiento durante una secuencia de vídeo. Debido a que la determinación de las huellas digitales de un vídeo típicamente analiza aspectos de los datos de vídeo reales en lugar de emplear una técnica de comparación de archivos más genérica (tal como comparar códigos hash de archivos), la determinación de huellas digitales se puede usar para identificar vídeos perceptualmente similares donde una copia del vídeo puede estar a una resolución diferente, recortada, borrosa, tenía texto u otro contenido superpuesto sobre una parte del vídeo, y/o se ha modificado de otra manera. Un uso común existente de las huellas digitales de vídeo se encuentra en el campo de la gestión de derechos digitales ("DRM - Digital Rights Management") con el fin de que los propietarios de contenido (como estudios de cine o editores) identifiquen cuándo los archivos que contienen su contenido de vídeo protegido por derechos de autor se cargan en sitios web de compartición de vídeos u otras redes de compartición de archivos accesibles a través de Internet.
[0012] En una realización de la presente descripción, un sistema informático puede analizar una transmisión de evento en vivo para exposiciones de marca (por ejemplo, casos en los que un nombre de empresa, logotipo u otro indicador visual está presente en un fotograma de vídeo difundido). Para cada secuencia de vídeo que contiene una exposición de marca, el sistema puede crear una huella digital para identificar una parte del vídeo en la que se produce la exposición de marca. El sistema puede buscar posteriormente datos de vídeo de potencialmente cientos o miles de transmisiones posteriores a través de diferentes canales, sitios web, servicios de streaming o redes sociales para identificar las ocurrencias de la huella digital. De esta manera, cuando los extractos, las repeticiones o los aspectos más destacados de esta transmisión de eventos en vivo se incluyen más tarde en un programa de noticias, un programa de deportes u otra transmisión, el sistema puede identificar estas ocurrencias en función de la huella digital y sin un análisis más costoso desde el punto de vista computacional de los datos de vídeo. Por ejemplo, los aspectos de la presente descripción dan como resultado la detección de logotipos de un evento en grandes colecciones de datos de vídeo sin requerir necesariamente la búsqueda de datos de imagen de fotogramas individuales de cada transmisión para la representación de un logotipo (incluido el tamaño en relación con el fotograma completo, la duración y/o la ubicación), y sin depender necesariamente de subtítulos u otras alternativas de búsqueda ineficientes y/o inexactas.
[0013] En algunas realizaciones, una vez que se identifica una coincidencia de huellas digitales en una transmisión posterior, el sistema puede registrar información tal como el canal (o URL), el nombre del programa, el número de espectadores, el costo comercial (por ejemplo, el costo para que un anunciante ejecute un comercial de 30 segundos durante el programa) y el marco de tiempo desde la transmisión en vivo original que se presenta. Esta información se puede agregar a través de todos los programas que tienen coincidencias de huellas digitales para determinar un valor general o agregado de los medios de comunicación de la exposición de la marca relacionada con el evento, que puede incluir no solo el valor de la transmisión del evento en vivo, sino también la exposición posterior durante los programas de noticias, programas de destaques, sitios web, servicios de streaming o redes sociales. Esta información puede a continuación proporcionarse a varias partes interesadas con la capacidad de ver detalles con respecto a los canales, programas, espectadores, valores comerciales y marcos de tiempo que contribuyeron al valor total multimedia.
[0014] Aunque la determinación de huellas digitales de vídeo puede usarse para identificar repeticiones, reposiciones o retransmisiones de clips como se analiza en esta solicitud, otros aspectos de la presente descripción se refieren al análisis de datos de imagen o vídeo originales que no se han analizado previamente de una forma diferente con el fin de identificar logotipos o anuncios del patrocinador (entre otras características). Por consiguiente, aunque algunas realizaciones de la presente divulgación pueden emplear huella digital de vídeo, las ventajas proporcionadas por muchos aspectos de la presente divulgación tienen utilidad aparte de cualquier uso de huella digital de vídeo, y los procedimientos de huella digital de vídeo pueden no implementarse en absoluto en algunas realizaciones.
[0015] La Figura 1 es un diagrama de flujo de un procedimiento ilustrativo 100 que puede implementarse mediante un sistema informático, tal como el sistema informático 302 que se describirá a continuación, para identificar transmisiones u otros vídeos que incluyen un logotipo u otro objeto de imagen de interés que se incluyó originalmente en un vídeo anterior. El procedimiento ilustrativo comienza en el bloque 102, donde el sistema informático recibe datos de vídeo de un evento. El evento puede ser, por ejemplo, una transmisión de televisión en vivo (que puede haberse almacenado primero como datos de vídeo digital) de un evento deportivo, conferencia de prensa o evento político, entre otros. El evento puede ser uno en el que una determinada empresa o marca pagó a un local u otra entidad con el fin de colocar un anuncio en el local sede del evento, tal como un letrero o pancarta en un estadio o arena. El letrero o pancarta puede incluir, por ejemplo, el nombre y/o logotipo de la empresa. Aunque las transmisiones de televisión se usan a menudo como un ejemplo en esta solicitud, los aspectos de la presente divulgación relacionados con el análisis de datos de transmisión de televisión también son aplicables al vídeo distribuido por Internet. Por ejemplo, una red de transmisión puede incluir no solo una red de transmisión de televisión tradicional que utiliza distribución por cable o satélite, sino también servicios que distribuyen contenido over-the-top ("OTT") a través de Internet sin ser transmitidos a través de cable, satélite u otros medios tradicionales de distribución de contenido de televisión.
[0016] A continuación, en el bloque 104, el sistema informático analiza fotogramas de los datos de vídeo del evento para identificar los fotogramas o secuencias de vídeo dentro de los datos de vídeo en los que se representa o captura el logotipo, el nombre de marca u otro contenido publicitario en el fotograma. Dependiendo de la realización, los fotogramas clave pueden determinarse usando procedimientos conocidos con el fin de evitar analizar cada fotograma del vídeo, mientras que todavía tiene una alta probabilidad de que los casos de un logotipo que sea visible en el vídeo se identifiquen basándose en el análisis de fotogramas clave. En algunas realizaciones, el logotipo de una compañía específica puede ser el único logotipo que el sistema está configurado para identificar para un evento dado, mientras que en otras realizaciones se puede buscar una biblioteca potencialmente grande de logotipos (y variaciones de logotipos tal como aparecen en la transmisión en vivo maestra) dentro de un fotograma de vídeo dado. Por ejemplo, uno o más clasificadores de imágenes pueden haber sido entrenados previamente usando cientos o miles de logotipos de empresas diferentes, de tal manera que los uno o más clasificadores pueden identificar cuáles, si los hay, de esos logotipos aparecen en una imagen o fotograma de vídeo dado.
[0017] Los sistemas informáticos configurados para realizar el reconocimiento de objetos a menudo se basan en clasificadores (a veces también denominados "modelos" o "modelos clasificadores"). Los clasificadores a menudo son modelos probabilísticos que se crean o generan utilizando técnicas de aprendizaje automático. En el contexto del reconocimiento de objetos en imágenes digitales, los clasificadores se pueden usar para determinar la probabilidad de que un objeto de imagen particular (por ejemplo, una representación visual de un objeto o un logotipo de la empresa) se incluya o represente en una imagen. En el campo se conocen diversas técnicas de reconocimiento de objetos de imagen, y la presente descripción no es específica de ninguna técnica de reconocimiento de objetos para identificar logotipos u otros objetos. Si bien un experto en la materia conocerá varias de estas técnicas, a continuación se proporciona una breve descripción. Como se usa en esta solicitud, una red neuronal puede considerarse generalmente como un tipo de clasificador, y un clasificador a su vez puede considerarse como un tipo de modelo de aprendizaje automático. Como se apreciará por un experto en la materia, aunque las redes neuronales se usan a veces en esta solicitud como un clasificador de ejemplo, en su lugar se pueden usar otros tipos de clasificadores o modelos de clasificación a menos que se indique lo contrario en una realización específica. Además, el término "modelo de aprendizaje automático" pretende referirse en esta solicitud a una gran clase de modelos que emplean cualquiera de una variedad de técnicas de aprendizaje automático, y no se limita a una red neuronal u otra estrategia de implementación específica que se pueda usar como ejemplo para describir realizaciones específicas en esta solicitud.
[0018] Un objeto de imagen que es el objeto de un clasificador que se ha creado o entrenado para identificar ese objeto de imagen particular puede denominarse "objeto de imagen diana". Por ejemplo, un objeto de imagen diana puede ser una representación visual del logotipo de una empresa, y se puede generar un clasificador específicamente para identificar al menos ese logotipo. En algunas realizaciones, el objeto de imagen diana puede referirse generalmente a una clase o grupo de objetos de imagen relacionados que pueden identificarse usando un clasificador particular. En el ejemplo anterior, el objeto de imagen diana puede estar relacionado con cualquiera de uno o más estilos o versiones diferentes del mismo logotipo de la empresa (por ejemplo, logotipos de la empresa de diferentes décadas), y el clasificador puede entrenarse o crearse para identificar uno o más (o todos) de esos logotipos diferentes. Como se describirá con más detalle a continuación, un objeto o clase de objetos diana dado puede representar una combinación de un logotipo y una ubicación o fuente del logotipo en el mundo real. Por ejemplo, un clasificador puede ser entrenado para identificar que un logotipo específico apareció en el acolchado de un poste de meta de fútbol americano, en lugar de identificar solo que apareció el logotipo. Por consiguiente, en algunas realizaciones, el mismo logotipo puede asociarse con diferentes objetos de imagen diana dependiendo de dónde, en una arena u otro local sede, el logotipo aparezca en una imagen o fotograma de vídeo dado.
[0019] Los clasificadores configurados para identificar un objeto de imagen diana se pueden crear o entrenar usando imágenes ejemplares que se sabe que incluyen ese objeto de imagen diana. Específicamente, al crear o entrenar un modelo, cada imagen ejemplar se procesa para identificar características de la imagen. Estas características son habitualmente alguna propiedad o característica medible del objeto de imagen diana. Ejemplos de tipos de características utilizadas en el reconocimiento de objetos incluyen características de transformación de características invariables en escala (SIFT - Scale-Invariant Feature Transform) y características de aceleración robusta (SURF - Speeded-Up-Robust Features). Debido a que se sabe que las imágenes ejemplares incluyen el objeto de imagen diana, las características de las imágenes ejemplares se asocian a continuación con una probabilidad de indicar que el objeto de imagen diana está incluido en la imagen. Por ejemplo, si la mayoría o la totalidad de las imágenes ejemplares incluyen una determinada característica, la presencia de esa característica en otra imagen no clasificada puede indicar una alta probabilidad de que la imagen no clasificada incluya el objeto de imagen diana. Además, la ausencia de esa característica en una imagen no clasificada puede indicar una menor probabilidad de que esa imagen no clasificada incluya el objeto de imagen diana.
[0020] Con referencia adicional al bloque 104, en algunas realizaciones, un clasificador de imágenes previamente entrenado puede devolver una cierta probabilidad de que un fotograma dado del vídeo incluya un objeto de imagen diana (tal como un logotipo específico), y el sistema puede considerar que aquellos fotogramas asociados con una probabilidad que satisface una cierta probabilidad umbral (por ejemplo, 75 %) incluyen el objeto de imagen diana. Por otro lado, el sistema puede considerar que las imágenes asociadas con una probabilidad o posibilidad que no satisface la probabilidad umbral no incluyen el objeto de imagen diana. En algunas realizaciones en las que el sistema busca varios logotipos de diferentes compañías, uno o más clasificadores pueden proporcionar una probabilidad separada para cada una de las diferentes compañías y/o para cada logotipo diferente. Cuando se encuentra una coincidencia, el sistema informático puede determinar y almacenar información diversa, como el tamaño del logotipo dentro del fotograma y dónde aparece el logotipo en la escena capturada (por ejemplo, en una valla publicitaria). Basándose en un análisis de múltiples fotogramas que componen secuencias de vídeo, el sistema informático puede determinar además una duración (o una hora de inicio y finalización) durante la cual el logotipo está visible en el vídeo.
[0021] En el bloque 106, el sistema informático puede crear una huella digital de vídeo digital (que puede almacenarse por el sistema como un archivo digital) que representa los uno o más fotogramas identificados (o secuencias de vídeo, en algunas realizaciones) en los que se representa uno de los logotipos u otros objetos de interés. Por ejemplo, si el sistema determina que el logotipo de una empresa determinada apareció en los intervalos de tiempo de 1:03-1:12 y de 2:05-2:46 en los datos de vídeo del evento, el sistema informático puede crear dos o más huellas digitales de vídeo que representan fotogramas y/o secuencias de datos de vídeo en estos intervalos de tiempo. Tal como se analizó anteriormente, se conocen varias técnicas para crear una huella digital que representa datos de vídeo, y tales técnicas no necesitan describirse en detalle en esta solicitud. En realizaciones en las que se identificaron varios logotipos de compañías diferentes en los datos de vídeo, el sistema informático puede agrupar por separado huellas digitales creadas para fotogramas en los que apareció el logotipo de cada compañía. Por ejemplo, el sistema informático puede generar y almacenar un conjunto de huellas digitales para el emparejamiento del evento y una primera empresa, y un segundo conjunto de huellas digitales para el emparejamiento del evento y la segunda empresa.
[0022] A continuación, en el bloque 108, el sistema informático puede recibir o recuperar datos de vídeo de transmisiones posteriores al evento. Los datos de vídeo, en algunas realizaciones, pueden ser transmisiones grabadas de programación de televisión que se emitió durante algún intervalo de tiempo posterior al evento, tal como durante un día o una semana después del evento. En algunas realizaciones, el sistema informático puede recibir o recuperar los datos de vídeo desde una fuente de datos que graba digitalmente toda la programación que se transmite en cada uno de una serie de canales diferentes, tal como un servicio que opera un gran número de grabadores de vídeo digital (DVR - Digital Video Recorders) sintonizados para grabar diferentes canales de una o más alimentaciones de transmisión por satélite. En algunas realizaciones, solo pueden recuperarse programas y/o canales que se ha determinado previamente que es probable que incluyan partes del vídeo de evento. Por ejemplo, según algunas realizaciones, si el evento es un evento deportivo, los programas recuperados pueden limitarse a la programación de canales deportivos, programas deportivos y programas de noticias nocturnos, que pueden ser cada uno fuentes probables de destaques deportivos o videoclips. En otras realizaciones, sustancialmente toda la transmisión de programación en una región dada y/o a nivel nacional puede analizarse, potencialmente en un orden de prioridad de tal manera que los programas o canales más propensos a incluir partes del vídeo del evento se recuperan y analizan primero.
[0023] En algunas realizaciones, los datos de vídeo distintos de las transmisiones de televisión pueden recuperarse adicional o alternativamente en el bloque 108. Por ejemplo, los datos de vídeo cargados o accesibles desde servicios de redes sociales, servicios para compartir archivos y/o servicios de vídeo basados en redes informáticas (a los que se puede acceder a través de sitios web y/o aplicaciones dedicadas) se pueden recuperar y analizar. En tales realizaciones, el sistema informático puede configurarse para determinar si los videoclips o los aspectos destacados del evento aparecen en las redes sociales o en vídeo accesible a Internet, entre otras fuentes. Además, las imágenes (además de o en lugar de vídeo) cargadas en sitios web de redes sociales u otras fuentes de Internet pueden analizarse y considerarse al determinar un valor multimedia agregado, como se describirá con más detalle a continuación. Por ejemplo, el alcance estimado y el nivel de participación para una publicación, vídeo o foto dados en las redes sociales pueden tenerse en cuenta al determinar un valor multimedia asociado con la publicación, vídeo o foto.
[0024] En el bloque 110, el sistema informático busca en los datos de vídeo posteriores coincidencias de huellas digitales con respecto a las huellas digitales de vídeo generadas previamente que corresponden a partes del vídeo original que incluyen un logotipo u otro objeto de interés. Como se apreciará, los bloques 108 y 110 se pueden repetir para varios vídeos posteriores (por ejemplo, a medida que cada programa de televisión individual se recupera en el bloque 108, se puede buscar en el bloque 110), en lugar de buscar todos los programas posteriores al mismo tiempo. Pueden usarse técnicas conocidas (incluyendo determinaciones de fotogramas clave) para determinar eficientemente si una huella digital dada coincide con cualquier parte del vídeo posterior. Tal como se analizó anteriormente, una coincidencia de huellas digitales puede indicar vídeos perceptualmente similares en los que el vídeo posterior puede tener una resolución diferente, estar recortado, borroso, tener texto u otro contenido superpuesto sobre una parte del vídeo y/o haber sido modificado de otro modo. En algunas realizaciones, el nivel de confianza de una coincidencia de huellas digitales puede aumentarse realizando posteriormente un análisis de imagen en un fotograma del vídeo para detectar el logotipo original u otro objeto de interés (similar al procedimiento analizado anteriormente con respecto al análisis del vídeo original). Dicho análisis adicional puede ser útil en casos en los que el vídeo original puede haber sido modificado antes de ser incluido en la transmisión posterior. Por ejemplo, el sistema puede determinar los niveles de confianza basándose en cuántos píxeles tienen en común la porción de vídeo original y la porción de vídeo posterior (o píxeles que son sustancialmente iguales, teniendo en cuenta ligeras variaciones), a continuación, basándose en este nivel de confianza, puede realizar el reconocimiento de imagen para verificar que un fotograma de vídeo similar es, de hecho, una coincidencia positiva. Una vez que se determinan una o más coincidencias de huellas digitales, el procedimiento ilustrativo puede proceder a los bloques descritos a continuación con respecto a la Figura 2.
[0025] La Figura 2 es un diagrama de flujo de un procedimiento ilustrativo 200 que puede implementarse mediante un sistema informático, tal como el sistema 302 que se describirá a continuación, con el fin de determinar un valor multimedia agregado asociado con la exposición de marca de un evento basándose en parte en la coincidencia de huellas digitales de vídeo. Si bien la Figura 2 se describirá con respecto a la coincidencia de huellas digitales, no todas las realizaciones de la presente divulgación utilizan la coincidencia de huellas digitales o las huellas digitales de vídeo en general, y las descripciones de la coincidencia de huellas digitales en esta solicitud no pretenden ser limitativas. Por ejemplo, en algunas realizaciones, se pueden utilizar otras técnicas de visión por ordenador y procedimientos de aprendizaje automático en lugar de o además de la coincidencia de huellas digitales en asociación con la determinación del valor multimedia agregado, como se describirá más adelante.
[0026] El procedimiento ilustrativo 200 comienza en el bloque 202, que puede implementarse después del bloque 110 analizado anteriormente con referencia a la Figura 1. En el bloque 202, el sistema informático puede almacenar el intervalo de tiempo y otra información de transmisión asociada con una o más coincidencias de huellas digitales que se determinaron previamente en el bloque 110 descrito anteriormente. Por ejemplo, el sistema puede almacenar, en una realización, una indicación del canal, el nombre del programa, el número de espectadores, el costo comercial de 30 segundos y el o los marcos de tiempo en el vídeo del evento original que apareció en el vídeo posterior (por ejemplo, "QXTW; Sports Rundown; 290.000; $32.100; 23:12-23:23; 24:15-24:25"). Los números de audiencia y el costo de una transmisión comercial durante el programa se pueden determinar a partir de fuentes de datos de terceros, que pueden estar asociadas con compañías publicitarias, publicaciones de la industria y/u operadores de canales. El sistema puede determinar un coste comercial de 30 segundos basándose en cuántos espectadores estaban viendo el programa durante un minuto o segundo particular (en lugar de para un programa completo) en realizaciones en las que están disponibles datos de audiencia más granulares. En realizaciones en las que se analizan vídeos visibles por Internet, la cantidad de usuarios que han visto un vídeo puede extraerse de una página web en la que está integrado el vídeo. En algunas realizaciones, el sistema informático puede almacenar adicionalmente información con respecto a qué logotipo u otro objeto de interés se identificó, y puede almacenar los datos de una manera (tal como una base de datos relacional) mediante la cual el sistema puede agrupar fácilmente todas las apariencias de un logotipo dado de un evento dado en cada una de una serie de transmisiones posteriores.
[0027] En el bloque 204, el sistema informático determina, para cada transmisión en la que se hizo coincidir al menos una huella digital, un valor de medio asociado con la exposición del logotipo en esa transmisión. En algunas realizaciones, el valor multimedia puede basarse, al menos en parte, en el coste real en el que habría incurrido la empresa propietaria del logotipo si esa empresa hubiera pagado un comercial durante el programa de televisión dado. En otras realizaciones, el valor multimedia puede estimarse en función del número de espectadores del programa, el intervalo de tiempo y el canal en el que se transmitió el programa, los datos demográficos del espectador y/u otros factores. En algunas realizaciones, cualquier aparición del logotipo de una determinada compañía en una transmisión, incluso si solo durante un clip de realce de cinco segundos corto, puede considerarse que vale la pena el coste de la ranura comercial más corta durante ese programa. En otras realizaciones, el sistema informático puede descontar o determinar de otro modo que el valor multimedia es menor que el coste de un anuncio comercial basándose en factores tales como el tiempo que el logotipo está en pantalla durante el programa y/o la prominencia del logotipo dentro del programa mientras está visible (por ejemplo, el porcentaje de espacio que el logotipo ocupa en un fotograma del vídeo).
[0028] Por último, en el bloque 206, el sistema informático puede determinar un valor multimedia agregado asociado con cada emparejamiento de un evento y un logotipo (u otro objeto de interés) en función de, al menos en parte, los valores multimedia específicos de programa (o específicos de vídeo) individuales determinados en el bloque 204. Por ejemplo, un valor multimedia agregado en un caso puede representar el valor de marketing que una empresa obtuvo en general para colocar un anuncio en el local sede en un estadio deportivo para un juego determinado u otro evento. Este valor total puede representar o capturar no solo el valor de la exposición obtenida durante una transmisión en vivo del juego, sino también el valor posterior obtenido a través de una exposición posterior cuando el anuncio en el local sede de la compañía se puede ver en un punto destacado del juego que aparece en otros programas de televisión, publicaciones en redes sociales, vídeos generados por el usuario y/u otras fuentes. En algunas realizaciones, el valor agregado puede ser una suma de los diversos valores multimedia determinados para un emparejamiento dado de un evento y un logotipo, más el valor multimedia para la transmisión en vivo inicial del evento.
[0029] Una vez que se ha determinado un valor multimedia agregado para una exposición de marca dada, el sistema informático puede proporcionar este valor a uno o más terceros, tal como a través de una página web segura, una interfaz de programación de aplicaciones (API), un correo electrónico, un informe impreso, una aplicación móvil y/u otro procedimiento o medio. El destinatario puede incluir un titular de derechos con respecto al espacio publicitario en el evento (por ejemplo, un estadio o un equipo deportivo), un patrocinador o titular de derechos en el logotipo (por ejemplo, la empresa que pagó el anuncio original en el local sede) y/o un auditor u otro proveedor de servicios que trabaja con vendedores, anunciantes, locales sede o una industria específica asociada con el anuncio. La información puede proporcionarse de una manera interactiva, de modo que el destinatario puede seleccionar entre varios niveles de detalle o agregación, y puede filtrar o buscar por canal, programa, intervalos de tiempo, etc. para ver datos específicos (tales como los determinados y almacenados en los bloques 202 y 204 descritos anteriormente).
[0030] La Figura 3 ilustra una arquitectura general de un entorno informático 300, según algunas realizaciones. Como se representa en la Figura 3, el entorno informático 300 puede incluir un sistema informático 302. La arquitectura general del sistema informático 302 puede incluir una disposición de componentes de hardware y software informáticos utilizados para implementar aspectos de la presente descripción. El sistema informático 302 puede incluir muchos más (o menos) elementos que los mostrados en la Figura 3. No es necesario, sin embargo, que todos estos elementos generalmente convencionales se muestren con el fin de proporcionar una descripción habilitante.
[0031] Como se ilustra, el sistema informático 302 incluye una unidad de procesamiento 306, una interfaz de red 308, una unidad de medio legible por ordenador 310, una interfaz de dispositivo de entrada/salida 312, una pantalla opcional 326 y un dispositivo de entrada opcional 328, todos los cuales pueden comunicarse entre sí por medio de un bus de comunicación 336. La unidad de procesamiento 306 puede comunicarse hacia y desde la memoria 314 y puede proporcionar información de salida para la pantalla opcional 326 a través de la interfaz del dispositivo de entrada/salida 312. La interfaz de dispositivo de entrada/salida 312 también puede aceptar entrada desde el dispositivo de entrada opcional 328, tal como un teclado, ratón, pluma digital, micrófono, pantalla táctil, sistema de reconocimiento de gestos, sistema de reconocimiento de voz u otro dispositivo de entrada conocido en la técnica.
[0032] La memoria 314 puede contener instrucciones de programa informático (agrupadas como módulos o componentes en algunas realizaciones) que la unidad de procesamiento 306 puede ejecutar para implementar una o más realizaciones descritas en esta solicitud. La memoria 314 puede incluir generalmente RAM, ROM y/u otros medios legibles por ordenador persistentes, auxiliares o no transitorios. La memoria 314 puede almacenar un sistema operativo 318 que proporciona instrucciones de programa informático para su uso por la unidad de procesamiento 306 en la administración general y el funcionamiento del sistema informático 302. La memoria 314 puede incluir además instrucciones de programa informático y otra información para implementar aspectos de la presente descripción. Por ejemplo, en una realización, la memoria 314 puede incluir un módulo de interfaz de usuario 316 que genera interfaces de usuario (y/o instrucciones para las mismas) para su visualización en un sistema informático, por ejemplo, a través de una interfaz de navegación tal como un navegador o una aplicación instalada en el sistema informático.
[0033] En algunas realizaciones, la memoria 314 puede incluir un módulo de análisis de vídeo 320, que puede ser ejecutado por la unidad de procesamiento 306 para realizar operaciones de acuerdo con diversas realizaciones descritas en esta solicitud (por ejemplo, las operaciones descritas con referencia a la Figura 1 anterior). La memoria 314 puede incluir además un módulo de valoración multimedia 322, que puede ser ejecutado por la unidad de procesamiento 306 para realizar otras operaciones de acuerdo con diversas realizaciones descritas en esta solicitud (por ejemplo, las operaciones descritas con referencia a la Figura 2 anterior). Los módulos 320 y/o 322 pueden acceder a los almacenamientos de datos 330, 332 y/o 334 con el fin de recuperar los datos descritos anteriormente y/o almacenar datos. Cada uno de estos almacenamientos de datos puede ser parte del sistema informático 302, remoto del sistema informático 302, y/o puede ser un servicio basado en red. El almacenamiento 330 de datos de clasificador puede almacenar modelos entrenados y datos usados para la clasificación de fotogramas o imágenes de vídeo para identificar objetos de imagen que aparecen dentro de las imágenes. El almacenamiento de datos de vídeo 332 puede almacenar datos de vídeo digitales, tales como los grabados en un DVR, de diversas transmisiones de televisión y/u otros archivos de vídeo. El almacenamiento de datos de coste multimedia 334 puede almacenar información con respecto al coste de anuncios durante diversos programas de televisión o intervalos de tiempo, datos demográficos del espectador y/u otros datos usados para determinar valores multimedia.
[0034] En algunas realizaciones, la interfaz de red 308 puede proporcionar conectividad a una o más redes o sistemas informáticos, y la unidad de procesamiento 306 puede recibir información e instrucciones de otros sistemas o servicios informáticos a través de una o más redes. En el ejemplo ilustrado en la Figura 3, la interfaz de red 308 puede estar en comunicación con un sistema informático de cliente 303 a través de la red 336, tal como Internet. En particular, el sistema informático 302 puede establecer un enlace de comunicación 342 con una red 336 (por ejemplo, usando protocolos conocidos) para enviar comunicaciones al sistema informático 303 a través de la red 336. De manera similar, el sistema informático 303 puede enviar comunicaciones al sistema informático 302 a través de la red 336 a través de un enlace de comunicación cableado o inalámbrico 340.
[0035] Los expertos en la técnica reconocerán que los sistemas informáticos 302 y 303 pueden ser cualquiera de una serie de sistemas informáticos que incluyen, pero no se limitan a, un ordenador portátil, un ordenador personal, un asistente digital personal (PDA), un PDA híbrido/teléfono móvil, un teléfono móvil, un teléfono inteligente, un dispositivo informático portátil, un lector de libros electrónicos, un reproductor de medios digitales, un ordenador de tableta, una consola o controlador de juegos, un quiosco, un dispositivo de realidad aumentada, otro dispositivo inalámbrico, un decodificador o dispositivo para TV, uno o más servidores y similares.
Características adicionales para determinar el valor del patrocinio de las redes sociales
[0036] Como se discutió anteriormente, en algunas realizaciones, se puede determinar un valor de patrocinio de medios que incluye la consideración del valor multimedia agregado de imágenes y/o vídeo en las redes sociales que se determina que incluyen la representación de un objeto patrocinado (por ejemplo, un logotipo de la compañía). En algunas realizaciones, el valor determinado puede representar un equivalente de coste multimedia, que puede ser la cantidad de dinero que una empresa habría tenido que gastar para comprar espacio publicitario dentro de la red social dada u otra ubicación en la que un usuario publica la imagen que contiene el logotipo de la empresa (o se agrega de otra manera a la red social de una manera distinta a un anuncio pagado).
[0037] La Figura 4 es un diagrama de flujo de un procedimiento ilustrativo 400 que puede ser implementado por un sistema informático, tal como el sistema 302, para determinar una valoración general del patrocinador en función de las imágenes y/o el vídeo que aparecen en las publicaciones de las redes sociales. En el bloque 402, el sistema puede identificar una o más publicaciones en las redes sociales que incluyan una imagen o vídeo incluido o vinculado en el que aparezca un objeto de interés, como la marca de la empresa, un logotipo u otro contenido patrocinado. La imagen o el vídeo se pueden identificar para incluir el objeto de interés en función de los diversos procedimientos descritos anteriormente.
[0038] A continuación, en el bloque 404, el sistema puede determinar un costo multimedia equivalente de la una o más publicaciones identificadas en función de los datos de alcance y/o participación asociados con las publicaciones, que pueden ser accesibles a través del servicio de redes sociales u otro proveedor del servicio a través del cual se hizo la publicación. Como un ejemplo con respecto a la televisión u otro contenido de vídeo en el que se pueden comprar anuncios, el coste de comprar un anuncio de 30 segundos puede multiplicarse por la cantidad de tiempo que la marca se mostró en el vídeo, y ajustarse adicionalmente en base a los números de audiencia reales cuando estén disponibles. En situaciones en las que los números de audiencia reales o los datos de "alcance" están disponibles (como en un sitio web para compartir vídeos en el que el número de visualizaciones de página o visualizaciones de vídeo está listado en una página web o está disponible de otra manera), el número de visualizaciones que recibe una imagen o vídeo puede considerarse en la determinación del valor de patrocinio. Adicional o alternativamente, se puede considerar la participación del usuario (como la cantidad de usuarios que seleccionaron un enlace o URL asociado con una imagen o vídeo publicado en una red social u otra ubicación).
[0039] Por ejemplo, un equivalente de coste multimedia puede determinarse, en algunas realizaciones, basándose en una combinación de CPEE (Cost-Per-Engagement-Equivalent - coste por participación equivalente) y CPME (Cost-Per-Thousand-Equivalent - coste por mil equivalente) si un patrocinador dado comprara la exposición de medios que en cambio se obtuvo a través de otros medios (tales como usuarios que publican medios en redes sociales). Dependiendo de la realización y los datos disponibles, se puede usar un CPME promedio para la red en su conjunto (por ejemplo, el CPME promedio para anuncios en una red social específica), o se pueden usar datos de CPME más granulares basados en palabras clave. Por ejemplo, el CPME puede dirigirse a poblaciones específicas, tales como entusiastas del deporte o entusiastas de deportes específicos, en lugar de una población general. Para las publicaciones que no tienen métricas de alcance exactas o datos de audiencia, se puede aplicar un mayor peso a los números de participación. Algunas redes sociales pueden proporcionar datos de alcance real (por ejemplo, datos sobre el número de usuarios que de hecho vieron una publicación) al público, mientras que otras pueden proporcionar esta información solo al propietario de la cuenta que publicó los medios. Por consiguiente, en algunas realizaciones, las cuentas que son propiedad del patrocinador o su afiliado (que puede denominarse en esta solicitud cuenta "propiedad y operada" del patrocinador) pueden tener datos de alcance reales disponibles, mientras que medios similares del mismo evento que es publicado por un tercero pueden no tener datos de alcance reales disponibles. En un ejemplo, se puede aplicar una fórmula de la siguiente manera:
Coste de medios equivalente = ([Participaciones * CPEE] * w-i) ([Alcance * CPME] * W2).
[0040] Al aplicar la fórmula anterior para una cuenta no propiedad y operada o donde los datos de alcance reales no están disponibles o no son confiables, la ponderación wi con respecto a la participación puede establecerse relativamente alta (como 90 % o 0,9), mientras que la ponderación w2 con respecto al alcance puede establecerse relativamente baja (como 10 % o 0,1). Por ejemplo, un patrocinador puede estar más interesado en el número de usuarios que realmente vieron la marca representada en los medios, pero el sistema puede necesitar estimar este número en función de "me gusta", respuestas, números de clics u otros números de participación como un indicador cuando los números de visualizaciones no están disponibles o no son confiables. Como se describe en esta solicitud, el porcentaje o los valores multimedia totales atribuibles a diferentes conjuntos o tipos de cuentas se pueden determinar y mostrar a un usuario. Por ejemplo, se puede determinar un primer valor para cuentas "propias y operadas", y otro para cuentas no "propias y operadas". Por ejemplo, un patrocinador puede estar interesado en saber que la compartición orgánica de un videoclip en las redes sociales representó un cierto porcentaje o valor en dólares del costo equivalente total de los medios, a diferencia de las visualizaciones de las redes sociales que el propio patrocinador publicó para que las vieran los usuarios que ya seguían o se suscribían a la(s) cuenta(s) de redes sociales del propietario de la marca.
[0041] Una variación de la fórmula equivalente de coste multimedia anterior para un vídeo alojado en un servicio de uso compartido de vídeo puede ser, por ejemplo:
Equivalente de coste multimedia = (Visualizaciones * [Coste de red por Visualización] * [Peso de alcance] * [Equivalente de coste de 30 segundos]) (Participación * [Coste de red por participación] * [Peso de participación]).
[0042] En algunas realizaciones, el sistema puede proporcionar indicadores de superposición de audiencia en un informe o interfaz de usuario. El sistema puede determinar la superposición de audiencias según lo determinado por los usuarios que se relacionan con publicaciones propias en comparación con los usuarios que se relacionan con publicaciones no propias relacionadas con un titular de derechos específico. Por ejemplo, la superposición de usuarios que interactuaron con publicaciones propias y publicaciones no propias puede variar de cero a nueve por ciento del número total de usuarios que interactuaron con publicaciones propias o publicaciones no propias. Por lo tanto, los titulares de derechos están demostrando la extensión de la audiencia, como la amplificación de las redes sociales, a los aliados al capturar el valor creado de las cuentas que no son propiedad del equipo. En algunos sistemas, la superposición promedio de subcategorías con cuentas propiedad del equipo puede proporcionar información útil a los patrocinadores o titulares de derechos. Por ejemplo, para un deporte, como el baloncesto, algunas cuentas de equipo tienen una mayor superposición con las cuentas de fans y las cuentas oficiales de la liga que con las cuentas destacadas de deportes en general. Como ejemplos adicionales de acuerdo con la investigación en asociación con ciertas realizaciones: la superposición de usuarios que interactuaron con publicaciones propias y cuentas de fans (como cuentas de fans específicas del equipo) puede corresponder al cinco por ciento del número total de usuarios de participación; la superposición de usuarios que interactuaron con publicaciones propias y cuentas oficiales de la liga puede corresponder al siete por ciento del número total de usuarios de participación; y la superposición de usuarios que interactuaron con publicaciones propias y cuentas deportivas generales puede corresponder al tres por ciento del número total de usuarios de participación.
[0043] Una vez que se determina un coste multimedia equivalente para una instancia dada (tal como para una publicación en una red social), el porcentaje de este coste multimedia total equivalente para atribuir a una marca o patrocinador dado puede determinarse en el bloque 406. En algunas realizaciones, el porcentaje a aplicar al coste multimedia total equivalente puede correlacionarse generalmente con la prominencia de la marca en la imagen, vídeo u otros medios. Esta atribución porcentual (que puede denominarse "puntuación de adhesión (stick score)", de acuerdo con una realización) para una foto o vídeo dado puede basarse en diversos factores, tales como tamaño, claridad, duración, número de apariciones, número de otros logotipos y posición de la marca/logotipo del patrocinador en relación con la imagen o vídeo completo. Una vez que se determina la atribución porcentual, la valoración general del patrocinador se puede determinar en el bloque 408. Por ejemplo, si se determina que el equivalente de coste multimedia en el bloque 404 es de $ 10.000, y se determina que el porcentaje a atribuir a la marca dada en el bloque 406 es del 50 %, se puede determinar que la valoración global del patrocinador para la marca dada es de $ 5.000 en el bloque 408 (es decir, $ 10.000 multiplicado por un descuento de 0,5 sobre el valor total).
[0044] En algunas realizaciones, el sistema puede generar diversas hojas de cálculo, visualizaciones resumidas, paneles de control, informes, interfaces de usuario y/u otra salida destinada al consumo por un patrocinador u otro usuario. Los datos en una realización pueden incluir, para cada uno de una serie de URL, vídeos, imágenes o publicaciones de redes sociales diferentes: una indicación de si la cuenta es propiedad y está operada por la marca; una fecha de publicación; el nombre de marca asociado con el logotipo u otra marca identificada en los medios; una "fuente de marca" indicaba la ubicación o el artículo del mundo real en el que se representaba la marca en los medios (por ejemplo, "logotipo en el piso de madera de la arena" o "obsequio promocional muñeco bobblehead"); duración del vídeo; 30 segundos de coste equivalente; plataforma o fuente de redes sociales; número de visualizaciones; número de participaciones; el valor total multimedia; la "puntuación porcentual del valor multimedia" o la prominencia de la marca, que se aplicará como porcentaje del valor total multimedia; el valor multimedia ajustado basado en la puntuación de porcentaje de valor multimedia; y/o el canal o cuenta.
[0045] En algunas realizaciones en las que el sistema analiza la imagen y el vídeo para identificar la representación de un artículo físico específico en el que aparece la marca, el sistema puede proporcionar sugerencias al propietario de la marca o al patrocinador con respecto a la colocación de su marca o logotipo en dichos artículos. Por ejemplo, considere una situación en la que una compañía patrocina una promoción en un juego de béisbol en el que se da un muñeco bobblehead a los fans que asisten, y el muñeco bobblehead incluye un logotipo de la compañía. Cuando el sistema rastrea la compartición de imágenes y vídeos en las redes sociales que los fans crean representando el muñeco, el sistema puede determinar en cada vídeo e imagen que incluye el muñeco si el logotipo de la compañía está visible, determinando efectivamente si el muñeco es identificado y si el logotipo es identificado. El sistema puede proporcionar sugerencias al patrocinador, como "Su logotipo está demasiado bajo en el muñeco porque está fuera del fotograma o no se puede ver en el 35 % de las publicaciones en las redes sociales que incluyen al menos una porción del muñeco en una imagen o vídeo".
[0046] En algunas realizaciones, cuando el sistema determina una valoración para un vídeo particular con respecto a una marca particular que aparece en el vídeo, se puede aplicar un factor de desintegración, agotamiento u otro factor de disminución durante el período de tiempo en el que la marca aparece en el vídeo. Por ejemplo, si una marca determinada aparece en un vídeo de 15 minutos durante un total de 5 minutos, el primer minuto de exposición puede valer más que el segundo minuto, que a su vez puede valer más que el tercer minuto.
[0047] En algunas realizaciones, el sistema aplica una metodología de porcentaje de valor multimedia. La metodología puede comparar la calidad de una exposición de marca en relación con una exposición de marca completa en función de uno o más factores para determinar un porcentaje del costo total de los medios equivalente a atribuir a una exposición de marca dada. Por consiguiente, el porcentaje de valor multimedia puede representar el porcentaje del coste multimedia total equivalente a atribuir a una exposición de marca dada. El porcentaje de valor multimedia se puede basar en factores como claridad, prominencia, visibilidad, tamaño, ubicación y share of voice. El factor de claridad puede corresponder a la claridad de la exposición del patrocinador (por ejemplo, qué tan claramente visible, enfocado y/o legible aparece el logotipo del patrocinador). El factor de prominencia puede corresponder a la prominencia del logotipo de un patrocinador en el contexto del artículo multimedia. En algunas realizaciones, el logotipo de un patrocinador que se superpone digitalmente en la imagen o vídeo (solo alguien que vea el vídeo o mire una foto lo vería) puede recibir un mayor peso de prominencia que el logotipo de un patrocinador que está físicamente presente en el logotipo deportivo (por ejemplo, alguien físicamente en el evento deportivo lo vería). En otras realizaciones, un logotipo de patrocinador que está físicamente presente puede recibir una mayor prominencia que una superposición digital, ya que hay personas adicionales físicamente en el evento deportivo que verían el logotipo. El factor de visibilidad puede corresponder al porcentaje de exposición en un elemento multimedia. El factor de tamaño puede corresponder al tamaño de un logotipo con respecto al fotograma del elemento multimedia, tal como el fotograma completo del elemento multimedia. El factor de colocación puede corresponder a la posición del logotipo. El factor share of voice puede corresponder a una cantidad de ubicaciones de señalización que están a la vista. Por ejemplo, se puede determinar una cantidad de otros objetos de patrocinadores en la imagen o vídeo. Por lo tanto, un solo logotipo en una imagen o vídeo puede recibir un porcentaje de valor multimedia más alto que una imagen o vídeo con muchos otros logotipos también presentes en la imagen o vídeo. En otras realizaciones, el sistema informático puede considerar menos factores o factores adicionales al determinar los porcentajes de valor multimedia para un logotipo.
[0048] La Figura 5A ilustra datos de análisis de medios de muestra que pueden determinarse y/o almacenarse por el sistema informático 302 según aspectos de la presente descripción. Como se ilustra, la tabla 502 incluye, para cada uno de un número de objetos (identificados por una combinación del patrocinador y la ubicación/fuente), el número de publicaciones en redes sociales en las que apareció el objeto, el alcance estimado del número de personas que vieron el objeto en los medios relevantes, el número de usuarios que interactuaron con el contenido (por ejemplo, seleccionaron un enlace para ver más información, volvieron a publicar los medios, comentaron en los medios, etc., que pueden estimarse), la "puntuación porcentual del valor multimedia" como se discute en otra parte en esta solicitud, y una valoración total de los medios.
[0049] Tal como se ilustra, los objetos en cada fila de la tabla 502 no son simplemente un patrocinador o logotipo específico, sino que indican una ubicación o fuente específica del mundo real del patrocinio identificado. Por ejemplo, el Patrocinador 2 ha colocado un logotipo u otro anuncio en al menos los talones de boletos, el piso de madera, el telón de fondo de la entrevista y las vigas. Cada una de estas combinaciones de marca y fuente puede haber sido identificada y analizada por separado por el sistema informático utilizando diversos procedimientos descritos en esta solicitud. La Tabla 504 incluye datos similares con respecto al contenido de vídeo, que también incluye una indicación del total de segundos de exposición a través de los espectadores, así como el número de visualizaciones.
[0050] Como se muestra en la Figura 5B, el valor multimedia completo determinado por el sistema para una marca dada en un intervalo de tiempo dado puede desglosarse de varias maneras. Como se ilustra, el valor completo de los medios se muestra agrupado alternativamente por canal (por ejemplo, televisión, redes sociales, vídeo de streaming, medios digitales), por patrocinador y por proveedor de red (por ejemplo, redes sociales específicas, servicios de alojamiento de vídeo u otros servicios que permiten la publicación de mensajes, vídeos o fotos). Otras opciones para desglosar las valoraciones, en algunas realizaciones, pueden incluir enumerar las partes de la valoración atribuibles a cuentas específicas, tales como cuentas de temas deportivos generales, cuentas de ligas, cuentas de equipos o cuentas de jugadores (no ilustradas).
[0051] En algunas realizaciones, además de analizar el contenido de las propias publicaciones en las redes sociales, el sistema puede seguir enlaces URL incluidos en las publicaciones para evaluar el valor patrocinador de la página o archivo vinculado. Por ejemplo, el sistema puede usar varias metodologías para estimar la cantidad de tráfico y/o participación asociada con la página web vinculada u otro contenido vinculado. Un valor multimedia determinado para la página enlazada u otro contenido (que puede basarse al menos en parte en el análisis de palabras clave y/o análisis de imágenes y vídeos incluidos dentro de la página) puede incluirse a continuación por el sistema en las determinaciones de valor multimedia totales analizadas en esta solicitud.
[0052] El sistema puede, en algunas realizaciones, crear y/o acceder a un almacenamiento de datos que incluye información que categoriza cada una de una serie de redes sociales y/o cuentas de redes sociales específicas por diversas etiquetas y categorías. Por ejemplo, la categorización puede incluir temas generales (tales como "Deportes") hasta un nivel más granular, tal como liga, equipo, jugador, miembro de la prensa, propiedad del patrocinador y operado por el patrocinador, etc. Por ejemplo, una cuenta de red social dada propiedad de un atleta profesional dado puede asociarse con o etiquetarse como el deporte específico, el equipo específico, el jugador específico, etc. Estas categorías o etiquetas pueden funcionar a continuación como filtros o criterios cuando se generan informes segmentados de valoración de medios por categoría o etiqueta. El sistema puede crear la información en esta base de datos de forma automatizada, por ejemplo, identificando palabras clave en el título o nombre de la cuenta, el resumen de la cuenta (que puede ser un encabezado, lema, párrafo introductorio, sección "acerca de mí", etc.), y el contenido de las publicaciones, y/o en función del análisis automatizado de los medios publicados o vinculados por la cuenta.
[0053] Las características implementadas por el sistema, en algunas realizaciones, pueden incluir soporte para precios dinámicos de patrocinio. El sistema puede, por ejemplo, incluir servicios de evaluación comparativa de precios para proporcionar valoraciones a ambos lados del mercado de patrocinio (por ejemplo, tanto patrocinadores como titulares de derechos), incluida la asistencia en el establecimiento de precios de patrocinio a nivel de una arena, equipo, liga u otro nivel. El sistema puede proporcionar un mercado de patrocinio programático que utiliza la licitación en tiempo real para establecer los precios de patrocinio.
[0054] A medida que los estadios desarrollen procedimientos de publicidad más dinámicos con respecto a su señalización dentro del estadio, será viable una mayor oferta en tiempo real para el espacio publicitario. Por ejemplo, un estadio dado puede tener potencialmente docenas de diferentes combinaciones de patrocinador y ubicación (por ejemplo, "Compañía A anunciada en el túnel", "Compañía B anunciada en el reloj de tiro", "Compañía C anunciada en el piso de madera", etc.). Algunos de estos espacios pueden ser anuncios físicos estáticos, mientras que otros son letreros en rotación (anuncios cambiantes mostrados a intervalos establecidos) y otros son espacios para la inserción digital de un anuncio durante la transmisión de televisión (por ejemplo, una pantalla verde, señalización existente que podría tener datos del patrocinador superpuestos sobre ella, o cualquier otro objeto físico representado en una imagen o vídeo). En algunas realizaciones, el sistema puede permitir a los patrocinadores hacer ofertas por el inventario en cualquier selección de equipos o ligas en tiempo real.
[0055] Por ejemplo, el sistema informático puede proporcionar una plataforma de licitación en tiempo real para su uso por equipos, ligas y/u otros titulares de derechos para conectar su señalización dinámica a una plataforma de oferta central. El sistema puede proporcionar una serie de mercados privados en los que una lista de licitadores aprobados (por ejemplo, empresas designadas específicas interesadas en colocar anuncios en señalización digital u otra señalización dinámica) puede ofertar por el inventario en tiempo casi real sobre una base de coste por 30 segundos (o de otro modo basado en el tiempo). Esta plataforma de ofertas puede contener fuentes de datos de varios juegos diferentes y tener activadores que los licitadores pueden configurar para que una oferta se coloque automáticamente en su nombre en el sistema cuando se cumplan ciertas condiciones. Por ejemplo, al seleccionar varias opciones seleccionables en una interfaz de usuario, el patrocinador podría establecer reglas en el sistema como "Aumentar ml oferta en [$x] (o hacer una oferta) si un juego está en los últimos 2 minutos del 4.° cuarto y el marcador está empatado o con diferencia de 3 puntos". Otros ejemplos incluirían a un patrocinador que selecciona levantar o colocar una oferta (con una cantidad de dólares correspondiente) cuando un jugador individual está a punto de romper un récord, cuando un equipo clasificado en los cinco primeros equipos en una liga juega contra otro equipo de los cinco primeros, etc. Por consiguiente, de la manera que un letrero digital en un estadio actualiza qué anuncio se muestra (tal como cada 30 segundos), el anuncio visualizado puede seleccionarse dinámicamente como el anuncio del mejor licitador en ese momento de acuerdo con la plataforma de ofertas en tiempo real.
[0056] El sistema puede rastrear el rendimiento del anuncio en tiempo real para determinar el ritmo. Por ejemplo, el sistema puede recopilar datos de costos reales de patrocinadores y/o titulares de derechos y ser capaz de demostrar cómo una campaña está marcando el ritmo, ya sea que esté en camino de entregar más o menos en relación con lo que pagó un patrocinador, y/u otra información en tiempo real o casi en tiempo real a lo largo de una campaña de patrocinio.
[0057] En algunas realizaciones, para cada caso de exposición de marca que el sistema identifica en medios capturados en asociación con patrocinio en un juego, el sistema puede determinar información tal como la siguiente. El sistema también puede buscar tendencias y anomalías en este y otros datos, y/o cómo cada punto de datos afecta el valor multimedia.
• ¿A qué hora/en qué cuarto del juego esto se llevó a cabo?
•¿Fue ese día un día de juego en Casa, fuera de Casa o no fue día de juego?
•¿Hubo algún evento importante ese día?
•¿El juego tenía un marcador cercano o había una diferencia alta en el marcador?
•¿Fue en acción o fuera de acción?
[0058] El sistema puede, en algunas realizaciones, proporcionar un análisis que tenga en cuenta las diferencias entre los juegos en casa y fuera de casa. Por ejemplo, para cada partido en casa, el sistema puede determinar el valor multimedia generado por el equipo contrario en relación con el equipo local. El valor multimedia del equipo opuesto puede basarse, al menos en parte, en una transmisión regional local y las cuentas de redes sociales asociadas con el equipo contrario (y potencialmente sus fans).
[0059] La Figura 6 es un diagrama de flujo de un procedimiento ilustrativo 600 para analizar datos de imagen o vídeo para determinar el deporte, el nombre del equipo, el estado del juego en casa o fuera de casa, y la información de patrocinio asociada con un evento de juego subyacente capturado en la imagen o vídeo. El procedimiento ilustrativo 600 puede implementarse mediante un sistema informático, tal como el sistema informático 302 descrito anteriormente. El procedimiento 600 comienza en el bloque 602, donde los medios de entrada son recibidos por el sistema informático. Los medios de entrada pueden ser, dependiendo de la realización, datos de imagen, datos de vídeo u otro contenido que incluya datos de imagen o vídeo referenciados o incluidos dentro del contenido. Por ejemplo, los datos de entrada pueden incluir una publicación en redes sociales recuperada a través de una red de redes sociales o servicio de redes sociales (donde una publicación puede incluir una foto o vídeo incluido o vinculado, así como texto u otro contenido). Alternativamente, los datos de entrada podrían ser datos de vídeo procedentes de una fuente de transmisión, tal como una fuente de vídeo de streaming o vídeo de transmisión grabado digitalmente procedente de una fuente de televisión por satélite o cable. Para cada elemento multimedia de entrada recibido o recuperado (por ejemplo, cada imagen o cada vídeo), el procedimiento ilustrativo puede proceder a los bloques descritos a continuación. Por lo tanto, aunque el procedimiento ilustrativo 600 se describirá a continuación con respecto a un solo paso a través de los bloques ilustrados con respecto a un solo elemento de contenido de imagen o vídeo, se apreciará que el procedimiento se puede repetir para muchos elementos diferentes de medios de entrada. Adicionalmente, como apreciará una persona que tenga conocimiento ordinario del uso de modelos de clasificación, el preprocesamiento de los medios de entrada puede ocurrir antes de proporcionar entrada asociada a los modelos de clasificación dados. Por ejemplo, se pueden extraer fotogramas de un vídeo de entrada a una velocidad de muestreo dada, y se pueden determinar características para cada imagen o vídeo con el fin de proporcionar las características dadas como entrada al modelo de clasificación apropiado descrito a continuación.
[0060] Los bloques 604, 606 y 608 pueden considerarse colectivamente los bloques de identificación de deporte de la Figura 6. Si bien los bloques de identificación de deporte ilustrados en la Figura 6 incluyen clasificación de escenas, clasificación de objetos y clasificación de deporte, se apreciará que se pueden incluir más o menos bloques en asociación con la identificación del deporte en otras realizaciones. En el bloque 604 de clasificación de escenas, el sistema informático puede proporcionar los medios de entrada como entrada a redes neuronales u otros modelos de clasificación que se han entrenado para identificar varias escenas diferentes. Cada escena o tipo de escena puede considerarse como una clase para los fines de los modelos de clasificación. Proporcionar los medios de entrada como entrada a los modelos de clasificación de escenas puede dar como resultado colectivamente una indicación de un nivel de confianza con respecto a cada una de las diversas escenas predefinidas, donde el nivel de confianza para una escena dada indica la confianza del modelo de que la escena dada se representa en los medios de entrada (como la imagen o el vídeo de entrada). Ejemplos de escenas pueden ser, en una realización, un estadio con un campo de béisbol, una arena de fútbol americano abovedada, un estadio de fútbol, una piscina y gradas, etc. En algunas realizaciones, los modelos pueden configurarse para identificar un número predefinido de escenas diferentes, y esas escenas pueden agruparse en subconjuntos que están asociados con un deporte dado. Por consiguiente, para cada deporte que el sistema informático está configurado para identificar, puede haber una o más escenas asociadas identificadas en un almacenamiento de datos, donde cada escena puede tener un clasificador o modelo de clasificación asociado que puede usarse para determinar si la escena dada se representa en medios de entrada específicos.
[0061] En el bloque 606, el sistema informático puede pasar los medios de entrada a modelos de clasificación que están configurados para identificar objetos específicos representados en datos de imagen o vídeo. Los objetos para los fines del bloque 606 (sin limitar el significado de "objeto" en otra parte de la presente descripción, tal como en el contexto de identificar objetos de logotipos) pueden ser diversos objetos del mundo real que se usan en cualquiera de varios deportes diferentes. Objetos de ejemplo pueden incluir una pelota de baloncesto, un balón de fútbol, una columna de sujeción de baloncesto, postes de meta de fútbol americano, una portería de fútbol, una portería de hockey, una red de tenis, etc. Como se discutió anteriormente con respecto a los modelos de clasificación de escena, los clasificadores de objetos o los modelos de clasificación pueden entrenarse para determinar un nivel de confianza con respecto a si cada uno de los objetos se representa en medios de entrada dados, y cada deporte se ha asociado con uno o más objetos que tienden a aparecer en la imagen o el vídeo del deporte dado. Por lo tanto, si los modelos de clasificación determinan una alta confianza de que un vídeo de entrada dado representa un objeto de fútbol americano y un objeto de poste de meta de fútbol americano dentro del vídeo, el sistema informático puede configurarse para identificar que ambos de estos objetos están asociados con el deporte del fútbol. Esto a su vez puede indicar que existe una alta probabilidad (basada al menos en los resultados de clasificación de objetos) de que el vídeo de entrada sea material de archivo de un partido de fútbol americano, particularmente si los objetos asociados con deportes distintos del fútbol americano tienen niveles de confianza bajos (o cero).
[0062] En el bloque 608, el sistema informático puede proporcionar los medios de entrada a modelos de clasificación deportiva que han sido entrenados cada uno con datos de imagen y/o vídeo de los deportes individuales que el sistema informático está configurado para identificar en los medios de entrada. Por ejemplo, una red neuronal entrenada para identificar en general imágenes de baloncesto puede haber sido entrenada usando vídeo de varios juegos de baloncesto diferentes. Tal modelo puede no tener un alto nivel de precisión por sí solo cuando se aplica independientemente de otros aspectos de la presente descripción. Por ejemplo, puede no identificar correctamente un vídeo de destaque de juego de baloncesto con un ángulo de cámara poco común en relación con el baloncesto si los datos de vídeo de entrenamiento fueron en gran parte de un pequeño número de ángulos de cámara estándar utilizados en las transmisiones de televisión de los juegos de baloncesto. Sin embargo, los modelos de clasificación deportiva aplicados en el bloque 608 pueden tener una salida útil cuando esa salida es considerada por el sistema informático en combinación con la clasificación de escenas y las determinaciones de clasificación de objetos en los bloques 604 y 606.
[0063] Los modelos aplicados en los bloques de identificación de deportes 604, 606 y 608 pueden combinarse de diversas maneras por el sistema informático para que el sistema informático determine si el medio de entrada dado representa un deporte y, de ser así, qué deporte se representa. Por ejemplo, se puede usar un sistema de votación, donde los niveles de confianza para cada salida de deporte en los bloques 604, 606 y 608 se ponderan cada uno de acuerdo con los pesos predefinidos. Los pesos asignados a la salida del bloque de clasificación de escenas 604, el bloque de clasificación de objetos 606 y el bloque de clasificación de deportes 608, en algunas realizaciones, generalmente pueden representar o correlacionarse con la fiabilidad de cada modelo en la clasificación correcta de medios como representando un deporte en pruebas anteriores. En una realización, cada uno de los bloques 604, 606 y 608 puede tener su nivel de confianza multiplicado por un peso asignado a ese procedimiento de clasificación particular, y estos niveles de confianza ponderados para cada deporte se pueden sumar a continuación para crear un nivel de confianza global ponderado para cada deporte. Si uno de los deportes tiene un nivel de confianza global ponderado por encima de un umbral predefinido, el sistema informático puede determinar que el medio de entrada dado representa el deporte correspondiente en el bloque de decisión 609. Si el sistema informático determina que se representa un deporte en los medios de entrada, el procedimiento 600 ilustrativo puede proceder a los bloques 610 y 612 de identificación del equipo descritos a continuación.
[0064] Los bloques 610 y 612 pueden ser implementados por el sistema informático como parte de un procedimiento de identificación del equipo. Como se muestra, el procedimiento de identificación del equipo incluye realizar reconocimiento óptico de caracteres ("OCR") y coincidencia de cadenas en el bloque 610, así como la identificación del equipo local en el bloque 612. Los bloques 610 y 612 pueden usarse en combinación por el sistema informático para identificar un equipo específico (o emparejamiento de equipos) que juega en el deporte identificado en los medios de entrada, así como si un equipo dado es el equipo local o visitante en el juego dado.
[0065] En el bloque 610, el sistema informático puede recuperar una lista almacenada de cadenas que están asociadas con equipos en el deporte específico que se identificó en los bloques de identificación de deportes descritos anteriormente. Por ejemplo, si el resultado de los bloques de identificación deportiva fue que un vídeo de entrada dado es un vídeo de un juego de baloncesto profesional, el sistema informático en el bloque 610 puede recuperar cadenas tales como nombres de equipos de baloncesto profesionales, nombres de ciudades con equipos de baloncesto profesionales, abreviaturas de nombres de equipos de baloncesto, nombres de jugadores estrellas en ciertos equipos, etc. El resultado del bloque 610, en una realización, puede ser un nivel de confianza para cada equipo de baloncesto profesional que indica el nivel de confianza que el juego representado en los medios de entrada dados incluye el equipo dado como participante. Como un ejemplo, el resultado puede indicar un nivel de confianza distinto de cero para uno o más equipos de baloncesto profesionales, pero puede indicar un nivel de confianza cero para la mayoría de los equipos de baloncesto profesionales.
[0066] En algunas realizaciones, cuando se analizan datos de vídeo como entrada, el sistema informático en el bloque 610 puede buscar la presencia consistente de las palabras clave de OCR dadas a lo largo del tiempo en el vídeo. Por ejemplo, si un vídeo de entrada dado tiene una duración de diez minutos y solo incluye la presencia de un determinado nombre de equipo durante veinte segundos del vídeo, esto puede estar asociado con un nivel de confianza bajo o puede ignorarse, en algunas realizaciones. Esto puede ocurrir, por ejemplo, porque una transmisión de televisión de un juego de baloncesto puede incluir un cintillo noticias (tal como texto que se desplaza a lo largo de la parte inferior de la pantalla) que incluye nombres de equipos de baloncesto distintos de los dos equipos que juegan en el juego transmitido. En otros casos, las palabras clave de OCR que aparecen durante solo veinte segundos del vídeo podrían indicar que solo una parte del vídeo contiene el equipo de interés correcto. Por ejemplo, una sección destacada "Top 10" de una transmisión de noticias podría contener uno o más clips cortos del equipo correcto, pero los otros clips cortos pueden no estar relacionados con el equipo de interés. Si el sistema informático determina que la vigésima segunda parte del vídeo parece incluir imágenes de juego para el equipo correcto, mientras que el resto del vídeo no es relevante para ese equipo, el sistema puede ignorar el resto del contenido de vídeo al realizar un análisis adicional del vídeo con respecto a ese equipo en particular.
[0067] El bloque 610 puede incluir además la aplicación de un conjunto de reglas asociadas con las transmisiones del deporte dado para identificar qué equipo es el equipo local en función de los resultados de la OCR y su ubicación en la pantalla. Por ejemplo, las transmisiones de televisión en general, o de una emisora dada, pueden seguir ciertas convenciones en la visualización de la puntuación actual en un juego, tal como siempre enumerando el equipo local por encima o antes del equipo "de fuera" (o equipo visitante). Por lo tanto, en una realización, si el procedimiento de OCR reconoce que una esquina de un vídeo muestra consistentemente los nombres de dos ciudades o los nombres de dos equipos, junto con las puntuaciones correspondientes, el sistema informático puede determinar que el equipo identificado en primer lugar en pantalla es el equipo local en el juego dado.
[0068] El sistema informático puede implementar procedimientos adicionales de identificación del equipo local en el bloque 612. El bloque 612 puede incluir proporcionar los medios de entrada como entrada a las redes neuronales u otros modelos de clasificación que se han entrenado con datos de vídeo de los juegos en casa de varios equipos. Por ejemplo, si el baloncesto profesional fue el deporte identificado en los medios de entrada anteriores (por ejemplo, como resultado de los bloques 604, 606 y 608), el sistema informático en el bloque 612 puede usar modelos de clasificación que se han entrenado cada uno con vídeo de juegos en casa de un equipo de baloncesto profesional diferente para identificar si los datos de entrada dados parecen ser similares a las imágenes de juegos en casa anteriores para cualquier equipo específico. En una realización, estas redes neuronales se pueden entrenar usando datos de vídeo, pero a continuación se pueden usar con datos de vídeo o datos de imagen como entrada. En una realización, el bloque 612 puede implementarse al menos en parte usando una red neuronal convolucional.
[0069] Como resultado de la combinación del bloque 610 y 612, el sistema informático puede determinar que los medios de entrada representan un cierto emparejamiento de equipos que juegan el deporte dado, así como una indicación de cuál de los dos equipos es el equipo local. Como se apreciará, esta determinación puede incluir la ponderación de los niveles de confianza y la comparación con un umbral, similar al descrito anteriormente con respecto a la identificación del deporte. Una vez que se completan los procedimientos de identificación del equipo, el sistema informático puede acceder a redes neuronales u otros modelos de aprendizaje automático que se han entrenado para identificar objetos asociados con el patrocinador o patrocinadores relevantes para el equipo o equipos dados y/o el lugar sede de residencia, a continuación puede proceder a la identificación del logotipo del patrocinador en los bloques 614-618. Aunque la detección del logotipo se ilustra en la Figura 6 como que se produce en tres bloques de muestras 614, 616 y 618, esto es solo con fines ilustrativos. En muchas realizaciones, puede haber sustancialmente más de tres modelos de identificación de logotipo de patrocinador usados.
[0070] Los bloques 614, 616 y 618 pueden representar cada uno la implementación de una red neuronal diferente u otro modelo de clasificación que se ha configurado para identificar si un logotipo de patrocinador dado está presente en los medios de entrada. Por ejemplo, el sistema informático puede almacenar, para al menos algunos equipos locales en cada deporte, una colección de clasificadores que han sido entrenados cada uno con un o varios logotipos de patrocinadores diferentes, donde los patrocinadores pueden ser aquellos que se sabe que se anuncian en asociación con juegos locales para el equipo dado identificado anteriormente. Los procedimientos de ejemplo para entrenar clasificadores para detectar logotipos de patrocinadores dados u otros objetos de interés se han descrito anteriormente, así como en la patente estadounidense de propiedad compartida n.° 9.613.296, titulada "Selecting a Set of Examplar Images for Use in an Automated Image Object Recognition System", que se incorpora en esta solicitud como referencia. Dado que la aplicación de modelos para todos los posibles patrocinadores o logotipos capaces de ser reconocidos por el sistema informático a los medios de entrada dados puede ser computacionalmente costosa, el sistema informático puede reducir significativamente el tiempo de cálculo necesario para realizar los bloques de identificación del logotipo del patrocinador como resultado de los bloques de identificación de deportes e identificación de equipos anteriores que sirven efectivamente como filtros para reducir qué modelos de clasificación de patrocinadores usar en los bloques 614-618. Por ejemplo, en una realización, el sistema informático puede almacenar información de logotipo y modelos de clasificación para los patrocinadores de muchos equipos diferentes a través de diferentes deportes, sin embargo, el sistema informático en el bloque 614-618 solo puede pasar los medios de entrada a aquellos modelos de clasificación que han sido entrenados para identificar logotipos de los patrocinadores para un solo equipo (el equipo local identificado anteriormente) o para solo dos equipos (los dos equipos identificados en el juego específico).
[0071] En algunas realizaciones, dos o más de las redes neuronales aplicadas en los bloques 614-618 pueden haber sido entrenadas usando diferentes arquitecturas de redes neuronales, pero con los mismos datos de entrenamiento. Se puede usar una suma ponderada u otro procedimiento conocido para determinar un resultado general basado en la aplicación de los múltiples modelos. Pueden emplearse diversas técnicas conocidas en los campos de la visión por ordenador y el procesamiento de imágenes en la formación o aplicación de los modelos. Por ejemplo, el sistema informático puede usar técnicas de correlación cruzada y/o una red neuronal con una red de propuesta de región para localizar un logotipo dentro de una imagen, tal como para determinar un cuadro delimitador alrededor del logotipo. El sistema informático puede aplicar técnicas de seguimiento a través de diferentes fotogramas de vídeo de entrada, tal como mediante un rastreador del resultado de correlación cruzada que se utiliza para rastrear el cuadro delimitador a través de diferentes fotogramas y volver a sembrar si el rastreador deja caer el logotipo diana en un fotograma dado.
[0072] En algunas realizaciones, la salida de las redes neuronales u otros modelos de clasificación usados en los bloques 614-618 puede ser tanto un logotipo como una fuente. Por ejemplo, la fuente puede representar la ubicación del logotipo identificado dentro de una escena del mundo real representada en los medios de entrada. Por lo tanto, un logotipo de patrocinador que se sabe que está tanto en un letrero de viga en una arena como también en una columna de sujeción de baloncesto en esa arena puede tener dos clases distintas que un modelo de clasificación puede ser entrenado para identificar (por ejemplo, una clase puede representarse como <columna de sujeción, logotipo!> y la otra como <vigas, logotipo1>).
[0073] Una vez que se identifican uno o más emparejamientos de logotipo y fuente en función de la salida de las redes neuronales en el bloque 619, el sistema informático puede proceder a los bloques de identificación de calidad de logotipo 620 y 622. En el bloque 620, el sistema informático puede estimar el desenfoque del logotipo en el medio de entrada (por ejemplo, determinar un porcentaje de desenfoque o, por el contrario, un porcentaje de claridad que estima cuán claramente puede ver el logotipo un ser humano que ve el medio de entrada). En el bloque 622, el sistema informático puede estimar la oclusión del logotipo. Por ejemplo, el sistema informático puede determinar un porcentaje del logotipo que no es visible en una imagen de entrada o en uno o más fotogramas de vídeo (por ejemplo, el logotipo puede estar parcialmente fuera de pantalla o parcialmente bloqueado por otro objeto en la imagen). El nombre del logotipo, la fuente, el porcentaje de estimación de desenfoque y el porcentaje de estimación de oclusión pueden a continuación ser utilizados por el sistema informático para producir un informe de medios en el bloque 630, y/o pueden utilizarse como entrada a una o más determinaciones de valor multimedia similares a las descritas anteriormente. Tal como se analizó anteriormente, el informe de medios puede incluir información para varios logotipos de patrocinadores diferentes, y puede basarse en los resultados de múltiples pasadas a través del procedimiento ilustrativo 600 utilizando diferentes medios de entrada. En una realización, el informe de medios puede identificar el juego dado (por ejemplo, identificar los dos equipos, y la ubicación y la fecha del juego), y puede incluir diversa información para cada secuencia de vídeo en la que se detectó un logotipo. Por ejemplo, para cada secuencia, el informe de medios puede identificar el o los logotipos representados en la secuencia, la fuente o ubicación del logotipo, el porcentaje de desenfoque del logotipo y el grado de oclusión, si lo hubiera.
[0074] En algunas realizaciones, el sistema informático puede usar procedimientos adicionales para mejorar o verificar las determinaciones realizadas en varios puntos en el procedimiento ilustrativo 600. Como ejemplo, los niveles de confianza para las identificaciones positivas de un equipo local dado basándose en el análisis de la imagen de entrada o los datos de vídeo pueden aumentarse basándose en los programas de equipo recuperados. Por ejemplo, si el sistema informático determina que un vídeo dado parece ser de un juego en casa de un equipo en particular en función del análisis de vídeo discutido anteriormente, el sistema informático puede recuperar el cronograma de ese equipo para determinar si el equipo dado tuvo un juego en casa (y potencialmente si fue contra un oponente reconocido en el vídeo) en la fecha de captura del vídeo. La fecha de captura del vídeo puede determinarse a partir de los metadatos de vídeo, el texto o la marca de tiempo de una publicación de red social que incluye el vídeo, a partir de la información de transmisión de televisión y/u otros procedimientos. Si el análisis de imagen o vídeo es capaz de identificar los dos equipos que juegan en el juego y la fecha de captura del vídeo, pero no tiene suficiente confianza con respecto a qué equipo es el equipo local, la información de programación del equipo puede ser suficiente en algunas realizaciones para determinar el equipo local si el oponente y la fecha coinciden con la programación.
[0075] En algunas realizaciones, para complementar y/o confirmar las determinaciones del nivel de confianza de los modelos de clasificación de imágenes y vídeo discutidos anteriormente, el sistema informático puede usar modelos de clasificación de texto aplicados al texto de una publicación o página de redes sociales en la que la imagen o vídeo está incluida o vinculada. Por ejemplo, un clasificador textual puede proporcionar una puntuación de confianza que indica cuán seguro está el modelo de que una publicación de redes sociales en particular se relaciona con un titular de derechos y/o patrocinador específico en función del texto de la publicación. Esta puntuación de confianza puede ponderarse y combinarse con una puntuación de confianza correspondiente determinada a partir de la propia imagen o vídeo, como se describió anteriormente.
[0076] En algunas realizaciones, para complementar y/o confirmar las determinaciones del nivel de confianza de los modelos de clasificación de imágenes y vídeo analizados anteriormente, el sistema informático puede usar otros datos y/o lógica suplementarios. Por ejemplo, la salida de un modelo de aprendizaje automático y/o clasificador para una imagen o vídeo particular puede ser una probabilidad del cuarenta por ciento de que un objeto particular, tal como una columna de sujeción de baloncesto, contenga el logotipo de un patrocinador particular. Uno o más bloques del procedimiento 600 pueden indicar que la imagen o vídeo particular es de un local sede conocido para un equipo deportivo particular. Por lo tanto, la lógica suplementaria puede complementar, confirmar o reemplazar la salida del modelo y/o clasificador de aprendizaje automático en función de los datos suplementarios de que un patrocinador particular está asociado con el objeto particular (por ejemplo, la columna de sujeción de baloncesto identificada por el modelo de aprendizaje automático).
[0077] En algunas realizaciones, la salida de ciertos modelos de clasificación de objetos se puede usar para determinar el punto focal de un fotograma dado. Por ejemplo, si una pelota o disco se identifica como un objeto en una imagen o fotograma dado, esta ubicación de la pelota o disco puede considerarse el punto focal de la imagen (por ejemplo, la ubicación de la pelota puede ser donde el espectador típico estaría enfocando cuando ve un juego de baloncesto). Los puntos focales pueden determinarse de otras maneras dependiendo del deporte, tal como analizando el movimiento de objetos a través de fotogramas y/o la agrupación de objetos en ciertas áreas para estimar dónde se concentra actualmente la "acción" en el juego. En algunas realizaciones, a un logotipo que aparece cerca del punto focal de una imagen o fotograma se le puede dar una puntuación más alta para fines de valoración de medios que uno que aparece lejos del punto focal (por ejemplo, se puede aplicar un peso a la puntuación en función de la proximidad del logotipo al punto focal del fotograma). En algunas realizaciones, si el punto focal no se identifica basándose en el reconocimiento de objetos, la mitad del fotograma puede usarse como el punto focal por defecto.
[0078] La Figura 7 es un diagrama de flujo ilustrativo para entrenar uno o más clasificadores o modelos de clasificación para identificar objetos específicos de interés en datos de vídeo. El procedimiento ilustrado se puede realizar mediante el sistema informático 302 para generar y almacenar clasificadores entrenados u otros modelos de clasificación o modelos de aprendizaje automático que a continuación pueden ser utilizados por el sistema informático para identificar objetos específicos o clases de objetos en datos de imagen o vídeo proporcionados posteriormente. El procedimiento ilustrado comienza con imágenes de entrada y/o vídeo que se reciben, recuperan o seleccionan del almacenamiento de datos de imagen y/o vídeo 702. Esta imagen y/o datos de vídeo pueden ser varios archivos de vídeo y/o archivos de imagen que se sabe que contienen o es probable que contengan objetos de interés con respecto a otros aspectos de la presente descripción. Por ejemplo, estos objetos pueden ser objetos de logotipo, otro patrocinio de marca o anuncios, objetos deportivos (como una pelota de baloncesto, una columna de sujeción de baloncesto, etc.) y/o cualquier otro objeto del mundo real o aumentado por ordenador que aparezca en datos de imagen o vídeo y que un usuario esté interesado en entrenar un modelo de clasificación para detectar. En realizaciones en las que los clasificadores se usarán para identificar objetos de interés en imágenes o vídeo que representan eventos deportivos del mundo real, puede ser deseable seleccionar los medios de entrada de entrenamiento para representar eventos deportivos del mundo real similares (por ejemplo, seleccionar imágenes del o de los objetos de interés en entornos del mundo real en lugar de entrenar los clasificadores con una imagen o vídeo limpio que represente solo el objeto de interés sin un entorno circundante representado).
[0079] Como ejemplo, si los clasificadores que se entrenan en la Figura 7 están destinados a su uso posterior en la identificación de logotipos de patrocinadores u oportunidades de patrocinio para juegos de baloncesto profesionales, los datos de entrenamiento pueden incluir una pluralidad de archivos de vídeo grabados a partir de transmisiones de televisión de juegos de baloncesto profesionales y/o imágenes grabadas por aficionados o vídeo de dichos juegos (tal como a partir de medios publicados en una red social). Se apreciará que el nivel de variedad en lo que se representa en las diferentes imágenes o archivos de vídeo proporcionados puede depender de cuánta variedad se puede esperar en la apariencia del o de los objetos de interés en diferentes imágenes o vídeo. Por ejemplo, si un objeto de interés para el que se entrenará un clasificador en la Figura 7 es el logotipo del patrocinador específico tal como aparece en un estandarte específico que cuelga en las vigas de una arena específica, los vídeos de entrenamiento pueden seleccionarse para que sean al menos principalmente vídeos de juegos de baloncesto en la arena dada. Si un clasificador será entrenado para identificar una clase de objetos que aparecen en muchas arenas diferentes con una apariencia potencialmente diferente en cada una (como entrenar un clasificador para identificar todas las instancias de la mesa de un anotador de baloncesto en cualquier arena dentro de una liga dada o para un deporte dado), los vídeos de entrenamiento pueden incluir imágenes de una variedad de juegos de equipos diferentes en una variedad de arenas diferentes.
[0080] Como se analizará a continuación, lo que se considera un objeto o clase discreta para los fines del entrenamiento en la Figura 7 puede ser al menos algo dependiente de la entrada de usuario. Por ejemplo, si una columna de sujeción de baloncesto con un logotipo de patrocinador impreso en la misma se considera que es un único objeto, dos objetos (por ejemplo, la propia columna de sujeción como un objeto, con otro objeto más pequeño dentro de su región delimitadora que representa el logotipo como un segundo objeto), o más de dos objetos (por ejemplo, cuadros delimitadores de objetos separados que se definen para cada uno de los múltiples logotipos que aparecen en la columna de sujeción) pueden depender de la entrada del usuario que se analiza a continuación. Por ejemplo, diferentes objetos o clases de objetos que diferentes clasificadores pueden entrenarse para identificar en una o más realizaciones podrían etiquetarse como "columna de sujeción de baloncesto", "columna de sujeción de baloncesto con cualquier logotipo de patrocinador", "columna de sujeción de baloncesto con el logotipo de la Compañía A", "logotipo de la Compañía A", "columna de sujeción de baloncesto de la Arena ABC", etc.
[0081] El sistema informático en la etapa (2) de la Figura 7 puede seleccionar fotogramas de muestra de interés a partir de los medios de entrada. En el caso de imágenes como entrada, no sería necesario seleccionar fotogramas de muestra, pero en el caso de vídeo es deseable minimizar el número de imágenes o fotogramas que se solicita que revise un usuario anotador en la etapa (3). Por consiguiente, el sistema informático puede seleccionar fotogramas de muestra a una cierta velocidad de muestreo que está predefinida en el sistema en función de un procedimiento de aprendizaje de sesiones de entrenamiento anteriores, proporcionado como entrada del usuario, y/o dependiente de la naturaleza del vídeo subyacente (por ejemplo, cuán rápido se espera que los objetos cambien de ubicación entre fotogramas en el vídeo dado). Como un ejemplo, la velocidad de muestreo puede ser de un segundo, de modo que para un archivo de vídeo dado, el sistema informático puede seleccionar fotogramas de muestra a intervalos de un segundo (por ejemplo, si el vídeo contiene 60 fotogramas por segundo, los fotogramas de muestra pueden seleccionarse como fotograma 1, fotograma 61, etc.)
[0082] En la etapa (3), el sistema informático puede generar una interfaz de usuario para su visualización a un usuario anotador (tal como un usuario que interactúa directamente con el sistema informático localmente o por el usuario que utiliza un dispositivo informático de cliente en comunicación con el sistema informático a través de una red). El usuario anotador puede ser un usuario que está asociado con los modelos de clasificación de entrenamiento y tiene la tarea de indicar dónde aparecen los objetos de interés para ese usuario o para otro individuo o entidad en los fotogramas de muestra de vídeo de entrenamiento. La interfaz de usuario puede mostrar un fotograma de muestra, permitir al usuario dibujar una región delimitadora (tal como usar un cursor o un gesto táctil para dibujar un rectángulo u otra forma) alrededor del objeto de interés, etiquetar el objeto de interés específico (tal como a partir de un menú de etiquetas o clases que el usuario ha establecido como los objetos para los que se están entrenando los clasificadores), y permitir al usuario pasar al siguiente fotograma de muestra cuando todos los objetos de interés en el fotograma dado estén etiquetados. Las regiones delimitadoras pueden almacenarse en el almacenamiento de datos 702, tal como almacenando una indicación del número de fotograma dado para el archivo de vídeo dado, definiendo las coordenadas de píxel cada región delimitadora seleccionada por el usuario, y la etiqueta de objeto o clase asociada con cada región delimitadora.
[0083] Una vez que el usuario anotador ha definido regiones delimitadoras para objetos de interés en los fotogramas de muestra de cada vídeo, el sistema informático puede aplicar rastreadores bidireccionales para intentar rastrear el movimiento de los objetos entre fotogramas de muestra sucesivos. Por ejemplo, si el usuario anotador definió un cuadro delimitador para un determinado objeto en el fotograma 1 de un vídeo dado y a continuación definió un cuadro delimitador en diferentes coordenadas para el mismo objeto en el fotograma 61, el sistema informático puede intentar rastrear el movimiento del objeto a través de cada uno de los fotogramas 2-60 y almacenar información estimada del cuadro delimitador para el objeto con respecto a cada uno de esos fotogramas. Por consiguiente, aunque el usuario anotador solo puede haber proporcionado información de anotación para 1/60 de los fotogramas de un vídeo dado, un porcentaje sustancialmente mayor de los fotogramas puede tener datos de anotación de objetos almacenados después de que se complete el procedimiento de seguimiento en la etapa (5).
[0084] A continuación, el sistema informático puede separar los datos de imagen y/o vídeo anotados en conjuntos de entrenamiento y prueba separados (no ilustrados). En un ejemplo, el 90 % de los archivos multimedia anotados se pueden usar como datos de entrenamiento y el 10 % se puede reservar como datos de prueba, mientras que se pueden emplear otras estrategias conocidas para definir conjuntos de prueba y entrenamiento en otras realizaciones. En la etapa (6), el sistema informático puede entrenar clasificadores para cada objeto de interés en función de los datos de anotación que marcan las representaciones del objeto de interés dado en las imágenes y/o vídeo de entrenamiento. Los procedimientos de entrenamiento de clasificadores u otros modelos de aprendizaje automático se han descrito con más detalle anteriormente. El rendimiento del o de los clasificadores resultantes puede determinarse a continuación, lo que puede incluir tanto comprobar la tasa de éxito en la identificación correcta del o de los objetos de interés en los datos de prueba de retirada, así como confirmar que la velocidad de rendimiento es aceptable.
[0085] Si las métricas de rendimiento caen por debajo de un nivel umbral, el sistema informático puede volver a muestrear los datos de vídeo y volver a la etapa (3) para recibir datos de anotación de usuario para los fotogramas recién muestreadas. Por ejemplo, si los fotogramas de muestra se seleccionaron previamente para ser el fotograma a intervalos de un segundo, el sistema informático puede seleccionar fotogramas de muestra adicionales o alternativas en los marcadores de medio segundo (por ejemplo, si los fotogramas 1 y 61 fueran dos fotogramas de muestra seleccionadas previamente, se pueden seleccionar nuevos fotogramas de muestra para incluir los fotogramas 31 y 91). En algunas realizaciones, el sistema informático puede presentar una recomendación basada en el rendimiento de los clasificadores de si (a) reutilizar los datos de fotograma de muestra anteriores, así como definir nuevas fotogramas o (b) descartar los datos de anotación de fotogramas de muestra anteriores y comenzar de nuevo con fotogramas de muestra de reemplazo. Una vez que el rendimiento del clasificador o clasificadores entrenados es aceptable, los modelos de clasificación entrenados pueden almacenarse para su uso posterior.
Ejemplos adicionales
[0086] Como ilustración adicional de las características implementadas por el sistema informático en ciertas realizaciones, considerar el análisis de vídeo de una transmisión de televisión de una carrera de autos. En una realización, el sistema informático puede determinar la exposición por cada fuente publicitaria basándose en características específicas de un objeto capturado en el vídeo. Por ejemplo, el sistema informático puede determinar que las mejores ubicaciones para la exposición de anuncios son logotipos colocados en el alerón trasero y el cono de la nariz de un automóvil de carreras en función de los factores descritos en esta solicitud (como en función de la posición y el análisis de claridad de los diversos logotipos que aparecen en el vídeo, entre otras consideraciones). Adicionalmente, el sistema informático puede determinar que una combinación específica de un diseño de automóvil y la colocación de calcomanías perjudica la visibilidad del logotipo de la calcomanía. Por ejemplo, basándose en el análisis de imágenes de un fotograma de vídeo que incluye un auto de carreras, el sistema informático puede determinar que un logotipo colocado en una superficie irregular en el alerón del coche hace que la visibilidad del logotipo sea pobre desde un ángulo de visión dado de la cámara que capturó el vídeo (tal como mediante el sistema informático que identifica que parte del alerón causa la oclusión parcial del logotipo).
[0087] El sistema informático puede determinar además, por ejemplo, que el metraje de vídeo capturado desde una cámara de casco a bordo que aparece ocasionalmente en la transmisión de televisión es un tipo de destaque subutilizado desde el punto de vista del patrocinio porque no hay marcas o logotipos que sean claramente visibles desde este ángulo de visión de la cámara. Esta información podría usarse para determinar, por ejemplo, que las calcomanías del patrocinador deben añadirse al lado del conductor y/o al frente de cualquier coche de carreras que tenga un conductor que lleve un casco a bordo de manera que optimice la visualización de los logotipos desde la cámara del casco a bordo (por ejemplo, usando esta información para elegir el ángulo y la posición de la calcomanía). En algunas de tales realizaciones, el sistema informático puede proporcionar datos de vídeo a un modelo de clasificación que ha sido entrenado para identificar objetos o partes de objetos específicos del mundo real (en el caso anterior, por ejemplo, partes discretas de un auto de carreras, tal como un capó delantero o la superficie superior del tablero de instrumentos interior), y a continuación puede determinar cuándo un objeto o parte de objeto se muestra de manera prominente en los datos de vídeo sin una marca o logotipo acompañante incluido en el objeto. Tal determinación puede indicar que el objeto identificado o parte de un objeto es una buena ubicación candidata para colocar un anuncio, y el sistema informático puede generar una recomendación a un titular de derechos que identifica la oportunidad de patrocinio. La recomendación puede incluir, por ejemplo, una indicación del ángulo recomendado para colocar la marca o el anuncio para que se vea mejor desde una ubicación de cámara particular de vídeo analizado por el sistema informático (por ejemplo, desde una cámara de casco a bordo, desde una cámara de prensa estacionaria en las gradas, etc.).
[0088] Cuando se genera un informe para un titular de derechos dado, tal como un propietario de un estadio o equipo deportivo, el sistema informático puede incluir un análisis de una tarjeta de tarifas de televisión existente con respecto a la propia generación del sistema informático de una tarjeta de tarifas "sociales". Por ejemplo, en función de las determinaciones del valor multimedia del sistema informático a partir del análisis de imágenes y vídeos de redes sociales, el sistema informático puede determinar que el valor multimedia realmente generado en la temporada anterior solo a partir de las redes sociales coincidió o excedió la tarjeta de tarifas de televisión previamente dada al patrocinador para esa temporada. Basándose en esta determinación, el sistema informático puede recomendar que el titular de los derechos duplique la tarjeta de tarifas para la próxima temporada con el fin de capturar el valor total del patrocinio cuando se consideran tanto las redes sociales como la exposición televisiva. En algunas realizaciones, el sistema informático puede determinar un porcentaje de contribución social, indicando la tasa "social" determinada por el sistema informático para un patrocinador dado como un porcentaje relativo a la tasa proporcionada previamente a ese patrocinador (tal como en una tarjeta de tarifas de televisión).
[0089] En algunas realizaciones, el sistema informático puede generar una o más interfaces de usuario que pueden considerarse para proporcionar un "panel de control" en tiempo real que un titular de derechos, patrocinador u otro usuario puede ver e interactuar durante un evento deportivo. Por ejemplo, un usuario puede ver el valor multimedia de uno o más anuncios de patrocinadores en tiempo real o casi en tiempo real durante una transmisión en vivo de un evento deportivo. El usuario puede ver adicional o alternativamente un flujo de publicaciones en redes sociales relevantes para el patrocinio casi en tiempo real a medida que el sistema informático identifica las publicaciones. En una realización, una interfaz de usuario puede incluir una transmisión de vídeo en vivo de un evento deportivo particular, con recubrimientos gráficos superpuestos sobre el vídeo. Estos recubrimientos pueden incluir, por ejemplo, cuadros delimitadores visuales alrededor de logotipos de patrocinador reconocidos por las técnicas anteriores, que pueden seguir el movimiento del logotipo de fotograma a fotograma, así como indicadores gráficos del valor multimedia para esa exposición. Por ejemplo, cuanto más tiempo esté en pantalla un logotipo en particular, una barra gráfica y/o un contador numérico pueden representar o indicar el valor en dólares que aumenta gradualmente de esa exposición de marca utilizando las técnicas anteriores.
[0090] En algunas realizaciones, la interfaz de usuario del tablero de instrumentos que incluye superposiciones gráficas incorporadas dentro o encima del flujo de vídeo puede incluir indicadores gráficos del valor multimedia para cada uno de los múltiples patrocinadores asociados con el evento deportivo. En la Figura 8 se ilustra un ejemplo. Como se muestra en la Figura 8, que puede ser un fotograma de muestra 800 de una transmisión aumentada de un evento deportivo, el sistema informático ha detectado dos logotipos (logotipo de SammyAir 802 y logotipo de Perfect Piggy 812), y el sistema informático ha aumentado el vídeo visualizado con cuadros delimitadores visuales 804 y 814 que rodean los logotipos detectados respectivos. Aunque se ilustran como cuadros delimitadores en la Figura 8, los logotipos de patrocinador detectados u otros anuncios detectados presentes en los datos de vídeo pueden marcarse de otras maneras en otras realizaciones. Por ejemplo, marcar un logotipo del patrocinador puede incluir superponer otra forma delimitadora visual alrededor del logotipo del patrocinador, un contorno o trazado de la forma o bordes exteriores del logotipo, cambiar un brillo o contraste del logotipo del patrocinador (por ejemplo, resaltar visualmente el logotipo detectado) y/u otras técnicas para atraer la atención del espectador hacia el logotipo. El fotograma de vídeo aumentado incluye además tres cuadros 820, 822 y 824 en la parte inferior derecha de la pantalla de la Figura 8, que pueden estar asociados cada uno con un patrocinador diferente y cada uno incluye dos barras y cantidades numéricas - (1) un tiempo transcurrido que un logotipo ha estado en pantalla en la transmisión, y (2) una cantidad de valor multimedia para esa exposición determinada por el sistema informático. Dicha interfaz de usuario puede presentarse para su visualización a un ejecutivo deportivo para un equipo dado, por ejemplo, durante una transmisión en vivo del juego de su equipo.
[0091] En el fotograma 800 de ejemplo ilustrado, el cuadro 824 puede presentarse como minimizado, sombreado o a un nivel de transparencia aumentado con respecto a los cuadros 820 y 822 para representar que el logotipo correspondiente ("Monty 's Money") no está actualmente en pantalla o en el fotograma. Por consiguiente, las barras de tiempo y valor y las cantidades numéricas para el cuadro 824 se pueden presentar como estáticas a lo largo de los siguientes segundos de vídeo, mientras que el tiempo y los valores en los cuadros 820 y 822 (que corresponden a los logotipos 802 y 812 que están actualmente en pantalla) se pueden animar o cambiar para reflejar el tiempo y valor adicionales para cada segundo u otro período de tiempo que el logotipo respectivo permanece visible. El sistema informático puede proporcionar una plataforma mediante la cual se presentan opciones para que el usuario cambie para ver diferentes juegos, o para ver las fuentes de medios sociales con información visualizada similar.
[0092] En una realización, con el fin de generar una visualización de vídeo aumentada tal como la ilustrada en la Figura 8, el sistema informático puede proporcionar al menos un primer fotograma de los datos de vídeo de streaming entrante a cada uno de una pluralidad de modelos de clasificación que están entrenados para identificar la representación de uno o más logotipos del patrocinador. El sistema informático puede identificar a continuación un logotipo del patrocinador dentro de al menos el primer fotograma basándose al menos en parte en la salida de uno o más de la pluralidad de modelos de clasificación. A continuación, el sistema puede rastrear una ubicación en el fotograma del logotipo del patrocinador a través de una pluralidad de fotogramas posteriores en los que se representa el logotipo del patrocinador. El sistema puede a continuación aumentar los datos de imagen en al menos la pluralidad de fotogramas posteriores para marcar visualmente el logotipo del patrocinador. El sistema puede determinar adicionalmente una duración de tiempo agregada en la que el logotipo del patrocinador se ha representado en los datos de vídeo, y determinar un valor multimedia agregado atribuible a la aparición del logotipo del patrocinador en los datos de vídeo basándose en cualquiera de las diversas estrategias analizadas en esta solicitud. En algunas realizaciones, el valor multimedia agregado visualizado puede basarse al menos en parte en clasificaciones en tiempo real o datos de audiencia asociados con la transmisión de los datos de vídeo mediante una red de televisión u otra red de transmisión (donde dichos datos pueden recibirse en tiempo real desde un servicio de medición de medios o análisis de medios) y/o basarse en la visualización de partes del contenido de vídeo en una o más redes sociales (detectadas por el sistema informático de diversas maneras descritas en esta solicitud).
Características adicionales para elementos multimedia de análisis automatizados para determinar el valor del patrocinio
[0093] En algunas realizaciones, se puede determinar un valor de patrocinio de medios que incluye la consideración del valor multimedia agregado de imágenes y/o vídeo de uno o más canales multimedia que se determina que incluyen la representación de un objeto patrocinado (por ejemplo, un logotipo de la empresa). Ejemplos de canales multimedia incluyen redes sociales, redes de transmisión (por ejemplo, una transmisión de televisión), redes multimedia de streaming (por ejemplo, un servicio de streaming de vídeo) y/o redes digitales. El valor determinado puede representar un equivalente de coste multimedia, que puede ser la cantidad de dinero que una empresa habría tenido que gastar para comprar un espacio publicitario aproximadamente equivalente en uno o más canales multimedia.
[0094] Los sistemas y procedimientos descritos en esta solicitud, tales como para la valoración de patrocinio de medios, pueden estar intrínsecamente vinculados a la tecnología informática porque tales soluciones pueden usar técnicas de visión por ordenador. Los sistemas que se describen en esta solicitud pueden usar técnicas de visión por ordenador que usan redes neuronales, clasificadores, aprendizaje automático y/o reconocimiento de objetos y se proporcionan con datos de imagen y/o vídeo como entrada (o se proporcionan con características derivadas mediante programación a partir de datos de imagen o vídeo). Además, la determinación de la valoración de patrocinio de medios puede estar intrínsecamente vinculada a la tecnología informática porque tales valoraciones pueden incluir el análisis de elementos que solo existen debido a la llegada de la tecnología informática, tales como elementos que se recuperan de servicios de redes sociales o servicios de redes de streaming.
[0095] Los sistemas y procedimientos descritos en esta solicitud, tales como para la valoración de patrocinio de medios, pueden mejorar la tecnología relacionada con ordenador. En algunas realizaciones, el sistema puede procesar miles o cientos de miles de elementos multimedia que pueden incluir grandes cantidades de datos (por ejemplo, gigabytes, terabytes o petabytes de datos). Las técnicas descritas en esta solicitud pueden identificar eficientemente objetos en los elementos multimedia para su valoración, tal como mediante el uso de algoritmos que clasifican los datos en fragmentos manejables para el procesamiento del reconocimiento de objetos. Por ejemplo, un algoritmo eficiente para el reconocimiento de objetos para la valoración del patrocinio puede clasificar primero el elemento multimedia para identificar una escena, deporte, equipo u otra información de identificación particular en el elemento multimedia que identifica además un subconjunto de clasificadores, tales como redes neuronales, para objetos de patrocinadores específicos. Sin dichos algoritmos de reconocimiento de objetos, los tiempos de procesamiento para el reconocimiento de objeciones pueden ser inaceptables o un sistema puede ser incapaz de identificar un objeto para la valoración del patrocinio por completo.
[0096] La Figura 9 es un diagrama de flujo de un procedimiento ilustrativo 900 que puede implementarse mediante un sistema informático, tal como el sistema 302, para determinar una valoración general del patrocinador basada en imágenes y/o vídeos que aparecen en uno o más elementos multimedia. En el bloque 902, el sistema puede recuperar elementos multimedia de uno o más canales multimedia. Los elementos multimedia pueden publicarse en uno o más servicios de redes multimedia, difundirse por una o más redes de transmisión, transmitirse por una o más redes multimedia y/o hacerse accesibles por una o más redes digitales. Los elementos multimedia recuperados, que se originan a partir de las redes de transmisión, pueden ser elementos multimedia que se transmiten por o a las redes de transmisión. En algunas realizaciones, el sistema puede comunicarse con y/o recuperar elementos multimedia de los uno o más canales multimedia a través de una API. En algunas realizaciones, la API (tal como una API para un servicio de red de redes sociales) permite al sistema consultar los uno o más canales multimedia. El sistema puede consultar la API con un parámetro de entrada, como una palabra clave, etiqueta o categoría, y/o para recuperar conjuntos de resultados de elementos multimedia.
[0097] En el bloque 904, el sistema puede identificar, a partir de los elementos multimedia recuperados, uno o más elementos multimedia que representan un objeto asociado con un patrocinador (por ejemplo, un logotipo u otro contenido visual destinado a funcionar como un anuncio para el patrocinador). La imagen o vídeo puede identificarse para incluir el objeto de interés basándose en los diversos procedimientos descritos en esta solicitud. El sistema puede identificar un elemento multimedia que representa un objeto del patrocinador asociado con un patrocinador donde el objeto del patrocinador se detecta en función de, al menos en parte, un modelo de aprendizaje automático en función de datos de imagen o datos de vídeo del elemento multimedia. El sistema puede proporcionar una característica del primer elemento multimedia como entrada a un clasificador asociado con uno o más patrocinadores. El clasificador puede entrenarse para identificar, basándose en la característica de entrada, un objeto de imagen diana asociado con uno de los uno o más patrocinadores. El clasificador se puede entrenar con una gran cantidad de datos de entrenamiento que incluyen muchos objetos de patrocinadores (por ejemplo, logotipos). En algunas realizaciones, el clasificador puede entrenarse con al menos algo de aprendizaje automático supervisado. En otras realizaciones, el clasificador puede entrenarse con al menos algo de aprendizaje automático no supervisado. El algoritmo de visión por ordenador usado por el sistema puede usar lógica de clasificación para reducir la escena, objeto, deporte, equipo u otra información de identificación aplicable en el elemento multimedia que identifica además un subconjunto de clasificadores para objetos de patrocinadores específicos. En algunas realizaciones, el sistema puede almacenar datos de clasificación de que un local sede o participante deportivo particular está asociado con uno o más patrocinadores. Por lo tanto, durante el procedimiento de visión por ordenador, si se determina que una imagen o vídeo es para un local sede o participante deportivo particular, a continuación el sistema puede aplicar los clasificadores que corresponden a patrocinadores que están asociados con el local sede o participante deportivo particular. Detalles adicionales con respecto a la identificación de objetos u otras características en imágenes o vídeo con visión por ordenador se describieron con más detalle anteriormente con respecto a la Figura 6.
[0098] A continuación, en el bloque 906, el sistema puede determinar un equivalente de costo multimedia del elemento multimedia en función de los datos de alcance y/o participación asociados con el elemento multimedia, que pueden ser accesibles a través de la fuente de canal multimedia respectiva del elemento multimedia. Como un ejemplo con respecto al contenido de red de transmisión en el que pueden comprarse anuncios, el coste de comprar un anuncio de 30 segundos puede multiplicarse por la cantidad de tiempo que la marca se visualizó en el vídeo, y ajustarse adicionalmente basándose en los números de audiencia reales cuando están disponibles. En situaciones en las que los números de audiencia reales o los datos de "alcance" están disponibles (como en un sitio web para compartir vídeos en el que el número de visualizaciones de páginas o visualizaciones de vídeos aparece en una página web o está disponible de otra manera), el número de visualizaciones que recibe una imagen o vídeo puede considerarse en la valoración del patrocinio. Adicional o alternativamente, se puede considerar la participación del usuario (tal como el número de usuarios que seleccionaron un enlace o URL asociado con una imagen o vídeo publicado en una red social u otra ubicación de red).
[0099] Por ejemplo, un equivalente de coste multimedia puede determinarse, en algunas realizaciones, basándose en una combinación de CPEE (Cost-Per-Engagement-Equivalent - coste por participación equivalente) y CPME (Cost-Per-Thousand-Equivalent - coste por mil equivalente) si un patrocinador dado comprara la exposición de medios que en cambio se obtuvo a través de otros medios (tales como usuarios que publican medios en redes sociales). Dependiendo de la realización y los datos disponibles, se puede usar un CPME promedio para la red en su conjunto (por ejemplo, el CPME promedio para anuncios en una red social específica), o se pueden usar datos de CPME más granulares basados en palabras clave. Para los elementos multimedia que no tienen métricas de alcance o datos de audiencia exactos, se puede aplicar un mayor peso a los números de participación. Algunos canales multimedia pueden proporcionar datos de alcance real (por ejemplo, datos con respecto al número de usuarios que de hecho vieron un elemento multimedia), mientras que otros pueden proporcionar esta información de manera más selectiva, tal como restringiendo dicha información al propietario de la cuenta del elemento multimedia. Por consiguiente, en algunas realizaciones, las cuentas que son propiedad del patrocinador o su afiliado (que puede denominarse en esta solicitud cuenta "propiedad y operada" del patrocinador) pueden tener datos de alcance reales disponibles, mientras que medios similares del mismo evento que es publicado por un tercero pueden no tener datos de alcance reales disponibles. En un ejemplo, se puede aplicar una fórmula de la siguiente manera:
Coste de medios equivalente = ([Participaciones * CPEE] * w-i) ([Alcance * CPME] * W2).
[0100] Al aplicar la fórmula anterior para una cuenta no propiedad y operada o donde los datos de alcance reales no están disponibles o no son confiables, la ponderación wi con respecto a la participación puede establecerse relativamente alta (como 90 % o 0,9), mientras que la ponderación w2 con respecto al alcance puede establecerse relativamente baja (como 10 % o 0,1). Por ejemplo, un patrocinador puede estar más interesado en el número de usuarios que realmente vieron el objeto representado en el elemento multimedia, pero el sistema puede necesitar estimar este número en función de "me gusta", respuestas, números de clics u otros números de participación como un indicador cuando los números de visualizaciones no están disponibles o no son confiables. Como se describe en esta solicitud, el porcentaje o los valores multimedia totales atribuibles a diferentes conjuntos o tipos de cuentas se pueden determinar y mostrar a un usuario. Por ejemplo, se puede determinar un primer valor para cuentas "propias y operadas", y otro para cuentas no "propias y operadas". Por ejemplo, un patrocinador puede estar interesado en saber que la compartición orgánica de un videoclip en las redes sociales representó un cierto porcentaje o valor en dólares del costo equivalente total de los medios, a diferencia de las visualizaciones de las redes sociales que el propio patrocinador publicó para que las vieran los usuarios que ya seguían o se suscribían a la(s) cuenta(s) de redes sociales del propietario de la marca.
[0101] Una variación de la fórmula equivalente de coste multimedia anterior para un vídeo alojado en un servicio de uso compartido de vídeo puede ser, por ejemplo:
Equivalente de coste multimedia = (Visualizaciones * [Coste de red por Visualización] * [Peso de alcance] * [Equivalente de coste de 30 segundos]) (Participación* [Coste de red por participación] * [Peso de participación]).
[0102] En algunas realizaciones, el sistema puede determinar el equivalente de coste multimedia basándose, al menos en parte, en datos asociados con un canal multimedia por el que se ha distribuido el artículo multimedia. Los datos de ejemplo pueden incluir una cantidad de interacciones con el elemento multimedia o una cantidad de comparaciones del elemento multimedia. El sistema puede determinar el equivalente de coste multimedia en función de, al menos en parte, una cantidad de participaciones con el elemento multimedia, un equivalente de coste por participación para el elemento multimedia, una cantidad de visualizaciones o comparticiones del elemento multimedia y un equivalente de coste por mil para el elemento multimedia. El sistema puede determinar el equivalente de coste multimedia calculando un primer coste a partir de (i) una cantidad de participaciones con un elemento multimedia y (ii) un coste por equivalente de participación para el elemento multimedia; calcular un segundo coste a partir de (i) una cantidad de visualizaciones o comparticiones del elemento multimedia y (ii) un coste por mil equivalente para el elemento multimedia; y calcular un tercer coste combinando el primer coste y el segundo coste. El sistema puede determinar el equivalente de coste multimedia en función de, al menos en parte, una cantidad de participaciones con el elemento multimedia, un coste de red por equivalente de participación para el elemento multimedia, una cantidad de visualizaciones o comparticiones del elemento multimedia y un coste de red por visualizaciones para el elemento multimedia. El sistema puede determinar el equivalente de coste multimedia calculando un primer coste a partir de (i) una cantidad de participaciones con un elemento multimedia y (ii) un coste de red por equivalente de participación para el elemento multimedia; calcular un segundo coste a partir de (i) una cantidad de visualizaciones o comparticiones del elemento multimedia y (ii) un coste de red por visualizaciones para el elemento multimedia; y calcular un tercer coste combinando el primer coste y el segundo coste.
[0103] Una vez que se determina un coste multimedia equivalente para un elemento multimedia dado (tal como para una publicación en una red social o una transmisión de televisión que representa el objeto del patrocinador), el porcentaje del coste multimedia total equivalente para atribuir a un patrocinador dado puede determinarse en el bloque 908. En algunas realizaciones, el porcentaje a aplicar al coste multimedia total equivalente puede correlacionarse generalmente con la prominencia del objeto del patrocinador en la imagen, vídeo u otros medios. Este porcentaje de atribución para una foto o vídeo dado puede basarse en diversos factores, tales como tamaño, claridad, duración, número de apariciones, número de otros logotipos y posición del objeto del patrocinador en relación con la imagen o vídeo completo. En algunas realizaciones, determinar el porcentaje puede incluir calcular al menos uno de: un tamaño del objeto del patrocinador en el elemento multimedia con respecto a un fotograma del primer elemento multimedia; una claridad del objeto del patrocinador en el elemento multimedia con respecto a un objeto de referencia; una duración del objeto del patrocinador en el elemento multimedia con respecto a una duración total del elemento multimedia; o una posición del objeto del patrocinador en el elemento multimedia con respecto a un objeto de referencia en un fotograma de referencia.
[0104] El sistema puede calcular adicionalmente el porcentaje usando una o más de las siguientes técnicas, tal como usando técnicas de puntuación de visión por ordenador. Las características de la imagen o vídeo, tales como un tamaño, claridad, duración o posición del objeto del patrocinador u otros objetos de patrocinadores en el elemento multimedia, se pueden determinar basándose en un análisis automatizado de los datos de imagen o datos de vídeo del elemento multimedia. El sistema puede determinar un tamaño del objeto del patrocinador (en una medición de altura y ancho tal como una altura de píxel y un ancho de píxel) en el elemento multimedia en relación con un fotograma del primer elemento multimedia, donde el fotograma incluye una medición de altura y ancho (tal como otra altura de píxel y un ancho de píxel). Un procedimiento para determinar el porcentaje basado en el tamaño del objeto del patrocinador puede incluir determinar una relación de las mediciones del objeto del patrocinador con respecto a las mediciones del fotograma del elemento multimedia. El sistema puede determinar la claridad del objeto del patrocinador en el elemento multimedia con respecto a un objeto de referencia, tal como una foto de archivo. Un objeto de referencia puede ser una representación visual de un particular con una claridad casi óptima. Un procedimiento para determinar el porcentaje en base a la claridad puede incluir: recuperar un objeto de referencia que corresponde al objeto del patrocinador en el elemento multimedia, donde el objeto de referencia es una presentación casi óptima del objeto del patrocinador; y comparar el objeto de referencia con el objeto del patrocinador en el elemento multimedia, donde la comparación puede incluir que el sistema use visión por ordenador y/o clasificadores para emitir una correspondencia de grado entre una imagen del objeto de referencia y la imagen del objeto del patrocinador en el elemento multimedia. Un procedimiento para determinar el porcentaje en base a la duración del objeto en el elemento multimedia en relación con una duración total del elemento multimedia puede incluir: calcular una duración de tiempo en la que el objeto del patrocinador está presente en el elemento multimedia; calcular o recuperar una duración total del elemento multimedia; y determinar una relación entre (i) la duración de tiempo que el objeto del patrocinador estuvo presente en el elemento multimedia y (ii) la duración total del elemento multimedia.
[0105] En algunas realizaciones, un procedimiento para determinar el porcentaje puede incluir una deducción basada en el tiempo. Una deducción basada en el tiempo para un vídeo puede tener en cuenta la duración total del vídeo, la probabilidad de que las partes de un vídeo que el usuario puede ver (por ejemplo, los usuarios pueden tender a ver el comienzo de un vídeo y no el final), y/o la probabilidad de cuánto tiempo un usuario vería todo el vídeo. Por ejemplo, si un vídeo tiene una duración de cinco minutos y tiene 100 visualizaciones, la probabilidad de que los 100 espectadores hayan visto los cinco minutos completos puede ser muy pequeña. Por lo tanto, el sistema puede colocar una deducción en el equivalente de costo multimedia basado en el tiempo real en que aparece un objeto del patrocinador dentro del vídeo. Por ejemplo, un objeto del patrocinador que se ve dentro de los primeros 30 segundos puede recibir el 100 % del valor equivalente de coste multimedia, pero si el objeto del patrocinador solo aparece durante los segundos 4:25-4:55, a continuación el valor porcentual puede ser el 5 % del valor equivalente de coste. Esto se puede rastrear a través de un algoritmo de puntuación de visión por ordenador que puede realizar un seguimiento de cada fotograma de exposición dentro de un vídeo (por ejemplo, cada fotograma de un vídeo que representa el objeto del patrocinador) y puede identificar dónde está ese fotograma en comparación con la duración de todo el vídeo. El procedimiento de deducción basado en el tiempo para determinar el porcentaje puede incluir además: recuperar un porcentaje predeterminado para la deducción basada en el tiempo (por ejemplo, 100 %); identificar una o más posiciones de reproducción del objeto del patrocinador en el primer elemento multimedia; identificar, a partir de las una o más posiciones de reproducción, una primera aparición cronológica del objeto del patrocinador en el primer elemento multimedia (por ejemplo, la primera vez que aparece un objeto del patrocinador podría ser durante los segundos 4:25-4:55 de un vídeo); calcular un porcentaje ajustado (por ejemplo, 5 %) para la deducción basada en el tiempo a partir del porcentaje por defecto, la primera aparición cronológica y una duración total del primer elemento multimedia (por ejemplo, un vídeo de cinco minutos de duración). El ejemplo de 4:25-4:55 / 5 % descrito anteriormente es una aplicación de la deducción basada en el tiempo. Por lo tanto, el porcentaje ajustado del equivalente de coste multimedia puede ser mayor cuando la primera aparición del objeto del patrocinador está más cerca del final del elemento multimedia.
[0106] En algunas realizaciones, un procedimiento para determinar el porcentaje puede incluir un cálculo de prominencia. El cálculo de la prominencia puede representar la diferencia entre un objeto del patrocinador que aparece físicamente en el evento deportivo en sí (por ejemplo, alguien físicamente en el evento deportivo lo vería) frente a uno que se superpone digitalmente en el vídeo (solo alguien que ve el vídeo o mira una foto lo vería). El procedimiento de cálculo de prominencia puede incluir la aplicación de técnicas de visión por ordenador para intentar determinar uno o más objetos (tal como un intento de determinar uno o más objetos físicos en un local sede que incluye columnas de sujeción de baloncesto, postes de meta de fútbol americano, túneles y otras áreas para presentar información de patrocinador) en un elemento multimedia. Sin embargo, si un objeto físico particular no se puede identificar con respecto al objeto del patrocinador determinado en el elemento multimedia, a continuación el procedimiento de cálculo de prominencia puede aumentar la probabilidad de que el objeto del patrocinador sea una superposición digital en el elemento multimedia ya que no se podría identificar un objeto físico que contenga el objeto del patrocinador. Otro procedimiento de cálculo de prominencia puede incluir: detectar que el objeto del patrocinador está en el elemento multimedia usando técnicas de visión por ordenador y/o procesamiento de clasificador; detectar que el objeto del patrocinador está en el elemento multimedia usando técnicas de visión proporcionar una segunda característica del elemento multimedia como entrada a un segundo clasificador asociado con uno o más objetos de patrocinadores, donde el segundo clasificador está entrenado para emitir una probabilidad de que el objeto del patrocinador en el elemento multimedia corresponda a un objeto físico en un local sede o el objeto del patrocinador corresponde a una superposición digital en una primera imagen o vídeo del local sede del elemento multimedia. En algunas realizaciones, el porcentaje de prominencia puede ser mayor si hay una determinación de que el objeto del patrocinador es probablemente una superposición digital, ya que el objeto del patrocinador puede ser más fácilmente reconocible por los espectadores en lugar de un objeto del patrocinador que está en el fondo físico de un vídeo o foto, tal como un letrero físico. Los procedimientos adicionales para detectar la prominencia y/o determinar un porcentaje de prominencia se describen en esta invención.
[0107] Una vez que se determina la atribución porcentual, la valoración general del patrocinador se puede determinar en el bloque 910. Por ejemplo, si se determina que el equivalente de costo multimedia en el bloque 906 es de $ 10.000, y se determina que el porcentaje a atribuir al objeto/patrocinador dado en el bloque 908 es del 50 %, se puede determinar que la valoración general del patrocinador para el patrocinador dado es de $ 5.000 en el bloque 910 (es decir, $ 10.000 multiplicado por un descuento de 0,5 sobre el valor total). Además, el sistema puede calcular una valoración global del patrocinador para un único elemento multimedia o para múltiples elementos multimedia. Por ejemplo, muchos elementos multimedia (por ejemplo, cientos o miles) relacionados con un patrocinador particular pueden procesarse mediante el procedimiento 900 y la valoración general del patrocinador puede incluir un valor agregado de la equivalencia de costos de medios calculada y los porcentajes correspondientes. Además, el sistema puede calcular una valoración global del patrocinador que incluye elementos multimedia de múltiples canales multimedia, tales como servicios de redes multimedia sociales, redes de transmisión, redes multimedia de streaming y/o redes digitales.
[0108] En algunas realizaciones, el sistema puede presentar la valoración global del patrocinador y/u otros datos relacionados en un informe o una interfaz de usuario. Se describen informes o interfaces de usuario adicionales con más detalle en esta solicitud, tal como con respecto a las Figuras 5A, 5B y 8. El sistema puede generar una interfaz o informe de usuario que incluye la valoración global del patrocinador, una primera valoración asociada con un patrocinador para una primera red de redes sociales, una segunda valoración asociada con el patrocinador para una segunda red de transmisión, y/o una o más valoraciones adicionales asociadas con el patrocinador para canales multimedia adicionales. En la interfaz o informe de usuario, para cada una de la primera red social, la segunda red de transmisión y/o el otro canal multimedia, la interfaz o informe de usuario puede incluir además al menos uno de un volumen, un número de impresiones o un número de participaciones. El sistema puede generar una interfaz de usuario o informe que incluye, para cada uno de una pluralidad de objetos (tales como un objeto físico como un muñeco bobblehead o una columna de sujeción) asociados con el patrocinador que se han identificado en datos de imagen o datos de vídeo de elementos multimedia, al menos uno o más de: un número de publicaciones, una estimación de alcance, un número de participaciones o una valoración de elementos multimedia.
Características adicionales para un sistema de intercambio dinámico de patrocinio
[0109] Los aspectos de la presente descripción se refieren a un sistema de intercambio dinámico de patrocinio. Por ejemplo, el espacio publicitario dentro de un local sede, como una arena, se puede vender como un elemento de un paquete de patrocinio más grande para un titular de derechos determinado antes del comienzo de un período de patrocinio, como antes del comienzo de una temporada. Los espacios publicitarios pueden incluir exhibiciones estáticas (por ejemplo, un túnel, un reloj de tiro o un piso de la arena) o señalización dinámica. La señalización dinámica de ejemplo incluye dispositivos de visualización en rotación (por ejemplo, un dispositivo LED que puede cambiar anuncios bajo demanda o en base a intervalos establecidos) y espacios de marcadores de posición donde se puede insertar un anuncio digital en el espacio (por ejemplo, una pantalla verde). Dispositivos de visualización LED se pueden vender durante períodos de tiempo, como incrementos de treinta segundos. Por lo tanto, se puede garantizar al patrocinador la cantidad de tiempo de publicidad en la señalización dinámica, tal como durante treinta segundos para cada evento deportivo o para cada evento deportivo de una temporada. En este modelo de publicidad tradicional puede no haber lógica para cuando a cada patrocinador se le da su tiempo asignado. Esto puede esperarse en un entorno de transmisión de televisión tradicional donde el tamaño de la audiencia puede no fluctuar mucho y puede no afectar significativamente el valor multimedia de un patrocinador (por ejemplo, la audiencia de un evento deportivo en vivo particular puede ser de 450.000 y puede no fluctuar mucho durante el evento deportivo). Sin embargo, los patrones de consumo de contenido por parte de los espectadores (por ejemplo, como el consumo de contenido a través de redes sociales y/o redes de streaming) han comenzado a variar enormemente, lo que parece ser una tendencia creciente, especialmente entre las generaciones más jóvenes y los espectadores más jóvenes. Por ejemplo, un evento deportivo atractivo puede propagarse rápidamente a través de las redes sociales y puede obtener un gran número de visualizaciones y/o participaciones (por ejemplo, millones de visualizaciones y/o participaciones) en solo horas. Por consiguiente, un sistema de tiempo real o cercano puede asignar ventajosamente el control de la señalización dinámica entre un grupo de patrocinadores y titulares de derechos en un sistema de intercambio electrónico. El sistema de intercambio puede permitir a los patrocinadores y/o titulares de derechos ofertar de manera eficiente en oportunidades de publicidad o aceptar dichas ofertas durante eventos deportivos en vivo o puede implementar reglas de oferta automática establecidas por los patrocinadores. En algunas realizaciones, las reglas descritas en esta solicitud pueden identificar programáticamente momentos en un evento deportivo que es probable que se compartan o representen en gran volumen en uno o más canales multimedia, por ejemplo, un destaque "viral". Los sistemas de intercambio, patrocinadores o titulares de derechos pueden generar dinámicamente valoraciones y/o valores de oferta para las oportunidades de señalización basadas en eventos del mundo real.
[0110] Los sistemas y procedimientos descritos en esta solicitud, tales como para la asignación dinámica de oportunidades de señalización en ubicaciones físicas, pueden mejorar la tecnología relacionada con ordenador. En algunas realizaciones, los sistemas de señalización tradicionales muestran mensajes de patrocinador particulares en momentos particulares de acuerdo con un cronograma predeterminado en el que el cronograma puede establecerse con mucha antelación a un evento deportivo y/o sin la capacidad de modificar el cronograma durante el evento deportivo en vivo. Por lo tanto, las reglas automáticas descritas en esta solicitud pueden mejorar la asignación eficiente de asignaciones de señalización entre patrocinadores y titulares de derechos y/o pueden hacer que la señalización dinámica (tal como dispositivos de visualización) presente diferentes datos de patrocinio visual. Además, el sistema de intercambio entre titulares de derechos y patrocinadores, que incluye el sistema de intercambio de derechos de señalización dinámica en el sistema de intercambio para la consideración de los patrocinadores, puede basarse en información que incluye la audiencia esperada en diferentes canales multimedia y/o en valoraciones generales de los medios que pueden ser accesibles para los titulares de derechos y patrocinadores. Como se describe en esta solicitud, las valoraciones de medios globales pueden calcularse basándose en técnicas de visión por ordenador que pueden estar inherentemente vinculadas a la tecnología informática.
[0111] En algunas realizaciones, los sistemas de titulares de derechos pueden usar el sistema de intercambio para gestionar mejor el ritmo de las campañas de patrocinio. Por ejemplo, un patrocinador en particular puede haber pagado cinco millones de dólares por noventa segundos de un dispositivo de visualización LED de túnel durante toda la temporada, pero el patrocinador solo puede haber recibido aproximadamente un millón de dólares de valor mediático para la mitad de la temporada. Por lo tanto, el titular de los derechos podría darle al patrocinador más tiempo en la señalización dinámica en la ubicación física o darle acceso al patrocinador a oportunidades altamente valoradas para aumentar las posibilidades de que el patrocinador se beneficie de un mayor valor mediático de un punto destacado convincente que gane popularidad en uno o más canales multimedia, como por ejemplo, volviéndose "viral".
[0112] La Figura 10 es un diagrama de bloques de un sistema de intercambio para la asignación de señalización dinámica en una o más ubicaciones físicas. El entorno de red 1030 puede incluir una red 336, un sistema de intercambio 1000, sistemas de patrocinio 1014, sistemas de titular de derechos 1012, sistemas de locales sede 1016, canales multimedia 1020, proveedores de datos históricos 1018 y proveedores de datos de eventos 1022. El sistema de intercambio 1000 puede facilitar el inventario coincidente de señalización dinámica de los sistemas de titulares de derechos 1012 con solicitudes de los sistemas patrocinadores 1014 para señalización dinámica. Una vez emparejado, el sistema de intercambio 1000 y/o los sistemas de derechos anteriores 1012 pueden transmitir mensajes a los sistemas de local sede 1016 que controlan la señalización dinámica en ubicaciones físicas respectivas.
[0113] El sistema de intercambio 1000 puede incluir un servicio de valoración 1004, un servicio de visión por ordenador 1002, un servicio de sistema de intercambio 1006, un almacenamiento de datos de clasificador 330, un almacenamiento de datos de vídeo/imagen 332, un almacenamiento de datos históricos 1008 y un almacenamiento de datos de local sede 1010. El sistema de intercambio 1000 puede recuperar datos históricos, como se describe a continuación, de los proveedores de datos históricos 1018. Los datos históricos se pueden almacenar en el almacenamiento de datos históricos 1008 del sistema de intercambio 1000. El sistema de intercambio 1000 puede recuperar datos de eventos, como se describe a continuación, de los proveedores de datos de eventos 1022. El sistema de intercambio 1000 puede almacenar datos de inventario con respecto a la señalización dinámica del titular de los derechos en el almacenamiento de datos del local sede 1010. Durante uno o más eventos deportivos, el servicio de valoración 1004 puede generar dinámicamente valoraciones u ofertas para los segmentos de tiempo de la señalización dinámica descrita a continuación. En algunas realizaciones, las valoraciones corresponden a un precio mínimo para el segmento de tiempo. El servicio de valoración 1004 puede usar los datos históricos y/o los datos de eventos para fijar el precio de los segmentos de tiempo. En algunas realizaciones, el servicio de valoración 1004 puede comunicarse con el servicio de visión por ordenador 1002 para recibir datos de reconocimiento de objetos y/o la salida de técnicas de visión por ordenador. El servicio de visión por ordenador 1002 puede usar las técnicas de visión por ordenador descritas en esta solicitud para procesar datos de imagen o vídeo de los canales multimedia 1020. El servicio de visión por ordenador 1002 puede comunicarse con el almacenamiento de datos de clasificador 330, el almacenamiento de datos de vídeo/imagen 332 y/o los canales multimedia 1020. El servicio de valoración 1004 puede usar los datos de reconocimiento de objetos y/o la salida de técnicas de visión por ordenador para generar valoraciones, como se describe en esta invención. Aunque no se muestra en la Figura 1, en algunas realizaciones, los componentes del sistema de intercambio, tales como el servicio de valoración 1004, pueden implementarse por los sistemas patrocinadores 1014 o los sistemas de titulares de derechos 1012. El servicio de sistema de intercambio 1006 puede publicar los datos de valoración generados en los sistemas patrocinadores 1014 y/o los sistemas de titulares de derechos 1012.
[0114] La Figura 11 es un diagrama de flujo de un procedimiento ilustrativo 1100 que puede implementarse mediante un sistema informático, tal como el sistema 302 o el sistema 1000, para implementar un sistema de intercambio para controlar dinámicamente la señalización dinámica en una ubicación física, tal como un local sede. El sistema de intercambio puede permitir a los patrocinadores y titulares de derechos comprar y vender segmentos de tiempo para la adquisición para presentar datos de patrocinio en la señalización dinámica (como dispositivos de visualización) en una ubicación física. Un segmento de tiempo de ejemplo puede corresponder a un intervalo, tal como un segmento de treinta segundos o un segmento de un minuto, y/o puede incluir un tiempo de inicio y un tiempo de finalización. Por lo tanto, un sistema de titular de derechos puede mantener un inventario de segmentos de tiempo para señalización dinámica en una ubicación física donde al menos algunos de los segmentos de tiempo pueden no asignarse a un patrocinador (como al comienzo de un evento deportivo) y al menos algunos de los segmentos de tiempo pueden asignarse y/o adquirirse dinámicamente por los patrocinadores durante el evento deportivo en vivo, lo que hace que la señalización dinámica presente datos de patrocinio visual durante el evento deportivo en vivo.
[0115] En algunas realizaciones, en lugar de un dispositivo de visualización, la ubicación física puede incluir áreas de marcadores de posición donde los datos de patrocinio visual digital se pueden proyectar virtualmente sobre las áreas de marcadores de posición en una transmisión en vivo del evento deportivo, de tal manera que una persona que asiste al evento deportivo puede no ver los datos de patrocinio virtualmente proyectados, pero una persona que ve la transmisión podría ver los datos de patrocinio virtualmente proyectados. Por consiguiente, se podrían presentar diferentes datos de patrocinio visual en las áreas de marcadores de posición simultáneamente dependiendo de la lógica de personalización. Por ejemplo, los segmentos de tiempo virtuales podrían venderse regionalmente de tal manera que un primer patrocinador podría proyectar visualmente sus datos de patrocinio en el área de marcadores de posición a una primera región de transmisión donde se muestra el evento deportivo, y un segundo patrocinador podría proyectar visualmente diferentes datos de patrocinio en la misma área de marcadores de posición pero a una segunda región de transmisión que es diferente de la primera región de transmisión.
[0116] En el bloque 1102, el sistema puede recuperar datos históricos asociados con un evento deportivo. En algunas realizaciones, los datos históricos pueden recuperarse de uno o más proveedores de datos históricos. Los proveedores de datos históricos incluyen bases de datos de deportes que incluyen datos deportivos tales como estadísticas, listas, datos de programación, registros de juegos, datos de equipos, datos de participantes (por ejemplo, datos de jugadores), premios, registros, líderes, puntuaciones, títulos, posiciones y/u otra información. La información adicional con respecto a los datos históricos se describe con más detalle a continuación con respecto a la Figura 12.
[0117] En el bloque 1104, el sistema recupera los datos de evento asociados con el evento deportivo. Los datos del evento pueden representar un estado del evento deportivo en tiempo real o casi en tiempo real. El sistema puede recuperar datos de eventos de un proveedor de datos de eventos. El proveedor de datos de eventos puede incluir una fuente de datos de deportes en vivo que puede incluir una API para recuperar datos en vivo con respecto a un evento deportivo. Los datos de eventos de ejemplo incluyen uno o más valores métricos para un evento deportivo (por ejemplo, una puntuación, faltas, jonrones, penalizaciones, etc.), uno o más valores de tiempo asociados con el evento deportivo (por ejemplo, una hora o tiempo actual restante en el evento deportivo), un estado del evento deportivo (por ejemplo, un tiempo pedido, descanso, intervalo, cuarto, asalto, entrada o jugada en vivo), uno o más participantes en el evento deportivo, uno o más valores métricos para un participante particular y/o uno o más valores métricos asociados con la ubicación física (por ejemplo, el local sede) donde se lleva a cabo el evento deportivo (por ejemplo, un nivel de ruido o número de asistencia en la ubicación física). En algunas realizaciones, los datos de eventos pueden recuperarse de un servicio de red de redes sociales. Los datos de eventos de ejemplo de un servicio de red de redes sociales incluyen datos de tendencias, tales como etiquetas o palabras clave que son tendencias en publicaciones de redes sociales dentro de un período de tiempo umbral desde un momento del evento deportivo. En algunas realizaciones, las técnicas de visión por ordenador descritas en esta invención se pueden usar para determinar dinámicamente datos de eventos asociados con un evento deportivo en tiempo real o casi tiempo en base a la imagen o vídeo del evento deportivo.
[0118] En el bloque 1106, el sistema genera una valoración para un segmento de tiempo a partir de los datos históricos y/o los datos de eventos. Por ejemplo, el sistema de intercambio puede generar una valoración para un segmento de tiempo. En otras realizaciones, un sistema de titular de derechos o un sistema de patrocinador pueden generar la valoración para el segmento de tiempo. Adicional o alternativamente, el sistema de intercambio puede aceptar valoraciones manuales, tales como pujas u ofertas recibidas de un usuario a través de entrada de usuario. Como se describe en esta solicitud, el sistema de intercambio puede aplicar una o más reglas para generar una valoración para el segmento de tiempo donde la una o más reglas pueden usar los datos históricos y/o datos de eventos para valorar el segmento de tiempo.
[0119] Un algoritmo para generar una valoración para un segmento de tiempo puede incluir seleccionar un valor base para un segmento de tiempo. Por ejemplo, un segmento de tiempo para un momento particular de la temporada, evento, hora del evento deportivo (por ejemplo, lunes por la noche, sábado por la noche, frente a domingo por la mañana) puede tener un valor de partida base. El sistema puede generar datos acumulativos actuales a partir de datos históricos iniciales y datos de eventos. Por ejemplo, el sistema puede determinar un número actual de jonrones para un jugador particular en una temporada añadiendo los jonrones de un jugador en una temporada (datos históricos) a los jonrones del jugador en el evento deportivo (datos del evento). El sistema puede aplicar una regla a los datos acumulados actuales para determinar si se satisface la regla. En el ejemplo de jonrón, la regla puede incluir una lógica tal como: jonrones_por temporada para_jugador x >= (jonrón_registro_por_temporada - umbraLcarreras), que puede permitir que el sistema determine si un jugador particular está cerca de un récord de jonrones. Si se satisface una regla, a continuación se puede aumentar el valor base para el segmento de tiempo. En otras realizaciones, si se satisface una regla, a continuación se puede disminuir el valor base para el segmento de tiempo. En algunas realizaciones, el delta para el ajuste al valor base puede ser un valor predeterminado para todos los segmentos de tiempo, un valor predeterminado para la regla particular o un valor determinado dinámicamente.
[0120] Algoritmos de ejemplo adicionales para generar una valoración o una oferta para un segmento de tiempo pueden basarse en el procesamiento de reglas de al menos uno de datos históricos o datos de eventos. El sistema puede determinar que una regla es satisfecha por al menos uno de datos históricos o datos de eventos. Por ejemplo, si un equipo o jugador está clasificado dentro de un umbral, la valoración o un valor de oferta puede aumentarse. Como otro ejemplo, si un valor métrico (por ejemplo, una puntuación o un nivel de decibelios en el evento deportivo) o un valor de tiempo está dentro de un umbral (por ejemplo, queda menos de un número particular de minutos en un evento deportivo), se puede aumentar la valoración o la oferta. En algunas realizaciones, el sistema puede incluir una base de reglas, donde cada regla está asociada con un patrocinador particular e incluye lógica para actualizar una oferta para un segmento de tiempo para el patrocinador particular.
[0121] Otros algoritmos de ejemplo para generar una valoración o una oferta para un segmento de tiempo pueden basarse en el procesamiento de reglas de datos de redes sociales. Como se describe en esta solicitud, el sistema puede recuperar datos de tendencias de un servicio de red de redes sociales, que puede incluir una API. Los datos de tendencias pueden incluir datos textuales, tales como etiquetas o palabras clave (por ejemplo, "# GoTeamX" o "#ThrowBackThursday"), que son tendencias en publicaciones de redes sociales dentro de un período de tiempo umbral desde un momento del evento deportivo. El sistema puede determinar si una palabra clave (tal como una o más palabras o frases) asociada con el evento deportivo corresponde textualmente a los datos textuales de los datos de tendencias. La correspondencia textual de ejemplo incluye la palabra clave que está presente en o que coincide parcialmente con los datos textuales de los datos de tendencia. En algunas realizaciones, el sistema aplica procesamiento de lenguaje natural para determinar una correspondencia entre la palabra clave asociada con el evento deportivo y los datos textuales de los datos de tendencia. Los algoritmos adicionales para usar datos de redes sociales para la valoración de segmentos de tiempo incluyen consultar el servicio de red de redes sociales (como recuperar una o más publicaciones dentro de un tiempo determinado con respecto a un tema particular) y usar los resultados de la consulta. Por ejemplo, una regla puede aumentar una valoración u oferta para un segmento de tiempo si están presentes palabras clave particulares en los datos de las redes sociales, tales como los datos de texto que incluyen referencias a un equipo o jugador particular y referencias a palabras clave que indican el interés potencial del usuario (por ejemplo, "récord", "muy bueno" o "campeón"). El sistema puede aplicar reglas basadas en texto similares a otras fuentes de datos que no sean servicios de redes sociales, tales como fuentes de noticias y fuentes de datos de alerta de noticias para determinar el mayor interés potencial del usuario en un evento deportivo para fines de valoración u oferta.
[0122] La lógica condicional de ejemplo de la una o más reglas para generar valoraciones u ofertas incluye una o más de las siguientes.
• Si un equipo o participante está clasificado dentro de un umbral (por ejemplo, si el equipo local y el equipo visitante están clasificados entre los cinco primeros de la liga, o si el equipo visitante está clasificado entre los cinco primeros de la liga).
• Si el evento deportivo es un partido de playoffs o un evento de campeonato.
• Si el evento deportivo es un partido de desempate o un juego de cinco o siete en una serie.
• Si la puntuación está dentro de un número umbral de puntos.
• Si queda menos de un tiempo umbral en el evento deportivo.
• Si el evento deportivo está en jugada en vivo o no (por ejemplo, si es durante un tiempo pedido, no es probable que un dispositivo de visualización esté asociado con un destaque del juego).
• Si un equipo o participante del evento deportivo era "tendencia" en las redes sociales dentro de un período de tiempo umbral antes del evento deportivo.
• Si un equipo o participante está cerca de romper un récord o superar un hito.
• Si un participante en particular (por ejemplo, un jugador) está en el evento deportivo.
• Si un participante tiene un valor métrico (por ejemplo, número de puntos, rebotes, asistencias) por encima de un umbral. Por ejemplo, el participante podría estar dentro de un umbral de obtener un triple doble o un triplete.
• Si la ubicación física tiene un nivel de ruido (por ejemplo, un nivel de decibelios) o una asistencia en portones mayor que un umbral.
[0123] En algunas realizaciones, las una o más reglas pueden cambiar y/o seleccionar dinámicamente los datos de patrocinio que se presentarán en la señalización dinámica basada en lógica condicional. El sistema puede determinar datos de presentación de patrocinio asociados con la regla que se ha satisfecho. El sistema puede ejecutar lógica para seleccionar dinámicamente datos de presentación de patrocinio entre dos o más opciones de presentación. En algunas realizaciones, el sistema puede generar dinámicamente patrocinio basándose en la regla que se ha satisfecho. Por ejemplo, si se activa una lógica de juego cerrado, a continuación la regla puede indicar que un mensaje particular debe mostrarse en la señalización dinámica (por ejemplo, "¿Te sientes ansioso? Toma una CandyBar"). El sistema puede ejecutar además lógica con datos de plantilla para generar datos de presentación personalizados. Por ejemplo, si un jugador en particular logra un récord o puntuaciones por encima de un cierto umbral, el sistema puede ejecutar lógica para insertar una puntuación actual en un mensaje como "<puntuación variable>!Go! [Nombre del Patrocinador]".
[0124] En el bloque 1108, el sistema publica la valoración u oferta en el sistema de intercambio. El sistema puede transmitir la valoración u oferta a uno o más dispositivos informáticos, tales como dispositivos informáticos para patrocinadores o titulares de derechos. Los sistemas patrocinadores pueden recibir las valoraciones. Los sistemas de titulares de derechos o el sistema de intercambio pueden recibir las ofertas. En algunas realizaciones, los sistemas patrocinadores pueden presentar las valoraciones en una interfaz de usuario que puede ser aceptada o ignorada por un usuario en el lado del patrocinador. Adicional o alternativamente, los procedimientos automatizados pueden aceptar o ignorar las valoraciones para segmentos de tiempo según una o más heurísticas del patrocinador para adquirir segmentos de tiempo para mostrar datos de patrocinio visual. Como se describe en esta solicitud, a los patrocinadores se les pueden presentar valoraciones de patrocinador generales, métricas de porcentaje de valor multimedia, valores multimedia en tiempo casi real o en tiempo real a través de uno o más canales multimedia, tales como redes de transmisión, redes de streaming, redes digitales y redes sociales multimedia. Por lo tanto, los patrocinadores pueden usar los datos de valor multimedia proporcionados para determinar si adquirir o no los segmentos de tiempo a través del sistema de intercambio. En algunas realizaciones, el sistema de intercambio puede restringir el acceso a ciertos mercados de segmentos de tiempo para una lista aprobada predeterminada de patrocinadores. Adicional o alternativamente, después de un periodo de tiempo umbral sin ser adquirido, el inventario de segmentos de tiempo puede ser liberado a otros patrocinadores que no están en una lista de prioridad de patrocinadores.
[0125] En algunas realizaciones, el sistema no publica las valoraciones u ofertas en el sistema de intercambio. Por ejemplo, el sistema de intercambio puede ejecutar automáticamente reglas de licitación para patrocinadores que aumentan las ofertas basadas en la lógica programática de que ciertos momentos pueden ser de valor adicional para un patrocinador. El sistema de intercambio puede seleccionar automáticamente a los licitadores ganadores y puede provocar la presentación de los datos de patrocinio asociados con el ganador y/o la una o más reglas satisfechas. En otras realizaciones, el sistema transmite una indicación de que se satisface una regla a uno o más dispositivos informáticos de uno o más patrocinadores. Por lo tanto, los patrocinadores pueden presentar ofertas para adquirir segmentos de tiempo en función de los indicadores, lo que puede indicar posibles momentos de valor para los patrocinadores.
[0126] En el bloque 1110, los patrocinadores se hacen corresponder con los titulares de derechos para adquirir segmentos de tiempo en función de las valoraciones u ofertas. En respuesta a la recepción de la valoración, el sistema del patrocinador puede transmitir una solicitud para el primer segmento de tiempo para el precio de valoración u otro precio. El sistema de titulares de derechos o el sistema de intercambio puede aceptar la solicitud del patrocinador de asignar el segmento de tiempo seleccionado al patrocinador. En otras realizaciones, el sistema del patrocinador puede generar una oferta y transmitir la oferta al sistema de intercambio Los sistemas de titulares de derechos pueden aceptar la oferta de los patrocinadores. En algunas realizaciones, el sistema de intercambio incluye reglas de emparejamiento automático de patrocinadores y titulares de derechos y no necesita comunicarse con los sistemas de patrocinadores 0 titulares de derechos externos para realizar el emparejamiento.
[0127] En el bloque 1112, el sistema puede hacer que la señalización dinámica en la ubicación física presente los datos de patrocinio correspondientes para el segmento de tiempo adquirido. El sistema de intercambio o un sistema de titular de derechos puede transmitir instrucciones a los sistemas del local sede para presentar dinámicamente datos de patrocinio seleccionados en la señalización dinámica para el segmento de tiempo. En algunas realizaciones, los datos de patrocinio se presentan en un dispositivo de visualización en la ubicación física de manera que los asistentes físicos puedan ver los datos de patrocinio. En otras realizaciones, los datos de patrocinio se presentan virtualmente en un área de marcadores de posición de tal manera que los espectadores de la transmisión o streaming del evento deportivo pueden ver los datos de patrocinio, pero los asistentes físicos pueden no ser capaces de ver los datos de patrocinio visual.
[0128] La Figura 12 ilustra datos históricos para su uso por el sistema de intercambio en la generación de valoraciones u ofertas de segmentos de tiempo en la señalización dinámica. El entorno de datos 1200 puede incluir almacenamientos de datos 1202, 1204 y 1206. Los almacenamientos de datos 1202, 1204 y 1206, mostrados en forma de tablas, son ilustrativos y no pretenden ser limitativos (por ejemplo, aunque se representan en la Figura 12 como tablas con fines ilustrativos, se puede usar una variedad de estructuras de datos para el almacenamiento de los datos). En algunas realizaciones, se pueden usar diferentes datos históricos y/o puede haber menos o más almacenamientos de datos históricos. Por ejemplo, el esquema de datos para datos deportivos históricos puede agruparse lógicamente por deporte o por cualquier otra agrupación lógica. El almacenamiento de datos de posiciones 1202 incluye datos de posiciones de ejemplo para equipos o participantes de un evento deportivo. Como se ilustra, el almacenamiento de datos de posiciones 1202 incluye victorias, derrotas, posiciones y datos de victorias consecutivas. El almacenamiento de datos de registros 1204 incluye datos de registros de ejemplo, tales como registros de victorias de todos los tiempos y registros de victorias consecutivas. Por consiguiente, el sistema puede aplicar programáticamente las reglas de valoración o licitación accediendo y/o combinando los datos históricos. Por ejemplo, en el contexto de un evento deportivo, una regla (tal como mediante el uso del almacenamiento de datos de posiciones 1202 y el almacenamiento de datos de registros 1204) puede determinar que el Equipo 3 tiene 24 victorias en total y está dentro de un número umbral del registro de victorias de todos los tiempos, 30, y, por lo tanto, un segmento de tiempo para la señalización dinámica en el evento deportivo con el Equipo 3 puede recibir una valoración más alta como resultado.
[0129] Como otro ejemplo, en el contexto de un evento deportivo, una regla diferente puede determinar que el Equipo 3 (tal como mediante el uso del almacenamiento de datos de posiciones 1202 y el almacenamiento de datos de registros 1204) tiene 15 victorias consecutivas y está dentro de un número umbral de victorias consecutivas, 17, y, por lo tanto, un segmento de tiempo para la señalización dinámica en el evento deportivo con el Equipo 3 puede recibir una valoración más alta como resultado. Como se describe en esta solicitud, el sistema puede usar los datos de la columna de posiciones en el almacenamiento de datos 1202 para determinar datos de valoraciones más altas o más bajas para señalización dinámica de eventos deportivos que tienen los respectivos equipos o participantes. Por ejemplo, los equipos o participantes que están clasificados dentro de un cierto umbral pueden hacer que los segmentos de tiempo correspondientes reciban valoraciones más altas.
[0130] Una regla de ejemplo para la valoración dinámica de la señalización puede usar el almacenamiento de datos de participantes o jugadores 1206, que incluye puntos para la temporada y puntos promedio por evento o juego deportivo. Por lo tanto, otra regla puede combinar datos de eventos en tiempo casi real para el evento deportivo (como el Participante 1 que anota 1 punto en el evento deportivo) con los datos históricos (como los 15 puntos del Participante 1 para la temporada anterior al evento deportivo) para generar datos acumulativos actuales (como el Participante 1 que anota 16 puntos totales para la temporada en función del cálculo dinámico durante el juego) que pueden estar dentro de un umbral de la regla que desencadena una mayor valoración para un segmento de tiempo de señalización dinámica en el evento deportivo que incluye el participante deportivo particular.
[0131] Debe entenderse que no necesariamente todos estos objetos y ventajas pueden lograrse según cualquier realización particular descrita en esta invención. Por lo tanto, por ejemplo, los expertos en la materia reconocerán que ciertas realizaciones pueden configurarse para funcionar de una manera que logre u optimice una ventaja o grupo de ventajas como se enseña en esta solicitud sin lograr necesariamente otros objetos o ventajas como se puede enseñar o sugerir en esta solicitud.
[0132] Todos los procedimientos descritos en esta solicitud pueden incorporarse en, y automatizarse completamente a través de, módulos de códigos de software ejecutados por un sistema informático que incluya uno o más ordenadores o procesadores de propósito general. Los módulos de código se pueden almacenar en cualquier tipo de medio legible por ordenador no transitorio u otro dispositivo de almacenamiento informático. Algunos o todos los procedimientos pueden realizarse alternativamente en hardware informático especializado. Además, los componentes mencionados en esta solicitud pueden implementarse en hardware, software, firmware o una combinación de los mismos.
[0133] Muchas otras variaciones distintas a las descritas en esta solicitud resultarán evidentes a partir de esta divulgación. Por ejemplo, dependiendo de la realización, determinados actos, eventos o funciones de cualquiera de los algoritmos descritos en esta solicitud se pueden realizar en una secuencia diferente, se pueden agregar, fusionar u omitir todos juntos (por ejemplo, no todos los actos o eventos descritos son necesarios para la práctica de los algoritmos). Es más, en determinadas realizaciones, los actos o eventos se pueden realizar simultáneamente, por ejemplo, a través de procesamiento de múltiples hilos, procesamiento interrumpido o múltiples procesadores o núcleos de procesador o en otras arquitecturas paralelas, en lugar de secuencialmente. Además, diferentes tareas o procedimientos pueden ser realizados por diferentes máquinas y/o sistemas informáticos que pueden funcionar juntos.
[0134] Los diversos bloques lógicos ilustrativos, módulos y elementos de algoritmos descritos en relación con las realizaciones descritas en esta invención se pueden implementar como hardware electrónico, software informático o combinaciones de ambos. Para ilustrar claramente esta intercambiabilidad de hardware y software, varios componentes, bloqueos, módulos y estados ilustrativos se han descrito anteriormente generalmente en términos de su funcionalidad. El hecho de que dicha funcionalidad se implemente como hardware o software depende de las limitaciones particulares de aplicación y diseño impuestas al sistema en general. La funcionalidad descrita puede implementarse de diversas maneras para cada aplicación particular, pero dichas decisiones de implementación no deben interpretarse como causantes de una desviación del alcance de la descripción.
[0135] Los diversos módulos y bloques lógicos ilustrativos descritos en relación con las realizaciones descritas en esta invención pueden implementarse o llevarse a cabo por una máquina, tal como una unidad de procesamiento o procesador, un procesador digital de señal (DSP - Digital Signal Processor), un circuito integrado de aplicación específica (ASIC - Application Specific Integrated Circuit), matriz de puertas de campo programable (FPGA - Field Programmable Gate Array) u otro dispositivo lógico programable, lógica de compuerta o transistor discreto, componentes de hardware discretos o cualquier combinación de los mismos diseñados para realizar las funciones descritas en esta invención. Un procesador puede ser un microprocesador, pero como alternativa, el procesador puede ser un controlador, microcontrolador o máquina de estados, combinaciones de los mismos o similares. Un procesador puede incluir circuitos eléctricos configurados para procesar instrucciones ejecutables por ordenador. En otra realización, un procesador incluye una FPGA u otro dispositivo programable que realiza operaciones lógicas sin procesar instrucciones ejecutables por ordenador. Un procesador también se puede implementar como una combinación de dispositivos informáticos, por ejemplo, una combinación de un PDS y un microprocesador, una pluralidad de microprocesadores, uno o más microprocesadores junto con un núcleo de PDS o cualquier otra configuración de este tipo. Aunque en esta solicitud se describe principalmente con respecto a la tecnología digital, un procesador también puede incluir principalmente componentes analógicos. Por ejemplo, algunos o todos los algoritmos de procesamiento de señal descritos en esta solicitud pueden implementarse en circuitos analógicos o circuitos analógicos y digitales mixtos. Un entorno informático puede incluir cualquier tipo de sistema informático, que incluye, entre otros, un sistema informático basado en un microprocesador, un ordenador central, un procesador de señales digitales, un dispositivo informático portátil, un controlador de dispositivo o un motor computacional dentro de un aparato, por nombrar algunos.
[0136] Las etapas de un procedimiento, procesamiento o algoritmo descrito en relación con las realizaciones descritas en esta invención se pueden incorporar directamente en hardware, en un módulo de software ejecutado por un procesador o en una combinación de los dos. Un módulo de software puede residir en la memoria RAM, la memoria flash, la memoria ROM, la memoria EPROM, la memoria EEPROM, los registros, el disco duro, un disco extraíble, un CD-ROM o cualquier otra forma de medio de almacenamiento no transitorio legible por ordenador, medios, o almacenamiento informático físico conocido en la técnica. Un medio de almacenamiento de ejemplo puede acoplarse al procesador de modo que el procesador pueda leer información y escribir información en el medio de almacenamiento. Como alternativa, el medio de almacenamiento puede ser integral al procesador. El medio de almacenamiento puede ser volátil o no volátil.
[0137] El lenguaje condicional como, entre otros, "puede", "podría", "podrá" o "debe", a menos que se indique específicamente lo contrario, se entiende de otro modo dentro del contexto como se usa en general para transmitir que ciertas realizaciones incluyen, mientras que otras realizaciones no incluyen, ciertas características, elementos y/o etapas. Por lo tanto, dicho lenguaje condicional generalmente no pretende dar a entender que las características, los elementos y/o las etapas se requieren de alguna manera para una o más realizaciones o que una o más realizaciones incluyen necesariamente una lógica para decidir, con o sin entrada o indicación de usuario, si estas características, elementos y/o etapas están incluidos o se realizarán en cualquier realización particular.
[0138] El lenguaje disyuntivo tal como la frase "al menos uno de X, Y o Z", a menos que se indique específicamente lo contrario, se entiende de otro modo con el contexto tal como se usa en general para presentar que un elemento, término, etc., puede ser X, Y o Z, o cualquier combinación de los mismos (por ejemplo, X, Y y/o Z). Por lo tanto, tal lenguaje disyuntivo no pretende, y no debe, implicar que ciertas realizaciones requieran que al menos uno de X, al menos uno de Y, o al menos uno de Z esté presente.
[0139] A menos que se indique explícitamente lo contrario, los artículos tales como "un" o "uno/a" deben interpretarse generalmente para incluir uno o más elementos descritos. Por consiguiente, frases tales como "un dispositivo configurado para" pretenden incluir uno o más dispositivos enumerados. Dichos uno o más dispositivos enumerados también pueden configurarse colectivamente para llevar a cabo las enumeraciones indicadas. Por ejemplo, "un procesador configurado para llevar a cabo las enumeraciones A, B y C" puede incluir un primer procesador configurado para llevar a cabo la enumeración A trabajando en conjunto con un segundo procesador configurado para llevar a cabo las enumeraciones B y C.

Claims (14)

REIVINDICACIONES
1. Un dispositivo informático que comprende:
una memoria; y
un procesador en comunicación con la memoria y configurado con instrucciones ejecutables por procesador para realizar operaciones que comprenden:
recibir (602) contenido multimedia, donde el contenido multimedia comprende datos de imagen o vídeo; proporcionar características del contenido multimedia como entrada a cada uno de: (a) un primer modelo de clasificación (604) entrenado para identificar una escena y (b) un segundo modelo de clasificación (606) entrenado para identificar un objeto relacionado con un deporte; determinar (609) un deporte representado en el contenido multimedia basándose al menos en parte en la salida del primer modelo de clasificación y del segundo modelo de clasificación;
identificar el texto (610) representado en el contenido multimedia usando reconocimiento óptico de caracteres; comparar el texto representado en el contenido multimedia con una pluralidad de cadenas asociadas en un almacenamiento de datos electrónicos con equipos que practican el deporte, donde cada uno de una pluralidad de equipos que practican el deporte está asociado con cadenas individuales de la pluralidad de cadenas; determinar (612) un equipo que se representa en el contenido multimedia, donde el equipo se identifica basándose al menos en parte en la determinación de que al menos una porción del texto representado en el contenido multimedia coincide con una cadena que está asociada con el equipo en el almacenamiento de datos electrónicos;
recuperar datos de patrocinio que identifiquen a uno o más patrocinadores asociados con el equipo que se representa en el contenido multimedia;
proporcionar características del contenido multimedia como entrada a cada una de una pluralidad de redes neuronales asociadas con el uno o más patrocinadores, donde cada una de la pluralidad de redes neuronales se entrena para identificar (614, 616, 618) al menos un logotipo asociado con uno de los uno o más patrocinadores; y
determinar que un logotipo del primer patrocinador aparece en el contenido multimedia basándose, al menos en parte, en la salida de la pluralidad de redes neuronales asociadas con el uno o más patrocinadores.
2. El sistema informático de la reivindicación 1, donde la escena que el primer modelo de clasificación está entrenado para identificar comprende un tipo de local sede del evento deportivo.
3. El sistema informático de la reivindicación 1, donde el objeto relacionado con el deporte que el segundo modelo de clasificación está entrenado para identificar comprende uno o más de: una pelota de baloncesto, un balón de fútbol, una columna de sujeción de baloncesto, postes de meta de fútbol americano, un tejo (hockey sobre hielo), una portería de fútbol, una portería de hockey o una red de tenis.
4. El sistema informático de la reivindicación 1, donde las operaciones comprenden además determinar que el equipo es un equipo local en un juego representado en el contenido multimedia.
5. El sistema informático de la reivindicación 4, donde se determina que el equipo es el equipo local basándose, al menos en parte, en al menos una de: la salida de una segunda o más redes neuronales entrenadas usando imágenes de vídeo de una pluralidad de juegos en casa del equipo, o un orden de identificadores de equipo que aparecen en el contenido multimedia.
6. El sistema informático de la reivindicación 4, donde las operaciones comprenden además identificar un segundo equipo que participa en el juego representado en el contenido multimedia, donde el segundo equipo es un equipo visitante en el juego.
7. El sistema informático de la reivindicación 1, donde las operaciones comprenden además generar un informe que incluye información que representa al menos (a) el logotipo del primer patrocinador que aparece en el contenido multimedia y (b) una prominencia del logotipo del primer patrocinador en el contenido multimedia.
8. El sistema informático de la reivindicación 7, donde las operaciones comprenden además determinar la prominencia del logotipo del primer patrocinador en el contenido multimedia basándose en al menos uno de: una cantidad de desenfoque del logotipo del primer patrocinador en el contenido multimedia, una cantidad de oclusión del logotipo del primer patrocinador en el contenido multimedia, una posición del logotipo del primer patrocinador en el contenido multimedia, un tamaño del logotipo del primer patrocinador en el contenido multimedia, o un objeto en el que el logotipo del primer patrocinador aparece en el contenido multimedia.
9. El sistema informático de la reivindicación 1, en el que el deporte representado en el contenido multimedia se determina basándose, al menos en parte, en la salida de un tercer modelo de clasificación entrenado para identificar el vídeo del deporte en función del vídeo de entrenamiento que representa una pluralidad de juegos del deporte.
10. Un procedimiento implementado por ordenador que comprende:
como implementado por uno o más dispositivos informáticos configurados con instrucciones ejecutables específicas, recibir (602) contenido multimedia, donde el contenido multimedia comprende datos de imagen o vídeo; proporcionar un primer conjunto de características del contenido multimedia como entrada a uno o más primeros modelos de clasificación (604) que están entrenados cada uno para identificar al menos un tipo de escena; proporcionar un segundo conjunto de características del contenido multimedia como entrada a uno o más segundos modelos de clasificación (606) que están entrenados cada uno para identificar al menos un objeto relacionado con el deporte;
determinar (609) un deporte representado en el contenido multimedia basándose al menos en parte en la salida del primer modelo de clasificación y del segundo modelo de clasificación;
identificar el texto (610) representado en el contenido multimedia usando reconocimiento óptico de caracteres; comparar el texto representado en el contenido multimedia con una pluralidad de cadenas asociadas en un almacenamiento de datos electrónicos con equipos que practican el deporte, donde cada uno de una pluralidad de equipos que practican el deporte está asociado con cadenas individuales de la pluralidad de cadenas; determinar (612) al menos un equipo que se representa en el contenido multimedia de entre la pluralidad de equipos que practican el deporte, donde el equipo se identifica (610) basándose al menos en parte en determinar que al menos una parte del texto representado en el contenido multimedia coincide con una cadena que está asociada con el equipo en el almacenamiento de datos electrónicos.
recuperar datos de patrocinio que identifican uno o más patrocinadores asociados con el al menos un equipo que se representa en el contenido multimedia;
proporcionar características del contenido multimedia como entrada a cada una de una pluralidad de redes neuronales asociadas con el uno o más patrocinadores, donde cada una de la pluralidad de redes neuronales se entrena para identificar (614, 616, 618) al menos un logotipo asociado con uno de los uno o más patrocinadores; y
determinar que un logotipo del primer patrocinador aparece en el contenido multimedia basándose, al menos en parte, en la salida de la pluralidad de redes neuronales asociadas con el uno o más patrocinadores.
11. El procedimiento implementado por ordenador de la reivindicación 10, donde el contenido multimedia es una imagen o un vídeo publicado en una red social.
12. El procedimiento implementado por ordenador de la reivindicación 10, donde el contenido multimedia es vídeo de transmisión grabado digitalmente desde una fuente de televisión por satélite o cable.
13. El procedimiento implementado por ordenador de la reivindicación 10, donde el deporte representado en el contenido multimedia se determina basándose, al menos en parte, en un procedimiento de votación que incluye (a) aplicar una primera ponderación a una primera salida de nivel de confianza mediante el primer modelo de clasificación y (b) aplicar una segunda ponderación a una segunda salida de nivel de confianza mediante el segundo modelo de clasificación.
14. El procedimiento implementado por ordenador de la reivindicación 13, donde la primera ponderación se correlaciona con una confiabilidad del primer modelo de clasificación (604) al clasificar correctamente los medios anteriores como que representan el deporte en pruebas anteriores, y donde la segunda ponderación se correlaciona con una confiabilidad del segundo modelo de clasificación (606) al clasificar correctamente los medios anteriores como que representan el deporte en pruebas anteriores.
ES17778402T 2016-09-21 2017-09-19 Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo Active ES2945713T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662397739P 2016-09-21 2016-09-21
US201662421886P 2016-11-14 2016-11-14
US201762505758P 2017-05-12 2017-05-12
PCT/US2017/052319 WO2018057530A1 (en) 2016-09-21 2017-09-19 Machine learning models for identifying objects depicted in image or video data

Publications (1)

Publication Number Publication Date
ES2945713T3 true ES2945713T3 (es) 2023-07-06

Family

ID=60009719

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17778402T Active ES2945713T3 (es) 2016-09-21 2017-09-19 Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo

Country Status (6)

Country Link
US (8) US10089533B2 (es)
EP (1) EP3516583B1 (es)
AU (1) AU2017330571B2 (es)
CA (1) CA3037201A1 (es)
ES (1) ES2945713T3 (es)
WO (1) WO2018057530A1 (es)

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3279840A4 (en) * 2015-03-31 2018-04-11 Mitsubishi Heavy Industries, Ltd. Display generating device, display control device, and display generating method
US10013614B2 (en) * 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CA3037201A1 (en) 2016-09-21 2018-03-29 GumGum, Inc. Machine learning models for identifying objects depicted in image or video data
US10051344B2 (en) * 2016-09-27 2018-08-14 Clarifai, Inc. Prediction model training via live stream concept association
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
US10467274B1 (en) 2016-11-10 2019-11-05 Snap Inc. Deep reinforcement learning-based captioning with embedding reward
TWI607387B (zh) * 2016-11-25 2017-12-01 財團法人工業技術研究院 字符辨識系統及其字符辨識方法
US11368752B2 (en) 2017-01-03 2022-06-21 Bliss Point Media, Inc. Optimization of broadcast event effectiveness
US10754514B1 (en) 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
US20180315414A1 (en) 2017-04-26 2018-11-01 International Business Machines Corporation Adaptive digital assistant and spoken genome
US10846555B2 (en) * 2017-06-26 2020-11-24 Verizon Patent And Licensing Inc. Object recognition based on hierarchical domain-based models
US11172272B2 (en) * 2017-08-14 2021-11-09 Comcast Cable Communications, Llc Determining video highlights and chaptering
WO2019055713A1 (en) * 2017-09-13 2019-03-21 Source Digital, Inc. AUXILIARY DATA ACCORDING TO RULES
US20190090023A1 (en) * 2017-09-19 2019-03-21 Sling Media L.L.C. Intelligent filtering and presentation of video content segments based on social media identifiers
US10664875B2 (en) * 2017-09-29 2020-05-26 Facebook, Inc. Selecting sponsored content and organic content for presentation to an online system user while accounting for relative positioning of sponsored content and organic content
US20190138162A1 (en) * 2017-11-07 2019-05-09 Facebook, Inc. Systems and methods for providing calls-to-action and related content associated with virtual media content
US11455662B2 (en) 2017-11-08 2022-09-27 Meta Platforms, Inc. Optimizing generation of a feed of content for a user based on prior user interactions with the feed of content
IL299278A (en) * 2017-12-22 2023-02-01 Magic Leap Inc Methods and system for creating and displaying 3D video in a virtual, augmented or mixed reality environment
US10818033B2 (en) * 2018-01-18 2020-10-27 Oath Inc. Computer vision on broadcast video
US11379517B2 (en) * 2018-01-20 2022-07-05 Griffin Kelly Photography searching system
US11660521B2 (en) 2018-01-21 2023-05-30 Stats Llc Method and system for interactive, interpretable, and improved match and player performance predictions in team sports
EP3740841A4 (en) 2018-01-21 2021-10-20 Stats Llc SYSTEM AND METHOD FOR MOVEMENT PREDICTION OF MULTIPLE FINE GRANULARITY ADVERSARY AGENTS
US10713495B2 (en) 2018-03-13 2020-07-14 Adobe Inc. Video signatures based on image feature extraction
GB2572386B (en) * 2018-03-28 2021-05-19 Canon Europa Nv An image processing system and an image processing method
US11341540B2 (en) * 2018-03-30 2022-05-24 At&T Intellectual Property I, L.P. Methods, systems and devices for selecting advertisements based on media profiles and advertisement profiles
US11741364B2 (en) * 2018-04-10 2023-08-29 Hookit, Llc Deep neural networks modeling
US10896350B2 (en) * 2018-04-10 2021-01-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capture apparatus
US11265602B2 (en) * 2018-04-12 2022-03-01 Rovi Guides, Inc. Systems and methods for evaluating a promotional campaign
CN109086648A (zh) * 2018-05-24 2018-12-25 同济大学 一种融合目标检测和特征匹配的目标跟踪方法
KR102585777B1 (ko) * 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
US11200591B2 (en) 2018-05-30 2021-12-14 Paypal, Inc. Electronic content based on neural networks
US10735535B2 (en) * 2018-06-01 2020-08-04 International Business Machines Corporation Methods and systems for analyzing viewer engagement of online content
JP7011170B2 (ja) * 2018-06-05 2022-01-26 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
US10713543B1 (en) * 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
US10878037B2 (en) * 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
US11430312B2 (en) * 2018-07-05 2022-08-30 Movidius Limited Video surveillance with neural networks
CN109165574B (zh) * 2018-08-03 2022-09-16 百度在线网络技术（北京）有限公司 视频检测方法和装置
CN109308487B (zh) * 2018-08-06 2021-03-30 同济大学 一种基于弹幕数据分析的广告投放方法
US11010903B1 (en) * 2018-08-09 2021-05-18 Amazon Technologies, Inc. Computer vision and machine learning techniques for item tracking
FR3085518A1 (fr) * 2018-08-30 2020-03-06 Jcdecaux Sa Procede et systeme d'affichage de contenus
KR102552299B1 (ko) 2018-08-31 2023-07-10 삼성디스플레이 주식회사 잔상 보상부, 이를 포함하는 표시 장치, 및 표시 장치의 구동 방법
EP3850543A1 (en) * 2018-09-12 2021-07-21 Plantsnap, Inc. Systems and methods for electronically identifying plant species
CN112840377A (zh) * 2018-10-30 2021-05-25 麦卡斯科技有限公司 电子装置上用于增强实况观众体验的系统和方法
KR102644126B1 (ko) 2018-11-16 2024-03-07 삼성전자주식회사 영상 처리 장치 및 그 동작 방법
TWI681342B (zh) * 2018-12-11 2020-01-01 瑞昱半導體股份有限公司 物件位置判斷電路
KR20200079835A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 광고 비용을 산출하기 위한 디스플레이 시스템
US11631119B2 (en) 2019-01-11 2023-04-18 Target Brands, Inc. Electronic product recognition
US11436826B2 (en) * 2019-01-11 2022-09-06 Target Brands, Inc. Augmented reality experience for shopping
US11381739B2 (en) * 2019-01-23 2022-07-05 Intel Corporation Panoramic virtual reality framework providing a dynamic user experience
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US11010627B2 (en) * 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US10909174B1 (en) * 2019-02-04 2021-02-02 Amazon Technologies, Inc. State detection of live feed
US11657320B2 (en) 2019-02-26 2023-05-23 Microsoft Technology Licensing, Llc Using online engagement footprints for video engagement prediction
WO2020180702A1 (en) 2019-03-01 2020-09-10 Stats Llc Personalizing prediction of performance using data and body-pose for analysis of sporting performance
JP7386890B2 (ja) * 2019-04-08 2023-11-27 グーグル エルエルシー 製品ソースリンクを使用したメディア注釈
KR20200127599A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 디스플레이 장치, 서버, 디스플레이 장치의 제어방법 및 서버의 제어방법
CN110099282A (zh) * 2019-05-06 2019-08-06 海马云（天津）信息技术有限公司 一种对直播类型应用中的内容进行监控的方法及系统
CN110110787A (zh) * 2019-05-06 2019-08-09 腾讯科技（深圳）有限公司 目标的位置获取方法、装置、计算机设备及存储介质
CN113811898A (zh) 2019-05-08 2021-12-17 斯塔特斯公司 用于运动中内容和风格预测的系统和方法
CA3139562A1 (en) * 2019-05-09 2020-11-12 Automobilia Ii, Llc Methods, systems and computer program products for media processing and display
US10699750B1 (en) * 2019-05-30 2020-06-30 Amazon Technologies, Inc. Tagging tracked objects in a video with metadata
US11270338B2 (en) 2019-06-19 2022-03-08 International Business Machines Corporation Optimizing a digital display
US11100368B2 (en) 2019-06-25 2021-08-24 GumGum, Inc. Accelerated training of an image classifier
US11423103B2 (en) 2019-07-08 2022-08-23 Valve Corporation Content-item recommendations
US11194879B2 (en) * 2019-07-08 2021-12-07 Valve Corporation Custom compilation videos
EP3997651A4 (en) * 2019-07-09 2023-08-02 Hyphametrics, Inc. INTER-SUPPORT MEASUREMENT DEVICE AND METHOD
US11087162B2 (en) 2019-08-01 2021-08-10 Nvidia Corporation Determining relative regions of interest in images using object detection
US11113537B2 (en) * 2019-08-02 2021-09-07 Hulu, LLC Image detection using multiple detection processes
JP6901212B1 (ja) * 2019-08-05 2021-07-14 株式会社オプティム コンピュータシステム、広告媒体管理方法及びプログラム
US20220276618A1 (en) * 2019-08-29 2022-09-01 Here Global B.V. Method, apparatus, and system for model parameter switching for dynamic object detection
WO2021091893A1 (en) * 2019-11-06 2021-05-14 Betterplay Ai Table Tennis Ltd. Method for efficient and accurate identification of sequences
GB2590599A (en) 2019-11-08 2021-07-07 Fusion Holdings Ltd Systems and methods for predicting aspects of an unknown event
US11412271B2 (en) * 2019-11-25 2022-08-09 International Business Machines Corporation AI response to viewers of live stream video
CN112911378A (zh) * 2019-12-03 2021-06-04 西安光启未来技术研究院 一种视频帧的查询方法
CN110996178B (zh) * 2019-12-05 2020-10-20 浙江大学 一种乒乓球比赛视频的智能交互数据采集系统
US11263665B2 (en) * 2019-12-19 2022-03-01 Broadsign Serv Inc. Method and digital signage server for managing placement of a digital signage content based on metric thresholds
US11082744B1 (en) * 2020-01-16 2021-08-03 Microsoft Technology Licensing, Llc Modifying training data for video response quality optimization
KR102333438B1 (ko) * 2020-03-27 2021-12-02 주식회사 라온버드 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법
FR3109004B1 (fr) * 2020-04-01 2022-09-02 Jcdecaux Sa Procédé d’estimation de l’impact d’une image publicitaire, et procédé et ensemble d’affichage utilisant un tel procédé d’estimation.
US11010679B1 (en) * 2020-04-08 2021-05-18 Curtis Ray Robinson, JR. Systems and methods for autonomously executing computer programs
CN112118395B (zh) * 2020-04-23 2022-04-22 中兴通讯股份有限公司 视频处理方法、终端及计算机可读存储介质
WO2021247371A1 (en) 2020-06-05 2021-12-09 Stats Llc System and method for predicting formation in sports
CN111709762B (zh) * 2020-06-09 2021-10-29 上海极链网络科技有限公司 信息匹配度的评估方法、装置、设备及存储介质
US11176362B1 (en) 2020-06-24 2021-11-16 Bank Of America Corporation System for character recognition in a digital image processing environment
US11625874B2 (en) 2020-08-04 2023-04-11 Triple Lift, Inc. System and method for intelligently generating digital composites from user-provided graphics
US11301715B2 (en) 2020-08-03 2022-04-12 Triple Lift, Inc. System and method for preparing digital composites for incorporating into digital visual media
WO2022031283A1 (en) * 2020-08-05 2022-02-10 Hewlett-Packard Development Company, L.P. Video stream content
US20220198771A1 (en) * 2020-08-10 2022-06-23 Google Llc Discovery, Management And Processing Of Virtual Real Estate Content
CN116324668A (zh) 2020-10-01 2023-06-23 斯塔特斯公司 从非职业跟踪数据预测nba天赋和质量
US11889227B2 (en) 2020-10-05 2024-01-30 Samsung Electronics Co., Ltd. Occlusion processing for frame rate conversion using deep learning
US11475668B2 (en) 2020-10-09 2022-10-18 Bank Of America Corporation System and method for automatic video categorization
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器
US11711404B2 (en) * 2020-10-30 2023-07-25 Salesforce, Inc. Embeddings-based recommendations of latent communication platform features
WO2022099180A1 (en) * 2020-11-09 2022-05-12 Automobilia Ii, Llc Methods, systems and computer program products for media processing and display
US11722731B2 (en) * 2020-11-24 2023-08-08 Google Llc Integrating short-term context for content playback adaption
US11451842B2 (en) * 2020-12-02 2022-09-20 SimpleBet, Inc. Method and system for self-correcting match states
US11816906B2 (en) * 2020-12-31 2023-11-14 Snap Inc. Messaging system for engagement analysis based on labels
CN114302195B (zh) * 2021-01-14 2023-04-14 海信视像科技股份有限公司 一种显示设备、外接设备以及播放控制方法
US20240127458A1 (en) * 2021-02-25 2024-04-18 Hewlett-Packard Development Company, L.P. Bounding shape estimation
US11682415B2 (en) 2021-03-19 2023-06-20 International Business Machines Corporation Automatic video tagging
US11829443B2 (en) 2021-03-29 2023-11-28 International Business Machines Corporation Augmentation of video datasets for machine learning training
JP7267341B2 (ja) * 2021-04-21 2023-05-01 みずほリサーチ＆テクノロジーズ株式会社 広告評価システム、広告評価方法及び広告評価プログラム
CN117222455A (zh) 2021-04-27 2023-12-12 斯塔特斯公司 用于单个运动员和团队模拟的系统和方法
US20220353435A1 (en) * 2021-04-29 2022-11-03 Cloudinary Ltd. System, Device, and Method for Enabling High-Quality Object-Aware Zoom-In for Videos
US11532333B1 (en) * 2021-06-23 2022-12-20 Microsoft Technology Licensing, Llc Smart summarization, indexing, and post-processing for recorded document presentation
US12002128B2 (en) * 2021-07-19 2024-06-04 Advanced Micro Devices, Inc. Content feedback based on region of view
US11902603B2 (en) * 2021-08-20 2024-02-13 Stats Llc Methods and systems for utilizing live embedded tracking data within a live sports video stream
US11514337B1 (en) * 2021-09-15 2022-11-29 Castle Global, Inc. Logo detection and processing data model
US11706385B2 (en) * 2021-09-30 2023-07-18 Advanced Micro Devices, Inc. Machine learning-based multi-view video conferencing from single view video data
US11770307B2 (en) 2021-10-29 2023-09-26 T-Mobile Usa, Inc. Recommendation engine with machine learning for guided service management, such as for use with events related to telecommunications subscribers
US11888635B2 (en) * 2021-10-29 2024-01-30 Motorola Mobility Llc Electronic device that manages compliance by a participant during a video communication session
US20230410508A1 (en) * 2022-06-17 2023-12-21 Comcast Cable Communications, Llc Systems, methods, and apparatuses for selecting/generating visual representations of media content
US20240095778A1 (en) * 2022-09-16 2024-03-21 Bidstack Group PLC Viewability measurement in video game stream
KR20240053431A (ko) * 2022-10-17 2024-04-24 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4391564A1 (en) * 2022-12-19 2024-06-26 NOS Inovação, S.A. Method and system of processing a video streaming broadcast in real-time to create a video summary

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724915B1 (en) 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US20150297949A1 (en) 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
GB2360581A (en) * 2000-03-15 2001-09-26 Television Monitoring Services Quantification of brand exposure on screen
US7020336B2 (en) 2001-11-13 2006-03-28 Koninklijke Philips Electronics N.V. Identification and evaluation of audience exposure to logos in a broadcast event
US10387920B2 (en) * 2003-12-23 2019-08-20 Roku, Inc. System and method for offering and billing advertisement opportunities
US20060074828A1 (en) 2004-09-14 2006-04-06 Heumann John M Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers
US8036932B2 (en) 2004-11-19 2011-10-11 Repucom America, Llc Method and system for valuing advertising content
US20070156615A1 (en) * 2005-12-29 2007-07-05 Ali Davar Method for training a classifier
US20090012868A1 (en) * 2006-11-09 2009-01-08 Deangelis Douglas J Systems And Methods For Real-Time Allocation Of Digital Content
US20080189215A1 (en) * 2007-02-01 2008-08-07 Prototype Productions Event driven advertising method and system
US20080219504A1 (en) * 2007-03-05 2008-09-11 Adams Henry W Automatic measurement of advertising effectiveness
US8059865B2 (en) * 2007-11-09 2011-11-15 The Nielsen Company (Us), Llc Methods and apparatus to specify regions of interest in video frames
WO2009073895A1 (en) 2007-12-07 2009-06-11 Verimatrix, Inc. Systems and methods for performing semantic analysis of media objects
US20090300100A1 (en) 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using logo recognition
US20100009713A1 (en) 2008-07-14 2010-01-14 Carl Johan Freer Logo recognition for mobile augmented reality environment
US20100008265A1 (en) 2008-07-14 2010-01-14 Carl Johan Freer Augmented reality method and system using logo recognition, wireless application protocol browsing and voice over internet protocol technology
US8599317B2 (en) * 2009-03-13 2013-12-03 Disney Enterprises, Inc. Scene recognition methods for virtual insertions
US8036990B1 (en) 2009-04-28 2011-10-11 GumGum, Inc. Systems and methods for electronically managing content licenses
US10049379B2 (en) * 2009-06-12 2018-08-14 Rentrak Corporation Quantitative branding analysis
US20110251896A1 (en) 2010-04-09 2011-10-13 Affine Systems, Inc. Systems and methods for matching an advertisement to a video
US8521584B1 (en) 2010-10-01 2013-08-27 Google Inc. Co-sponsored content
US8543454B2 (en) * 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
US20150294370A1 (en) 2011-04-07 2015-10-15 ntangle labs, inc. Target Area Based Monetization Using Sensory Feedback
US9147129B2 (en) 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US9183259B1 (en) 2012-01-13 2015-11-10 Google Inc. Selecting content based on social significance
US8918804B2 (en) 2012-02-07 2014-12-23 Turner Broadcasting System, Inc. Method and system for a reward program based on automatic content recognition
US20160148650A1 (en) * 2014-11-24 2016-05-26 Vixs Systems, Inc. Video processing system with custom chaptering and methods for use therewith
US20140052534A1 (en) 2012-08-16 2014-02-20 Shaheen A. Gandhi Electronic Advertising Targeting Multiple Individuals
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US20160034712A1 (en) * 2012-10-02 2016-02-04 Banjo, Inc. System and method for event-related content discovery, curation, and presentation
WO2014134353A1 (en) 2013-02-27 2014-09-04 Ostoich Meredith Leigh Sponsorship platform systems and methods
AU2013101758A4 (en) * 2013-03-12 2016-07-07 Instant Sponsor.Com Pty Ltd Sponsorship System
US9100720B2 (en) 2013-03-14 2015-08-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to logos in vehicle races
IN2013MU01192A (es) 2013-03-28 2015-04-24 Tata Consultancy Services Ltd
US9355406B2 (en) 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
US9654814B2 (en) 2013-10-28 2017-05-16 Microsoft Technology Licensing, Llc Video frame selection for targeted content
JP6354229B2 (ja) 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
WO2015167515A1 (en) 2014-04-30 2015-11-05 Longsand Limited Augmented reality without a physical trigger
US10515133B1 (en) * 2014-06-06 2019-12-24 Google Llc Systems and methods for automatically suggesting metadata for media content
US20160023118A1 (en) 2014-07-23 2016-01-28 Barry Mindes Method and system for live action sports game
US9990028B2 (en) 2014-10-03 2018-06-05 Verizon Patent And Licensing Inc. System and method for providing live augmented reality content
US10318575B2 (en) * 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
US10600060B1 (en) * 2014-12-19 2020-03-24 A9.Com, Inc. Predictive analytics from visual data
US11151598B2 (en) * 2014-12-30 2021-10-19 Blinkfire Analytics, Inc. Scoring image engagement in digital media
ES2905535T3 (es) * 2015-03-27 2022-04-11 Twitter Inc Servicios de emisión de vídeo en vivo
US10007863B1 (en) 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
US9613296B1 (en) 2015-10-07 2017-04-04 GumGum, Inc. Selecting a set of exemplar images for use in an automated image object recognition system
US9953217B2 (en) * 2015-11-30 2018-04-24 International Business Machines Corporation System and method for pose-aware feature learning
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking
US20170330292A1 (en) * 2016-05-16 2017-11-16 Adobe Systems Incorporated Correlator
US10384130B2 (en) * 2016-08-05 2019-08-20 AR Sports LLC Fantasy sport platform with augmented reality player acquisition
CA3037201A1 (en) 2016-09-21 2018-03-29 GumGum, Inc. Machine learning models for identifying objects depicted in image or video data

Also Published As

Publication number Publication date
US20180082125A1 (en) 2018-03-22
AU2017330571B2 (en) 2021-11-18
US20180082123A1 (en) 2018-03-22
US10417499B2 (en) 2019-09-17
US11556963B2 (en) 2023-01-17
US10929752B2 (en) 2021-02-23
EP3516583A1 (en) 2019-07-31
US10303951B2 (en) 2019-05-28
US20180084309A1 (en) 2018-03-22
AU2017330571A1 (en) 2019-04-18
US10089533B2 (en) 2018-10-02
CA3037201A1 (en) 2018-03-29
US10255505B2 (en) 2019-04-09
US20180082152A1 (en) 2018-03-22
US20180084310A1 (en) 2018-03-22
US20220012778A1 (en) 2022-01-13
WO2018057530A1 (en) 2018-03-29
US20230334092A1 (en) 2023-10-19
US10430662B2 (en) 2019-10-01
US20180084290A1 (en) 2018-03-22
EP3516583B1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
ES2945713T3 (es) Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo
US10869103B2 (en) Process and apparatus for advertising component placement
US8645991B2 (en) Method and apparatus for annotating media streams
JP5530572B2 (ja) イベント又は地理的場所における画像プロバイダからの分析データ収集のためのシステム及び方法
CN102290082B (zh) 视频精彩回放片段的处理方法及装置
US11861539B2 (en) Multi-dimensional command center
US20180025405A1 (en) Presentation of content items synchronized with media display
WO2014142758A1 (en) An interactive system for video customization and delivery
US20140351045A1 (en) System and Method for Pairing Media Content with Branded Content
CN101535995A (zh) 在定向的视频广告中使用观看信号
US11399220B2 (en) Systems and methods for providing advertisements in live event broadcasting
Chang et al. Virtual spotlighted advertising for tennis videos
US10841028B2 (en) System and method for analyzing user-supplied media at a sporting event
Ennis et al. Understanding Fans and Their Consumption of Sport
TW201810080A (zh) 可視化廣告投放系統、可視化廣告投放方法及廣告播放方法
US20230177395A1 (en) Method and system for automatically displaying content based on key moments