BR102018005942A2 - Previsão de metadados de zona de inserção futura - Google Patents

Previsão de metadados de zona de inserção futura Download PDF

Info

Publication number
BR102018005942A2
BR102018005942A2 BR102018005942-4A BR102018005942A BR102018005942A2 BR 102018005942 A2 BR102018005942 A2 BR 102018005942A2 BR 102018005942 A BR102018005942 A BR 102018005942A BR 102018005942 A2 BR102018005942 A2 BR 102018005942A2
Authority
BR
Brazil
Prior art keywords
video
insertion zone
metadata
zone
value
Prior art date
Application number
BR102018005942-4A
Other languages
English (en)
Inventor
Tim Harris
Philip McLauchlan
David Ok
Original Assignee
Mirriad Advertising Plc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mirriad Advertising Plc filed Critical Mirriad Advertising Plc
Publication of BR102018005942A2 publication Critical patent/BR102018005942A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

trata-se do aprimoramento mediante métodos e sistemas para a incorporação de material adicional em dados de vídeo de origem. em particular, o método da presente revelação pode usar um corpo pré-existente de dados de vídeo de origem para produzir, testar e refinar um modelo de previsão para permitir a previsão das características de oportunidades de colocação. o modelo pode ser criado com o uso de técnicas de análise de vídeo que obtêm metadados relacionados às oportunidades de colocação e também através da identificação de características categóricas relacionadas ao vídeo de origem que podem ser fornecidas como metadados com o vídeo de origem, ou obtenção através de técnicas de processamento de imagem descritas abaixo. com o uso de o modelo, o método e o sistema podem ser, então, usados para criar uma previsão de características de zona de inserção para projetos para os quais o vídeo de origem ainda não está disponível, mas para os quais as informações correspondentes às características categóricas identificadas são conhecidas.

Description

Relatório Descritivo da Patente de Invenção para: “PREVISÃO
DE METADADOS DE ZONA DE INSERÇÃO FUTURA
Campo da Técnica [1] A presente revelação refere-se a um método e um sistema para prever a existência e características de oportunidades de colocação de vídeo.
Antecedentes [2] Com o surgimento do processamento de arquivo digital, é possível inserir digitalmente objetos em um vídeo. A fim de inserir digitalmente um objeto em um vídeo, primeiramente uma oportunidade para inserção de objeto digital precisa ser identificada. Essa oportunidade precisa então ser avaliada para determinar o valor ou benefício de inserir digitalmente o objeto. Se for decidido que há benefício suficiente ou valor em inserir o objeto digital no vídeo, o processo de inserção de objeto digital pode então iniciar.
[3] Inserir digitalmente objetos em um vídeo pode ter vários benefícios, por exemplo, aprimorar os efeitos visuais do vídeo, ou melhorar o realismo de um vídeo, ou permitir mais flexibilidade para o vídeo após ser gravado, o que significa que menos decisões precisam ser feitas relacionadas aos objetos para incluir em cena na produção ou filmagem das cenas. Consequentemente, a inserção de objeto digital tem se tornado cada vez mais comum e é utilizada por
Petição 870180032217, de 20/04/2018, pág. 9/62
2/54 produtores de vídeo para todas as maneiras de propósitos.
[4] Contudo, identificar oportunidades em potencial para inserção de objeto digital e então avaliar os mesmos é um processo trabalhoso e demorado. Quando a identificação e a avaliação são ser realizadas manualmente por um humano, isso pode ser trabalhoso e demorado. Quando a identificação e avaliação são realizadas por software, as despesas gerais computacionais podem ser significantes e exigem recursos de computação substanciais. Alguns vídeos podem ter pouquíssimas, se tiverem, oportunidades para inserção de objeto digital valiosas ou benéficas, porém isso só pode ser determinado após conduzir o processo demorado de identificação e avaliação. Conforme a inserção de objeto digital se torna cada vez mais comum, as técnicas de avaliação e análise existentes tem um efeito prejudicial crescente na eficiência de recurso, particularmente para vídeos de duração significante, tal como filmes ou episódios/shows de programas de televisão.
[5] A fim de explicar os estágios de análise e avaliação, primeiramente é útil definir alguma tecnologia que possa ajudar com o entendimento do processo. O vídeo pode compreender uma série de produções. As produções podem ser delineadas por cortes, em que a câmera para de gravar, ou em que o material de vídeo é editado para apresentar essa impressão. Em uma primeira etapa, as oportunidades para
Petição 870180032217, de 20/04/2018, pág. 10/62
3/54 inserção de objeto digital podem ser identificadas. Isso é frequentemente referido como um passe de pré-análise e pode ser feita apropriadamente se identificar cenas dentro do vídeo, particularmente, cenas produzidas a partir da mesma posição de câmera. É conhecido há muitos anos como segmentar um vídeo em cenas automaticamente, com o uso de detecção de mudança de produção. Essa pré-análise pode compreender vários outros processos, e podem resultar em um processo de seleção em que todas as produções semelhantes, ou produções do mesmo local, em que as oportunidades de inserção são relevantes e apresentadas juntas são, às vezes, referidas como uma Sequência Incorporada”. As pessoas são geralmente boas em identificar boas” oportunidades para inserção de objeto digital por análise manual. Por exemplo, uma jarra de café instantâneo pode combinar com uma cena de cozinha, mas a jarra de café pareceria fora de lugar em uma cena de banheiro, ou em uma cena de região externa. Como maneira de exemplo, pode ser decidido que uma bancada de cozinha em uma cena é boa para a inserção digital de produtos alimentícios. Contudo, analisar vídeos nessa maneira, particularmente vídeos longos, pode ser demorado e se poucas, ou nenhuma, oportunidades de inserção de objeto forem identificadas, esse tempo pode ser um desperdício de recursos.
[6] A fim de avaliar as oportunidades identificadas, pode ser importante notar quanto tempo a câmera gasta
Petição 870180032217, de 20/04/2018, pág. 11/62
4/54 enquanto olha para a localização identificada para inserção de objeto digital, por exemplo, a bancada de cozinha. Por exemplo, se for somente uma produção rápida, é improvável que a cena represente uma boa oportunidade para inserção de objeto digital. Por outro lado, se a cena na cozinha for longa, e a área que é adequada para inserção de objeto estiver em vista para essa duração, é provável que haja benefício significante para inserir digitalmente um objeto no local. De maneira semelhante, como parte da avaliação, também pode ser importante determinar quantas vezes aquela cena está no vídeo. Por razões óbvias, é importante manter uma consistência temporal, de ter o mesmo item na mesma posição toda vez que a cena ocorre no vídeo.
[7] É desejável criar maquetes das oportunidades de objeto digital pela renderização da amostra de imagem (normalmente em uma resolução menor que a final) que tem uma caixa azul ou cilindro na imagem para representar o (conforme ainda não especificado) objeto a ser colocado. Isso pode auxiliar em avaliar adicionalmente o valor da oportunidade para inserção de objeto digital, permitindo-se o posicionamento do objeto inserido digitalmente para ser visualizado. Também pode ser desejável criar um relatório de avaliação da oportunidade em potencial, listando-se quanto tempo total sobre quantas cenas o objeto inserido digitalmente pode ser visto. É importante perceber que o
Petição 870180032217, de 20/04/2018, pág. 12/62
5/54 vídeo pode ser parte de uma série de vídeos (por exemplo, o vídeo pode ser um episódio, ou show, em uma série, ou temporada, de um programa de televisão), o que significa que as mesmas cenas, locais, e personagens podem aparecer novamente em cada episódio ou show. Em tal uma situação, a avaliação pode abranger alguns ou todos os episódios/shows na série/temporada, conforme o valor real da inserção de objeto digital pode ser reconhecido melhor através de múltiplos episódios/shows.
[8] Pode haver várias razões para inserir digitalmente objetos em vídeos, e muitos contextos em que isso pode ser desejado. Em alguns exemplos, pode ser desejável a fim de aprimorar efeitos visuais. Em outros exemplos, pode ser desejável a fim de incluir itens adicionais no vídeo que não foram contemplados no momento de gravar o vídeo. Em outros exemplos, produtos particulares podem ser inseridos a fim de funcionar como uma forma de propaganda. Independentemente do contexto ou propósito, pode haver valor e/ou um número de benefícios em inserir digitalmente objetos em vídeos, porém o processo de identificação e avaliação é tecnicamente complexo e rigoroso e pode ser um uso ineficaz de recursos se um número insuficiente de oportunidades de inserção de objeto digital benéficas/valiosas for identificado.
Sumário [9] Os aspectos da presente revelação almejam melhorar
Petição 870180032217, de 20/04/2018, pág. 13/62
6/54 sobre métodos e sistemas para o processamento de vídeo que leva a incorporação de material adicional no vídeo (que compreende a avaliação do vídeo antes e/ou após a inserção de material adicional). Em particular, em um aspecto da presente revelação, um corpus pré-existente de dados de vídeo de origem é usado para produzir, testar e refinar um modelo de previsão para permitir a previsão das características de oportunidades de colocação. O modelo de previsão é criado com o uso de técnicas de análise de vídeo que obtém metadados relacionados às oportunidades de colocação (mencionados ao longo dessa revelação como Zonas de Inserção”), e através de identificação adicional de características categóricas relacionadas ao vídeo de origem que podem ser fornecidas como metadados com o vídeo de origem, ou obtidas através de técnicas de processamento de imagem descritos abaixo. Usando-se o modelo de previsão, o método e sistema podem ser usados para criar uma previsão de características de zona de inserção para projetos para os quais o vídeo de origem ainda não está disponível, porém para os quais as informações que correspondem às características categóricas identificadas são desconhecidas. Uma vez que a previsão das características da futura zona de inserção (ou seja, os metadados de zona de inserção relacionado que define suas propriedades) é conhecida, uma classificação de qualidade pode ser gerada para colocação de oportunidades para porções individuais de
Petição 870180032217, de 20/04/2018, pág. 14/62
7/54 vídeo, ou até mesmo novas séries de vídeos, e isso pode ser fornecido a uma plataforma de usuário de cliente em dependência das características de um perfil de usuário de cliente que correspondem às futuras características de zona de inserção previstas.
[10] De acordo com um primeiro aspecto da presente revelação, é fornecido um método implantado por computador para determinar metadados de zona de inserção de um novo vídeo, sendo que o método compreende: obter metadados categóricos relacionados ao novo vídeo, sendo que os metadados categóricos compreendem pelo menos uma variável categórica; obter, para cada uma dentre a pelo menos uma variável categórica, um valor de inserção associado; e determinar os metadados de zona de inserção do novo vídeo com base, pelo menos em parte, no pelo menos um valor de inserção, em que os metadados de zona de inserção do novo vídeo compreendem pelo menos um valor previsto de pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
[11] O valor de inserção pode, por exemplo, ser uma quantidade, ou número, ou medida, ou pode ser indicativa de uma quantidade, ou número, ou medida (por exemplo, pode ser algo que seja associado com um valor numérico particular, tal como um indicador a um valor numérico particular) que pode ser usado para determinar pelo menos um valor previsto
Petição 870180032217, de 20/04/2018, pág. 15/62
8/54 de pelo menos uma característica de zona de inserção correspondente. Por exemplo, o valor pode definir uma correlação entre a pelo menos uma variável categórica e uma ou mais características de zona de inserção relacionadas ao vídeo de origem, de modo que o valor (ou valores) previsto para a uma ou mais características de zona de inserção possa ser determinado a partir do valor de inserção.
[12] O valor previsto de pelo menos uma característica de zona de inserção correspondente pode ser qualquer magnitude, quantidade ou número apropriados que podem descrever ou definir o tamanho ou importância ou escala de uma característica de zona de inserção. Por exemplo, o valor previsto pode ser uma medida de tempo, tal como número de segundos, para uma característica de zona de inserção tal como uma duração de zona de inserção, ou pode ser uma medida de tamanho, tal como tamanho em mm2, ou cm2, ou porcentagem de tamanho de quadro, etc para um quadro de imagem, etc, etc.
[13] Obter o valor de inserção pode compreender analisar digitalmente o vídeo de origem para obter metadados vídeo de origem de zona de inserção, sendo que os metadados vídeo de origem de zona de inserção compreendem pelo menos um valor de uma característica de zona de inserção correspondente para o vídeo de origem.
[14] Preferencialmente, analisar digitalmente o vídeo
Petição 870180032217, de 20/04/2018, pág. 16/62
9/54 de origem compreende analisar uma pluralidade de instâncias de vídeo de origem, sendo que cada instância de vídeo de origem tem pelo menos uma variável categórica em comum. A variável categórica(ou variáveis categóricas) que os dois ou mais vídeos de origem têm em comum pode ser uma ou mais dentre as variáveis categóricas do novo vídeo. Por exemplo, o novo vídeo pode ser para uma nova série de episódios de um programa (Programa A) para ser dirigido por um diretor particular (Diretor X). Os metadados categóricos do novo vídeo podem, portanto, compreender variáveis categóricas Programa: Programa A” e Diretor: Diretor X”. Os dois ou mais vídeos de origem podem, portanto, todos terem a variável categórica Programa: Programa A” e/ou Diretor: Diretor X”.
[15] O método pode compreender adicionalmente criar uma função de previsão para uma variável categórica, sendo que a função de previsão é dependente de pelo menos um valor de uma característica de zona de inserção obtida para o vídeo de origem e a função de previsão que fornece um ou mais valores de inserção para uma variável categórica.
[16] O método pode compreender adicionalmente determinar uma Classificação de Impacto de Vídeo com base no pelo menos um valor previsto da pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
[17] O valor de uma característica de zona de inserção pode ser estimado com o uso de uma técnica de regressão de
Petição 870180032217, de 20/04/2018, pág. 17/62
10/54
Processo Gaussiano.
[18] A variável categórica pode se relacionar a uma ou mais dentre: tipo de conteúdo de vídeo; duração de conteúdo de vídeo; produtor de conteúdo de vídeo; equipe de conteúdo de vídeo; idade de conteúdo de vídeo; audiência destinada; distribuição geográfica; canais de distribuição destinada (por exemplo, emissão por TV e/ou online digital); dados de propaganda (por exemplo, patrocínio, colocação de produto e intervalos comerciais, pre-roll, mid-roll, post-roll); análise terceirizada (por exemplo, respostas de redes sociais); e/ou tempo de produção de conteúdo de vídeo.
[19] A uma ou mais características de zona de inserção podem se referir a pelo menos um dentre: posição de zona de inserção; tamanho de zona de inserção; duração de zona de inserção; local de zona de inserção; interatividade de caractere de zona de inserção; valor de importância de zona de inserção; proximidade de zona de inserção; orientação de zona de inserção; borrão de zona de inserção; situação principal de zona de inserção; e/ou repetição de zona de inserção.
[20] Obter um valor de inserção pode compreender aplicar aprendizado em máquina, por exemplo, aplicar uma técnica de regressão de Processo Gaussiano ou modelos de mistura Bayesiana, ou uma combinação de ambos.
[21] Determinar metadados de zona de inserção pode
Petição 870180032217, de 20/04/2018, pág. 18/62
11/54 também ter base em dados de preferência de usuário de cliente.
[22] Obter um valor de inserção associado a uma variável categórica pode compreender identificar uma variável categórica presente no vídeo de origem que utiliza um ou mais dentre: tecnologia de reconhecimento facial, reconhecimento de caráter óptico, processamento de rede neural convolucional, técnicas de visão de computador, leitura em metadados de mídia a partir do vídeo de origem ou um banco de dados externo, ou anotação manual.
[23] O método pode compreender adicionalmente determinar uma correlação entre valores previstos de metadados de zona de inserção e um ou mais perfis de usuário de cliente, sendo que os perfis de usuário de cliente compreendem valores preferenciais para características de zona de inserção, e comunicar as informações de metadados de zona de inserção previstas a um usuário de cliente que tem valores preferenciais para características de zona de inserção que se correlacionam aos valores previstos de características de zona de inserção.
[24] Em um aspecto adicional da presente revelação, é fornecido um meio legível por computador não transitório que tem instruções executáveis por computador armazenadas no mesmo que, quando executadas por um dispositivo de computação, fazem o dispositivo de computação realizar o
Petição 870180032217, de 20/04/2018, pág. 19/62
12/54 método identificado acima.
[25] Em um aspecto adicional da presente revelação, é
fornecido um dispositivo eletrônico (por exemplo, um
computador desktop, ou um servidor, ou um dispositivo
eletrônico móvel tal como um smartphone, ou computador
tablet, ou computador laptop) configurado para realizar o método identificado acima.
[26] Em um aspecto adicional, é fornecido um sistema (por exemplo, uma pluralidade de entidades interconectadas, módulos ou dispositivo, que podem ser instalados ou localizados em diferentes lugares geográficos) para determinar metadados de zona de inserção de um novo vídeo, sendo que o sistema compreende: um ou mais processadores; e um ou mais módulos de memória, em que os módulos de memória são configurados para armazenar instruções executáveis por computador que, quando executadas no um ou mais processadores, fazem com que o sistema: obtenha metadados categóricos relacionados ao novo vídeo, sendo que os metadados categóricos compreendem pelo menos uma variável categórica; obtenha, para cada uma dentre a pelo menos uma variável categórica um valor de inserção associado determine os metadados de zona de inserção do novo vídeo com base, pelo menos em parte no pelo menos um valor de inserção em que os metadados de zona de inserção do novo vídeo compreendem pelo menos um valor previsto de pelo menos
Petição 870180032217, de 20/04/2018, pág. 20/62
13/54 uma característica de zona de inserção correspondente para o novo vídeo.
Breve Descrição dos Desenhos [27] Os recursos e vantagens da presente revelação se tornarão aparentes a partir da descrição a seguir de uma modalidade da mesma, apresentada somente como maneira de exemplo, e com referência aos desenhos, em que números de referência semelhantes se referem às partes semelhantes, e em que:
[28] A Figura 1 é um diagrama esquemático que mostra um sistema de acordo com aspectos da presente revelação;
[29] A Figura 2 é um fluxograma que mostra uma visão geral de um processo de acordo com a presente revelação;
[30] A Figura 3 é um fluxograma que mostra um processo de análise de vídeo de origem de acordo com a presente revelação; e [31] A Figura 4 é um fluxograma que define a criação de um modelo de previsão e produção de um valor (ou valores) de inserção de acordo com a presente revelação;
Descrição dos Aspectos [32] A presente revelação se refere à determinação de metadados de zona de inserção de um novo vídeo com o uso de metadados categóricos (que compreendem pelo menos uma variável categórica, tal como produtor de conteúdo de vídeo, duração de conteúdo de vídeo, etc) relacionados ao novo
Petição 870180032217, de 20/04/2018, pág. 21/62
14/54 vídeo. Nessa maneira, mesmo enquanto o novo vídeo não está disponível ainda para análise detalhada (por exemplo, devido ao fato de que está meramente na forma de um roteiro e ainda não foi produzido), uma previsão de metadados de zona de inserção pode ser feita para o novo vídeo. Os metadados de zona de inserção podem, portanto, fornecer uma medida rápida de potencial para inserção de objeto no novo vídeo (por exemplo, pode ser determinado quantas oportunidades de zona de inserção de objeto digital em potencial podem estar presentes no novo vídeo e/ou a duração de oportunidades de zona de inserção e/ou a qualidade de oportunidades de zona de inserção, etc). Consequentemente, a avaliação/análise detalhada de vídeos para oportunidades de inserção de objeto digital pode ser restrita aos vídeos com potencial suficiente para justificar os recursos de computação de avaliação/análise detalhada, desse modo, melhora a eficiência computacional.
[33] Uma Patente expedida n- US 9294822B2, que pertence ao presente depositante, um catálogo de acesso online remoto que contém uma ou mais indicadores que são úteis para calcular automaticamente o valor monetário de uma colocação de um componente de propaganda digital, em que os indicadores e o valor monetário são determinados antes da locação de propaganda digital” é descrito. O documento também constata um ou mais indicadores relacionados ao material de vídeo
Petição 870180032217, de 20/04/2018, pág. 22/62
15/54 compreende pelo menos um dentre uma duração de partes selecionadas do material de vídeo que são adequadas para colocação de componentes de propaganda digital, um tamanho de zona de colocação, uma duração do material de vídeo, um tamanho de audiência previsto, uma demográfica de audiência prevista, um número de zonas de colocação, um tempo total de zonas de colocação dentro do material de vídeo, uma duração média de zona de colocação, e uma duração média de zona de colocação de episódio. As técnicas descritas que podem ser usadas em material sob consideração para Publicidade Nativa Em Vídeo (NIVA) para acessar ou determinar o número de oportunidades, examinando-se cada cena ou local por sua vez.
[34] A presente revelação usa técnicas analíticas de vídeo para prever as propriedades de colocação de propaganda para material que não está disponível para análise. Existem diversos cenários que dão aumento à necessidade para isso, que são explicados adicionalmente abaixo.
[35] Um aspecto da presente revelação se refere ao caso em que os episódios posteriores de uma série não são produzidos ainda. Devido ao fato de que não foram produzidos, não podem ser analisados. Outro cenário pode ser o comissionamento de uma nova temporada de um show popular. Por exemplo, essa pode ser uma temporada adicional da série popular Big Bang Theory. Um terceiro cenário pode ser que o material não esteja acessível para ser analisado. Tanto
Petição 870180032217, de 20/04/2018, pág. 23/62
16/54 por não ser possível enviar o material de transportadora física (embalagens de disco, fitas etc.) ao local em que a análise é realizada, quanto a existência de razões contratuais ou de segurança que explicam o motivo do material não poder passar para análise.
[36] A Figura 1 é um diagrama esquemático que mostra um sistema de processamento de vídeo exemplificativo 100 de acordo com aspectos da presente revelação. Os subsistemas do sistema de processamento de vídeo podem ser acoplados por meio de uma ou mais redes de comunicação de dados (não mostrado). Em alguns aspectos, os subsistemas podem ser acoplados um ao outro por meio da Internet.
[37] O subsistema 102, que é referido no presente documento como o hub de origem”, realiza, entre outras coisas, análise de dados de vídeo no sistema de processamento de vídeo 100. O hub de origem 102 pode recuperar dados de vídeo de origem como um ou mais arquivos digitais, fornecidos, por exemplo, em vídeo analógico ou digital ou fita de dados, em disco versátil digital (DVD), sobre uma rede de computador de alta velocidade, por meio da internet em um ou mais acionadores de disco removível ou em outras maneiras. Em um exemplo, os dados de vídeo de origem são fornecidos por um distribuidor. Em outro exemplo, os dados de vídeo de origem são fornecidos por um proprietário do conteúdo 104.
Petição 870180032217, de 20/04/2018, pág. 24/62
17/54 [38] Os dados de vídeo de origem compreendem quadros de material de vídeo. Os quadros contínuos de material de vídeo definido em uma localização são conhecidos como produções. O hub de origem 102 pode compreender um módulo de análise de dados de vídeo, que realiza pré-análise em relação aos dados de vídeo de origem. Tal análise pode ser realizada com o uso de software apropriado que permite objetos serem colocados digitalmente em material de vídeo existente. A pré-análise pode ser completamente automática em que não envolve qualquer intervenção humana.
[39] O módulo de análise de dados de vídeo pode ser usado para realizar um passe de pré-análise em relação aos dados de vídeo de origem para identificar uma ou mais produções nos dados de vídeo de origem. Isso pode envolver usar detecção de produção e/ou detecção de continuidade que será descrito agora em mais detalhes.
[40] A pré-análise pode compreender uma ou mais dentre uma função de detecção de produção, uma função de detecção de continuidade e/ou uma função de rastreamento, conforme será descrito abaixo.
[41] Uma função de detecção de produção para identificar os limites entre produções diferentes em dados de vídeo. Por exemplo, o módulo de análise de dados de vídeo detecta automaticamente cortes hard e soft entre produções diferentes, que correspondem a transições hard e
Petição 870180032217, de 20/04/2018, pág. 25/62
18/54 soft respectivamente. Os cortes hard correspondem a uma mudança abrupta em similaridade visual entre dois quadros consecutivos nos dados de vídeo. Os cortes soft correspondem ao início ou final de uma transição soft (por exemplo, transições wipe e cross fading), que são caracterizadas por uma mudança significante, porém gradual em aparência visual através de diversos quadros.
[42] Uma função de detecção de continuidade para identificar produções semelhantes (uma vez que detectadas) em dados de vídeo. Isso pode ser usado para aumentar a probabilidade de que cada produção (semelhante) em uma cena apresentada seja identificada — isso pode ser um benefício no contexto de colocação de objeto digital, conforme descrito acima. Por exemplo, conforme discutido, a ligação entre um objeto a ser inserido e o contexto das produções que foram identificadas deve ser mantida. Para cada produção detectada, um algoritmo de semelhança de produção detecta produções semelhantes visualmente automaticamente dentro dos dados de vídeo de origem. A detecção de semelhança pode ter base em combinação entre quadros, que captura uma semelhança global geral de fundo e luminosidade. Isso pode ser usado para identificar produções que são parte de uma cena apresentada a fim de acelerar o processo de selecionar produções que devem ser agrupadas com base nas semelhanças uma a outra.
Petição 870180032217, de 20/04/2018, pág. 26/62
19/54 [43] Uma função rastreamento (tal como um rastreamento de ponto 2D) detecta e rastreia múltiplos recursos de pontos em dados de vídeo. Isso envolve usar um algoritmo de rastreamento para detectar e rastrear pontos de recurso entre quadros consecutivos. Os pontos de recurso correspondem às localizações dentro de uma imagem que são características em aparência visual; em outras palavras, elas exibem um forte contraste (tal como um canto escuro em um fundo claro). Um recurso é rastreado se encontrar sua localização no próximo quadro se comparar a semelhança dos seus pixels vizinhos.
[44] O hub de origem 102 pode analisar os dados de vídeo de origem para encontrar regiões dentro dos dados de vídeo de origem que são adequadas para receber um ou mais componentes de vídeo adicionais. As regiões dentro dos dados de vídeo de origem que são adequadas para receber dados de vídeo adicionais são conhecidas como zonas de inserção. A pré-análise mencionada nos parágrafos anteriores permite a criação de metadados de zona de inserção que se refere às qualidades das zonas de inserção identificadas. Os metadados de zona de inserção incluem, porém sem limitação, pelo menos um dentre: a posição, o tamanho, e a duração da zona de inserção, e são mais descritos abaixo.
[45] O hub de origem 102 pode ser dotado de um ou mais módulos para a determinação das propriedades dos objetos a serem inseridos no vídeo.
Petição 870180032217, de 20/04/2018, pág. 27/62
20/54 [46] Um módulo de rastreamento, que pode ser usado para determinar como a posição de um objeto colocado digitalmente, pode variar quando adicionado no material de vídeo, por exemplo, para levar em consideração qualquer movimento da câmera que gravou o material de vídeo. O rastreamento pode ser automático e/ou pode envolver intervenção humana.
[47] Um módulo de mascaramento pode ser usado para analisar como lidar com a oclusão (se houver) de um objeto a ser colocado digitalmente no material de vídeo que tem relação com os outros objetos que já possam estar presentes no material de vídeo. A análise de mascaramento pode ser automática e/ou pode envolver intervenção humana.
[48] Um modulo de modelagem de aparência pode ser usado para determinar uma aparência desejada em relação ao objeto colocado digitalmente, por exemplo, com o uso de borrão, granulado, destaque, iluminação 3D e outros efeitos. A modelagem de aparência pode ser automática e/ou pode envolver intervenção humana.
[49] Todos esses módulos fornecem metadados de zona de inserção adicionais que podem definir as qualidades da zona de inserção - pode ser gravado, por exemplo, se uma zona de inserção está sujeita ao borrão de movimento, oclusão por objetos em movimento, o custo/dificuldade de inserção de objeto na zona de inserção, etc. ou não, de modo que as oportunidades de colocação possam ser classificadas como
Petição 870180032217, de 20/04/2018, pág. 28/62
21/54 mais ou menos desejadas, por exemplo, a uma marca em potencial ou anunciante que deseja colocar seu produto ou serviço no vídeo.
[50] O módulo de aprendizagem de máquina 106 no sistema 100 recebe o conteúdo de vídeo a partir do hub de origem 102, e deriva a partir dos metadados um modelo das características das Zonas de Inserção encontradas no conteúdo de vídeo de origem e sua relação às características do conteúdo de vídeo por si só, conforme é descrito adicionalmente em detalhes abaixo.
[51] A armazenagem de dados de vídeo novo 108 compreende uma armazenagem de dados em que metadados categóricos relacionados a um novo vídeo, e opcionalmente o conteúdo de novo vídeo por si só, são armazenados. Por exemplo, pode pertencer e/ou ser operado por uma entidade externa, tal como Netflix®, ou por uma entidade que é responsável e/ou opera parte ou todo o resto do sistema 100. A armazenagem de dados de vídeo novo 108 (que é uma armazenagem de dados para novo vídeo) fornece metadados que incluem variáveis categóricas e variáveis contínuas relacionadas ao conteúdo de novo vídeo ao módulo de previsão 110. O módulo de previsão 110 usa valores de inserção associados às variáveis categóricas e opcionalmente às variáveis contínuas que foram derivadas a partir do conteúdo de vídeo de origem analisado por módulo de aprendizagem de máquina 106 e combina as mesmas
Petição 870180032217, de 20/04/2018, pág. 29/62
22/54 com os metadados categóricos relacionados ao conteúdo de novo vídeo fornecido a partir da armazenagem de dados de vídeo novo 108 para derivar previsões para as características esperadas de zonas de inserção que podem estar presentes no conteúdo de novo vídeo, sem ser apresentadas com o conteúdo de novo vídeo propriamente dito. Isso está descrito em mais detalhes abaixo.
[52] Em alguns aspectos, ter previsões derivadas para as características esperadas de oportunidades de inserção de conteúdo de novo vídeo de acordo com as técnicas analíticas descritas abaixo, o módulo de previsão 110 pode opcionalmente realizar uma busca de um banco de dados de preferência de cliente 112, em que os dados de preferência são armazenados relacionados aos clientes existentes ou em potencial que podem desejar ter a oportunidade de colocar digitalmente um objeto em uma cena ou cenas de conteúdos de novo vídeo. Os dados de preferência podem compreender, porém sem limitação, pelo menos um dentre: tamanho mínimo de zona de inserção, duração mínima/máxima de zona de inserção, frequência mínima/máxima de zonas de inserção, valores de tolerância de oclusão, informações de semântica relacionadas ao produto ou marca fornecido pelo usuário de cliente etc. O módulo de previsão 110 pode determinar se existe uma combinação ou correlação entre as características esperadas previstas de oportunidades de inserção no novo vídeo e os dados de
Petição 870180032217, de 20/04/2018, pág. 30/62
23/54 preferência armazenados ou não. Nessa maneira, os terceirizados podem estar cientes de oportunidades de colocação que combinam com seus critérios de preferência armazenado no banco de dados de preferência 112, com base em variáveis categóricas obtidas e características correspondentes de zona de inserção determinadas para o novo vídeo conforme descrito acima.
[53] As previsões para características esperadas de oportunidades de inserção no novo vídeo podem ser comunicadas a um módulo de armazenagem de previsão 130, que, por exemplo, pode compreender um banco de dados ou qualquer outro meio de armazenagem de dados adequado.
[54] A Figura 2 mostra uma visão geral de alto nível de um processo de acordo com a presente revelação. Cada uma das etapas do processo está descrita em mais detalhes abaixo, mas em resumo:
[55] Na etapa 200, os metadados categóricos relacionados a um novo vídeo são obtidos pelo módulo de previsão 110.
[56] Na etapa 202, os valores de inserção associados a cada variável categórica nos metadados categóricos, cada um, é obtido pelo módulo de previsão 110.
[57] Na etapa 204, os metadados de zona de inserção relacionados ao novo vídeo são determinados com base, pelo menos em parte, no pelo menos um valor de inserção. Os
Petição 870180032217, de 20/04/2018, pág. 31/62
24/54 metadados de zona de inserção que são determinados são uma previsão da natureza das zonas de inserção que podem estar presentes no novo vídeo com base na combinação particular de variáveis categóricas do novo vídeo que são obtidas na etapa 200.
Etapa 200: obter metadados categóricos relacionados ao novo vídeo.
[58] Na etapa 200, os metadados categóricos relacionados a um novo vídeo são obtidos pelo módulo de previsão 110. Os metadados categóricos compreendem pelo menos uma variável categórica. Os exemplos de variáveis categóricas são: tipo de conteúdo de vídeo; duração de conteúdo de vídeo; produtor de conteúdo de vídeo; equipe de conteúdo de vídeo; idade de conteúdo de vídeo; audiência destinada; distribuição geográfica; canais de distribuição destinada (por exemplo, emissão por TV e/ou online digital); dados de propaganda, por exemplo, patrocínio, colocação de produto e intervalos comerciais, pre-roll, mid-roll, postroll; análise terceirizada, por exemplo, respostas de redes sociais; e tempo de produção de conteúdo de vídeo.
[59] O módulo de previsão 110 pode obter os metadados categóricos a partir da armazenagem de dados de vídeo novo 108, por exemplo, recuperando-os a partir da armazenagem de dados de vídeo novo 108 (uma operação pull), ou recebendoos a partir da armazenagem de dados de vídeo novo 108 (uma
Petição 870180032217, de 20/04/2018, pág. 32/62
25/54 operação push”).
[60] Os metadados relacionados ao novo vídeo podem ter sido obtidos ou determinados em qualquer maneira adequada. Por exemplo, em algumas implementações, um roteiro existirá para uma série ou episódio a ser produzido (ou seja, um roteiro para o novo vídeo”). Nesse caso, o roteiro pode ser analisado digitalmente para determinar pelo menos uma variável categórica, e/ou suas informações de produção associadas, tal como equipe de produção, e/ou elenco, e/ou localizações, que pode ser usada como a pelo menos uma variável categórica. A análise digital pode incorporar uma ou mais análise de dados qualitativos auxiliados, reconhecimento de caráter óptico, ou outras técnicas de linguísticas computacionais.
Etapa 202: obter um valor de inserção associado [61] Na etapa 202, o módulo de previsão 110 obtém um valor de inserção associado a cada uma dentre pelo menos uma variável categórica nos metadados categóricos relacionados ao novo vídeo. O valor de inserção pode ser obtido desenvolvendo-se um modelo, ou função de previsão, com o uso de análise de vídeo de origem, conforme descrito com referência às Figuras 3 e 4. Contudo, será observado que os processos descritos em relação as Figuras 3 e 4 são exemplos sem limitação da maneira em que os valores de inserção podem ser determinados. Enquanto o módulo de previsão 110 podem
Petição 870180032217, de 20/04/2018, pág. 33/62
26/54 realizar as etapas das Figuras 3 e 4 (ou opcionalmente somente as etapas da Figura 4, com as variáveis categóricas e metadados de zona de inserção do vídeo de origem que foram determinados por alguma outra entidade previamente, e meramente buscado ou recuperado pelo módulo de previsão 110 a fim de realizar o processo da Figura 4), será observado que em uma alternativa o módulo de previsão pode simplesmente buscar, recuperar ou receber o valor (ou valores) de inserção, por exemplo, se tiverem sido determinados previamente por alguma outra entidade.
[62] A Figura 3 mostra um processo exemplificativo de acordo com um aspecto da presente revelação em que o vídeo de origem é analisado para desenvolver Metadados de zona de inserção para o vídeo de origem que compreende tanto variáveis categóricas quanto variáveis contínuas em um modelo analítico. Os metadados que são gerados nesse processo são efetivamente uma lista de características de zona de inserção de vídeo de origem que pode então relacionar a combinação particular de variáveis categóricas presentes no conteúdo de vídeo de origem para oportunidades de colocação de objeto. Um modelo, ou função de previsão, pode então ser desenvolvido para estabelecer um valor de inserção associado a cada uma dentre as variáveis categóricas. O valor de inserção associado pode definir uma correlação entre a pelo menos uma variável categórica no vídeo de origem e uma ou
Petição 870180032217, de 20/04/2018, pág. 34/62
27/54 mais características de zona de inserção do vídeo de origem (explicado em mais detalhes com referência à Figura 4).
[63] O vídeo de origem é recebido pelo hub de origem 102 na etapa 300, e na etapa 302 a pré-análise é realizada pelo hub de origem 102, que compreende parte ou algumas ou todas as etapas de pré-análise que estão descritas acima. Uma vez que a pré-análise tenha sido realizada, e as zonas de inserção identificadas, os metadados de zona de inserção podem ser gerados (etapa 304).
[64] Os metadados de zona de inserção compreendem um ou mais valores para cada uma dentre uma ou mais características de zona de inserção. As características de zona de inserção podem se referir principalmente às variáveis contínuas, que incluem, porém sem limitação, ao comprimento de zona de inserção, tamanho de zona de inserção, duração de zona de inserção, frequência das inserções, oclusões, etc.
[65] Um exemplo em particular, sem limitação, de metadados de zona de inserção para uma zona de inserção de um vídeo de origem é:
Característica de zona de inserção Valor
Tamanho de zona de inserção 20% de quadro de imagem
Duração de zona de inserção 13 segundos
Local de cena Cozinha
Repetição de zona de inserção 3
[66] Será observado que múltiplas zonas de inserção
Petição 870180032217, de 20/04/2018, pág. 35/62
28/54 podem ser identificadas no vídeo de origem, de modo que múltiplos instantes de uma ou mais características de inserção acima possam estar presentes nos metadados de zona de inserção para cada zona de inserção identificada.
[67] As variáveis categóricas para o vídeo de origem também podem ser extraídas automaticamente através do passe de pré-análise. Os dados de semântica podem ser extraídos a partir de um local identificado na pré-análise; os algoritmos de detecção de face podem identificar atores que estão presentes no vídeo. A partir da análise da faixa de áudio do vídeo, as informações relacionadas ao gênero podem ser identificadas. Por exemplo, se uma série de comédia americana pode ser identificada a partir de uma faixa de risadas presente no áudio, ou um suspense pode ser identificado pela presença de tidos. Adicionalmente, os metadados podem estar presentes no vídeo de origem, que incluem o título do show, diretor, ator e outras informações de equipe, a origem do vídeo, a data de produção etc., e parte ou todos dentre eles podem ser extraídos para o uso como variáveis categóricas no desenvolvimento do modelo analítico.
[68] A uma ou mais variáveis categóricas para o vídeo de origem pode compreender uma ou mais dentre: tipo de conteúdo de vídeo; duração de conteúdo de vídeo; produtor de conteúdo de vídeo; equipe de conteúdo de vídeo; e tempo de produção de conteúdo de vídeo.
Petição 870180032217, de 20/04/2018, pág. 36/62
29/54 [69] A Figura 4 mostra um processo exemplificativo de desenvolver um modelo, ou uma função de previsão, com o uso dos mesmos o um ou mais valores de inserção pode ser obtido.
[70] A fim de gerar o modelo, pode ser preferencial usar os metadados de zona de inserção para uma pluralidade de exemplos de vídeo de origem que têm uma ou mais variáveis categóricas em comum. A variável categórica(ou variáveis categóricas) que os exemplos de vídeo de origem todos têm em comum pode ser uma ou mais dentre as variáveis categóricas do novo vídeo. Portanto, na etapa 400, os metadados categóricos para o novo vídeo são usados para obter metadados relevantes de zona de inserção de um vídeo (ou vídeos) de origem.
[71] Por exemplo, o novo vídeo pode ser para uma nova série de episódios de um programa (Programa A) para ser dirigido por um diretor em particular (Diretor X). Os metadados categóricos do novo vídeo podem, portanto, compreender variáveis categóricas Programa: Programa A” e Diretor: Diretor X”. Na etapa 400, os metadados de zona de inserção para todos os episódios anteriores daquele programa em particular dirigido por aquele diretor em particular podem ser fornecidos ao módulo de previsão 110 para desenvolver o modelo.
[72] Portanto, pode-se dizer que os metadados de zona de inserção para o vídeo de origem obtidos na etapa 400
Petição 870180032217, de 20/04/2018, pág. 37/62
30/54 combinam com os metadados categóricos do novo vídeo.
[73] A função de previsão cria metadados que compreendem valores previstos para variáveis contínuas relacionadas às zonas de inserção para vídeo não visto pelo módulo de previsão. O módulo de previsão pode então revisar automaticamente metadados armazenados no banco de dados de preferência de cliente 112 para usuários de cliente que tenham armazenado dados de preferência que está de acordo com os valores previstos obtidos a partir da função de previsão. Embora uma correlação ou combinação seja encontrada entre os valores previstos das variáveis contínuas e dos dados de preferência de usuário, uma comunicação pode ser elaborada que compreende informações relacionadas às oportunidades de zona de inserção futuras e comunicadas ao usuário.
[74] Na etapa 402, uma função de previsão é criada com base nos metadados de zona de inserção do vídeo (ou vídeos) de origem obtidos na etapa 402. A função de previsão gera um valor de inserção para cada variável categórica do novo vídeo e uma ou mais características de zona de inserção dos metadados vídeo de origem de zona de inserção obtidos na etapa 400.
[75] Como maneira de exemplo, análises podem ser usadas para identificar padrões dentro de uma temporada ou série de episódios. Por razões de narrativa ou de economia, um
Petição 870180032217, de 20/04/2018, pág. 38/62
31/54 número limitado de locais é usado para a produção. O mesmo pode ser o apartamento do herói, sua cozinha, a cena de rua no exterior do apartamento do mesmo, e seu local de trabalho. Por análise cautelosa de pelo menos alguns dos episódios em uma série, é possível determinar padrões através das séries. Geralmente a abertura de série, e o encerramento de série (normalmente um episódio de dupla duração) não são típicos de outros episódios. Mas do segundo ao último episódio, os padrões aparecem de uso de locais e, portanto, de oportunidades em potencial para colocações.
[76] Em uma extensão adicional a isso, pode haver grandes semelhanças entre temporadas de um show apresentado. Adicionalmente, com o uso da presente revelação, os perfis de típicos gêneros de entretenimento podem ser gerados. Por exemplo, comédias de situação sobre duas famílias. Foram constatados padrões analíticos entre essas comédias de situação, e à luz de quaisquer informações adicionais é interpretado que uma comédia de situação nesse gênero terá um número de oportunidades semelhante para NIVA assim como as outras, junto com um perfil semelhante dentro dos episódios de uma temporada.
[77] Outras análises associadas podem envolver aprendizagem de máquina (por exemplo, usar o módulo de aprendizagem de máquina 106). É possível determinar a partir da análise de grandes quantidades de vídeos de origem a
Petição 870180032217, de 20/04/2018, pág. 39/62
32/54 distribuição de oportunidades de inserção e sua correlação com metadados categóricos (e, consequentemente, prever valores para as características de zona de inserção de novos vídeos, conforme descrito em mais detalhes em relação à Etapa
204). Como maneira de exemplo, pode ser desejado analisar um grande volume de programas considerados como comédia.
Em um aspecto, pode valer a pena subdividir a categoria de comédia em subcategorias tal como comédia de situação ff ,
ou comédia de família, e analisar as oportunidades de inserção. Isso pode permitir um valor de inserção a ser determinado para cada variável categórica para definir uma correlação entre a variável categórica (por exemplo, comédia de situação) e uma ou mais características de zona de inserção (por exemplo comprimento de zona de inserção).
Portanto, se uma nova série for feita, a mesma será uma comédia de situação, um modelo para vídeos de origem com as variáveis categóricas de comédia de situação podem ser desenvolvidas, que podem ser usadas para obter um valor de inserção que define uma correlação entre a variável categórica comédia de situação e uma característica de zona de inserção (tal como tamanho de zona de inserção) e opcionalmente obter um valor adicional de inserção que define uma correlação entre a variável categórica comédia de situação e uma característica adicional de (tal como posição de zona de inserção), zona de inserção etc. O valor (ou
Petição 870180032217, de 20/04/2018, pág. 40/62
33/54 valores) de inserção pode ser usado para determinar pelo menos um valor previsto para pelo menos uma característica de zona de inserção para a nova série (conforme explicado em mais detalhes com referência à Etapa 204) e, consequentemente, uma classificação de qualidade para oportunidades de inserção em potencial pode ser feita.
Etapa 204: determinar metadados de zona de inserção para novo vídeo [78] Na etapa 204, o valor (ou valores) de inserção obtido na etapa 202 é usado para determinar metadados de zona de inserção do novo vídeo. Os metadados de zona de inserção do novo vídeo compreendem pelo menos um valor com base na pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
[79] Por exemplo, um valor de inserção pode definir uma correlação entre uma variável categórica do novo vídeo e a posição de zona de inserção” de característica de zona de inserção. Aquele valor de inserção é então usado na etapa 204 para determinar um valor previsto para a posição de zona de inserção” de característica de zona de inserção para o novo vídeo. Da mesma maneira, para cada uma dentre uma ou mais outras características de zona de inserção, um valor de inserção associado pode ter sido obtido na etapa 202, de modo que um valor previsto para o novo vídeo para cada uma dentre essas características de zona de inserção possa também
Petição 870180032217, de 20/04/2018, pág. 41/62
34/54 ser determinado na etapa 204.
[80] Será observado que como parte da Etapa 202 e/ou Etapa 204, os aspectos do modelo podem ser refinados através de um processo de comparar a saída do módulo de previsão 110 como dados atuais que existem relacionados às variáveis categóricas e contínuas e material de vídeo associado.
[81] Opcionalmente, o módulo de previsão 110 pode então revisar automaticamente os metadados armazenados no banco de dados de preferência de cliente 112 para usuários de cliente que tenham dados de preferência armazenados que estão de acordo com os valores previstos de metadados de zona de inserção para o novo vídeo obtido a partir da função de previsão. Embora uma correlação ou combinação seja encontrada entre os valores previstos das variáveis contínuas (ou seja, das características de zona de inserção) e os dados de preferência de usuário, uma comunicação pode ser elaborada para comunicar ao módulo de armazenagem de previsão 130 que compreende informações relacionadas às oportunidades futuras de zona de inserção.
[82] Adicional ou alternativamente, os metadados de zona de inserção determinados podem ser usados para determinar o número de oportunidades de zona de inserção em potencial no novo vídeo (por exemplo, oportunidades de potencial em média por episódio, ou por série, etc). Por exemplo, somente os metadados de zona de inserção com valores
Petição 870180032217, de 20/04/2018, pág. 42/62
35/54 que coincidem com os critérios particulares (tal como duração de zona de inserção que ultrapassa t segundos e/ou tamanho de zona de inserção que ultrapassa s% do quadro de imagem, etc) podem ser classificados como oportunidades de zona de inserção em potencial. Os critérios podem ter base em critérios de cliente armazenados no banco de dados de preferência de cliente 112, ou em quaisquer outros critérios, por exemplo, determinar critérios que o módulo de previsão 110 sempre se aplique.
[83] Em um aspecto adicional da revelação, as análises podem rastrear parâmetros de produção e créditos. Pode ser deduzido a partir das produções já feitas que comédias de situação contém em média, por exemplo, 7,2 oportunidades de inserção. Também pode ser deduzido que comédias de situações escritas por Alec Berg (escritor da série Silicon Valley”) contém em média, por exemplo, 8,2 oportunidades. Portanto, se uma nova série de comédia de situação for produzida, escrita por Alec Berg, o modelo pode ser usado para prever uma estimativa melhor para o número provável de oportunidades e, consequentemente, o valor de 8,2.
[84] É possível prever as oportunidades de inserção para novos vídeos que ainda não existam com base nas combinações de dados de produção históricos a partir dos vídeos de origem. Por exemplo, se os dados históricos a partir dos vídeos de origem forem de uma comédia de situação
Petição 870180032217, de 20/04/2018, pág. 43/62
36/54 determinada tal como Silicon Valley”, tem uma média de 4,8 oportunidades por episódio, porém um novo diretor é empregado para uma série futura, e os programas anteriores desse diretor (talvez nem seja comédia de situação) estão associados aos altos números de oportunidades. Se, por exemplo, ele usa produções de longa duração que são boas para inserção de objeto, então o número de oportunidades e também informações adicionais relacionadas às inserções de objeto em potencial, tal como suas características, seriam melhor estimadas ademais ao número fornecido pelos dados históricos.
[85] Os parâmetros em que as análises podem ser conduzidas incluem, sem limitação, um ou mais dentre: gênero de programa, subgênero, duração, produtor, diretor, escritores, atores, coadjuvantes, cameramen, equipes de produção.
[86] Conduzindo-se as análises para rastrear os parâmetros, através de realizações históricas, é possível determinar algoritmicamente o número provável e características de oportunidades de inserção de objeto que são prováveis de existir em uma produção futura. Um algoritmo simples pode ser para ponderar os parâmetros analíticos acima com pesos determinados, para então somar e produzir uma classificação” provável geral. Outros algoritmos mais complexos podem utilizar termos de poder, e/ou coeficientes
Petição 870180032217, de 20/04/2018, pág. 44/62
37/54 não lineares para reclassificar alguns parâmetros específicos.
[87] Por exemplo, onde somente um modelo, ou função de previsão desenvolveu, pode haver somente um valor de inserção associado a cada característica de zona de inserção.
Contudo, onde dois ou mais modelos são desenvolvidos, pode haver dois ou mais valores de inserção obtidos para cada característica de zona de inserção, em que determinar o valor previsto de uma característica de novo vídeo pode ter base em dois ou zona de inserção para o mais valores de inserção.
Por exemplo, o novo vídeo pode ter duas variáveis categóricas (tal como Programa B” e Produtor Y”. Um modelo pode ser desenvolvido com base em vídeos de origem que compartilham uma das variáveis categóricas (tal como Programa B”). Esse modelo pode ser usado para gerar um ou mais valores de inserção, cada um dos quais corresponde a uma diferente característica de zona de inserção. Um segundo modelo pode ser desenvolvido com base em vídeos de origem que compartilham outra variável categórica (Produtor Y”). Esse modelo pode ser usado para gerar um segundo conjunto de um ou mais valores de inserção, cada um dos quais corresponde a uma diferente característica de zona de inserção. Nessa maneira, cada característica de zona de inserção pode ter dois valores de inserção associados, com base nos quais os metadados de zona de inserção para o novo vídeo podem ser
Petição 870180032217, de 20/04/2018, pág. 45/62
38/54 determinados .
[88] Opcionalmente, os valores previstos dos metadados de zona de inserção do novo vídeo podem ser usados para determinar uma Classificação de Impacto Visual para uma oportunidade de zona de inserção prevista. A classificação de impacto visual pode então permitir o impacto visual em potencial de uma oportunidade de zona de inserção prevista no novo vídeo a ser analisado ou classificado, de modo que o número de oportunidades de zona de inserção previstas que alcança um impacto visual desejado possa ser determinado, desse modo, apresentam informações adicionais relacionadas ao potencial para oportunidades de inserção de objeto no
novo vídeo. Isso será explicado em mais detalhes
posteriormente.
[89] Portanto, pode ser observado que o processo
representado na Figura 2 permite metadados de zona de
inserção para um novo vídeo a ser determinado, com base em uma análise de vídeo de origem relevante. Realizando-se esse processo, quando o novo vídeo estiver disponível para análise detalhada (por exemplo, quando o novo vídeo for produzido e a gravação estiver disponível), somente novos vídeos que tenham uma promessa razoável de oportunidades de inserção podem ser analisados em detalhes. Consequentemente, o tempo e recursos de computação podem ser utilizados mais eficientemente e efetivamente. Por exemplo, as análises
Petição 870180032217, de 20/04/2018, pág. 46/62
39/54 associadas a serem conduzidas como parte da presente revelação podem funcionar em diferentes maneiras. Em algumas implementações, um roteiro existirá para uma série ou episódio futuro. Nesse caso, o roteiro pode ser analisado digitalmente, e suas informações de produção associadas, tal como equipe de produção, ou elenco, ou localizações a serem usadas. O mesmo pode ser, em um exemplo, um episódio inteiro de 30 minutos situado no apartamento do herói. Isso limita as oportunidades de inserção e, consequentemente, o valor em potencial de análise detalhada de inserção de objeto, comparado com outra produção, em que um episódio de 30 minutos é mostrado no roteiro como que tem cenas situadas no interior, no exterior, em cidade e em campo. Pode ser observado que a partir desse exemplo, a última série pode ter oportunidades para uma variedade mais ampla de itens que a anterior. Poderia ser, por exemplo, impossível colocar um automóvel em uma sala, mas seria fácil em uma produção no exterior. Portanto, o processo da presente revelação pode identificar rapidamente que a análise detalhada de inserção de objeto da última série pode valer a pena quando o vídeo estiver disponível, mas que pode não valer a pena para a série anterior. Isso melhora a eficiência da análise detalhada, visto que o tempo e recursos computacionais não seriam desperdiçados na série anterior.
[90] Em uma implementação do processo descrito acima,
Petição 870180032217, de 20/04/2018, pág. 47/62
40/54 pode ser aplicada a aprendizagem de máquina nos dados históricos completamente ou em uma subdivisão disponível (por exemplo, com o uso do módulo de aprendizagem de máquina 106). Uma vez que a fase de treinamento tenha sido completada nessa subdivisão, é então solicitada para produzir estimativas para combinações de parâmetros que não tenha visto, mas que existem na parte restante dos dados históricos. Isso pode então calibrar a aprendizagem, como se houvesse uma boa correlação entre as estimativas calculadas para material não presentes no treinamento, e os valores reais para esse material quando o treinamento for bem-sucedido.
[91] As maneiras que Aprendizagem de máquina podem ser aplicadas ao problema são as seguintes:
[92] Primeiramente, será definida a terminologia que será usada [93] Uma produção é um segmento contínuo de vídeo. Pode ser interpretado como um intervalo de tempo [a, b] em um vídeo.
[94] _ Uma cena é uma coleção de produções de vídeo.
[95] _ Uma produção de utilidade é uma produção que é adequada para uma oportunidade de inserção de objeto.
[96] _ Um quadro de cartaz é um quadro de vídeo que resume melhor a produção de utilidade.
[97] _ Uma caixa azul é uma área de imagem específica
Petição 870180032217, de 20/04/2018, pág. 48/62
41/54 em um quadro de cartaz, que irá conter o objeto inserido.
[98] A função de avaliação f de uma oportunidade de inserção de objeto determinada depende de diversas variáveis. Essas variáveis podem ser categóricas ou contínuas. Uma variável categórica é uma para qual um valor existe, porém que varia entre um conjunto de resultados discretos. Por exemplo, a variável “gênero” pode ser “comédia de situação”, “drama”, “entretenimento” etc. Isso não será um valor numérico que esteja entre esses valores discretos. Da mesma maneira, a variável categórica para a categoria “Ator” será definida como “Peter Dinklage” ou “Julia LouisDreyfus”. Uma variável contínua se refere nem termos gerais aos metadados que são gerados relacionados à zona de inserção propriamente dita, descrito adicionalmente abaixo.
[99] Considerando-se as variáveis categóricas: Os exemplos de variáveis categóricas em que f depende são:
[100] • A família de mídia, por exemplo, “Hannibal” indicado por m = 1,..., M;
[101] • A categoria de marca indicada por b = 1,.., B;
[102] • A idade da família de mídia t em anos (ou seja, a função de previsão f de uma oportunidade determinada pode depender da data r idade da família de mídia.) [103] A existência de variáveis categóricas que têm valores discretos pode tornar difícil estimar uma função
Petição 870180032217, de 20/04/2018, pág. 49/62
42/54 única de previsão f. Em vez disso, pode ser mais fácil estimar uma família de funções de previsão fm,b indicada por m, b. Cada função de estimativa fm,b é uma série temporal que depende de diversas variáveis contínuas que são enumeradas no próximo parágrafo.
[104] Considerando-se as Variáveis contínuas, as mais notáveis em que f depende são relevantes para realizar a previsão de uma oportunidade de inserção de objeto específica para uma produção de vídeo determinada, ou seja, um intervalo de vídeo de um episódio de uma família de mídia.
[105] As mesmas podem compreender pelo menos uma, porém sem limitação, dentre:
[106] · A posição e tamanho (x, y, h, w) da zona de inserção: quanto maior e mais central a caixa azul estiver, maior o impacto do objeto inserido.
[107] · A duração da cena, ou seja, d, a duração temporal em segundos do objeto inserido específico no vídeo;
[108] · As medidas de integração, m, que compreendem pelo menos um dentre:
[109] o Valor de interatividade: tipicamente é preferencial substituir um objeto existente, por exemplo, um smartphone, na cena e com outro objeto. Quanto mais um personagem interage com um produto publicitado, maior a probabilidade da atenção da audiência se voltar ao produto inserido, consequentemente, um valor maior do produto
Petição 870180032217, de 20/04/2018, pág. 50/62
43/54 inserido .
[110] o Valor de situação principal: se o objeto
estiver colocado em uma área de imagem em que se mistura no fundo, é provável que a audiência não prestará atenção ao objeto inserido. Contudo, se o oposto ocorrer, a probabilidade de a audiência notar será maior.
[111] o Proximidade da zona de inserção em relação à ação. Os objetos mais próximos à ação terão um impacto maior.
[112] o Repetição do objeto. Quanto maior o número
de objetos repetidos, maior o impacto.
[113] o Orientação, quanto mais na frente o objeto
estiver colocado, maior o impacto.
[114] Mais ou menos variáveis categóricas poderiam
ser usadas, conforme será observado pelos especialistas no assunto.
[115] Uma classificação de afinidade s com a
produção atual, ou seja, que quantifica a afinidade entre a
categoria de objeto e o local e superfícies relevantes
existentes na produção de vídeo será desenvolvida.
[116] Pode ser conduzido agora a modelagem
estatística. É importante notar que as classificações
qualidade medidas podem ser distorcidas.
[117] Para fazer previsões com essas variáveis, é
possível fazer as seguintes suposições.
Petição 870180032217, de 20/04/2018, pág. 51/62
44/54 [118] · Qualquer uma dessas variáveis segue uma distribuição estável por episódio, que pode ser modelada por meio de processos estocásticos, em particular, processos Gaussianos (consultar, Gaussian Processes for Machine Learning, Rassmussen and Wiliams, 2006). Nesse caso, essas variáveis são agora variáveis aleatórias e podem ser indicadas em letras maiúsculas X, Y, H, W, Δ, M, S e as letras minúsculas podem indicar um ponto de dados de amostra identificado. Conforme constatado anteriormente, visto que os pontos de amostra são distorcidos, portanto X = X ' + σ em que X' é a verdadeira variável aleatória que é desejado observar e σ é a variável aleatória que modela a distorção de medida. • Ou essas variáveis variam lentamente ao longo dos episódios e é possível modelar as mesmas por um processo estocástico. Então Xt = X't + σ^-^ e assim por diante.
[119] Também é possível definir Dados de Validação de Informações de Terreno. Para uma determinada família de mídia m e para um determinado ano t, é possível armazenar os seguintes dados:
[120] • O número de oportunidades por episódio O.
[121] • A classificação de qualidade de objeto inserido por episódio A: que quantifica a qualidade de uma determinada oportunidade de inserção de objeto.
[122] As variáveis mencionadas acima são armazenadas ao longo do tempo e é possível estimar ou prever
Petição 870180032217, de 20/04/2018, pág. 52/62
45/54 a função de previsão a partir de diferentes pontos de vista. A seguir, supõe-se que os dados sejam suficientemente grandes e o comportamento do objeto inserido seja não linear, caso contrário pode chegar a fazer uma regressão linear. É possível padronizar variáveis para assegurar a estabilidade numérica no problema de estimativa. É considerado um primeiro exemplo:- [123] Para uma determinada família de mídia m, e uma determinada categoria de marca b, e um determinado tempo t, é possível prever a classificação de qualidade de objeto inserido por episódio Am,b,t a partir do histórico Am,bf1, Am,br2, Am,b,t-1. Note aqui que não há tentativas de modelar as dependências de variável listadas acima. Isso é um problema de previsão de série temporal.
[124] Se os dados ainda não forem suficientes, pode ser útil agrupar famílias de mídia por gênero para aumentar os dados à custa de ser menos preciso na previsão na série temporal.
[125] Agora se considera um segundo exemplo. É possível aprender as dependências de variável em geral entre a classificação de qualidade de objeto inserido e as outras variáveis mencionadas acima? Especificamente, é possível aprender uma função f de modo que Am,b = f (X,Y,H,W,A,M,S) ?
[126] Supõe-se que as dependências de variável sejam relativamente invariáveis por gênero. Se não for
Petição 870180032217, de 20/04/2018, pág. 53/62
46/54 desejado modelar as dependências temporais. É necessário esquecer primeiramente o fato de que as variáveis são variáveis aleatórias. Então é possível esboçar o seguinte modelo:
4m,ò,t — + at (1)
fo+i, 9t+i-> ht+i, Wt+i) = yr.ti hi-.t, Wi-.t) + (2)
= (3)
mt+i = (4)
St+l = (5)
[127] Onde o registro de margem indica a
classificação de qualidade de meio temporal por um período de tempo determinado, por exemplo, um mês. Por exemplo, para uma família de mídia m ser emitida semanalmente, então, a classificação de qualidade média por mês da variável x é 1 VXt = v > , Xt' (6) 4 t'=o [128] Então o objetivo é estimar o argmax da seguinte distribuição de probabilidade condicional em cada tempo:
p(--bn,b,íkt· t/t, ht, , st) [12 9] que pode ser modelado normalmente como um modelo de mistura Bayesiana (por exemplo, GMM) e estimado por meio de MCMC.
[130] A variável Awh<t depende de variáveis aleatórias xt, yt, ht, wt, mt, st que são modeladas por
Petição 870180032217, de 20/04/2018, pág. 54/62
47/54 processos Gaussianos:
ρ((·η+! < Ut+1 < ht+1 < wt+i) | {(.rs, ys, hs, ws)}*=1
[131] p(st+l )|si:t) Opcionalmente, é possível aumentar a
classificação de qualidade de objeto inserido se uma família de mídia for muito popular ou alguma outra medida externa. Por exemplo, é possível medir o valor de popularidade Pt de uma mídia:
[132] • Pelo número de visualizações no YouTube (por
exemplo, diariamente) como uma indicação de popularidade.
[133] • Pelo número de comentários diários em redes
sociais.
[134] • Pelo número de likes no Facebook em um
determinado quadro temporal.
[135] • Pela taxa de tweets que mencionam qualquer
coisa relacionada à família de mídia.
[136] • Pelo número de hashtags no Instagram.
[137] Um Processo Gaussiano é uma técnica de
regressão de aprendizagem de máquina robusta que não só estima os melhores valores xt+i, Yt+ir ht+i, wt+i, mt+I, St+i, mas também estima a incerteza de cada estimativa, ou seja, a
margem de erro: var((xt+1, yt+lr ht+1, wt+1)) , var(mM),
Petição 870180032217, de 20/04/2018, pág. 55/62
48/54 var(st+1). Uma ampla margem de erro indica um erro potencialmente grande na previsão, enquanto uma margem de erro estreita indica um erro pequeno. O tamanho do erro pode ser determinado pela análise. Para os casos em que as classificações previstas, com base nos parâmetros de obras, tal como gênero, elenco e produtor, são semelhantes à classificação atual ou valor, o erro é baixo, e mostrado com uma margem pequena, determinada pela diferença entre as classificações previstas e atuais ou valores. Para os casos em que o erro é grande, uma grande margem de erro é mostrada que é determinada pela diferença novamente entre as classificações previstas e atuais. Como maneira de exemplos, seria esperado uma previsão de erro em classificação de qualidade ser grande se tudo o que fosse conhecido por uma produção futura fosse o fato de ser uma comédia. Em comparação, seria esperado erros pequenos se fosse conhecido que a obra é uma nova série de Silicon Valley, com o mesmo elenco, diretor, e equipe de produção como a da série anterior em que já foi realizada a análise detalhada.
[138] Um processo que permite a avaliação de material episódico está descrito acima, na forma de série ou episódios de série, que permite a previsão de qualidades de oportunidades de colocação em material de vídeo que por uma razão ou outra não é visto ou está indisponível. As técnicas acima podem ser usadas em combinação para uma análise mais
Petição 870180032217, de 20/04/2018, pág. 56/62
49/54 precisa. Por exemplo, uma série pode ser anunciada, de um gênero determinado de programa - uma série de suspense de detetive. Com base somente nisso, as estimativas iniciais podem ser determinadas, a partir de outra série de suspense de detetive. Um episódio piloto pode se tornar disponível para análise, e embora os episódios piloto sejam menos típicos que outros episódios, pode ser possível atualizar as previsões do número de oportunidades de inserção de objeto, ao longo dos episódios futuros (não feitos ou não vistos). Isso é mais provável de ser estimativas mais precisas que as estimativas iniciais. Em um estágio posterior, os episódios 2 a 5 podem estar disponíveis para análise. Isso tem a probabilidade de resultar em estimativas ainda mais precisas para as oportunidades de inserção de objeto para os episódios restantes da série. Eventualmente, no final da primeira temporada, pode ser anunciado que uma segunda temporada será comissionada. Com base na primeira temporada e na distribuição de oportunidades de inserção de objeto ao longo dos locais e episódios, é então possível prever o número de oportunidades na segunda temporada.
[139] No contexto de uma plataforma de envio de conteúdo, também é importante ter capacidade para prever as características de uma colocação para ter capacidade para apresentar oportunidades aos usuários de cliente.
[140] Em certos aspectos, uma classificação de
Petição 870180032217, de 20/04/2018, pág. 57/62
50/54 impacto de vídeo é desenvolvida para avaliar um impacto em potencial de zonas de inserção em espectadores do vídeo. A Classificação de Impacto de Vídeo (VIS) é um multiplicador à classificação de qualidade de um valor de oportunidade de inserção de objeto para representar a natureza altamente variável de implementação de marca em conteúdo de vídeo. VIS é um número situado em uma classificação, por exemplo, entre 0 e aproximadamente 2 (embora a classificação possa ser de qualquer tamanho e granularidade). Na realidade, VIS não pode ser permitido ser menor que 1 e está geralmente entre 1 e 2. O VIS pode ser calculado com base no valor (ou valores) previsto dos metadados de zona de inserção do novo vídeo, por exemplo, combinando-se uma Classificação de Exposição e uma Classificação de Contexto (embora qualquer outra função adequada para determinar o VIS com o uso de um ou mais valores previstos de metadados de zona de inserção para o novo vídeo possam ser usados alternativamente). Essas duas classificações são uma combinação pesada de um número de parâmetros que incluem relevância de Marca, Duração, Situação principal, Proximidade, Amplificação, conforme definido abaixo.
[141] Considera-se o seguinte:
[142] Calcular Classificação de Impacto de VídeoBETA
Petição 870180032217, de 20/04/2018, pág. 58/62
51/54
VIS = ES 4- CS
ES = Classificação de Exposição
CS = Classificação de Contexto [143] Calcular Classificação de Exposição
ES = WDf(D) + Wy/(5) + WaA
D = Duração de Exposição de Qualificação
S = Tamanho de Exposição Médio „ ÍO, ! amplificado λ = AmpHncaçao = L , (1, amplificado f(.D) = Função de Avaliação de Duração /(5) = Função de Avaliação de Tamanho
W - Peso [144] A classificação de contexto é uma combinação pesada de medidas específicas para incorporar marcas em conteúdo de vídeo, focada em fornecer uma estimativa que depende na adaptação entre a marca e o conteúdo.
[145] A Classificação de Contexto pode estar entre 0 e aproximadamente 2 (embora a classificação possa ser de qualquer tamanho e granularidade). Na execução de campanha, os valores abaixo de 1 não serão permitidos através da escolha de conteúdo e localização de propaganda.
[146] 0 termo primário é a Relevância de Marca, que é usada para determinar se a marca se enquadra ao contexto (por exemplo, Vodca em um bar) ou não. Se não houver
Petição 870180032217, de 20/04/2018, pág. 59/62
52/54
Relevância de Marca, então a classificação é 0, e o CS será
0. Quando existe Relevância de
Marca, a Classificação de
Contexto é ou acima, em que o resto dos termos fornecem aumentos no valor.
[147]
A Classificação de
Contexto pode ser conduzida conforme a seguir:
CS = (θ' (5 + WhH + WpP,
B - Relevância da marca = (θ' li,
H = Situação principal = ίθ' ! combina combina combina combina determinado prevista em
P = Proximidade = |θ' ! toca toca
Portanto, será observado que um VIS pode ser para uma oportunidade de zona de inserção um novo vídeo com base em pelo menos alguns dos valores previstos dos metadados de zona de inserção para aquela oportunidade de zona de inserção prevista. 0 VIS para uma oportunidade de zona de inserção prevista pode ser uma técnica útil para classificar oportunidades de zona de inserção previstas, ou filtrar oportunidades mais desfavorecidas de zona de inserção previstas de modo que o número de oportunidades de zona de inserção previstas para um novo vídeo que se enquadrem a uma exigência de impacto de vídeo em particular (por exemplo, que tenha um VIS maior que
Petição 870180032217, de 20/04/2018, pág. 60/62
53/54 um valor de limite) possa ser facilmente identificado e a adequação em potencial para oportunidades de inserção de objeto para o novo vídeo observada diretamente.
[149] Os especialistas no assunto observarão rapidamente que diversas alterações ou modificações podem ser feitas aos aspectos descritos acima da revelação sem se distanciar do escopo da revelação. Por exemplo, o sistema 100 é representado como um conjunto de módulos/entidades interconectados. Contudo, a funcionalidade de qualquer dentre dois ou mais dos módulos/entidades pode ser realizada por um único módulo, por exemplo, a funcionalidade do módulo de previsão 110, do módulo de aprendizagem de máquina 106 e do hub de origem 102 podem ser implementadas por uma única entidade ou módulo. Da mesma maneira, qualquer um ou mais dentre os módulos/entidades representados na Figura 1 podem ser implementados por dois ou mais módulos ou entidades interconectadas. Por exemplo, a funcionalidade do módulo de previsão 110 pode ser implementada como um sistema de entidades interconectadas que são configuradas para realizar juntas a funcionalidade do módulo de previsão 110.
[150] Será observado que o sistema 100 representado na Figura 1 é meramente um exemplo sem limitação de uma configuração de hardware adaptada para realizar o processo descrito com referência à Figura 2. Por exemplo, o sistema 100 pode alternativamente não compreender o módulo de
Petição 870180032217, de 20/04/2018, pág. 61/62
54/54 aprendizagem de máquina 106, e o módulo de previsão 110 pode, ao invés disso, realizar o processo descrito com referência à Figura 2 sem o uso da aprendizagem de máquina.
[151] Os aspectos da revelação descritos acima podem ser implementados por software, hardware, ou uma combinação de software e hardware. Por exemplo, a funcionalidade do módulo de previsão 110 pode ser implementada por software que compreende código legível por computador, que quando executado no processador de qualquer dispositivo eletrônico, realiza a funcionalidade descrita acima. O software pode ser armazenado em qualquer mídia legível por computador, por exemplo, um meio legível por computador não transitório, tal como uma memória somente leitura, memória de acesso aleatório, CD-ROMs, DVDs, Bluerays, fita magnética, acionadores de disco rígido, acionadores de estados sólidos e acionadores ópticos. A mídia legível por computador pode ser distribuída sobre sistemas de computador acoplados em rede de modo que as instruções legíveis por computador sejam armazenadas e executadas em uma maneira distribuída. Alternativamente, a funcionalidade do módulo de previsão 110 pode ser implementada por um dispositivo eletrônico que é configurado para realizar aquela funcionalidade, por exemplo, por virtude de lógica programável, tal como uma FPGA.

Claims (6)

1. Método implantado por computador para determinar metadados de zona de inserção de um novo vídeo, sendo que o método é caracterizado pelo fato de que compreende:
obter metadados categóricos relacionados ao novo vídeo, sendo que os metadados categóricos compreendem pelo menos uma variável categórica;
obter, para cada uma dentre pelo menos uma variável categórica, um valor de inserção associado; e determinar os metadados de zona de inserção do novo vídeo com base, pelo menos em parte, em um valor de inserção, em que os metadados de zona de inserção do novo vídeo compreendem pelo menos um valor previsto de pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
2/6 os metadados de vídeo de origem de zona de inserção compreendem pelo menos um valor de uma característica de zona de inserção correspondente para o vídeo de origem.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o valor de inserção define uma correlação entre pelo menos uma variável categórica e uma ou mais características de zona de inserção relacionadas ao vídeo de origem.
3/6 adicionalmente determinar uma Classificação de Impacto de Vídeo com base em pelo menos um valor previsto de pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
9. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que uma variável categórica se refere a um ou mais dentre:
tipo de conteúdo de vídeo;
duração de conteúdo de vídeo;
produtor de conteúdo de vídeo;
equipe de conteúdo de vídeo;
idade de conteúdo de vídeo;
público destinado;
distribuição geográfica;
canais de distribuição destinada;
dados de propaganda;
análise terceirizada; e tempo de produção de conteúdo de vídeo.
10. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que características de zona de inserção se referem a pelo menos um dentre:
posição de zona de inserção; tamanho de zona de inserção; duração de zona de inserção;
Petição 870180023881, de 23/03/2018, pág. 42/47
3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que obter o valor de inserção compreende:
analisar digitalmente o vídeo de origem para obter metadados de vídeo de origem de zona de inserção, sendo que
Petição 870180023881, de 23/03/2018, pág. 40/47
4/6 local de cena;
interatividade de caractere de zona de inserção;
valor de importância de zona de inserção;
proximidade de zona de inserção;
orientação de zona de inserção;
borrão de zona de inserção;
situação principal de zona de inserção; e repetição de zona de inserção.
11. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que obter um valor de inserção compreende aplicar aprendizado em máquina.
12. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que pelo menos um dentre os seguintes se aplica:
(a) determinar metadados de zona de inserção também tem como base dados de preferência de usuário de cliente;
(b) obter um valor de inserção associado a uma variável categórica compreende identificar uma variável categórica presente no vídeo de origem que utiliza um ou mais dentre: tecnologia de reconhecimento facial, reconhecimento de caráter óptico, técnicas de visão de computador, anotação manual, processamento de rede neural convolucional;
13. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que
Petição 870180023881, de 23/03/2018, pág. 43/47
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que analisar digitalmente o vídeo de origem compreende analisar uma pluralidade de instâncias de vídeo de origem, sendo que cada instância de vídeo de origem tem pelo menos uma variável categórica em comum.
5/6 compreende adicionalmente determinar uma correlação entre valores previstos de metadados de zona de inserção e um ou mais perfis de usuário de cliente, sendo que os perfis de usuário de cliente compreendem valores preferenciais para características de zona de inserção, e comunicar as informações de metadados de zona de inserção previstas a um usuário de cliente que tem valores preferenciais para características de zona de inserção que se correlacionam aos valores previstos de características de zona de inserção.
14. Meio legível por computador não transitório caracterizado pelo fato de que tem instruções executáveis por computador armazenadas no mesmo que, quando executadas por um dispositivo de computação, fazem com que o dispositivo de computação realize o método, conforme definido em qualquer uma das reivindicações anteriores.
15. Dispositivo eletrônico caracterizado pelo fato de que é configurado para realizar o método, conforme definido em qualquer uma das reivindicações 1 a 13.
16. Sistema para determinar metadados de zona de inserção de um novo vídeo, sendo que o sistema é caracterizado pelo fato de que compreende:
um ou mais processadores; e um ou mais módulos de memória, em que os módulos de
Petição 870180023881, de 23/03/2018, pág. 44/47
5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que compreende adicionalmente criar uma função de previsão para uma variável categórica, sendo que a função de previsão é dependente de pelo menos um valor de uma característica de zona de inserção obtida para o vídeo de origem e a função de previsão fornece um ou mais valores de inserção para a variável categórica.
6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que a função de previsão é série temporal dependente de pelo menos um valor da característica de zona de inserção obtida para o vídeo de origem.
7. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que o valor de uma característica de zona de inserção é estimado com o uso de um processo Gaussiano e/ou modelos de mistura Bayesiana.
8. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que compreende
Petição 870180023881, de 23/03/2018, pág. 41/47
6/6 memória são configurados para armazenar instruções executáveis por computador que, quando executadas no um ou mais processadores, fazem com que o sistema:
obtenha metadados categóricos relacionados ao novo vídeo, sendo que os metadados categóricos compreendem pelo menos uma variável categórica;
obtenha, para cada uma dentre a pelo menos uma variável categórica, um valor de inserção associado; e determine os metadados de zona de inserção do novo vídeo com base, pelo menos em parte, no pelo menos um valor de inserção, em que os metadados de zona de inserção do novo vídeo compreendem pelo menos um valor previsto de pelo menos uma característica de zona de inserção correspondente para o novo vídeo.
BR102018005942-4A 2017-03-24 2018-03-23 Previsão de metadados de zona de inserção futura BR102018005942A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17162862.1 2017-03-24
EP17162862.1A EP3379837B1 (en) 2017-03-24 2017-03-24 Predicting future insertion zone metadata

Publications (1)

Publication Number Publication Date
BR102018005942A2 true BR102018005942A2 (pt) 2019-02-12

Family

ID=58464195

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018005942-4A BR102018005942A2 (pt) 2017-03-24 2018-03-23 Previsão de metadados de zona de inserção futura

Country Status (4)

Country Link
US (2) US10592752B2 (pt)
EP (1) EP3379837B1 (pt)
CN (1) CN108632640B (pt)
BR (1) BR102018005942A2 (pt)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3379837B1 (en) 2017-03-24 2020-10-21 Mirriad Advertising PLC Predicting future insertion zone metadata
US10685236B2 (en) * 2018-07-05 2020-06-16 Adobe Inc. Multi-model techniques to generate video metadata
EP3680811A1 (en) 2019-01-10 2020-07-15 Mirriad Advertising PLC Visual object insertion classification for videos
US11462011B2 (en) 2019-03-22 2022-10-04 Dumas Holdings, Llc System and method for augmenting casted content with augmented reality content
CN112102147B (zh) * 2019-06-18 2022-03-08 腾讯科技（深圳）有限公司 背景虚化识别方法、装置、设备及存储介质
US10951563B2 (en) 2019-06-27 2021-03-16 Rovi Guides, Inc. Enhancing a social media post with content that is relevant to the audience of the post
CN110381369B (zh) * 2019-07-19 2022-02-22 腾讯科技（深圳）有限公司 推荐信息植入位置的确定方法、装置、设备及存储介质
CN111079527B (zh) * 2019-11-07 2023-06-06 北京航空航天大学 一种基于3d残差网络的镜头边界检测方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111292280B (zh) * 2020-01-20 2023-08-29 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111708021B (zh) * 2020-07-15 2022-04-15 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
US20220239983A1 (en) * 2021-01-28 2022-07-28 Comcast Cable Communications, Llc Systems and methods for determining secondary content
US20240064345A1 (en) * 2022-08-16 2024-02-22 Verizon Patent And Licensing Inc. System and method for increasing content insertion opportunities via machine learning

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294822B2 (en) 2006-11-23 2016-03-22 Mirriad Advertising Limited Processing and apparatus for advertising component placement utilizing an online catalog
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
US20100153994A1 (en) * 2008-12-17 2010-06-17 Alexander James H Distribution of video assets with multiple advertisements
US8369686B2 (en) * 2009-09-30 2013-02-05 Microsoft Corporation Intelligent overlay for video advertising
US9280849B2 (en) * 2010-11-08 2016-03-08 Sony Corporation Augmented reality interface for video tagging and sharing
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
US20160050465A1 (en) * 2014-08-18 2016-02-18 Groopic, Inc. Dynamically targeted ad augmentation in video
US9374608B2 (en) * 2014-11-23 2016-06-21 Christopher B Ovide System and method for creating individualized mobile and visual advertisments using facial recognition
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
EP3379837B1 (en) 2017-03-24 2020-10-21 Mirriad Advertising PLC Predicting future insertion zone metadata

Also Published As

Publication number Publication date
EP3379837A1 (en) 2018-09-26
US20180276479A1 (en) 2018-09-27
EP3379837B1 (en) 2020-10-21
US10592752B2 (en) 2020-03-17
US10909383B2 (en) 2021-02-02
US20200210713A1 (en) 2020-07-02
CN108632640A (zh) 2018-10-09
CN108632640B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
BR102018005942A2 (pt) Previsão de metadados de zona de inserção futura
US11048752B2 (en) Estimating social interest in time-based media
US9563901B2 (en) Generating audience response metrics and ratings from social interest in time-based media
KR101967086B1 (ko) 비디오 스트림들의 엔티티 기반 시간적 세그먼트화
US20140289241A1 (en) Systems and methods for generating a media value metric
JP2018078654A (ja) ビデオを最適化するためのシステムおよび方法
US20120039539A1 (en) Method and system for classifying one or more images
Sen et al. Video skimming: Taxonomy and comprehensive survey
JP2008529338A (ja) プロダクトプレイスメントを含むトレイラの自動生成
Awad et al. Content-based video copy detection benchmarking at TRECVID
US20210166034A1 (en) Computer-implemented video analysis method generating user viewing prediction data for a video
US9866894B2 (en) Method for annotating an object in a multimedia asset
Zhang et al. Aesthetics-guided summarization from multiple user generated videos
US20230409582A1 (en) Precision of content matching systems at a platform
KR102223649B1 (ko) 시간별 코멘트에 기초한 동일 콘텐트 판단 방법 및 시스템
Abadi et al. A multi-task learning framework for time-continuous emotion estimation from crowd annotations
US20230379520A1 (en) Time marking of media items at a platform using machine learning
Namuduri Automatic Extraction of Highlights from a Baseball Video Using HMM and MPEG-7 Descriptors

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 3A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2624 DE 20/04/2021.