BRPI0720802A2 - "método e sistema para gerar uma sinopse de vídeo de uma fonte de fluxo de vídeo substancialmente ininterruopta como a gerada por uma câmera de segurança de vídeo e programa de computador" - Google Patents

Description

“MÉTODO E SISTEMA PARA GERAR UMA SINOPSE DE VÍDEO DE UMA FONTE DE FLUXO DE VÍDEO SUBSTANCIALMENTE ININTERRUPTA COMO A GERADA POR UMA CÂMERA DE SEGURANÇA DE VÍDEO E

PROGRAMA DE COMPUTADOR”

Campo da Invenção

A presente descrição refere-se ao campo de sumarização de vídeo e indexação de vídeo.

Estado da Técnica

Referências ao estado da técnica consideradas relevantes como 10 fundamento para a invenção são listadas abaixo, e seu conteúdo é incorporado aqui por referência. Referências adicionais são acima mencionadas nos pedidos provisórios Nos US60/898.698, US60/11.839 e US60/971.582 e seus conteúdos são incorporados aqui por referência. O conhecimento das referências aqui não deve ser inferido como tendo o significado de que estes 15 são de alguma maneira relevante para a patenteabilidade da invenção aqui revelada. Cada referência é identificada por um número cercado por colchetes e desta maneira o estado da técnica será referenciado ao longo do relatório descritivo pelos números entre colchetes.

[1] A. Agarwala, M. Dontcheva, M. Agrawala, S. Drucker, A.Colburn, B. Curless, D. Salesin, and M. Cohen. Interactive digital

photomontage. Em SIGGRAPH, páginas 294 a 302, 2004.

[2] Y. Boykov e V. Kolmogorov. An experimental comparison of min-cut/max-flow algorithms for energy minimization invision. IEEE Trans. em Pattern Analysis and Machine Intelligence, 26(9): 1124 a 1137, setembro 2004.

[3] S. Cohen. Background estimation as a Iabeling problem.

em ICCV’05, páginas 1034 a 1041, Washington, DC, 2005.

[4] A. Divakaran, K. Peker, R. Radhakrishnan, Z. Xiong, e R. Cabasson. Video summarization using mpeg-7 motion activity and audio descriptors. Technical Report TR-2003-34, MERL - A Mitsubishi Electric Research Laboratoryf Cambridge, Massachusetts, maio de 2003.

[5] G. Doretto, A. Chiuso, Y. Wu, e S. Soatto. Dynamic textures. Int. J. Computer Vision, 51:91 a 109, 2003.

[6] M. Irani, P. Anandan, J. Bergen, R. Kumar, e S. Hsu.

Efficient representations of video sequences and their applications. Signal Processing: Image Communication1 8(4):327 a 351, 1996.

[7] H. Kang, Y. Matsushita, X. Tang, e X. Chen. Space-time video montage. Em CVPR’06, páginas 1331 a 1338, New York, junho de 2006. [8] C. Kim e J. Hwang. An integrated scheme for object-based

video abstraction. Em ACM Multimedia, páginas 303 a 311, New York, 2000.

[9] S. Kirkpatrick, C. D. Gelatt, e Μ. P. Vecchi. Optimization by simulated annealing. Science, 4598(13):671 a 680, 1983.

[10] V. Kolmogorov e R. Zabih. What energy functions can be minimized via graph cuts? Em ECCV, páginas 65 a 81, 2002.

[11] Y. Li, Τ. Zhang, e D. Tretter. An overview of video abstraction techniques. Technical Report HPL-2001-191, HP Laboratory, 2001.

[12] J. Nam e A. Tewfik. Video abstract of video. Em 3rd IEEE Workshop on Multimedia Signal Processing, páginas 117 a 122, Copenhagen,

setembro de 1999.

[13] J. Oh, Q. Wen, J. Iee1 e S. Hwang. Video abstraction. En S. Deb, editor, Video Data Management and Information Retrieval, páginas 321 a 346. Idea Group Inc. e IRM Press, 2004.

[14] M. Oren, C. Papageorgiou, P. Shinha, E. Osuna, e Τ. Poggio. A trainable system for people detection. Em Proceedings of Image

Understanding Workshop, páginas 207 a 214, 1997.

[15] M. Gangnet P. Perez e A. Blake. Poisson image editing. Em SIGGRAPH, páginas 313 a 318, julho de 2003. [16] C. Pal e N. Jojic. Interactive montages of sprítes for indexing and summar^izing securíty video. Em Video Proceedings of CVPR05, páginas II: 1192, 2005.

[17] R. Patil1 P. Rybski1 T. Kanade1 e M. Veloso. People detection and tracking in high resolution panoramic video mosaic. Em Int. Conf.

on Intelligent Robots and Systems (IROS 2004), volume 1, páginas 1323 a 1328, outubro de 2004.

[18] N. Petrovic, N. Jojic, e T. Huang. Adaptive video fast forward. Multimedia Tools and Applications, 26(3):327 a 344, agosto de 2005.

[19] A. Pope1 R. Kumar, H. Sawhney, e C.Wan. Video

abstraction: Summarizing video content for retrieval and visualization. Em Signals1 Systems and Computers1 páginas 915 a 919, 1998.

[20] A. Rav-Acha, Y. Pritch1 e S. Peleg. Making a Iong video short: Dynamic video synopsis. EM CVPR’06, páginas 435 a 441, New York,

junho de 2006.

[21] A. M. Smith e T. Kanade. Video skimming and characterization through the combination ofimage and Ianguage understanding. Em CAIVD1 páginas 61 a 70, 1998.

[22] J. Sun, W. Zhang, X. Tang, e H. Shum. Background cut. Em ECCV, páginas 628 a 641, 2006.

[23] Y. Weiss e W.T. Freeman. On the optimality of solutions of the max-product belief propagation algorithm in arbitrary graphs. IEEE Transactions on Information Theory, 47(2):723 a 735, 2001.

[24] X. Zhu, X. Wu, J. Fan, A. K. Elmagarmid, e W. G. Aref. Exploring video content structure for hierarchical summarization. Multimedia

Syst., 10(2):98 a 115, 2004.

[25] S. Peleg e A. Rav-Acha, W02007/057893 “Method and system for producing a video synopsis” [26] J. Assa, Y. Caspi, e D. Cohen-Or. Action synopsis: Pose selection and illustration. Em SIGGRAPH, páginas 667 a 676, 2005.

[27] Carsten Rother, Lucas Bordeaux, Youssef Hamadi, e Andrew Blake. Autocollage. ACM Transactions on Graphics, 25(3):847 a 852,

julho de 2006.

[28] Aseem Agarwala. Efficient gradient-domain compositing using quadtrees. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2007), 2007.

[29] G. Brostow e I. Essa. Motion based decompositing of video. In ICCV’99, páginas 8 a 13, Corfu, 1999.

[30] J. Shi e J. Malik, Normalized cuts and image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888 a 905, 2000.

[31] O. Boiman e M. Irani. Detecting irregularities in images and in video. In ICCV, páginas I: 462 a 469, Beijing, 2005.

[32] B.M. Carvalho, G.T. Herman, e T.Y. Kong. Simultaneous fuzzy segmentation of multiple objects. Discrete Applied Mathematics, Vol 151, N- 1-3, outubro de 2005, páginas 55 a 77.

[33] G.T. Herman e B.M. Carvalho. Multiseeded Segmentation Using Fuzzy Connectedness. IEEE Transactions on Pattern Analysis and

Machine Intelligence, v.23 no.5, páginas 460 a 474, maio de 2001.

[34] A. Levin, A. Rav-Acha, e D. Lischinski. Spectral Matting. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Minneapolis, junho de 2007.

[35] N.E. Apostoloff e A.W. Fitzgibbon. Bayesian video matting

using Iearnt image priors. Em Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), junho de 2004, Washington DC. Antecedentes da Invenção

Separar através de uma coleção de vídeo bruto consome tempo, visto que é necessário ver um vídeo clipe para determinar se alguma coisa de interesse foi gravada. Enquanto esta tarefa tediosa pode ser feita em coleções 5 de vídeo pessoais, isto é impossível quando está envolvido vídeo ininterrupto, como o gravado por câmeras de segurança e webcams. Milhões de webcams estão cobrindo o mundo capturando seu campo de visão 24 horas por dia. É dito que somente no Reino Unido existem milhões de câmeras de segurança cobrindo as ruas das cidades. Muitos webcams igualmente transmitem seus 10 vídeos publicamente na internet para qualquer um assistir. Muitas câmeras também estão disponíveis em linha em lojas, aeroportos e outras áreas públicas.

Um dos problemas em utilizar webcams é que elas fornecem dados brutos, sem edição. A maioria dos vídeos de segurança, portanto nunca 15 á assistido ou examinado. No pedido anterior W02007/057893 [25] foi proposto um método para sinopse de vídeo para criar vídeos encurtados pela combinação de porções selecionadas de múltiplas imagens originais de uma cena. Um vídeo clipe descreve atividades visuais ao longo do tempo, e comprimindo o eixo do tempo, permite visualizar um sumário de tal clipe em um 20 tempo mais curto. Avanço rápido, em que alguns quadros são pulados entre quadros selecionados, é a ferramenta mais comum usada para sumarização de vídeo. Um caso especial de avanço rápido é chamado “lapso de tempo”, gerando um vídeo de processos muito lentos, como crescimento de flores, etc. Desde que o avanço rápido pode perder atividades rápidas durante os quadros 25 suprimidos, foram desenvolvidos métodos adaptáveis de avanço rápido [12, 18, 4]. Tais métodos tentam pular quadros em períodos de menor interesse ou menor atividade, e manter quadros em períodos de maior interesse ou maior atividade. Uma abordagem similar extrai do vídeo uma coleção de pequenas seqüências de vídeo melhor representando seus conteúdos [21].

Muitas abordagens para sumário de vídeo eliminam completamente o eixo do tempo, e mostram uma sinopse do vídeo selecionando poucos quadros chaves [8,24]. Estes quadros chaves podem ser 5 selecionados arbitrariamente, ou selecionados de acordo com algum critério importante. Mas a representação de quadros chaves perde no aspecto dinâmico do vídeo. Pesquisas amplas em abstração de vídeo aparecem em [11,13].

Em ambas as abordagens acima, os quadros inteiros são usados como blocos de construção fundamentais. Uma metodologia diferente usa imagens em mosaico junto com metadados para indexação de vídeo [6, 19, 16]. Neste caso a imagem de sinopse estática inclui objetos de tempos diferentes.

Abordagens baseadas em objetos para sinopse de vídeo foram 15 primeiramente apresentadas em [20, 7], em que objetos móveis são representados no domínio espaço-tempo. As concatenações de porções de imagens representando objetos ou atividades ao longo de quadros sucessivos de um vídeo são chamadas de “tubos”. Como os objetos são representados por tubos no volume espaço-tempo, os termos “objetos” e “tubos” são usados 20 intercambiados na descrição a seguir. Estas dissertações [20, 7] introduziram um novo conceito: criar uma sinopse de vídeo que combina atividades de diferentes tempos (ver Figura 1).

Um exemplo de uma abordagem baseada em objeto é descrita no W02007/057893 [25], anexada ao presente pedido, sendo que é obtido um 25 subconjunto de quadros de um vídeo de entrada, que mostra movimento de um ou mais objetos. Porções selecionadas do subconjunto que mostra aparições sobrepostas não espaciais dos objetos na primeira cena dinâmica são copiadas de múltiplos quadros de entrada para um número reduzido de quadros na seqüência de vídeo de saída, tal que as múltiplas localizações dos objetos como vistos em tempos diferentes no vídeo de entrada são mostradas simultaneamente no vídeo de saída.

As abordagens descritas nas referências [20, 7] são baseadas na 5 observação de que mais atividades podem ser mostradas em um vídeo menor, se a ordem cronológica não é executada. Seria útil estender tal abordagem à sinopse de seqüências de um vídeo ininterrupto, tal como as obtidas usando câmeras de segurança, para limitar a duração do vídeo de saída para um limite desejado enquanto, contudo, fazendo isto de maneira controlada que reduza o 10 risco de perda de aspectos.

Indexação eficiente, recuperação e navegação de vídeos longos estão crescendo em importância, especialmente dado o rápido aumento na quantidade de câmeras de segurança que coletam vídeo ininterruptamente. A indexação convencional de vídeo usa anotação manual do vídeo com palavras 15 chaves, mas este método consome tempo e não é prático para câmeras de segurança. Métodos adicionais de indexação de vídeo têm sido propostos, baseados na seleção de quadros chaves representativos ou intervalos de tempo representativos do vídeo de entrada.

A sinopse de vídeo pode ser usada para indexar, recuperar e navegar quantos objetos sejam mostrados em um período coberto pelo tempo, criar uma sinopse de um curto vídeo. Entretanto, desde que muitos objetos diferentes são mostrados simultaneamente, examinar uma simples sinopse de vídeo, pode ser confuso.

A US20060117356 (Microsoft) descreve um navegador de vídeo que fornece navegação interativa de eventos únicos ocorrendo dentro de uma gravação total de vídeo. Em particular, o navegador de vídeo processa o vídeo para gerar um conjunto de vídeos espectrais representando eventos únicos ocorridos dentro do período total do vídeo. Uma vez que o vídeo tenha sido processado para identificar os espectros, os espectros são então organizados sobre uma imagem de fundo extraída do vídeo, para criar uma montagem de vídeo estática interativa. A montagem de vídeo interativa ilustra todos os eventos ocorridos dentro do vídeo em um único quadro estático. A seleção de 5 espectros dentro da montagem causa ou a exibição de uma porção do vídeo na qual os espectros foram identificados, ou a exibição concorrente dos espectros selecionados dentro de uma montagem dinâmica de vídeo.

A W00178050 (Inmotion Technologies Ltd.) descreve um sistema e método para usar comprimento de vídeo padrão mesmo que de uma única 10 câmera para obter, de maneira automática, uma seqüência estroboscópica de um evento esportivo, por exemplo. A seqüência pode ser representada como uma imagem estática de natureza fotográfica, ou por uma seqüência de vídeo na qual o movimento da câmera permanece presente, neste caso a seqüência de vídeo pode ser renderizada como um movimento panorâmico de câmera em 15 uma imagem estroboscópica ou como uma seqüência estroboscópica animada na qual o objeto em movimento, deixa um rastro de vestígios de cópias ao longo de seu caminho. Podem ser usadas múltiplas câmeras para um campo de visão expandido ou para comparação, de múltiplas seqüências, por exemplo.

A JP-2004-336172 descreve um sistema para diminuir um vídeo

de segurança, o qual mantém a ordem cronológica dos eventos, sem separação entre objetos móveis concorrentes. Manter a ordem cronológica limita substancialmente as possibilidades de diminuição. Também não há sugestão de indexar os objetos, para que o tempo original de um objeto na sinopse do vídeo possa ser facilmente determinado.

Descrição Resumida da Invenção De acordo com um primeiro aspecto da invenção é fornecido um método implantado em computador para gerar uma sinopse de vídeo de uma fonte do fluxo de vídeo substancialmente ininterrupta como a gerada por uma câmera de vídeo de segurança, compreendendo o método:

receber em tempo real descrições baseadas em objetos de pelo menos três objetos de fontes diferentes na dita fonte de fluxo de vídeo, cada objeto fonte sendo um subconjunto conectado de pontos de imagem de pelo menos três quadros diferentes da fonte de fluxo de vídeo;

continuamente manter uma fila das ditas descrições baseadas em objetos incluindo para cada respectivo objeto sua duração e localização;

selecionar um subconjunto de pelo menos três objetos da dita fila baseado em um critério determinado;

amostrar de cada objeto fonte selecionado um ou mais objetos da sinopse por amostragem temporal;

determinar para cada objeto da sinopse um tempo de exibição respectivo para iniciar sua exibição na sinopse do vídeo; e gerar uma sinopse de vídeo pela exibição dos objetos das

sinopses selecionados ou objetos derivados daqueles, cada um no seu respectivo tempo de exibição pré-determinado;

tal que pelo menos três pontos, cada um deriva respectivamente de um tempo diferente na fonte de fluxo de vídeo, são exibidos simultaneamente na sinopse do vídeo e pelo menos dois pontos, ambos derivados do mesmo tempo, são exibidos em tempos diferentes na sinopse do vídeo.

De acordo com um segundo aspecto da invenção é fornecido um sistema para gerar uma sinopse do vídeo de uma fonte de fluxo de vídeo substancialmente ininterrupta tal como gerada por uma câmera de vídeo de segurança, compreendendo o método :

um seletor de objeto fonte, adaptado para ser acoplado a uma memória de objeto, que armazena e mantém uma fila continuamente, descrições baseadas em objetos de pelo menos três objetos fonte no dito fluxo da fonte de vídeo, as ditas descrições baseadas em objetos, incluindo para cada respectivo objeto fonte, sua duração e sua localização, o seletor de objeto fonte sendo adaptado para selecionar pelo menos três diferentes objetos fonte 5 ,de acordo com uma ou mais restrições definidas, cada objeto fonte sendo um subconjunto conectado de pontos de imagem de pelo menos três quadros diferentes do fluxo da fonte de vídeo;

um amostrador de objeto de sinopse acoplado ao seletor de objeto fonte para mostrar de cada objeto fonte selecionado um ou mais objetos de sinopse por amostragem temporal usando pontos de imagem derivados dos períodos de tempo especificados;

uma unidade seletora de tempo acoplada ao amostrador de objetos de sinopse para determinar para cada objeto de sinopse um tempo de exibição respectivo para iniciar sua exibição na sinopse do vídeo;

uma unidade de pesponto acoplada a unidade seletora de tempo

para pontear cada um dos objetos de sinopse selecionados ou objetos derivados daqueles em um tempo de exibição específico para assim gerar sucessivos quadros de sinopse do vídeo, tal que no quadros de sinopse do vídeo, pelo menos três pontos, em que cada um deriva respectivamente de um tempo diferente na fonte de fluxo de vídeo, são exibidos simultaneamente; e

uma memória de quadro de sinopse acoplada a unidade de pesponto para armazenar os ditos quadros da sinopse do vídeo.

A sinopse do vídeo revelada pela presente invenção é uma representação compacta temporária do vídeo que habilita a navegação de 25 vídeo, recuperação e permite a indexação de diferentes características para assim permitir as características selecionadas a serem isoladas e para sua progressão temporal em um intervalo de tempo especificado a ser exibida. De acordo com algumas realizações da invenção, uma indexação de vídeo hierárquica baseada na sinopse do vídeo é empregada, sendo que a indexação é baseada em primeiro selecionar a classe dos objetos ou atividades desejados, e apenas depois selecionar um objeto ou atividade individual. Este procedimento pode ser repetido para assim permitir indexação hierárquica multinível.

Um exemplo de um tipo geral de sinopse de vídeo com o qual a invenção está envolvida é descrito no [25] com referência ao volume espaço- tempo mostrada na Figura 1.

O vídeo começa com uma pessoa andando no chão, e após um período de inatividade um pássaro está voando no céu. Os quadros inativos são omitidos na maioria dos métodos de abstração de vídeo. A sinopse do vídeo é substancialmente mais compacta, passando a pessoa e o pássaro simultaneamente. Isto faz um uso ótimo das regiões da imagem pela troca de eventos de seus intervalos de tempo originais para outros intervalos de tempo quando nenhuma outra atividade acontece nestas locações espaciais. Tais manipulações relaxam a consistência cronológica dos eventos. Na medida em que técnicas similares podem ser empregadas pela presente invenção, elas não serão repetidas aqui e o leitor pode referenciar a W02007/057893 para uma descrição completa. Com o objetivo de ser breve e para não ofuscar a presente invenção, a qual em alguns aspectos pode ser vista como um aprimoramento da W02007/057893, apenas aquelas características que se relacionam a presente invenção serão descritas em detalhes.

Aplicar este princípio ao vídeo infinito como o obtido por webcams e câmeras de segurança, envolve muitos desafios adicionais:

· Como nenhum armazenamento é infinito, existe uma necessidade

de “esquecer” eventos quando um vídeo infinito é sumarizado.

• A aparência do fundo varia substancialmente em um vídeo longo, por exemplo, do dia para a noite. Estas mudanças deveriam ser endereçadas quando forem criados no fundo da sinopse e quando são inseridos nos objetos de fundo.

• Devido às diferentes horas de atividades, poderem aparecer simultaneamente e em um fundo até mesmo de outra hora, deveria ser tomado

especial cuidado quando se pesponta todos estes, para dar o vídeo de saída.

• Resposta rápida a indagações do usuário é requerida a despeito das grandes quantidades de dados.

A sinopse do vídeo pode fazer câmeras de segurança e webcams mais úteis por dar ao usuário a capacidade de se ver sumários do vídeo 10 ininterruptamente, adicionando ao fluxo do vídeo ao vivo. Para permitir isto, um servidor de sinopse pode ver o vídeo alimentado ao vivo, analisar o vídeo por eventos de interesse, e gravar uma descrição do vídeo baseada em objeto. Estas descrições listam para cada webcam os objetos de interesse, sua duração, localização, e sua aparência.

Uma indagação que poderia ser respondida pelo sistema pode ser

similar a “Eu gostaria de assistir em um minuto uma sinopse do vídeo desta webcam capturado durante a última hora”, ou "Eu gostaria de assistir em cinco minutos uma sinopse da última semana”, etc. Respondendo a tais indagações, os eventos mais interessantes (“tubos”) são coletados do período desejado, e 20 são reunidos em uma sinopse do vídeo do tamanho desejado. A sinopse do vídeo é um índice para o vídeo original, pois cada objeto inclui um ponteiro para sua hora original.

Enquanto o vídeo de webcam é ininterrupto, e a quantidade de objetos é ilimitada, o armazenamento de dados disponível para cada webcam 25 pode ser limitado. Para manter uma fila de objetos finita é proposto um procedimento para remover objetos desta fila quando o espaço é esgotado. Remover objetos da fila deveria ser feito de acordo com um critério de importância, semelhante ao que é feito quando se seleciona objetos para inclusão na sinopse, permitindo a otimização final para examinar poucos objetos.

Dentro do contexto da invenção e das reivindicações anexadas, o termo “vídeo” é sinônimo de “filme” em seu termo mais geral apenas 5 estipulando que ele é acessível como um arquivo de imagem de computador receptivo ao pós- processamento e inclui qualquer tipo de filme, por exemplo, digital e analógico. A câmera fica preferencialmente em uma localização fixa pelo que se entende que ela pode girar e fazer aproximação - mas não está sujeita a movimento de translação como é feito nas técnicas propostas até 10 aqui. As cenas com as quais a presente invenção está preocupada são dinâmicas pelo menos em parte do tempo.

Para descrever a invenção será feito o uso de uma construção a qual se referencia como “volume espaço-tempo” para criar as sinopses do vídeo. O volume espaço-tempo pode ser construído da seqüência de imagens 15 de entrada empilhando seqüencialmente todos os quadros ao longo do eixo do tempo. Entretanto, deve ser entendido que até em que a implementação real é concebida, não é necessário realmente construir o volume espaço-tempo, por exemplo, realmente empilhando no tempo quadros de 2 dimensões de uma fonte dinâmica da cena. Mais tipicamente, quadros fonte são processados 20 individualmente para construir quadros alvo, mas a referência ao volume espaço-tempo como sendo uma construção física em vez de uma construção conceituai, auxiliará o entendimento.

Breve Descrição das Figuras

Para se entender a invenção e para ver como ela pode ser executada na prática, serão descritas realizações da mesma, apenas como formas de exemplo não limitantes, com referências aos desenhos anexos, nos quais:

A Figura 1 é uma representação pictórica, mostrando uma abordagem do estado da técnica para produzir uma sinopse do vídeo compacta, passando simultaneamente características temporalmente deslocadas;

As Figuras 2a a 2d mostram imagens de fundo de uma câmera de segurança no aeroporto de Stuttgart em tempos diferentes;

As Figuras 3a a 3d mostram quatro tubos extraídos, mostrados “justapostos” sobre os fundos correspondentes das Figuras 2a a 2d;

As Figuras 4a e 4b mostram dois tubos extraídos de uma cena de

“Bilhar”;

As Figuras 5a e 5b mostram a distribuição espacial da atividade

na cena do aeroporto mostrada na Figura 2;

A Figura 6 mostra graficamente a distribuição temporal de atividades na cena do aeroporto mostrada na Figura 2, medida pelo número de objetos em movimento;

A Figura 7 é um diagrama de bloco mostrando a arquitetura da

indexação de vídeo hierárquica baseada em sinopse e pesquisa de acordo com uma realização da invenção;

A Figura 8 mostra o resultado do agrupamento de objetos que aparecem no vídeo de segurança de um estacionamento mostrado na Figura

12;

A Figura 9 mostra um quadro de uma “sinopse de alto nível” na hierarquia de indexação do vídeo do estacionamento mostrado na Figura 13 em que representações de diferentes agrupamentos são apresentadas simultaneamente;

As Figuras 10a e 10b mostram quadros de sinopses de um vídeo

capturado durante 24 horas no aeroporto de Stuttgart;

A Figura 11 mostra um quadro sinopse gerada de três quadros tirados de um vídeo capturado por 9 horas em um clube de bilhar; As Figuras 12a e 12b mostram quadros de sinopses gerados de um vídeo capturado à noite em São Petersburgo;

As Figuras 13a e 13b mostram quadros de sinopses gerados de uma webcam tirados durante cinco horas de um estacionamento tranqüilo;

A Figura 14 é um diagrama de bloco mostrando a funcionalidade

central de um sistema de acordo com a invenção; e

A Figura 15 é um fluxograma mostrando a principal operação executada de acordo com a invenção.

Exemplos de sinopses do vídeo mostradas como quadros representativos nas figuras são, naturalmente, melhor visualizados em vídeo. Exemplos podem ser acessados em http://www.vision.huji.a.il/video-synopsis/.

Descrição Detalhada das Realizações Computando Tubos de Atividades São criados segmentos de cada objeto, selecionando subconjuntos de quadros nos quais o objeto aparece. Tais segmentos podem representar diferentes intervalos de tempo, opcionalmente tomados em diferentes taxas de amostragem.

Para aplicar tal técnica para gerar uma sinopse útil de vídeo ininterrupto, objetos e atividades de interesse deveriam ser identificados. 20 Embora se utilize o movimento do objeto como uma indicação de interesse em muitos exemplos, podem ser notadas exceções. Alguns movimentos podem ter pouca importância, como folhas em uma árvore ou nuvens no céu. Pessoas ou outros grandes animais na cena podem ser importantes mesmo quando não estão se movendo. Embora estas exceções não sejam endereçadas, é possível 25 incorporar o reconhecimento de objetos (por exemplo, detecção de pessoas [14, 17]), texturas dinâmicas [5], ou detecção de atividades não usuais [31]. Utiliza-se um único exemplo de sinopse do vídeo dando preferência a diferentes classes de objetos. Construção do Fundo

Para permitir segmentação de movimento de objetos em primeiro plano inicia-se com a construção do fundo. Em pequenos vídeos clipes a aparência do fundo não muda, e ele pode ser construído usando uma média 5 temporal do clipe inteiro. No caso de câmeras de segurança, a aparência do fundo muda no tempo devido a mudanças de iluminação, mudanças de objetos de fundo, etc. Neste caso o fundo para cada tempo pode ser computado usando uma média temporal antes e após cada quadro. Normalmente usa-se uma média de quatro minutos. Outros métodos para construção de fundo são 10 possíveis, mesmo quando usando uma janela temporal menor [3, 19], mas a média é usada devido a sua eficácia.

As Figuras 2a a 2d mostram imagens de fundo de uma câmera de segurança no aeroporto de Stuttgart. As Figuras 2a e 2b mostram imagens diurnas enquanto as Figuras 2c e 2d são a noite. Carros estacionados e aeronaves estacionadas se tornam parte do fundo.

Usa-se uma simplificação de [22] para computar os tubos espaço- tempo representando objetos dinâmicos. Isto é feito pela combinação da subtração do fundo junto com corte mínimo para ter uma segmentação suave dos objetos de fundo. Tal como em [22], os gradientes de imagem que 20 coincidem com os gradientes de fundo são atenuados, pois eles são menos prováveis de estarem relacionados com fronteiras de movimento. Os tubos resultantes são componentes conectados em volume espaço tempo 3D, e sua geração é brevemente descrita abaixo.

Deixemos B ser a imagem corrente de fundo e deixemos I ser a imagem corrente a ser processada. Deixamos V ser o conjunto de todos os pixels em /, e deixemos N ser o conjunto de todos os pixels pares adjacentes em /. Uma função rotuladora f rotula cada pixel r na imagem como primeiro plano (fr= 1) ou fundo {ff= 0). Um rotulador desejável f, usualmente minimiza a V

energia Gibbs [2]:

£(/) = Σ£,(Λ) + -1 Σ Wr,/,).

r^V (r,s)eN

(1)

em que Ei(fr) é o termo de cor unário, E2(fr,fs) o termo contraste em pares entre os pixels adjacentes re s, e λ é um peso definido pelo usuário.

Como um termo de contraste em pares, usa-se a fórmula sugerida

por [22]:

E2 (/,,/,) = <*(X -fs)· exp(-Pdrs),

(2)

em que β = 2 < ||(/(r) -/(s)||2 >_1 é um fator de peso (<.> é a expectativa sobre as amostras de imagem), e drs são os gradientes de imagem,

atenuados pelos gradientes de fundo, e dados por:

i|2 1

dr, =||/(r)-/(sf

_ 2 exp(——) cr.

(3)

Nesta equação, zrs mede a dessimilaridade entre o primeiro plano

e o fundo:

z„ = max||/(r) - 5(r)||, ||/(s) - B(s) ||,

(4)

e K e σζ são parâmetros, fixados em 5 e 10 respectivamente

como sugerido por [22].

Como para o termo de cor unário, deixar dr = ||/(r) - Z?(r)|| ser a diferença de cores entre a Imagem / e o fundo corrente B. Os custos de primeiro plano (1) e de fundo (0) para um pixel rsão fixados em:

- \l * á'>K-

\Jh~ar caso contrario'

os dr > Ara

^iC0) = ‘dr-ki k^>dr>kí,

0 caso contrário

(5) em que e k2 são limites definidos pelo usuário. Empiricamente ki = 30/255 e Zc2 = 60/255 funcionaram bem nos exemplos.

Não se usa limites mais baixos com pesos infinitos, desde que os

últimos estágios do algoritmo podem manipular de forma robusta os pixels que são erroneamente identificados como de primeiro plano. Pela mesma razão, constrói-se uma máscara de todos os pixels de primeiro plano no volume espaço-tempo, e aplica-se uma dilatação morfológica 3D nesta máscara. Este fato será usado posteriormente pelo algoritmo de pesponto.

conectados, denotados como “tubos de atividade”. As Figuras 3a a 3d mostram quatro tubos extraídos mostrados “justapostos” sobre os fundos correspondentes da Figura 2. Os tubos à esquerda correspondem aos veículos terrestres, enquanto os tubos à direita correspondem às aeronaves partindo ao fundo. As Figuras 4a e 4b mostram quadros sinopses derivados, usando dois 15 tubos extraídos de uma cena de “Bilhar” assim retratando um grande número de jogadores temporalmente separados em um único quadro.

respectivo pixel em uma imagem de entrada e é o intervalo de tempo no qual este objeto existe.

possíveis. Por exemplo, na segmentação binária, todo elemento na imagem pode ser classificado como pertencendo a um objeto ou não pertencendo a um objeto. A segmentação também pode ser indistinta, atribuindo a cada elemento em uma imagem um grau de associação em um objeto. Abordagens

Finalmente, a máscara 3D é agrupada em componentes

Cada tubo b é representado pela sua função característica

(6)

em que B(x,y,t) é um pixel na imagem de fundo, l(x,y,t) é o

Outros métodos para segmentação de objetos móveis são adequadas são descritas em [32, 33, 34, 35]. A noção de conectividade indistinta é explicada em [33]. A segmentação indistinta é algumas vezes chamada entrelaçamento indistinto [35], e é extensivamente usado em gráficos para inserção de objetos de diferentes fundos [35]. Neste trabalho todos os 5 objetos são tratados como binários. Entretanto, uma extensão para objetos indistinta é fácil de entender. Por exemplo, todos os elementos de funções de custo podem ser multiplicados pelos valores de associação indistinta dos elementos envolvidos. Também, quando um objeto indistinto é inserido em uma imagem, o valor de associação pode ser usado “entrelaçamento alfa”, 10 permitindo um efeito de transparência.

Energia Entre Tubos

Define-se a energia de interação entre tubos. Esta energia será

usada posteriormente pelo estágio de otimização, criando uma sinopse, tendo

máxima atividade enquanto evita conflitos e sobreposições entre objetos.

Deixar B ser fixado para todos os tubos de atividade. Cada tubo b é definido sobre um segmento de tempo finito no fluxo de vídeo original tb = \tsb,teb\.

A sinopse do vídeo é gerada com base em um mapeamento

temporal M, deslocando objetos b no tempo a partir de seu tempo original no vídeo de entrada, dentro do segmento de tempo tb = [tb,tb], na sinopse do

vídeo M(Jb) = b indica o deslocamento de tempo do tubo b dentro da sinopse, e

quando b não é mapeado para a sinopse de saída M{b) = 0. Define-se uma

sinopse de vídeo ótima como a que minimiza a seguinte função de energia: E(M) = Ypa(b)+ X(aE,(b,b') + fiEc(b,b')), (7)

beB b,b'eB

em que Ea é o valor da atividade, Ef é o valor de consistência temporal e Ec é o valor de colisão, todos definidos abaixo. Os pesos α e β são fixados pelo usuário de acordo com sua importância relativa para uma indagação particular. Reduzir os valores dos pesos de colisão, por exemplo, irá resultar em um vídeo mais denso em que os objetos podem se sobrepor. Aumentar este peso irá resultar em um vídeo mais esparso em que os objetos não se sobrepõem e menos atividade é apresentada. Um exemplo para diferentes sinopses obtidas pela variação de β é dado na figura 10b.

Após extrair os tubos de atividade o valor baseado em pixel pode

ser substituído com um valor baseado em objeto. Especificamente, o valor do pesponto, associado com abordagem do estado da técnica, tal como debatido em [25] é substituído pelo valor de Colisão na Equação (7) (descrita abaixo). Este custo penaliza por pespontar dois diferentes objetos juntos, mesmo se sua 10 aparência é similar (por exemplo, duas pessoas). Adicionalmente, um valor de “Consistência Temporal” é definido, penalizando pela violação das relações temporais entre objetos (ou tubos). Tais características das sinopses são difíceis de expressar em termos de custos baseados em pixels.

Custo de Atividade

O custo de atividade favorece filmes de sinopse com atividade

máxima. Ele penaliza por objetos que não são mapeados para um tempo válido na sinopse. Quando um tubo é excluído da sinopse, no exemplo, M(b) = 0 então

Ea(S)= y,t),

*,y,t

(8)

em que Xb(x,y,t) é a função característica como definida na Equação (6). Para cada tubo b, cujo mapeamento b = M(b) é parcialmente incluído na sinopse final, define-se o custo de atividade similar a Equação (8), mas apenas pixels que não foram incluídos dentro da sinopse são adicionados ao custo de atividade.

Custo de Colisão

Para todos os dois tubos “deslocados” e todo deslocamento de

tempo relativo entre eles, define-se o valor de colisão como o volume de sua sobreposição tempo-espaço pesada por suas medições de atividade:

Ec(b,b')= X Xi(x,y,t)zéXx,y,t) ^

x,y,tàbntb.

em que tb níè. é a interseção de tempo de b e b’ na sinopse do

vídeo. Esta expressão dará uma penalidade baixa para pixel cuja cor é similar ao fundo, mas foi adicionado a um tubo de atividade no processo de dilatação morfológica. Mudar o peso do valor de colisão Ec muda a densidade dos objetos na sinopse do vídeo como mostrado na figura 10b.

Custo de Consistência Temporal

O custo de consistência temporal adiciona uma tendência em direção a preservação da ordem cronológica dos eventos. A preservação da 10 ordem cronológica é mais importante para tubos que têm uma forte interação. Por exemplo - seria preferível manter o tempo relativo de duas pessoas falando uma com a outra, ou manter a ordem cronológica de dois eventos com uma relação racional. Ainda, é muito difícil detectar tais interações. Em vez disso, a quantidade de interação d(b, b’) entre cada par de tubos é estimada 15 pela sua distância espaço-temporal como descrito abaixo:

if ΓΊ tb· Φ 0 então

d(b,b') = exp(- m σ}?α££),

(10)

em que d(b,b’,t) é a distância Euclidiana entre o par de pixels ativos mais próximos de b e b’ no quadro t e ospace determina a extensão da interação espacial entre tubos.

Se os tubos b e b’ não compartilham um tempo comum na sinopse do vídeo, e assumindo que b é mapeado para um tempo anterior a b’,

sua interação diminui exponencialmente com o tempo:

d(b,b') = exp(-(#. -teb)UTtime),

(11)

em que otime é um parâmetro, definindo a extensão de tempo na qual eventos ainda são como tendo interação temporal.

O valor de consistência temporal cria uma preferência por manter as relações temporais entre objetos penalizando casos em que estas relações são violadas:

O caso contrário (12)

em que C é uma penalização constante para eventos que não

preservam consistência temporal.

Minimizacão de Energia

Visto que a função de energia global nas Equações (7) e (15) é escrita como uma soma de termos de energia definidos em tubos simples ou 10 pares de tubos, ela pode ser minimizada por várias técnicas baseadas em MRF tais como Belief Propagation [23] ou Graph Cuts [10]. Nesta implementação, foi usado o método mais simples de recozimento simulado [9] que deu bons resultados. O recozimento simulado foi aplicado de todos os possíveis mapeamentos temporais M, incluindo o caso especial quando o tubo não é 15 usado na sinopse do vídeo.

Cada estado descreve o subconjunto de tubos que são incluídos na sinopse, e estados vizinhos são definidos como estados nos quais um tubo de atividade única é removido ou muda seu mapeamento dentro de sinopse. Como um estado inicial usa-se o estado no qual todos os tubos são deslocados 20 para o início do filme da sinopse. Para acelerar a computação, também é possível restringir o deslocamento temporal dos tubos para ser em saltos de 10 quadros.

Sinopse de Vídeo Ininterrupto

Como mencionado anteriormente, milhões de webcams e câmeras de segurança estão cobrindo o mundo, capturando em seus campos de visão 24 horas por dia. Um dos problemas na utilização destas câmeras é que elas fornecem dados brutos não editados. Um filme com duas horas de duração, por exemplo, é usualmente criado de centenas ou mesmo milhares de horas de metragem de vídeo bruto. Sem edição, a maioria dos dados de 5 webcams é irrelevante. Visualizar uma câmera em outro continente também pode ser possível apenas durante horas sem atividade devido às diferenças de zona de tempo.

Uma característica importante da presente invenção é fazer o recurso da webcam mais útil dando ao espectador a habilidade de ver sumários 10 do vídeo ininterrupto, adicionalmente ao fluxo de vídeo ao vivo fornecido pela câmera. Um usuário pode querer assistir em cinco minutos uma sinopse de todo o conteúdo capturado durante a semana anterior. Para permitir isto, é descrito um sistema que pode ser baseado na sinopse baseada em objeto como descrito no W02007/057893, mas inclui componentes adicionais que 15 permitem lidar com vídeos ininterruptos.

Neste sistema, um servidor pode ver o vídeo de alimentação ao vivo, analisar o vídeo por eventos de interesse, e gravar uma descrição do vídeo baseada em objetos. Esta descrição lista para cada câmera os objetos de interesse, sua duração, localização, e sua aparência.

Um processo de duas fases é proposto para sinopse de vídeo

ininterrupto:

1) Fase Em Linha durante a captura do vídeo. Esta fase é feita em

tempo real.

• Detecção e segmentação de objeto (tubo).

· Inserção de objetos detectados na fila de objetos.

• Remoção de objetos da fila quando alcançado um limite de espaço.

2) Fase de Resposta construir a sinopse de acordo com a duvida do usuário. Esta fase pode tomar alguns minutos, dependendo da quantidade de atividade no período de tempo de interesse. Esta fase inclui:

• Construir um vídeo de lapso de tempo da mudança de fundo. As mudanças de fundo são usualmente causadas pelas diferenças noite-dia, mas

também podem ser um resultado de um objeto que começa (para) a se mover.

• Selecionar tubos que serão incluídos na sinopse de vídeo e computar uma organização temporal visualmente atrativa destes tubos.

• Pespontar os tubos e fundos em um vídeo coerente. Esta ação poderia levar em conta em que as atividades de tempos diferentes podem

aparecer simultaneamente, e mesmo no fundo de outro tempo.

Pré-Processamento - Filtragem de Quadros Estacionário

Muitas imagens e cenas de câmeras de segurança e webcams que não exibem atividade por longos períodos. Para eficácia de armazenamento, quadros correspondendo a tais períodos de tempo são 15 comumente retirados por filtragem durante a fase em linha. O tempo original dos quadros remanescentes é gravado junto com cada quadro. Em uma implementação, os quadros foram gravados de acordo com dois critérios: (1) Uma mudança global na cena, medida pela soma da diferença do quadrado (SSD) entre o quadro entrante e o último quadro mantido. Este critério rastreia 20 as mudanças de Iuz expressas por uma mudança gradual de iluminação no quadro inteiro. (2) Existência de objeto em movimento, medida pela máxima

SSD em pequena janela.

Assumindo que os objetos em movimento com duração muito pequena (por exemplo, menos de um segundo) não são importantes, a atividade de vídeo pode ser medida apenas uma vez em alguns poucos quadros.

A Fila de Objetos

Um dos desafios mais importantes no manuseio de vídeos ininterruptos é desenvolver um esquema para “esquecer” objetos antigos quando novos objetos chegam. O esquema ingênuo de descartar a atividade mais antiga não é bom, como um usuário pode querer buscar um sumário de uma longa duração de tempo, a qual pode incluir objetos do período inteiro. Em 5 vez disso, é proposto um esquema alternativo que objetiva estimar a importância de cada objeto para possíveis indagações futuras, e descartar objetos desta maneira.

Todos os objetos detectados, representados como tubos no volume espaço-tempo, são armazenados em uma fila esperando indagações 10 de usuário. Quando um objeto é inserido na fila, seu custo de atividade (Equação (8)) é computado para acelerar a futura construção da sinopse de vídeo. Como o vídeo gerado pela webcam é ininterrupto, é provável que em algum ponto do espaço alocado será exaurido, e os objetos terão que ser removidos da fila.

Quando da remoção de objetos (tubos) da fila, prefere-se remover

objetos que são menos prováveis de serem incluídos em uma sinopse final. No exemplo usam-se três critérios simples que podem ser computados com eficácia: “importância” (atividade), “colisão potencial”, e “idade”. Mas outras opções são possíveis, por exemplo, quando aparência ou atividade são de interesse.

Uma medida possível para a importância de um objeto é a soma de suas funções características como definido na Equação (8).

Desde que o valor da colisão não pode ser computado antes de receber a duvida do usuário, uma estimativa para o valor da colisão dos tubos 25 é feita usando a distribuição de atividade espacial na cena. Esta atividade espacial é representada por uma imagem que é a soma dos pixels ativos de todos os objetos em cada localização espacial, normalizados para somar a um. Uma distribuição de atividade espacial é computada para cada objeto individual (desta vez não normalizada). A correlação entre estas duas distribuições de atividades é usada como um custo de “colisão potencial” para este objeto. As Figuras 5a e 5b mostram a distribuição espacial de atividade na cena do aeroporto mostrada na Figura 2, em que a intensidade é o Iog do valor da 5 atividade. A Figura 5a mostra a distribuição de atividade de um tubo único, e a Figura 5b mostra a média de todos os tubos. Como esperado, a maior atividade é na linha dos carros e na partida. O potencial de colisão de tubos é maior em regiões, tendo uma atividade maior.

Existem algumas abordagens possíveis para endereçar a 10 remoção de objetos antigos da fila, levando em consideração a distribuição de objetos desejada na sinopse. Por exemplo, o usuário pode estar interessado a focar em eventos novos, mas deixa alguma representação para eventos antigos no caso de serem significativos. Alternativamente, a sinopse deveria ter uma representação uniforme de todo o intervalo de tempo. Por exemplo, em 15 uma sinopse de 24 horas um usuário pode estar interessado em ver objetos de cada e toda hora se aplicável.

Nesta primeira abordagem podemos assumir que a densidade de objetos na fila deveria decrescer exponencialmente com a idade dos objetos. Por exemplo, se dividir-se o eixo de idade em intervalos discretos, o número de

objetos no intervalo t’s, Nt, deveria ser proporcional a

1 —

N1 =K — e σ, σ

(13)

em que σ ê o coeficiente de deteriorização, e K é determinado para controlar o número total de objetos na fila. Quando um objeto poderia ser removido da fila, o número de objetos no intervalo em cada intervalo de tempo t é comparado a Nt- Somente objetos de intervalos de tempo t cuja população exceder Nt serão avaliados usando o custo de atividade e potencial de colisão. O objeto com mínima atividade e máxima colisão será removido.

Um exemplo de distribuição temporal de objetos chegando à fila aparece na Figura 6, a qual mostra graficamente a distribuição temporal de atividades, como medido pelo número de objetos móveis, na cena do aeroporto 5 da Figura 2 em 29 horas. Lá estão 1920 objetos durante este período. A diminuição exponencial na fila vai resultar em uma distribuição etária a qual é proporcional a distribuição de chegada multiplicada por um exponencial de diminuição.

Geração da Sinopse

A fila de objetos pode ser acessada via por uma duvida, tais como

“eu gostaria de ter uma sinopse de um minuto da disseminação desta câmera durante o dia passado”. Dado o período desejado do vídeo de entrada, e o tamanho desejado da sinopse, a sinopse do vídeo é gerada usando quatro operações, (i) Gerar um fundo do vídeo, (ii) Uma vez que o fundo do vídeo está 15 definido, um valor de consistência é computado para cada objeto a para cada tempo possível na sinopse, (iii) Uma etapa de minimização de energia determina quais tubos (objetos espaço-tempo) aparecem na sinopse e em que tempo, (iv) Os tubos selecionados são descritos nesta seção. A redução do vídeo original a uma representação baseada em objeto permite uma resposta 20 rápida às perguntas.

Após a pergunta do usuário, uma segunda (menor) fila de objetos é gerada, tendo apenas objetos do período de tempo desejado. Para permitir uma otimização rápida, o valor de colisão na Equação (9) entre todos os dois menores objetos da fila, é computado antecipadamente.

Lapso de Tempo de Fundo

O fundo da sinopse do vídeo é um lapso de tempo de vídeo de fundo, gerado antes da atividade de adicionar tubos à sinopse. O fundo de vídeo tem duas tarefas: (i) Ele deveria representar as mudanças do fundo ao longo do tempo (por exemplo, transições noite-dia, etc.). (ii) Ele deveria representar o fundo dos tubos de atividades. Estas duas metas são conflitantes, pois representar o fundo de tubos de atividades será mais bem feito quando o fundo do vídeo cobrir apenas períodos ativos, ignorando, por exemplo, a maioria das horas noturnas.

Busca-se este equilíbrio pela construção de duas distribuições temporais, (i) Uma distribuição de atividade temporal Ha do fluxo de vídeo como mostrado na Figura 6. (ii) Uma distribuição temporal uniforme Ht. Computa-se uma terceira distribuição temporal pela interpolação de duas distribuições 10 temporais λ. Ha+( 1- λ).Ht, em que λ é um peso dado pelo usuário. Com λ=0 o lapso de tempo de fundo de vídeo será uniforme em tempo independente das atividades, enquanto com A=1 o lapso de tempo de fundo de vídeo irá incluir o fundo apenas dos períodos ativos. O valor usual é 0,25< λ<0,5.

Quadros de fundo são selecionados para lapsos de tempo de fundo de vídeo de acordo com distribuição temporal interpolada. Esta seleção é feita tal que a área do histograma entre todos dois quadros de fundo selecionados seja igual. Mais quadros são selecionados das durações de tempo ativo, enquanto não abandonados totalmente pelos períodos inativos.

Alternativamente, o fundo pode ser substituído por um fundo sintético, e os objetos serão colocados em cima deste fundo sintético.

Consistência com o Fundo Desde que não se assume a segmentação precisa dos objetos em movimento, prefere-se pespontar tubos a imagens de fundo tendo uma aparência similar. Esta consistência do tubo para o fundo pode ser levada em 25 conta somando um novo termo de energia Eb(M). Este termo medirá o custo de pespontar u m objeto ao lapso de tempo de fundo. Formalmente, deixa-se Iè(x,y,t) serem os valores de cor dos tubos mapeados b e deixa-se Boul(x,y,t) serem os valores de cor do lapso de tempo de fundo fixado: Es(b) = Σ

x,yea(b),teibr\touí

(14)

em que σ(b) é o conjunto de pixels na borda do tubo de atividade mapeado b e W é a duração da sinopse de saída. Este custo assume que cada tubo é circundado por pixels de seu fundo original (resultando da dilatação morfológica da atividade de mascaramento).

O termo de consistência de fundo na Equação (14) é adicionado à

função de energia descrita na Equação (7), dando:

E(M) =2(£„(έ) + >£,(4)) +

beB

b,b'eB

(15)

em que α,β,γ são pesos selecionados pelo usuário que são dependentes da duvida.

Costurando a Sinopse do Vídeo O pesponto dos tubos de diferentes períodos de tempo propõe um

desafio aos métodos existentes (tais como [1, 16]). Pespontar todos os tubos de uma vez pode resultar em uma mistura de cores de diferentes objetos, que é um efeito indesejado. É melhor preservar as transições pronunciadas entre objetos diferentes, enquanto são eliminados os pespontos apenas entre os 15 objetos e os fundos. Uma segmentação precisa dos objetos pode resolver este problema, mas uma segmentação precisa é irrealista. Em vez disso, as fronteiras de cada tubo consistem de pixels de fundo devido à dilatação morfológica aplicada quando da geração dos tubos de atividade.

A Mistura de Imagem Poisson-α, proposta pelo [27] pode ser uma boa solução para o pesponto entre objetos, mas não tão boa quanto a Edição Poisson [15] para pespontar os objetos ao fundo. A abordagem sugerida é usar a observação de que todos os objetos têm fundos similares (afora as mudanças de iluminação), e pespontar cada tubo independentemente do lapso de tempo de fundo. Qualquer método de mistura é possível, e usou-se uma modificação da edição Poisson. Adicionou-se uma regularização que preserva a aparência original dos objetos mesmo se eles foram pesponto a imagens de 5 fundo com condições de iluminação diferentes (por exemplo, pessoas vistas durante o dia, pespontos sobre um fundo do período noturno).

Também deveria ser notado que os objetos colados ao fundo não precisam ser graficamente idênticos aos objetos correspondentes no vídeo fonte. Por exemplo, pelo menos um objeto na sinopse do vídeo pode ser 10 formado por deformação espacial do objeto ou substituição de um objeto correspondente no vídeo fonte por um símbolo ou ícone pré-determinado. Também, quando objetos são adicionados na sinopse do vídeo, o valor de pixel dos objetos pode não necessariamente substituir o valor do fundo. O novo valor pode ser uma média do fundo e do objeto, criando um efeito de 15 transparência.

Deixe-se Ω ser uma imagem com fronteira dQ. Deixe f, b ser o

objeto (tubo) de fundo e pixels de cor de fundo (lapso de tempo), e deixe s

serem os valores desconhecidos de objetos pesponto sobre o interior de Ω. O

resultado da mistura Poisson com regularização é dada por:

»ή»,Σΐ(Δε-Δ/)2 + Ã(s- f)2\ tal que Sgn =&„,

n

(16)

em que λ é o peso do termo de regularização. No [28] foi

mostrado que pespontar no domínio gradiente pode ser feito muito eficientemente.

Após pespontar cada tubo ao fundo, os tubos sobrepostos são

misturados juntos deixando cada pixel ser uma média ponderada dos pixels

correspondentes dos tubos de atividades pespontos b, com pesos proporcionais as medidas de atividades xè(x,y,t). Alternativamente, transparência pode ser evitada tornando o pixel como medida de atividade máxima em vez de média ponderada.

Pode ser possível usar ordenação por profundidade quando “tubos de objetos” são combinados, em que tubos próximos vão obstruir tubos 5 adicionais. Um único “plano de chão” heurístico pode ser usado, assume-se que um objeto cuja posição de imagem vertical é mais baixa, também está mais próximo. Outros métodos de ordenação de profundidade incluem [29], A freqüência de casos de oclusão de objeto depende dos pesos relativos dos valores de colisão (que evita tais casos) em respeito a outros custos.

Indexação

Sinopses baseadas em indexação de vídeo hierárquica objetiva fornecem um método compacto e fácil de representar e navegar no conteúdo do vídeo, usando indagações visuais, mesmo para um vídeo ininterrupto como é o caso das câmeras de segurança. A Figura 7 mostra uma arquitetura 15 conceituai de indexação e pesquisa de vídeo hierárquico baseado em sinopse. Neste sistema assume-se que o vídeo dentro do qual a indexação é desejada, também foi selecionado, por exemplo, “última hora”, “últimas 36 horas”, etc.

Para construir o índice proposto, o vídeo primeiramente é analisado e os objetos ativos/importantes são extraídos do vídeo para gerar uma representação do vídeo baseada em objetos.

No segundo estágio da indexação os objetos são agrupados em grupos de objetos similares usando qualquer método de agrupamento. Uma forma possível de executar tal agrupamento é construir uma matriz de afinidade (similaridade) baseada em algumas medidas de similaridade entre todos os pares de objetos.

Afinidade (similaridade) entre Objetos Uma medida de afinidade entre objetos pode ser baseada em várias características incluindo, mas não limitado a, uma correlação entre as representações espaço tempo dos objetos. Para executar medições de similaridade eficientes, os objetos que são representados como tubos 3D em uma representação espaço tempo do vídeo, podem ser primeiramente deformadas para um sistema e coordenadas comuns e um alinhamento 5 espaço-tempo pode ser executado para superar suas possíveis diferenças de localização e escala. Tal deformação pode ser útil, pois ela resulta em uma medida de similaridade que é constante para a localização espaço-tempo dos objetos no vídeo e várias transformações projetivas. Objetos similares que têm caminhos de movimentos similares, mas em diferentes localizações no vídeo, 10 serão considerados como similares mesmo se suas aparências originais forem diferentes por causa de efeitos de perspectiva. Medidas de afinidade adicionais podem ser o formato, tamanho ou cor dos objetos, e muitas outras medidas de similaridade possíveis como conhecido na técnica.

Agrupamento

Uma vez que a matriz de afinidade tenha sido construída, um

método de agrupamento tal como [30] pode ser usado para classificar cada objeto dentro de sua classe correspondente. É importante notar que o processo de agrupamento pode também ser usado para ajudar a identificar objetos e comportamentos “irregulares”. Um objeto que não é bem agrupado a qualquer 20 das classes pode-se suspeitar como sendo “único” ou irregular e pode ser visualizado com marcação especial no processo de geração da sinopse o qual é descrito posteriormente.

Um exemplo de tal processo automático de agrupamento dos objetos extraídos de uma seqüência de vídeo de 24 horas, tirado em um 25 estacionamento, é ilustrado na Figura 8. Nos seis quadros retratados ali, objetos de seis classes são mostrados: (i) pessoas andando para a direita; (ii) pessoas andando para a esquerda; (iii) pessoas andando próximas ao edifício; (iv) carros se movendo para a direita; (v) carro se movendo para a esquerda; (vi) carros entrando ou saindo do estacionamento.

Alternativamente, pode ser usado agrupamento probabilístico por meio do qual em vez de ter uma decisão difícil como, qual objeto pertence a qual classe, um vetor de probabilidade pode ser definido para cada objeto e as 5 diferentes classes. Isto pode ser usado no processo de indexação hierárquico. Por exemplo, um objeto pode ser associado com mais do que uma classe se ele se adapta bem a estas classes. Ele pode também ser usado no caso em que é detectada atividade irregular como manifestado por um objeto que tem probabilidades substancialmente iguais de pertencer a classes diferentes.

Índice Hierárquico

Uma vez que os agrupamentos estão determinados, e os objetos estão agrupados dentro de grupos, uma coleção de seqüências de sinopses de vídeo hierárquica para indexação pode ser gerada baseada neste agrupamento (Sinopses de Grupos - SFC).

Uma possível indexação hierárquica poderia primeiramente

apresentar ao usuário uma “sinopse de alto nível”: uma sinopse do vídeo contendo apenas uns poucos representantes de cada grupo. Por exemplo, dos grupos mostrados na Figura 8, a sinopse de “alto nível” pode representar um objeto de cada classe: um carro se movendo para a direita, um carro se 20 movendo para a esquerda, uma pessoa andando para a direita, uma pessoa andando para a esquerda, etc. Um único quadro de tal sinopse pode ser visto na Figura 9, em que representantes de diferentes grupos são apresentados simultaneamente. O usuário pode selecionar uma classe inteira de objetos, selecionando um dos objetos na sinopse de “alto nível”. Esta seleção resultará 25 em apresentar ao usuário uma sinopse do vídeo mostrando apenas objetos do grupo selecionado.

A sinopse de “alto nível pode ser usada como uma ferramenta de indexação interativa para chegar a cada objeto desejado ou atividade no vídeo original. Uma vez o usuário tendo selecionado um grupo específico ou coleção de grupos, a próxima sinopse na hierarquia é exibida. Tal sinopse irá conter mais representantes, ou mesmo todos os objetos daqueles grupos. Neste estágio o usuário pode especificar seu objeto desejado e chegar a seu tempo 5 original no vídeo de entrada. No caso em que há muitos objetos em cada classe, e é difícil de gerar uma sinopse curta, é possível adicionar mais níveis a hierarquia e gerar alguns subgrupos de cada grupo original. Por exemplo, selecionar o grupo “carros se movendo para a direita” pode gerar dois subgrupos de caminhões e sedans. Neste caso será necessário selecionar um 10 dos subgrupos antes de chegar ao resultado final da pesquisa, mostrando uma sinopse com a maioria dos objetos originais.

Tal abordagem fornece uma pesquisa muito rápida e ferramenta de indexação dentro de um vídeo muito grande a qual é baseada em indagações visuais e habilita todos os objetos e atividades no vídeo original a serem achados em um tempo razoável.

Exemplos

Foram testadas sinopses de vídeo em poucos fluxos capturados da Internet. Como a taxa de quadros não é constante pela Internet, e os quadros se perdem periodicamente, quando se usou uma vizinhança temporal não se contou o número de quadros, mas usou-se o tempo total da cada quadro.

As Figuras 10 e 12 são de câmeras colocadas externamente, enquanto a Figura 11 é de uma câmera colocada internamente com iluminação constante. Na maioria dos exemplos o principal “interesse” de cada tubo foi o número de pixels se movendo nele.

As Figuras 10a e 10b mostram o efeito da escolha do custo de colisão da densidade dos objetos na sinopse de vídeo. A Figura 10 mostra um quadro de uma sinopse de 20 segundos de um vídeo capturado por 24 horas no aeroporto de Stuttgart. A Figura 10b mostra que reduzindo a “penalidade de colisão” na função de custo, aumenta substancialmente a densidade de objetos, desse modo permitindo mais sobreposição entre objetos. A Figura 12 mostra preferências baseadas em formas. Na Figura 12a a função de custo 5 regular foi usada, e os objetos maiores (carros se movendo) foram preferidos. Na Figura 12b objetos pequenos, escuros foram preferidos, mostrando uma atividade de pedestres completamente diferentes. A Figura 11 mostra um quadro de uma pequena sinopse de um vídeo capturado por 9 horas em um clube de bilhar. Notam-se os múltiplos jogadores por mesa na sinopse.

Funções de Energia Customizadas

Na maioria dos casos nem todos os objetos são de interesse. Uma câmera de segurança de tráfego pode estar interessada apenas em carros, enquanto outra aplicação pode preferir pedestres. A filtragem dos objetos pode ser feita em vários lugares. Os objetos podem ser excluídos na 15 filtragem antes de entrar na fila, e neste caso nunca será possível recuperá-los. Alternativamente, os objetos podem ser filtrados apenas no estágio de indagação. Neste caso a fila incluirá todos os objetos, e diferentes indagações podem extrair diferentes objetos da fila. Também é possível criar uma função de energia customizada para cada aplicação.

Um exemplo simples de customização é mostrado na Figura 12b,

em que apenas objetos pequenos, escuros foram selecionados da fila. Enquanto a sinopse original inclui principalmente os carros, a nova sinopse inclui principalmente pedestres. Outro exemplo aparece na Figura 13, em que a função de energia inclui o elemento de uma “transição de fase” quando um 25 objeto em movimento para e se torna parte do fundo. A Figura 13a mostra um quadro de uma pequena sinopse tirada em cinco horas de uma webcam assistindo um estacionamento calmo. Um alto escore foi dado para transições de fase (por exemplo, objetos em movimento que param e se tornam parte do fundo). A sinopse de vídeo inclui principalmente carros envolvidos em estacionar. A Figura 13b mostra uma sinopse alternativa em que os objetos sem transição de fase são preferidos, assim apenas carros de passagem e pedestres são mostrados.

Especificação da Sinopse

Existem uns poucos esquemas para especificar a duração e qualidade da sinopse de vídeo.

(a) Deixa-se o usuário especificar a duração desejada da sinopse do vídeo e a penalidade por colisão de objetos. Neste caso, o estágio de

otimização irá maximizar a quantidade de atividade que pode ser incluída na sinopse sob as restrições especificadas.

(b) Deixa-se o usuário especificar a duração desejada da sinopse de vídeo e a percentagem de atividade a ser incluída na mesma. O estágio de otimização irá gerar uma sinopse do vídeo tendo um mínimo de colisões sob as

restrições especificadas.

(c) deixa-se o usuário especificar a percentagem permitida de objetos perdidos e a penalidade por colisão de objetos. O estágio de otimização irá minimizar a duração da sinopse sob as restrições especificadas.

Nas experimentações foi implementada a opção (a), em que a

duração da sinopse de vídeo foi determinada pelo usuário como uma restrição dura. Os vídeos de segurança podem preferir as opções (b) ou (c), assegurando que a maioria dos objetos será representada na sinopse

Mudanças de Velocidade Baseadas em Objetos

Avanço rápido é a ferramenta mais comum usada para a

sumarização de vídeo, e sempre tem sido aplicada a quadros inteiros. Por exemplo, vídeos por “lapso de tempo” exibem em um pequeno tempo processos como o crescimento de flores, etc. Alguns métodos correntes sugerem um avanço rápido adaptativo [12, 18, 4], mas ainda estão limitados a estrutura de quadros inteiros. Com a sinopse de vídeo cada objeto pode ter seu próprio “avanço rápido” baseado em sua importância, ou baseado em sua velocidade original. Objetos lentos podem ser acelerados, mas não os objetos 5 rápidos. Alternativamente a mudança de velocidade de objetos pode ser executada pela amostragem de pixels de um objeto em alguns períodos de tempo selecionados.

Se o número de períodos de tempo selecionados é menor do que o número de quadros no tubo, o efeito geral é que o objeto é acelerado. Se o 10 número de períodos de tempo selecionado é maior do que o número de quadros no tubo, o objeto tem a velocidade diminuída. Alternativamente, a mudança de velocidade dos objetos pode ser determinada durante o estágio de otimização, dando alguma penalidade às mudanças de velocidade dos objetos. Adicionar mudanças de velocidade baseadas em objetos ao estágio de 15 otimização pode adicionalmente aumentar a taxa de compressão temporal da sinopse do vídeo, à custa de aumentar a complexidade da otimização.

Mudanças de velocidade de um objeto podem ser executadas pela amostragem de pixels de um objeto em alguns períodos de tempo selecionados. Se o número de períodos de tempo selecionados é menor do 20 que o número de quadros no tubo, o efeito geral é que o objeto é acelerado. Se o número de períodos de tempo selecionado é maior do que o número de quadros no tubo, o objeto é tem a velocidade diminuída. Quando um período de tempo selecionado não cai exatamente em um quadro, o pixel neste tempo pode ser interpolado com os próximos pixels nos próximos quadros mais 25 próximos em tempo do tempo selecionado. Qualquer método de interpolação possível pode ser utilizado.

Transições de Fase Primeiro Plano - Fundo

As transições de fase ocorrem quando um objeto em movimento torna-se estacionário e incorpora-se ao fundo, ou quando um objeto estacionário começa a se mover. Exemplos são carros sendo estacionados ou saindo do estacionamento. Na maioria dos casos as transições de fase são eventos significativos, e cada transição de fase é detectada e marcada para uso no estágio de indagação.

É possível localizar transições de fase, procurando mudanças no fundo que correspondem ao início e fim de tubos. Desde que transições de fase correspondem a mudanças no fundo, o pesponto de transições de fase dentro do fundo deveria ter atenção especial. Dois efeitos podem ocorrer na 10 sinopse do vídeo quando transições de fase não são inseridas no fundo no tempo correto, (i) Objetos de fundo vão aparecer e desaparecer sem razão causando um efeito oscilante, (ii) Objetos em movimento vão desaparecer quando pararem de se mover, em vez de se tornarem parte do fundo. Para minimizar tais efeitos na sinopse do vídeo, as transições de fase poderiam ser 15 inseridas dentro do lapso de tempo, de fundo em um tempo que corresponde ao seu tempo original.

Hardware do Sistema

Referenciando a Figura 14, lá é mostrado um diagrama de bloco de um sistema 10 de acordo com a invenção para geração de uma sinopse de 20 vídeo de uma fonte de vídeo capturada de uma câmera 11.0 sistema 10 inclui uma memória de vídeo 12 para armazenar um subconjunto de quadros de vídeo da primeira fonte de vídeo que mostra o movimento de pelo menos um objeto compreendendo uma pluralidade de pixels localizados nas respectivas coordenadas x, y. Um pré-processador 13 processa o vídeo capturado em 25 linha. O pré-processador pode incluir uma unidade de alinhamento14 para pré- alinhar os quadros de vídeo. Neste caso, a câmera 11 será acoplada a unidade de alinhamento 14 para assim armazenar os quadros de vídeo pré-alinhados na memória de vídeo 12. A unidade de alinhamento pode operar por: computar parâmetros de movimento da imagem entre quadros no

vídeo fonte;

deformar os quadros de vídeo no vídeo fonte, para que os objetos estacionários na imagem da cena sejam estacionários no vídeo.

O pré-processador 13 inclui um detector de objetos fonte 15 que

detecta objetos no vídeo fonte e enfileira os objetos detectados em uma memória de objetos 16. Como notado acima, quando um objeto é inserido na fila, seu custo de atividade (Equação (8)) é computado para acelerar a futura construção da sinopse do vídeo, isto também é feito pelo pré-processador 13. 10 Deve ser entendido que o pré-processador 13 é mostrado em atenção à totalidade em virtude de seu uso quando criando uma sinopse do vídeo de uma fonte de vídeo ininterrupta. A invenção também contempla um sistema reduzido sem o pré-processador 13 que é adaptado para ser acoplada a memória de objeto 16 para manipular a fila de objetos, para assim criar uma sinopse do 15 vídeo de acordo com critérios definidos. Tal sistema é realizado pelos componentes remanescentes na Figura 14, como será descrito.

Desta maneira, uma interface de usuário 17 é acoplada a memória de objeto 16 para permitir a definição de restrições definidas pelo usuário. Tais restrições podem ser usadas, por exemplo, para definir uma

janela de tempo para ser sumarizada dentro do vídeo fonte. Ela também pode ser usada para definir a duração requerida da sinopse do vídeo. A interface do usuário 17 também é usada para selecionar objetos ou classes de objetos para propósito de indexação. Será apreciado que as restrições também podem ser pré-definidas, casos nos quais algumas realizações da invenção não irão 25 requerer a interface de usuário 17.

Um seletor de objeto fonte 18 é acoplado à memória de objeto 16, para selecionar de um subconjunto pelo menos três diferentes objetos fontes de acordo com as restrições definidas pelo usuário ou a restrições default definidas pelo sistema. Cada um dos diferentes objetos fonte é um subconjunto conectado de pontos de imagem de pelo menos três quadros diferentes do vídeo fonte. Uma unidade de agrupamento 19 pode ser opcionalmente ser acoplado ao seletor de objeto fonte 18 para agrupar objetos de acordo com critérios definidos, os quais podem ser especificados pelo usuário usando a interface de usuário 17. Um amostrador de objetos de sinopse 20 é acoplado ao seletor de objetos fonte 18 ou a unidade de agrupamento 19 quando fornecida, para tirar amostras de um ou mais objetos de sinopse, de cada objeto fonte selecionado, por seleção temporal usando pontos de imagem derivados de alguns quadros selecionados. O “amostrador” pode ser usado para mudar a velocidade de objetos individuais. Um gerador de quadros 21 inclui um seletor de grupos 22 que permite apenas grupos selecionados serem incluídos na sinopse do vídeo. O gerador de quadros 21 também inclui um seletor de tempo 23 para selecionar para cada objeto de sinopse um tempo respectivo para iniciar sua exibição na sinopse do vídeo. O gerador de quadros

21 adicionalmente inclui uma unidade de transformação de cor 24 para selecionar para cada objeto de sinopse e cada quadro uma respectiva transformação de cor para exibir o objeto de sinopse. Opcionalmente, o gerador de quadros 21 pode incluir uma unidade de deformação 25 para 20 deformar espacialmente os objetos antes de pespontá-los na sinopse do vídeo. Dentro do contexto da descrição e das reivindicações anexas, o termo “deformar” tem a intenção de incorporar qualquer edição espacial de um objeto. Como notado acima, isto pode incluir substituir um objeto em sua inteireza por outro objeto tal como um ícone; ou pode simplesmente envolver leves efeitos 25 de ajustes geométricos a um objeto antes que ele seja pesponto no sinopse do vídeo. Uma unidade de deformação 26 dentro do gerador de quadros 21 deforma os objetos de sinopse com cor transformada selecionados para assim gerar sucessivos quadros da sinopse do vídeo. Os quadros da sinopse do vídeo são armazenados em uma memória de quadros de sinopse 27 para processamento subseqüente ou exibição por uma unidade de exibição 28 que exibe os objetos deslocados temporalmente em seus tempos especificados e cores transformadas.

O sistema 10 pode na prática ser realizado por um computador

programado adequado tendo um cartão gráfico ou estação de trabalho e periféricos adequados, todos como são bem conhecidos na técnica.

A Figura 15 é um diagrama de fluxo mostrando a principal operação realizada pelo sistema 10 de acordo com uma realização da invenção.

Notas de Conclusão A sinopse baseada em objetos pode ser usada para criar um vídeo curto que é uma sinopse de um fluxo de vídeo ininterrupto, tal como gravado por câmeras de segurança. O método inclui duas fases. Na fase de entrada, a qual é executada em tempo real, o fluxo de vídeo é analisado e objetos de interesse são detectados e segmentados de seus fundos. Enquanto uma função de interesse em objeto baseada em movimento foi descrita, qualquer outra abordagem para a detecção, reconhecimento e segmentação de objeto pode ser usada para a geração de “tubos” - as representações espaço- tempo 3D de cada objeto.

O gerenciamento de fila é necessário para transpor a lacuna entre vídeo infinito e armazenamento finito, a para permitir respostas rápidas a indagações do usuário. Algumas metodologias têm sido descritas para determinar quais objetos deveriam ser removidos da fila uma vez que ela fique 25 cheia, mas outras metodologias são possíveis. Mesmo uma seleção randômica dos objetos para remoção da fila pode funcionar bem.

A segunda fase ocorre após a indagação de o usuário ser conhecida. Um subconjunto da fila é extraído baseado no período de interesse, e os tubos de objetos são organizados (por deslocamentos temporais) para gerar a sinopse de vídeo ótima. Este estágio, o qual requer computação fora de linha, entrega a sinopse do vídeo ao usuário.

Alguns aspectos muito interessantes dizem respeito à 5 periodicidade no fundo. Períodos noite-dia são particularmente receptivos à detecção. Na maioria dos casos quando uns poucos dias são cobertos por uma única sinopse, o lapso de tempo de fundo pode cobrir apenas um único dia, enquanto as atividades virão de todos os dias. Esta poderia ser uma opção dada ao usuário especificando a indagação.

Será entendido que referência a “pontos de imagem” a menos que

especificamente limitados a segmentação binária, entende-se abranger também pontos de imagem como determinados por interpolação ou por métodos de segmentação não binária tal como segmentação indistinta.

Também deve ser entendido que quando um vídeo fonte é 15 monocromático, a unidade de transformação de cor pode ser usada para determinar uma transformação de escala de cinza apropriada para ser aplicada aos objetos de sinopse selecionados antes de costurá-los. Portanto, dentro do contexto das reivindicações anexas, o termo “cor” não tem a intenção de ser limitado apenas a RGB, mas também pode ser monocromático.

Também deveria ser notado que a transformação de cor ou

escala de cinza é apenas um tipo de transformação que pode ser aplicado aos objetos de sinopse selecionados antes de pespontar. Como explicado acima, é particularmente benéfico quando gerando uma sinopse do vídeo de uma fonte de vídeo que se estende por uma longa duração para assegurar consistência 25 do fundo. Mas isto pode ser menos crítico quando uma sinopse de vídeo é derivada de uma fonte de vídeo na qual a cor de fundo é suficientemente constante durante a janela de tempo requerida.

Também será entendido que o sistema de acordo com a invenção pode ser um computador programado adequado. Da mesma maneira, a invenção contempla um programa de computador sendo lido por um computador para executar o método da invenção. A invenção contempla adicionalmente uma memória legível por máquina tangível incluindo um 5 programa de instruções executáveis pela máquina para executar o método da invenção.

Claims (37)

Reivindicações

1. MÉTODO PARA GERAR UMA SINOPSE DO VÍDEO DE UMA FONTE DE FLUXO DE VÍDEO SUBSTANCIALMENTE ININTERRUPTA COMO A GERADA POR UMA CÂMERA DE SEGURANÇA DE VÍDEO, sendo que o método compreende os passos de: receber em tempo real descrições de pelo menos três diferentes objetos fonte no dito fluxo de vídeo fonte, cada objeto fonte sendo um subconjunto conectado de pontos de imagem de pelo menos três quadros diferentes do fluxo de vídeo fonte; continuamente manter uma fila das ditas descrições baseadas em objeto recebidas incluindo, para cada respectivo objeto fonte, sua duração e localização; selecionar um subconjunto de pelo menos três objetos fonte da dita fila baseado no critério determinado, e retirar amostras de um ou mais objetos de sinopse por amostragem temporal de cada objeto fonte selecionado; determinar para cada objeto de sinopse um respectivo tempo de exibição para iniciar sua exibição na sinopse do vídeo; e gerar uma sinopse do vídeo, exibindo objetos de sinopse selecionados ou objetos derivados destes, cada um em seu respectivo tempo de exibição pré-determinado; caracterizado pelo fato de que pelo menos três pontos, cada um derivado de diferentes tempos respectivos no fluxo de vídeo fonte, são exibidos simultaneamente na sinopse do vídeo e pelo fato de que pelo menos dois pontos, ambos derivados do mesmo tempo, são exibidos em tempos diferentes na sinopse do vídeo.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente os passos de: determinar para cada objeto de sinopse e cada quadro na sinopse do vídeo uma respectiva transformação de cor para exibir o objeto de sinopse; e exibir os ditos objetos de sinopse selecionados ou os objetos derivados destes em sua respectiva transformação de cor.

3. MÉTODO, de acordo com as reivindicações 1 ou 2, caracterizado pelo fato de que o objeto é um objeto de fundo.

4. MÉTODO, de acordo com a reivindicação 3, caracterizado pelo fato de que inclui pespontar os objetos e o fundo em um vídeo sem emendas

5. MÉTODO, de acordo com uma das reivindicações 1 a 4, caracterizado pelo fato de que os objetos fonte são selecionados da fila e um respectivo tempo para iniciar a exibição de cada objeto de sinopse é determinado para otimizar uma função de custo.

6. MÉTODO, de acordo com uma das reivindicações 1 a 5, caracterizado pelo fato de que o objeto de fundo é gerado sinteticamente.

7. MÉTODO, de acordo com uma das reivindicações 1 a 6, caracterizado pelo fato de que cada objeto na sinopse do vídeo aponta para um segmento de tempo no fluxo de vídeo fonte em que o respectivo objeto é visível.

8. MÉTODO, de acordo com a reivindicação 7, caracterizado pelo fato de que a seleção de um objeto faz com que o segmento de tempo no fluxo de vídeo fonte apontado pelo objeto selecionado seja exibido.

9. MÉTODO, de acordo com uma das reivindicações 1 a 8, caracterizado pelo fato de que pelo menos um objeto na sinopse do vídeo é formado pela substituição de um objeto correspondente no fluxo de vídeo fonte por um símbolo pré-determinado.

10. MÉTODO, de acordo com uma das reivindicações 1 a 9, caracterizado pelo fato de que os objetos são primeiro agrupados em classes similares, e a sinopse do vídeo inclui objetos de pelo menos um número pre- determinado de classes.

11. MÉTODO, de acordo com uma das reivindicações 1 a 10, caracterizado pelo fato de que os objetos são primeiro agrupados em classes similares, e os objetos de pelo menos uma classe selecionada não são exibidos.

12. MÉTODO, de acordo com as reivindicações 7 ou 8, caracterizado pelo fato de que os objetos são primeiro agrupados em classes similares e a seleção de um objeto aponta para uma sinopse do vídeo que inclui apenas objetos da mesma classe do objeto selecionado.

13. MÉTODO, de acordo com uma das reivindicações 1 a 12, caracterizado pelo fato de que a seleção de um ou mais objetos fonte inclui: computar uma função de custo para pespontar o objeto de sinopse na sinopse do vídeo; e selecionar objetos de sinopse para os quais a função de custo é considerada tão perto do ótimo quanto possível.

14. MÉTODO, de acordo com uma das reivindicações 1 a 13, caracterizado pelo fato de que a seleção de pelo menos três objetos fonte não sobrepostos da fila inclui filtrar os objetos fonte baseado nas restrições definidas pelo usuário e limitar os objetos fonte filtrados aos objetos filtrados que aparecem dentro de uma janela de tempo especificada.

15. MÉTODO, de acordo com uma das reivindicações 1 a 14, caracterizado pelo fato de que seleciona pelo menos três objetos fonte não sobrepostos, inclui determinar um escore de interesse.

16. MÉTODO, de acordo com a reivindicação 15, caracterizado pelo fato de que o escore de interesse é uma medida de atividade.

17. MÉTODO, de acordo com uma das reivindicações 1 a 16, caracterizado pelo fato de que a sinopse do vídeo contém todos os objetos de interesse do fluxo de vídeo fonte.

18. MÉTODO, de acordo com uma das reivindicações 1 a 16, caracterizado pelo fato de que um número de objetos de interesse no fluxo de vídeo fonte que aparecem também na sinopse do vídeo é uma troca entre maximizar o dito número ao mesmo tempo em que mantém o apelo visual da sinopse do vídeo s

19. MÉTODO, de acordo com uma das reivindicações 1 a 18, caracterizado pelo fato de que o fluxo de vídeo fonte é capturado por uma câmera única.

20. MÉTODO, de acordo com a reivindicação 19, caracterizado pelo fato de que inclui manter a dita câmera única em uma localização fixa.

21. MÉTODO, de acordo com a reivindicação 20, caracterizado pelo fato de que a câmera é rotacionada em relação a um eixo geométrico na dita localização fixa.

22. MÉTODO, de acordo com uma das reivindicações 1 a 21, caracterizado pelo fato de que inclui deformação espacial de pelo menos um dos ditos objetos de sinopse antes de exibir o mesmo.

23. MÉTODO, de acordo com uma das reivindicações 1 a 22, caracterizado pelo fato de que inclui pré-alinhar o fluxo de vídeo fonte para produzir um fluxo de vídeo fonte estabilizado por: (a) computar parâmetros de movimento de imagem entre quadros no fluxo de vídeo fonte; (b) deformar os quadros de vídeo no fluxo de vídeo fonte para que os objetos estacionários apareçam estacionários no fluxo de vídeo fonte estabilizado.

24. MÉTODO, de acordo com uma das reivindicações 1 a 23, caracterizado pelo fato de que é usado para segurança de vídeo.

25. MÉTODO, de acordo com uma das reivindicações 1 a 23, caracterizado pelo fato de que é usado para pelo menos um do grupo de: indexação de vídeo, navegação de vídeo e recuperação de vídeo.

26. MÉTODO, de acordo com a reivindicação 25, caracterizado pelo fato de que inclui manter para os pixels na sinopse do vídeo um ponteiro para os pixels correspondentes no fluxo de bits fonte.

27. SISTEMA, (10) PARA GERAR UMA SINOPSE DO VÍDEO DE UMA FONTE DE FLUXO DE VÍDEO SUBSTANCIALMENTE ININTERRUPTA COMO A GERADA POR UMA CÂMERA DE SEGURANÇA DE VÍDEO, caracterizado por compreender: um seletor de objetos fonte (18) adaptado para ser acoplado a uma memória de objeto (16) que armazena uma fila mantida continuamente de descrições baseadas em objetos de pelo menos três diferentes objetos fonte no dito fluxo de vídeo fonte, em que as ditas descrições baseadas em objetos incluem para cada respectivo objeto fonte sua duração e localização, o seletor 15 de objetos fonte 18 é adaptado para selecionar pelo menos três objetos fonte de acordo com uma ou mais restrições definidas, cada objeto fonte é um subconjunto conectado de pontos de imagem de pelo menos três quadros diferentes do fluxo de vídeo fonte; um amostrador de objetos de sinopse (20) acoplado ao seletor de objetos fonte (18) para tirar amostras de um ou mais objetos de sinopse de cada objeto fonte selecionado por amostragem temporal usando pontos de imagem derivados de períodos de tempo especificados; uma unidade de seleção de tempo (23) acoplada ao amostrador de objetos de sinopse (20) para determinar para cada objeto de sinopse um respectivo tempo de exibição para iniciar sua exibição na sinopse do vídeo; uma unidade de pesponto (26) acoplada à unidade de seleção de tempo (23) para pespontar cada um dos objetos de sinopse ou objetos derivados destes em um respectivo tempo de exibição para assim gerar sucessivos quadros da sinopse do vídeo, tal que pelo menos três pontos de cada quadro da sinopse do vídeo que derivam de diferentes tempos respectivos no fluxo de vídeo fonte são exibidos simultaneamente; e uma memória de quadros de sinopse (27) acoplada à unidade de pespontar (26) para armazenar os ditos quadros da sinopse do vídeo.

28. SISTEMA, de acordo com a reivindicação 27, caracterizado pelo fato de que inclui adicionalmente uma unidade de exibição (28) acoplada à unidade de pespontar (25) para exibir uma sinopse do vídeo.

29. SISTEMA, de acordo com uma das reivindicações 27 e 28, caracterizado pelo fato de que inclui uma unidade de transformação de cor (24) acoplada à unidade de seleção de tempo (23) para determinar para cada objeto de sinopse e cada quadro uma respectiva transformação de cor para exibir o objeto de sinopse; a unidade de pesponto (26) é acoplada à unidade de transformação de cor (24) para pespontar os objetos de sinopse selecionados ou objetos derivados destes em suas respectivas transformações de cores.

30. SISTEMA, de acordo com uma das reivindicações 27 a 29, caracterizado pelo fato de que inclui adicionalmente uma interface de usuário (17) acoplada à memória de objeto (16) para permitir a definição de restrições definidas pelo usuário.

31. SISTEMA, de acordo com uma das reivindicações 27 a 30, caracterizado pelo fato de inclui que adicionalmente uma unidade de agrupamento (19) para agrupar objetos de acordo com um critério definido.

32. SISTEMA, de acordo com uma das reivindicações 27 a 31, caracterizado pelo fato de que inclui adicionalmente um pré-processador (13) para processar vídeo capturado em linha para detectar ditos objetos no fluxo de vídeo fonte, o dito pré-processador (13) sendo adaptado para acoplar a memória de objeto (16) para armazenar os ditos objetos nesta.

33. SISTEMA, de acordo com a reivindicação 32, caracterizado pelo fato de que o pré-processador (13) inclui uma unidade de alinhamento (14) para pré-alinhar os quadros de vídeo no fluxo de vídeo fonte.

34. SISTEMA, de acordo com a reivindicação 33, caracterizado pelo fato de que a unidade de alinhamento (14) é adaptada para: computar parâmetros de movimento de imagem entre quadros na primeira seqüência; e deformar os quadros de vídeo na primeira seqüencia p ara que objetos estacionários na primeira cena dinâmica estejam estacionários no vídeo.

35. SISTEMA, de acordo com uma das reivindicações 27 a 34, caracterizado pelo fato de que o gerador de quadros inclui uma unidade de deformação (25) para deformar espacialmente pelo menos um objeto antes de costurá-lo à sinopse do vídeo.

36. SISTEMA, de acordo com uma das reivindicações 27 a 35, caracterizado pelo fato de que é adaptado para pelo menos um no grupo de: indexação de vídeo, navegação de vídeo e recuperação de vídeo.

37. MÍDIA LEGÍVEL POR COMPUTADOR, caracterizada por compreender meios de código de programa de computador para executar o método tal como definido em qualquer uma das reivindicações 1 a 26.