ES2586553T3 - Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación - Google Patents

Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación Download PDF

Info

Publication number
ES2586553T3
ES2586553T3 ES12824838.2T ES12824838T ES2586553T3 ES 2586553 T3 ES2586553 T3 ES 2586553T3 ES 12824838 T ES12824838 T ES 12824838T ES 2586553 T3 ES2586553 T3 ES 2586553T3
Authority
ES
Spain
Prior art keywords
particles
particle
image
frame
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12824838.2T
Other languages
English (en)
Inventor
Hiromi Hirano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of ES2586553T3 publication Critical patent/ES2586553T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Un dispositivo de procesamiento de información que realiza el rastreo de un objetivo predeterminado en un vídeo compuesto por una pluralidad de fotogramas, que comprende: un medio de ajuste inicial de partícula que establece al menos una partícula en el objetivo en una imagen de un fotograma seleccionado previamente en el vídeo; un medio de adquisición de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el vídeo después del fotograma seleccionado previamente; un medio de determinación de borde externo del rango de rastreo que determina, como un borde externo de un rango de rastreo de partícula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de píxel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisición de fotograma es mayor que o igual a un umbral; un medio de ajuste de partícula que establece partículas en la imagen del fotograma siguiente en posiciones de píxeles que están dentro de un rango predeterminado con referencia a posiciones de partículas en la imagen del fotograma anterior y solo dentro del borde externo determinado por el medio de determinación de borde externo del rango de rastreo para evitar que se dispersen partículas de la frontera del objetivo y que tienen una información de color similar a la información de color en píxeles en las posiciones de las partículas de referencia; un medio de especificación de objetivo que especifica una posición del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partículas establecidas por el medio de ajuste de partícula; un medio de determinación de rastro que determina si puede realizarse el rastreo del objetivo basándose en las partículas establecidas por el medio de ajuste de partícula; un medio de restablecimiento de partícula que, cuando el medio de determinación de rastro determina que el rastreo es imposible, vuelve a establecer partículas en la imagen del fotograma siguiente según las posiciones de las partículas establecidas por el medio de ajuste inicial de partícula o el medio de ajuste de partícula; y un medio de almacenamiento que almacena las posiciones de las partículas establecidas por el medio de ajuste inicial de partícula o el medio de ajuste de partícula, en el que cuando el medio de determinación de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, el medio de ajuste de partícula establece partículas en la imagen del fotograma siguiente según las posiciones de las partículas en el fotograma anterior para las cuales puede determinarse el borde externo del rango de rastreo con referencia al medio de almacenamiento.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Dispositivo de procesamiento de informacion, metodo de procesamiento de informacion, programa para dispositivo de procesamiento de informacion y medio de grabacion
Campo tecnico
La presente invencion se refiere al campo tecnico de un dispositivo de procesamiento de informacion que realiza procesamientos de informacion sobre datos de video, un metodo de procesamiento de informacion, un programa para el dispositivo de procesamiento de informacion y un medio de grabacion.
Antecedentes de la tecnica
Tradicionalmente, se conoce un filtro de partfculas como metodo que realiza el rastreo de un objetivo espedfico en un video. Por ejemplo, el documento de patente 1 desvela en el mismo un dispositivo de procesamiento de imagenes que lee datos de video para cada fotograma, genera imagenes perifericas de fotogramas de imagen, distribuye partfculas en un espacio de un conjunto de coeficientes y un espacio de vectores espaciales de forma, adquiere una observacion de probabilidad y una distribucion de densidad de probabilidad de cada partfcula, y genera, como resultado de rastreo, una curva que se obtiene realizando un promedio ponderado sobre cada parametro por la distribucion de densidad de probabilidad.
Lista de citas
Documento de patente
Documento de patente 1: solicitud de patente japonesa abierta a consulta publica N.° 2010-152557
Sumario de la invencion
Problema a resolver por la invencion
Sin embargo, con el filtro de partfculas, cuando un color de un objetivo es mas proximo a su color circundante en un fotograma, es diffcil especificar una frontera entre los mismos en el fotograma. En tal caso, las partfculas pueden difundirse y dispersarse en una region que debena estar fundamentalmente fuera de la frontera del objetivo. Por tanto, existe un problema de que no puede realizarse el rastreo del objetivo.
La presente invencion se ha realizado en terminos del problema, y un objeto a modo de ejemplo de la misma es proporcionar un dispositivo de procesamiento de informacion o similar que pueda realizar el rastreo de manera precisa de un objetivo.
Medios para resolver el problema
El objeto se resuelve mediante las caractensticas de las reivindicaciones independientes. En las reivindicaciones dependientes se describen realizaciones preferidas. Un primer ejemplo se caracteriza por incluir un medio de ajuste inicial de partfcula que ajusta al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video, un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, un medio de determinacion de borde externo del rango de rastreo que determina, como un borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es un umbral o mas, un medio de ajuste de partfcula que ajusta partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y dentro de un borde externo determinado por el medio de determinacion de borde externo del rango de rastreo y que tiene informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia, y un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula.
En el dispositivo de procesamiento de informacion segun el primer ejemplo, un segundo aspecto esta caracterizado porque el medio de ajuste inicial de partfcula establece las partfculas en una pluralidad de partes del objetivo, se proporciona ademas un medio de calculo de angulo de tonalidad que calcula una tonalidad de un pixel cuando la partfcula esta colocada en cada parte del objetivo y calcula un angulo de tonalidad entre las partes, y el medio de especificacion de objetivo especifica una posicion del objetivo basandose ademas en el angulo de tonalidad entre las partes calculado por el medio de calculo de angulo de tonalidad.
En el dispositivo de procesamiento de informacion segun el primer ejemplo o el segundo aspecto, un tercer aspecto
5
10
15
20
25
30
35
40
45
50
55
60
65
incluye ademas un medio de determinacion de rastro que determina si puede realizarse el rastreo del objetivo basandose en las partfculas establecidas por el medio de ajuste de partfcula, y un medio de restablecimiento de partfcula que, cuando el medio de determinacion de rastro determina que el rastreo es imposible, vuelve a establecer las partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula.
En el dispositivo de procesamiento de informacion segun uno cualquiera del primer ejemplo al tercer aspecto, un cuarto aspecto incluye ademas un medio de almacenamiento que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula, en el que cuando el medio de determinacion de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, el medio de ajuste de partfcula establece partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior para las cuales no puede determinarse el borde externo del rango de rastreo con referencia al medio de almacenamiento.
El quinto aspecto se caracteriza por incluir una etapa de ajuste inicial de partfcula para establecer al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video, una etapa de adquisicion de fotograma para adquirir secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, una etapa de determinacion de borde externo del rango de rastreo para determinar, como borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es un umbral o mas, una etapa de ajuste de partfcula para establecer partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y dentro de un borde externo determinado por el medio de determinacion de borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia, y una etapa de especificacion de objetivo para especificar una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula.
El sexto aspecto provoca que un ordenador funcione como un medio de ajuste inicial de partfcula que ajusta al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video, un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, un medio de determinacion de borde externo del rango de rastreo que determina, como borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es un umbral o mas, un medio de ajuste de partfcula que ajusta partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y dentro de un borde externo determinado por el medio de determinacion de borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia, y un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula.
El septimo aspecto graba un programa para un dispositivo de procesamiento de informacion de manera legible por ordenador, provocando el programa que un ordenador funcione como un medio de ajuste inicial de partfcula que establece al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video, un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, un medio de determinacion de borde externo del rango de rastreo que determina, como borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es un umbral o mas, un medio de ajuste de partfcula que establece partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y dentro de un borde externo determinado por el medio de determinacion de borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia, y un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula.
Efecto de la invencion
Segun la presente invencion, al menos una partfcula se establece en un objetivo en una imagen de un fotograma seleccionado previamente de un video, se adquieren secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, una parte correspondiente al objetivo en una imagen del fotograma anterior, cuando un grado de diferencia en valores de pixel
5
10
15
20
25
30
35
40
45
50
55
60
65
entre la imagen del fotograma temporalmente anterior y una imagen del fotograma temporalmente siguiente es un umbral o mas, se determina como borde externo de un rango de rastreo de partfcula, partfculas en la imagen del fotograma siguiente se establecen en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a las partfculas en la imagen del fotograma anterior y dentro del borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color de los pfxeles en las posiciones de las partfculas de referencia, y una posicion del objetivo en la imagen del fotograma siguiente se especifica a partir de las posiciones de las partfculas establecidas de manera que las partfculas en la imagen del fotograma siguiente se establecen solo dentro del borde externo del rango de rastreo correspondiente al objetivo en la imagen del fotograma anterior, cuando el grado de diferencia en los valores de pixel entre la imagen del fotograma temporalmente anterior y la imagen del fotograma temporalmente siguiente, evitando asf que las partfculas se dispersen y rastreando de manera precisa el objetivo.
Breve descripcion de los dibujos
La figura 1 es un diagrama de bloques que ilustra una estructura general a modo de ejemplo de un dispositivo de procesamiento de informacion segun una realizacion de la presente invencion.
La figura 2 es un diagrama de flujo que ilustra operaciones a modo de ejemplo del dispositivo de procesamiento de informacion de la figura 1.
La figura 3 es un diagrama esquematico que ilustra un fotograma a modo de ejemplo de un video procesado por el dispositivo de procesamiento de informacion de la figura 1.
La figura 4 es un diagrama esquematico que ilustra el ajuste de partfculas a modo de ejemplo en un objetivo en el fotograma de la figura 3.
La figura 5 es un diagrama esquematico que ilustra una imagen a modo de ejemplo que depende de la resta de fondo para el fotograma de la figura 3.
La figura 6 es un diagrama esquematico que ilustra un angulo de tonalidad a modo de ejemplo con respecto a partfculas en un objetivo.
La figura 7 es un diagrama esquematico que ilustra el rastreo de un objetivo a modo de ejemplo en un fotograma de un video procesado por el dispositivo de procesamiento de informacion de la figura 1.
La figura 8 es un diagrama esquematico que ilustra aumento/reduccion a modo de ejemplo en las partfculas.
La figura 9 es un diagrama de flujo que ilustra una subrutina del ajuste de partfcula de la figura 2.
La figura 10 es un diagrama esquematico que ilustra vecinos a modo de ejemplo de una partfcula en un objetivo.
La figura 11 es un diagrama esquematico de una partfcula similar a modo de ejemplo en un fotograma siguiente.
La figura 12 es un diagrama esquematico que ilustra un estado a modo de ejemplo donde las partfculas estan presentes en posiciones que indican un objetivo.
La figura 13 es un diagrama esquematico que ilustra una variante de la figura 12.
La figura 14 es un diagrama que ilustra una transicion a modo de ejemplo del numero de partfculas cuando se usa y
cuando no se usa un metodo segun la presente realizacion.
La figura 15 es un diagrama de flujo que ilustra una variante de la subrutina del ajuste de partfcula de la figura 9. Modos para llevar a cabo la invencion
A continuacion se describira una realizacion segun la presente invencion con referencia a los dibujos. Ademas, la realizacion descrita a continuacion es una realizacion en la que la presente invencion se aplica a un dispositivo de procesamiento de informacion.
[1. Resumen de estructura y funcional del dispositivo de procesamiento de informacion]
Se describira primero un resumen de estructura y funcional de un dispositivo de procesamiento de informacion segun una realizacion de la presente invencion utilizando la figura 1.
La figura 1 es un diagrama esquematico que ilustra un resumen de estructura a modo de ejemplo del dispositivo 10 de procesamiento de informacion segun la presente realizacion.
5
10
15
20
25
30
35
40
45
50
55
60
65
Como se ilustra en la figura 1, el dispositivo 10 de procesamiento de informacion que funciona como un ordenador incluye una unidad 11 de comunicacion, una unidad 12 de almacenamiento, una unidad 13 de presentacion visual, una unidad 14 de funcionamiento, una unidad 15 de interfaz de E/S y una unidad 16 de control de sistema. La unidad 16 de control de sistema y la unidad 15 de interfaz de E/S estan conectadas entre sf mediante un bus 17 de sistema.
El dispositivo 10 de procesamiento de informacion realiza procesamientos de informacion sobre datos de video. Por ejemplo, el dispositivo 10 de procesamiento de informacion recibe datos de imagenes de carreras de caballos emitidas en directo en un sitio de carreras de caballos (no ilustrado) o similar mediante una red (no ilustrada), realiza procesamientos de informacion en los datos de video recibidos, y transmite los datos de video sometidos a los procesamientos de informacion a un dispositivo terminal de usuario (no mostrado). El dispositivo 10 de procesamiento de informacion puede presentar visualmente los datos de video sometidos a los procesamientos de informacion en la unidad 13 de presentacion visual como un dispositivo terminal de usuario.
Cuando el dispositivo 10 de procesamiento de informacion se conecta a una red o una red de area local, la unidad 11 de comunicacion controla un estado de comunicacion e intercambia datos. Ademas, el dispositivo 10 de procesamiento de informacion recibe datos de video de carreras de caballos emitidas en directo en un sitio de carreras de caballos o similar mediante la unidad 11 de comunicacion.
La unidad 12 de almacenamiento como medio de almacenamiento a modo de ejemplo esta configurada de un disco duro, por ejemplo, y almacena en su interior diversos programas tales como sistemas operativos y programas de servidor, datos de video y similares. Ademas, diversos programas pueden adquirirse de otro dispositivo de servidor o similar mediante una red, o pueden grabarse en un medio de grabacion y leerse mediante un dispositivo de accionamiento (no ilustrado).
La unidad 12 de almacenamiento construye en su interior una base de datos 12a de video (que se denominara “BD 12a de video” mas adelante) que almacena datos de video tales como fotos de carreras de caballos o almacena temporalmente datos de video de carreras de caballo emitidas en directo. La unidad 12 de almacenamiento almacena en su interior archivos de paginas web descritas en un lenguaje de marcado tal como HTML (lenguaje de marcado de hipertexto) o XML (lenguaje de marcado extensible) para presentar visualmente informacion de un sitio de carreras de caballos en un dispositivo terminal o en la unidad 13 de presentacion visual.
La unidad 13 de presentacion visual esta configurada de un dispositivo de presentacion visual de cristal lfquido o dispositivo EL (electroluminiscente), por ejemplo. La unidad 13 de presentacion visual muestra en la misma datos de imagenes de carreras de caballos o similares.
La unidad 14 de funcionamiento esta configurada de un teclado o un raton, por ejemplo. El usuario introduce una respuesta a traves de la unidad 14 de funcionamiento. Ademas, cuando la unidad 13 de presentacion visual es un panel de presentacion visual de tipo conmutador por contacto tal como un panel tactil, la unidad 14 de funcionamiento adquiere informacion de posicion de la unidad 13 de presentacion visual con la que el usuario contacta o a la que se aproxima.
A continuacion, la unidad 15 de interfaz de E/S realiza procesamiento de interfaz entre la unidad 11 de comunicacion, la unidad 12 de almacenamiento y la unidad 16 de control de sistema.
La unidad 16 de control de sistema esta configurada de una CPU (unidad central de procesamiento) 16a, una ROM (memoria de solo lectura) 16b, una RAM (memoria de acceso aleatorio) 16c (medio de almacenamiento a modo de ejemplo) o similares. La CPU 16a lee y ejecuta diferentes programas almacenados en la ROM 16b o en la unidad 12 de almacenamiento de manera que la unidad 16 de control de sistema funciona como un medio de especificacion de objetivo que especifica una posicion de un objetivo desde posiciones de partfculas.
[2. Operaciones del dispositivo 10 de procesamiento de informacion]
(2.1 Operaciones a modo de ejemplo del dispositivo 10 de procesamiento de informacion)
Se describiran a continuacion operaciones a modo de ejemplo del dispositivo 10 de procesamiento de informacion segun una realizacion de la presente invencion utilizando las figuras 2 a 8. La figura 2 es un diagrama de flujo que ilustra operaciones a modo de ejemplo del dispositivo 10 de procesamiento de informacion. La figura 3 es un diagrama esquematico que ilustra un fotograma a modo de ejemplo de un video procesado por el dispositivo 10 de procesamiento de informacion. La figura 4 es un diagrama esquematico que ilustra el ajuste a modo de ejemplo de partfculas en un objetivo en un fotograma. La figura 5 es un diagrama esquematico que ilustra una imagen a modo de ejemplo que depende de la resta de fondo para el fotograma. La figura 6 es un diagrama esquematico que ilustra un angulo de tonalidad a modo de ejemplo con respecto a partfculas en un objetivo. La figura 7 es un diagrama esquematico que ilustra el rastreo a modo de ejemplo de un objetivo en un fotograma de un video procesado por el dispositivo 10 de procesamiento de informacion. La figura 8 es un diagrama esquematico que ilustra
5
10
15
20
25
30
35
40
45
50
55
60
65
aumento/reduccion a modo de ejemplo en las partfculas.
Tal como se ilustra en la figura 2, el dispositivo 10 de procesamiento de informacion adquiere una imagen de un fotograma de un v^deo (etapa S1). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion lee datos de video de la BD 12 de video, y adquiere un fotograma de un video (un fotograma seleccionado previamente a modo de ejemplo de un video), y lo almacena en la RAM 16c o similar. Por ejemplo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion adquiere una imagen de un fotograma tal como se ilustra en la figura 3, y lo presenta visualmente en la unidad 13 de presentacion visual.
El dispositivo 10 de procesamiento de informacion establece inicialmente entonces regiones de busqueda (etapa S2). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion establece una pluralidad de regiones de busqueda a partir de la imagen adquirida del fotograma. Por ejemplo, tal como se ilustra en la figura 3, el usuario del dispositivo 10 de procesamiento de informacion establece una region 25 de busqueda y una region 26 de busqueda a traves de la unidad 14 de funcionamiento. En el caso de carreras de caballos, tal como se ilustra en la figura 3, un jockey que monta en un caballo lleva puesto un casco (una parte 2a de casco) y un uniforme de carreras (una parte 2b de uniforme de carreras). Una combinacion de colores diferentes para el casco y el uniforme de carreras permite que cada jockey se identifique facilmente. El objetivo 2 que incluye al jockey y al caballo se establece de tal manera que la region 25 de busqueda contiene la parte 2a de casco del jockey y la region 26 de busqueda contiene la parte 2b de uniforme de carreras del jockey. Se establecen para un fotograma 20 una coordenada (X1, Y1) en la que se coloca la region 25 de busqueda y una coordenada (X2, Y2) en la que se coloca la region 26 de busqueda. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion almacena informacion de posicion en las regiones 25, 26 de busqueda establecidas o informacion sobre los tamanos de las regiones 25, 26 de busqueda en la RAM 16c o similar.
El dispositivo 10 de procesamiento de informacion establece inicialmente entonces partfculas en el objetivo en las regiones de busqueda (etapa S3). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion establece partfculas p en las partes cuyo color es el mas similar al color del casco o del uniforme de carreras cerca de la frontera de parte del objetivo o en la region rodeada por la frontera para parte del objetivo 2 (tal como la parte 2a de casco o la parte 2b de uniforme de carreras) en las regiones 25, 26 de busqueda establecidas. Tal como se ilustra en la figura 4, una pluralidad de partfculas p se establecen en la parte 2a de casco de objetivo en la region 25 de busqueda. Se establece una coordenada (x1, y1) o similar en la region de busqueda para cada partfcula p con referencia a la region de busqueda. Por ejemplo, la coordenada (x1, y1) en la region 25 de busqueda se establece con la coordenada (X1, Y1) en la region 25 de busqueda como referencia (x=0, y=0). La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion almacena la informacion de posicion o la informacion de color de las partfculas establecidas p en la RAM 16c o similar. Ademas, la partfcula p puede ser un pixel o multiples pfxeles en los datos de imagenes del fotograma.
De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de ajuste inicial de partfcula a modo de ejemplo que ajusta al menos una partfcula en un objetivo en una imagen de un fotograma seleccionado previamente del video. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de ajuste inicial de partfcula a modo de ejemplo que ajusta partfculas en una pluralidad de partes en el objetivo. La rAm 16c funciona como un medio de almacenamiento a modo de ejemplo que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula.
El dispositivo 10 de procesamiento de informacion adquiere entonces una imagen de un fotograma siguiente (etapa S4). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion lee datos de video de la BD 12 de video, adquiere una imagen de un fotograma temporalmente siguiente en el video, y lo almacena en la RAM 16c o similar. De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de adquisicion de fotograma a modo de ejemplo que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues de un fotograma seleccionado previamente.
El dispositivo 10 de procesamiento de informacion calcula entonces una imagen dependiendo de la resta de fondo (imagen de resta de fondo (etapa S5)). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion resta una imagen de un fotograma temporalmente anterior (por ejemplo, una imagen de un fotograma temporalmente anterior) de una imagen de un fotograma siguiente adquirida en la etapa S4 para encontrar un grado de diferencia de los valores de pixel, y calcula la imagen de resta de fondo como un primer plano si el grado de diferencia de los valores de pixel es un valor predeterminado o mas y como un fondo cuando es menos que el valor predeterminado. Ademas, cuando se fotograffa un caballo que corre en una carrera de caballos, una camara realiza el rastreo y toma una fotograffa del caballo, pero el fondo de la pista de carreras cambia un poco y se especifica facilmente como fondo. Por otro lado, ya que un caballo que corre o un jockey se mueven hacia arriba y hacia abajo, un contorno del caballo o del jockey se supone facilmente como primer plano tal como se ilustra en la figura 5.
5
10
15
20
25
30
35
40
45
50
55
60
65
En el presente documento, la imagen de resta de fondo es una imagen de resta que se encuentra mediante un metodo para retirar un fondo y extraer un primer plano, tal como resta de fondo sencilla o resta entre fotogramas.
De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de calculo de imagen de resta de fondo a modo de ejemplo que calcula una imagen dependiendo de la resta de fondo entre una imagen de un fotograma anterior y una imagen de un fotograma siguiente adquiridas mediante el medio de adquisicion de fotograma. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de calculo de imagen de resta de fondo a modo de ejemplo que calcula una imagen de resta de fondo como un primer plano cuando un grado de diferencia de los valores de pixel es un umbral o mas.
El dispositivo 10 de procesamiento de informacion establece entonces las partfculas (etapa S6). La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion genera partfculas en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a las posiciones de las partfculas en el fotograma anterior y que tienen informacion de color similar a la informacion de color de los pfxeles en las partfculas de referencia, suprime las partfculas que estan fuera de un borde externo del rango de rastreo determinado segun el primer plano de la imagen de resta de fondo (un borde externo del rango de rastreo en el que se rastrean las partfculas), y de ese modo establece las partfculas. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion almacena la informacion de posicion o la informacion de color en las partfculas p establecidas en la RAM 16c o similar. De este modo, la RAM 16c funciona como un medio de almacenamiento a modo de ejemplo que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula. Ademas, se describira en detalle el ajuste de partfculas en una subrutina del ajuste de partfcula.
El dispositivo 10 de procesamiento de informacion calcula entonces un angulo de tonalidad (etapa S7). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion calcula una tonalidad de cada partfcula en la parte 2a de casco y una tonalidad de cada partfcula en la parte 2b de uniforme de carreras. Tal como se ilustra en la figura 6, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion encuentra un valor promedio de la coordenada de cada partfcula en la parte 2a de casco y un valor promedio de la coordenada de cada partfcula en la parte 2b de uniforme de carreras en un espacio de tonalidad. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion calcula entonces un angulo de tonalidad entre las partes de un grupo de partfculas en la parte 2a de casco y un grupo de partfculas en la parte 2b de uniforme de carreras a partir del valor promedio de la coordenada de cada partfcula en la parte 2a de casco y del valor promedio de la coordenada de cada partfcula en la parte 2b de uniforme de carreras. De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de calculo de angulo de tonalidad a modo de ejemplo que calcula cada tonalidad de un pixel en el que se coloca la partfcula en cada parte del objetivo y calcula un angulo de tonalidad entre las partes.
Ademas, tambien cuando las regiones de busqueda se establecen inicialmente en la etapa S2 y las partfculas se establecen inicialmente en el objetivo en la etapa S3, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion calcula el angulo de tonalidad y lo almacena como un angulo de tonalidad inicial en la RAM 16c o similar.
El dispositivo 10 de procesamiento de informacion determina entonces si puede rastrearse un objetivo (etapa S8). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina que el objetivo no puede rastrearse cuando un angulo de tonalidad entre las partes en una imagen temporalmente siguiente calculada en la etapa S8 es diferente de un angulo de tonalidad inicial en mas de un valor predeterminado. Incluso cuando todas las partfculas desaparecen, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina que el objetivo no puede rastrearse.
Ademas, tambien cuando el objetivo esta oculto debido a oclusion y un borde externo del rango de rastreo no puede determinarse para mas de un numero predeterminado de fotogramas consecutivos, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede determinar que el objetivo no puede rastrearse. Por otro lado, cuando el objetivo esta oculto temporalmente o el primer plano de la imagen de resta de fondo es temporalmente poco claro debido a un ligero movimiento o apariencia del objetivo y por tanto un borde externo del rango de rastreo no puede determinarse temporalmente (menos de un numero predeterminado de fotogramas consecutivos), la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede determinar que el objetivo puede rastrearse.
Si otro caballo se acerca y otro jockey se superpone al jockey rastreado y por tanto las partfculas indican otro objetivo, las combinaciones de color del casco y color del uniforme de carreras son diferentes y por tanto puede cambiar un angulo de tonalidad entre las partes. Cuando el objetivo rastreado esta fueran del fotograma o el objetivo se hace mas pequeno, o cuando el objetivo esta oculto detras de otro caballo o jockey o edificio debido a oclusion, las partfculas desaparecen facilmente.
Cuando se determina que el objetivo puede rastrearse (etapa S8; Sf), el dispositivo 10 de procesamiento de
5
10
15
20
25
30
35
40
45
50
55
60
65
informacion especifica el objetivo a partir de las posiciones de las partfculas (etapa S9). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion especifica el objetivo rastreado segun un valor promedio de la posicion de cada partfcula o especifica una posicion del objetivo rastreado segun un grupo de partfculas. De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de especificacion de objetivo a modo de ejemplo que especifica una posicion de un objetivo en una imagen de un fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula.
Cuando se determina que el objetivo no puede rastrearse (etapa S8; NO), el dispositivo 10 de procesamiento de informacion vuelve a la etapa S3 para volver a establecer las partfculas en el objetivo (2a, 2b) en las regiones 25, 26 de busqueda. Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion lee la informacion de posicion (tal como la coordenada (x1, y1) y la coordenada (x2, y2)) de las partfculas establecidas p almacenadas en la RAM 16c o similar, y vuelve a establecer las partfculas p en las mismas posiciones en las regiones 25, 26 de busqueda o en las posiciones de las partfculas establecidas inicialmente en las regiones 25, 26 de busqueda. Ademas, los objetivos tales como caballo y jockey ocultos temporalmente debido a oclusion vuelven a aparecer facilmente en las mismas posiciones en las regiones de busqueda en el fotograma.
Ademas, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede volver a establecer las partfculas p en la etapa S3 en las posiciones de las partfculas establecidas temporalmente anteriores en la etapa S6, no en las posiciones de las partfculas establecidas inicialmente. Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion lee la informacion de posicion en las partfculas establecidas p (tal como las ultimas partfculas antes de que se determine que el objetivo no puede rastrearse) almacenadas en la RAM 16c o similar, y vuelve a establecer las partfculas p en las mismas posiciones en las regiones 25, 26 de busqueda.
De este modo, cuando el medio de determinacion de rastro determina que el rastreo es imposible, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de restablecimiento de partfcula a modo de ejemplo que establece partfculas en una imagen de un fotograma siguiente dependiendo de las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula.
El dispositivo 10 de procesamiento de informacion establece entonces regiones de busqueda a partir de las posiciones de las partfculas (etapa S10). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion vuelve a establecer las regiones 25, 26 de busqueda a partir de los valores promedio de las posiciones de las partfculas. Por ejemplo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion vuelve a establecerse de manera que el valor promedio de las posiciones de las partfculas esta en el centro de la region 25, 26 de busqueda que va a volverse a establecer.
Tal como se ilustra en la figura 7, cuando el objetivo se mueve dentro de un fotograma, las partfculas tambien se mueven y en consecuencia vuelven a establecerse las regiones 25, 26 de busqueda. La posicion de la region 25 de busqueda esta en una coordenada (X3, Y3) y la posicion de la region 26 de busqueda esta en una coordenada (X4, Y4).
El dispositivo 10 de procesamiento de informacion determina entonces si el procesamiento finaliza (etapa S11). Cuando el procesamiento no finaliza (etapa S11; NO), el procesamiento vuelve a la etapa S4, donde la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion adquiere una imagen de un fotograma siguiente para adquirir asf fotogramas secuencialmente. Cuando el procesamiento finaliza (etapa S11; Sf), la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion termina el procesamiento.
Tal como se ilustra en la figura 8, cuando se acerca y se aumenta la parte 2a de casco en la region 25 de busqueda, el borde externo del rango de rastreo se amplfa y aumenta el numero de partfculas. Por otro lado, cuando se aleja y se disminuye el tamano de la parte 2a de casco en la region 25 de busqueda para tomar una fotograffa, el borde externo del rango de rastreo se estrecha y disminuye el numero de partfculas.
(2.2 Subrutina de ajuste de partfcula)
(2.2.1 Generacion de partfculas)
Se describira a continuacion la generacion de partfculas en la subrutina del ajuste de partfcula utilizando las figuras 9 a 11.
La figura 9 es un diagrama de flujo que ilustra una subrutina de generacion de partfcula. La figura 10 es un diagrama esquematico que ilustra vecinos a modo de ejemplo de una partfcula en un objetivo. La figura 11 es un diagrama esquematico que ilustra una partfcula similar en un fotograma siguiente.
El dispositivo 10 de procesamiento de informacion adquiere informacion de posiciones y de color de partfculas en
5
10
15
20
25
30
35
40
45
50
55
60
65
una imagen de un fotograma anterior (etapa S20). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion adquiere las posiciones (referencia a modo de ejemplo de las posiciones de las partfculas en una imagen de un fotograma anterior) y la informacion de color en las partfculas en una imagen de un fotograma temporalmente anterior a partir de la RAM 16c o similar.
El dispositivo 10 de procesamiento de informacion especifica entonces los vecinos de una posicion de una partfcula (etapa S21). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion especifica, como vecino de la posicion de la partfcula, cualquier pixel fuera de la partfcula p en la misma posicion que la posicion de la partfcula en la imagen del fotograma temporalmente anterior (en la posicion de la partfcula de referencia) y ocho pfxeles vecinos q de la partfcula p en la imagen del fotograma siguiente adquiridos en la etapa S4 tal como se ilustra en la figura 10. A modo de ejemplo, la posicion de la partfcula p y las posiciones de los ocho pfxeles vecinos q estan dentro de un rango predeterminado con referencia a las posiciones de las partfculas en el fotograma anterior.
El dispositivo 10 de procesamiento de informacion determina entonces si los colores son similares (etapa S22). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina si un pixel especificado en la etapa S21 tiene un color similar a la informacion de color (informacion de color a modo de ejemplo en los pfxeles en las posiciones de las partfculas de referencia) tal como RGB de las partfculas en la imagen del fotograma temporalmente anterior.
Cuando los colores son similares (etapa S22; SI), el dispositivo 10 de procesamiento de informacion genera partfculas en las posiciones de los pfxeles vecinos especificados (etapa S23).
El dispositivo 10 de procesamiento de informacion determina entonces si todos los vecinos estan especificados (etapa S24). Cuando todos los vecinos no estan especificados (etapa S24; NO), la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion vuelve a la etapa S21 para especificar un pixel siguiente sin especificar de entre el pixel central y los ocho pfxeles vecinos.
Cuando esta presente una pluralidad de pfxeles con colores similares, se genera en consecuencia una pluralidad de partfculas. Cuando no esta presente un pixel con un color similar, se generan cero partfculas. Tal como se ilustra en la figura 11, las partfculas no se generan necesariamente en las mismas posiciones que las posiciones de las partfculas en la imagen del fotograma temporalmente anterior. Las posiciones de las partfculas pueden desviarse en el fotograma siguiente.
(2.2.2 Desaparicion de partfculas)
Se describira a continuacion la desaparicion de partfculas en la subrutina del ajuste de partfcula utilizando las figuras 9, 12 y 13.
La figura 12 es un diagrama esquematico que ilustra un estado a modo de ejemplo donde las partfculas estan presentes en posiciones que indican el objetivo. La figura 13 es un diagrama esquematico que ilustra una variante de la figura 12.
Tal como se ilustra en la figura 9, cuando todos los vecinos estan especificados (etapa S24; SI), el dispositivo 10 de procesamiento de informacion especifica una partfcula (etapa S25). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion especifica una partfcula a partir de las partfculas generadas en la etapa S20 a la etapa S24.
El dispositivo 10 de procesamiento de informacion determina entonces si las partfculas estan dentro del borde externo del rango de rastreo (etapa S26). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion establece una region 35 de busqueda que tiene la misma posicion y tamano que la region 25 de busqueda y una region 36 de busqueda que tiene la misma posicion y tamano que la region 26 de busqueda en la imagen 30 de resta de fondo calculada en la etapa S5 tal como se ilustra en la figura 5. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion extrae entonces la imagen 30 de resta de fondo en las regiones 35, 36 de busqueda. Por ejemplo, en el caso de la parte 2a de casco, se extrae una imagen que contiene un borde 3a externo (borde externo a modo de ejemplo del rango de rastreo) de la parte de casco en la imagen de resta de fondo en la region 35 de busqueda. El borde externo del rango de rastreo es el borde externo del rango de rastreo para realizar el rastreo de partfculas, y se determina segun el primer plano de la imagen de resta de fondo. Por ejemplo, puede emplearse un contorno del objetivo rastreado (puede ser posible parte del objetivo) o una region que contiene el contorno. Es decir, el borde externo del rango de rastreo es una parte correspondiente al objetivo en la imagen del fotograma anterior, cuando un grado de diferencia de los valores de pixel entre la imagen del fotograma anterior y la imagen del fotograma siguiente es un umbral o mas. Ademas, puesto que se toman fotograffas continuamente de las imagenes mediante video, el objetivo se mueve ligeramente sobre los fotogramas usados para encontrar la imagen de resta de fondo. Por tanto, la parte correspondiente al objetivo en el primer plano en la imagen de resta de fondo es la parte correspondiente al objetivo en la imagen en el fotograma anterior.
5
10
15
20
25
30
35
40
45
50
55
60
65
De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de determinacion de borde externo del rango de rastreo a modo de ejemplo que determina una parte correspondiente al objetivo en la imagen del fotograma anterior cuando el grado de diferencia de los valores de pixel entre la imagen del fotograma anterior y la imagen del fotograma siguiente adquiridas mediante el medio de adquisicion de fotograma es un umbral o mas como borde externo del rango de rastreo de partmula.
La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina entonces que las partmulas p de la imagen del borde 3a externo de la parte de casco que indican el contorno de la parte 2a de casco estan dentro del borde externo del rango de rastreo tal como se ilustra en la figura 12, por ejemplo. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion establece lmeas rectas L que conectan las partmulas p de la imagen del borde 3a externo de la parte de casco, proporciona una anchura D predeterminada a las lmeas L rectas, y si una partmula esta presente dentro de la anchura, determina que la partmula esta dentro del borde externo del rango de rastreo.
Tal como se ilustra en la figura 13, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion establece lmeas r rectas con una longitud predeterminada a angulos iguales en ocho direcciones alrededor de la partmula, por ejemplo. Cuando el numero de lmeas r rectas con una longitud definida que se superponen sobre los pfxeles que indican el borde 3a externo de la parte de casco es un numero predeterminado (tal como cuatro) o mas, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede determinar que las partmulas estan dentro del borde externo del rango de rastreo.
Tal como se ilustra en la figura 12 y la figura 13, incluso cuando la imagen del borde 3a externo de la parte de casco que indica el contorno de la parte 2a de casco no esta cerrada, puede determinarse si la partmula esta dentro del borde externo del rango de rastreo. El casco o similar se mueve facilmente hacia arriba y hacia abajo en el video y el contorno aparece en los lados superior e inferior de la imagen de resta de fondo, pero no se mueve tanto hacia la derecha y hacia la izquierda y el contorno no aparece facilmente en los lados derecho e izquierdo. Parte del contorno del casco o similar puede no aparecer facilmente debido a una asociacion entre el casco o similar y el fondo. Por tanto, el contorno o similar de la parte 2a de casco puede no cerrarse completamente.
De este modo, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion funciona como un medio de determinacion de rastro a modo de ejemplo que determina si puede realizarse el rastreo del objetivo basandose en las partmulas establecidas por el medio de ajuste de partmula.
Cuando las partmulas estan dentro del borde externo del rango de rastreo (etapa S26; Sf), el dispositivo 10 de procesamiento de informacion permite que las partmulas especificadas permanezcan como partmulas (etapa S27). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion deja las partmulas p en la imagen del borde 3a externo de la parte de casco o las partfculas p presentes dentro de la anchura D predeterminada de las lmeas L rectas tal como se ilustra en la figura 12. Tal como se ilustra en la figura 13, hay partmulas p que se dejan a traves de las que cinco lmeas rectas se superponen sobre los pfxeles que indican el borde 3a externo de la parte de casco.
Por otro lado, cuando las partmulas no estan dentro del borde externo del rango de rastreo (etapa S26; NO), el dispositivo 10 de procesamiento de informacion suprime las partmulas (etapa S28). Espedficamente, ya que la partfcula p0 no esta presente dentro de la anchura D predeterminada de las lmeas L rectas, ni en la imagen del borde 3a externo de la parte de casco tal como se ilustra en la figura 12, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion suprime y elimina la partmula p0. Tal como se ilustra en la figura 13, tres lmeas rectas se superponen sobre los pfxeles que indican el borde 3a externo de la parte de casco en la partfcula p0, y por tanto el dispositivo 10 de procesamiento de informacion suprime la partmula p0. La unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion suprime la partfcula especificada de la RAM 16c o similar en la que se almacena la informacion de posicion o informacion de color de las partfculas p.
Ademas, cuando el borde externo del rango de rastreo no esta determinado de manera que el objetivo esta oculto temporalmente debido a oclusion, y por tanto no puede determinarse si las partmulas estan dentro del borde externo del rango de rastreo en la etapa S26, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede realizar un procesamiento para permitir que todas las partmulas permanezcan como en la etapa S27.
El dispositivo 10 de procesamiento de informacion determina entonces si todas las partmulas estan especificadas (etapa S29). Cuando todas las partmulas no estan especificadas (etapa S29; NO), el procesamiento vuelve a la etapa S25, en la que la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion especifica una partmula siguiente. Cuando todas las partmulas estan especificadas (etapa S29; Sf), la subrutina termina, y el dispositivo 10 de procesamiento de informacion realiza el procesamiento en la etapa S7.
De este modo, las partmulas se generan y se limitan a las partmulas dentro del borde externo del rango de rastreo determinado segun la imagen de resta de fondo para establecer de ese modo partmulas en el fotograma siguiente en las posiciones de los pfxeles que estan dentro de un rango predeterminado con referencia a las posiciones de las
5
10
15
20
25
30
35
40
45
50
55
60
65
partmulas en el fotograma anterior y dentro del borde externo determinado por el medio de determinacion de borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color de los pfxeles en la posicion de la partmula de referencia.
A continuacion, se describira una transicion a modo de ejemplo del numero de partmulas cuando se usa y cuando no se usa el metodo segun la presente realizacion que limita las partmulas dentro del borde externo del rango de rastreo determinado dependiendo de la imagen de resta de fondo (que se denominara a continuacion “metodo segun la presente realizacion”) usando la figura 14 a modo de ejemplo.
La figura 14 es un diagrama que ilustra una transicion a modo de ejemplo del numero de partmulas cuando se usa y cuando no se usa el metodo segun la presente realizacion. Ademas, el numero de partmulas indica el numero de partmulas en todo el fotograma.
Tal como se ilustra en la figura 14, cuando un numero de fotogramas excede de aproximadamente 60, el numero de partmulas tiende a aumentar cuando no se usa el metodo segun la presente realizacion (en una lmea discontinua en la figura). Por otro lado, cuando se usa el metodo segun la presente realizacion (en una lmea continua en la figura), se establece el borde externo del rango de rastreo de partmula segun la imagen de resta de fondo y por tanto el numero de partmulas es estable. Se generan partmulas unicamente en las posiciones de los pfxeles vecinos que tienen informacion de color similar, y por tanto el numero de partmulas es estable. De este modo, el numero de partmulas es estable y el numero de partmulas no aumenta espectacularmente, impidiendo asf que la cantidad de calculo aumente notablemente.
Tal como se ha descrito anteriormente, segun la presente realizacion, al menos una partmula p se establece en el objetivo 2 (la parte 2a de casco y la parte 2b de uniforme de carreras) en la imagen del fotograma 20 seleccionado previamente del video, se adquieren secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente, una parte correspondiente al objetivo en la imagen del fotograma anterior, cuando un grado de diferencia de los valores de pixel entre la imagen del fotograma temporalmente anterior y la imagen del fotograma temporalmente siguiente es un umbral o mas, se determina como el borde 3a externo del rango de rastreo de partmula, se establecen partmulas en la imagen del fotograma siguiente en las posiciones de los pfxeles que estan dentro de un rango predeterminado con referencia a las posiciones de las partmulas en la imagen del fotograma anterior y dentro del borde externo del rango de rastreo y que tienen informacion de color similar a la informacion de color de los pfxeles en las posiciones de las partmulas de referencia, y se especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partmulas establecidas. Por tanto, las partmulas p en la imagen del fotograma siguiente se establecen unicamente dentro del borde 3a externo del rango de rastreo segun la imagen de resta de fondo, restringiendo de esta manera la difusion de las partmulas establecidas y evitando que las partmulas p se dispersen, de manera que el objetivo puede rastrearse de manera precisa. Ya que las partmulas estan limitadas dentro del borde 3a externo del rango de rastreo, se evita que el numero de partmulas aumente espectacularmente, restringiendo de esta manera el aumento del calculo debido a un aumento en las partmulas.
Ya que las partmulas se generan y se limitan dentro del borde 3a externo del rango de rastreo segun la imagen de resta de fondo, incluso cuando el tamano del objetivo en el fotograma cambia debido a acercamientos o alejamientos, el objetivo puede rastrearse.
Cuando se calcula la imagen dependiendo de la resta de fondo como el primer plano cuando el grado de diferencia de los valores de pixel es un umbral o mas, y el borde externo del rango de rastreo de partmula se determina segun el primer plano correspondiente al objetivo, se limitan adecuadamente las partmulas dentro del borde 3a externo del rango de rastreo segun la imagen dependiendo de la resta de fondo, evitando asf que las partmulas p se dispersen, de manera que el objetivo puede rastrearse de manera precisa.
Cuando se establecen inicialmente partmulas en una pluralidad de partes en el objetivo, se calculan tonalidades de los pfxeles donde se colocan las partmulas en las partes en el objetivo, se calculan angulos de tonalidad entre las partes, y se especifica la posicion del objetivo basandose ademas en los angulos de tonalidad calculados entre las partes, puede rastrearse una relacion entre una pluralidad de partes en el objetivo 2 (la parte 2a de casco y la parte 2b de uniforme de carreras) especificando el objetivo 2 a partir de los angulos de tonalidad entre las partes, evitando asf rastreo erroneo y mejorando una precision de rastreo del objetivo. Por ejemplo, cuando el angulo de tonalidad entre las partes es diferente en mas de una cantidad predeterminada, es probable que se rastree un objetivo diferente, y en este caso, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina que el rastreo es imposible, evitando asf rastreo erroneo. Pueden incluso eliminarse colores similares de los cascos dependiendo de una combinacion con un uniforme de carreras, especificando asf de manera precisa el objetivo. Cuando se ignora la cantidad de cambio en brillo, la cantidad de calculo puede reducirse mediante el uso de la informacion de las tonalidades. Ademas, incluso cuando el brillo cambia debido a la climatologfa, el valor de la tonalidad raramente cambia, y por tanto se mejora ademas la precision de rastreo del objetivo.
Cuando se determina si el objetivo puede rastrearse basandose en las partmulas establecidas, y se determina que el rastreo es imposible, incluso cuando el objetivo esta oculto temporalmente detras de un obstaculo o similar o el
5
10
15
20
25
30
35
40
45
50
55
60
65
objetivo llega al extremo del fotograma para estar temporalmente fuera del fotograma cuando las partfculas se vuelven a establecer en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas, el objetivo puede rastrearse de manera continua, y se mejora ademas una precision de rastreo del objetivo. De este modo, incluso cuando el numero de partfculas llega a cero debido a un caso de oclusion o salida del objetivo del fotograma, se vuelven a establecer las partfculas en las posiciones iniciales de las partfculas establecidas en las regiones 25, 26 de busqueda o en las posiciones de las partfculas antes de que el objetivo no pueda rastrearse, rastreando de esta manera el objetivo. Las posiciones iniciales de las partfculas establecidas inicialmente se almacenan independientemente del procesamiento de resta de fondo, de manera que se vuelve a permitir el rastreo mediante el uso de las posiciones iniciales de las partfculas incluso cuando se produce oclusion o similar.
(2.3 Variante de subrutina de ajuste de partfcula)
Se describira a continuacion una variante de la subrutina del ajuste de partfcula usando la figura 15.
La figura 15 es un diagrama de flujo que ilustra una variante de la subrutina del ajuste de partfcula.
Tal como se ilustra en la figura 15, el dispositivo 10 de procesamiento de informacion adquiere la informacion de color y posiciones de partfculas en una imagen de un fotograma anterior como en la etapa S20 (etapa S30).
El dispositivo 10 de procesamiento de informacion especifica entonces pfxeles cerca de una posicion de una partfcula y dentro del borde externo del rango de rastreo (etapa S31). Espedficamente, la unidad 16 de control de
sistema en el dispositivo 10 de procesamiento de informacion especifica los pfxeles contenidos en los vecinos de la
partfcula tal como se ilustra en la figura 10 y dentro del borde externo del rango de rastreo tal como se ilustra en la figura 12 o la figura 13, como un ejemplo de un rango predeterminado con referencia a la posicion de la partfcula en el fotograma anterior.
El dispositivo 10 de procesamiento de informacion determina entonces si los colores de los pfxeles especificados son similares entre sf como en la etapa S22 (etapa S32).
Cuando los colores de los pfxeles especificados son similares entre sf (etapa S32; Sf), el dispositivo 10 de procesamiento de informacion establece las partfculas en la posicion de los pfxeles (etapa S33).
El dispositivo 10 de procesamiento de informacion determina entonces si estan especificados todos los pfxeles que cumplen una condicion predeterminada (etapa S34). Espedficamente, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion determina si estan especificados todos los pfxeles contenidos en un rango predeterminado con referencia a la posicion de la partfcula en el fotograma anterior y que cumplen la condicion dentro del borde externo del rango de rastreo. Cuando todos los pfxeles no estan especificados (etapa S34; NO), el dispositivo 10 de procesamiento de informacion especifica un pixel siguiente. Cuando todos los pfxeles estan especificadas (etapa S34; Sf), finaliza la subrutina y el dispositivo 10 de procesamiento de informacion realiza el procesamiento en la etapa S7. Ademas, si no estan presentes pfxeles que tienen informacion de color similar dentro del rango predeterminado con referencia a la posicion de la partfcula en el fotograma anterior y dentro del borde externo del rango de rastreo, no se establece una partfcula.
De este modo, en la presente variante, el dispositivo 10 de procesamiento de informacion establece unicamente partfculas en las posiciones segun la imagen de resta de fondo sin perder partfculas.
Ademas, en la etapa S2 y la etapa S3, las regiones 25, 26 de busqueda y las partfculas p pueden establecerse automatica o manualmente por el usuario. En el caso de ajuste automatico, el dispositivo 10 de procesamiento de informacion busca un fotograma del objetivo que concuerde con la informacion tal como la informacion del color del casco y el color del uniforme de carreras de cada jockey y la informacion de una relacion de posicion entre el casco y el uniforme de carreras, y establece automaticamente las regiones 25, 26 de busqueda para contener parte del objetivo. Entonces, el dispositivo 10 de procesamiento de informacion busca una parte con un color mas cercano al color del casco o el uniforme de carreras cerca la frontera de parte del objetivo o en la region rodeada por la frontera para parte del objetivo en las regiones 25, 26 de busqueda establecidas, y establece automaticamente las partfculas p.
Cuando el objetivo esta oculto temporalmente debido a oclusion o el primer plano de la imagen de resta de fondo es poco claro temporalmente debido a un ligero movimiento o apariencia del objetivo de manera que el borde externo del rango de rastreo no puede determinarse temporalmente en el ajuste de partfcula en la etapa S6 (menos de un numero predeterminado de partfculas consecutivas), la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion puede establecer partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior donde el borde externo del rango de rastreo no puede determinarse, con referencia a la RAM 16c. En este caso, el objetivo esta oculto temporalmente debido a oclusion, y por tanto, incluso cuando el borde externo del rango de rastreo no puede encontrarse, el objetivo puede rastrearse de manera precisa.
5
10
15
20
25
30
35
40
45
50
Por ejemplo, se supone que para el fotograma t-1 al fotograma t+2, el borde externo del rango de rastreo puede especificarse a partir de la imagen de resta de fondo ((fotograma t) - (fotograma t-1)) en el fotograma t y el borde externo del rango de rastreo no puede especificarse a partir de la imagen de resta de fondo ((fotograma t+1)- (fotograma t)) en el fotograma t+1, pero el borde externo puede especificarse a partir de la imagen de resta de fondo ((fotograma t+2)-(fotograma t+1)) en el fotograma t+2. En este momento, la unidad 16 de control de sistema en el dispositivo 10 de procesamiento de informacion lee la informacion de posicion en las partfculas establecidas p en el fotograma t con referencia a la RAM 16c o similar en el fotograma t y vuelve a establecer las partfculas p en el fotograma t+1 o el fotograma t+2 en las mismas posiciones en las regiones 25, 26 de busqueda.
En la etapa S7, pueden calcularse distancias RGB entre las partfculas en la parte 2a de casco y las partfculas en la parte 2b de uniforme de carreras en el espacio RGB en lugar de calcular los angulos de tonalidad. Cuando la distancia RGB entre las partes cambia mas alla de un umbral predeterminado, el dispositivo 10 de procesamiento de informacion determina que el rastreo es imposible en la etapa S8.
Una pluralidad de partes en el objetivo puede ser una parte del caballo y una parte del jockey en lugar de la parte 2a de casco y la parte 2b uniforme de carreras. El objetivo puede ser una combinacion de caballo y jockey integralmente en movimiento, solo de un jockey o solo de un caballo.
Una pluralidad de objetivos que van a rastrearse pueden estar presentes dentro de un fotograma.
Ademas, la presente invencion no se limita en modo alguno a la realizacion anterior. La realizacion anterior es una ilustracion, incluida en el alcance de la presente invencion que esta restringida unicamente por las reivindicaciones adjuntas.
Explicacion de los numeros de referencia
2: objetivo
2a: parte de casco
2b: parte de uniforme de carreras
3a: parte de casco de imagen de resta de fondo (borde externo de rango de rastreo)
10: dispositivo de procesamiento de informacion
12: unidad de almacenamiento (medio de almacenamiento)
16: unidad de control de sistema 16c: RAM (medio de almacenamiento)
20: fotograma 25, 26: region de busqueda 30: imagen de resta de fondo p: partfcula

Claims (5)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un dispositivo de procesamiento de informacion que realiza el rastreo de un objetivo predeterminado en un video compuesto por una pluralidad de fotogramas, que comprende:
    un medio de ajuste inicial de partfcula que establece al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video;
    un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente; un medio de determinacion de borde externo del rango de rastreo que determina, como un borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es mayor que o igual a un umbral;
    un medio de ajuste de partfcula que establece partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y solo dentro del borde externo determinado por el medio de determinacion de borde externo del rango de rastreo para evitar que se dispersen partfculas de la frontera del objetivo y que tienen una informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia; un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de determinacion de rastro que determina si puede realizarse el rastreo del objetivo basandose en las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de restablecimiento de partfcula que, cuando el medio de determinacion de rastro determina que el rastreo es imposible, vuelve a establecer partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula; y un medio de almacenamiento que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula, en el que cuando el medio de determinacion de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, el medio de ajuste de partfcula establece partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior para las cuales puede determinarse el borde externo del rango de rastreo con referencia al medio de almacenamiento.
  2. 2. El dispositivo de procesamiento de informacion segun la reivindicacion 1, en el que el medio de ajuste inicial de partfcula establece las partfculas en una pluralidad de partes del objetivo, se proporciona ademas un medio de calculo de angulo de tonalidad que calcula una tonalidad de un pixel cuando la partfcula esta colocada en cada parte del objetivo y calcula un angulo de tonalidad entre las partes, y el medio de especificacion de objetivo especifica una posicion del objetivo basandose ademas en el angulo de tonalidad entre las partes calculado por el medio de calculo de angulo de tonalidad.
  3. 3. Un metodo de procesamiento de informacion para realizar el rastreo de un objetivo predeterminado en un video compuesto por una pluralidad de fotogramas, que comprende:
    una etapa de ajuste inicial de partfcula para establecer al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video;
    una etapa de adquisicion de fotograma para adquirir secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente; una etapa de determinacion de borde externo del rango de rastreo para determinar, como un borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por la etapa de adquisicion de fotograma es mayor que o igual a un umbral;
    una etapa de ajuste de partfcula para establecer partfculas en la imagen del fotograma siguiente en posiciones de
    pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del
    fotograma anterior y solo dentro del borde externo determinado por la etapa de determinacion de borde externo del
    rango de rastreo para evitar que se dispersen partfculas de la frontera del objetivo y que tienen informacion de color
    similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia; y
    una etapa de especificacion de objetivo para especificar una posicion del objetivo en la imagen del fotograma
    siguiente a partir de las posiciones de las partfculas establecidas por la etapa de ajuste de partfcula;
    una etapa de determinacion de rastro para determinar si puede realizarse el rastreo del objetivo basandose en las
    partfculas establecidas por la etapa de ajuste de partfcula;
    una etapa de restablecimiento de partfcula para, cuando la etapa de determinacion de rastro determina que el rastreo es imposible, volver a establecer partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas por la etapa de ajuste inicial de partfcula o la etapa de ajuste de partfcula; y una etapa de almacenamiento para almacenar las posiciones de las partfculas establecidas por la etapa de ajuste inicial de partfcula o la etapa de ajuste de partfcula, en la que cuando la etapa de determinacion de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, la etapa de ajuste de partfcula establece partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior para las cuales puede determinarse el borde externo del rango de rastreo con referencia a la etapa de almacenamiento.
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
  4. 4. Un programa para un dispositivo de procesamiento de informacion que realiza el rastreo de un objetivo predeterminado en un video compuesto por una pluralidad de fotogramas, provocando el programa que un ordenador funcione como: un medio de ajuste inicial de partfcula que establece al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el v^deo;
    un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente; un medio de determinacion de borde externo del rango de rastreo que determina, como un borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es mayor que o igual a un umbral;
    un medio de ajuste de partfcula que establece partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y solo dentro del borde externo determinado por el medio de determinacion de borde externo del rango de rastreo para evitar que se dispersen partfculas de la frontera del objetivo y que tienen informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia;
    un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de determinacion de rastro que determina si puede realizarse el rastreo del objetivo basandose en las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de restablecimiento de partfcula que, cuando el medio de determinacion de rastro determina que el rastreo es imposible, vuelve a establecer partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula; y un medio de almacenamiento que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula, en el que cuando el medio de determinacion de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, el medio de ajuste de partfcula establece partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior para las cuales puede determinarse el borde externo del rango de rastreo con referencia al medio de almacenamiento.
  5. 5. Un medio de grabacion legible por ordenador que almacena en su interior un programa para un dispositivo de procesamiento de informacion que realiza el rastreo de un objetivo predeterminado en un video compuesto por una pluralidad de fotogramas, provocando el programa que un ordenador funcione como:
    un medio de ajuste inicial de partfcula que establece al menos una partfcula en el objetivo en una imagen de un fotograma seleccionado previamente en el video;
    un medio de adquisicion de fotograma que adquiere secuencialmente fotogramas temporalmente anteriores y fotogramas temporalmente siguientes en el video despues del fotograma seleccionado previamente; un medio de determinacion de borde externo del rango de rastreo que determina, como un borde externo de un rango de rastreo de partfcula, una parte correspondiente al objetivo en una imagen del fotograma anterior cuando un grado de diferencia en valores de pixel entre la imagen del fotograma anterior y una imagen del fotograma siguiente adquiridas por el medio de adquisicion de fotograma es mayor que o igual a un umbral;
    un medio de ajuste de partfcula que ajusta partfculas en la imagen del fotograma siguiente en posiciones de pfxeles que estan dentro de un rango predeterminado con referencia a posiciones de partfculas en la imagen del fotograma anterior y solo dentro del borde externo determinado por el medio de determinacion de borde externo del rango de rastreo para evitar que se dispersen partfculas de la frontera del objetivo y que tienen informacion de color similar a la informacion de color en pfxeles en las posiciones de las partfculas de referencia;
    un medio de especificacion de objetivo que especifica una posicion del objetivo en la imagen del fotograma siguiente a partir de las posiciones de las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de determinacion de rastro que determina si puede realizarse el rastreo del objetivo basandose en las partfculas establecidas por el medio de ajuste de partfcula;
    un medio de restablecimiento de partfcula que, cuando el medio de determinacion de rastro determina que el rastreo es imposible, vuelve a establecer partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula; y un medio de almacenamiento que almacena las posiciones de las partfculas establecidas por el medio de ajuste inicial de partfcula o el medio de ajuste de partfcula, en el que cuando el medio de determinacion de borde externo del rango de rastreo no puede determinar un borde externo del rango de rastreo, el medio de ajuste de partfcula establece partfculas en la imagen del fotograma siguiente segun las posiciones de las partfculas en el fotograma anterior para las cuales puede determinarse el borde externo del rango de rastreo con referencia al medio de almacenamiento.
ES12824838.2T 2011-09-29 2012-03-06 Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación Active ES2586553T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011215415 2011-09-29
JP2011215415A JP4922472B1 (ja) 2011-09-29 2011-09-29 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
PCT/JP2012/055681 WO2013046749A1 (ja) 2011-09-29 2012-03-06 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体

Publications (1)

Publication Number Publication Date
ES2586553T3 true ES2586553T3 (es) 2016-10-17

Family

ID=46243830

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12824838.2T Active ES2586553T3 (es) 2011-09-29 2012-03-06 Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación

Country Status (7)

Country Link
US (1) US8836791B2 (es)
EP (1) EP2605215B1 (es)
JP (1) JP4922472B1 (es)
CN (1) CN103140876B (es)
ES (1) ES2586553T3 (es)
TW (1) TWI399705B (es)
WO (1) WO2013046749A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4922472B1 (ja) 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP5248685B1 (ja) * 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9811736B2 (en) 2013-06-28 2017-11-07 Rakuten, Inc. Information processing device, information processing method, information processing device program, and recording medium
JP5818050B1 (ja) * 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
JP2017187969A (ja) * 2016-04-07 2017-10-12 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
EP3582181B1 (en) * 2018-06-14 2020-04-01 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
CN109859149B (zh) * 2019-01-25 2023-08-08 成都泰盟软件有限公司 一种设定目标查找区域小动物运动跟踪方法
US11631251B2 (en) * 2020-02-23 2023-04-18 Tfi Digital Media Limited Method and system for jockey and horse recognition and tracking
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4664838B2 (ja) * 2006-03-02 2011-04-06 日本放送協会 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム
JP4673241B2 (ja) * 2006-03-20 2011-04-20 日本電信電話株式会社 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体
JP5520463B2 (ja) * 2008-09-04 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、対象物追跡装置および画像処理方法
JP4687772B2 (ja) * 2008-11-06 2011-05-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置
JP5468773B2 (ja) 2008-12-24 2014-04-09 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP5493747B2 (ja) * 2009-11-13 2014-05-14 富士通株式会社 追跡方法、監視システム及びプログラム
JP4922472B1 (ja) 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体

Also Published As

Publication number Publication date
TW201235979A (en) 2012-09-01
EP2605215A1 (en) 2013-06-19
CN103140876B (zh) 2014-10-08
CN103140876A (zh) 2013-06-05
JP4922472B1 (ja) 2012-04-25
US8836791B2 (en) 2014-09-16
TWI399705B (zh) 2013-06-21
EP2605215A4 (en) 2014-06-04
EP2605215B1 (en) 2016-05-18
WO2013046749A1 (ja) 2013-04-04
JP2013077073A (ja) 2013-04-25
US20130235208A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
ES2586553T3 (es) Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108401177B (zh) 视频播放方法、服务器及视频播放系统
JP6668359B2 (ja) 認知ミラー装置、ならびにそれを制御するための方法およびコンピュータ・プログラム
US9600732B2 (en) Image display apparatus and image display method
US20210350762A1 (en) Image processing device and image processing method
KR20180066160A (ko) 안면 이미지 처리 방법 및 장치, 및 저장 매체
US11534063B2 (en) Interpupillary distance measuring method, wearable ophthalmic device and storage medium
CN104126299A (zh) 视频图像稳定化
CN104850228B (zh) 基于移动终端的锁定眼球的注视区域的方法
WO2015008717A1 (en) Image processing device and imaging apparatus
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
CN111950401B (zh) 确定关键点区域位置的方法、图像处理系统、设备和介质
CN111095364A (zh) 信息处理装置、信息处理方法和程序
US9785861B2 (en) Method for optimizing size and position of a search window of a tracking system
CN110855972A (zh) 图像处理方法以及电子设备和存储介质
US20240137664A1 (en) Patch tracking image sensor
JP2019121876A (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
US20100135580A1 (en) Method for adjusting video frame
JP5253227B2 (ja) 画像入力装置及び被写体検出方法、プログラム
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP3994954B2 (ja) 物体検出装置及び物体検出方法
EP3910530A1 (en) Determining display zoom level
JPWO2017115587A1 (ja) 情報処理装置、制御方法、及びプログラム
CN112114659A (zh) 用于确定用户的精细的注视点的方法和系统