ES2245374T3 - Procedimiento de segmentacion de una imagen de video por objetos elementales. - Google Patents
Procedimiento de segmentacion de una imagen de video por objetos elementales.Info
- Publication number
- ES2245374T3 ES2245374T3 ES01967439T ES01967439T ES2245374T3 ES 2245374 T3 ES2245374 T3 ES 2245374T3 ES 01967439 T ES01967439 T ES 01967439T ES 01967439 T ES01967439 T ES 01967439T ES 2245374 T3 ES2245374 T3 ES 2245374T3
- Authority
- ES
- Spain
- Prior art keywords
- contour
- active
- image
- active contour
- elementary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
Procedimiento de segmentación de una imagen de una secuencia animada (IM) por objetos elementales, caracterizado porque consiste en, con respecto, como mínimo, a un objeto elemental (OBJ) delimitado por un contorno natural (CN) de esta imagen: - definir, alrededor de este objeto elemental, un contorno de partida (CD) que rodea totalmente dicho objeto elemental; - definir, a partir de dicho contorno de partida, un contorno activo de origen (CAO), formado por un conjunto de nudos distribuidos sobre ese contorno de partida, estando formado cada nudo por un punto que pertenece a ese contorno de partida y por una función de energía elástica representativa de la distancia (d) que separa este nudo de un nudo adyacente; - someter, con respecto un conjunto de valores de la referencia susceptible de representar el contorno natural de dicho objeto elemental, dicho contorno activo de origen en una deformación convergente, por desplazamiento hacia el contorno rural del objeto elemental de como mínimo uno de los nudos del contorno activo de origen, para engendrar un contorno activo corriente (CAC), cuyo contorno activo corriente está sometido iterativamente a dicha deformación convergente para engendrar contornos activos corrientes sucesivos distintos en la medida en que dicho desplazamiento satisface una condición de ausencia de bloqueo y a interrumpir cualquier desplazamiento del nudo de dicho contorno activo corriente, en caso contrario, lo que permite engendrar un contorno activo corriente final que reproduce sensiblemente el contorno natural de dicho objeto elemental.
Description
Procedimiento de segmentación de una imagen de
vídeo por objetos elementales.
La presente invención se refiere a un
procedimiento de segmentación de un imagen de vídeo por objetos
elementales.
Actualmente, los métodos de segmentación de
imágenes de vídeo por objetos elementales, procedentes de los
procesos de visión por ordenador, no permiten en modo alguno
reproducir el funcionamiento del sistema visual y cognitivo humano.
En efecto, la imagen resultante obtenida gracias a la puesta en
práctica de los procesos antes citados es supersegmentada o
subsegmentada. En los dos casos, estos métodos no permiten
reproducir de manera automática la segmentación ideal realizada por
un operador humano.
A pesar de ello, numerosas aplicaciones han
recurrido a la segmentación, la cual, para adoptar forma ideal,
debería ser consistente o "robusta", rápida, discriminante y no
específica en un dominio de aplicación particular. Más
particularmente, el seguimiento o el cálculo automático, para la
captación y persecución, del trazado de un objeto en el curso del
tiempo en una sucesión de imágenes de vídeo continua siendo un
problema totalmente abierto, tanto más cuanto que el objeto es
susceptible de deformarse con intermedio de transformaciones
complejas en el curso del tiempo, transformaciones naturales o
artificiales tales como el "morphing" en lenguaje
anglosajón.
Entre los métodos de segmentación de imágenes que
se han propuesto hasta el momento, se distinguen habitualmente
varias familias.
Una primera familia corresponde a los métodos de
segmentación clásicos por filtrado, morfología matemática,
crecimiento de región, partición de histogramas de color, métodos
markovianos. Estos métodos automáticos son aplicados sobre una
imagen, pero los resultados obtenidos dependen fuertemente del
contenido particular de la imagen y son sensibles a la textura de la
misma. No permiten una segmentación de la imagen por objetos
elementales en la medida en la que resulta difícil recuperar los
contornos de un objeto de interés. Las imágenes son subsegmentadas y
los contornos detectados no forman en todos los casos una lista
cerrada, garantizando sensiblemente la integridad del contorno del
objeto de interés y la segmentación de este último. La dispersión de
los resultados es grande entre los diferentes métodos y los
resultados son poco consistentes, dos imágenes muy parecidas pueden
resultar en una segmentación muy distinta y recíprocamente, una
misma imagen puede llegar a una segmentación muy distinta con dos
métodos.
Una segunda familia agrupa métodos basados en la
morfología matemática, los cuales intentan solucionar los problemas
e inconvenientes de los métodos de la primera familia a partir de
procesos basados en una estructura arborescente, árbol binario de
partición que permite caracterizar el contenido de las imágenes.
Esta estructura arborescente que describe la organización espacial
de la imagen se obtiene fusionando iterativamente regiones
adyacentes siguiendo un criterio de homogeneidad hasta la obtención
de una sola región. El árbol es construido conservando la forma de
regiones fusionadas en cada iteración del proceso. Este método
ofrece la posibilidad de marcar manualmente zonas de interés sobre
la imagen original y recuperar en el árbol de partición nudos que
corresponden a este marcado. Los inconvenientes de los métodos de
esa familia consisten en el hecho de que la totalidad de la imagen
es segmentada, que es necesario tener un conocimiento previo del
número de regiones que constituyen el objeto, y de que los contornos
del objeto obtenidos no son bastante precisos o no son los
apropiados. En efecto, ocurre frecuentemente que el objeto de
interés se solapa en varias regiones, no correspondiendo en tal caso
los contornos del objeto a los contornos de estas regiones.
Una tercera familia agrupa métodos estadísticos
por campos de Markov. Estos métodos proceden a un etiquetado de las
regiones de la imagen según un criterio a maximizar. Pueden tener en
cuenta un amplio conjunto de informaciones a priori sobre la imagen
y están particularmente adaptados a las imágenes satélite compuestas
de zonas texturadas y yuxtapuestas.
Una cuarta familia se refiere a los métodos de
contornos activos diseñados por "snake" en lenguaje anglosajón
(ver por ejemplo EO-A-1 014 303). En
este tipo de método descrito, en el artículo titulado "Snake:
Active Contour Models", publicado por M KASS, A WITKIN y
D. TERZOPOULOS en el Internacional Journal of Computer Vision,
vol. 1, pp. 321-332. 1988, el principio
consiste en deformar iterativamente una curva inicial hasta
acoplarse al contenido del objeto, por minimización de una funcional
de energía.
Esta energía está compuesta por dos términos:
- -
- la energía interna del contorno, que depende de las características intrínsecas o geométricas del contorno activo tales como la longitud, curvatura, etc. Este término de energía interna permite una contracción del contorno activo alrededor del objeto y provoca un deslazamiento de los nudos de este último en una dirección que minimiza localmente la energía;
- -
- la energía externa al contorno, la cual corresponde a un término de añadidura a los datos. Ese término de energía externa está generalmente relacionado con los contornos presentes en una imagen y frena la contracción del contorno activo alrededor de estos contornos presentes.
Se observará en particular que esa familia de
métodos implica un conocimiento a priori de los contornos presentes
de la imagen, lo que, por sí mismo, no se puede realizar más que
gracias a un análisis previo de la imagen.
Una quinta familia de métodos corresponde a un
desarrollo del método de la familia anterior, en el que, en lo que
se refiere a las fuerzas externas aplicadas al contorno activo, el
modelo se comporta como un globo que se hincha bajo el efecto de las
fuerzas antes citadas y que se detiene cuando encuentra contornos
marcados o predefinidos. De este modo, el contorno activo puede
franquear contornos poco marcados. Otros desarrollos han propuesto
utilizar contornos activos geométricos deformables. Estos
desarrollos utilizan conjuntos de niveles que permiten la gestión
automática de los cambios de topología del contorno activo. Los
métodos de la familia precitada requieren, no obstante, disponer de
una inicialización próxima a la solución final, es decir, del
contorno natural del objeto con la finalidad de obtener una buena
convergencia del algoritmo.
Una sexta familia de métodos se basa en la
definición de regiones de la imagen, por estimación previa de estas
regiones y del fondo de la imagen. La curva de evolución del
contorno activo es definida en general, por derivación de un
criterio en el sentido de las distribuciones. Ese criterio depende
de las limitaciones relativas a dos conjuntos:
el fondo de la imagen y los objetos en
movimiento. La curva de evolución puede comportar los tres términos
siguientes:
- -
- un término de sujeción a los datos;
- -
- un término hiperbólico, que permite una adaptación a la forma de los objetos, y
- -
- un término parabólico que estabiliza la solución por alisado de los contornos.
El sentido del movimiento del contorno activo
varia en el curso del tiempo permitiendo el contorno activo
dilatarse o, por el contrario, contraerse en ciertos nudos. Estos
métodos requieren no obstante un etiquetado del fondo de la imagen y
el tiempo de ejecución es demasiado importante, del orden de varios
minutos, para aplicaciones dinámicas a objetos móviles de imágenes
de vídeo.
En lo que se refiere a los métodos de seguimiento
de objetos en la imagen, llamados también métodos de persecución, se
han propuesto actualmente diferentes familias de métodos.
Una primera familia recurre a una técnica de
formación de mallas.
Según un primer método de esta familia, una
estructura de mallas jerárquica estima sucesivamente el movimiento
dominante del objeto y después los movimientos internos de este
último. Se engendra una jerarquía de mallas a partir de la plantilla
del objeto que define una envolvente poligonal de este objeto. Antes
de iniciar el ciclo jerárquico de estimación de movimiento se estima
un modelo global afín que inicializa un mallado grosero de la
jerarquía. Esta estimación es propagada a continuación hacia los
niveles más finos, en los que se realiza una estimación global.
Ocurre en algunos casos que un nudo se aparta del contorno natural
del objeto y se acopla al plano de atrás de la escena, arrastrando
con él sus nudos adyacentes o próximos. Este proceso de arrastre
está relacionado con la acumulación temporal de los errores de
posicionado de los nudos, puesto que se dispone solamente de la
segmentación inicial en el curso de la optimización.
Para solucionar el proceso de arrastre indicado,
se ha propuesto una solución que consiste en inyectar además un
método adyacente al de los contornos activos. Se engendran contornos
activos a partir del mallado más fino del ciclo de jerarquización y
evolucionan sobre los contornos salidos de la imagen corriente
segmentada. Estos contornos activos son inyectados después de la
primera estimación del movimiento para limitar los picos de los
bordes del mallado para que se reposicionen sobre los contornos
exteriores del objeto. Esta solución, no obstante, no ha sido
continuada, puesto que la estructura del mallado resulta demasiado
compleja de utilizar.
Una segunda familia recurre a la utilización de
contornos activos, según los métodos descritos anteriormente. El
contorno activo sobre la imagen corriente se propaga de una imagen
a otra y se deforma para adaptarse a los contornos del objeto de
interés sobre las imágenes sucesivas. Se pueden añadir limitaciones
de movimiento cuando tiene lugar la minimización de la función de
energía.
Estos métodos pueden combinar, además, métodos de
estimación de parámetros por onda óptica o por un modelo de
movimiento tal como traslación, transformación afín, perspectiva,
deformación bilineal u otra, y métodos de contornos activos, con el
objetivo de hacer más consistente el seguimiento del objeto o
persecución del mismo.
Es un ejemplo específico, el método de
seguimiento del objeto combina un método de contorno activo y un
análisis del movimiento por regiones de la imagen. El movimiento del
objeto es detectado por un algoritmo de segmentación basado en el
movimiento. Entonces se utiliza un modelo de contorno activo con el
objetivo de seguir y segmentar el objeto. A continuación el
movimiento de la región definida en el interior del contorno activo
es estimado por una aproximación multiresolución por un modelo afín.
Se utiliza un filtro de Kalman para la predicción de la posición de
la región antes citada y por lo tanto, para inicializar el contorno
activo en la imagen siguiente.
Una tercera familia de métodos recurre a técnicas
basadas en mapas de etiquetas, los cuales explotan los procesos de
partición de las imágenes, o mapas de etiquetas sobre los pixels de
una imagen. En un primer método, se ha propuesto una técnica que
combina informaciones de movimiento y de organización espacial sobre
las imágenes con el objetivo de seguir un objeto. La imagen
corriente es dividida en partes por un método de morfología
matemática y la imagen resultante es compensada por los vectores de
movimiento estimados de modo grosero por un algoritmo de
correspondencia de bloques o "block-matching"
en lengua anglosajona. La homogeneidad espacial de las regiones o
marcadores se verifica a continuación. Estos métodos presentan las
limitaciones de los métodos de contornos activos clásicos, en
especial la lentitud de convergencia.
Un segundo método se basa en la técnica de los
campos de Markov. Este método comprende un método de segmentación de
imagen en regiones homogéneas en el sentido del movimiento por
etiquetado estadístico. La partición se obtiene siguiendo un
criterio de intensidad, de color y de textura.
Un tercer método realiza una segmentación
espacial de la imagen en regiones homogéneas y se realiza un
seguimiento por un método de retroproyección. Se trata de determinar
la máscara o plantilla del objeto de interés sobre la imagen
corriente. Cada región de la imagen corriente segmentada es
retroproyectada entonces según el movimiento sobre la imagen
segmentada precedente. Las zonas retroproyectadas que pertenecen a
la máscara o plantilla del objeto forman entonces la nueva máscara
del objeto sobre la imagen corriente. Estos métodos presentan el
inconveniente de facilitar contornos del objeto poco precisos. En
efecto, aparecen orificios o artefactos, en razón de la utilización
de una segmentación inicial de la imagen.
En el programa comercializado con la marca
"Corel Photo Paint 6", una función "lasso" permite trazar
rápidamente un contorno de manera imprecisa con un ratón alrededor
de un objeto. Apoyando a continuación sobre un botón, el usuario
obtiene una reducción de este contorno para que envuelva o encierre
con exactitud este objeto. El usuario no tiene acceso a las fuentes
del programa para saber como se realiza la función.
La presente invención tiene por objeto solucionar
estos inconvenientes de la técnica anterior que se han citado, tanto
en lo que respecta al proceso de segmentación de imagen como a la
continuación o persecución de un objeto en movimiento sobre
imágenes sucesivas.
En particular, es un objetivo de la presente
invención la puesta en práctica de un proceso de segmentación de una
imagen de vídeo por objetos elementales en el que no se requiere
conocimiento alguno a priori de la imagen.
Otro objetivo de la presente invención consiste,
en razón de la ausencia de conocimiento a priori de la imagen, en la
utilización de un proceso de segmentación por contornos activos de
una imagen de vídeo por objetos elementales en el que el contorno
activo de partida, designado todavía contorno de partida, es algo
asociado a un objeto elemental de interés que pertenece a la
imagen.
Otro objeto de la presente invención es
igualmente, teniendo en cuenta la inicialización del procedimiento
objeto de la presente invención a partir de un contorno activo de
partida cualquiera, la puesta en práctica de un procedimiento de
segmentación de una imagen de vídeo de muy gran flexibilidad de
utilización y gran tolerancia en la selección de un usuario poco
experto, pudiendo contener el contorno de partida varios bucles, en
ausencia de una orientación necesaria cualquiera.
Otro objetivo de la presente invención es
igualmente la puesta en práctica de un procedimiento de segmentación
de imagen por contornos activos, en el que, al haberse suprimido
cualquier conocimiento a priori sobre la imagen, el término de
energía externa queda como consecuencia suprimido, lo que permite
obtener una gran rapidez de convergencia del contorno activo
corriente hacia el contorno natural del objeto elemental de
interés.
Otro objeto de la presente invención es
igualmente la puesta en práctica de un procedimiento de segmentación
de imagen por contornos activos, en el que, en razón de la ausencia
de conocimiento a priori sobre la imagen, se obtiene una mejor
tolerancia a los ruidos y a los contornos de la imagen mal
definidos.
Otro objetivo de la presente invención es
igualmente la puesta en práctica de un procedimiento de segmentación
de imagen por contornos activos, en el que, en razón de la
tolerancia de un contorno de partida de varios bucles, la
segmentación de la imagen con respecto, como mínimo, a un objeto
elemental con varios componentes puede ser puesta en práctica, lo
que confiere un elevado grado de flexibilidad de utilización al
procedimiento objeto de la presente invención.
Otro objetivo de la presente invención consiste
en la puesta en práctica de un procedimiento de segmentación de una
imagen de vídeo por objetos elementales en el que la rapidez de
convergencia del contorno de partida hacia el contorno natural del
objeto elemento de interés en la imagen permite una gran estabilidad
del proceso de segmentación en cada imagen, y, como consecuencia, el
seguimiento o persecución estable de objetos móviles sobre imágenes
sucesivas, lo que permite obtener una gran coherencia de persecución
de un objeto de interés móvil sobre un gran número de imágenes
sucesivas.
En particular, otro objeto de la presente
invención es igualmente la puesta en práctica de un procedimiento de
segmentación de una imagen de vídeo por objetos elementales en el
que, en razón de la rapidez de convergencia de los contornos
activos, de la continuidad en el seguimiento de los objetos móviles
y de la subdivisión tolerada de un contorno activo en varios
contornos activos, cada contorno activo resultante de dicha
subdivisión evoluciona de forma independiente puesto que está
relacionado con la única subdivisión del objeto elemental de
interés.
Otro objetivo de la presente invención consiste
finalmente en la puesta en práctica de un procedimiento de
segmentación de una imagen de vídeo por objetos elementales en el
que, gracias a un proceso de seguimiento del movimiento
simplificado, la convergencia del contorno activo corriente hacia el
movimiento del objeto elemental de interés móvil se acelera.
El procedimiento de segmentación de una imagen de
vídeo por objetos elementales, que es objeto de la presente
invención, es notable puesto que consiste, con respecto como mínimo
a un objeto elemental delimitado por un contorno natural de esta
imagen de vídeo, en las operaciones siguientes:
- -
- definir alrededor de este objeto elemental un contorno de partida que rodea totalmente dicho objeto elemental;
- -
- definir, a partir de este contorno de partida, un contorno activo de origen, formado por un conjunto de nudos distribuidos sobre este contorno de partida, estando constituido cada nudo por un punto que pertenece a este contorno de partida y por una función de energía elástica representativa de la distancia que separa este nudo de un nudo adyacente,
- -
- someter, con respecto a un conjunto de valores de referencia representativos del contorno natural de este objeto elemental, el contorno activo de origen a una deformación convergente bajo una condición de bloqueo que determina si el contorno ha sido alcanzado, por desplazamiento hacia el contorno natural del objeto elemental de como mínimo uno de los nudos del contorno activo de origen, para engendrar un contorno activo corriente, estando sometido este contorno activo corriente iterativamente a esta deformación convergente para engendrar contornos activos corrientes sucesivos distintos, mientras que este desplazamiento satisface la condición de no bloqueo y de detener todo desplazamiento de nudo de este contorno activo, en caso contrario. Esto permite engendrar un contorno activo corriente final que reproduce sensiblemente el contorno natural del objeto elemental.
El procedimiento objeto de la presente invención
puede ponerse en práctica, de forma particularmente ventajosa, a
partir de módulos de programa y encuentra aplicación en todos los
tratamientos de imágenes de vídeo que implican la segmentación por
objetos y para los cuales una preselección grosera pero fiable del
objeto a segmentar es realizable.
Entre las aplicaciones previsibles se pueden
citar, de manera no limitativa, las aplicaciones relacionadas a:
- -
- nuevos servicios multimedia distribuidos en redes alejadas, tales como World Wide Web, o redes locales, también llamadas redes de empresa, servicios tales como investigación de imágenes o de vídeos, en el caso de archivo de producción audiovisual. El receptivo para tales servicios está relacionado, por una parte, a la calidad de restitución de los contenidos, y, por otra parte, a la potencia del motor de investigación, bien adaptado a la naturaleza de los medios difundidos. En efecto, se puede comprobar que proceder al aumento de la cantidad de información disponible no es suficiente puesto que resulta crucial facilitar acceso a ésta;
- -
- producción audiovisual; las técnicas de producción audiovisual modernas acuden de modo progresivo a la composición de fondos diversos y de objetos de vídeo en plano delantero para la elaboración de escenas de películas o de televisión. Actualmente, el rodaje de objetos de vídeo es una operación especialmente pesada, que requiere el recurso a la técnica de clave cromática, designada por "chroma-key" en lenguaje anglosajón, cuya técnica impone en particular filmar cualquier objeto de interés sobre un fondo uniforme de color conocido. El procedimiento objeto de la invención permite una segmentación de imágenes por objetos elementales particularmente flexible y rápida, permitiendo reducir fuertemente los costes de producción;
- -
- en la televisión interactiva, también designada televisión enriquecida, en cuyo dominio, gracias al procedimiento objeto de la invención y en razón a la flexibilidad y consistencia de este último, sobre un número de imágenes que importan objetos móviles, es posible seleccionar un objeto o un actor presente sobre la pantalla, seguir este último a lo largo del tiempo, en el curso del desarrollo de la acción, así como disponer informaciones multimedia sobre este objeto o este actor;
- -
- para las herramientas de creación de contenido multimedia que satisfacen la norma MPEG-4. La norma precitada no facilita método de segmentación de imágenes por objetos elementales. El procedimiento objeto de la presente invención permite introducir un proceso de segmentación, que es prolongación natural de tal ambiente;
- -
- visiofonía. Cuando el caudal de transmisión resulta demasiado limitado, en razón de las dimensiones de las redes de transmisión, es de mayor interés concentrar la información visual transmitida y, por lo tanto, el caudal disponible para asegurar el direccionado, sobre objetos o zonas de imágenes más portadores de informaciones, en particular la cara de los locutores, pudiendo ponerse en práctica la concentración antes indicada gracias al procedimiento de segmentación objeto de la presente invención;
- -
- servicios de vídeo conferencia, en los que, además de las aplicaciones inherentes a la visiofonía, se facilitan las aplicaciones en las que se busca un aumento de la sensación visual de presencia por reconstitución sintética de una reunión virtual que reúne en el mismo lugar virtual el conjunto de los participantes en la vídeo conferencia, gracias al procedimiento de segmentación objeto de la invención.
El procedimiento objeto de la presente invención
se comprenderá mejor de la lectura de la descripción y de la
observación de los dibujos adjuntos, en los cuales:
- la figura 1a representa, a título ilustrativo,
un organigrama general de las etapas que permiten la puesta en
práctica del procedimiento objeto de la presente invención;
- la figura 1b representa, a título ilustrativo,
un detalle de la puesta en práctica del procedimiento objeto de la
presente invención que se ha mostrado en la figura 1a y que consiste
en crear, a partir de nudos definidos sobre un contorno de partida,
un contorno activo de origen o bien un contorno activo
corriente;
- la figura 2a representa, a título ilustrativo,
una forma de puesta en práctica preferente no limitativa del
procedimiento objeto de la invención, en la que se introduce una
gestión de la existencia de intersecciones y de la resolución
aplicada al contorno activo corriente;
- la figura 2b representa, a título ilustrativo,
un detalle de puesta en práctica de una etapa del procedimiento
objeto de la invención mostrada en la figura 2a, en el que se ha
realizado una inicialización del dominio de cálculo de gradiente de
intensidad de imagen sobre cada contorno activo corriente;
- la figura 2c representa, a título ilustrativo,
un detalle de puesta en práctica específico de una etapa de gestión
de la existencia de intersecciones sobre todo contorno activo
corriente;
- la figura 3a representa, a título ilustrativo,
un organigrama general de un proceso de estimación de movimiento
aplicado a un contorno activo corriente de acuerdo con un
procedimiento objeto de la presente invención y que permite asegurar
la persecución de un objeto móvil sobre una serie de imágenes
sucesivas, tales como imágenes de vídeo o de televisión;
- la figura 3b representa, a título ilustrativo,
una forma de realización preferente no limitativa de una etapa de
afino del control activo corriente relativo a un objeto en
movimiento tal como el representado en la figura 3a;
- la figura 3c muestra, a título ilustrativo, las
partes del objeto sobre las que se realiza la estimación del
movimiento;
- la figura 3d es parecida a la figura 3c sobre
un ejemplo real compuesto de dos personajes actores de una escena de
ballet;
- la figura 4 representa, a título ilustrativo,
una continuidad de imágenes de vídeo relativas a una escena de
ballet interpretada por dos actores, que muestra la evolución del
contorno activo corriente en la que el contorno activo final se
desdobla, es decir, se unifica;
- la figura 5 representa, a título ilustrativo,
un organigrama relativo a un protocolo de búsqueda de un objeto
elemental de interés en una secuencia de imágenes memorizadas en una
base de datos accesible en un lugar servidor a partir de un terminal
de acceso.
El procedimiento de segmentación de una imagen de
vídeo por objetos elementales, que es objeto de la presente
invención, se describirá a continuación en relación con la figura
1a y las figuras siguientes.
De manera general, se recordará que el proceso
objeto de la invención es puesto en práctica a partir como mínimo de
una imagen (IM), tal como una imagen de vídeo, pero preferentemente
a partir de una secuencia de imágenes que presenta como mínimo un
objeto elemental, indicado (OBJ), animado o no y delimitado por un
contorno natural, indicado (CN).
El procedimiento objeto de la presente invención
se basa en el hecho de cualquier objeto elemental (OBJ) presente en
una imagen, en especial una imagen de vídeo, presenta un contorno
natural (CN) cuya traza se traduce sobre la imagen considerada por
valores de intensidad luminosa que presentan sensiblemente
discontinuidad a lo largo de esta última, teniendo esta
discontinuidad por efecto introducir una noción de intensidad
diferencial con respecto al propio objeto y al medio ambiente
directo de este objeto y, en particular, un valor de gradiente de
intensidad luminosa sobre el contorno natural del objeto y, por lo
tanto, sobre esta traza, presentando un valor sensiblemente
estable.
El procedimiento objeto de la presente invención,
teniendo en cuenta la indicación anterior, tiene también por objeto,
a partir de un contorno de partida absolutamente cualquiera que
rodea este objeto, no obstante, el buscar por deformación de este
contorno de partida, por contracción de este último hacia el objeto
precitado, una estabilidad en posición del contorno activo sobre el
contorno natural del objeto.
Con este objetivo, y tal como se ha representado
en la figura 1a, a partir de una imagen de vídeo (IM) o de una serie
de imágenes sucesivas con respecto a un objeto elemental (OBJ) que
presenta un contorno natural (CN) en una etapa de partida (S), el
procedimiento objeto de la presente invención consiste, en una etapa
(A), en definir alrededor del objeto elemental precitado (OBJ), un
contorno de partida, indicado (CD), que rodea totalmente el objeto
elemental (OBJ).
En lo que respecta a la definición del contorno
de partida (CD), se indica como bien comprendido que la imagen (IM)
disponible en forma de imagen de vídeo y, por lo tanto, en forma de
un fichero de imagen, puede ser ventajosamente indicada sobre un
sistema de indicación, no representado en el dibujo de la figura 1a,
tal como una pantalla de vídeo dotada de un interfaz gráfico y de un
apuntador. En estas condiciones, y de manera especialmente simple,
habiéndose indicado la imagen sobre el monitor de marcado precitado,
el usuario puede trazar fácilmente, a partir de un dispositivo de
apuntado, alrededor del objeto (OBJ) cualquier contorno de partida
(CD) que rodea el objeto precitado de la manera más fácil.
La antes citada etapa (A) es seguida entonces de
una etapa (B) que consiste en definir, a partir del contorno de
partida (CD), un contorno activo de origen, indicado (CAO), formado
por un conjunto de nudos distribuidos sobre este contorno de
partida.
La etapa (B) es seguida entonces de una etapa (C)
de deformación convergente del contorno activo de origen (CAO) por
desplazamiento, como mínimo, de uno de los puntos del contorno
activo de origen (CAO) hacia el objeto elemental (OBJ) y, en
particular, hacia el contorno natural del objeto elemental.
De acuerdo con un aspecto notable del
procedimiento objeto de la invención, la deformación del contorno
activo de origen (CAO) se efectúa por desplazamiento hacia el
contorno natural del objeto elemental como mínimo de uno de los
nudos del contorno activo de origen, siendo este desplazamiento
normal y centrípeto con respecto al contorno de origen (CAO), en
función de la energía elástica (o término de resorte) obtenido a
partir de la distancia de los nudos adyacentes al nudo corriente y
controlado por una función de bloqueo sobre la imagen de los
contornos, obtenida a partir de la intensidad medida a lo largo de
los segmentos adyacentes a los nudos corrientes.
La deformación del contorno activo de origen
(CAO) permite engendrar un contorno activo corriente, designado
(CAC), el cual es sometido entonces iterativamente a la deformación
convergente antes citada para engendrar contornos activos corrientes
sucesivos distintos, mientras que el desplazamiento y la deformación
no satisfacen la condición de bloqueo para todos los nudos del
contorno.
El contorno activo final reproduce sensiblemente
el contorno natural (CN) del objeto elemental (OBJ).
Sobre la figura 1a, se ha representado en la
etapa (C) la operación de deformación anteriormente descrita para
engendrar un contorno activo corriente.
Se debe considerar comprendido que, en la etapa
(B), es decir, desde la creación del contorno de partida (CD), y a
partir del trazado de éste, y de la definición del contorno activo
de origen (CAO), se realiza un cálculo de la función de energía (E),
estando relacionada esta función de energía al gradiente de
intensidad luminosa calculado sobre el contorno activo de origen
(CAO), de la manera que se describirá posteriormente en la
descripción.
Igualmente, en la etapa (C), la aplicación de una
deformación convergente por desplazamiento como mínimo de un punto o
nudo del contorno activo de origen (CAO), permite calcular una
variación de energía \DeltaE de la energía elástica mínima, para
el contorno activo corriente (CAC) obtenido por el hecho de la
deformación aplicada.
La etapa (C) puede entonces ser seguida de una
etapa de prueba (D) que consiste en verificar que la variación de
energía \DeltaE es mínima.
Si existe respuesta positiva en la prueba (D), el
proceso de deformación es reiniciado por iteración, con intermedio
de un retorno a la etapa (B), tomándose el contorno activo corriente
(CAC), no obstante, como contorno activo de origen (CAO) para la
iteración siguiente. En la figura 1a, la iteración es iniciada por
la etapa (E), la cual ha sido indicada del modo siguiente:
CAO \equiv
CAC.
Por esta operación, se comprende en realidad que
el proceso de deformación convergente aplicado a partir de la etapa
(B), en la que el contorno activo de origen (CAO) ha sido
reemplazado por el contorno activo corriente (CAC) de iteración
precedente, puede entonces ser reaplicado con intermedio de la etapa
(C) y de la etapa (D) anteriormente descritas.
El proceso de deformación es aplicado entonces
iterativamente mientras existe desplazamiento, lo que permite a los
contornos activos corrientes sucesivos aproximarse al contorno
natural del objeto (CN).
En estas condiciones, en una etapa (F), con
cualquier desplazamiento detenido, el contorno activo corriente
(CAC) de iteración precedente corresponde a un contorno activo final
que no es otro que el contorno natural del objeto (OBJ)
sensiblemente.
Una descripción más detallada de la etapa (B) de
definición, sea de un contorno activo de origen (CAO) a partir del
contorno de partida (CD), o bien en el caso de un contorno activo
corriente (CAC), se indicará en relación con la figura 1b.
De manera general, se indica que el conjunto de
los nudos de cada contorno activo, contorno activo de origen (CAO),
o bien contorno activo corriente (CAC), puede ser definido
ventajosamente por modelización poligonal por muestreo sobre la
traza del contorno activo, contorno activo de origen (CAO), o bien
contorno activo corriente (CAC), en función de la distancia entre
nudos consecutivos.
Así pues, en referencia a la figura 1b, y para un
contorno de partida (CD), por ejemplo, destinado a engendrar un
contorno activo de origen (CAO), se consideran dos nudos
consecutivos, indicados (X_{1}) y (X_{2}), y se mide la longitud
del segmento (d) entre los nudos (X_{1}) y (X_{2}). Esta
operación está representada en la subetapa (1). Para conservar como
nudo un nudo (X_{2}) próximo de un primer nudo (X_{1}) en
función del valor de la distancia (d) antes citada, se introducen
dos valores de umbral Smax y Smin que cumplen la relación:
Smin <
Smax
Smin =
Smax/2.
Se indica que, de manera general, los valores de
umbral precitados, designados por valores de umbral de muestreo
poligonal, se pueden definir por el usuario. No obstante, y de
manera no limitativa, los valores de umbral de muestreo poligonal
pueden ser efectuados de manera sensiblemente automática a partir de
dimensiones de referencia escogidas en función de las dimensiones
del objeto elemental.
Si la longitud del segmento (d) supera el valor
de umbral Smax, tal como se ha representado en la subetapa (2),
entonces se añade un nudo intermedio (X_{3}) sensiblemente en la
zona intermedia del segmento (d) sobre el contorno de partida (CD).
El nudo (X_{3}) es tenido en cuenta a continuación e insertado
entre los nudos (X_{1}) y (X_{2}) para constituir en realidad el
contorno activo de origen (CAO), en caso preciso el contorno activo
corriente (CAC).
No obstante, y de manera no limitativa, se pueden
utilizar métodos más sofisticados de muestreo y de modelización
poligonal, tales como métodos de interpolación o de alisado
("spline", a título de ejemplo), con la finalidad de añadir
limitaciones diferenciales al contorno activo de origen, o bien al
contorno activo corriente.
Si, por el contrario, la longitud del segmento
(d) es inferior al valor Smin, el segmento correspondiente es
fusionado, siendo llevados entonces los nudos (X_{1}) y (X_{2})
a un nudo único resultante (X_{4}) representado en la subetapa
(4), posicionado sensiblemente en la zona media del segmento de
longitud (d) sobre el contorno de partida o sobre el contorno activo
de origen (CAO), o bien el contorno activo corriente (CAC). Una
posición interpolada distinta de la correspondiente a la parte media
del segmento de longitud (d) puede ser también utilizada. Se debe
comprender que entonces los nudos (X_{1}) y (X_{2}) quedan
suprimidos y sustituidos por el nudo único (X_{4}), tal como se ha
representado en la subetapa 4.
El proceso de modelización poligonal por muestreo
tal como se ha representado en las subetapas 1 a 4 de la figura 1b
es reiterada por un contorno activo de origen (CAO), o bien por un
contorno activo corriente (CAC) hasta que la distancia entre dos
nudos consecutivos del conjunto de los nudos retenidos para
constituir el contorno activo de origen (CAO), o bien el contorno
activo corriente (CAC), esté comprendido en un intervalo definido
por los valores del umbral de muestreo poligonal.
Se dispone de esta manera, tal como se ha
representado en la subetapa (2), de un contorno activo corriente
(CAC) o de un contorno activo de origen (CAO) modelizado por el
conjunto de los segmentos tales como los representados en la figura
1b en la subetapa antes citada, segmentos sucesivos (d_{31}),
(d_{32}), y de este modo y a continuación sobre el conjunto del
trazado del contorno activo de origen, o bien del contorno activo
corriente.
A continuación, se facilitará una descripción más
detallada de la forma de cálculo de la función de bloqueo.
Para una zona elemental de la imagen constituida
por un rectángulo que representa un número determinado de píxels en
la dirección horizontal, o bien vertical, se calcula un gradiente de
intensidad luminosa en las direcciones horizontal, o bien vertical,
cuyo gradiente de intensidad luminosa o de luminancia cumple la
relación (1):
En la relación anterior, I_{x}(i,j)
indica el valor del gradiente de intensidad luminosa o de luminancia
en la dirección horizontal, e I_{y}(i,j) indica el valor
del gradiente de intensidad luminosa en la dirección vertical para
cualquier píxel de coordenadas i,j en la zona rectangular de píxels
considerada con respecto a los píxels adyacentes de dirección i+1,
i-1, o bien j+1 y j-1.
La norma (N) del gradiente (GR) viene entonces
determinada por la relación (2):
N =
\sqrt{I^{2}{}_{x} (i,j) + I^{2}{}_{y}
(i,j)}
a partir de los gradientes en las
direcciones vertical y horizontal antes
citada.
De acuerdo con un aspecto notable del
procedimiento objeto de la presente invención, la fuerza de un
contorno activo es medida por la norma (N) del gradiente tal como se
ha calculado anteriormente.
Para evaluar la fuerza de un contorno activo,
contorno activo de origen (CAO), o bien contorno activo corriente
(CAC), para cada nudo (X) del contorno activo, se evalúan las
contribuciones delgradiente de intensidad luminosa respectivamente
en los dos segmentos adyacentes del nudo considerado, es decir, en
los segmentos (d_{31}) y (d_{32}) para los nudos sucesivos
representados en la subetapa (2) de la figura 1b.
Al estar definidos los segmentos antes citados
definidos únicamente por sus dos extremos, las posiciones de los
puntos intermedios son calculados sobre la imagen por algoritmo de
BRESENHAM.
Para cada nudo de un segmento, tales como los
nudos (X_{1}), (X_{3}) o (X_{2}) representados en la
anteriormente citada figura 1b, se considera la contribución en el
conjunto de los valores de gradiente (GR) memorizados, habiéndose
designado este conjunto por la tarjeta de los gradientes. La
contribución para el nudo considerado es ponderada entonces por una
función de forma que tiene un valor 1 sobre el nudo corriente y
decreciente de forma lineal hacia el valor 0 sobre el nudo
adyacente. Todas las contribuciones de gradiente sobre el segmento
considerado son adicionadas. Los valores asociados a cada segmento
son almacenados en un vector.
Por lo tanto, haciendo referencia a la figura 1b,
para la subetapa (2), y para los nudos consecutivos (X_{1}) y
(X_{3}) del contorno activo separados por el segmento (d_{31}),
la función de ponderación (p) relativa al punto corriente (x) que
pertenece al segmento (d_{31}) de modelización poligonal del
contorno activo (CAO) o (CAC), cumple la relación (3):
p(X) =
1-d(X,X_{1})/d(X_{3},X_{1})
En la relación anterior, (X_{1}) y (X_{3})
son nudos consecutivos, (X) indica el punto corriente que pertenece
al segmento formado por (X1) y (X3), y d(-Xa-,-Xb-) indica la
distancia entre los nudos (Xa) y (Xb).
La función o funcional de energía elástica
representativa de la distancia que separa cada nudo de un nudo
adyacente verifica entonces la relación (4):
E = k .
\lfloor (X - X_{p})^{2} + (X - X_{s})^{2}
\rfloor
En la relación anterior X, Xp y Xs son,
respectivamente, vectores de dimensión 2 que contienen las
coordenadas del nudo corriente, del nudo precedente y del nudo
siguiente. Se representa por K un término de rigidez, llamado
término de resorte, correspondiente a la energía elástica
representativa de la distancia que separa cada nudo del nudo
adyacente.
De este modo, se dispone de un término de
resorte, función de la derivada de la energía E, y correspondiente a
una variación de energía \DeltaE para el nudo (X) corriente
considerado sobre el contorno activo de origen (CAO), o bien el
contorno activo corriente (CAC).
El término de resorte verifica la relación
(5):
\overline{R} =
k . \lfloor (X_{p} - X) + (X_{s} - X)
\rfloor
En esta relación, (X_{p}), (X_{s}) y (X)
indican los mismos parámetros que en el caso de la relación (4),
designando k igualmente una constante de rigidez.
El término de resorte (\upbar{R}) tiende a
minimizar la energía (E) que se traduce en un alisado cuya fuerza es
ponderada por el término de rigidez k. Este término es un término de
regulación que evita degeneraciones y que suprime en especial la
formación de pliegues.
Se indica que el término de resorte (\upbar{R})
es una magnitud orientada, soportada por el segmento que une dos
nudos consecutivos y soportada por este último. En la figura 1b en
la subetapa 2, se han indicado los términos de resorte
(\upbar{R}_{13}), (\upbar{R}_{31}), (\upbar{R}_{32}),
(\upbar{R}_{23}).
De acuerdo con un aspecto notable del
procedimiento objeto de la presente invención, la deformación
aplicada a cada contorno activo de origen (CAO), o bien contorno
activo de origen corriente (CAC), es efectuada por un desplazamiento
como mínimo de uno de los nudos consecutivos del contorno activo de
origen, o bien del contorno activo corriente considerado, teniendo
en cuenta una relación que vincula, por una parte, el tema de
resorte () antes citado, el desplazamiento propiamente dicho en una
dirección centrípeta hacia el objeto elemental y, tal como se puede
comprender, un término de energía luminosa relacionado con el
gradiente y designado por la contribución del gradiente sobre el
contorno activo de origen (CAO), o bien el contorno activo corriente
(CAC), tal como se describirá más adelante.
Para cada nudo del contorno activo considerado,
contorno activo de origen (CAO) o bien contorno activo corriente
(CAC), el valor del gradiente de intensidad luminosa es tenido en
cuenta sobre el conjunto de cada segmento situado a un lado y otro
del nudo considerado, siendo evaluada la contribución (G) del
gradiente de intensidad luminosa (GR) sobre cada segmento
considerado a partir de la suma de la norma del gradiente ponderada
por la función de ponderación anteriormente mencionada en la
descripción.
Por lo tanto, la contribución del gradiente sobre
un segmento determinado, segmento modelizado por modelización
poligonal del contorno activo considerado, verifica entonces la
relación (6):
G =
\sum\limits_{d}
p(X).N(X)
En la relación anterior, (X), (p(X)) y
(N(X)) indican respectivamente el punto corriente, la
ponderación asociada a este punto (X) y la norma del gradiente
calculada en este punto.
De este modo, en la figura 1b en la subetapa 2,
(d) toma el valor (d31) y (X) se desplaza del nudo (X1) hacia el
nudo (X3) sobre el segmento (d31).
La relación que asocia la limitación de
desplazamiento (F) aplicada en cada nudo o por lo menos a un nudo
del contorno activo de origen (CAO) o bien del contorno activo
corriente (CAC), se describirá a continuación cuando el
desplazamiento del nudo considerado es efectuado en la dirección
normal (N) al contorno activo a nivel del nudo considerado.
Para calcular la dirección normal al nudo
considerado, se utiliza una heurística con la finalidad de afectar
un vector normal al contorno activo precitado. Haciendo referencia a
la figura 1b, y a título de ejemplo no limitativo, para el nudo
(X_{3}) cuyos nudos adyacentes son los nudos (X_{1}) y
(X_{2}), se calcula el vector normal (N_{1}) en el segmento
(d_{31}) y el vector normal (N_{2}) en el segmento (d_{32}).
La media o resultante de los vectores normales (N_{1}) y (N_{2})
normalizados facilita la dirección del vector normal (N_{3})
resultante al nudo (X_{3}). El vector (N_{3}) correspondiente a
un vector de desplazamiento (\upbar{N}) es orientado entonces
hacia el interior del objeto, a partir, por ejemplo, de un cálculo
de concavidad del trazado que soporta el contorno activo de origen
(CAO) o bien el contorno activo corriente (CAC). Otras formas de
cálculo a base de interpolaciones spline u otras pueden ser también
puestas en práctica para la estimación del vector normal
(\upbar{N}).
Así pues, para todo vector normal (\upbar{N}) y
para un término de resorte (\upbar{R}), la limitación de
desplazamiento (\upbar{F}) aplicada según el vector de
desplazamiento \upbar{N}, por lo menos en uno de los nudos del
contorno activo de origen o bien del contorno activo corriente,
viene dada por la relación (7):
\overline{F} =
(\overline{R} + \overline{N}). \Pi (G <
S)
En la relación anterior, se indica que el término
\Pi(G<S) es una función específica tal que esta función
es igual a 1 si G < S, es igual a 0 en caso contrario, designando
S un valor de umbral predefinido por el utilizador y designando G la
contribución del gradiente al nudo considerado.
De este modo, la relación precitada (7) define la
condición de bloqueo del desplazamiento de los nudos por la función
\Pi(G<S). Si esta función es igual a 1, el
desplazamiento del nudo o de los nudos del contorno activo corriente
del valor \upbar{F} resultante es llevado a cabo, y si esta
función es igual a 0 el desplazamiento es interrumpido.
Por lo tanto, si la contribución del gradiente G
para el nudo corriente considerado es inferior al valor de umbral S
antes citado, el nudo y, tal como se puede comprender, en caso
necesario, el conjunto de los nudos constitutivos del contorno
activo de origen (CAO), o bien del contorno activo corriente (CAC),
es desplazado del valor de la limitación de desplazamiento
(\upbar{F}) en la dirección centrípeta definida por el nudo
considerado.
A continuación se facilitará una descripción más
detallada de una forma de puesta en práctica preferente del
procedimiento objeto de la presente invención, en relación con la
figura 2a. En dicha figura, las mismas etapas tales como las
definidas en la figura 1a se han designado con las mismas
referencias.
En lo que se refiere a la etapa (A) que consiste
en la definición alrededor del objeto (OBJ) de un contorno de
partida (CD), esta, tal como se ha representado en la figura 2a
antes citada, puede comportar ventajosamente una subetapa (A_{11})
que consiste en una operación de alisado de la imagen por medio de
un proceso de filtrado. De esta manera, la imagen de vídeo corriente
es filtrada con el objetivo de limitar el ruido ambiente presente en
esta imagen y obtener contornos más acotados. El filtrado utilizado
puede consistir en un proceso de filtrado clásico de supresión de
ruido en función de la naturaleza de los datos constitutivos de la
imagen. Por esta razón, el proceso de filtrado no se describirá de
manera detallada.
La subetapa (A_{11}) puede ser seguida entonces
de una etapa (A_{12}) que consiste, a partir del contorno de
partida (CD), en una inicialización del cálculo de los valores del
gradiente para una zona determinada de la imagen. Se comprende, en
particular, que para limitar los tiempos de cálculo, los valores de
gradiente determinados por las relaciones (1) y (2) anteriores no se
calculan únicamente sobre la región encerrada por el contorno de
partida (CD), y después por los contornos activos corrientes
sucesivos hasta, tal como se puede comprender, que el contorno
activo corriente (CAC) alcanza el contorno activo final
correspondiente al contorno natural del objeto. Los valores de
cálculo de la norma del gradiente son entonces memorizados en una
tarjeta de gradientes. Los valores antes citados pueden ser
calculados en nivel de gris o en color. A título de ejemplo no
limitativo, se indica que la tarjeta de gradientes es una imagen de
valores flotantes inicializados, por ejemplo, en un valor
arbitrario.
En la figura 2b, se han representado vistas
sucesivas en un monitor de visualización de una imagen de vídeo que
comprende un objeto (OBJ), un contorno activo de origen (CAO) o un
contorno activo corriente (CAC), y una zona en la que se calcula la
tarjeta de los gradientes (CG). Se comprende en particular que la
tarjeta de los gradientes es calculada en una zona intermedia del
contorno activo corriente y en el contorno activo natural del objeto
(CN), estando representada esta zona en gris sobre la figura 2b.
En lo que respecta en la etapa (B) de definición
a partir del contorno de partida (CD) de un contorno activo de
origen (CAO), se indica que ésta puede igualmente ser subdividida
por la primera subetapa (B_{11}) que consiste en efectuar el
muestreo por modelización poligonal del contorno considerado, tal
como se ha representado en la figura 1b, pudiendo entonces la
subetapa (B_{11}) estar seguida ventajosamente de una subetapa
(B_{12}) de detección de las intersecciones sobre el contorno
activo, contorno activo de origen (CAO) o bien contorno activo
corriente (CAC). La subetapa (B_{12}) puede ser puesta en práctica
ventajosamente cuando el objeto elemental está constituido por un
objeto animado en la imagen, y susceptible por lo tanto de
movimiento, de deformación y de partición, para cualquier contorno
activo susceptible de constituir un bucle que presenta como mínimo
un punto de intersección después de una partición o separación, una
deformación de este objeto elemental en componentes de objeto
elemental.
Cuando se ha detectado una intersección, el
contorno activo, el contorno activo de origen, o bien contorno
activo corriente, es escindido entonces y reagrupado en un número de
contornos activos distintos, igual al número de intersecciones
aumentado en una unidad, con la finalidad de permitir efectuar un
contorno activo final en cada componente del objeto elemental antes
citado.
Una forma operativa específica que permite la
puesta en práctica de las subetapa (B_{12}) de detección de las
intersecciones se describirá a continuación en relación de la
figura 2c.
Haciendo referencia a la figura antes citada, se
indica que un contorno activo evoluciona en el curso del tiempo,
teniendo en cuenta modificaciones de forma o de partición del
objeto, lo que comporta como consecuencia que puedan aparecer bucles
en el seno del contorno activo.
De manera general, se indica que las
autointersecciones del contorno activo, contorno activo de origen
(CAO) o bien contorno activo corriente (CAC) son medidas en todos
los segmentos tomados dos a dos, estando formados por segmentos
entre dos nudos consecutivos que definen cada contorno activo.
Así pues, para A,B,C y D designando cuatro nudos
que constituyen respectivamente los segmentos (AB) y (CD), se
obtiene entonces AB=A+r(B-A) y
CD=C+s(D-C).
Entonces se detecta una intersección entre los
segmentos (AB) y (CD) si r y s pertenecen al intervalo [0,1].
\vskip1.000000\baselineskip
Se calculan por lo tanto los valores de r y de s
por medio de la siguiente relación (8).
r =
\frac{(A_{y} - C_{y}).(D_{x} - C_{x}) - (A_{x} - C_{x}).(D_{y} -
C_{y})}{(B_{x} - A_{x}).(D_{y} - C_{y}) - (B_{y} - A_{y}).(D_{x} -
C_{x})}
\vskip1.000000\baselineskip
s =
\frac{(A_{y} - C_{y}).(B_{x} - A_{x}) - (A_{x} - C_{x}).(B_{y} -
A_{y})}{(B_{x} - A_{x}).(D_{y} - C_{y}) - (B_{y} - A_{y}).(D_{x} -
C_{y})}
en la relación anterior los índices
x e y asociados a las letras A, B, C y D designan respectivamente la
ordenada y la abscisa de estas
letras.
En el caso de la existencia de una intersección
entre los nudos A,B y C,D en la figura 2c, el contorno activo
corriente, o bien de origen, es dividido en varios contornos activos
según la norma de división anteriormente citada. En el caso de la
existencia de una intersección a título de ejemplo no limitativo en
el nudo I que pertenece a los segmentos (AB) y (CD) en la figura 2c,
el nudo (A) está desconectado del nudo (B) y lo mismo ocurre para el
nudo (C) con respecto al nudo (D). A continuación, el nudo (A) y el
nudo (C) son conectados al nudo (D). O bien al nudo (B). Se
recordará que la noción de conexión consiste en constituir cada uno
de los contornos activos, contorno activo de origen, contorno activo
corriente, informe de una lista de nudos cerrada.
La etapa antes citada es un proceso recurrente
que comprende la creación de un nuevo contorno activo, la añadidura
de los nudos comprendidos de entre los nudos (B) y (C) en este nuevo
contorno activo y la supresión simultanea de estos mismos nudos en
el contorno activo corriente. Si el nuevo contorno activo no es
degenerado, es decir, si presenta como mínimo más de dos nudos,
entonces es memorizado en forma de un méta-snake que
representa un vector de contornos activos, siendo almacenados éstos
en forma de una lista de nudos. Un contorno activo es detectado al
aproximarse los contornos exteriores de un objeto. La función
recurrente antes citada es requerida de nuevo hasta la ausencia de
intersección. Se pueden poner en práctica procesos de detección de
intersección distintos sin salir del ámbito del objeto de la
presente invención.
La etapa (D) que consiste en efectuar la prueba
del desplazamiento mínimo puede ventajosamente, tal como se ha
representado en la figura 2a, en caso de respuesta negativa de la
prueba antes citada, ser continuada por una etapa (F_{1}) que está
destinada a modificar el valor de la resolución de definición del
contorno activo corriente (CAC). En efecto, por aumento de la
resolución antes citada, se traduce por una disminución de la
distancia entre nudos y un aumento del número de nudos constitutivos
del contorno activo considerado (CAC), resulta posible volver a
poner en marcha el proceso con intermedio de un etapa de comparación
(F_{2}) con respecto al número de pasos, permitiendo la respuesta
positiva en la etapa (F_{2}) el retorno a la etapa (B) en base de
un contorno activo corriente (CAC) cuya resolución ha sido aumentada
en la etapa (F1).
En lo que respecta al aumento de la resolución,
en la etapa (F_{1}), se indica que esta puede ser efectuada tal y
como se ha descrito anteriormente la descripción en relación con la
figura 1b, y en particular por modificación de los valores de
umbral de muestreo poligonal Smax y Smin.
Por el contrario, en caso de respuesta negativa
en la etapa de prueba (F_{2}), la etapa de interrupción de
desplazamiento de contorno activo final F es requerida entonces,
considerándose que el contorno final activo corresponde al contorno
natural del objeto elemental de interés.
A continuación se realizará en relación con la
figura 3a de las siguientes figuras una descripción más detallada de
un proceso de persecución de un objeto elemental constituido por un
objeto animado móvil en la imagen, permitiendo la puesta en práctica
del proceso de la presente invención.
De modo general, se indicará que el procedimiento
objeto de la presente invención debe permitir seguir o perseguir el
objeto elemental teniendo en cuenta el hecho que éste es susceptible
de deformarse, de girar y, de manera más general, de desplazarse en
el curso del tiempo, es decir, entre una imagen a la siguiente en
una secuencia de, por ejemplo, imágenes de vídeo.
Dentro del marco de la puesta en práctica del
procedimiento objeto de la invención, se considera que el usuario ha
seleccionado un objeto elemental de interés, es decir, que la etapa
(B) de la figura 1a ha sido puesta en práctica y además que se ha
efectuado la captación del objeto elemental de interés, es decir,
que se ha realizado la etapa (F) de la figura 1a o 1b, adaptándose,
el contorno final de manera satisfactoria al objeto elemental de
interés.
Tal como se ha representado en la figura 3a, el
procedimiento objeto de la presente invención consiste entonces, en
una etapa (G) llamada de preparación de los datos, realizada sobre
una imagen corriente, por construcción de una máscara del objeto
delimitada por el contorno activo final o de una banda llamada
corona, que comprende, los nudos del contorno activo considerado,
siendo la corona una diferencia de las regiones englobadas por dos
dilataciones del contorno activo o por dilataciones sucesivas de una
imagen binaria inicializada con este contorno activo.
\newpage
La etapa (G) es seguida de una etapa (H) que
consiste en efectuar sobre la corona, una estimación de movimiento
que permite desplazar los nudos del contorno activo o los píxels de
la corona según un vector de movimiento
estimado.
estimado.
Se puede preveer una prueba (I) de forma que se
reitere la estimación de movimiento, por retorno (J) a la estimación
de movimiento anteriormente en la etapa (H). La prueba (I) puede
corresponder por ejemplo, a una estimación de movimiento de un
número superior a las imágenes, por ejemplo, en función de la
elección del usuario por lo que se describirá posteriormente en la
descripción.
En caso de respuesta negativa a la prueba (I), no
reiterándose la estimación del movimiento, el vector de movimiento,
o de desplazamiento es aplicado entonces al contorno activo
considerado, con la finalidad de permitir de asegurar el seguimiento
del objeto elemental móvil por el contorno activo final y de
discriminar el objeto elemental móvil antes citado teniendo en
cuenta el movimiento de este último en la imagen siguiente. Se
comprende en particular que, para la imagen siguiente el
procedimiento objeto de la presente invención puede ser reiterado
para realizar la etapa (B) de la figura 1a o de la figura 2a y
después la etapa (C) de deformación por desplazamiento en
condiciones de bloqueo para todos los nudos del contorno.
No obstante, tal y como se ha representado en la
figura 3a, la etapa (H) de estimación del movimiento puede ser
puesta en práctica según dos subetapas, una primera subetapa (H) de
estimación del movimiento propiamente dicho aplicado al contorno
activo dilatado, tal como se ha mencionado anteriormente, seguida de
una subetapa (H_{2}) que consiste en afinar la segmentación de la
imagen, es decir, la selección del contorno del objeto
elemental.
En lo que se refiere al cálculo de la estimación
del movimiento propiamente dicho, serán explicadas a continuación
las indicaciones teóricas.
El método de estímulo de movimiento propiamente
dicho, puesto en práctica en la etapa (H_{1}), por ejemplo, se
puede basar en una estructura multiresolución que estima el
movimiento global del objeto constituido por el contorno activo
corriente (CAC), por un modelo de traslación o un modelo afín. La
multiresolución se obtiene filtrando sucesivamente las imágenes,
permitiendo a este procedimiento acelerar la convergencia de la
solución haciendo esta más coherente o "robusta".
Las ecuaciones de transformación para el modelo
de estimación de movimiento son las siguientes, y cumple la
relación (9).
\vskip1.000000\baselineskip
En la relación anterior, X e Y designan las
coordenadas de un punto M(x,y) de la imagen corriente
transformada por el hecho del movimiento del objeto elemental en un
punto M'(x',y') de coordenadas x' e y' en la imagen siguiente, dx,
dy indican parámetros de traslación en las direcciones horizontal x,
y vertical y para la transformación por traslación y a1, a2, a3, a4,
a5, a6 designan los parámetros de transformación afín que permiten
pasar del contorno activo corriente de la imagen corriente al
contorno activo corriente de la imagen siguiente por el
desplazamiento o deformación del objeto elemental de interés.
En lo que se refiere en la etapa (G) de
preparación de los datos, es decir, definición de la banda que
constituye corona a partir del contorno activo corriente o del
contorno activo final segmentando el objeto elemental de interés, se
indica que la etapa precita puede consistir en generar una imagen
binaria calculada sobre la corona precita englobando los nudos del
contorno activo final (CAF) precitado. La corona anteriormente
mencionada puede corresponder a la diferencia de las regiones
englobadas por dos dilataciones del contorno activo final (CAF),
pudiendo ser definidas estas regiones con respecto al centro
geométrico del contorno activo o al centro de gravedad de este
último. Otra posibilidad puede consistir en obtener las regiones
antes citadas por dilataciones sucesivas de una imagen binaria
inicializada a partir del contorno activo final (CAF)
considerado.
Teniendo en cuenta estas indicaciones, la
preparación de los datos realizada en la etapa (G) puede consistir
por lo tanto en establecer:
- -
- la máscara que delimita la región sobre la cual se realiza la estimación;
- -
- el número de niveles de la multiresolución utilizada para ejecutar la estimación de movimiento;
- -
- el tipo de estimación para transformación afín o traslación.
La subetapa de afín o de la selección del
contorno del objeto realizada en la subetapa (H_{2}) puede
consistir, tal como se ha descrito en relación con la figura 3b,
después de la estimación del movimiento de la corona del contorno
activo considerada, por ejemplo, el contorno activo final (CAF),
constituyendo para la estimación del movimiento un contorno activo
corriente (CAC), desplazar cada nudo de ese contorno activo (CAC) en
el valor del movimiento estimado en una subetapa (H_{21}), para
engendrar un contorno activo final para la nueva imagen. En la
figura 3b se ha representado el contorno activo final formando en
realidad un contorno activo corriente (CAC) por un círculo de
trazos, de manera no limitativa, con la finalidad de no sobrecargar
el diseño, habiendo dado lugar la estimación del movimiento a un
vector de desplazamiento (\upbar{D}) y habiéndose mostrado el
desplazamiento de manera simbólica por el desplazamiento del centro
del contorno activo corriente (CAC), y de modo sobreentendido de la
periferia de éste. Este desplazamiento permite engendrar un contorno
activo corriente desplazado (CACD) al final de la etapa (H_{21}).
El contorno activo corriente desplazado (CACD) constituye por lo
tanto un contorno activo inicial (CACI) para la imagen
siguiente.
La subetapa (H_{21}) es seguida entonces de una
subetapa (H_{22}) que consiste en dilatar el contorno activo
inicial (CACI) por transformación geométrica, para engendrar un
contorno activo corriente desplazado y dilatado (CACDd) que
constituye un contorno inicial de referencia (CAIR) para esta imagen
siguiente. El proceso de dilatación es realizado por transformación
geométrica, pudiendo consistir la transformación geométrica, por
ejemplo, en una homotecia con respecto al baricentro del contorno
activo corriente desplazado (CACD). El contorno activo inicial de
referencia (CAIR) obtenido de este modo, constituye un contorno
activo de origen del objeto elemental para la imagen siguiente en la
subetapa (H_{23}), lo que, como se comprenderá, permite reiniciar
iterativamente lo de formación convergente del contorno activo de
origen para engendrar al contorno activo corriente final para la
imagen siguiente que se ha citado se comprende por esta razón que,
después de la subetapa (H_{23}) de la figura 3b es posible
recurrir como por ejemplo, a la etapa (B) y después a la etapa (C)
de las figura 1a y 2a para asegurarnos la segmentación del objeto,
después del conforme con el procedimiento objeto de la presente
invención.
En la figura 3c, se ha representado un contorno
activo cualquiera, una máscara constituida por una imagen binaria y
finalmente la corona correspondiente a dilataciones sucesivas de una
imagen binaria inicializada con el contorno activo.
Finalmente, en la figura 3d, se ha representado
un objeto elemental de interés formado por dos personajes que
interpretan la escena de ballet, rodeado en contorno activo final
(CAF) los dos personajes y después la corona obtenida alrededor de
estos últimos, gracias a la puesta en práctica de la etapa (G) de la
figura 3a.
Finalmente, la figura 4 representa una escena de
ballet interpretada por los dos personajes precitados. Las dos
primeras imágenes de la parte superior presenta dos selecciones
posibles de los personajes (ratón y caja envolvente) que engloban
los personajes y las seis otras imágenes presentan un instante del
seguimiento temporal de estos personajes.
La descripción de un protocolo de investigación
de un objeto de lamentable interés en una o varias imágenes
videomemorizadas en una base de datos accesible por un lugar servido
a partir del procedimiento de segmentación objeto de la presente
invención, investigación conducida a partir de un terminable acceso
a este lugar servidor, se indicará a continuación en relación con la
figura 5.
De manera general, y haciendo referencia a la
figura antes citada, se considera un terminable acceso, indicado
(TA), tal como terminal constituido por un microordenador de
oficina, un microordenado portátil, un asistente numérico de tipo
(PDA) o un terminal de radiotelefonía móvil dotado de una pantalla
de representación y de un interfaz gráfico de tipo (WAP), por
ejemplo, cuyo terminal de radiotelefonía móvil pone en práctica una
transmisión del tipo (UMTS), por ejemplo, o (GPRS), y permitiendo
intercambio de ficheros con este servidor.
El terminal (TA) dispone de una muestra
constituida en realidad por una imagen de muestra indicada (IECH),
que consiste como mínimo en una imagen de vídeo de muestra salida de
la secuencia de imágenes o de la pluralidad de imágenes memorizadas
en una base de datos del servidor (SERV). La secuencia de imágenes
memorizadas en la base de datos de este servidor constituye en
realidad una secuencia de imágenes de referencia indicada (SIR),
estando considerado que esta secuencia de imágenes comporta una
serie de imágenes de referencia corrientes (IRC), estando seguida
cada imagen de referencia corriente por una imagen de referencia
siguiente indicada (IRS).
Haciendo referencia a la anterior figura 5, el
protocolo de investigación de un objeto de rentable interés objeto
de la presente invención, consiste en un etapa (K), en segmentar la
imagen de vídeo de muestra y de (IECH) siguiendo el procedimiento
objeto de la de la presente invención tal como se ha descrito
anteriormente en la descripción haciendo referencia a las figuras 1
ó 4. El objetivo de esta segmentación es engendrar como mínimo un
contorno activo de muestra. Ese contorno activo de muestra es por
ejemplo, un contorno activo final (CAF) en el sentido del
procedimiento de la presente invención y constituido por una lista
de nudos asociados al objeto elemental de interés que pertenece a la
imagen de vídeo de muestra (IECH). Se recordará que la lista de
nudos constituye en realidad una lista de puntos distribuidos sobre
el contorno activo considerado, contorno final, estando asociado
además a cada punto un valor de constante rigidez representativa de
la energía elástica E tal como se ha mencionado anteriormente en la
descripción. Por esta razón el contorno activo de muestra se
indica:
CAE =
[{P_{i},K_{i}}] =
L_{e}
en la que (P_{i}) indica cada uno
de los puntos del contorno activo y (K_{i}) designa la constante
de rigidez asociada a este punto hacia un punto
adyacente.
La etapa (K) es seguida entonces de una etapa (L)
que consiste en transmitir la lista de los nudos. El del terminal de
acceso TA al lugar servidor (SERV).
La antes citada etapa (L) es seguida entonces de
una etapa (M) que consiste, a nivel del servidor, en segmentar como
mínimo una imagen corriente de la secuencia de imágenes memorizadas
en la base de datos, debiéndose de comprender que esta segmentación
es efectuada de acuerdo con un procedimiento de segmentación objeto
de la invención descrita anteriormente en la descripción. La
operación de segmentación antes citada se ha indicado segmentación
(IRC), para engendrar (CAR), permitiendo esta operación, tal como se
puede comprender, engendrar como mínimo un contorno activo de
referencia indicado (CAR).
El contorno activo de referencia se ha
indicado:
CAR =
[{P_{j},K_{j}}] =
L_{r}
Se comprenderá claramente que la lista (L_{r})
constituye el contorno activo de referencia el cual se considera
constituido por los puntos (P_{j}) de este contorno activo y el
término de rigidez (K_{j}) que está asociado a cada uno de estos
puntos.
La etapa (M) viene seguida por su parte de una
etapa (N) que consiste en una etapa de prueba de comparación por
comparación de similitud del contorno activo de muestra de (Le) al
contorno activo de referencia de la lista (L_{r}), indicado
L_{e} \cong L_{r}.
Por comparación de similitud, se comprende una
comparación término a término de las coordenadas de los puntos
(P_{i}) y (P_{j}) distribuidos sobre el contorno activo de
muestra (CAE), o bien sobre el contorno activo de referencia
(ACAR), y debiéndose entender por comparación de los términos de
rigidez correspondientes (K_{i}) y (K_{j}). La comparación puede
ser realizada con un intervalo de confianza, de manera que se
introduce una comparación de tipo lógico que permite modular la
decisión.
Para una respuesta negativa a la prueba realizada
en la etapa de comparación (N), la lista de muestra y el contorno
activo muestra pueden ser identificados de manera satisfactoria en
la lista de referencia L_{r} y en el contorno activo de referencia
(CAR), la búsqueda es continuada sobre la imagen de referencia
siguiente (IRS) por retorno a la etapa de segmentación (M), en el
valor de la imagen corriente (IRC) atribuido, no obstante, al valor
de la imagen siguiente (IRS) por la igualdad IRC = IRS.
Por el contrario, en la comparación de similitud,
la lista de muestra y el contorno activo de muestra (CAE) que pueden
ser identificados en la lista de referencia L_{r} y en el contorno
activo de referencia (CAR), la etapa de comparación de prueba (N)
seguida de una etapa (P) que consiste en detener la búsqueda y
transmitir, en caso necesario, a la petición del terminal (TA), la
totalidad de la parte de la secuencia de imágenes memorizadas en la
base de datos accesible sobre el lugar servidor (SERV).
El protocolo objeto de la presente invención
puede ser mejorado en la medida en la que, a cada contorno activo de
muestra (CAE), y en contrapartida, en cada contorno activo de
referencia (CAR), se pueden asociar diferentes parámetros atributo
del objeto elemental sujeto de la búsqueda, con la finalidad de
mejorar los rendimientos de reconocimiento de los objetos.
Con este objetivo, tal como se ha representado
igualmente en la figura 5, el protocolo objeto de la presente
invención puede comportar etapas que consisten en discriminar en el
objeto de interés atributos de componente objeto muestra, indicados
(AECH), atributos tales como color, textura, parámetros de
movimiento, etc. del objeto elemental de interés en la imagen de
muestra considerada. En efecto, cuando se dispone del contorno
activo de muestra (CAE), se dispone necesariamente del contorno
activo final (CAF) y como consecuencia, del contorno natural del
objeto en cuestión. Entonces es particularmente fácil calcular, en
el contorno natural, los atributos precisados a partir de los
métodos de tratamiento y de análisis de imágenes.
Además, en la etapa (L), se transmiten los
atributos de componente de objeto de muestra (AECH) del terminal de
acceso (TA) al lugar servidor (SERV).
Además en la etapa (M), el protocolo objeto de la
invención puede consistir en discriminar, en el objeto delimitado
por el contorno activo de referencia (CAR), atributos de componente
de objeto de referencia del mismo tipo que los de los atributos de
componente de objeto muestra. Los tributos de componente de objeto
de referencia se ha indicado (AIR) y corresponden de la misma manera
a atributos tales como textura, color, temperatura de color u otro,
en el objeto delimitado por el contorno activo de referencia.
La etapa (M) seguida entonces de una etapa (N) la
que se comparan además los atributos de componente de objeto de
referencia (AECH) y los atributos del componente objeto de muestra
(AIR) para controlar la interrupción, o bien la continuación de la
búsqueda. Se comprende en particular que esta orden puede ser
realizada por un acoplamiento por una función (ET) de la comparación
de la lista de muestra y del contorno activo de muestra con la lista
de referencia y el contorno activo de referencia en la comparación
de los atributos muestra con los atributos de componente de objeto
de referencia.
Se debe comprender que la comparación de los
atributos precitados puede ser realizada teniendo en cuenta un campo
de confianza, con la finalidad de introducir una decisión en lógica
indeterminada ("logique flove"), tal como se ha mencionado
anteriormente en la descripción.
En lo que se refiere a la puesta en práctica de
la etapa (M) de segmentación de la imagen de referencia corriente,
se observará que el caso en el que esta imagen presenta varios
objetos elementales de interés no constituye un obstáculo para la
puesta en práctica del protocolo objeto de la presente invención en
la medida que, en dicho caso, es posible prever arbitrariamente un
contorno activo de partida (CD) que rodea sensiblemente cualquier
imagen en su periferia, permitiendo el procedimiento objeto de la
presente invención una segmentación en varios objetos de interés
elementales cuando éstos están separados. Como consecuencia, y con
independencia de la elección en la imagen de muestra (IECH) de un
objeto elemental de interés por el usuario existe de esta manera, en
todo caso, en cada imagen de referencia de corriente (IRC), un
objeto elemental de referencia correspondiente es sensiblemente un
objeto escogido por el usuario en imagen de muestra (IECH).
El protocolo objeto de la presente invención se
muestra especialmente bien adaptado para la puesta en práctica de
una investigación de imagen en las secuencias de imagen de vídeo,
por ejemplo (MPEG)4.
Claims (9)
1. Procedimiento de segmentación de una imagen de
una secuencia animada (IM) por objetos elementales,
caracterizado porque consiste en, con respecto, como mínimo,
a un objeto elemental (OBJ) delimitado por un contorno natural (CN)
de esta imagen:
- -
- definir, alrededor de este objeto elemental, un contorno de partida (CD) que rodea totalmente dicho objeto elemental;
- -
- definir, a partir de dicho contorno de partida, un contorno activo de origen (CAO), formado por un conjunto de nudos distribuidos sobre ese contorno de partida, estando formado cada nudo por un punto que pertenece a ese contorno de partida y por una función de energía elástica representativa de la distancia (d) que separa este nudo de un nudo adyacente;
- -
- someter, con respecto un conjunto de valores de la referencia susceptible de representar el contorno natural de dicho objeto elemental, dicho contorno activo de origen en una deformación convergente, por desplazamiento hacia el contorno rural del objeto elemental de como mínimo uno de los nudos del contorno activo de origen, para engendrar un contorno activo corriente (CAC), cuyo contorno activo corriente está sometido iterativamente a dicha deformación convergente para engendrar contornos activos corrientes sucesivos distintos en la medida en que dicho desplazamiento satisface una condición de ausencia de bloqueo y a interrumpir cualquier desplazamiento del nudo de dicho contorno activo corriente, en caso contrario, lo que permite engendrar un contorno activo corriente final que reproduce sensiblemente el contorno natural de dicho objeto elemental.
2. Procedimiento, según la reivindicación 1,
caracterizado porque el conjunto de nudos de cada conjunto
activo está definido por modelización poligonal por muestreo sobre
la traza del contorno activo en función de la distancia (d) entre
nudos consecutivos, lo que permite adaptar la resolución de
definición de cada uno de los contornos activos sucesivos.
3. Procedimiento, según una de las
reivindicaciones 1 ó 2, caracterizado porque dicha
deformación convergente consiste en:
- -
- calcular en cada uno de los nudos del contorno activo corriente (CAC) un vector normal al contorno activo;
- -
- someter como mínimo uno de los nudos de dicho contorno activo a un desplazamiento centrípeto en la dirección de dicho vector normal asociado a dicho nudo.
4. Procedimiento, según una de las
reivindicaciones en 1 a 3 caracterizado porque dicho
conjunto de valores de referencia consiste en un conjunto de
valores de gradiente de intensidad de imagen, calculado sobre dicho
contorno activo.
5. Procedimiento, según una de las
reivindicaciones de 1 a 4, caracterizado porque, al estar
constituido dicho objeto elemental (OBJ) por un objeto animado en
la imagen, objeto animado susceptible de movimiento, de deformación
y de partición, para todo contorno activo susceptible de constituir
un bucle que presenta como mínimo un punto de intersección después
de una partición de dicho objeto elemental en componentes de objetos
elementales, este consiste en:
- -
- detectar la existencia sobre dicho contorno activo de, como mínimo, una intersección;
- -
- escindir/reagrupar dicho contorno activo en un número de contornos activos distintos igual al número de intersecciones aumentado en una unidad, lo que permite afectar un contorno activo final (CAF) en cada componente de dicho objeto elemental.
6. Procedimiento, según una de las
reivindicaciones de 1 a 5, caracterizado porque, estando
constituido dicho objeto elemental por un objeto animado móvil en
la imagen, este consiste además, para un mínimo de dos imágenes
sucesivas de una secuencia animada, en:
- -
- definir en cada contorno activo final (CAF) de cada imagen un banda, que forma una corona, que engloba el conjunto de los nudos que pertenecen a dicho contorno activo;
- -
- efectuar entre puntos de dicha corona una estimación de movimiento del objeto elemental (OBJ) de la imagen en la imagen siguiente, permitiendo definir un vector de movimientos sobre los nudos de dicho contorno activo;
- -
- aplicar, en cada nudo de dicho contorno activo, dicho vector de movimiento en la imagen siguiente, lo que permite asegurar el seguimiento del objeto elemental móvil por dicho contorno activo final y discriminar dicho objeto elemental móvil teniendo en cuenta el movimiento de este último.
7. Procedimiento, según la reivindicación 6,
caracterizado porque, con el objetivo afinar en la
segmentación de la imagen, ésta consiste, después de la estimación
del movimiento de la corona del contorno activo, en:
- -
- desplazar cada nudo de ese contorno activo del valor del movimiento estimado para engendrar un contorno activo inicial para la nueva imagen;
- -
- dilatar este contorno activo inicial, por transformación geométrica, para engendrar un contorno activo inicial de referencia para esta nueva imagen, constituyendo dicho contorno activo inicial de referencia un contorno activo de origen (CAO) de este objeto (OBJ);
- -
- reiniciar iterativamente la deformación convergente de dicho contorno activo de origen para engendrar dicho contorno activo corriente final (CAF).
8. Protocolo de búsqueda de un objeto elemental
de interés en una secuencia animada de imágenes memorizadas en una
base de datos accesible sobre un lugar servidor (SERV), a partir de
un terminal de acceso a este lugar servidor, disponiendo este
terminal de acceso (TA) de una muestra que consiste como mínimo en
una imagen de muestra procedente de dicha secuencia de imágenes,
caracterizado por consistir por lo menos en:
- -
- segmentar dicha imagen de muestra según el procedimiento objeto de la presente invención según una de las reivindicaciones de 1 a 7, para engendrar como mínimo un contorno activo muestra constituido por una lista de nudos asociados a dicho objeto elemental de interés que pertenece a esta imagen de vídeo de muestra;
- -
- transmitir dicha lista de nudos de dicho terminal de acceso al mencionado lugar servidor;
- -
- segmentar como mínimo una imagen corriente de dicha secuencia de imágenes memorizadas en dicha base de datos siguiendo el proceso objeto de la presente invención según una de las reivindicaciones de 1 a 7, para engendrar como mínimo un contorno activo de referencia (CAR);
- -
- comparar, por comparación de similitud, dicho contorno activo de muestra con dicho contorno activo de referencia y, después de comparación de similitud, interrumpir la búsqueda para asegurar la transmisión de la totalidad o parte de dicha secuencia de imágenes memorizadas hacia dicha terminal de acceso, y continuar la búsqueda sobre cualquier imagen según dicha imagen corriente en la mencionada secuencia de imágenes memorizadas en caso contrario.
9. Protocolo, según la reivindicación 8,
caracterizado porque éste comporta además las etapas que
consisten en:
- -
- discriminar en dicho objeto de interés atributos de componente del objeto de muestra tales como color, textura, parámetros de movimiento, en dicha imagen de vídeo de muestra;
- -
- transmitir dichos atributos de componente de objeto de dicho terminal de acceso de (TA) a dicho lugar servidor (SERV);
- -
- discriminar en el objeto delimitado por dicho contorno activo de referencia (CAR) atributos de componente de objeto de referencia del mismo tipo que los de los atributos de componente de objeto muestra;
- -
- comparar los atributos de componentes objeto de referencia y los atributos de componentes de objeto muestra para ordenar la interrupción o bien la continuación de la búsqueda.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0011404A FR2814312B1 (fr) | 2000-09-07 | 2000-09-07 | Procede de segmentation d'une surface image video par objets elementaires |
| FR0011404 | 2000-09-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2245374T3 true ES2245374T3 (es) | 2006-01-01 |
Family
ID=8854051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES01967439T Expired - Lifetime ES2245374T3 (es) | 2000-09-07 | 2001-09-06 | Procedimiento de segmentacion de una imagen de video por objetos elementales. |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US7164718B2 (es) |
| EP (1) | EP1316065B8 (es) |
| JP (1) | JP4813749B2 (es) |
| AT (1) | ATE299281T1 (es) |
| DE (1) | DE60111851T2 (es) |
| ES (1) | ES2245374T3 (es) |
| FR (1) | FR2814312B1 (es) |
| WO (1) | WO2002021444A2 (es) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050129274A1 (en) * | 2001-05-30 | 2005-06-16 | Farmer Michael E. | Motion-based segmentor detecting vehicle occupants using optical flow method to remove effects of illumination |
| US20080019568A1 (en) * | 2002-05-23 | 2008-01-24 | Kabushiki Kaisha Toshiba | Object tracking apparatus and method |
| TWI226010B (en) * | 2003-11-25 | 2005-01-01 | Inst Information Industry | System and method for object tracking path generation and computer-readable medium thereof |
| US7840074B2 (en) * | 2004-02-17 | 2010-11-23 | Corel Corporation | Method and apparatus for selecting an object in an image |
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| US7436981B2 (en) * | 2005-01-28 | 2008-10-14 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
| US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US7457435B2 (en) | 2004-11-17 | 2008-11-25 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
| US7508990B2 (en) * | 2004-07-30 | 2009-03-24 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
| US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| US7457472B2 (en) * | 2005-03-31 | 2008-11-25 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
| KR20070067684A (ko) * | 2004-07-30 | 2007-06-28 | 유클리드 디스커버리스, 엘엘씨 | 비디오 데이터를 프로세싱하는 장치 및 방법 |
| CN101061489B (zh) * | 2004-09-21 | 2011-09-07 | 欧几里得发现有限责任公司 | 用来处理视频数据的装置和方法 |
| GB2438783B8 (en) * | 2005-03-16 | 2011-12-28 | Lucasfilm Entertainment Co Ltd | Three-dimensional motion capture |
| US7672516B2 (en) * | 2005-03-21 | 2010-03-02 | Siemens Medical Solutions Usa, Inc. | Statistical priors for combinatorial optimization: efficient solutions via graph cuts |
| US20080246765A1 (en) | 2005-05-06 | 2008-10-09 | Desmond Grenfell | Method and apparatus for constraint-based texture generation |
| KR100746022B1 (ko) * | 2005-06-14 | 2007-08-06 | 삼성전자주식회사 | 서브픽셀 움직임 추정시 모델 스위칭을 통한 압축 효율을증가시키는 인코딩 방법 및 장치 |
| WO2008091484A2 (en) | 2007-01-23 | 2008-07-31 | Euclid Discoveries, Llc | Object archival systems and methods |
| US7554440B2 (en) | 2006-07-25 | 2009-06-30 | United Parcel Service Of America, Inc. | Systems and methods for monitoring travel conditions |
| US8130225B2 (en) * | 2007-01-16 | 2012-03-06 | Lucasfilm Entertainment Company Ltd. | Using animation libraries for object identification |
| US8199152B2 (en) * | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
| US8542236B2 (en) * | 2007-01-16 | 2013-09-24 | Lucasfilm Entertainment Company Ltd. | Generating animation libraries |
| CA2676023C (en) | 2007-01-23 | 2015-11-17 | Euclid Discoveries, Llc | Systems and methods for providing personal video services |
| EP2130381A2 (en) * | 2007-01-23 | 2009-12-09 | Euclid Discoveries, LLC | Computer method and apparatus for processing image data |
| US8045800B2 (en) * | 2007-06-11 | 2011-10-25 | Microsoft Corporation | Active segmentation for groups of images |
| US8144153B1 (en) | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
| TWI381717B (zh) * | 2008-03-31 | 2013-01-01 | Univ Nat Taiwan | 數位視訊動態目標物體分割處理方法及系統 |
| EP2345256B1 (en) * | 2008-10-07 | 2018-03-14 | Euclid Discoveries, LLC | Feature-based video compression |
| US9142024B2 (en) | 2008-12-31 | 2015-09-22 | Lucasfilm Entertainment Company Ltd. | Visual and physical motion sensing for three-dimensional motion capture |
| US9082222B2 (en) * | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
| US8948447B2 (en) | 2011-07-12 | 2015-02-03 | Lucasfilm Entertainment Companyy, Ltd. | Scale independent tracking pattern |
| US9508176B2 (en) | 2011-11-18 | 2016-11-29 | Lucasfilm Entertainment Company Ltd. | Path and speed based character control |
| US9299159B2 (en) | 2012-11-09 | 2016-03-29 | Cyberlink Corp. | Systems and methods for tracking objects |
| CN104123713B (zh) * | 2013-04-26 | 2017-03-01 | 富士通株式会社 | 多图像联合分割方法和装置 |
| US9165182B2 (en) * | 2013-08-19 | 2015-10-20 | Cisco Technology, Inc. | Method and apparatus for using face detection information to improve speaker segmentation |
| CN103544698A (zh) * | 2013-09-30 | 2014-01-29 | 江南大学 | 基于模糊能量主动轮廓模型的高光谱图像分割方法 |
| KR101392978B1 (ko) | 2014-02-04 | 2014-05-08 | (주)나인정보시스템 | 하이브리드 병렬처리를 이용한 영상 내 영역 라벨링 장치 및 방법 |
| WO2015138008A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512443A (ja) * | 1991-07-05 | 1993-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 動物体の輪郭追跡方法 |
| JP3347508B2 (ja) | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
| JP3335814B2 (ja) * | 1995-09-07 | 2002-10-21 | 株式会社東芝 | 画像処理方法及び装置 |
| US5999651A (en) * | 1997-06-06 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for tracking deformable objects |
| JPH1131227A (ja) * | 1997-07-14 | 1999-02-02 | Tani Denki Kogyo Kk | 画像認識による計測方法および記録媒体 |
| US6031935A (en) * | 1998-02-12 | 2000-02-29 | Kimmel; Zebadiah M. | Method and apparatus for segmenting images using constant-time deformable contours |
| US6560281B1 (en) * | 1998-02-24 | 2003-05-06 | Xerox Corporation | Method and apparatus for generating a condensed version of a video sequence including desired affordances |
| US6400831B2 (en) * | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6804394B1 (en) * | 1998-04-10 | 2004-10-12 | Hsu Shin-Yi | System for capturing and using expert's knowledge for image processing |
| EP0959625A3 (en) | 1998-05-22 | 2001-11-07 | Tektronix, Inc. | Segmenting video images based on joint region and contour information |
| US6266443B1 (en) * | 1998-12-22 | 2001-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Object boundary detection using a constrained viterbi search |
| US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
| US7010567B1 (en) * | 2000-06-07 | 2006-03-07 | Alpine Electronic, Inc. | Map-data distribution method, and map-data distribution server and client |
-
2000
- 2000-09-07 FR FR0011404A patent/FR2814312B1/fr not_active Expired - Lifetime
-
2001
- 2001-09-06 EP EP01967439A patent/EP1316065B8/fr not_active Expired - Lifetime
- 2001-09-06 ES ES01967439T patent/ES2245374T3/es not_active Expired - Lifetime
- 2001-09-06 AT AT01967439T patent/ATE299281T1/de not_active IP Right Cessation
- 2001-09-06 JP JP2002525579A patent/JP4813749B2/ja not_active Expired - Fee Related
- 2001-09-06 WO PCT/FR2001/002771 patent/WO2002021444A2/fr active IP Right Grant
- 2001-09-06 US US10/363,795 patent/US7164718B2/en not_active Ceased
- 2001-09-06 DE DE60111851T patent/DE60111851T2/de not_active Expired - Lifetime
- 2001-09-06 US US12/355,565 patent/USRE42977E1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1316065B8 (fr) | 2005-09-14 |
| EP1316065A2 (fr) | 2003-06-04 |
| FR2814312A1 (fr) | 2002-03-22 |
| JP2004508642A (ja) | 2004-03-18 |
| DE60111851D1 (de) | 2005-08-11 |
| ATE299281T1 (de) | 2005-07-15 |
| US7164718B2 (en) | 2007-01-16 |
| USRE42977E1 (en) | 2011-11-29 |
| FR2814312B1 (fr) | 2003-01-24 |
| WO2002021444A3 (fr) | 2002-06-27 |
| US20030169812A1 (en) | 2003-09-11 |
| WO2002021444A2 (fr) | 2002-03-14 |
| DE60111851T2 (de) | 2006-04-20 |
| EP1316065B1 (fr) | 2005-07-06 |
| JP4813749B2 (ja) | 2011-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2245374T3 (es) | Procedimiento de segmentacion de una imagen de video por objetos elementales. | |
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| US11313684B2 (en) | Collaborative navigation and mapping | |
| Vineet et al. | Incremental dense semantic stereo fusion for large-scale semantic scene reconstruction | |
| Neubert et al. | Superpixel-based appearance change prediction for long-term navigation across seasons | |
| Paz et al. | Large-scale 6-DOF SLAM with stereo-in-hand | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| Kim et al. | Simvodis: Simultaneous visual odometry, object detection, and instance segmentation | |
| Li et al. | Three-dimensional traffic scenes simulation from road image sequences | |
| Ding et al. | Persistent stereo visual localization on cross-modal invariant map | |
| Zhang et al. | Aerial orthoimage generation for UAV remote sensing | |
| Zhong et al. | WF-SLAM: A robust VSLAM for dynamic scenarios via weighted features | |
| Shalaby et al. | Algorithms and applications of structure from motion (SFM): A survey | |
| Wang et al. | A new algorithm for robust pedestrian tracking based on manifold learning and feature selection | |
| Gao et al. | Unsupervised learning of monocular depth and ego-motion in outdoor/indoor environments | |
| Qi et al. | Deep learning based semantic labelling of 3d point cloud in visual slam | |
| Han et al. | Relating view directions of complementary-view mobile cameras via the human shadow | |
| Zhang | Active robot vision: from state estimation to motion planning | |
| Kunfeng et al. | Parallel imaging: A unified theoretical framework for image generation | |
| Doğan et al. | An augmented crowd simulation system using automatic determination of navigable areas | |
| Lu et al. | A geometric convolutional neural network for 3d object detection | |
| Lawton et al. | Knowledge based vision for terrestrial robots | |
| Alismail | Direct Pose Estimation and Refinement. | |
| Feng | Deep Learning for Depth, Ego-Motion, Optical Flow Estimation, and Semantic Segmentation | |
| Pu et al. | A multi-modal garden dataset and hybrid 3D dense reconstruction framework based on panoramic stereo images for a trimming robot |