ES2574709T3 - Procedimiento e instalación de tratamiento de imágenes para la eliminación de un objeto visual de una imagen - Google Patents

Procedimiento e instalación de tratamiento de imágenes para la eliminación de un objeto visual de una imagen Download PDF

Info

Publication number
ES2574709T3
ES2574709T3 ES12769042.8T ES12769042T ES2574709T3 ES 2574709 T3 ES2574709 T3 ES 2574709T3 ES 12769042 T ES12769042 T ES 12769042T ES 2574709 T3 ES2574709 T3 ES 2574709T3
Authority
ES
Spain
Prior art keywords
pixels
similarity
pixel
measure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12769042.8T
Other languages
English (en)
Inventor
Jan Herling
Wolfgang Broll
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fayteq GmbH
Original Assignee
Fayteq GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fayteq GmbH filed Critical Fayteq GmbH
Application granted granted Critical
Publication of ES2574709T3 publication Critical patent/ES2574709T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procedimiento para la eliminación de un objeto visual de una imagen, que comprende las siguientes etapas: - proporcionar una imagen, la cual presenta píxeles en al menos dos dimensiones; - seleccionar un objeto visual a ser eliminado en la imagen; - determinar una máscara para el objeto visual seleccionado; - seleccionar píxeles fuera de la máscara, los cuales han de ser utilizados para el reemplazo de los píxeles dentro de la máscara; y - reemplazar los píxeles dentro de la máscara, de manera que las propiedades de los píxeles seleccionados son copiadas sobre los píxeles a ser reemplazados; caracterizado por que la selección de los píxeles se decide mediante una medida de similitud, la cual comprende una medida de similitud de apariencia, la cual representa la similitud visual entre un pixel seleccionado de antemano para el reemplazo del pixel a ser reemplazado y el pixel a ser seleccionado, en donde la medida de similitud comprende, además, una medida de similitud de geometría, la cual representa la cercanía del pixel a ser seleccionado con el de los pixeles fuera de la máscara. el cual fue utilizado de antemano para el reemplazo del pixel adyacente al pixel a ser reemplazado.

Description

5
10
15
20
25
30
35
40
45
50
55
DESCRIPCION
Procedimiento e instalacion de tratamiento de imageries para la elimination de un objeto visual de una imagen
La presente invention se refiere a un procedimiento para eliminar un objeto visual de una imagen, por ejemplo de una imagen en movimiento, que es recibida en forma de un flujo de datos de video. La invencion se refiere, ademas, a una instalacion de tratamiento de imagenes para la realization del procedimiento segun la invencion.
Del artlculo cientlfico de J. Herling y W. Broll: "Advanced self-contained object removal for realizing real-time diminished reality in unconstrained environments" en Mixed and Augmented Reality (ISMAR), 2010 9° Simposio Internacional IEEE en las paginas 207-212, octubre de 2010, se conoce un procedimiento para eliminar un objeto visual de un flujo de datos de video, el cual preferentemente se lleva a cabo en tiempo real. El procedimiento permite a un usuario marcar un objeto visual, tras lo cual este es eliminado de la imagen. Con ello, el area del objeto eliminado es rellenada por el contenido de la imagen, el cual debe asemejarse lo mas posible al contenido de la imagen que se encuentra detras del objeto eliminado. Para reemplazar los contenidos de imagen se seleccionan areas de la imagen fuera del area eliminada, en donde al ensamblar las areas utilizadas para el reemplazo es necesario un esfuerzo elevado para la adaptation visual, particularmente en las transiciones. Como criterio para la selection de las areas a utilizar para el reemplazo sirve una medida que describe la similitud visual entre el area a seleccionar y el area a reemplazar. Otro criterio lo forma una medida de la distancia entre las areas mencionadas.
Del estado de la tecnica son conocidos otros procedimientos, los cuales sirven para eliminar objetos visuales de una imagen y reemplazarlos en consecuencia. Las areas utilizadas para el reemplazo son seleccionadas en base a su similitud visual con la de las areas a ser reemplazadas tal como se conoce, por ejemplo, por el Artlculo cientlfico por L. Demanet, B. Song y T. Chan: "Image inpainting by correspondence maps: a deterministic approach" en Computer, 1100(03-40):21750, 2003, y por el Artlculo cientlfico de A. Criminisi, P. Perez y K. Toyama: “Region filling and object removal by exemplar-based image inpainting" en Image Processing, IEEE Transactions en 13(9):1200-1212, septiembre de 2004.
El documento US 2006/285762 A1 muestra un procedimiento para el completamiento de imagenes, en el cual se generan automaticamente contenidos de imagen sinteticos para un area de la imagen desconocida. Los contenidos de imagen sinteticos se generan a partir del contenido de un area de la imagen conocida, para lo cual se utilizan una o mas curvas.
El documento EP 2 317 470 A1 ensena un procedimiento para el rellenado de contenidos de imagen en el cual se utilizan los contenidos de varias areas de imagen similares.
En el Artlculo cientlfico de Levin, A. et al: "Learning How to Inpaint from Global Image Statistics" en Proceedings of the 8th IEEE International Conference on Computer Vision (ICCV), Niza, Francia, 13-16 de octubre de 2003, paginas 305-312, Vol. 1, ISBN 987-0-7695-1950-0, se presenta un planteamiento para el rellenado de agujeros en imagenes, segun el cual son consideradas propiedades estadlsticas de los contenidos restantes de la imagen.
Del documento US 2005/146539 A1 es conocido un procedimiento para la generation de texturas, en el cual se rellena un area de la imagen con el contenido de otra area de imagen.
La mision de la presente invencion consiste, partiendo del estado de la tecnica, en mejorar y acelerar la seleccion de elementos de imagen para el reemplazo de objetos visuales a eliminar.
El problema mencionado se resuelve mediante un procedimiento de acuerdo con la reivindicacion 1 adjunta y mediante una instalacion de tratamiento de imagenes de acuerdo con la reivindicacion 14 adjunta.
El procedimiento de acuerdo con la invencion sirve para la eliminacion de un objeto visual de una imagen, en donde se puede tratar de una sola imagen o una secuencia de imagenes tal como, por ejemplo, una imagen en movimiento. En el caso del objeto visual se trata de una representation visual de un objeto natural o sintetico, el cual se muestra en la imagen o bien en la secuencia de imagenes en movimiento. Tambien, en el caso del objeto visual puede tratarse de un area de imagen determinada, por ejemplo de barras negras en el borde de la imagen. Fundamentalmente, el objeto representado puede ser estatico o puede modificarse o moverse a lo largo del tiempo. El objeto puede estar formado, por ejemplo, por una persona, un objeto o similar. La eliminacion del objeto visual en un caso simple puede realizarse con el objetivo de que el objeto desaparezca completamente de la imagen o bien de la secuencia de imagenes. Sin embargo, la eliminacion del objeto visual tambien puede realizarse con el objetivo de que el objeto visual desaparezca de una determinada position local de la imagen o bien de la secuencia de imagenes para que finalmente sea insertado de nuevo en otra posicion local en la imagen o bien en la secuencia de imagenes, eventualmente despues de haber sido escalado, rotado y/o transformado en perspectiva. Esto conduce a un desplazamiento local del objeto visual en la imagen o en la secuencia de imagenes. Tambien pueden ser eliminados dos o mas objetos visuales y ser insertados de nuevo en la posicion local del otro objeto visual respectivo, lo que conduce a un intercambio de los objetos visuales. En consecuencia, la eliminacion de acuerdo con la invencion de uno o mas objetos visuales puede realizarse con el objetivo de insertar de nuevo el o bien los objetos, tras un posible escalado, rotation y/o transformation de la perspectiva, lo que conduce finalmente a una reorganization de la imagen. Otro posible objetivo consiste en eliminar objetos visuales en forma de barras de color
5
10
15
20
25
30
35
40
45
50
55
60
negro en el borde de la imagen o bien de la secuencia de imagenes, es decir, rellenar con otro contenido de imagen para efectuar una conversion de formato, por ejemplo de 4:3 a 16:9.
En una etapa del procedimiento de acuerdo con la invencion se proporciona una imagen, la cual presenta plxeles en al menos dos dimensiones. Por lo tanto, puede tratarse de una imagen bidimensional convencional o tambien de una secuencia de plxeles tridimensional o similar. Los plxeles estan dispuestos preferentemente en forma de matriz, en donde tambien son posibles otras formas de disposicion. En otra etapa del procedimiento de acuerdo con la invencion se ha de seleccionar un objeto visual a eliminar en la imagen. Esta seleccion puede realizarse, por ejemplo, de forma interactiva por un usuario. A continuacion, se ha de determinar una mascara para el objeto visual seleccionado. Mediante la mascara se define que plxeles de la imagen se han de eliminar y reemplazar y que plxeles de la imagen pertenecen al fondo que no se ha de modificar, o bien otras partes de la imagen que no se han de modificar. La mascara puede ser dada, por ejemplo, debido a que a cada uno de los plxeles de la imagen se le asocia otro valor para su transparencia. La determination de la mascara se realiza preferentemente de forma automatica, adaptandose la seleccion realizada por el usuario de manera correspondiente. En una etapa adicional del procedimiento de acuerdo con la invencion se seleccionan plxeles fuera de la mascara, los cuales deben ser utilizados para reemplazar plxeles dentro de la mascara. Fundamentalmente, los plxeles pueden encontrarse fuera de la mascara en la imagen proporcionada o en otra imagen. La seleccion de plxeles tiene lugar con ayuda de una medida de similitud, la cual, en general, describe la similitud entre el pixel a ser seleccionado y un pixel seleccionado de antemano para el reemplazo del pixel a ser reemplazado. De acuerdo con la invencion, la medida de similitud comprende varios componentes. Un primer componente esta formado por un una medida de similitud de apariencia, la cual representa la similitud visual entre un pixel seleccionado de antemano para el reemplazo del pixel a reemplazar y el pixel a ser seleccionado. La medida de similitud de apariencia puede ser determinada, por ejemplo, en base a valores de luminancia, color o textura de los pixeles. En el caso del pixel seleccionado de antemano para el reemplazo del pixel a ser reemplazado puede tratarse, por ejemplo, de un pixel seleccionado inicialmente o de un pixel que ya fue seleccionado en una etapa iterativa precedente. Tambien en el caso del pixel seleccionado de antemano puede tratarse de un pixel, el cual fue utilizado en una imagen precedente en el tiempo para el reemplazo del pixel que se encuentra en la misma position que el pixel a ser reemplazado. La medida de similitud de apariencia puede representar, junto a la similitud visual referida al pixel a ser reemplazado, tambien similitudes visuales adicionales, por ejemplo, la similitud visual con respecto a pixeles adyacentes al pixel a ser reemplazado. De acuerdo con la invencion, la medida de similitud comprende, ademas, una medida de similitud geometrica. La medida de similitud geometrica representa la cercania local o bien espacial del pixel a seleccionar con respecto a la de los pixeles fuera de la mascara que se utilizo de antemano para el reemplazo del pixel adyacente. Por consiguiente, tambien en el caso de la medida de similitud geometrica se hace referencia a un pixel seleccionado de antemano, el cual de nuevo puede ser fijado inicialmente o fue seleccionado en una etapa iterativa precedente. En el caso del pixel adyacente al pixel a ser reemplazado, puede tratarse de un pixel el cual es adyacente, directa o indirectamente, al pixel a ser reemplazado. La medida de similitud geometrica tambien puede representar, adicionalmente, la cercania correspondiente del pixel a ser seleccionado con otros pixeles, los cuales fueron utilizados de antemano para el reemplazo de otros plxeles adyacentes al pixel a ser reemplazado. La medida de similitud geometrica depende exclusivamente de la disposicion geometrica de los plxeles. Propiedades visuales de los plxeles tales como, por ejemplo, el color y la textura, no influyen en la medida de similitud geometrica. La medida de similitud geometrica es alta cuando el pixel a ser seleccionado se encuentra en una disposicion geometrica igual o similar en comparacion con uno o mas pixeles adyacentes, los cuales previamente fueron ya seleccionados para el reemplazo de plxeles en la vecindad del pixel a ser reemplazado tal como el pixel a ser reemplazado en comparacion con esos pixeles adyacentes reemplazados. La medida de similitud, as! como la medida de similitud de apariencia individual y la medida de similitud geometrica pueden, de acuerdo con la invencion, interpretarse y utilizarse en el sentido de una funcion de costos que entonces son mlnimas cuando las similitudes son altas. En una etapa adicional del procedimiento de acuerdo con la invencion, tiene lugar un reemplazo de los plxeles dentro de la mascara, debido a que las propiedades de los correspondientes pixeles seleccionados son copiadas a los correspondientes pixeles a ser reemplazados, tras lo cual los pixeles reemplazados son visualmente iguales en cada caso a los plxeles seleccionados.
Una ventaja particular del procedimiento de acuerdo con la invencion consiste en que mediante la copia de plxeles individuales puede llevarse a cabo con poca complejidad, debido a que no hay que adaptar areas de pixeles unas con otras. Esto es posible porque mediante la medida de similitud geometrica se tienen en cuenta las relaciones espaciales de los pixeles. A diferencia del estado de la tecnica, de acuerdo con la invencion tambien se tiene en cuenta, junto con la similitud visual de los plxeles utilizados para el reemplazo, la similitud de la disposicion geometrica.
En formas de realization preferidas del procedimiento de acuerdo con la invencion, la seleccion de plxeles fuera de la mascara tiene lugar en la imagen proporcionada. En formas de realizacion particulares, la seleccion de pixeles fuera de la mascara tiene lugar alternativa o adicionalmente en imagenes comparativas, las cuales, por ejemplo, son proporcionadas adicionalmente o son formadas mediante imagenes temporalmente anteriores o temporalmente posteriores de una secuencia de imagenes en movimiento.
En formas de realizacion preferidas del procedimiento de acuerdo con la invencion, la seleccion de pixeles y el reemplazo de plxeles tienen lugar de forma iterativa. Para ello, para la imagen se calcula en primer lugar una piramide de resolution, la cual comprende varios niveles de resolution empezando con un nivel de resolution mas
5
10
15
20
25
30
35
40
45
50
55
tosco hasta un nivel de resolucion mas fino. Las etapas de selection de plxeies y de reemplazo de plxeies se realizan para cada uno de los niveles de resolucion comenzando con el nivel de resolucion mas tosco hasta el nivel de resolucion mas fino. Este recorrido por los niveles de resolucion puede ser utilizado para mejorar de manera iterativa la seleccion, pudiendo limitarse esta mejora a areas seleccionadas dentro de la mascara, con el fin de limitar la complejidad para ello. Los plxeles seleccionados de antemano a utilizar para la determination de la medida de similitud de apariencia y la medida de similitud geometrica son formados para los niveles de resolucion despues del nivel de resolucion mas tosco mediante aquellos plxeles, los cuales ya fueron reemplazados en el siguiente nivel de resolucion mas tosco en la position del pixel a ser reemplazado. La ejecucion iterativa del procedimiento de acuerdo con la invention utilizando la piramide de resolucion conduce a resultados visuales muy buenos en el reemplazo del contenido de imagen en areas del objeto visual eliminado.
Fundamentalmente, todos los plxeles fuera de la mascara pueden entrar en consideration para el reemplazo de los plxeles dentro de la mascara, para lo cual puede determinarse la medida de similitud para todos los puntos fuera de la mascara. Preferiblemente, la medida de similitud se determina solo para una parte de los plxeles fuera de la mascara, de manera que se limita la cantidad de pixeles a tener en consideracion para el reemplazo. En consecuencia, para la election de los plxeles utilizados para el reemplazo se determina la medida de similitud para los pixeles que se encuentran dentro de al menos un area de busqueda fuera de la mascara. El area de busqueda esta formada preferiblemente por un area alrededor del pixel fuera de la mascara, el cual fue seleccionado para el reemplazo del pixel reemplazado de antemano. El pixel reemplazado de antemano puede, por ejemplo, ser el pixel que fue reemplazado en el siguiente nivel de resolucion mas tosco en la posicion del pixel a ser reemplazado. Preferiblemente se seleccionan otras areas de busqueda aleatoriamente para no limitar demasiado la busqueda.
La medida de similitud comprende preferiblemente, ademas, una medida de similitud de forma, la cual representa la similitud del pixel a seleccionar con una forma que delimita en la imagen en la mascara. Por consiguiente, la medida de similitud de forma describe en que medida es adecuado el pixel para continuar una forma presente en la imagen en el area del objeto a ser eliminado. Con ello, deben establecerse las formas, las cuales se encuentran detras del objeto a ser eliminado, que se continuan mediante el reemplazo de pixeles.
La forma a tomar en consideracion para la medida de similitud de forma puede, por ejemplo, estar formada por un canto recto o arqueado. Sin embargo, la forma tambien puede estar formada por un canto recto o arqueado iterativo dispuesto de forma regular. La medida de similitud de forma es entonces maxima, cuando el pixel a ser reemplazado dentro de la mascara forme, a traves de un reemplazo con el pixel a seleccionar, una continuation del canto que discurre fuera de la mascara. Al igual que tambien las otras medias de similitud mencionadas, la medida de similitud de forma tambien puede ser interpretada y utilizada como una funcion de coste, la cual es minima, cuando la forma existente es continuada de manera ideal.
La mascara es preferiblemente binaria, de manera que un pixel es asignado bien al objeto a ser eliminado o al fondo. En consecuencia, el valor para la transparencia es bien cero o uno. En formas de realization particulares del procedimiento de acuerdo con la invencion los pixeles pueden en cada caso ser tambien asociados de forma ponderada al objeto a ser eliminado y al fondo. Mascaras de este tipo son tambien denominadas escala de grises.
La medida de similitud de apariencia se basa preferiblemente en diferencias de los valores de color, de los valores de la luminancia, de los valores de la textura y/o gradientes de estos valores del pixel seleccionado de antemano y del pixel a ser seleccionado. Las diferencias a determinar por la medida de similitud de apariencia se forman preferiblemente por diferencias y/o medias de distancia de los valores en cuestion.
La medida de similitud geometrica es preferiblemente maxima, cuando el pixel a ser seleccionado, en comparacion con el pixel utilizado para el reemplazo del pixel adyacente del pixel a ser reemplazado, esta dispuesto de la misma manera que el pixel a reemplazar en comparacion con el pixel adyacente al pixel a reemplazar.
La medida de similitud se forma preferiblemente por una suma ponderada de la medida de similitud de apariencia y la medida de similitud geometrica y, eventualmente, de la medida de similitud de la forma. La ponderacion de las medidas de similitud individuales puede ser modificada para poder efectuar una adaptation a contenidos de imagen concretos y objetos visuales a eliminar concretos.
En formas de realizacion preferidas del procedimiento de acuerdo con la invencion, para la determinacion de la medida de similitud para decidir sobre la eleccion de un pixel a seleccionar no se determina unicamente la medida de similitud relacionada con el pixel a seleccionar, sino que se tienen en cuenta tambien otros pixeles, los cuales son adyacentes, indirecta o directamente, al pixel a seleccionar. Para ello, la medida de similitud utilizada para la seleccion de uno de los pixeles a seleccionar esta formada por una suma de medidas de similitud, la cual comprende, junto a la medida de similitud relacionada con el pixel a seleccionar, tambien las medidas de similitud relacionadas con varios de los plxeles adyacentes, directa o indirectamente, con el pixel a seleccionar. Esto es valido individualmente para la medida de similitud de apariencia, la medida de similitud geometrica y, eventualmente, la medida de similitud de forma. Preferiblemente, la medida de similitud utilizada para la eleccion del pixel a seleccionar comprende tambien las medidas de similitud de los pixeles dispuestos en un entorno de evaluation alrededor del pixel a seleccionar. Esto es valido de forma individual para la medida de similitud de apariencia, la medida de similitud geometrica y, eventualmente, la medida de similitud de forma.
5
10
15
20
25
30
35
40
45
50
55
El entorno de evaluacion esta formado preferiblemente por una matriz cuadrada en plxeies, la cual presenta una longitud entre 2 y 10 plxeles, de manera particularmente preferida una longitud entre 4 y 6 plxeles.
En caso de las formas de realizacion preferidas mencionadas se debe determinar una suma de medidas de similitud de apariencia. Una medida individual de estas medidas de similitud de apariencia, referida a un pixel adyacente al pixel a seleccionar, se determina, preferiblemente, de la misma manera que el pixel adyacente en comparacion con un pixel seleccionado de antemano para el reemplazo del pixel a ser reemplazado. De manera correspondiente, una medida individual de las medidas de similitud geometrica, referida a un pixel adyacente al pixel a seleccionar, representa la cercanla local o bien espacial del pixel adyacente al pixel a seleccionar con la de los pixeles fuera de la mascara, el cual fue utilizado de antemano de la misma manera para el reemplazo del pixel adyacente al pixel a reemplazar.
Las sumas de las medidas de similitud individuales estan formadas en cada caso, preferiblemente, por una suma ponderada de factores de ponderacion de las medidas de similitud respectivas. Asl, la suma de las medidas de similitud de apariencia esta formada preferiblemente por una suma ponderada con factores de ponderacion de las medidas de similitud de apariencia. De manera correspondiente, la suma de las medidas de similitud geometrica esta formada preferiblemente por una suma ponderada con factores de ponderacion de la medida de similitud geometrica. Ademas, de manera correspondiente, la suma de las medidas de similitud de forma esta formada preferiblemente por una suma ponderada de factores de ponderacion de la medida de similitud de forma. Los factores de ponderacion mencionados pueden ajustarse al contenido respectivo de la imagen o tambien al objeto visual a ser eliminado respectivamente.
Los factores de ponderacion dependen preferiblemente en cada caso de una distancia del pixel contiguo, directa o indirectamente, al pixel a seleccionar con respecto al pixel a seleccionar. Adicional o alternativamente, los factores de ponderacion dependen en cada caso preferiblemente de una direccion del pixel contiguo, directa o indirectamente, al pixel a seleccionar con respecto al pixel a seleccionar. Adicional o alternativamente, los factores de ponderacion dependen preferiblemente de manera correspondiente de una distancia del pixel a seleccionar con un centro de la imagen.
La seleccion del objeto visual a ser eliminado en la imagen proporcionada tiene lugar preferiblemente debido a que un usuario marca el objeto visual a ser eliminado en una pantalla interactiva. La pantalla interactiva puede estar formada, por ejemplo, por una pantalla sensible al tacto, pero tambien por un monitor de un ordenador con un raton asociado. El marcaje del objeto visual a ser eliminado en la pantalla interactiva tiene lugar preferiblemente porque el usuario delimita simbolicamente el objeto visual a ser eliminado. La delimitacion tiene lugar no necesariamente mediante un clrculo geometrico, sino que puede, por ejemplo, estar adaptado a la forma exterior del objeto visual. La delimitacion representa ya una fase previa de la mascara. A partir de esta fase previa se determina a continuacion la mascara, para lo cual la fase previa se reduce y/o amplia en torno a areas de la imagen en el borde.
En el caso de formas de realizacion preferidas del procedimiento de acuerdo con la invencion se determina la similitud visual de los plxeles dentro de la delimitacion para determinar la mascara.
En el caso de formas de realizacion particularmente preferidas del procedimiento de acuerdo con la invencion, este esta configurado para eliminar el objeto visual a eliminar de un flujo de datos de video. En el caso de estas formas de realizacion tiene lugar primero una captura de un flujo de datos de video trasmitido, por ejemplo un flujo de datos de video emitido en directo. El flujo de datos de video comprende una imagen actual e imagenes subsiguientes. Cada una de las imagenes presenta plxeles en al menos dos dimensiones. Con la imagen actual capturada, se proporciona una primera imagen. En primer lugar se efectuan las etapas de acuerdo con la invencion de la seleccion del objeto visual a ser eliminado, la determinacion de una mascara, la seleccion de pixeles y el reemplazo de pixeles para la imagen actual. A continuacion, se captura una imagen subsiguiente del flujo de datos de video transmitido, la cual representa una imagen proporcionada adicional. Despues de ello, se han de repetir las etapas de acuerdo con la invencion para la determinacion de una mascara, la seleccion de plxeles y el reemplazo de los plxeles para la siguiente imagen capturada, en donde los pixeles reemplazados en la imagen precedente sirven como los pixeles seleccionados de antemano. Los plxeles reemplazados en la imagen precedente pueden, por ejemplo, ser utilizados en el nivel de resolucion mas tosco, de la piramide de resolution eventualmente utilizada como los plxeles seleccionados de antemano. En el caso de los pixeles reemplazados en la imagen precedente, puede tratarse de aquel de los pixeles reemplazados que fueron utilizados para el reemplazo en la imagen precedente en las mismas posiciones que los plxeles a reemplazar en la siguiente imagen capturada. Sin embargo, tambien puede tratarse de aquel de los plxeles reemplazados, los cuales fueron utilizados para el reemplazo en la imagen precedente en posiciones diferentes a las de pixeles a ser reemplazados en la siguiente imagen capturada; por ejemplo cuando estos pixeles utilizados para el reemplazo en otras posiciones son evaluados como mas adecuados para el reemplazo de los respectivos plxeles en la siguiente imagen capturada.
En el caso de formas de realizacion del procedimiento de acuerdo con la invencion, en las cuales el objeto visual a eliminar es eliminado de un flujo de datos de video, la medida de similitud comprende preferiblemente, ademas, una medida de similitud de continuidad, la cual representa la similitud visual entre el pixel a seleccionar y el pixel que fue utilizado para el reemplazo en una imagen precedente o subsiguiente en el tiempo de un pixel que se encuentra en
5
10
15
20
25
30
35
40
45
la misma posicion local que el pixel a ser reemplazado. La imagen precedente o subsiguiente en el tiempo puede, por ejemplo, estar formada por una imagen clave, la cual fue determinada de antemano.
La medida de similitud de continuidad se determina igual que las otras medidas de similitud individuales, preferiblemente tambien para plxeles, los cuales son adyacentes directa o indirectamente al pixel a ser seleccionado. Para ello, la medida de similitud de continuidad esta formada preferiblemente por una suma de medidas de similitud de continuidad, las cuales, junto a la medida de similitud de continuidad referida al pixel a ser seleccionado, tambien comprende las medidas de similitud de continuidad referidas a varios de los pixeles directa o indirectamente adyacentes al pixel a ser seleccionado. Con ello se reunen en la suma, de manera preferiblemente ponderada, las distintas medidas de similitud de continuidad, as! como tambien las otras medidas de similitud individuales.
La medida de similitud esta formada preferiblemente por una suma ponderada de la medida de similitud de apariencia, la medida de similitud geometrica y, eventualmente, la medida de similitud de forma, as! como la medida de similitud de continuidad. La ponderacion de las distintas medidas de similitud puede ser modificada para poder efectuar una adecuacion a determinados contenidos de imagen y determinados objetos visuales a ser eliminados.
En el caso de formas de realizacion del procedimiento de acuerdo con la invencion, en las cuales el objeto visual a ser eliminado es eliminado de un flujo de datos de video, la determinacion de la mascara tiene lugar para una de las imagenes basandose en la mascara determinada para la imagen precedente. Con ello, se garantiza una continuidad en el tiempo de la mascara.
El procedimiento de acuerdo con la invencion se realiza preferiblemente en tiempo real para, por ejemplo, eliminar un objeto visual de un flujo de datos de video emitido en directo y mostrar el flujo de datos de video con los plxeles reemplazados. A modo de ejemplo, el objeto visual puede ser eliminado de un flujo de datos de video, el cual es generado directamente por una camara de video.
El procedimiento de acuerdo con la invencion se ejecuta preferiblemente como un programa de ordenador.
La instalacion de tratamiento de imagenes de acuerdo con la invencion esta configurada para la ejecucion del procedimiento de acuerdo con la invencion. Preferiblemente, la unidad de tratamiento de imagenes esta configurada para formas de realizacion preferidas del procedimiento de acuerdo con la invencion.
La instalacion de tratamiento de imagenes de acuerdo con la invencion puede estar formada por las mas diversas instalaciones de tratamiento de datos, por ejemplo por un ordenador, por una tableta o por un telefono inteligente.
Otros detalles y perfeccionamientos de la invencion resultan de la siguiente descripcion de una forma de realizacion preferida con referencia a los dibujos. Muestran:
Fig. 1: una ilustracion de una medida de similitud geometrica;
Fig. 2: una ilustracion de una medida de similitud de apariencia; y
Fig. 3: una ilustracion para la determinacion de la medida de similitud geometrica.
Las Figs. 1 y 2 ilustran medidas de similitud para la determinacion de la idoneidad de un elemento de imagen a seleccionar para el reemplazo de un elemento de imagen, el cual fue eliminado para la eliminacion de un objeto visual de una imagen o imagen en movimiento. La eliminacion de objetos visuales es una tarea fundamental de la denominada "Diminished Reality". Para ello se han de hallar funciones de transformation f, para asignar a los plxeles de un objetivo T (Objetivo) los plxeles en una fuente S (Fuente). En este caso, la similitud en las areas de imagen debe ser maxima, lo que tambien puede ser expresado, que la funcion de coste costea es minima:
inin
/
imagen1
coste,
imagen2
En esta ecuacion, p = (px, py)T para una posicion en 2D.
De acuerdo con la invencion se determinan una medida de similitud geometrica y una medida de similitud de apariencia, las cuales tambien pueden ser interpretadas como funcion de coste de geometria costegeometria(p) y como funcion de coste de apariencia costeapriencia(p). Ambas medidas de similitud o bien funciones de coste se reunen aditivamente ponderadas:
En esta ecuacion, a representa un factor de ponderacion, donde se cumple 0 <a <1.
5
10
15
20
25
Tal como se desprende de la Fig. 1, en la funcion de coste de geometrla se tiene en cuenta la disposicion de los plxeies adyacentes Ns. La funcion de coste de geometrla resulta preferentemente como sigue:
coste
geometrla'
imagen3
imagen4
v£<Ns
En esta ecuacion, ds representa una medida de distancia espacial. El factor Ws representa un factor de ponderacion, especialmente para los plxeles en el entorno.
Ademas, resulta una funcion de coste de geometrla alternativa, preferida, como sigue:
coste
geometrla'
imagen5
imagen6
Como se evidencia en la Fig. 2, en el caso de la medida de similitud de apariencia se determina la similitud visual del pixel a seleccionar con un pixel seleccionado de antemano a ser reemplazado, en donde se tienen en cuenta plxeles adyacentes Na. La funcion de coste de apariencia correspondiente se determina preferiblemente como sigue:
imagen7
■
LCp + p)
imagen8
En esta ecuacion, da representa una medida de distancia, la cual se aplica a la apariencia visual, por ejemplo, al color. La medida de distancia puede, por ejemplo, estar formada por la suma de las diferencias al cuadrado (SSD) o por la suma de las diferencias absolutas (SAD). Los factores Wai, Wa2 y Wa3 representan factores de ponderacion.
El procedimiento de acuerdo con la invencion se aplica preferiblemente a un flujo de datos de video. En este caso, preferiblemente se tiene en cuenta, ademas, la medida de similitud de continuidad, la cual describe la coherencia del flujo de datos de video. La medida de similitud de continuidad, como funcion de coste de continuidad, o bien, como funcion de coste de coherencia, se determina preferiblemente como sigue:
imagen9
imagen10
De acuerdo con esta ecuacion, tambien se tienen en cuenta los pixeles adyacentes Na. En esta ecuacion, d'a representa una medida de distancia. En el caso de R(p) se trata del pixel de un modelo de referencia. Los factores w'ai, y w'a2 representan factores de ponderacion.
La Fig. 3 ilustra la determinacion de la funcion de coste de geometria. La distancia medida ds es cero cuando el pixel a seleccionar esta dispuesto de la misma forma que los pixeles seleccionados de antemano, como es el caso en el area objetivo. La medida de distancia ds es ligeramente mayor que cero cuando la disposicion geometrica es al menos es similar, por ejemplo, como para f(px, py+i).La medida de distancia ds es mucho mayor que cero cuando el pixel a seleccionar se encuentra en una posicion distante en la imagen, como por ejemplo f(px, py-i) o f(px-i, py).

Claims (14)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    REIVINDICACIONES
    1. Procedimiento para la eliminacion de un objeto visual de una imagen, que comprende las siguientes etapas:
    - proporcionar una imagen, la cual presenta plxeles en al menos dos dimensiones;
    - seleccionar un objeto visual a ser eliminado en la imagen;
    - determinar una mascara para el objeto visual seleccionado;
    - seleccionar plxeles fuera de la mascara, los cuales han de ser utilizados para el reemplazo de los plxeles dentro de la mascara; y
    - reemplazar los plxeles dentro de la mascara, de manera que las propiedades de los plxeles seleccionados son copiadas sobre los plxeles a ser reemplazados;
    caracterizado por que la selection de los plxeles se decide mediante una medida de similitud, la cual comprende una medida de similitud de apariencia, la cual representa la similitud visual entre un pixel seleccionado de antemano para el reemplazo del pixel a ser reemplazado y el pixel a ser seleccionado, en donde la medida de similitud comprende, ademas, una medida de similitud de geometrla, la cual representa la cercanla del pixel a ser seleccionado con el de los pixeles fuera de la mascara. el cual fue utilizado de antemano para el reemplazo del pixel adyacente al pixel a ser reemplazado.
  2. 2. Procedimiento segun reivindicacion 1, caracterizado por que la seleccion de plxeles fuera de la mascara tiene lugar en la imagen proporcionada.
  3. 3. Procedimiento segun la reivindicacion 1 o 2, caracterizado por que en primer lugar se calcula una piramide de resolution para la imagen, la cual comprende varios niveles de resolution empezando con un nivel de resolution mas tosco hasta un nivel de resolucion mas fino, en donde las etapas de la seleccion de plxeles y del reemplazo de plxeles se realizan para cuada uno de los niveles de resolucion, empezando por el nivel de resolucion mas tosco hasta el nivel de resolucion mas fino, y en donde como los plxeles seleccionados de antemano en los niveles de resolucion tras el nivel de resolucion mas tosco se utilizan los plxeles reemplazados en el siguiente nivel de resolucion mas tosco.
  4. 4. Procedimiento segun una de las reivindicaciones 1 a 3, caracterizado por que para la seleccion de los plxeles utilizados para el reemplazo, se determina la medida de similitud para los plxeles que se encuentran al menos dentro un area de busqueda fuera de la mascara.
  5. 5. Procedimiento segun la reivindicacion 4, caracterizado por que el area de busqueda esta formada por un area alrededor de un pixel fuera de la mascara, el cual fue seleccionado para el reemplazo del pixel reemplazado de antemano.
  6. 6. Procedimiento segun una de las reivindicaciones 1 a 5, caracterizado por que la medida de similitud comprende, ademas, una medida de similitud de forma, la cual representa la similitud de un pixel a ser seleccionado con una forma en el llmite de la mascara de la imagen.
  7. 7. Procedimiento segun una de las reivindicaciones 1 a 6, caracterizado por que la medida de similitud es una suma ponderada de la medida de similitud de apariencia y la medida de similitud de geometrla o una suma ponderada de la medida de similitud de apariencia, la medida de similitud de geometrla y la medida de similitud de forma.
  8. 8. Procedimiento segun una de las reivindicaciones 1 a 7, caracterizado por que la medida de similitud utilizada para la seleccion de uno de los plxeles a ser seleccionado esta formada por una suma de las medidas de similitud, la cual comprende, junto con la medida de similitud referida al pixel a ser seleccionado, tambien las medidas de similitud referidas a varios plxeles adyacentes al pixel a ser seleccionado.
  9. 9. Procedimiento segun una de las reivindicaciones 1 a 8, caracterizado por que la seleccion del objeto visual a ser eliminado en la imagen proporcionada tiene lugar debido a que un usuario marca el objeto visual a eliminar en una pantalla interactiva.
  10. 10. Procedimiento segun una de las reivindicaciones 1 a 9, caracterizado por que, ademas, esta configurado para eliminar el objeto visual a ser eliminado de un flujo de datos de video, en donde el procedimiento comprende las siguientes etapas adicionales:
    - capturar un flujo de datos de video transmitido, el cual comprende una imagen actual y subsiguientes imagenes, en donde cada una de las imagenes presenta plxeles en al menos dos dimensiones;
    - realizar las etapas de la seleccion del objeto visual a ser eliminado, de la determination de una mascara, de la seleccion de plxeles y del reemplazo de los plxeles para la imagen actual;
    - capturar una imagen subsiguiente del flujo de datos de video transmitido; y
    - repetir las etapas de la determinacion de una mascara, de la seleccion de plxeles y del reemplazo de plxeles para la imagen subsiguiente capturada, en donde los plxeles de imagen precedente son utilizados como los plxeles seleccionados de antemano.
    5 11. Procedimiento segun la reivindicacion 10, caracterizado por que la medida de similitud comprende, ademas,
    una medida de similitud de continuidad, la cual representa la similitud visual entre el pixel a ser seleccionado y el pixel que fue utilizado en una imagen anterior o posterior en el tiempo para el reemplazo de un pixel que se encuentra en la misma posicion que el pixel a ser reemplazado.
  11. 12. Procedimiento segun la reivindicacion 10 u 11, caracterizado por que la determinacion de la mascara para 10 una de las imagenes tiene lugar basandose en la mascara determinada para la imagen precedente.
  12. 13. Procedimiento segun una de las reivindicaciones 10 a 12, caracterizado por que se realiza en tiempo real.
  13. 14. Instalacion de tratamiento de imagenes, que esta configurada para la ejecucion del procedimiento segun una de las reivindicaciones 1 a 13.
  14. 15. Instalacion de tratamiento de imagenes segun la reivindicacion 14, caracterizada por que esta formada por 15 un ordenador, por una tableta o por un telefono inteligente.
ES12769042.8T 2012-09-05 2012-09-05 Procedimiento e instalación de tratamiento de imágenes para la eliminación de un objeto visual de una imagen Active ES2574709T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/067352 WO2014037039A1 (de) 2012-09-05 2012-09-05 Verfahren und bildverarbeitungsanlage zum entfernen eines visuellen objektes aus einem bild

Publications (1)

Publication Number Publication Date
ES2574709T3 true ES2574709T3 (es) 2016-06-21

Family

ID=46980904

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12769042.8T Active ES2574709T3 (es) 2012-09-05 2012-09-05 Procedimiento e instalación de tratamiento de imágenes para la eliminación de un objeto visual de una imagen

Country Status (6)

Country Link
US (1) US9412188B2 (es)
EP (1) EP2893510B1 (es)
CA (1) CA2883105C (es)
ES (1) ES2574709T3 (es)
PL (1) PL2893510T3 (es)
WO (1) WO2014037039A1 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429483B2 (ja) * 2013-07-09 2018-11-28 キヤノン株式会社 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
US20230353701A1 (en) * 2022-04-27 2023-11-02 Adobe Inc. Removing objects at image capture time
US20240013351A1 (en) * 2022-07-11 2024-01-11 Qualcomm Incorporated Removal of objects from images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012624B2 (en) * 2003-12-29 2006-03-14 Arcsoft, Inc. Texture synthesis for repairing damaged images
EP1868375A4 (en) * 2005-03-15 2009-07-08 Omron Tateisi Electronics Co IMAGE PROCESSING APPARATUS AND METHOD, PROGRAM AND RECORDING MEDIUM
US7502521B2 (en) * 2005-06-21 2009-03-10 Microsoft Corporation Image completion with structure propagation
KR101142739B1 (ko) 2009-10-29 2012-05-03 삼성전자주식회사 검색 영역을 제한한 이미지 복원 장치 및 방법

Also Published As

Publication number Publication date
CA2883105C (en) 2017-07-04
EP2893510B1 (de) 2016-02-24
CA2883105A1 (en) 2014-03-13
EP2893510A1 (de) 2015-07-15
US9412188B2 (en) 2016-08-09
PL2893510T3 (pl) 2016-08-31
US20150213636A1 (en) 2015-07-30
WO2014037039A1 (de) 2014-03-13

Similar Documents

Publication Publication Date Title
Rematas et al. Urban radiance fields
Waechter et al. Let there be color! Large-scale texturing of 3D reconstructions
Hernández et al. Non-rigid photometric stereo with colored lights
ES2695157T3 (es) Método de renderización
CN104897083B (zh) 一种基于投影仪散焦解相位的光栅投影三维快速测量方法
US20200184651A1 (en) Image processing system, image processing method, and program
US20170309075A1 (en) Image to item mapping
CN109712223B (zh) 一种基于纹理合成的三维模型自动上色方法
CN107563978A (zh) 人脸去模糊方法及装置
ES2574709T3 (es) Procedimiento e instalación de tratamiento de imágenes para la eliminación de un objeto visual de una imagen
US20110175900A1 (en) System and method for mesoscopic geometry modulation
Svitov et al. Dinar: Diffusion inpainting of neural textures for one-shot human avatars
ES2827177T3 (es) Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
CN107437268A (zh) 拍照方法、装置、移动终端和计算机存储介质
Balzer et al. Cavlectometry: Towards holistic reconstruction of large mirror objects
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
Zhou et al. Depth-guided view synthesis for light field reconstruction from a single image
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
Pilet et al. Retexturing in the presence of complex illumination and occlusions
Hanusch A new texture mapping algorithm for photorealistic reconstruction of 3D objects
CN113223103A (zh) 素描画生成的方法、装置、电子设备及介质
Ahmed et al. Projection mapping onto deformable nonrigid surfaces using adaptive selection of fiducials
Loscos et al. High-dynamic range imaging for dynamic scenes
Petersen et al. Morphing billboards: an image-based appearance model for hand tracking
Yao et al. A new environment mapping method using equirectangular panorama from unordered images