ES2658043T3

ES2658043T3 - Redireccionamiento de una señal de imágenes tridimensionales

Info

Publication number: ES2658043T3
Application number: ES14778062.1T
Authority: ES
Inventors: Wilhelmus Hendrikus Alfonsus BRULS; Wiebe De Haan; Bart Kroon; Patrick Luc Els VANDEWALLE; Gopi Lakshminarayanan
Original assignee: Koninklijke Philips NV; Dolby Laboratories Licensing Corp
Current assignee: Koninklijke Philips NV; Dolby Laboratories Licensing Corp
Priority date: 2013-04-05
Filing date: 2014-04-04
Publication date: 2018-03-08
Anticipated expiration: 2034-04-04
Also published as: CN105230011A; EP2982107B1; EP2982107A4; MX2015013890A; RU2015147002A3; CN105230011B; MX355960B; ZA201508150B; EP2982107A1; RU2015147002A; BR112015025077A2; PL2982107T3; JP2016521488A; WO2014165744A1; US20160029012A1

Abstract

Método para redireccionar datos de señales de vídeo tridimensionales para uso en un dispositivo (60) de despliegue tridimensional objetivo, comprendiendo el método: -recibir (401) la señal de vídeo tridimensional, comprendiendo la señal de vídeo tridimensional: -datos de vídeo tridimensionales adecuados para guiar un dispositivo de despliegue de observación múltiple, -datos de mapeo de disparidad de referencia, siendo indicativo los datos de mapeo de disparidad de referencia del mapeo de disparidad para los datos de vídeo tridimensionales para un dispositivo de despliegue tridimensional de referencia; -derivar (402) un mapeo de disparidad objetivo con base en el mapeo de disparidad de referencia y características del dispositivo de despliegue tridimensional de referencia y características correspondientes del dispositivo (60) de despliegue tridimensional objetivo -redireccionar (403) los datos de vídeo tridimensional utilizando los datos de mapeo de disparidad objetivo en unos datos de vídeo tridimensional objetivo en el que, con la condición de que el dispositivo (60) de despliegue tridimensional objetivo tenga un rango de disparidad mayor para dichos elementos salientes de despliegue que el dispositivo de despliegue tridimensional de referencia, la derivación (402) del mapeo de disparidad objetivo comprende una adición sopesada de los datos de mapeo de disparidad de referencia y un mapeo de disparidad lineal dentro del rango de disparidad más grande; y las características del dispositivo de despliegue tridimensional de referencia comprendan una: -curva de borrosidad-disparidad, -curva de nitidez-disparidad, -rango de borrosidad-disparidad, -rango de nitidez-disparidad, -un rango de capacidad de salida-disparidad, -datos de nitidez-disparidad indicativos de un rango de disparidad adecuado para desplegar imágenes tridimensionales con nitidez por encima de una métrica de nitidez predeterminada, y/o -datos de borrosidad-disparidad indicativos de un rango de disparidad adecuado para desplegar imágenes tridimensionales con borrosidad por debajo de una medición de borrosidad predeterminada.

Description

imagen1

imagen2

imagen3

imagen4

imagen5

imagen6

5

15

25

35

45

55

65

En el presente ejemplo la relación entre el rango de capacidad de salida del dispositivo de despliegue 3D objetivo y el dispositivo de despliegue 3D de referencia es un factor 2.

La Figura 3 ilustra cómo un mapeo de disparidad como se provee para el dispositivo de despliegue 3D de referencia puede ser potenciado utilizando la presente invención. La línea negra delgada en la Figura 3 representa el mapeo de disparidad de referencia tal como se recibe en combinación con datos de vídeo tridimensional en una señal de imagen tridimensional. Como puede verse a partir de la gráfica el mapeo de referencia es más bien plano; esto es, el rango completo de disparidad de entrada es mapeado sobre un rango de salida más bien estrecho. La figura también muestra una línea punteada delgada correspondiente a la curva de identidad.

Es una presunción de los inventores que cuando se remapea preferiblemente la linealidad del mapa de referencia debe conservarse tanto como sea posible. Sin embargo, si hay espacio disponible la curva debería ser acercada al mapeo ideal; esto es, hacia la curva de identidad.

Una manera particularmente ventajosa de hacer esto es derivar un factor de mejora basado en los rangos de disparidad de capacidad de salida de los dispositivos de despliegue de referencia y objetivo y utilizar este factor de mejora para llevar a cabo una adición sopesada del mapeo de disparidad de referencia y una aproximación lineal del mapeo de disparidad de referencia. Este factor de mejora se denomina como alfa.

alfa = Sobj/Sref

Para valores de alfa mayores de 1 se potencia preferiblemente el mapeo de disparidad de referencia como sigue:

beta = 1/alfa

objetivo_disparidad_mapeo(x) =

((1-beta)·referencia_disparidad_mapeo (x)) +

(beta· lineal_aproximación_referencia_disparidad_mapeo(X))

y en donde

referencia_disparidad_mapeo(x) corresponde al mapeo de disparidad de referencia para x y lineal_aproximación_ref_disparidad(x) corresponde al mapeo de disparidad lineal a través de los puntos (DMín, referencia_disparidad_mapeo (dmin)) y (dmax, referencia _disparidad_mapeo (DMax)).

La ventaja de esta manera de trabajar es que las disparidades de despliegue permanecen distribuidas simétricamente (verticalmente) para todo el rango de disparidad del contenido de entrada. Esto es importante porque la relación de borrosidad es simétrica para disparidades de despliegue positivas y negativas.

Para valores de alfa que son menores de uno, la mezcla debe manejarse de tal manera que la variación alrededor de la aproximación lineal subescalada lineal_aproximación_ref_disparidad(x) debería permanecer simétrica.

Alternativamente, la mezcla puede llevarse a cabo con una curva de disparidad de despliegue cero, en otras palabras el mapeo de disparidad objetivo es adaptado en dirección vertical, escalando mediante la utilización de alfa.

De manera notable son posibles mejoras adicionales derivando una curva suave; por ejemplo, el dispositivo objetivo podría derivar una curva continua suave a partir del mapeo de disparidad resultante aplicando curvas de Hermite cúbicas utilizando una diferencia de tres puntos para puntos internos y una diferencia de un lado en los puntos extremos y conservando la motonicidad aplicando el método de Fritch-Carlson.

Adicionalmente se nota que la detección de capacidad de salida en vídeo ha recibido atención considerable y se conoce un amplio rango de mecanismos de detección de capacidad de salida eficientes. En busca de la completitud se provee una referencia a "Salient Object Detection: A Benchmark, by Ali Borji et al", la cual ha sido descargada de http://ilab.usc.edu/-borji/papers/paperBorji.pdf comprendiendo este documento una comparación de 35 modelos de detección de capacidad de salida, del estado del arte.

La Figura 4 muestra un diagrama de flujo simplificado de un método para redireccionar datos de señales de vídeo tridimensionales para uso en un dispositivo de despliegue tridimensional objetivo. El método comprende una etapa 401 en la cual se recibe la señal de vídeo tridimensional, comprendiendo la señal de vídeo tridimensional: datos de vídeo tridimensionales adecuados para guiar un dispositivo de despliegue de visión múltiple y datos de mapeo de disparidad de referencia. Los datos de mapeo de disparidad de referencia son indicativos de un mapeo de disparidad para los datos de vídeo tridimensionales para un dispositivo de despliegue tridimensional de referencia. El método comprende adicionalmente la etapa 402 de derivar un mapeo de disparidad objetivo basado en el mapeo de

imagen7

características 102 del dispositivo de despliegue tridimensional de referencia en caso de que se use el generador para generar contenido para un tipo particular de dispositivos de despliegue. Alternativamente estas características 102' pueden originarse a partir de una fuente externa.

5 El sistema 110 comprende adicionalmente un primer generador 140 dispuesto para generar datos 104 de mapeo de disparidad de referencia, siendo indicativos los datos 104 de mapeo de disparidad de referencia del mapeo de disparidad para los datos 105 de vídeo tridimensionales para un dispositivo de despliegue tridimensional de referencia. El primer generador 140 está dispuesto para recibir las características 103 según sean transmitidas por la unidad 130 de adquisición así como los datos 105 de vídeo tridimensional según sean recibidos por el receptor 120.

10 El sistema 110 comprende adicionalmente un segundo generador 150 dispuesto para generar la señal 74 de vídeo tridimensional, en el que la generación de la señal 74 de vídeo tridimensional comprende combinar los datos 105 de vídeo tridimensional y los datos 104 de mapeo de disparidad de referencia tal como son recibidos desde el primer generador.

15

Codificación de metadatos para señales de imágenes de vídeo

Cuando se genera una señal de imágenes de vídeo, es posible codificar información adicional en los así llamados mensajes SEI. Los mensajes SEI pueden ser agregados por ejemplo a AVC basados en secuencias de vídeo

20 (ISO/IEC 14496-10:2012 -tecnología de información -codificación de objetos audiovisuales -parte 2 10: Codificación de Vídeo Avanzada) o HEVC (ISO/IEC 23008-2:201x/FDIS -tecnología de información – codificación de alta eficiencia y entrega de medios 13 en ambientes heterogéneos -parte 2: alta codificación de vídeo de alta eficiencia). Tales metadatos pueden ser utilizados para proveer datos adicionales para redireccionar la señal de imágenes de vídeo. También puede disponerse la transmisión de elementos de metadatos a través de enlaces de

25 interconexión de dispositivos (tales como en HDMI).

Preferiblemente los metadatos están comprendidos en mensajes SEI no registrados del usuario. Más preferiblemente estos mensajes SEI están incluidos en corrientes elementales que contienen la profundidad o la información de disparidad que se provee junto con los datos de vídeo tridimensionales.

30 Dependiendo de la manera de transporte la profundidad puede ser transmitida en una corriente elemental sencilla con disparidad de vídeo y profundidad o alternativamente como una corriente elemental de disparidad/profundidad separada dependiendo de la forma preferida de transporte.

35 A continuación se provee un ejemplo de la sintaxis de un contenedor de mensajes de metadatos SEI.

Tabla 1, sintaxis de contenedor de mensajes de metadatos SEI.

usuario_datos_no registrado(TamañoCarga) {: C Descriptor

uuid_xxxx: 5 u(128)

metadatos_tipo: 5 u(8)

TamañoMetadatos = TamañoCarga -17: imagen8 imagen9

si(metadatos_tipo = = 0): imagen10 imagen11

profundidad_procesamiento_información(TamañoMetadatos): imagen12 imagen13

más si(metadatos_tipo = = 1): imagen14 imagen15

observación_conversión_asistir_información(TamañoMetadatos): imagen16 imagen17

más: imagen18 imagen19

para(i = 0; i < TamañoMetadatos; i++): imagen20 imagen21

imagen22

Para estos despliegues la degradación de resolución horizontal como función de la disparidad puede ser caracterizada por un parámetro alfa sencillo. Se requiere que los valores alfa de los despliegues sean determinados por el fabricante de acuerdo con un método estandarizado.

5 El valor alfa del despliegue de referencia que fue utilizado para determinar la curva está incluido con los metadatos. El dispositivo de despliegue objetivo aplica la curva y escalas a los valores de salida en una forma lineal, dependiendo de la relación entre el alfa del despliegue de referencia y el despliegue objetivo. Como resultado la degradación de nitidez sobre el dispositivo objetivo recuerda más o menos la del dispositivo de referencia.

10 Puesto que el escalado de disparidad es lineal, cualquier curva aplicada a las disparidades originales por el autor del contenido, que es cualquier mapeado aplicado en el estudio que representa el propósito artístico, no es afectada.

Un ejemplo de la sintaxis de la codificación de una curva de borrosidad se provee en tabla 2 a continuación.

15 Tabla 2, sintaxis de información de procesamiento de profundidad

profundidad_procesamiento_información(TamañoMetadatos) {: C Descriptor

···: imagen23 imagen24

profundidad_codificación_formato: 5 u(4)

···: imagen25 imagen26

profundidad_fuente_tipo: 5 u(4)

···: imagen27 imagen28

profundidad_representación: 5 u(4)

···: imagen29 imagen30

d_min: 5 i(12)

d_max: 5 i(12)

···: imagen31 imagen32

remapeo_tipo: 5 u(4)

núm_curva_nodos: 5 u(4)

para(j = 0; j < num_curva_nodos; j++) {: imagen33 imagen34

i = i + 3: imagen35 imagen36

disparidad_dentro[j]: 5 i(12)

curva_fuera[j]: 5 i(12)

}: imagen37 imagen38

imagen39

5

10

15

20

25

30

35

40

45

50

El dispositivo objetivo debería derivar una curva continua suave desde los nodos aplicando las curvas Hermite cúbicas utilizando una diferencia de tres puntos para puntos internos y una diferencia de un lado en los puntos extremos y preservar la monotonocidad aplicando el método de Fritch-Carlson.

Aunque la presente invención ha sido descrita con referencia a una señal de imágenes tridimensionales, en las que la entrada de profundidad y/o disparidad fue provista explícitamente, se anota que la presente invención puede ser utilizada también para redireccionar la estereoscopía de contenido de visión múltiple en la ausencia de datos de profundidad o disparidad, con la condición de que haya disponibilidad de mapeo de disparidad de referencia y características de la referencia y dispositivo de despliegue 3D objetivo.

En el caso de que se carezca de datos de profundidad o disparidad, los datos de profundidad o disparidad pueden ser estimados con base en el contenido estéreo y/o de visión múltiple y una o más observaciones nuevas teniendo en cuenta la disparidad remapeada que puede ser obtenida utilizando técnicas de generación basadas en imágenes, bien conocidas.

En resumen la presente invención puede ser utilizada para mapear datos de profundidad y/o disparidad sobre datos de disparidad de salida o despliegue de manera ventajosa. La presente invención es particularmente útil para dispositivos de despliegue autoestereoscópicos de visión múltiple como los que típicamente tienen un rango de disparidad más limitado que pueda ser utilizado.

La invención puede ser implementada de cualquier manera adecuada incluyendo hardware, software, firmware o cualquier combinación de éstos. La invención puede ser implementada opcionalmente al menos de forma parcial como un software de ordenador que corre sobre uno o más procesadores de datos y/o procesadores de señales digitales. Los elementos y componentes de una realización de la invención pueden ser implementados física, funcional e informáticamente en cualquier forma adecuada. En efecto la funcionalidad puede ser implementada en una unidad sencilla, en una pluralidad de unidades o como parte de otras unidades funcionales. Como tal, la invención puede ser implementada en una unidad individual o puede ser distribuida física y funcionalmente entre unidades, circuitos y procesadores diferentes.

Aunque la presente invención ha sido descrita en relación con algunas realizaciones, no está prevista para ser limitada a la forma específica establecida aquí. Por el contrario, el alcance de la presente invención está limitado solamente por las reivindicaciones acompañantes. Adicionalmente, aunque puede parecer que una característica esté descrita en relación con realizaciones particulares, una persona experimentada en la técnica reconocerá que diversas características de las realizaciones descritas pueden ser combinadas de acuerdo con la invención. En las reivindicaciones, el término “que comprende” no excluye la presencia de otros elementos o etapas.

Adicionalmente, aunque se listen individualmente, puede implementarse una pluralidad de medios, elementos, circuitos o etapas de método mediante un circuito, unidad o procesador individual. Adicionalmente, aunque pueden incluirse características individuales en diferentes reivindicaciones, pueden ser posiblemente combinadas de manera ventajosa, y la inclusión en diferentes reivindicaciones no implica que una combinación de características no sea factible y/o ventajosa. También la inclusión de una característica en una categoría de reivindicaciones no implica una limitación de esta categoría sino más bien indica que la característica es igualmente aplicable a otras categorías de reivindicaciones según sea apropiado. Además, el orden de características en las reivindicaciones no implica ningún orden específico en el cual las características deban ser trabajadas y en particular el orden de etapas individuales en una reivindicación de método no implica que las etapas deban ejecutarse en este orden. Por el contrario, las etapas pueden ejecutarse en cualquier orden adecuado. Además, referencias singulares no excluyen una pluralidad. Así referencias a "un", "una", "primero", "segundo", etc., no excluye una pluralidad. Los signos de referencia en las reivindicaciones se proveen únicamente como un ejemplo de clarificación no se debería ser considerado como limitante del alcance de las reivindicaciones de manera alguna.

Claims

imagen1

imagen2

imagen3