ES2350242T3

ES2350242T3 - Luz estructurada codificada.

Info

Publication number: ES2350242T3
Application number: ES06805600T
Authority: ES
Inventors: Tais Clausen; Nikolaj Deichmann; Rune Fisker; Michael Vinther
Original assignee: 3Shape AS
Current assignee: 3Shape AS
Priority date: 2005-11-28
Filing date: 2006-11-28
Publication date: 2011-01-20
Anticipated expiration: 2026-11-28
Also published as: EP1969307B1; PL1969307T3; DE602006016013D1; WO2007059780A1; EP1969307A1; JP2009517634A; DK1969307T3; US20090221874A1; ATE476637T1

Abstract

Sistema para crear un modelo tridimensional de una superficie que comprende lo siguiente: (a) una fuente de luz (1.2) que proyecta un patrón de segmentos de línea continuos sobre la superficie, en la que un segmento de línea continuo es un segmento de línea de píxeles o puntos continuos que no tiene intersticios visibles y siendo codificado cada segmento de línea con un patrón único de intensidad o anchura de línea variable a lo largo del segmento de línea, (b) un detector (1.3) que registra una imagen de la superficie con dicho patrón proyectado, y (c) un ordenador (PC) para transformar dicha imagen en un modelo tridimensional de la superficie que utiliza dicho patrón proyectado.

Description

La presente invención se refiere a un sistema y un procedimiento para crear un modelo tridimensional de una superficie mediante luz estructurada codificada.

Antecedentes de la invención

Un procedimiento para producir un modelo tridimensional digital de un objeto físico [1.1] consiste en proyectar un patrón de luz conocido [1.2] sobre la superficie del objeto, registrar el patrón proyectado con una cámara [1.3] desde un ángulo diferente (figura 1) y después calcular la forma de la superficie a partir de la deformación registrada del patrón. Cuando se conocen las posiciones relativas y los parámetros internos del proyector y la cámara, entonces puede calcularse la forma tridimensional de la parte iluminada del objeto utilizando triangulación. Este procedimiento se conoce como escaneo con luz estructurada y está descrito en la técnica anterior.

La identificación de características en el patrón presenta un problema que se ha resuelto de diversas formas en los sistemas existentes. Salvi y col. (2004) proporcionan una amplia revisión general de estrategias existentes de codificación de patrones. Las principales categorías son las siguientes:

 Proyectar solamente una única línea. Si solamente

se proyecta una única línea, no existe riesgo de identificación errónea (suponiendo que no exista iluminación externa del objeto), pero solo se cubrirá una delgada franja de la superficie del objeto, por lo que será necesario un gran número de escaneos desde diferentes ángulos para cubrir la superficie. Esto requiere tiempo y un movimiento controlado del objeto o el proyector y la cámara, lo que añade complejidad al sistema de escáner.

 Proyectar líneas o puntos codificados con diferentes colores o escalas de grises. Los puntos

o las líneas individuales pueden identificarse si tienen diferentes colores / escalas de grises siempre que el objeto sea de un color (prácticamente) uniforme o que pueda registrarse una imagen del objeto con iluminación uniforme. Adquirir imágenes del objeto con iluminación uniforme y con el patrón proyectado requiere que el sistema esté estacionario entre los dos registros y esto no es adecuado para los escáneres de mano o los objetos en movimiento. Asimismo, el uso de color introduce posibles imprecisiones (resolución reducida) debido a que la luz de diferentes colores tiene diferentes ángulos de refracción en la cámara y las lentes del proyector y debido a la tecnología utilizada en los chips habituales de las cámaras. Un ejemplo de un sistema de luz codificada en color puede encontrarse en el documento de patente estadounidense nº 6.147.760. Pagès y col. (2004) y el documento JP02110305A describen sistemas que aplican líneas coloreadas.

 Patrones que varían en función del tiempo. Proyectar varios patrones diferentes en los que, por ejemplo, son visibles varias líneas puede proporcionar determinada identificación de las líneas, pero nuevamente esto requiere adquirir varias imágenes manteniendo el objeto, la cámara y el proyector estacionarios. También requiere de un proyector capaz de cambiar el patrón y un proyector de este tipo será más costoso que uno con una imagen fija. Un ejemplo de un sistema que aplica una codificación variable en función del tiempo se describe en el documento de patente estadounidense nº 4.653.104.

El documento US 5.680.216 proporciona un ejemplo de mediciones raster-estereográficas (2D) mediante la proyección de una pluralidad de líneas de trama moduladas sobre una

superficie.

El escaneo en una cavidad reducida como, por ejemplo, la boca o el canal auditivo, limita el tamaño posible del escáner y, además, un dispositivo de mano a menudo será la solución más económica y manejable para una aplicación de este tipo. Si el escáner es de mano, no puede esperarse tener una escena estacionaria todo el tiempo aunque se le indique al usuario que sujete el dispositivo de forma estable. Esto significa que los patrones variables en función del tiempo serán problemáticos y que el movimiento entre las imágenes adquiridas de forma consecutiva puede ser desconocido, por lo que es deseable tener tanta información como sea posible en una única imagen. Resumen de la invención

La presente invención proporciona una solución a los problemas antes mencionados ya que la presente invención proporciona un sistema y un procedimiento que pueden utilizarse en relación con una escena dinámica dado que la presente invención ofrece el cálculo a partir de una imagen de un único cuadro (es decir, un disparo) para proporcionar un modelo tridimensional.

En correspondencia, en un aspecto la presente invención se refiere a un sistema para crear un modelo tridimensional de una superficie que comprende :

(a): una fuente de luz que proyecta un patrón de segmentos de línea continuos sobre la superficie, siendo codificado cada segmento de línea con un único patrón de intensidad o anchura de línea variable a lo largo del segmento de línea,

(b): un detector que registra una imagen de la superficie con dicho patrón proyectado, y

(c): un ordenador para transformar dicha imagen en un modelo tridimensional de la superficie que utiliza dicho patrón proyectado.

En otro aspecto, la invención se refiere a un procedimiento para crear un modelo tridimensional de una superficie que comprende los siguientes pasos:

(a): proyectar desde una fuente de luz un patrón de segmentos de línea continuos sobre la superficie, siendo codificado cada segmento de línea con un único patrón de intensidad o anchura de línea variable a lo largo del segmento de línea,

(b): registrar una imagen de la superficie con dicho patrón proyectado, y

(c): transformar dicha imagen en un modelo tridimensional de la superficie utilizando dicho patrón proyectado.

Descripción de los dibujos

Figura 1 Escáner de luz estructurada con una cámara y un proyector. Figura 2 Patrón de luz estructurada proyectado sobre una superficie simple. Figura 3 Patrón de luz estructurada proyectado sobre una

superficie compleja. Figura 4 Codificación binaria a lo largo de líneas. Figura 5 Codificación de frecuencia con ocho frecuencias

diferentes y dos secuencias con diferente fase.

Figura 6 La altura vertical y la posición de los bits se mantienen independientemente de la forma del objeto.

Figura 7 Una oreja con patrón codificado de bits

proyectado. Figura 8 Diapositiva con patrón de líneas codificado. Figura 9 Interpolación de la superficie entre líneas

utilizando triángulos.

Definiciones

A lo largo de la línea: significa en la dirección de la línea.

Segmento de línea continuo: significa un segmento de línea de puntos o píxeles continuos sin huecos visibles en la imagen.

Modelo tridimensional: conjunto de datos que representan la distribución espacial de la superficie del objeto que está siendo modelado dentro de la precisión del

proceso de recopilación de datos.

Patrón único: modulación predeterminada reconocible de un segmento de línea que identifica dicho segmento de línea respecto a cualquier otro segmento de línea proyectado por la fuente de luz, o respecto a segmentos de línea próximos. Un patrón único puede repetirse en segmentos de línea que pertenecen a la misma línea. En otra definición, un patrón único es una modulación reconocible predeterminada de un segmento de línea que hace que dicho segmento de línea pueda distinguirse de cualquier otro segmento de línea proyectado por la fuente de luz o pueda distinguirse de segmentos de línea cercanos. En este documento se define ‘segmentos de línea cercanos’ como segmentos de línea en los que un segmento de línea visualizado por el detector puede identificarse como procedente del segmento de línea original correcto proyectado por la fuente de luz o identificarse como un segmento de línea cercano. Dicha identificación también puede ser más o menos ambigua entre el segmento de línea correcto y cualquier elemento de línea cercano. Un patrón único puede repetirse en segmentos de línea pertenecientes a la misma línea.

Frecuencia y fase: modulación sinusoidal de un segmento de línea en la que dicha modulación puede reconocerse mediante la frecuencia y / o fase de dicha modulación. La fase de dicha modulación se mide a menudo en relación con una referencia tal como un punto, una línea u otro patrón identificable. Descripción detallada de la invención

El objeto de la invención es un nuevo procedimiento de codificación mejorado que resuelve el problema de identificar las líneas proyectadas en un escáner de luz estructurada, pudiendo utilizarse el procedimiento de codificación en una realización simple y económica de pequeño tamaño físico.

El patrón de luz proyectado consiste en un patrón de segmentos de línea continuos. Cada segmento de línea está dotado de una codificación única. En una realización, los segmentos de línea continuos se disponen en líneas,

consistiendo dichas líneas en los segmentos de línea continuos. Los segmentos de línea pueden disponerse en una línea con un intersticio entre dos segmentos de línea continuos, o los segmentos de línea pueden disponerse en la línea de forma continua. Las líneas compuestas por segmentos de línea continuos se disponen con una distancia predeterminada de una línea a la siguiente, tal como líneas paralelas, al proyectarse sobre la superficie. En una realización, el segmento de línea continuo está constituido por segmentos de línea continuos rectos.

La codificación única a lo largo de segmentos de línea continuos puede llevarse a cabo de cualquier forma adecuada que permita la identificación de cada segmento de línea continuo en la imagen. En una realización, el mismo patrón único se codifica a lo largo de todos los segmentos de línea continuos de una línea, sin embargo, también es posible variar el patrón de codificación único de segmento de línea continuo a segmento de línea continuo en una línea, en la medida de lo posible, para identificar una línea de líneas vecinas.

El patrón de codificación único puede ser cualquier patrón adecuado que pueda aplicarse a lo largo de los segmentos de línea continuos. En correspondencia, el patrón único puede consistir en un cambio periódico de la anchura del segmento de línea continuo, tal como los ejemplos mostrados en las figuras de esta solicitud.

En combinación con lo anterior, el patrón de codificación único puede consistir en un cambio periódico en el color del segmento de línea continuo. Por ejemplo, un segmento de línea puede consistir en partes rojas y verdes alternas a lo largo del segmento de línea.

Además, el patrón de codificación único puede consistir en un cambio periódico de la escala de grises en el segmento de línea continuo ya sea de forma independiente o en combinación con cualquiera de los patrones de codificación antes mencionados.

El patrón debe ser único para cada línea o segmento de

línea continuo de la imagen. Sin embargo, en la práctica sólo es necesario que el carácter exclusivo del patrón sea suficiente para distinguirlo de las líneas inmediatamente vecinas. Por tanto, en una realización, el patrón único se repite para cada n líneas del patrón, y n es un número entero equivalente a al menos 2, tal como, al menos 3, tal como, al menos 4, tal como, al menos 5, tal como, al menos 10, tal como, al menos 25.

Como se describirá más adelante de forma más detallada, los segmentos de línea continuos pueden codificarse utilizando una secuencia binaria o una secuencia de n elementos o modificando la frecuencia y / o fase.

Los segmentos de línea tal como se definen en este documento son continuos, utilizándose el término continuo en su significado convencional, es decir, que no existen intersticios en el segmento de línea continuo. La disposición de segmentos de línea continuos proporciona una transformación más efectiva de la imagen en un modelo tridimensional dado que incluso puede identificarse una pequeña parte de un segmento de línea continuo puesto que ningún intersticio perturba el proceso de identificación.

En una realización, se prefiere que la longitud de cada segmento de línea continuo de la imagen sea al menos dos veces la anchura mínima del segmento de línea continuo, tal como, al menos tres veces la anchura mínima del segmento de línea continuo, tal como, al menos cuatro veces la anchura mínima del segmento de línea continuo, tal como, al menos cinco veces la anchura mínima del segmento de línea continuo, tal como, al menos diez veces la anchura mínima del segmento de línea continuo, tal como, al menos 25 veces la anchura mínima del segmento de línea continuo, tal como, al menos 50 veces la anchura mínima del segmento de línea continuo.

En otra realización, la fuente de luz proyecta adicionalmente sobre la superficie líneas que tienen un ángulo predeterminado respecto a los segmentos de línea continuos, tal como líneas que son perpendiculares a los segmentos de línea continuos.

Se prefiere que los segmentos de línea codificados en la imagen sean perpendiculares al eje entre la línea focal del detector y la fuente de luz tal como se describe más delante de forma más detallada.

La fuente de luz utilizada según la presente invención puede ser cualquier fuente de luz adecuada. En correspondencia, puede utilizarse cualquier luz estructurada tal como la fuente de luz de un proyector convencional, o una luz láser o una luz de flash. La fuente de luz puede emitir luz visible, luz cercana al rango visible y luz invisible si es adecuada para la imagen y la superficie. En particular, para crear un modelo tridimensional de una superficie de un ser humano o un animal puede preferirse utilizar luz invisible.

El detector según la presente invención puede ser cualquier detector adecuado, por ejemplo, una cámara digital. El sistema puede incluir dos o más detectores si esto es adecuado.

A modo de ejemplo, la presente invención puede utilizarse en un sistema tal como se describe en cualquiera de las solicitudes de patente PCT/DK01/00564 y PCT/DK2005/000507.

Al proyectar un patrón de segmentos de línea continuos sobre la superficie es posible crear un modelo tridimensional a partir de una imagen de la superficie. Para reconstruir la superficie a partir de la imagen registrada debe ser posible identificar los elementos proyectados en el registro, es decir, las líneas individuales. La figura 2 muestra un patrón

[2.1] de líneas proyectado sobre una pelota. En la figura 3, el mismo patrón está proyectado sobre una superficie más compleja donde determinar qué segmentos pertenecen a qué línea es mucho más complicado de hacer en un procedimiento automatizado.

Para poder distinguir las líneas proyectadas en una imagen registrada, la invención propone utilizar una codificación a lo largo de las líneas que varía la intensidad

o anchura de las líneas. Esta podría ser, por ejemplo, una

codificación binaria, tal como se muestra en la figura 4, o una codificación de frecuencia y fase, tal como se muestra en la figura 5.

Con una codificación binaria se podría definir la longitud de un bit [4.1]/[4.2] para que tuviera, por ejemplo, 1/100 de la altura total de la imagen proyectada, y una línea

[4.1] delgada como 0 y una línea [4.2] ancha como 1. Esto daría a la línea [4.3] el código 010010010… (de arriba hacia abajo) y, a la línea [4.4], el código 110110110… Con sólo un pequeño segmento de una línea, en este caso, correspondiente al menos a la longitud de 3 bits, puede identificarse el segmento.

En otra realización de la invención, la anchura de la línea podría cambiar como una función sinusoidal de la distancia desde la parte superior con diferente frecuencia y fase para cada línea. En el ejemplo de la figura 5, puede verse que la línea [5.1] tiene una mayor frecuencia que la línea [5.2]. Una transformada de Fourier de una franja de valores de píxel a lo largo de un segmento de línea en la imagen registrada proporcionará la frecuencia que identifica la línea. La longitud de un segmento de línea debería ser preferiblemente al menos tan larga como el ciclo de la sinusoide para cierta identificación.

Es importante darse cuenta de que la posición vertical de los bits (en caso de codificación binaria) y la frecuencia de la línea (en caso de codificación de frecuencia) en la imagen registrada no se ve afectada por la forma del objeto, sino únicamente por la posición relativa y la orientación del proyector y la cámara. Esto es cierto si las líneas codificadas en la imagen fuente en [1.2] son perpendiculares al eje entre la línea focal de la cámara y el proyector. La forma del objeto solo desplaza las líneas de forma perpendicular de modo que la codificación se mantiene en la imagen registrada.

Como se ilustra en la figura 6, una rotación del proyector respecto a la cámara proporciona una transformación lineal de elementos verticales en las líneas. Si [6.1] es la

imagen fuente, entonces [6.2] podría ser la imagen registrada al proyectar [6.1] sobre un objeto irregular. La ilustración demuestra que las líneas se desplazan horizontalmente dependiendo de la superficie, pero las posiciones verticales de los bits sólo se transforman de forma lineal debido a la rotación del proyector/ cámara. Esta transformación lineal inversa puede aplicarse a la imagen registrada para una identificación más sencilla de la línea.

Otro ejemplo de esta propiedad se muestra en la figura 7, en la que la dirección de las líneas [7.1] horizontales no se ve afectada por la superficie variable de una oreja.

Se puede determinar la transformación lineal de la codificación y otros parámetros del sistema necesarios para obtener mediciones absolutas del objeto volviendo a codificar un número de imágenes de calibración con un objeto de dimensiones conocidas. Como apoyo al proceso de calibración, se puede insertar un número de líneas [5.3] [7.1] horizontales en la imagen fuente.

El hardware del escáner del sistema y el procedimiento pueden consistir en un proyector y una cámara. El proyector podría ser un simple proyector de diapositivas en el que la diapositiva contiene las líneas codificadas (véase la figura 8), podría ser un proyector LCD/DMD, o el patrón se podría generar mediante uno o varios láseres. Una cámara de TV o cámara digital (normalmente basada en sensores CCD o CMOS) conectada a un ordenador suministra las imágenes. De la técnica anterior se conoce un número de algoritmos para detectar líneas en imágenes digitales. Suponiendo que no exista otra luz en el objeto distinta de la procedente del proyector, puede utilizarse un enfoque simple de valores umbral en el que todos los valores de píxel por encima de un valor umbral se consideran como parte de una línea. Si las líneas tienen un grosor superior a un píxel en la imagen registrada, el centro debe determinarse, por ejemplo, encontrando el píxel más luminoso o como el máximo de un polinomio ajustado a través de los valores de píxel a través de la línea. Una vez que se encuentran las líneas, deben

identificarse basándose en la codificación tal como se ha descrito anteriormente y, por último, la posición tridimensional de cada píxel a lo largo de cada línea puede calcularse mediante triangulación. En la técnica anterir también se describen algoritmos para conectar puntos en el espacio para formar una superficie continua. Una forma de hacerlo es conectar puntos adyacentes con triángulos, tal como se muestra en la figura 9.

La invención puede aplicarse a cualquier escaneo de superficies para producir modelos tridimensionales, en particular, en relación con escáneres de mano y/o escenas dinámicas. Por tanto, la invención tiene muchas aplicaciones posibles. Una de ellas podrían ser escáneres de mano para pequeñas cavidades para uso en la industria dental o la industria de dispositivos de ayuda a la audición. Cada vez más elementos de ayuda a la audición están hechos a partir de un modelo tridimensional de la oreja del paciente y son deseables procedimientos para adquirir este modelo tridimensional de la forma más rápida e indolora posible para el paciente. Del mismo modo, las ortodoncias y restauraciones dentales se basan con frecuencia en un modelo tridimensional digital de la boca del paciente. Por tanto, la superficie puede ser la superficie del canal auditivo de una persona o una superficie de un modelo tridimensional del canal auditivo. En otra realización, la superficie es una superficie de uno o varios dientes o una superficie de un modelo tridimensional de uno o varios dientes.

Otras aplicaciones son el escaneo de objetos para el control de calidad en la producción en serie, control de calidad, ingeniería inversa, realidad virtual y realización de modelos para juegos de ordenador, realización de moldes o escaneo de modelos de arcilla hechos a manos para el diseño. Referencias

Patente estadounidense nº 4.653.104 (codificación binaria en función del tiempo).

Patente estadounidense nº 6.147.760 (luz coloreada a modo de arco iris).

J. Pàges y J. Salvi. A new optimised De Brujin coding strategy for structured Light patterns. 17th International Conference on Pattern Recognition, ICPR 2004, Cambridge, Reino Unido, volumen: 4, 23-26 de agosto de 2004, pp: 284

5 287.

J. Salvi, J. Pagès, J. Batlle. Pattern Codification Strategies in Structured Light Systems. Pattern Recognition 37(4), pp 827-849, abril 2004.

Claims

REIVINDICACIONES

1. Sistema para crear un modelo tridimensional de una superficie que comprende lo siguiente:

(a)

una fuente de luz (1.2) que proyecta un patrón de segmentos de línea continuos sobre la superficie, en la que un segmento de línea continuo es un segmento de línea de píxeles o puntos continuos que no tiene intersticios visibles y siendo codificado cada segmento de línea con un patrón único de intensidad o anchura de línea variable a lo largo del segmento de línea,

(b)

un detector (1.3) que registra una imagen de la superficie con dicho patrón proyectado, y

(c)

un ordenador (PC) para transformar dicha imagen en un modelo tridimensional de la superficie que utiliza dicho patrón proyectado.
2.

Sistema según la reivindicación 1, en el que la fuente de luz proyecta un patrón de líneas sobre la superficie, consistiendo cada línea en una pluralidad de dichos segmentos de línea continuos.
3.

Sistema según la reivindicación 2, en el que cada línea consiste en una continuidad de dichos segmentos de línea continuos.
4.

Sistema según cualquiera de las reivindicaciones precedentes, en el que el mismo patrón único se codifica a lo largo de todos los segmentos de línea continuos en una línea.
5.

Sistema según cualquiera de las reivindicaciones precedentes, en el que el patrón único consiste en un cambio periódico de la anchura del segmento de línea.
6.

Sistema según la reivindicación 5, en el que, en combinación con el cambio de anchura, el patrón único consiste en un cambio periódico del color del segmento de

línea.
7.

Sistema según cualquiera de las reivindicaciones precedentes, en el que el patrón único consiste en un cambio periódico en la escala de grises del segmento de línea.
8.

Sistema según cualquiera de las reivindicaciones precedentes, en el que el patrón único se repite para cada n líneas del patrón, y n es un número entero de al menos 2.
9.

Sistema según cualquiera de las reivindicaciones precedentes, en el que los segmentos de línea continuos se codifican utilizando una secuencia binaria.
10.

Sistema según cualquiera de las reivindicaciones precedentes, en el que los segmentos de línea continuos se codifican modificando la frecuencia y/o fase del patrón.
11.

Sistema según cualquiera de las reivindicaciones precedentes, en el que la longitud de cada segmento de línea continuo es al menos dos veces la anchura menor del segmento de línea continuo.
12.

Sistema según cualquiera de las reivindicaciones precedentes, en el que la fuente de luz emite luz visible.
13.

Sistema según cualquiera de las reivindicaciones precedentes 1-11, en el que la fuente de luz emite luz invisible.
14.

Sistema según cualquiera de las reivindicaciones precedentes, en el que el detector es una cámara.
15.

Sistema según la reivindicación 1, en el que la fuente de luz proyecta adicionalmente sobre la superficie líneas que tienen un ángulo predeterminado respecto a los segmentos de línea continuos.
16.

Procedimiento para crear un modelo tridimensional de una superficie que comprende los siguientes pasos:

(a)

proyectar desde una fuente de luz un patrón de segmentos de línea continuos sobre la superficie, siendo un segmento de línea continuo un segmento de puntos o píxeles continuos que no tiene intersticios visibles y en el que cada segmento de línea se codifica con un único patrón de intensidad o anchura de línea variable a lo largo del segmento de línea,

(b)

registrar una imagen de la superficie con dicho patrón proyectado, y

(c)

transformar dicha imagen en un modelo tridimensional de la superficie utilizando dicho patrón proyectado.
17.

Procedimiento según la reivindicación 16, realizado mediante el sistema según cualquiera de las reivindicaciones 1-15.
18.

Procedimiento según la reivindicación 16 o 17, en el que la superficie es la superficie del canal auditivo de una persona o una superficie de un modelo tridimensional del canal auditivo.
19.

Procedimiento según la reivindicación 16 o 17, en el que la superficie es una superficie de un diente o varios dientes o una superficie de un modelo tridimensional de un diente o varios dientes.