ES2929648T3 - Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa - Google Patents

Abstract

Una unidad de adquisición de imágenes de luz polarizada 20 adquiere una pluralidad de imágenes de luz polarizada que tienen diferentes direcciones de polarización. Una imagen de luz polarizada es una imagen en la que, por ejemplo, un cuerpo señalador en una interfaz de usuario se representa como un sujeto a reconocer. Una unidad de cálculo normal 30 calcula una normal para cada píxel del sujeto a reconocer sobre la base de las imágenes de luz polarizada que son adquiridas por la unidad de adquisición de imágenes de luz polarizada 20. La normal es información de acuerdo con la forma tridimensional del sujeto a ser reconocido. Utilizando las normales que se calculan con la unidad de cálculo normal 30, una unidad de reconocimiento 40 lleva a cabo un reconocimiento del sujeto, evalúa el tipo, la posición, la orientación, etc., del cuerpo señalador y emite el resultado de la evaluación como entrada. información en la interfaz de usuario. Así, es posible llevar a cabo fácilmente el reconocimiento del sujeto con buena precisión. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa

[Campo técnico]

La presente tecnología se refiere a un aparato de procesamiento de imágenes, a un método de procesamiento de imágenes y a un programa, y facilita el reconocimiento de un objeto con una precisión alta.

[Antecedentes de la técnica]

En el pasado, las líneas normales de un objeto se calculaban a partir de imágenes polarizadas que tenían una pluralidad de direcciones de polarización diferentes. Por ejemplo, los documentos NPL 1 y 2 describen un cálculo de líneas normales que se realiza aplicando imágenes polarizadas que tienen una pluralidad de direcciones de polarización diferentes a una ecuación de modelo.

Adicionalmente, por ejemplo, un objeto se reconoce usando imágenes polarizadas. El documento PTL 1, por ejemplo, describe una iluminación de objetos que se realiza disponiendo medios de iluminación de tal modo que la luz de iluminación resultante es luz con polarización p con respecto a un plano de referencia predeterminado. El documento PTL 1 también describe una identificación de objetos que se logra basándose en una identificación de objetos de luz que se logra basándose en unos resultados de medición de intensidad de luz separando la luz reflejada a partir del plano de referencia en luz con polarización s y luz con polarización p, midiendo la intensidad de luz de cada componente de polarización y midiendo la intensidad de luz mientras se mueve un objetivo de medición a lo largo del plano de referencia.

Además, las líneas normales se usan como interfaz de usuario. De acuerdo con el documento PTL 2, por ejemplo, se detecta una operación de un objetivo correspondiente a una mano y un antebrazo para reconocer un movimiento similar a un movimiento natural del cuerpo humano que se realiza para pasar una página. Las líneas normales de un plano objetivo correspondiente a la palma de la mano se usan para detectar el movimiento. Por otra parte, el objetivo se detecta extrayendo la distribución de distancia y el contorno de una imagen de distancia. El documento EP 2860 574 A1 (Gen Electric), 15 de abril de 2015, divulga un dispositivo de captura de imágenes. El dispositivo incluye una disposición de electro-óptica que tiene una disposición de polarizadores, elementos ópticos sensibles a polarización y elementos de modulación de polarización. Se proporcionan un primer y un segundo elementos ópticos sensibles a polarización que tienen un borde desplazado en relación con un plano normal a un eje óptico de la disposición de electro-óptica. Un sistema de control acoplado a la disposición de electro-óptica controla la aplicación de voltajes a los elementos de modulación de polarización para controlar la rotación de polarización de la luz introducida en los elementos ópticos sensibles a polarización, de tal modo que la longitud de trayectoria óptica de los elementos ópticos sensibles a polarización se cambia para prever la captura de las imágenes de objeto en cada uno de los diferentes planos focales. El primer y el segundo elementos ópticos sensibles a polarización generan desviaciones de imagen laterales entre imágenes de objeto respectivas capturadas en los diferentes planos focales en respuesta a la rotación de polarización de la luz introducida en los mismos.

El documento EP 2 860 574 A1 (GEN ELECTRIC [EE. UU.]) de 15 de abril de 2015 divulga un sistema de reconocimiento de palmas de mano basándose en imágenes polarizadas usando una base de datos de huellas de manos almacenadas. El documento EP 2071 280 A1 (PANASONIC CORP [JP]) de 17 de junio de 2009 divulga el cálculo de líneas normales a la superficie de un objeto capturado en una imagen polarizada. Jones B y col.: "Recognition of shiny dielectric objects by analysing the polarization of reflected light', IMAGE AND VISION COMPUTING, ELSEVIER, GUILD^fO^r D, GB, vol. 7, n.° 4, 1 de noviembre de 1989 (01 -11 -1989) divulga un sistema de reconocimiento de objetos basándose en imágenes polarizadas y líneas normales calculadas con respecto a la superficie del objeto.

[Lista de citas]

[Bibliografía de patente]

[PTL 1]

JP 2011-150689 A

[PTL 2]

JP 2012-242901 A

[Bibliografía no de patente]

[NPL 1]

Lawrence B. Wolff y Terrance E. Boult: "Constraining Object Features Using a Polarization Reflectance Mode" , IEEE Transaction on pattern analysis and machine intelligence, vol. 13, n.° 7, julio de 1991

[NPL 2] Gary A. Atkinson y Edwin R. Hancock: "Recovery of surface orientation from diffuse polarization", IEEE Transactions of Image Processing, vol. 15, edición 6, págs. 1653-1664, 2006

[Sumario]

[Problemas técnicos]

Por cierto, cuando las líneas normales se van a calcular aplicando imágenes polarizadas que tienen una pluralidad de direcciones de polarización diferentes a una ecuación de modelo, la relación entre las direcciones de polarización y el brillo de las imágenes polarizadas tiene una periodicidad de 180 grados. Por lo tanto, cuando se va a determinar el ángulo de azimut de la dirección de las líneas normales, sigue siendo un problema la así denominada incertidumbre de 180 grados. Además, cuando se usan luz con polarización s y luz con polarización p con fines de identificación, se puede identificar la diferencia entre los materiales de superficie de un objeto; sin embargo, la forma tridimensional del objeto no se puede identificar en principio a partir de dos direcciones de polarización. Además, cuando se va a realizar de forma precisa una detección de objetivos o un cálculo de líneas normales basándose en una imagen de distancia, es necesario usar una imagen que tiene una resolución de distancia alta. Sin embargo, no es fácil adquirir una imagen que tiene una resolución de distancia alta.

En vista de las circunstancias anteriores, la presente tecnología proporciona un aparato de procesamiento de imágenes, un método de procesamiento de imágenes y un programa que facilitan el reconocimiento de un objeto con una precisión alta.

[Solución a problemas]

De acuerdo con la presente tecnología, la sección de adquisición de imágenes polarizadas adquiere una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización y muestran la imagen, por ejemplo, de un indicador de entrada para una interfaz de usuario como un objeto objetivo de reconocimiento. La sección de cálculo de líneas normales calcula las líneas normales de píxeles individuales basándose en las imágenes polarizadas adquiridas. Por ejemplo, la sección de cálculo de líneas normales reconoce temporalmente el objeto usando una imagen de proceso de reconocimiento temporal generada a partir de la pluralidad de imágenes polarizadas. Además, la sección de cálculo de líneas normales calcula las líneas normales a partir de la pluralidad de imágenes polarizadas y resuelve la incertidumbre de las líneas normales calculadas basándose en el resultado de reconocimiento temporal. En un reconocimiento temporal, la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente se usan para seleccionar un modelo lo más cerca del objeto como el resultado de reconocimiento temporal del objeto, y la incertidumbre de las líneas normales se resuelve basándose en el modelo reconocido temporalmente. Si el objeto objetivo de reconocimiento es una mano, la sección de cálculo de líneas normales reconoce temporalmente las posiciones de una punta de dedo y una yema de dedo usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y resuelve la incertidumbre de las líneas normales de una región de dedo de la mano basándose en el resultado de reconocimiento temporal. La sección de reconocimiento determina una dirección de apuntamiento de dedo basándose en las líneas normales libres de incertidumbre de la región de dedo. La sección de cálculo de líneas normales puede reconocer temporalmente la posición y la estructura esquelética de una región de mano usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y resolver la incertidumbre de las líneas normales de la región de dedo de la mano basándose en el resultado de reconocimiento temporal. En un caso como este, la sección de reconocimiento determina la forma de la mano basándose en las líneas normales libres de incertidumbre de la región de mano. Por otra parte, si el objeto objetivo de reconocimiento es una cara, la sección de cálculo de líneas normales reconoce temporalmente la posición de una región de cara usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y resuelve la incertidumbre de las líneas normales de la cara basándose en el resultado de reconocimiento temporal. La sección de reconocimiento determina la forma o expresión de la cara basándose en las líneas normales libres de incertidumbre de la región de cara.

Además, la sección de reconocimiento usa una sección de base de datos de profesores para almacenar datos de profesor que se basan en un objeto de aprendizaje, indicativos, por ejemplo, de la distribución de las líneas normales del objeto de aprendizaje, y adquiridos a partir de las líneas normales del objeto de aprendizaje, que se calcula basándose en una pluralidad de imágenes polarizadas que muestran el objeto de aprendizaje y tienen diferentes direcciones de polarización. La sección de reconocimiento usa, como datos de estudiante, la distribución de las líneas normales calculadas basándose en la pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, y selecciona un objeto de aprendizaje correspondiente a datos de profesor lo más cerca de los datos de estudiante de acuerdo con los datos de estudiante y los datos de profesor almacenados en la sección de base de datos de profesores, y considera el objeto de aprendizaje seleccionado como el resultado de reconocimiento del objeto objetivo de reconocimiento.

De acuerdo con un segundo aspecto de la presente tecnología, se proporciona un método de procesamiento de imágenes definido por la reivindicación 13.

De acuerdo con un tercer aspecto de la presente tecnología, se proporciona un programa para dar instrucciones a un ordenador para que ejecute las etapas del método definido por la reivindicación 13, como se define mediante la reivindicación 14.

El programa de acuerdo con la presente tecnología se puede suministrar en un formato legible por ordenador, por ejemplo, a un ordenador de propósito general capaz de ejecutar diversos programas y códigos usando un medio de almacenamiento, un medio de comunicación, un medio de almacenamiento tal como un disco óptico, un disco magnético, una memoria de semiconductores o un medio de comunicación tal como una red. Cuando el programa se suministra en el formato legible por ordenador, se efectúa en el ordenador un proceso de acuerdo con el programa.

[Efecto ventajoso de la invención]

La presente tecnología adquiere una pluralidad de imágenes polarizadas que muestran un objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, calcula las líneas normales de píxeles individuales basándose en las imágenes polarizadas adquiridas y reconoce el objeto usando las líneas normales calculadas. Por lo tanto, el objeto objetivo de reconocimiento se puede reconocer fácilmente y con una precisión alta. Las ventajas descritas en la presente memoria descriptiva son meramente ilustrativas y no restrictivas. La presente tecnología no se limita a las ventajas descritas y puede proporcionar ventajas adicionales.

[Breve descripción de los dibujos]

[Figura 1]

La figura 1 es un diagrama que ilustra una configuración básica de un aparato de procesamiento de imágenes. [Figura 2]

La figura 2 es un diagrama de flujo que ilustra un funcionamiento básico del aparato de procesamiento de imágenes.

[Figura 3]

La figura 3 es un diagrama que ilustra una configuración de un aparato de procesamiento de imágenes de acuerdo con la realización.

[Figura 4]

La figura 4 representa diagramas que ilustran una configuración en la que se generan imágenes polarizadas en una sección de adquisición de imágenes polarizadas.

[Figura 5]

La figura 5 es un diagrama que ilustra las imágenes polarizadas y la forma de un objeto.

[Figura 6]

La figura 6 es un diagrama que ilustra la relación entre brillo y ángulo de polarización.

[Figura 7]

La figura 7 es un diagrama que ilustra la relación entre el ángulo de polarización y el ángulo de cénit.

[Figura 8]

La figura 8 representa diagramas que ilustran una incertidumbre de 180 grados.

[Figura 9]

La Figura 9 es un diagrama de flujo que ilustra una operación de la realización.

[Figura 10]

La figura 10 es un diagrama de flujo que ilustra una operación de un primer ejemplo concreto de acuerdo con la realización.

[Figura 11]

La figura 11 es un diagrama que ilustra el resultado de detección del contorno de una mano.

[Figura 12]

La figura 12 representa diagramas que ilustran las líneas normales de una región de yema de dedo.

[Figura 13]

La figura 13 es un diagrama que ilustra una dirección de apuntamiento de dedo.

[Figura 14]

La figura 14 es un diagrama que ilustra una dirección de línea de visión.

[Figura 15]

La figura 15 es un diagrama de flujo que ilustra una operación de un segundo ejemplo concreto de acuerdo con la realización.

[Figura 16]

La figura 16 es un diagrama que ilustra la determinación de la forma tridimensional de una cara y la orientación de la cara.

[Figura 17]

La figura 17 es un diagrama de flujo que ilustra una operación de un tercer ejemplo concreto de acuerdo con la realización.

[Figura 18]

La figura 18 es un diagrama que ilustra una operación realizada para detectar la estructura esquelética de una mano.

[Figura 19]

La figura 19 es un diagrama que ilustra una configuración de un aparato de procesamiento de imágenes de acuerdo con la realización.

[Figura 20]

La figura 20 es un diagrama de flujo que ilustra una operación de aprendizaje.

[Figura 21]

La figura 21 es un diagrama de flujo que ilustra una operación de reconocimiento realizada basándose en un resultado de aprendizaje.

[Figura 22]

La figura 22 ilustra una operación de un ejemplo concreto de acuerdo con la realización.

[Figura 23]

La figura 23 es un diagrama que ilustra una interfaz de usuario a la que es aplicable la presente tecnología.

[Descripción de realizaciones]

A continuación se describirá la realización de la presente tecnología.

< Configuración básica y funcionamiento básico del aparato de procesamiento de imágenes >

La figura 1 ilustra una configuración básica de un aparato de procesamiento de imágenes. Un aparato de procesamiento de imágenes 10 incluye una sección de adquisición de imágenes polarizadas 20, una sección de cálculo de líneas normales 30 y una sección de reconocimiento 40.

La sección de adquisición de imágenes polarizadas 20 adquiere una pluralidad de imágenes polarizadas que muestran un objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, tales como imágenes polarizadas que tienen tres o más direcciones de polarización. La sección de adquisición de imágenes polarizadas 20 puede incluir una sección de formación de imágenes para generar imágenes polarizadas que tienen tres o más direcciones de polarización diferentes, o se puede configurar para adquirir imágenes polarizadas que tienen tres o más direcciones de polarización diferentes, por ejemplo, a partir de un instrumento externo o un medio de registro.

Basándose en las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas 20, la sección de cálculo de líneas normales 30 calcula las líneas normales del objeto objetivo de reconocimiento. La sección de cálculo de líneas normales 30 calcula las líneas normales aplicando, a una ecuación de modelo, la pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización, que son adquiridas por la sección de adquisición de imágenes polarizadas 20. La sección de cálculo de líneas normales 30 puede realizar adicionalmente un proceso de resolución de incertidumbre sobre las líneas normales calculadas para píxeles individuales, por ejemplo.

Basándose en las líneas normales calculadas por la sección de cálculo de líneas normales 30, la sección de reconocimiento 40 realiza un proceso de reconocimiento del objeto objetivo de reconocimiento. Si, por ejemplo, el objeto objetivo de reconocimiento es un indicador de entrada para una interfaz de usuario, la sección de reconocimiento 40 reconoce, por ejemplo, el tipo, la posición y la postura del objeto y emite el resultado de reconocimiento como información de entrada acerca de la interfaz de usuario.

La figura 2 es un diagrama de flujo que ilustra un funcionamiento básico del aparato de procesamiento de imágenes. En la etapa ST1, el aparato de procesamiento de imágenes adquiere imágenes polarizadas. La sección de adquisición de imágenes polarizadas 20 del aparato de procesamiento de imágenes 10 adquiere una pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST1, el procesamiento pasa a la etapa ST2. En la etapa ST2, el aparato de procesamiento de imágenes calcula las líneas normales. La sección de cálculo de líneas normales 30 del aparato de procesamiento de imágenes 10 calcula las líneas normales de píxeles individuales basándose en las imágenes polarizadas adquiridas en la etapa ST1. Tras la compleción de la etapa ST2, el procesamiento pasa a la etapa ST3. En la etapa ST3, el aparato de procesamiento de imágenes emite el resultado de reconocimiento. Basándose en las líneas normales calculadas en la etapa ST2, la sección de reconocimiento 40 del aparato de procesamiento de imágenes 10 realiza un proceso de reconocimiento sobre el objeto objetivo de reconocimiento y emite el resultado de reconocimiento.

La figura 3 ilustra una configuración de un aparato de procesamiento de imágenes de acuerdo con la realización. Un aparato de procesamiento de imágenes 11 incluye la sección de adquisición de imágenes polarizadas 20, una sección de cálculo de líneas normales 31 y una sección de procesamiento de interfaz de usuario (UI) 41.

La sección de adquisición de imágenes polarizadas 20 adquiere una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización. La figura 4 ilustra una configuración en la que se generan imágenes polarizadas en la sección de adquisición de imágenes polarizadas. Como se ilustra, por ejemplo, en (a) de la figura 4, la sección de adquisición de imágenes polarizadas 20 está configurada de tal modo que un filtro de polarización 202 con píxeles orientados en una pluralidad de direcciones de polarización diferentes se dispone sobre un sensor de imágenes 201 y realiza una operación de formación de imágenes para generar las imágenes polarizadas. (a) de la figura 4 ilustra un caso en el que el filtro de polarización 202 que tiene píxeles orientados en una de cuatro direcciones de polarización diferentes (las direcciones de polarización se indican mediante flechas) se dispone delante del sensor de imágenes 201. Además, la sección de adquisición de imágenes polarizadas 20 puede generar una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización usando la configuración de una disposición ordenada de múltiples lentes como se ilustra en (b) de la figura 4. Por ejemplo, se dispone una pluralidad de lentes 203 (cuatro lentes en la figura) delante del sensor de imágenes 201, y cada lente 203 se usa para formar una imagen óptica del objeto en el plano de formación de imágenes del sensor de imágenes 201. Además, unas placas de polarización 204 que tienen diferentes direcciones de polarización se disponen de forma individual delante de la lente 203 para generar una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización. Cuando la sección de adquisición de imágenes polarizadas 20 está configurada como se ha descrito anteriormente, se puede adquirir una pluralidad de imágenes polarizadas realizando una única operación de formación de imágenes. Por lo tanto, se puede realizar oportunamente un proceso de reconocimiento sobre el objeto objetivo de reconocimiento. Por otra parte, como se ilustra en (c) de la figura 4, unas placas de polarización 212-1 a 212-4 que tienen diferentes direcciones de polarización se pueden disponer delante de unas secciones de formación de imágenes 210-1 a 210-4 con el fin de generar una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización a partir de una pluralidad de puntos de vista diferentes.

Si el objeto objetivo de reconocimiento se mueve lentamente o de forma escalonada, se puede disponer una placa de polarización 211 delante de una sección de formación de imágenes 210 como se ilustra en (d) de la figura 4. En un caso como este, la placa de polarización 211 se rota para realizar una operación de formación de imágenes en cada una de las diferentes direcciones de polarización y adquirir una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización.

Si el sensor de imágenes 201 no usa filtro de color alguno, la sección de adquisición de imágenes polarizadas 20 es capaz de adquirir imágenes polarizadas en brillo. En el presente caso, en el caso ilustrado en (a) de la figura 4, se puede adquirir una imagen equivalente a una imagen de brillo normal no polarizada promediando los valores de brillo de cuatro píxeles vecinos que tienen diferentes direcciones de polarización. En los casos ilustrados en (b) y (c) de la figura 4, el paralaje entre una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización es despreciable en la medida en la que los intervalos de separación entre las lentes 203 y las secciones de formación de imágenes 210-1 a 210-4 son despreciablemente cortos en comparación con la distancia al objeto. Por lo tanto, se puede adquirir una imagen equivalente a una imagen de brillo normal no polarizada promediando los valores de brillo de imágenes polarizadas que tienen diferentes direcciones de polarización. Si el paralaje no es despreciable, se puede adquirir una imagen equivalente a una imagen de brillo normal no polarizada reposicionando las imágenes polarizadas que tienen diferentes direcciones de polarización de acuerdo con la cantidad de paralaje y promediando los valores de brillo de las imágenes polarizadas reposicionadas. En el caso ilustrado en (d) de la figura 4, se puede adquirir una imagen equivalente a una imagen de brillo normal no polarizada promediando los valores de brillo de las imágenes polarizadas en brillo con píxeles que tienen diferentes direcciones de polarización.

Además, la sección de adquisición de imágenes polarizadas 20 se puede configurar para proporcionar al sensor de imágenes 201 unos filtros de color con el fin de generar de forma simultánea una imagen polarizada en brillo y, por ejemplo, una imagen de tres colores primarios o una imagen de infrarrojos. Además, la sección de adquisición de imágenes polarizadas 20 puede generar una imagen de brillo calculando el brillo a partir de la imagen de tres colores primarios.

La sección de cálculo de líneas normales 31 calcula líneas normales libres de incertidumbre a partir de una pluralidad de imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas 20 e información auxiliar tal como diversos modelos. La sección de cálculo de líneas normales 31 incluye, por ejemplo, una sección de procesamiento de polarización 301, una sección de generación de imágenes de proceso de reconocimiento temporal 302, una sección de procesamiento de reconocimiento temporal 303, una sección de base de datos de modelos 304 y una sección de resolución de incertidumbre 305.

La sección de procesamiento de polarización 301 calcula líneas normales a partir de las imágenes polarizadas y emite las líneas normales calculadas a la sección de resolución de incertidumbre 305. La forma de un objeto y las imágenes polarizadas se describirán a continuación con referencia a la figura 5. Como se ilustra, por ejemplo, en la figura 5, se usa una fuente de luz LT para iluminar un objeto OB, y una sección de formación de imágenes DC captura una imagen del objeto OB a través de una placa de polarización PL. En este caso, la imagen capturada es de tal modo que el brillo del objeto OB varía con la dirección de polarización de la placa de polarización PL. Para facilitar la explicación, se supone que se obtiene el brillo más alto de Imáx y el brillo más bajo de Imín cuando, por ejemplo, se rota la placa de polarización PL para capturar una pluralidad de imágenes polarizadas. Además, en una situación en la que el eje x y el eje y en un sistema de coordenadas bidimensional están en el plano de la placa de polarización PL, se supone que el ángulo en la dirección del eje y con respecto al eje x cuando la placa de polarización PL se rota es el ángulo de polarización u.

Cuando la placa de polarización PL se rota 180 grados, esta vuelve al estado de polarización previo debido a que tiene una periodicidad de 180 grados. Además, se supone que el ángulo de polarización u obtenido cuando se observa el brillo máximo Imáx es el ángulo de azimut 0. Cuando se formula una definición como esta, el brillo I observado cuando se rota la placa de polarización PL se puede expresar mediante la Ecuación (1) a continuación. La figura 6 ilustra la relación entre brillo y ángulo de polarización. Asimismo, el ejemplo en la figura 6 representa un modelo de reflexión difusa. En el caso de la reflexión especular, el ángulo de azimut está alejado 90 grados con respecto al ángulo de polarización.

Operación matemática 1

I = Wl¿mln W_rmlnCOs(2u - 2$) ... (1)

En la Ecuación (1), el ángulo de polarización u es obvio en el momento de la generación de imágenes polarizadas, y el brillo máximo Imáx, el brillo mínimo Imín y el ángulo de azimut 0 son variables. Por lo tanto, cuando los valores de brillo de imágenes polarizadas que tienen tres o más direcciones de polarización se ajustan a una ecuación de modelo indicada mediante la Ecuación (1), el ángulo de azimut 0, que es un ángulo de polarización que proporciona el brillo máximo, se puede determinar basándose en la ecuación de modelo indicativa de la relación entre brillo y ángulo de polarización.

Además, las líneas normales en la superficie de un objeto se expresan mediante un sistema de coordenadas polares y se indican mediante el ángulo de azimut 0 y ángulo de cénit G. Se supone que el ángulo de cénit G es un ángulo medido desde el eje z hacia las líneas normales, y que el ángulo de azimut 0 es un ángulo en la dirección del eje y con respecto al eje x como se ha mencionado anteriormente. En este caso, cuando el brillo mínimo Imín y el brillo máximo Imáx se obtienen tras la rotación de la placa de polarización PL, el grado de polarización p se puede calcular basándose en la Ecuación (2) a continuación.

Operación matemática 2

p m^áx 1mín (2)

Jmáx+1mín

Se sabe que, en el caso de la reflexión difusa, la relación entre el grado de polarización p y el ángulo de cénit G presenta las características representadas, por ejemplo, en la figura 7 basándose en las ecuaciones de Fresnel. Por lo tanto, las características representadas en la figura 7 indican que el ángulo de cénit G se puede determinar basándose en el grado de polarización p. Las características representadas en la figura 7 son meramente ilustrativas y varían dependiendo, por ejemplo, del índice de refracción del objeto. Por ejemplo, el grado de polarización aumenta con un aumento en el índice de refracción.

Las líneas normales calculadas como se ha descrito anteriormente tienen una incertidumbre de 180 grados. La figura 8 representa diagramas que ilustran una incertidumbre de 180 grados. Cuando se van a calcular las líneas normales permitiendo que la sección de formación de imágenes DC capture una imagen del objeto OB representado en (a) de la figura 8, los cambios de brillo provocados por la rotación en la dirección de polarización tienen una periodicidad de 180 grados. Por lo tanto, la dirección de las líneas normales (indicadas mediante una flecha) en una región media superior GA del objeto OB puede ser correcta como se indica en (b) de la figura 8; sin embargo, se puede invertir la dirección de las líneas normales en la región media inferior GB.

La sección de generación de imágenes de proceso de reconocimiento temporal 302 genera una imagen de proceso de reconocimiento temporal basándose en la pluralidad de imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas 20. La sección de generación de imágenes de proceso de reconocimiento temporal 302 calcula, por ejemplo, el promedio de una pluralidad de imágenes polarizadas con el fin de generar una imagen de proceso de reconocimiento temporal equivalente a una imagen capturada (imagen normal) que se adquiere sin usar una placa de polarización o un filtro de polarización. Asimismo, la sección de generación de imágenes de proceso de reconocimiento temporal 302 puede extraer una imagen polarizada que tiene una única dirección de polarización a partir de una pluralidad de imágenes polarizadas y usar la imagen polarizada extraída como la imagen de proceso de reconocimiento temporal. Asimismo, la sección de generación de imágenes de proceso de reconocimiento temporal 302 puede usar la pluralidad de imágenes polarizadas adquiridas como la imagen de proceso de reconocimiento temporal. Además, la sección de generación de imágenes de proceso de reconocimiento temporal 302 puede usar tanto una imagen normal como una imagen polarizada como la imagen de proceso de reconocimiento temporal. La sección de generación de imágenes de proceso de reconocimiento temporal 302 emite la imagen de proceso de reconocimiento temporal a la sección de procesamiento de reconocimiento temporal 303.

La sección de procesamiento de reconocimiento temporal 303 usa la imagen de proceso de reconocimiento temporal, que es generada por la sección de generación de imágenes de proceso de reconocimiento temporal 302, con el fin de reconocer temporalmente el objeto objetivo de reconocimiento. La sección de procesamiento de reconocimiento temporal 303 realiza un reconocimiento de objeto usando la imagen de proceso de reconocimiento temporal y determina, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento. La sección de procesamiento de reconocimiento temporal 303 usa, por ejemplo, la imagen de proceso de reconocimiento temporal y las imágenes (imágenes normales e imágenes polarizadas) de modelos de diversos objetos almacenados por adelantado en la sección de base de datos de modelos 304 con el fin de determinar el modelo lo más cerca del objeto objetivo de reconocimiento. Si la imagen de proceso de reconocimiento temporal generada por la sección de generación de imágenes de proceso de reconocimiento temporal 302 incluye una imagen polarizada, la sección de procesamiento de reconocimiento temporal 303 también tiene en cuenta características de polarización con el fin de determinar el modelo lo más cerca del objeto objetivo de reconocimiento. La sección de procesamiento de reconocimiento temporal 303 emite el modelo determinado a la sección de resolución de incertidumbre 305 como un resultado de reconocimiento temporal. La sección de procesamiento de reconocimiento temporal 303 puede usar un método de reconocimiento de objetos que no sea un método de ajuste de modelo con el fin de reconocer temporalmente el objeto objetivo de reconocimiento.

La sección de resolución de incertidumbre 305 resuelve la incertidumbre de las líneas normales calculadas por la sección de procesamiento de polarización 301 de acuerdo con el resultado de reconocimiento temporal suministrado desde la sección de procesamiento de reconocimiento temporal 303. Como se ha mencionado anteriormente, el resultado de reconocimiento temporal incluye información acerca de, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento. Por lo tanto, la sección de resolución de incertidumbre 305 resuelve la incertidumbre de líneas normales a partir de direcciones de líneas normales que tienen una diferencia de fase de 180 grados con respecto a las líneas normales de acuerdo con el modelo indicado mediante el resultado de reconocimiento temporal. Es decir, la sección de resolución de incertidumbre 305 resuelve la incertidumbre de las líneas normales identificando las direcciones de líneas normales de acuerdo con la forma del objeto objetivo de reconocimiento, y emite las líneas normales libres de incertidumbre resultantes a la sección de procesamiento de UI 41.

La sección de procesamiento de UI 41 reconoce el objeto usando las líneas normales libres de incertidumbre generadas por la sección de cálculo de líneas normales 31. La sección de procesamiento de UI 41 considera el objeto objetivo de reconocimiento en las imágenes polarizadas, que son adquiridas por la sección de adquisición de imágenes polarizadas 20, como el indicador de entrada para la interfaz de usuario. La sección de procesamiento de UI 41 realiza un reconocimiento de objeto basándose en las líneas normales calculadas por la sección de cálculo de líneas normales 31 y genera información de entrada en la interfaz de usuario (denominada en lo sucesivo en el presente documento "información de UI"). Como se ha mencionado anteriormente, las líneas normales representan información indicativa de la forma tridimensional del objeto objetivo de reconocimiento. La sección de procesamiento de UI 41 realiza un reconocimiento de objeto para reconocer, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento, y emite el resultado de reconocimiento como la información de UI.

La Figura 9 es un diagrama de flujo que ilustra una operación de la realización. En la etapa ST11, la sección de adquisición de imágenes polarizadas 20 adquiere las imágenes polarizadas. La sección de adquisición de imágenes polarizadas 20 realiza una operación de formación de imágenes usando una placa de polarización o un filtro de polarización y adquiere una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST11, el procesamiento pasa a las etapas ST12 y ST13.

En la etapa ST12, la sección de cálculo de líneas normales 31 calcula las líneas normales. La sección de cálculo de líneas normales 31 ajusta los valores de píxel de píxeles individuales en una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST12, el procesamiento pasa a la etapa ST15.

En la etapa ST13, la sección de cálculo de líneas normales 31 genera la imagen de proceso de reconocimiento temporal. La sección de cálculo de líneas normales 31 promedia los valores de píxel de píxeles individuales en una pluralidad de imágenes polarizadas que se generan, por ejemplo, en la etapa ST11 y tienen diferentes direcciones de polarización, y considera los valores promedio resultantes como los valores de píxel de la imagen de proceso de reconocimiento temporal (equivalente a una imagen normal). Tras la compleción de la etapa ST13, el procesamiento pasa a la etapa ST14.

En la etapa ST14, la sección de cálculo de líneas normales 31 realiza un proceso de reconocimiento temporal. La sección de cálculo de líneas normales 31 realiza un ajuste usando, por ejemplo, la imagen de proceso de reconocimiento temporal y un modelo almacenado, y reconoce, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento. Tras la compleción de la etapa ST14, el procesamiento pasa a la etapa ST15.

En la etapa ST15, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales. La sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales calculadas en la etapa ST12, en concreto, la incertidumbre de las líneas normales que tienen una incertidumbre de 180 grados, de acuerdo con el resultado de reconocimiento temporal obtenido en la etapa ST14, es decir, de acuerdo, por ejemplo, con el tipo, la posición y la postura del objeto objetivo de reconocimiento. Tras la compleción de la etapa ST15, el procesamiento pasa a la etapa ST16.

En la etapa ST16, la sección de procesamiento de UI 41 genera la información de UI. Basándose en las líneas normales libres de incertidumbre, la sección de procesamiento de UI 41 reconoce, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento, y considera el resultado de reconocimiento como la información de UI.

< Primer Ejemplo Concreto >

A continuación se describirá un primer ejemplo concreto. En el primer ejemplo concreto, el objeto objetivo de reconocimiento es una mano, y la sección de procesamiento de reconocimiento temporal reconoce las posiciones de una punta de dedo y una yema de dedo de la mano usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente. Además, la sección de resolución de incertidumbre resuelve la incertidumbre de las líneas normales de la región de dedo de la mano de acuerdo con las posiciones de la punta de dedo y la yema de dedo reconocidas temporalmente por la sección de procesamiento de reconocimiento temporal. La sección de reconocimiento determina una dirección de apuntamiento de dedo de acuerdo con las líneas normales libres de incertidumbre de la región de dedo.

La figura 10 es un diagrama de flujo que ilustra una operación del primer ejemplo concreto de acuerdo con la realización. En la etapa ST21, la sección de adquisición de imágenes polarizadas 20 adquiere imágenes polarizadas. La sección de adquisición de imágenes polarizadas 20 usa una placa de polarización o un filtro de polarización para capturar una imagen de la mano que apunta en una dirección. Además, la sección de adquisición de imágenes polarizadas 20 adquiere una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización. T ras la compleción de la etapa S21, el procesamiento pasa a las etapas ST22 y ST23.

En la etapa ST22, la sección de cálculo de líneas normales 31 calcula las líneas normales. La sección de cálculo de líneas normales 31 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST22, el procesamiento pasa a la etapa ST25.

En la etapa ST23, la sección de cálculo de líneas normales 31 genera la imagen de proceso de reconocimiento temporal. La sección de cálculo de líneas normales 31 promedia los valores de píxel de píxeles individuales en una pluralidad de imágenes polarizadas que se generan, por ejemplo, en la etapa ST21 y tienen diferentes direcciones de polarización, y considera los valores promedio resultantes como los valores de píxel de la imagen de proceso de reconocimiento temporal (equivalente a una imagen normal). Tras la compleción de la etapa ST23, el procesamiento pasa a la etapa ST24.

En la etapa ST24, la sección de cálculo de líneas normales 31 detecta las posiciones de la punta de dedo y la yema de dedo. La sección de cálculo de líneas normales 31 usa una tecnología de reconocimiento de imágenes para detectar una región de punta de dedo y una región de yema de dedo a partir de la imagen de proceso de reconocimiento temporal. Como se describe, por ejemplo, en el documento "S. K. Kang, M. Y. Nam y P. K. Rhee, 'Color Based Hand and Finger Detection Technology for User Interactiorí, International Conference on Convergence and Hybrid Information Technology, págs. 229-236, 2008, la sección de cálculo de líneas normales 31 extrae una región de imagen de color de piel de una imagen de proceso de reconocimiento temporal de color y realiza una detección de bordes dentro de una región de borde de la región de imagen extraída para detectar el contorno de la mano. La figura 11 ilustra el resultado de detección del contorno de la mano. La región de imagen dentro del contorno de la mano es una región de mano ARh.

A continuación, la sección de cálculo de líneas normales 31 detecta la región de dedo a partir de la región de mano. La sección de cálculo de líneas normales 31 realiza un proceso de apertura de morfología sobre la región de mano. En el proceso de apertura de morfología, en primer lugar se elimina un objeto pequeño dentro de una imagen para mantener la forma y el tamaño de un objeto grande. Es decir, cuando el proceso de apertura de morfología se realiza sobre la región de mano, en primer lugar se elimina la región de dedo más delgada que la palma de la mano. Por lo tanto, la región de dedo se puede detectar calculando la diferencia entre una imagen obtenida antes del proceso de apertura de morfología y una imagen obtenida después del proceso de apertura de morfología.

Asimismo, la región de dedo se puede detectar usando un método diferente. Por ejemplo, se puede considerar que la forma externa de un dedo está formada por una pluralidad de cubiertas proyectadas. La región de dedo se puede determinar entonces de acuerdo con el resultado de detección de las cubiertas proyectadas a partir de la región de mano. Las cubiertas proyectadas se pueden detectar fácilmente, por ejemplo, usando un método para adquirir cubiertas proyectadas disponible en la biblioteca de visión por ordenador de código abierto (OpenCV). En consecuencia, se puede detectar una región de dedo ARf como se ilustra en la figura 11.

La sección de cálculo de líneas normales 31 separa la región de dedo detectada en la región de punta de dedo y la región de yema de dedo. Como se ilustra en la figura 11, la sección de cálculo de líneas normales 31 considera una región de diferencia entre la región de mano ARh y la región de dedo ARf detectada como una primera región ARg. Además, la sección de cálculo de líneas normales 31 separa la región de dedo ARf en una región de punta de dedo ARfs y una región de yema de dedo ARft. La región de punta de dedo ARfs es una región lo más lejos del centro de gravedad BG de la región de puño ARg. La región de yema de dedo ARft es la porción restante de la región de dedo ARf.

En la etapa ST25, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales. La sección de cálculo de líneas normales 31 considera la forma externa de un dedo como proyectada y, de acuerdo con el resultado de detección en la etapa ST24, resuelve la incertidumbre de las líneas normales que corresponden a la región de dedo y tienen una incertidumbre de 180 grados, en concreto, las líneas normales calculadas en la etapa ST22. Tras la compleción de la etapa ST25, el procesamiento pasa a la etapa ST26. La figura 12 ilustra las líneas normales de la región de yema de dedo. (a) de la figura 12 ilustra las líneas normales de la región de yema de dedo ARft que se obtiene antes de la resolución de incertidumbre. (b) de la figura 12 ilustra las líneas normales de la región de yema de dedo ARft que se obtiene tras la resolución de incertidumbre.

En la etapa ST26, la sección de procesamiento de UI 41 determina la dirección de apuntamiento de dedo. Basándose en las líneas normales libres de incertidumbre de la región de dedo, la sección de procesamiento de UI 41 determina la dirección en la que se apunta la punta de dedo, es decir, la dirección de apuntamiento de dedo, y considera el resultado de la determinación como la información de UI.

Como se ilustra en la figura 13, la dirección de apuntamiento de dedo es una dirección fs que es sustancialmente ortogonal a las líneas normales de la región de yema de dedo ARft. Por lo tanto, cuando, por ejemplo, se va a identificar una operación de apuntamiento de dedo realizada por un usuario que está orientado hacia la sección de adquisición de imágenes polarizadas 20, una dirección FP que es ortogonal a las líneas normales de la región de yema de dedo y que está orientada de atrás hacia delante de una imagen es considerada como la dirección de apuntamiento de dedo por la sección de procesamiento de UI 41.

Cuando un vector p en la dirección de apuntamiento de dedo es igual a la Ecuación (3) y un vector n en la dirección de líneas normales de la región de yema de dedo es igual a la Ecuación (4), el producto escalar del vector p y el vector n es "0" como se indica mediante la Ecuación (5). Por lo tanto, en lo que respecta a las líneas normales en una pluralidad de posiciones (por ejemplo, k posiciones) en la región de yema de dedo, es decir, líneas normales N indicadas en la Ecuación (6), la sección de procesamiento de UI 41 determina el vector p que satisface la Ecuación (7) en unas condiciones de limitación definidas por la Ecuación (8).

Operación matemática 3

Cuando una función W se define como se indica en la Ecuación (9), la función mínima en la Ecuación (7) se puede definir como una función C como se indica mediante la Ecuación (10). Es decir, se debería determinar el vector p que minimiza la función C en las condiciones de limitación definidas por la Ecuación (8). El método de los multiplicadores de Lagrange se usa para calcular el vector P que minimiza la función C. Cuando se usa el método de los multiplicadores de Lagrange, la Ecuación (10) puede ser sustituida por la Ecuación (11), que usa un multiplicador de Lagrange A. Por lo tanto, el vector p que satisface la Ecuación (7) se puede calcular determinando el vector p que satisface una ecuación característica indicada como la Ecuación (12). El vector p que satisface la ecuación característica se establece cuando el vector P es un vector característico de la función W, y el valor de A corresponde a un valor característico. En este caso, cuando el vector característico de la función W se sustituye como el vector p, el valor mínimo de la función C es igual a A. Por lo tanto, el vector p que satisface la Ecuación (7) es un vector característico que corresponde al valor característico mínimo de la función W.

Operación matemática 4

Realizar el proceso descrito anteriormente hace posible determinar la dirección de apuntamiento de dedo de forma más precisa que cuando se usa una imagen de distancia. Asimismo, el primer ejemplo concreto ilustra un caso en el que se va a determinar la dirección de apuntamiento de dedo. Sin embargo, como se ilustra en la figura 14, también se puede detectar la posición del iris de un ojo EP para determinar una dirección de línea de visión FP dependiendo de la dirección en la que se desvía el iris del ojo EP con respecto al centro y de la distancia de un desplazamiento como este.

< Segundo Ejemplo Concreto >

A continuación se describirá un segundo ejemplo concreto de la realización. En el segundo ejemplo concreto, el objeto objetivo de reconocimiento es una cara, y la sección de procesamiento de reconocimiento temporal reconoce la posición de una región de cara usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente. Asimismo, la sección de resolución de incertidumbre resuelve la incertidumbre de las líneas normales de la cara de acuerdo con la posición de la cara reconocida temporalmente por la sección de procesamiento de reconocimiento temporal. La sección de reconocimiento determina la forma o expresión de la cara de acuerdo con las líneas normales libres de incertidumbre de la región de cara.

La figura 15 es un diagrama de flujo que ilustra una operación del segundo ejemplo concreto de acuerdo con la realización. En la etapa ST31, la sección de adquisición de imágenes polarizadas 20 adquiere imágenes polarizadas. La sección de adquisición de imágenes polarizadas 20 usa una placa de polarización o un filtro de polarización para capturar una imagen de la cara. Además, con un filtro de color dispuesto en la sección de formación de imágenes, la sección de adquisición de imágenes polarizadas 20 adquiere una pluralidad de imágenes polarizadas en color que tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST31, el procesamiento pasa a las etapas ST32 y ST33.

En la etapa ST32, la sección de cálculo de líneas normales 31 calcula las líneas normales. La sección de cálculo de líneas normales 31 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST32, el procesamiento pasa a la etapa ST35.

En la etapa ST33, la sección de cálculo de líneas normales 31 genera la imagen de proceso de reconocimiento temporal. La sección de cálculo de líneas normales 31 promedia los valores de píxel de píxeles individuales en una pluralidad de imágenes polarizadas que se generan, por ejemplo, en la etapa ST31 y tienen diferentes direcciones de polarización, y considera los valores promedio resultantes como los valores de píxel de la imagen de proceso de reconocimiento temporal (equivalente a una imagen normal). Tras la compleción de la etapa ST33, el procesamiento pasa a la etapa ST34.

En la etapa ST34, la sección de cálculo de líneas normales 31 realiza un reconocimiento de cara y detecta los puntos característicos de la cara. La sección de cálculo de líneas normales 31 usa una tecnología de reconocimiento de cara para detectar la posición de la cara a partir de la imagen de proceso de reconocimiento temporal. Además, la sección de cálculo de líneas normales 31 detecta los puntos característicos de la cara usando modelos de formas activas que se divulgan, por ejemplo, en el documento "T. F. Cootes, C. J. Taylor, D. H. Cooper y J. Graham: 'Active Shape Models - Their Training and Application', Computer Vision and Image Understanding, vol. 16, n.° 1, enero, págs. 38-59, 1995". Los modelos de formas activas logran una detección automática de puntos característicos que determinan la postura de un objeto objetivo de reconocimiento sometido a formación de imágenes. Más específicamente, se prepara manualmente una pluralidad de imágenes de aprendizaje que tienen puntos característicos dispuestos de forma apropiada, y entonces se genera una forma intermedia del objeto objetivo de reconocimiento a partir de las imágenes de aprendizaje preparadas. Subsiguientemente, se busca el objeto objetivo de reconocimiento cambiando la posición de la forma intermedia en relación con una imagen que se va a reconocer. En un caso como este, se observan cambios de brillo en las periferias de los puntos característicos en la forma intermedia para realizar la puesta en coincidencia de plantillas. Estas búsquedas se repiten a resoluciones individuales de una pirámide de imágenes de resoluciones bajas a altas. La sección de cálculo de líneas normales 31 realiza el proceso descrito anteriormente para detectar los puntos característicos de la cara. Tras la compleción de la etapa ST34, el procesamiento pasa a la etapa ST35.

En la etapa ST35, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales. La sección de cálculo de líneas normales 31 determina la forma y orientación tridimensionales de la cara a partir de la relación posicional entre los puntos característicos de la cara detectados en la etapa ST34 y puntos característicos almacenados de un modelo tridimensional. Como se ilustra en la figura 16, la sección de cálculo de líneas normales 31 determina la forma y orientación tridimensionales de la cara a partir de la relación posicional entre los puntos característicos (por ejemplo, los ojos, la nariz y la boca) de una cara OBf y un modelo tridimensional ML. Además, basándose en la forma y orientación tridimensionales determinadas de la cara y de acuerdo con el resultado de detección en la etapa ST34, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales que se calculan en la etapa ST32, tienen una incertidumbre de 180 grados y corresponden a la región de cara. Tras la compleción de la etapa ST35, el procesamiento pasa a la etapa ST36.

En la etapa ST36, la sección de procesamiento de UI 41 determina la forma y la expresión de la cara. Basándose en las líneas normales libres de incertidumbre de la región de cara, la sección de procesamiento de UI 41 determina la forma y expresión detalladas de la cara y considera el resultado de la determinación como la información de UI. Por ejemplo, la sección de procesamiento de UI 41 determina la forma detallada de la cara integrando las líneas normales libres de incertidumbre de la región de cara y determina la expresión facial a partir de la forma detallada de la cara. Para la determinación de la forma y la expresión de la cara, por ejemplo, se pueden usar información de imagen de distancia y un modelo de forma tridimensional.

Realizar el proceso descrito anteriormente hace posible determinar la forma y la expresión de la cara de forma más precisa que cuando se usa una imagen de distancia. El segundo ejemplo concreto ilustra un caso en el que se va a realizar un reconocimiento de cara. Sin embargo, también se puede reconocer un objeto conocido cuando, por ejemplo, se prepara un modelo tridimensional del objeto conocido.

< Tercer Ejemplo Concreto >

A continuación se describirá un tercer ejemplo concreto de la realización. En el tercer ejemplo concreto, el objeto objetivo de reconocimiento es una mano, y la sección de procesamiento de reconocimiento temporal reconoce la posición y la estructura esquelética de una región de mano usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente. Además, la sección de resolución de incertidumbre resuelve la incertidumbre de las líneas normales de la región de mano de acuerdo con la posición y la estructura esquelética de la región de mano que son reconocidas temporalmente por la sección de procesamiento de reconocimiento temporal. La sección de reconocimiento determina la forma de la mano de acuerdo con las líneas normales libres de incertidumbre de la región de mano.

La figura 17 es un diagrama de flujo que ilustra una operación del tercer ejemplo concreto de acuerdo con la realización. En la etapa ST41, la sección de adquisición de imágenes polarizadas 20 adquiere imágenes polarizadas. La sección de adquisición de imágenes polarizadas 20 usa una placa de polarización o un filtro de polarización para capturar una imagen de la mano. Además, con un filtro de color dispuesto en la sección de formación de imágenes, la sección de adquisición de imágenes polarizadas 20 adquiere una pluralidad de imágenes polarizadas en color que tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST41, el procesamiento pasa a las etapas ST42 y ST43.

En la etapa ST42, la sección de cálculo de líneas normales 31 calcula las líneas normales. La sección de cálculo de líneas normales 31 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST42, el procesamiento pasa a la etapa ST45.

En la etapa ST43, la sección de cálculo de líneas normales 31 genera la imagen de proceso de reconocimiento temporal. La sección de cálculo de líneas normales 31 promedia los valores de píxel de píxeles individuales en una pluralidad de imágenes polarizadas que se generan, por ejemplo, en la etapa ST41 y tienen diferentes direcciones de polarización, y considera los valores promedio resultantes como los valores de píxel de la imagen de proceso de reconocimiento temporal (equivalente a una imagen normal). Tras la compleción de la etapa ST43, el procesamiento pasa a la etapa ST44.

En la etapa ST44, la sección de cálculo de líneas normales 31 detecta la posición y la postura de la mano. La sección de cálculo de líneas normales 31 realiza un procesamiento de la misma forma que en la etapa ST24 para detectar la región de un puño o una palma y la región de punta de dedo, y detecta la estructura esquelética de la mano conectando la punta de dedo al centro de gravedad de la región del puño o la palma. La figura 18 es un diagrama que ilustra una operación realizada para detectar la estructura esquelética de la mano. La sección de cálculo de líneas normales 31 detecta una región de palma ARk y una región de dedo ARf, y entonces detecta la estructura esquelética de la mano conectando el centro de gravedad de la región de palma ARk con el extremo delantero de la región de dedo ARf como se indica mediante líneas de trazo discontinuo.

La sección de cálculo de líneas normales 31 determina un error de ajuste entre la estructura esquelética detectada de la mano y un modelo de estructura esquelética almacenado de cada postura de mano, y considera la postura de un modelo de estructura esquelética que minimiza el error de ajuste como la postura de mano sometida a formación de imágenes. Mientras que, por ejemplo, el centro de gravedad de la estructura esquelética detectada de la mano coincide con el centro de gravedad de un modelo de estructura esquelética almacenado, la sección de cálculo de líneas normales 31 calcula la suma de la diferencia absoluta (SAD) de las coordenadas de posición, por ejemplo, de una articulación o una punta de dedo en función del modelo de estructura esquelética individual. La sección de cálculo de líneas normales 31 considera una postura que tiene la SAD calculada más pequeña como la postura de mano sometida a formación de imágenes. Después de detectar la posición y la postura de la mano de la forma anterior, la sección de cálculo de líneas normales 31 pasa a la etapa ST45.

En la etapa ST45, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales. Basándose en la posición y la postura de la mano detectada en la etapa ST44, la sección de cálculo de líneas normales 31 resuelve la incertidumbre de las líneas normales que se calculan en la etapa ST42, tienen una incertidumbre de 180 grados y corresponden a la región de mano. Tras la compleción de la etapa ST45, el procesamiento pasa a la etapa ST46.

En la etapa ST46, la sección de procesamiento de UI 41 determina la forma de la mano. Basándose en las líneas normales libres de incertidumbre de la región de mano, la sección de procesamiento de UI 41 determina la forma de la mano y considera el resultado de la determinación como la información de UI. Por ejemplo, la sección de procesamiento de UI 41 determina la forma detallada de la mano integrando las líneas normales libres de incertidumbre de la región de mano. Para la determinación de la forma de la mano, por ejemplo, se pueden usar información de imagen de distancia y un modelo de forma tridimensional.

Realizar el proceso descrito anteriormente hace posible determinar la forma de la mano de forma más precisa que cuando se usa una imagen de distancia. Asimismo, el tercer ejemplo concreto se puede aplicar para determinar no solo la forma de la mano sino también la dirección de apuntamiento de dedo. En un caso como este, en la etapa ST44, la sección de cálculo de líneas normales 31 realiza un ajuste entre la región de dedo detectada de forma similar en la etapa ST24 y un modelo de forma de dedo almacenado para cada dirección de apuntamiento de dedo. Para el ajuste, la región de dedo (o región de mano) detectada se sitúa para que se superponga a la región de dedo (o región de mano) del modelo de forma de dedo mientras la región de punta de dedo detectada de forma similar en la etapa ST24 se usa como un punto de apoyo. La sección de procesamiento de UI 41 considera la postura de un modelo de forma de dedo que minimiza el error de ajuste, es decir, el error de superposición, como la dirección de apuntamiento de dedo de la mano sometida a formación de imágenes.

Asimismo, las operaciones descritas usando los diagramas de flujo de acuerdo con la realización no se limitan a un caso en el que se realiza un proceso de generación de líneas normales que tienen incertidumbre en paralelo con un proceso de generación de la imagen de proceso de reconocimiento temporal y de reconocimiento temporal del objeto objetivo de reconocimiento. Una alternativa, por ejemplo, es realizar uno de los dos procesos y entonces realizar el proceso restante.

Por cierto, la información de UI se puede generar basándose en líneas normales que tienen incertidumbre.

La figura 19 es un diagrama que ilustra una configuración de un aparato de procesamiento de imágenes de acuerdo con la realización. Un aparato de procesamiento de imágenes 12 incluye unas secciones de adquisición de imágenes polarizadas 20-1 y 20-2, unas secciones de cálculo de líneas normales 32-1 y 32-2 y una sección de procesamiento de interfaz de usuario (UI) 42.

Las secciones de adquisición de imágenes polarizadas 20-1 y 20-2 adquieren una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización. Las secciones de adquisición de imágenes polarizadas 20-1 y 20-2 están configuradas de forma similar a la de la sección de adquisición de imágenes polarizadas 20 en la primera realización. La sección de adquisición de imágenes polarizadas 20-1 adquiere una pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, y emite las imágenes polarizadas adquiridas a la sección de cálculo de líneas normales 32-1. La sección de adquisición de imágenes polarizadas 20-2 adquiere una pluralidad de imágenes polarizadas que muestran un objeto de aprendizaje y tienen diferentes direcciones de polarización, y emite las imágenes polarizadas adquiridas a la sección de cálculo de líneas normales 32-2. Asimismo, las secciones de adquisición de imágenes polarizadas 20-1 y 20-2 pueden emitir las imágenes polarizadas adquiridas a la sección de procesamiento de UI 42.

La sección de cálculo de líneas normales 32-1 (32-2) calcula las líneas normales a partir de una pluralidad de imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas 20-1 (20-2). La sección de cálculo de líneas normales 32-1 (32-2) se configura usando la sección de procesamiento de polarización 301 de la sección de cálculo de líneas normales 31 en lo que antecede. La sección de cálculo de líneas normales 32-1 realiza un procesamiento de forma similar a la sección de procesamiento de polarización 301 mencionada anteriormente para calcular las líneas normales a partir de las imágenes polarizadas que se van a reconocer, que son adquiridas por la sección de adquisición de imágenes polarizadas 20-1, y emite las líneas normales calculadas a la sección de procesamiento de UI 42. De forma similar, la sección de cálculo de líneas normales 32-2 calcula las líneas normales de las imágenes polarizadas del objeto de aprendizaje, que son adquiridas por la sección de adquisición de imágenes polarizadas 20-2, y emite las líneas normales calculadas a la sección de procesamiento de UI 42.

La sección de procesamiento de UI 42 considera el objeto objetivo de reconocimiento, que se muestra en las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas 20-1, como el indicador de entrada para la interfaz de usuario. Además, basándose en las líneas normales que son calculadas por la sección de cálculo de líneas normales 32-1 y que siguen teniendo incertidumbre, la sección de procesamiento de UI 42 realiza un reconocimiento de objeto y genera información de entrada en la interfaz de usuario (denominada en lo sucesivo en el presente documento "información de UI"). Como se ha mencionado anteriormente, las líneas normales representan información indicativa de la forma tridimensional del objeto objetivo de reconocimiento. La sección de procesamiento de UI 42 realiza un reconocimiento de objeto para reconocer, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento, y emite el resultado de reconocimiento como la información de UI. Además, la sección de procesamiento de UI 42 almacena, por adelantado, datos de profesor basándose en el objeto de aprendizaje y, de acuerdo con los datos de profesor almacenados y los datos de estudiante calculados basándose en las imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, realiza un proceso de reconocimiento sobre el objeto objetivo de reconocimiento.

La sección de procesamiento de UI 42 incluye una sección de generación de datos de profesor 421, una sección de base de datos de profesores 422 y una sección de procesamiento de reconocimiento 423.

La sección de generación de datos de profesor 421 genera datos de profesor basándose en el objeto de aprendizaje usando las líneas normales calculadas por la sección de cálculo de líneas normales 32-2, y hace que la sección de base de datos de profesores 422 almacene los datos de profesor generados. Adicionalmente, la sección de generación de datos de profesor 421 puede generar imágenes no polarizadas (imágenes normales) usando las imágenes polarizadas suministradas desde la sección de adquisición de imágenes polarizadas 20-2, y generar los datos de profesor usando la cantidad característica calculada a partir de las imágenes no polarizadas y las líneas normales adquiridas.

La sección de base de datos de profesores 422 almacena los datos de profesor generados por la sección de generación de datos de profesor 421. Además, la sección de base de datos de profesores 422 emite los datos de profesor almacenados a la sección de procesamiento de reconocimiento 423.

La sección de procesamiento de reconocimiento 423 genera los datos de estudiante basándose en las líneas normales calculadas por la sección de cálculo de líneas normales 32-1, realiza un proceso de reconocimiento usando los datos de estudiante generados y los datos de profesor almacenados en la sección de base de datos de profesores 422, y genera la información de UI. Adicionalmente, la sección de procesamiento de reconocimiento 423 puede generar imágenes no polarizadas (imágenes normales) usando las imágenes polarizadas suministradas desde la sección de adquisición de imágenes polarizadas 20-1, y generar los datos de estudiante usando la cantidad característica calculada a partir de las imágenes no polarizadas y las líneas normales adquiridas.

A continuación se describirá una operación de la realización. La figura 20 es un diagrama de flujo que ilustra una operación de aprendizaje. En la etapa ST51, la sección de adquisición de imágenes polarizadas 20-2 adquiere imágenes polarizadas del objeto de aprendizaje. La sección de adquisición de imágenes polarizadas 20-2 usa una placa de polarización o un filtro de polarización para adquirir una pluralidad de imágenes polarizadas que muestran el objeto de aprendizaje y tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST51, el procesamiento pasa a la etapa ST52.

En la etapa ST52, la sección de cálculo de líneas normales 32-2 calcula las líneas normales. La sección de cálculo de líneas normales 32-2 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST52, el procesamiento pasa a la etapa ST54.

En la etapa ST54, la sección de procesamiento de UI 42 genera los datos de profesor. La sección de procesamiento de UI 42 genera los datos de profesor de acuerdo con las líneas normales calculadas basándose en las imágenes polarizadas del objeto de aprendizaje. Tras la compleción de la etapa ST54, el procesamiento pasa a la etapa ST55.

En la etapa ST55, la sección de procesamiento de UI 42 almacena los datos de profesor. La sección de procesamiento de UI 42 hace que la sección de base de datos de profesores 422 almacene los datos de profesor generados en la etapa ST54.

Además, las etapas ST51 a ST55 se realizan para cada objeto de aprendizaje con el fin de dejar que la sección de procesamiento de UI 42 almacene datos de profesor que se generan con diversos objetos considerados como objetos de aprendizaje. Cuando la información de UI se va a generar basándose en las imágenes polarizadas y las líneas normales que tienen incertidumbre, la sección de procesamiento de UI 42 realiza la etapa ST53 para generar imágenes no polarizadas a partir de las imágenes polarizadas. Además, en la etapa ST54, la sección de procesamiento de UI 42 genera datos de profesor usando las líneas normales calculadas basándose en las imágenes polarizadas de los objetos de aprendizaje y la cantidad característica calculada a partir de las imágenes no polarizadas.

La figura 21 es un diagrama de flujo que ilustra una operación de reconocimiento realizada basándose en un resultado de aprendizaje. En la etapa ST61, la sección de adquisición de imágenes polarizadas 20-1 adquiere imágenes polarizadas del objeto objetivo de reconocimiento. La sección de adquisición de imágenes polarizadas 20-1 usa una placa de polarización o un filtro de polarización para adquirir una pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST61, el procesamiento pasa a la etapa ST62.

En la etapa ST62, la sección de cálculo de líneas normales 32-1 calcula las líneas normales. La sección de cálculo de líneas normales 32-1 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales basándose en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST62, el procesamiento pasa a la etapa ST64.

En la etapa ST64, la sección de procesamiento de UI 42 genera los datos de estudiante. La sección de procesamiento de UI 42 genera los datos de estudiante de acuerdo con las líneas normales calculadas basándose en las imágenes polarizadas del objeto objetivo de reconocimiento. Tras la compleción de la etapa ST64, el procesamiento pasa a la etapa ST65.

En la etapa ST65, la sección de procesamiento de UI 42 genera la información de UI. De acuerdo con los datos de estudiante generados en la etapa ST64 y los datos de profesor almacenados tras la compleción de las etapas ST51 a ST55, la sección de procesamiento de UI 42 determina, por ejemplo, el tipo, la posición y la postura del objeto objetivo de reconocimiento, y considera el resultado de la determinación como la información de UI. Cuando la información de UI se va a generar basándose en las líneas normales que tienen incertidumbre y las imágenes polarizadas, la sección de procesamiento de UI 42 realiza la etapa ST63 para generar imágenes no polarizadas a partir de las imágenes polarizadas. Además, en la etapa ST64, la sección de procesamiento de UI 42 genera los datos de estudiante usando las líneas normales calculadas basándose en las imágenes polarizadas del objeto objetivo de reconocimiento y la cantidad característica calculada a partir de las imágenes no polarizadas.

< Ejemplo Concreto >

A continuación se describirá un ejemplo concreto de la realización. La figura 22 ilustra una operación de un ejemplo concreto de acuerdo con la realización. El ejemplo concreto ilustra un caso en el que la información de UI se generará basándose en líneas normales que tienen incertidumbre. En la etapa S71, la sección de adquisición de imágenes polarizadas 20-2 adquiere imágenes polarizadas (imágenes polarizadas de profesor) de un objeto de aprendizaje. La sección de adquisición de imágenes polarizadas 20-2 usa una placa de polarización o un filtro de polarización para adquirir una pluralidad de imágenes polarizadas que muestran una mano, por ejemplo, en forma de piedra y tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST71, el procesamiento pasa a la etapa ST72.

En la etapa ST72, la sección de cálculo de líneas normales 32-2 calcula las líneas normales. La sección de cálculo de líneas normales 32-2 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales que se basan en la ecuación de modelo obtenida tras el ajuste y en relación con la mano en forma de piedra. Tras la compleción de la etapa ST72, el procesamiento pasa a la etapa ST73.

En la etapa ST73, la sección de procesamiento de UI 42 genera los datos de profesor. La sección de procesamiento de UI 42 genera los datos de profesor basándose en las líneas normales del objeto de aprendizaje. Por ejemplo, la sección de procesamiento de UI 42 funciona de tal modo que las líneas normales obtenidas mientras la mano está en forma de piedra se convierten en un histograma, y considera el histograma de líneas normales resultante como los datos de profesor. Tras la compleción de la etapa ST73, el procesamiento pasa a la etapa ST74.

En la etapa ST74, la sección de procesamiento de UI 42 almacena los datos de profesor. La sección de procesamiento de UI 42 funciona de tal modo que el histograma de líneas normales obtenido cuando la mano está en forma de piedra se considera como datos de profesor y almacena los datos de profesor en la sección de base de datos de profesores.

Además, las etapas ST71 a ST74 se realizan para cada objeto de aprendizaje mientras la mano está, por ejemplo, en forma de papel y en forma de tijeras, y los datos de profesor obtenidos en cada estado se almacenan en la sección de base de datos de profesores 422.

En la etapa ST75, la sección de adquisición de imágenes polarizadas 20-1 adquiere imágenes polarizadas del objeto objetivo de reconocimiento. La sección de adquisición de imágenes polarizadas 20-1 usa una placa de polarización o un filtro de polarización para adquirir una pluralidad de imágenes polarizadas que muestran la mano tomando parte, por ejemplo, en un juego de piedra, papel o tijera y tienen diferentes direcciones de polarización. Tras la compleción de la etapa ST75, el procesamiento pasa a la etapa ST76.

En la etapa ST76, la sección de cálculo de líneas normales 32-1 calcula las líneas normales. La sección de cálculo de líneas normales 32-1 ajusta los valores de píxel de píxeles individuales en las imágenes polarizadas que tienen diferentes direcciones de polarización a la ecuación de modelo, y calcula las líneas normales que se basan en la ecuación de modelo obtenida tras el ajuste. Tras la compleción de la etapa ST76, el procesamiento pasa a la etapa ST77.

En la etapa ST77, la sección de procesamiento de UI 42 genera los datos de estudiante. La sección de procesamiento de UI 42 genera los datos de estudiante basándose en las líneas normales del objeto objetivo de reconocimiento. Por ejemplo, la sección de procesamiento de UI 42 funciona de tal modo que las líneas normales indicativas de un estado de la mano que se va a reconocer se convierten en un histograma, y considera el histograma de líneas normales resultante como los datos de estudiante. Tras la compleción de la etapa ST77, el procesamiento pasa a la etapa ST78.

En la etapa ST78, la sección de procesamiento de UI 42 genera la información de UI. La sección de procesamiento de UI 42 comprueba la sección de base de datos de profesores 422 para determinar datos de profesor que están lo más cerca de los datos de estudiante obtenidos en la etapa ST77. Además, la sección de procesamiento de UI 42 determina un estado de mano correspondiente a los datos de profesor determinados como el estado de mano mostrado por las imágenes polarizadas adquiridas en la etapa ST75, y emite el resultado de la determinación como la información de UI.

Realizar el proceso descrito anteriormente hace posible generar la información de UI sin realizar un proceso de resolución de la incertidumbre de las líneas normales. Adicionalmente, el proceso de reconocimiento se puede realizar de forma más precisa que cuando se usa una imagen de distancia.

Además, la realización proporciona por separado una configuración para generar líneas normales a partir de un objeto de aprendizaje y una configuración para generar líneas normales a partir de un objeto objetivo de reconocimiento. Por lo tanto, la configuración para generar las líneas normales a partir del objeto de aprendizaje es capaz de generar los datos de profesor de forma más precisa que la configuración para generar las líneas normales a partir del objeto objetivo de reconocimiento. En consecuencia, los datos de profesor usados como una referencia de determinación se almacenan en la sección de base de datos de profesores 422 como datos muy precisos. Como resultado, se puede obtener un resultado de determinación muy preciso. Además, en la segunda realización, una sección de adquisición de imágenes polarizadas y una sección de cálculo de líneas normales se pueden usar comúnmente para generar las líneas normales a partir de un objeto de aprendizaje y generar las líneas normales a partir de un objeto objetivo de reconocimiento deseado. En un caso como este, el aparato de procesamiento de imágenes tiene una configuración simplificada y se puede ofrecer a un precio bajo. Además, la segunda realización se puede configurar de tal modo que la sección de procesamiento de UI incluye, por ejemplo, una sección de comunicación y una sección de montaje de medio de registro con el fin de permitir que los datos de profesor se actualicen, se añadan o se modifiquen de otro modo desde el exterior. Cuando los datos de profesor se pueden actualizar, añadir o modificar de otro modo desde el exterior a través de un canal de comunicación o un medio de registro como se ha mencionado anteriormente, se puede manejar un número aumentado de objetos como los objetos que se van a reconocer. Esto proporciona una versatilidad aumentada.

La figura 23 ilustra una interfaz de usuario a la que es aplicable la presente tecnología. Por ejemplo, se realiza un reconocimiento de mano con una mano seleccionada como el objeto objetivo de reconocimiento. Cuando se realiza un reconocimiento de mano, se pueden determinar la forma y la dirección de apuntamiento de dedo de una mano. Cuando se va a determinar la forma de una mano, se puede adquirir de forma precisa una forma tridimensional. Por lo tanto, se pueden adquirir de forma precisa las formas de dedos. Además, se realiza un reconocimiento de cara con una cara seleccionada como el objeto objetivo de reconocimiento. Cuando se realiza un reconocimiento de cara, es posible realizar una autenticación personal y determinar la expresión facial y la dirección de línea de visión. Además, se realiza un reconocimiento de persona con una persona seleccionada como el objeto objetivo de reconocimiento. Cuando se realiza un reconocimiento de persona, es posible realizar una autenticación de forma del cuerpo y una determinación de postura. Además, cuando se realiza una autenticación de objeto con un objeto seleccionado como el objeto objetivo de reconocimiento, se puede determinar la postura de un objeto conocido.

De acuerdo con la presente tecnología, las líneas normales calculadas a partir de imágenes polarizadas son más similares a la forma tridimensional de un objeto que las líneas normales generadas a partir de una imagen de distancia convencional. Por lo tanto, cuando, por ejemplo, el objeto está en ángulo en relación con una cámara, las líneas normales se pueden calcular de forma ininterrumpida. En consecuencia, el uso de las líneas normales calculadas a partir de las imágenes polarizadas hace posible reconocer un objeto objetivo de reconocimiento fácilmente y con una precisión alta. Además, cuando la presente tecnología se aplica a una interfaz de usuario, por ejemplo, se puede reconocer una dirección de apuntamiento de dedo con una certeza mayor que cuando esta se reconoce a partir de una imagen de distancia. Como resultado, se puede ofrecer una interfaz de usuario libre de estrés. Si la sección de adquisición de imágenes polarizadas está configurada como se ilustra, por ejemplo, en (a) o (b) de la figura 4, las líneas normales se pueden calcular a partir de imágenes polarizadas capturadas por una cámara monocular. Esto elimina la necesidad de usar una pluralidad de cámaras. En consecuencia, la presente tecnología es fácilmente aplicable a una interfaz de usuario.

Una serie de procesos descritos en la memoria descriptiva pueden ser realizados por hardware, software o una combinación de ambos. Cuando los procesos van a ser realizados por software, es posible instalar un programa, en el que se registra una secuencia de procesamiento, en una memoria de un ordenador incorporada en hardware dedicado y, entonces, ejecutar el programa, o instalar el programa en un ordenador de propósito general capaz de realizar diversos procesos y, entonces, ejecutar el programa.

Por ejemplo, el programa se puede registrar previamente en un disco duro o en una unidad de estado sólido (SSD), que se usan como un medio de registro, o en una memoria de solo lectura (ROM). Como alternativa, el programa se puede almacenar (registrar) de forma temporal o permanente en un disco flexible, disco compacto - memoria de solo lectura (CD-ROM), disco magneto-óptico (MO), disco versátil digital (DVD), disco Blu-Ray (BD) (marca registrada), disco magnético, tarjeta de memoria de semiconductores u otro medio de registro extraíble. Un medio de registro extraíble como este se puede suministrar como software en paquete.

Como una alternativa al método para instalar el programa en un ordenador desde un medio de registro extraíble, el programa se puede transferir desde un sitio de descarga al ordenador de forma inalámbrica o cableada a través de una red tal como una red de área local (LAN) o Internet. En un caso como este, el ordenador puede recibir el programa transferido e instalar el mismo en un disco duro incorporado o en otro medio de registro.

[Aplicabilidad industrial]

El aparato de procesamiento de imágenes, el método de procesamiento de imágenes y el programa de acuerdo con la presente tecnología están configurados con el fin de adquirir una pluralidad de imágenes polarizadas que muestran un objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, calcular líneas normales para píxeles individuales de acuerdo con las imágenes polarizadas adquiridas y reconocer el objeto usando las líneas normales calculadas. Por lo tanto, se pueden reconocer objetos fácilmente y con una precisión alta. En consecuencia, el aparato de procesamiento de imágenes, el método de procesamiento de imágenes y el programa de acuerdo con la presente tecnología son adecuados para instrumentos que tienen una interfaz que, por ejemplo, proporciona un control operativo o inicia, finaliza, cambia o edita un proceso de señal de acuerdo con los resultados de un reconocimiento, por ejemplo, del tipo, la posición y la postura de un objeto.

[Lista de símbolos de referencia]

10, 11, 12 ■■■ Aparato de procesamiento de imágenes

20, 20-1,20-2 ■■■ Sección de adquisición de imágenes polarizadas

30, 31, 32-1,32-2 ■ ■ ■ Sección de cálculo de líneas normales

40 ■■■ Sección de reconocimiento

41,42 ■■■ Sección de procesamiento de interfaz de usuario (UI)

201 Sensor de imágenes

202 Filtro de polarización

203 ■■■ Lente

204, 211,212-1 a 212-4 ■ ■ ■ Placa de polarización

210, 210-1 a 210-4 ■■■ Sección de formación de imágenes

301 ■ Sección de procesamiento de polarización

302 Sección de generación de imágenes de proceso de reconocimiento temporal

303 Sección de procesamiento de reconocimiento temporal

304 Sección de base de datos de modelos

305 Sección de resolución de incertidumbre

421 Sección de generación de datos de profesor

422 Sección de base de datos de profesores

423 Sección de procesamiento de reconocimiento

Claims (14)

REIVINDICACIONES

1. Un aparato de procesamiento de imágenes que comprende:

una sección de adquisición de imágenes polarizadas configurada para adquirir una pluralidad de imágenes polarizadas que tienen diferentes direcciones de polarización y muestran una imagen de un objeto objetivo de reconocimiento; una sección de cálculo de líneas normales configurada para calcular líneas normales de una superficie de objeto del objeto objetivo de reconocimiento para cada uno de una pluralidad de píxeles, calculada cada una de las líneas normales para un píxel individual correspondiente aplicando, a una ecuación de modelo indicativa de una relación entre valores de brillo del píxel individual correspondiente y ángulos de polarización, los valores de brillo del píxel individual correspondiente a partir de cada una de las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas, en donde la sección de cálculo de líneas normales incluye:

una sección de generación de imágenes de proceso de reconocimiento temporal configurada para generar una imagen de proceso de reconocimiento temporal a partir de la pluralidad de imágenes polarizadas,

una sección de procesamiento de reconocimiento temporal configurada para reconocer temporalmente el objeto objetivo de reconocimiento usando la imagen de proceso de reconocimiento temporal generada por la sección de generación de imágenes de proceso de reconocimiento temporal,

una sección de procesamiento de polarización configurada para calcular las líneas normales a partir de la pluralidad de imágenes polarizadas, y

una sección de resolución de incertidumbre configurada para resolver la incertidumbre de las líneas normales calculadas por la sección de procesamiento de polarización de acuerdo con un resultado de reconocimiento temporal por la sección de procesamiento de reconocimiento temporal; y

una sección de reconocimiento configurada para reconocer el objeto objetivo de reconocimiento basándose en las líneas normales liberadas de incertidumbre calculadas por la sección de cálculo de líneas normales, en donde la sección de reconocimiento incluye:

una sección de generación de datos de profesor configurada para generar datos de profesor que comprenden un histograma de líneas normales calculadas de acuerdo con una pluralidad de imágenes polarizadas que muestran un objeto de aprendizaje y tienen diferentes direcciones de polarización,

una sección de base de datos de profesores configurada para almacenar los datos de profesor generados para cada objeto de aprendizaje por la sección de generación de datos de profesor, y

una sección de procesamiento de reconocimiento configurada para determinar, a partir de la base de datos de profesores, datos de profesor que están lo más cerca de los datos de estudiante para reconocer el objeto objetivo de reconocimiento, siendo los datos de estudiante un histograma de las líneas normales calculadas a partir de la pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, almacenándose los datos de profesor en la sección de base de datos de profesores.

2. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, en donde el objeto objetivo de reconocimiento es un indicador de entrada para una interfaz de usuario, y

la sección de reconocimiento está configurada para emitir un resultado del reconocimiento del objeto objetivo de reconocimiento como información de entrada a la interfaz de usuario.

3. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, en donde la sección de cálculo de líneas normales incluye

una sección de generación de imágenes de proceso de reconocimiento temporal configurada para generar una imagen de proceso de reconocimiento temporal a partir de la pluralidad de imágenes polarizadas,

una sección de procesamiento de reconocimiento temporal configurada para reconocer temporalmente el objeto objetivo de reconocimiento usando la imagen de proceso de reconocimiento temporal generada por la sección de generación de imágenes de proceso de reconocimiento temporal,

una sección de procesamiento de polarización configurada para calcular líneas normales a partir de la pluralidad de imágenes polarizadas, y

una sección de resolución de incertidumbre configurada para resolver la incertidumbre de las líneas normales calculadas por la sección de procesamiento de polarización de acuerdo con un resultado de reconocimiento temporal por la sección de procesamiento de reconocimiento temporal, y

la sección de reconocimiento está configurada para reconocer el objeto objetivo de reconocimiento usando las líneas normales liberadas de incertidumbre por la sección de cálculo de líneas normales.

4. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 3, en donde la sección de procesamiento de reconocimiento temporal está configurada para usar la imagen de proceso de reconocimiento temporal e imágenes de modelos registrados previamente para seleccionar un modelo lo más cerca del objeto objetivo de reconocimiento como el resultado de reconocimiento temporal del objeto objetivo de reconocimiento, y

la sección de resolución de incertidumbre está configurada para resolver la incertidumbre de las líneas normales calculadas por la sección de procesamiento de polarización de acuerdo con el modelo reconocido temporalmente por la sección de procesamiento de reconocimiento temporal.

5. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 4, en donde el objeto objetivo de reconocimiento es una mano,

la sección de procesamiento de reconocimiento temporal está configurada para reconocer posiciones de una punta de dedo y una yema de dedo de la mano usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y

la sección de resolución de incertidumbre está configurada para resolver la incertidumbre de líneas normales de una región de dedo de la mano de acuerdo con las posiciones de la punta de dedo y la yema de dedo reconocidas temporalmente por la sección de procesamiento de reconocimiento temporal.

6. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 5, en donde la sección de reconocimiento está configurada para determinar una dirección de apuntamiento de dedo de acuerdo con las líneas normales de la región de dedo que son liberadas de incertidumbre por la sección de cálculo de líneas normales.

7. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 4, en donde el objeto objetivo de reconocimiento es una cara,

la sección de procesamiento de reconocimiento temporal está configurada para reconocer una posición de una región de cara usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y

la sección de resolución de incertidumbre está configurada para resolver la incertidumbre de líneas normales de la cara de acuerdo con la posición de la región de cara reconocida temporalmente por la sección de procesamiento de reconocimiento temporal.

8. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 4, en donde el objeto objetivo de reconocimiento es una mano,

la sección de procesamiento de reconocimiento temporal está configurada para reconocer una posición y una estructura esquelética de una región de mano usando la imagen de proceso de reconocimiento temporal y las imágenes de modelos registrados previamente, y

la sección de resolución de incertidumbre está configurada para resolver la incertidumbre de líneas normales de la región de mano de acuerdo con la posición y la estructura esquelética de la región de mano reconocidas temporalmente por la sección de procesamiento de reconocimiento temporal.

9. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, en donde la sección de adquisición de imágenes polarizadas está configurada para adquirir una pluralidad de imágenes polarizadas que tienen las diferentes direcciones de polarización para cada objeto objetivo de reconocimiento y cada objeto de aprendizaje, y la sección de cálculo de líneas normales está configurada para calcular líneas normales para cada objeto objetivo de reconocimiento y cada objeto de aprendizaje de acuerdo con las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas.

10. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, que comprende adicionalmente: una sección de adquisición de imágenes polarizadas de aprendizaje configurada para adquirir una pluralidad de imágenes polarizadas que muestran el objeto de aprendizaje y tienen diferentes direcciones de polarización; y una sección de cálculo de líneas normales de aprendizaje configurada para calcular líneas normales de acuerdo con las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas de aprendizaje.

11. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, en donde los datos de profesor son indicativos de la distribución de líneas normales del objeto de aprendizaje, y los datos de estudiante son indicativos de la distribución de líneas normales calculadas para el objeto objetivo de reconocimiento.

12. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, en donde la sección de procesamiento de reconocimiento está configurada para seleccionar un objeto de aprendizaje correspondiente a datos de profesor lo más cerca de los datos de estudiante como un resultado de reconocimiento.

13. Un método de procesamiento de imágenes que comprende:

adquirir, por una sección de adquisición de imágenes polarizadas, una pluralidad de imágenes polarizadas que muestran un objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización;

calcular, por una sección de cálculo de líneas normales, líneas normales de una superficie de objeto del objeto objetivo de reconocimiento para cada uno de una pluralidad de píxeles, calculada cada una de las líneas normales para un píxel individual correspondiente aplicando, a una ecuación de modelo indicativa de una relación entre valores de brillo del píxel individual correspondiente y ángulos de polarización, los valores de brillo del píxel individual correspondiente a partir de cada una de las imágenes polarizadas adquiridas por la sección de adquisición de imágenes polarizadas, en donde la sección de cálculo de líneas normales incluye:

generar, por una sección de generación de imágenes de proceso de reconocimiento temporal, una imagen de proceso de reconocimiento temporal a partir de la pluralidad de imágenes polarizadas,

reconocer temporalmente, por una sección de procesamiento de reconocimiento temporal, el objeto objetivo de reconocimiento usando la imagen de proceso de reconocimiento temporal generada por la sección de generación de imágenes de proceso de reconocimiento temporal,

calcular, por una sección de procesamiento de polarización, las líneas normales a partir de la pluralidad de imágenes polarizadas, y

resolver, por una sección de resolución de incertidumbre, la incertidumbre de las líneas normales calculadas por la sección de procesamiento de polarización de acuerdo con un resultado de reconocimiento temporal por la sección de procesamiento de reconocimiento temporal; y

reconocer, por una sección de reconocimiento, el objeto objetivo de reconocimiento basándose en las líneas normales liberadas de incertidumbre calculadas por la sección de cálculo de líneas normales, en donde el reconocimiento incluye:

generar, por una sección de generación de datos de profesor, datos de profesor que comprenden un histograma de líneas normales calculadas de acuerdo con una pluralidad de imágenes polarizadas que muestran un objeto de aprendizaje y tienen diferentes direcciones de polarización,

almacenar, por una sección de base de datos de profesores, los datos de profesor generados para cada objeto de aprendizaje por la sección de generación de datos de profesor, y

determinar, por una sección de procesamiento de reconocimiento, a partir de la base de datos de profesores, datos de profesor que están lo más cerca de los datos de estudiante para reconocer el objeto objetivo de reconocimiento, siendo los datos de estudiante que se generan un histograma de las líneas normales calculadas a partir de la pluralidad de imágenes polarizadas que muestran el objeto objetivo de reconocimiento y tienen diferentes direcciones de polarización, almacenándose los datos de profesor en la sección de base de datos de profesores.

14. Un programa para hacer que un ordenador realice el método de la reivindicación 13.