ES2270792T3 - Reconocimiento de placas de matricula con camara inteligente. - Google Patents
Reconocimiento de placas de matricula con camara inteligente. Download PDFInfo
- Publication number
- ES2270792T3 ES2270792T3 ES00307581T ES00307581T ES2270792T3 ES 2270792 T3 ES2270792 T3 ES 2270792T3 ES 00307581 T ES00307581 T ES 00307581T ES 00307581 T ES00307581 T ES 00307581T ES 2270792 T3 ES2270792 T3 ES 2270792T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- characters
- license plate
- character
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Método para reconocer placas de matrícula empleando una cámara inteligente con un procesador y una memoria, comprendiendo las etapas del método: capturar mediante la cámara una imagen (10) que incluye una placa de matrícula; detectar una región en la que se sitúa la placa de matrícula realizando una localización (12) aproximada en la imagen; detectar las condiciones de orientación, posición e iluminación de la imagen y tener en cuenta las condiciones de orientación, posición e iluminación de la imagen (20) para obtener una imagen de referencia de la placa de matrícula; realizar una localización (24) precisa y una operación de nuevo muestreo para obtener una representación más precisa de resolución vertical de la imagen de referencia de la placa de matrícula; segmentar los caracteres (26) representados en la imagen de referencia empleando una proyección (28) a lo largo de un eje horizontal de la imagen de referencia para identificar la posición de los caracteres; clasificar los caracteres (34) basándose en un clasificador estadístico para obtener una puntuación de seguridad de la probabilidad de identificar correctamente cada carácter; y realizar de manera recursiva la etapa del método de segmentación de caracteres (26) y las siguientes etapas del método hasta que cada puntuación de seguridad supera un valor umbral para reconocer los caracteres; en el que después de la etapa de segmentación de caracteres (26) y antes de la etapa de clasificación de caracteres (34) se realiza la etapa de comparar cada carácter en la imagen de la placa de matrícula con ejemplos de imágenes con diferentes iluminaciones para tener en cuenta los efectos de iluminación sobre la imagen.
Description
Reconocimiento de placas de matrícula con cámara
inteligente.
Esta descripción se refiere a métodos y sistemas
de reconocimiento óptico y, más particularmente, a una cámara
inteligente para el reconocimiento de caracteres.
La mayoría de sistemas de procesamiento de
imágenes para aplicaciones industriales y vigilancia por vídeo se
basan todavía en un ordenador personal (PC), un dispositivo de
captura de imágenes y una cámara CCD separada. Se han descrito en
la técnica anterior sistemas de visión basados en PC para la
vigilancia del tráfico. A diferencia de los sistemas basados en PC,
las cámaras inteligentes se están popularizando últimamente porque
ofrecen varias ventajas. Requieren un mínimo espacio porque el
procesador y el sensor están integrados en un paquete. Son más
robustas y fiables en entornos exteriores, requieren menos
mantenimiento y son muy adecuadas para aplicaciones de bajo coste.
Sin embargo, las cámaras inteligentes ofrecen una menor potencia
desde un punto de vista informático, ya que normalmente están una o
dos generaciones por detrás de la actual generación de procesadores
y están limitadas con respecto a la memoria principal (por ejemplo,
8 MB) y el espacio del disco duro (por ejemplo, un disco de memoria
flash de 5 MB).
En principio, el reconocimiento de placas de
matrícula puede ser similar al reconocimiento óptico de caracteres
(OCR) para el tratamiento de textos. Sin embargo, las máquinas OCR
existentes no pueden usarse satisfactoriamente como lectores de
placas de matrícula porque no pueden tolerar un intervalo extremo de
variaciones de iluminación, tales como iluminación y sombras no
homogéneas, imagen borrosa debido a la suciedad, tornillos,
partículas, etc. Además, los productos OCR están limitados debido a
su memoria y a los requisitos de rapidez de procesa-
miento.
miento.
El documento US 5651075 describe un lector de
placas de matrícula automático que incluye una máquina OCR que
captura una imagen, realiza una localización aproximada y algunas
correcciones de la imagen, una localización precisa y, entonces,
segmenta y clasifica los caracteres hasta lograr una placa de
matrícula con una clasificación suficientemente segura.
Además, el documento "Optical Recognition of
Motor Vehicule License Plates" (reconocimiento óptico de placas
de matrícula de vehículos a motor) (IEEE Transactions on Vehicular
Technology, vol. 44, nº 4 noviembre de 1995), de Cornelli et
al. presenta un método de reconocimiento de placas de matrícula
de vehículos a motor que consiste en las siguientes etapas:
localización del área de la matrícula; normalización de la imagen
(normalización del histograma de escala de grises, estimación del
tamaño de carácter e inclinación de la placa de matrícula,
normalización de la resolución vertical mediante un nuevo muestreo);
reconocimiento de caracteres mediante correlación cruzada con
prototipos de carácter y bloques de caracteres.
Existe una necesidad de algoritmos versátiles
para aplicaciones que van más allá de la simple tarea de
identificación o medición. Existe una necesidad adicional de un
sistema que reconozca de manera fiable placas de matrícula para
aplicaciones que van de la vigilancia a sistemas automáticos para la
determinación de tarifas de aparcamiento.
La invención se define en las reivindicaciones
independientes a las que se hace referencia ahora. En las
reivindicaciones dependientes se exponen desarrollos
ventajosos.
Por tanto, un método de reconocimiento de placas
de matrícula que emplea una cámara inteligente con un procesador y
una memoria, según la presente invención, incluye capturar una
imagen que incluye una placa de matrícula por la cámara
inteligente, y detectar una región en la que está situada la placa
de matrícula realizando una localización aproximada de la imagen.
Las condiciones de orientación, posición e iluminación de la imagen
se detectan y tienen en cuenta para obtener una imagen de referencia
de la placa de matrícula. Se realiza una localización precisa de la
imagen de referencia para obtener una representación más exacta de
la resolución vertical de la imagen de referencia de la placa de
matrícula. Los caracteres representados en la imagen de referencia
se segmentan empleando una proyección a lo largo de un eje
horizontal de la imagen de referencia para identificar la posición
de los caracteres. Los caracteres se clasifican basándose en un
clasificador estadístico para obtener una puntuación de seguridad
de la probabilidad de identificar de manera correcta cada carácter.
Las etapas anteriores se realizan de manera recursiva hasta que cada
puntuación de seguridad supera un valor umbral de reconocimiento de
caracteres.
La etapa de detectar las condiciones de
orientación, posición e iluminación de la imagen y tener en cuenta
las condiciones de orientación, posición e iluminación de la imagen
para obtener una imagen de referencia de la placa de matrícula
incluye la etapa de comparar cada carácter en la imagen de la placa
de matricula con ejemplos de imágenes con diferentes iluminaciones
para tener en cuenta los efectos de la iluminación en la
imagen.
En realizaciones preferidas, la etapa de
detectar una región en la que se sitúa la placa de matrícula
realizando una localización aproximada de la imagen puede incluir
las etapas de submuestrear la imagen para reducir el número de
píxeles, extraer bordes verticales en la imagen, generar un mapa de
saliencia ("saliency") basado en los bordes verticales para
identificar regiones en la imagen con una probabilidad de incluir la
placa de matrícula y extraer un resultado de localización que
incluye la imagen de la placa de matrícula.
La etapa de segmentar caracteres representados
en la imagen de referencia empleando una proyección a lo largo de
un eje horizontal de la imagen de referencia para identificar la
posición de los caracteres puede incluir las etapas de proporcionar
un perfil de proyección de intensidades de píxel a través de líneas
verticales de píxeles en la imagen de referencia, filtrar el perfil
de proyección e identificar la localización de los caracteres en la
imagen de referencia representada por el área por debajo de un valor
umbral en el perfil de proyección filtrado.
El clasificador estadístico puede emplear una
red de convolución, y la etapa de clasificar los caracteres
basándose en un clasificador estadístico para obtener una puntuación
de seguridad de la probabilidad de identificar correctamente cada
carácter puede incluir la etapa de entrenar el clasificador
empleando ejemplos virtuales de caracteres. El método puede incluir
la etapa de comparar bloques de caracteres y caracteres con códigos
de placas de matrícula predeterminados y convenciones para comprobar
la precisión del reconocimiento. La etapa de realizar de manera
recursiva las etapas del método hasta que cada puntuación de
seguridad supera un valor umbral puede incluir la etapa de
considerar caracteres adyacentes juntos en un intento de mejorar la
puntuación de seguridad. Las etapas anteriores del método pueden
implementarse por un dispositivo de almacenamiento de programa
legible por ordenador, que constituye de forma tangible un programa
de instrucciones que puede ejecutarse por ordenador para realizar
las etapas del método.
Un sistema de cámara inteligente para reconocer
placas de matrícula, según la invención, incluye una cámara
adaptada para capturar de forma independiente una imagen de placa de
matrícula y reconocer la imagen de placa de matrícula. La cámara
incluye un procesador para gestionar los datos de la imagen y
ejecutar un dispositivo de programa de reconocimiento de placas de
matrícula. El dispositivo de programa de reconocimiento de placas
de matrícula incluye medios para detectar las condiciones de
orientación, posición, iluminación y la imagen borrosa de la imagen
y tener en cuenta las condiciones de orientación, posición,
iluminación y la imagen borrosa de la imagen para obtener una
imagen de referencia de la placa de matrícula. La cámara incluye
medios para segmentar caracteres representados en la imagen de
referencia empleando una proyección a lo largo de un eje horizontal
de la imagen de referencia para identificar las posiciones de los
caracteres. Se adapta un clasificador estadístico para reconocer y
clasificar los caracteres basándose en una puntuación de seguridad,
basándose la puntuación de seguridad en una probabilidad de
identificar correctamente cada carácter. Se incluye una memoria
para almacenar el programa de reconocimiento de placas de matrícula
y la imagen de placa de matrícula tomada por un dispositivo de
captura de imagénes de la cámara. Los medios para detectar incluyen
ejemplos de imágenes con diferentes iluminaciones para tener en
cuenta los efectos de la iluminación en la imagen para cada
carácter de la imagen.
En las realizaciones preferidas, puede adaptarse
un dispositivo activador para provocar la captura de una imagen en
respuesta a un evento. El evento puede incluir el acercamiento de un
vehículo. Los medios para segmentar pueden incluir medios para
proporcionar un perfil de proyección de intensidades de píxel a
través de líneas verticales de píxeles en la imagen de referencia,
un perfil de filtro para filtrar el perfil de proyección y medios
para identificar la ubicación de caracteres en la imagen de
referencia representada por el área por debajo de un valor umbral
en el perfil de proyección filtrado. El clasificador estadístico
puede incluir uno de entre una red de convolución y un perceptrón
multicapa totalmente conectado. La memoria puede incluir una base
de datos para códigos de placas de matrícula predeterminados y
convenciones para comprobar la precisión del reconocimiento. El
sistema de cámara inteligente puede incluir un sistema de control de
un aparcamiento acoplado al sistema de cámara inteligente para
determinar las tarifas de aparcamiento basándose en el
reconocimiento de caracteres de las placas de matrícula.
Éstos y otros objetivos, características y
ventajas de la presente invención serán evidentes a partir de la
siguiente descripción detallada de realizaciones ilustrativas de la
misma, que ha de leerse en conexión con los dibujos
acompañantes.
Esta invención presentará detalladamente la
siguiente descripción de realizaciones preferidas con referencia a
las siguientes figuras en las que:
la figura 1 es un diagrama de bloques/flujo que
muestra un sistema/método para emplear una cámara inteligente para
el reconocimiento de placas de matrícula según la presente
invención;
la figura 2A es una imagen de una placa de
matrícula;
las figuras 2B a 2D muestran las etapas de
segmentación para segmentar los caracteres de la imagen de la placa
de matrícula de la figura 2A, según la presente invención
la figura 3 representa ejemplos ilustrativos de
muestras virtuales que pueden emplearse según la presente
invención;
la figura 4 es un diagrama esquemático de una
red de convolución para emplear la presente invención;
la figura 5 es un diagrama de bloques de una
cámara inteligente según la presente invención; y
la figura 6 representa una placa de matrícula en
varias fases del procesamiento según la presente invención.
La presente invención está destinada a un
sistema de reconocimiento de caracteres inteligente y robusto y a
un método para determinar caracteres en varias condiciones, por
ejemplo, en diferentes condiciones de iluminación, en diferentes
ángulos, etc. En una realización particularmente útil, la presente
invención se usa en el reconocimiento de placas de matrícula.
Se proporciona un sistema de identificación de
coches robusto para la vigilancia de entradas a zonas de
aparcamiento que se ejecuta totalmente en una cámara inteligente
autónoma de bajo coste. Para satisfacer los requisitos de rapidez y
precisión, se aplican clasificadores jerárquicos y técnicas de
búsqueda desde aproximada hasta precisa en cada fase de
reconocimiento para la localización, segmentación y
clasificación.
La presente invención proporciona una
descomposición jerárquica eficiente de una tarea de reconocimiento,
en la que se aplican métodos de segmentación y clasificación
aproximada. Los patrones ambiguos pueden remitirse a métodos más
sofisticados para lograr un tiempo de reconocimiento deseado (por
ejemplo, de 2 a 3 segundos con base en un procesador Intel^{TM}
486/100 MHz). Dada la hipótesis de la segmentación múltiple, el
reconocimiento fiable o el rechazo de caracteres segmentados es un
aspecto importante del rendimiento. La tarea de reconocimiento de
caracteres se lleva a cabo preferiblemente empleando una red de
convolución.
Debe entenderse que los elementos mostrados en
las figuras 1, 5 y 6 pueden implementarse en varias formas
hardware, software o combinaciones de ambas. Preferiblemente, estos
elementos se implementan en software en una o más unidades de
procesamiento digitales de uso general programadas de manera
apropiada, que presentan un procesador y una memoria e interfaces
de entrada/salida. En referencia ahora en detalle específicamente a
los dibujos, en los que los números de referencia similares
identifican elementos similares o idénticos en todas las distintas
vistas, e inicialmente a la figura 1, se muestra un diagrama de
flujo de un método de reconocimiento de placas de matrícula
ilustrativo. En el bloque 10, la identificación de caracteres se
basa, en un ejemplo, en vistas frontal y trasera del coche para
obtener una imagen de una placa de matrícula. Por ejemplo, el coche
puede detenerse frente a una puerta. Puede emplearse un sensor
inductivo para activar externamente la captura de la imagen. En una
realización preferida, la cámara está fijada de tal modo que la
orientación de las placas de matrícula sea aproximadamente
constante. Sin embargo, el tamaño y la posición de las placas de
matrícula pueden variar ligeramente debido a la posición y al tipo
de coche. El coche que se aproxima puede detectarse por la propia
cámara y el activador de sensor inductivo externo puede
eliminarse.
eliminarse.
En el bloque 12, se realiza una localización
aproximada basándose preferiblemente en análisis de resolución
múltiple. Se comprueban diferentes resoluciones de la imagen para
facilitar el reconocimiento de caracteres de símbolos o caracteres
en la placa de matrícula. La localización aproximada afina la imagen
de la placa de matrícula de la imagen capturada. Esto se realiza
submuestreando la imagen, en el bloque 14, para reducir el número
de píxeles que contiene (es decir, para reducir la complejidad
computacional). En el bloque 16, se calculan bordes verticales (ya
que los bordes verticales dominan en las placas de matrícula, aunque
también pueden calcularse los bordes horizontales). El cálculo de
los bordes verticales determina grupos de píxeles dispuestos
verticalmente. En el bloque 18 se genera un mapa de saliencia. Un
mapa de saliencia mezcla los bordes verticales para lograr regiones
de intensidad en la imagen. Los valores de pico máximos en las
regiones de intensidad tienen la mayor probabilidad de ser la placa
de matrícula y se seleccionan para el procesamiento posterior. En
el bloque 20, la invención afina la imagen de la placa de matrícula
para proporcionar la localización aproximada.
En el bloque 22, se determina la detección de la
inclinación y el refinamiento de un área de interés. Esto incluye
tratar los efectos de iluminación, las posiciones (distancias desde
la placa de matrícula, márgenes izquierdo y derecho), rotaciones,
imagen borrosa y otros efectos. Se llevan a cabo comparaciones con
plantillas o modelos de correlación normalizados para encontrar
iluminaciones, distancias, etc. similares para intentar reducir los
efectos en la imagen. Ventajosamente, esto hace que el sistema sea
robusto, lo que no se consigue con algoritmos OCR.
En el bloque 24, se realiza una localización
precisa basada en los bordes locales y características regionales,
es decir, una localización precisa vertical para placas de
matrícula. Tras una localización satisfactoria, se crean hipótesis
de segmentación múltiple mediante un algoritmo, en el bloque 26,
basándose en proyecciones no lineales sobre una imagen de
referencia. Las proyecciones no lineales se emplean en un perfil, en
el bloque 28 (véase la figura 2B), y se filtran en el bloque 30
(véase la figura 2C). Como resultado se determinan los límites
izquierdo y derecho de cada carácter, en el bloque 32 (véase la
figura 2D). En el bloque 34, el sistema de reconocimiento de
caracteres emplea preferiblemente un clasificador de red neuronal de
convolución u otro clasificador estadístico, que identifica los
caracteres y devuelve un valor de seguridad para cada carácter.
Basándose en la medición de seguridad, se acepta la hipótesis de
segmentación con la mayor seguridad global. Después del análisis de
la imagen, se aplica una tabla de reglas, por ejemplo, códigos de
ciudad válidos o reglas específicas del país, para verificar,
corregir o rechazar cadenas, en el bloque 36. Por ejemplo, las
placas de matrícula alemanas incluyen dos bloques con letras
seguidos de un bloque con dígitos sólo y el número total de
caracteres no puede ser mayor de ocho. Estas reglas pueden limitar
de manera significativa la búsqueda y mejorar el rendimiento.
En el bloque 12, la localización de placas de
matrícula se basa preferiblemente en análisis de resolución
múltiple. La localización aproximada se basa en el hecho de que una
placa de matrícula (texto) incluye una gran cantidad de bordes
verticales en comparación con el resto de partes del coche y sus
alrededores en una imagen. Se calculan los bordes verticales y se
genera un mapa de saliencia con una resolución reducida. Los
píxeles con gran intensidad en el mapa de saliencia corresponden a
posiciones que es probable que se incluyan en la placa de
matrícula. El valor de pico máximo en el mapa de saliencia
corresponde a la placa de matrícula. En raros casos pueden darse
otros picos. En este caso, se ordena una posible lista de candidatos
por la intensidad de la característica del borde vertical, que se
calcula y evalúa hasta que se halla un resultado razonable. Este
método proporciona una técnica robusta para localizar la placa de
matrícula con imágenes que tienen variaciones de tamaño y de
orientación debido a variaciones de distancia, posición y tipo de
coche o placa de matrícula. También pueden emplearse los bordes
horizontales u otras características locales para la localización
aproximada. Las variaciones de posición y tamaño así como pequeñas
rotaciones se tienen en cuenta por el sistema en el bloque 22.
En el bloque 24, tras la localización
aproximada, se lleva a cabo una localización precisa. La orientación
de la placa de matrícula se determina de manera precisa y se
corrige. Se detectan el borde izquierdo y derecho de la placa de
matrícula. La altura y la posición de la placa de matrícula en la
imagen se determinan para recuperar de forma más precisa una región
de interés. Este refinamiento se basa de nuevo en las
características del borde vertical de la imagen original (no en una
imagen submuestreada) para obtener una mayor precisión. Una vez
determinadas la posición, la orientación y el tamaño de la placa de
matrícula, la región de interés se vuelve a muestrear hasta una
resolución vertical predeterminada (por ejemplo, 20 píxeles). Esta
resolución se mantiene para las etapas siguientes para reducir la
sobrecarga computacional. La normalización del posicionamiento y
tamaño preciso junto con el acceso vertical mejora la precisión de
la segmentación y la clasificación.
Basándose en la posición y el tamaño de la placa
de matrícula detectada, se extrae la región de interés y se vuelve
a muestrear de manera que la resolución vertical es de
aproximadamente 20 píxeles para la altura de los caracteres, esto
puede ajustarse dependiendo de la aplicación. La resolución de 20
píxeles para la altura de los caracteres se ha visto que es
suficiente para la posterior segmentación y reconocimiento, tal
como se describirá.
A diferencia de las placas de matrícula de los
EE.UU., los caracteres de las placas de matrícula alemanas no están
separados a igual distancia y la anchura del carácter varía en gran
medida. Además se usan dos fuentes y disposiciones diferentes.
Aunque los algoritmos de segmentación sofisticados, como el modelo
oculto de Markov, que también se usan con éxito para el
reconocimiento de escritura manual o el reconocimiento de voz,
pueden tener un mejor rendimiento, en este caso se emplea
ventajosamente una sencilla segmentación basada en proyecciones de
la referencia para minimizar el tiempo de ejecución.
En referencia a las figuras 2A a D, se
representan las etapas de segmentación para el bloque 26 de la
figura 1 de manera ilustrativa para una placa 100 de matrícula
mostrada en la figura 2A. Basándose en una parte central de la
región que incluye los caracteres de la figura 2A, se genera un
perfil o proyección en la figura 3B de derecha a izquierda a lo
largo de la imagen, basándose en el píxel más oscuro en cada columna
(en la dirección y). La figura 2B es un trazado de la intensidad de
píxel (eje x) frente al número de columna (eje y). Un perfil
filtrado en paso bajo, por ejemplo el perfil representado en la
figura 2C, se sustrae del perfil de la figura 2B dando como
resultado un perfil de la figura 2D. En la figura 2D, las áreas o
regiones por debajo de un umbral (por ejemplo, 1,00) incluyen cada
una un carácter.
Los caracteres que se tocan debido a partículas
de suciedad, a imagen borrosa y sombras que cubren parcialmente la
placa de matrícula pueden provocar problemas para una segmentación
basada en una proyección y el pico entre caracteres puede ser
pequeño. Por tanto, la segmentación se parametriza preferiblemente
para ser sensible a los espacios. La segmentación también detecta
muchos falsos positivos de espacios. Si la clasificación de los
caracteres segmentados no identifica caracteres con alta seguridad,
entonces puede aplicarse un algoritmo de segmentación basado en el
reconocimiento más potente, tal como se describe en la patente de
los EE.UU comúnmente cedida nº 6473517, titulada "Character
segmentation method for vehicle license plate recognition"
("Método de segmentación de caracteres para reconocimiento de
placas de matrícula de vehículos"), presentada al mismo tiempo
que la presente.
Puesto que el proceso de segmentación es en sí
mismo inherentemente ambiguo, debe acoplarse estrechamente a la
identificación de caracteres. La segmentación proporciona
ubicaciones en las que es probable que se incluyan caracteres. Por
consiguiente, el rendimiento global depende en gran medida del
rendimiento del clasificador de caracteres y de su habilidad para
reconocer caracteres válidos y rechazar caracteres inválidos debido
a un falso positivo de la segmentación, tal como se realizó en el
bloque 26 de la figura 1. Los inventores han llevado a cabo varios
experimentos para elegir clasificadores óptimos para este problema.
En un experimento se emplearon redes de convolución y percepción
multicapa totalmente conectada. Los experimentos demuestran la
ventaja de las redes de convolución con respecto a la percepción
multicapa totalmente conectada; sin embargo, cualquiera de los
métodos puede usarse también como métodos equivalentes.
Para el reconocimiento de placas de matrícula
alemanas, se han reconocido 40 clases (10 dígitos, 26 caracteres
regulares, 3 caracteres especiales alemanes: ae, ue, oe; y la
etiqueta de registro que aparece entre el primer campo de texto y
el segundo). Además, se usaron ejemplos negativos provocados por una
segmentación y localización incorrecta para el entrenamiento. Todas
las neuronas en una capa de salida de las redes de convolución
deberían responder con una activación cero a un patrón de entrada
negativo. Los patrones negativos son particularmente importantes
para aumentar la capacidad de rechazo en caso de una segmentación
errónea. Al aumentar el número de muestras negativas en comparación
con el número de caracteres válidos, se lleva al clasificador a
tener una alta precisión de rechazo en lugar de usar toda su
capacidad para la separación entre clases.
Además de las muestras negativas, las muestras
virtuales (VS) o plantillas mejoran la generalización del
clasificador durante el entrenamiento, si el equipo de
entrenamiento tiene un tamaño limitado. Las muestras virtuales se
generan a partir de imágenes originales mediante varias
transformaciones afines. En particular, el tamaño, la orientación y
la posición vertical y horizontal de los caracteres pueden variar
aleatoriamente dentro de un intervalo razonable (+/- 2 píxeles de
desplazamiento, +/- 2% de escalado, rotación < aproximadamente 3
grados) entre ciclos de entrenamiento, y se añade ruido durante el
entrenamiento. Con muestras virtuales, el clasificador se hace más
robusto con respecto a las tolerancias de segmentación y
localización. Ejemplos de muestras virtuales se muestran de manera
ilustrativa en la figura 3.
Puesto que la segmentación puede incluir falsos
positivos de espacios, se consideran todas las combinaciones de
posiciones de caracteres, lo que es posible dada una anchura mínima
y máxima de los caracteres. La red neuronal evalúa las imágenes
secundarias que corresponden a estas múltiples hipótesis. El
resultado de la clasificación de la red neuronal es una
probabilidad a posteriori de una clase dada una observación
(véase C. Bishop, Neural Networks for Pattern Recognition, Oxford
Univ. Press, 1995). Esta probabilidad puede utilizarse para elegir
la combinación de caracteres más probable.
Antes de la clasificación, cada imagen
secundaria se normaliza en cuanto al brillo y el contraste. La
imagen secundaria tiene preferiblemente un tamaño fijado, por
ejemplo 16 x 20 píxeles, de modo que los caracteres anchos como W
todavía caben en la ventana. Los caracteres muy estrechos como
"l" o "1" pueden causar problemas, ya que los caracteres
adyacentes se superponen parcialmente a su ventana. Por lo tanto, la
anchura de los caracteres determinada por la segmentación se emplea
para saltarse las áreas izquierda y derecha al lado del carácter y
estos píxeles se establecen en un valor gris de fondo uniforme.
Puede usarse un perceptrón (MLP) de tres capas
para la clasificación de caracteres y el entrenamiento mediante la
realización de retropropagación de error. El número de neuronas
ocultas se varía manualmente para la generalización óptima, y se
vio que se preferían aproximadamente 100 neuronas ocultas.
En referencia a la figura 4, se ilustra una
topología de red de convolución. Se presenta una imagen 200 de
entrada. Una capa inicial incluye cuatro planos 201 de, por ejemplo,
16 x 20 píxeles. Se aplican cuatro núcleos 202 de convolución con
un tamaño de ventana de, por ejemplo, de 3 x 3 píxeles de manera que
se extraen cuatro orientaciones de borde (diagonales, vertical y
horizontal). Se lleva a cabo submuestreo para reducir los planos
201 por, digamos, un factor de dos a 8 x 10 píxeles y se saca el
promedio de píxeles para obtener los planos 203. Después de un
submuestreo convolucional, siguen dos capas totalmente conectadas,
204 y 205, con por ejemplo 100 y 40 neuronas, respectivamente.
Al emplear la red de convolución para la
clasificación de caracteres, se extraen los píxeles de la imagen de
entrada, es decir, un carácter segmentado, en las cuatro
orientaciones más probables (diagonales, vertical y horizontal).
Cada extracción se submuestrea para reducir el tamaño. Se producen
comparaciones para descifrar los caracteres y se extrae el mejor
carácter (carácter o caracteres de mayor seguridad) a partir de las
neuronas de salida (por ejemplo, 40 para placas de matrícula
alemanas.
El entrenamiento de esta red (determinación de
los pesos de neuronas ocultas y de salida) se realiza mediante
retropropagación de error y muestras virtuales, que se emplean de
forma similar al entrenamiento del MLP. Las muestras virtuales
mejoran ventajosamente la precisión del sistema. (Véase la figura
3).
Para probar el rendimiento de reconocimiento
global se procesaron 900 placas de matrícula según la invención. Se
obtuvo una tasa de reconocimiento global del 96% para los métodos de
la presente invención, tal como se muestra en la tabla 1.
| Tasa de reconocimiento | Tiempo de ejecución [s] | Tiempo de ejecución [s] | |
| [%] | Pentium II^{TM} 333 MHz | Cámara inteligente | |
| Localización | 98,0 | 0,10 | 1,0 |
| Segmentación, | |||
| clasificación | 98,0 | 0,15 | 1,5 |
| de caracteres | |||
| Global | 96,0 | 0,25 | 2,5 |
La cámara inteligente de la presente invención
alcanzó un tiempo de procesamiento medio de 2,5 segundos en el
sistema objetivo. En este caso, el tiempo real puede variar entre
aproximadamente 2 y aproximadamente 4 segundos dependiendo de la
calidad de la imagen y la apariencia de la placa de matrícula, sin
embargo, se contemplan mejoras adicionales en el tiempo de
procesamiento. Para imágenes malas, se crean hipótesis de
segmentación con falsos positivos y tienen que evaluarse por el
clasificador. En una realización, la localización consume
aproximadamente el cuarenta por ciento del tiempo de ejecución, la
segmentación y la identificación consumen aproximadamente el
sesenta por ciento del tiempo de ejecución.
En referencia a la figura 5, se muestra un
sistema 301 de cámara inteligente según la presente invención. En
una realización, los métodos de la presente invención pueden
desarrollarse y optimizarse en un PC. Los métodos pueden cargarse
en una cámara 300 inteligente, es decir, una cámara capaz de
procesar y almacenar un programa. La cámara 300 incluye una memoria
302 y uno o más procesadores 303 para ejecutar etapas de programa.
La memoria 302 almacena preferiblemente una imagen actual de una
placa de matrícula e imágenes secundarias de la misma. Además,
pueden almacenarse reglas/códigos (por ejemplo, códigos de ciudad)
en la memoria 302 así como los pesos del entrenamiento de la red
neuronal descrita anteriormente. Memorias más grandes pueden
incluir una pluralidad de imágenes de placas de matrícula así como
otros datos. En una realización, la cámara 300 inteligente incluye
una cámara Siemens VS 710. La cámara Siemens VS 710 utiliza un
procesador INTEL (486/100 MHz, 8 MB RAM, disco de memoria flash de
4 MB en serie e interfaz Profi-bus). Una interfaz
306 puede estar adaptada para funcionar con un sistema 304 externo.
El sistema 304 externo puede incluir un sistema de control de
aparcamiento que incluye las tarifas, datos de hora de entrada y
salida, etc. para un vehículo dado. La cámara 300 es compatible
preferiblemente con un PC para permitir descargar los métodos de
reconocimiento de placas de matrícula y que la cámara 300 los
utilice. Por lo tanto, el software de PC escrito, por ejemplo en
C/C++, puede usarse en la cámara sin adaptaciones importantes. Es
posible que las rutinas para la captura de imágenes y la
comunicación con el sistema de control tengan que estar unidas. La
cámara 300 puede incluir un sensor 308 que activa la captura de
imágenes a través de una lente 310 al detectar una condición. Por
ejemplo, si un vehículo se aproxima a la entrada de un
aparcamiento, se captura una imagen de la placa de matrícula del
vehículo. La imagen de la placa de matrícula se reconoce por los
métodos anteriores de la presente invención (figura 1). La memoria
302 puede almacenar la información de la placa de matrícula así como
otra información, tal como la hora de entrada y de salida, etc.
Ventajosamente, la cámara 300 puede colocarse a distancia en un
aparcamiento u otra ubicación sin necesidad de un gran sistema de
procesamiento (un PC, etc.). Según la invención, se proporciona un
sistema de reconocimiento de placas de matrícula automático con una
gran precisión de reconocimiento que incluye una cámara inteligente
robusta y de bajo coste.
Con una cámara inteligente basada en un
procesador más potente, puede emplearse un análisis de movimiento
para ampliar las aplicaciones hacia vehículos en movimiento y varias
tareas de vigilancia externa. La cámara 300 incluye un dispositivo
312 de programa de reconocimiento de placas de matrícula
implementado preferiblemente en software. El dispositivo 312 de
programa de reconocimiento de placas de matrícula detecta las
condiciones de orientación, posición e iluminación y la imagen
borrosa de la imagen y tiene en cuenta estos efectos en la imagen
para obtener una imagen de referencia de la placa de matrícula. El
dispositivo 312 de programa de reconocimiento de placas de
matrícula proporciona una segmentación de caracteres representados
en la imagen de referencia empleando una proyección a lo largo de
un eje horizontal de la imagen de referencia para identificar la
posición de los caracteres. Se incluye un clasificador 314
estadístico adaptado para clasificar los caracteres basándose en
una puntuación de seguridad de la probabilidad de identificar de
manera correcta cada carácter para reconocer los caracteres.
En referencia a la figura 6, se muestra un
método ilustrativo para una placa de matrícula dada. El bloque 400
muestra una placa de matrícula después de una localización
aproximada. En el bloque 402 se tienen en cuenta la detección de la
inclinación y los efectos de iluminación, y se lleva a cabo un
refinamiento adicional de la imagen. En el bloque 404, se realiza
una localización vertical precisa reduciendo el número de píxeles y
centrándose en la placa de matrícula. En el bloque 406 se segmentan
los caracteres, y en el bloque 408 se clasifican los caracteres.
Una vez extraídos los caracteres individuales, cada imagen
secundaria se normaliza individualmente con respecto a la
iluminación antes de evaluarse en el clasificador. Esto tiene en
cuenta diferentes iluminaciones/sombras a través de la placa de
matrícula. En el bloque 410 se calcula una puntuación de seguridad.
Si la puntuación de seguridad para un carácter dado es menor de un
valor umbral, se realiza una nueva segmentación (bloque 406). Los
caracteres adyacentes pueden combinarse para determinar una mejor
puntuación. De lo contrario, el recorrido regresa al bloque 400.
Estas etapas pueden ejecutarse de manera iterativa hasta alcanzar
una mejor puntuación.
Habiendo descrito las realizaciones preferidas
para el reconocimiento de matrículas con una cámara inteligente
(que pretenden ser ilustrativas y no limitativas), se indica que los
expertos en la técnica pueden realizar modificaciones y variaciones
a la luz de las enseñanzas anteriores. Debe entenderse, por tanto,
que pueden realizarse cambios en las realizaciones particulares de
la invención descrita que entran dentro del alcance de la invención
tal como se expone en las reivindicaciones anexas. Habiendo por
tanto descrito la invención con los detalles y particularidades
requeridos por las leyes de patentes, aquello que se reivindica y
para lo que se busca protección mediante patente se establece en
las reivindicaciones anexas.
Claims (19)
1. Método para reconocer placas de
matrícula empleando una cámara inteligente con un procesador y una
memoria, comprendiendo las etapas del método:
capturar mediante la cámara una imagen (10) que
incluye una placa de matrícula;
detectar una región en la que se sitúa la placa
de matrícula realizando una localización (12) aproximada en la
imagen;
detectar las condiciones de orientación,
posición e iluminación de la imagen y tener en cuenta las
condiciones de orientación, posición e iluminación de la imagen
(20) para obtener una imagen de referencia de la placa de
matrícula;
realizar una localización (24) precisa y una
operación de nuevo muestreo para obtener una representación más
precisa de resolución vertical de la imagen de referencia de la
placa de matrícula;
segmentar los caracteres (26) representados en
la imagen de referencia empleando una proyección (28) a lo largo de
un eje horizontal de la imagen de referencia para identificar la
posición de los caracteres;
clasificar los caracteres (34) basándose en un
clasificador estadístico para obtener una puntuación de seguridad
de la probabilidad de identificar correctamente cada carácter; y
realizar de manera recursiva la etapa del método
de segmentación de caracteres (26) y las siguientes etapas del
método hasta que cada puntuación de seguridad supera un valor umbral
para reconocer los caracteres; en el que después de la etapa de
segmentación de caracteres (26) y antes de la etapa de clasificación
de caracteres (34)
se realiza la etapa de comparar cada carácter en
la imagen de la placa de matrícula con ejemplos de imágenes con
diferentes iluminaciones para tener en cuenta los efectos de
iluminación sobre la imagen.
2. Método según la reivindicación 1,
en el que la etapa de detectar una región en la que se encuentra la
placa de matrícula realizando una localización (12) aproximada de la
imagen incluye las etapas de:
submuestrear la imagen para reducir el número de
píxeles;
extraer los bordes verticales en la imagen;
generar un mapa de saliencia basándose en los
bordes verticales para identificar regiones en la imagen con una
probabilidad de incluir una placa de matrícula; y
extraer un resultado de localización que incluye
la imagen de la placa de matrícula.
3. Método según la reivindicación 1,
en el que la etapa de segmentar los caracteres (26) representados
en la imagen de referencia empleando una proyección a lo largo de un
eje horizontal de la imagen de referencia para identificar la
posición de los caracteres incluye las etapas de:
proporcionar un perfil de proyección (28) de
intensidades de píxel a través de líneas verticales de píxeles en
la imagen de referencia;
filtrar el perfil de proyección (30); e
identificar la ubicación de los caracteres (32)
en la imagen de referencia representada por el área por debajo de
un valor umbral en el perfil de proyección filtrado.
4. Método según la reivindicación 1,
en el que el clasificador estadístico emplea una red de convolución
y la etapa de clasificar los caracteres basándose en un clasificador
estadístico para obtener una puntuación de seguridad de la
probabilidad de identificar correctamente cada carácter incluye la
etapa de entrenar al clasificador empleando muestras virtuales de
caracteres.
5. Método según la reivindicación 1,
que comprende además la etapa de comparar bloques de caracteres y
caracteres con predeterminados códigos de placas de matrícula y
convenciones (36) para comprobar la precisión del
reconocimiento.
6. Método según la reivindicación 1,
en el que la etapa de realizar de manera recursiva las etapas del
método hasta que cada puntuación de seguridad supera un valor umbral
incluye la etapa de considerar conjuntamente caracteres adyacentes
para intentar mejorar la puntuación de seguridad.
7. Sistema de cámara para reconocer
placas de matrícula que comprende:
una cámara (300);
un procesador (303) para gestionar datos de
imágenes y ejecutar un dispositivo de programa de reconocimiento de
placas de matrícula; incluyendo el dispositivo de programa de
reconocimiento de placas de matrícula:
medios para detectar las condiciones de
orientación, posición e iluminación, y la imagen borrosa de la
imagen, y tener en cuenta las condiciones de orientación, posición
e iluminación, y de imagen borrosa de la imagen para obtener una
imagen de referencia de la placa de matrícula;
medios para segmentar los caracteres
representados en la imagen de referencia empleando una proyección a
lo largo de un eje horizontal de la imagen de referencia para
identificar la posición de los caracteres;
un clasificador (314) estadístico adaptado para
reconocer y clasificar los caracteres basándose en una puntuación
de seguridad, estando la puntuación de seguridad basada en la
probabilidad de identificar correctamente cada carácter; y
una memoria (302) para almacenar el programa de
reconocimiento de placas de matrícula y la imagen de la placa de
matrícula tomada por un dispositivo de captura de imágenes de la
cámara; caracterizado porque
se prevén medios para incluir ejemplos de
imágenes con diferentes iluminaciones para tener en cuenta los
efectos de iluminación sobre la imagen para cada carácter de la
imagen;
y porque el sistema de cámara es un sistema de
cámara inteligente, estando la cámara (300) adaptada para capturar
de manera independiente una imagen de una placa de matrícula y
reconocer la imagen de la placa de matrícula, e incluyendo el
procesador.
8. Sistema de cámara inteligente
según la reivindicación 7, que comprende además un dispositivo de
activación adaptado para hacer que se capture una imagen en
respuesta a un evento.
9. Sistema de cámara inteligente
según la reivindicación 8, en el que el evento incluye una
aproximación de un vehículo.
10. Sistema de cámara inteligente según
la reivindicación 7, en el que los medios de segmentación incluyen
medios para proporcionar un perfil (28) de proyección de las
intensidades de píxel a través de líneas verticales de píxeles en
la imagen de referencia; un perfil de filtro para filtrar (30) el
perfil de proyección; y medios para identificar la ubicación de los
caracteres (32) en la imagen de referencia representada por un área
por debajo de un valor umbral en el perfil de proyección
filtrado.
11. Sistema de cámara inteligente según
la reivindicación 7, en el que el clasificador estadístico incluye
uno de entre una red de convolución y un perceptrón multicapa
totalmente conectado.
12. Sistema de cámara inteligente según
la reivindicación 7, en el que la memoria (302) incluye una base de
datos para códigos de placas de matrícula predeterminados y
convenciones para comprobar la precisión del reconocimiento.
13. Sistema de cámara inteligente según
la reivindicación 7, que además comprende un sistema de control de
un aparcamiento acoplado al sistema de cámara inteligente para
determinar las tarifas de aparcamiento basándose en el
reconocimiento de caracteres de placas de matrícula.
14. Dispositivo de almacenamiento de
programa legible por ordenador, que constituye de forma tangible un
programa de instrucciones que puede ejecutarse por ordenador para
realizar las etapas del método para el reconocimiento de placas de
matrícula, emplea una cámara inteligente con un procesador y una
memoria, comprendiendo las etapas del método:
capturar mediante la cámara una imagen (10) que
incluye una placa de matrícula;
detectar una región en la que se sitúa la placa
de matrícula realizando una localización (12) aproximada en la
imagen;
detectar las condiciones de orientación,
posición e iluminación de la imagen y tener en cuenta las
condiciones de orientación, posición e iluminación de la imagen
(22) para obtener una imagen de referencia de la placa de
matrícula;
realizar una localización (24) precisa y una
operación de nuevo muestreo para obtener una representación más
precisa de resolución vertical de la imagen de referencia de la
placa de matrícula;
segmentar los caracteres (26) representados en
la imagen de referencia empleando una proyección a lo largo de un
eje horizontal de la imagen de referencia para identificar la
posición de los caracteres;
\newpage
clasificar los caracteres (34) basándose en un
clasificador estadístico para obtener una puntuación de seguridad
de la probabilidad de identificar correctamente cada carácter; y
realizar de manera recursiva la etapa del método
de segmentación de caracteres (26) y las siguientes etapas del
método hasta que cada puntuación de seguridad supera un valor umbral
para reconocer los caracteres; en el que después de la etapa de
segmentación de caracteres (26) y antes de la etapa de clasificación
de caracteres (34)
se realiza la etapa de comparar cada carácter en
la imagen de la placa de matrícula con ejemplos de imágenes con
diferentes iluminaciones para tener en cuenta los efectos de
iluminación sobre la imagen; y en el que
el método emplea una cámara inteligente con un
procesador y una memoria.
15. Dispositivo de almacenamiento de
programa según la reivindicación 14, en el que la etapa de detectar
una región en la que se sitúa la placa de matrícula realizando una
localización aproximada de la imagen incluye las etapas de:
submuestrear la imagen para reducir el número de
píxeles;
extraer los bordes verticales en la imagen;
generar un mapa de saliencia basándose en los
bordes verticales para identificar regiones en la imagen con una
probabilidad de incluir una placa de matrícula; y
extraer un resultado de localización que incluye
la imagen de la placa de matrícula.
16. Dispositivo de almacenamiento de
programa según la reivindicación 14, en el que la etapa de segmentar
los caracteres (26) representados en la imagen de referencia
empleando una proyección a lo largo de un eje horizontal de la
imagen de referencia para identificar la posición de los caracteres
incluye las etapas de:
proporcionar un perfil de proyección (28) de
intensidades de píxel a través de líneas verticales de píxeles en
la imagen de referencia;
filtrar el perfil de proyección (30); e
identificar la ubicación de los caracteres (32)
en la imagen de referencia representada por el área por debajo de
un valor umbral en el perfil de proyección filtrado.
17. Dispositivo de almacenamiento de
programa según la reivindicación 14, en el que el clasificador
estadístico emplea una red de convolución y la etapa de clasificar
los caracteres basándose en un clasificador estadístico para
obtener una puntuación de seguridad de la probabilidad de
identificar correctamente cada carácter incluye la etapa de
entrenar al clasificador empleando muestras virtuales de
caracteres.
18. Dispositivo de almacenamiento de
programa según la reivindicación 14, que comprende además la etapa
de comparar bloques de caracteres y caracteres con predeterminados
códigos de placas de matrícula y convenciones para comprobar la
precisión del reconocimiento (36).
19. Dispositivo de almacenamiento de
programa según la reivindicación 14, en el que la etapa de realizar
de manera recursiva las etapas del método hasta que cada puntuación
de seguridad supera un valor umbral incluye la etapa de considerar
conjuntamente caracteres adyacentes para intentar mejorar la
puntuación de seguridad.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US396950 | 1999-09-15 | ||
| US09/396,950 US6553131B1 (en) | 1999-09-15 | 1999-09-15 | License plate recognition with an intelligent camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2270792T3 true ES2270792T3 (es) | 2007-04-16 |
Family
ID=23569258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES00307581T Expired - Lifetime ES2270792T3 (es) | 1999-09-15 | 2000-09-01 | Reconocimiento de placas de matricula con camara inteligente. |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6553131B1 (es) |
| EP (1) | EP1085455B1 (es) |
| AT (1) | ATE338311T1 (es) |
| DE (1) | DE60030377T2 (es) |
| ES (1) | ES2270792T3 (es) |
Families Citing this family (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7091959B1 (en) * | 1999-03-31 | 2006-08-15 | Advanced Digital Systems, Inc. | System, computer program product, computing device, and associated methods for form identification and information manipulation |
| US6959869B2 (en) * | 1999-06-07 | 2005-11-01 | Metrologic Instruments, Inc. | Automatic vehicle identification (AVI) system employing planar laser illumination and imaging (PLIIM) based subsystems |
| US7657064B1 (en) | 2000-09-26 | 2010-02-02 | Digimarc Corporation | Methods of processing text found in images |
| US6798907B1 (en) * | 2001-01-24 | 2004-09-28 | Advanced Digital Systems, Inc. | System, computer software product and method for transmitting and processing handwritten data |
| EP1354299A2 (en) * | 2001-01-26 | 2003-10-22 | Raytheon Company | Vehicle trip determination system and method |
| US20020107885A1 (en) * | 2001-02-01 | 2002-08-08 | Advanced Digital Systems, Inc. | System, computer program product, and method for capturing and processing form data |
| US6996528B2 (en) * | 2001-08-03 | 2006-02-07 | Matsushita Electric Industrial Co., Ltd. | Method for efficient, safe and reliable data entry by voice under adverse conditions |
| US8331621B1 (en) * | 2001-10-17 | 2012-12-11 | United Toll Systems, Inc. | Vehicle image capture system |
| US7725348B1 (en) * | 2001-10-17 | 2010-05-25 | United Toll Systems, Inc. | Multilane vehicle information capture system |
| US7734500B1 (en) | 2001-10-17 | 2010-06-08 | United Toll Systems, Inc. | Multiple RF read zone system |
| US20060132604A1 (en) * | 2002-11-08 | 2006-06-22 | Ich-Kien Lao | Video quick zoom and autofocus for officer safety |
| US20040234104A1 (en) * | 2003-05-19 | 2004-11-25 | Quen-Zong Wu | Method of automatic container number recognition by color discrimination and reorganization |
| US20040234105A1 (en) * | 2003-05-19 | 2004-11-25 | Quen-Zong Wu | Method of automatic vehicle licence plate recognition by color discrimination and reorganization |
| US20060030985A1 (en) * | 2003-10-24 | 2006-02-09 | Active Recognition Technologies Inc., | Vehicle recognition using multiple metrics |
| EP1544792A1 (en) * | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Device and method for creating a saliency map of an image |
| JP4297798B2 (ja) * | 2004-01-29 | 2009-07-15 | 富士通株式会社 | 移動体情報管理プログラム |
| CN1316418C (zh) * | 2004-04-16 | 2007-05-16 | 中国科学院自动化研究所 | 门牌号自动识别系统及方法 |
| US7499588B2 (en) * | 2004-05-20 | 2009-03-03 | Microsoft Corporation | Low resolution OCR for camera acquired documents |
| IL162878A0 (en) * | 2004-07-06 | 2005-11-20 | Hi Tech Solutions Ltd | Multi-level neural network based characters identification method and system |
| IL162921A0 (en) * | 2004-07-08 | 2005-11-20 | Hi Tech Solutions Ltd | Character recognition system and method |
| WO2006044476A2 (en) | 2004-10-12 | 2006-04-27 | Robert Vernon Vanman | Method of and system for mobile surveillance and event recording |
| JP4639754B2 (ja) * | 2004-11-04 | 2011-02-23 | 富士ゼロックス株式会社 | 画像処理装置 |
| US7639876B2 (en) * | 2005-01-14 | 2009-12-29 | Advanced Digital Systems, Inc. | System and method for associating handwritten information with one or more objects |
| JP2006309650A (ja) * | 2005-05-02 | 2006-11-09 | Calsonic Kansei Corp | ナンバー認識装置及方法 |
| US7860344B1 (en) | 2005-05-06 | 2010-12-28 | Stochastech Corporation | Tracking apparatus and methods using image processing noise reduction |
| US7813581B1 (en) | 2005-05-06 | 2010-10-12 | Fitzpatrick Ben G | Bayesian methods for noise reduction in image processing |
| US7720286B2 (en) * | 2005-05-25 | 2010-05-18 | Advanced Digital Systems, Inc. | System and method for associating handwritten information with one or more objects via discontinuous regions of a printed pattern |
| CN100385450C (zh) * | 2005-08-26 | 2008-04-30 | 电子科技大学 | 基于高帽变换和小波变换的车牌提取方法 |
| US7747070B2 (en) * | 2005-08-31 | 2010-06-29 | Microsoft Corporation | Training convolutional neural networks on graphics processing units |
| US7613328B2 (en) * | 2005-09-09 | 2009-11-03 | Honeywell International Inc. | Label detection |
| CN100414560C (zh) * | 2005-09-12 | 2008-08-27 | 电子科技大学 | 基于小波变换和雷登变换的车牌提取方法 |
| CN100414561C (zh) * | 2005-09-12 | 2008-08-27 | 电子科技大学 | 一种基于投影法和数学形态学的车牌提取方法 |
| US20070058856A1 (en) * | 2005-09-15 | 2007-03-15 | Honeywell International Inc. | Character recoginition in video data |
| US7382280B2 (en) * | 2005-10-17 | 2008-06-03 | Cleverdevices, Inc. | Parking violation recording system and method |
| US20070153091A1 (en) * | 2005-12-29 | 2007-07-05 | John Watlington | Methods and apparatus for providing privacy in a communication system |
| US20130163822A1 (en) * | 2006-04-04 | 2013-06-27 | Cyclops Technologies, Inc. | Airborne Image Capture and Recognition System |
| US20130163823A1 (en) * | 2006-04-04 | 2013-06-27 | Cyclops Technologies, Inc. | Image Capture and Recognition System Having Real-Time Secure Communication |
| US7952021B2 (en) | 2007-05-03 | 2011-05-31 | United Toll Systems, Inc. | System and method for loop detector installation |
| US8558883B2 (en) * | 2007-07-27 | 2013-10-15 | Sportvision, Inc. | Providing graphics in images depicting aerodynamic flows and forces |
| CN101393601B (zh) * | 2007-09-21 | 2011-08-17 | 汉王科技股份有限公司 | 印刷体数学公式识别方法 |
| US7382244B1 (en) | 2007-10-04 | 2008-06-03 | Kd Secure | Video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis |
| US8013738B2 (en) | 2007-10-04 | 2011-09-06 | Kd Secure, Llc | Hierarchical storage manager (HSM) for intelligent storage of large volumes of data |
| CN101183425B (zh) * | 2007-12-20 | 2010-06-09 | 四川川大智胜软件股份有限公司 | 粤港两地车牌定位方法 |
| DE102008009263B3 (de) * | 2008-02-15 | 2009-06-10 | Siemens Aktiengesellschaft | Verfahren zum automatischen Erkennen, insbesondere bei der Verkehrsüberwachung, von Fahrzeugen oder von Fahrzeugkennzeichen |
| WO2009102480A2 (en) | 2008-02-15 | 2009-08-20 | Enforcement Video, Llc | System and method for multi-resolution storage of images |
| US8229168B2 (en) * | 2008-02-20 | 2012-07-24 | International Business Machines Corporation | Fast license plate verifier |
| TWI410879B (zh) * | 2009-01-23 | 2013-10-01 | Ind Tech Res Inst | 影像辨識與輸出方法以及其系統 |
| US8319665B2 (en) * | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Adaptive instrument and operator control recognition |
| US8319666B2 (en) | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for vehicles |
| US20100246890A1 (en) * | 2009-03-26 | 2010-09-30 | Microsoft Corporation | Detection of objects in images |
| TWI381321B (zh) * | 2009-04-30 | 2013-01-01 | 財團法人工業技術研究院 | 重組多張影像與辨識方法以及影像擷取與辨識系統 |
| TWI384408B (zh) * | 2009-04-30 | 2013-02-01 | Ind Tech Res Inst | 影像辨識以及輸出方法與其系統 |
| US8620078B1 (en) | 2009-07-14 | 2013-12-31 | Matrox Electronic Systems, Ltd. | Determining a class associated with an image |
| US9691061B2 (en) * | 2009-08-18 | 2017-06-27 | Bancpass, Inc | Method and system for electronic toll payment |
| US8576069B2 (en) | 2009-10-22 | 2013-11-05 | Siemens Corporation | Mobile sensing for road safety, traffic management, and road maintenance |
| KR101733539B1 (ko) * | 2009-11-24 | 2017-05-10 | 삼성전자주식회사 | 문자인식장치 및 그 제어방법 |
| CN102214290B (zh) * | 2010-04-12 | 2013-03-20 | 无锡科利德斯科技有限公司 | 车牌定位方法及车牌定位模板训练方法 |
| CN101872416B (zh) * | 2010-05-06 | 2013-05-01 | 复旦大学 | 对道路图像进行车牌识别的方法和系统 |
| US11568772B2 (en) * | 2010-05-27 | 2023-01-31 | Neville Boston | Method and system for rendering content on the exterior of a vehicle |
| US9007193B2 (en) | 2010-05-27 | 2015-04-14 | Revivermx, Inc. | Method and system for rendering content on the exterior of a vehicle |
| US9663028B2 (en) | 2010-05-27 | 2017-05-30 | Frederick Hayle Parkes | Method and system for rendering content on the exterior of a vehicle |
| US8401230B2 (en) | 2010-11-01 | 2013-03-19 | Xerox Corporation | Signature based drive-through order tracking system and method |
| KR101727137B1 (ko) * | 2010-12-14 | 2017-04-14 | 한국전자통신연구원 | 텍스트 영역의 추출 방법, 추출 장치 및 이를 이용한 번호판 자동 인식 시스템 |
| US8447112B2 (en) * | 2010-12-17 | 2013-05-21 | Xerox Corporation | Method for automatic license plate recognition using adaptive feature set |
| CN102043959B (zh) * | 2010-12-28 | 2012-09-26 | 青岛海信网络科技股份有限公司 | 车牌字符分割方法 |
| US8792682B2 (en) | 2011-04-21 | 2014-07-29 | Xerox Corporation | Method and system for identifying a license plate |
| WO2013003797A1 (en) | 2011-06-29 | 2013-01-03 | Smart Plate, Inc. | System and methods for rendering content on a vehicle |
| US8731244B2 (en) * | 2011-07-28 | 2014-05-20 | Xerox Corporation | Systems and methods for improving image recognition |
| JP5768590B2 (ja) * | 2011-08-22 | 2015-08-26 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN103000028B (zh) * | 2011-09-14 | 2015-12-09 | 上海宝康电子控制工程有限公司 | 车辆号牌识别系统及识别方法 |
| WO2013104937A2 (en) * | 2012-01-11 | 2013-07-18 | 77 Elektronika Mũszeripari Kft. | Image processing method and apparatus |
| US20130204719A1 (en) * | 2012-02-02 | 2013-08-08 | Xerox Corporation | Systems and methods for license plate recognition to enable advance order pickup |
| EP2812661B1 (en) | 2012-02-10 | 2019-11-27 | Appareo Systems, LLC | Frequency-adaptable structural health and usage monitoring system |
| US10607424B2 (en) | 2012-02-10 | 2020-03-31 | Appareo Systems, Llc | Frequency-adaptable structural health and usage monitoring system (HUMS) and method with smart sensors |
| US8934676B2 (en) * | 2012-05-04 | 2015-01-13 | Xerox Corporation | Robust character segmentation for license plate images |
| US10171999B2 (en) * | 2012-12-07 | 2019-01-01 | Sitepro, Llc | Mobile surveillance unit |
| CN103971086B (zh) * | 2013-02-05 | 2017-05-10 | 浙江大华技术股份有限公司 | 一种车头定位方法及装置 |
| KR101298684B1 (ko) | 2013-02-20 | 2013-08-21 | 임동현 | 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법 |
| ES2560637T3 (es) * | 2013-03-13 | 2016-02-22 | Kapsch Trafficcom Ag | Procedimiento para la lectura de matrículas de vehículo |
| US9122928B2 (en) | 2013-04-11 | 2015-09-01 | International Business Machines Corporation | Determining images having unidentifiable license plates |
| CN103294997A (zh) * | 2013-05-20 | 2013-09-11 | 北京康拓红外技术股份有限公司 | 一种基于静态图像的列车车号识别方法 |
| US9195908B2 (en) | 2013-05-22 | 2015-11-24 | Xerox Corporation | Snow classifier context window reduction using class t-scores and mean differences |
| CN103268493A (zh) * | 2013-05-29 | 2013-08-28 | 上海电机学院 | Rgb格式的汽车牌照图像定位方法 |
| US9405988B2 (en) | 2013-08-13 | 2016-08-02 | James Alves | License plate recognition |
| US9928273B2 (en) | 2013-08-19 | 2018-03-27 | International Business Machines Corporation | Enhanced database searching and storage |
| CN103413147B (zh) * | 2013-08-28 | 2017-07-07 | 庄浩洋 | 一种车牌识别方法和系统 |
| DE102013016356A1 (de) * | 2013-10-01 | 2015-04-02 | Connaught Electronics Ltd. | Verfahren zum Nutzen eines Kamerasystems eines Kraftfahrzeugs als Diebstahlwarnanlage, Kamerasystem und Kraftfahrzeug |
| US9213910B2 (en) | 2013-11-06 | 2015-12-15 | Xerox Corporation | Reinforcement learning approach to character level segmentation of license plate images |
| DE102013224539B4 (de) * | 2013-11-29 | 2026-03-19 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Bilddatenübertragung |
| CN103729899B (zh) * | 2014-01-15 | 2017-04-12 | 西安艾润物联网技术服务有限责任公司 | 用于停车场控制系统的嵌入式主板及停车场控制系统 |
| US9773258B2 (en) | 2014-02-12 | 2017-09-26 | Nextep Systems, Inc. | Subliminal suggestive upsell systems and methods |
| CN104504744B (zh) * | 2014-12-31 | 2017-09-19 | 深圳市捷顺科技实业股份有限公司 | 一种合成车牌图像的拟真方法及装置 |
| US9501707B2 (en) | 2015-04-16 | 2016-11-22 | Xerox Corporation | Method and system for bootstrapping an OCR engine for license plate recognition |
| US9418305B1 (en) | 2015-04-29 | 2016-08-16 | Xerox Corporation | Segmentation free approach to automatic license plate recognition |
| CN106203234A (zh) * | 2015-04-30 | 2016-12-07 | 蔡汉宝 | 对象识别与寻找系统与方法 |
| US10467268B2 (en) * | 2015-06-02 | 2019-11-05 | International Business Machines Corporation | Utilizing word embeddings for term matching in question answering systems |
| CN105117724B (zh) * | 2015-07-30 | 2018-04-20 | 北京邮电大学 | 一种车牌定位方法及装置 |
| US11587327B2 (en) | 2015-10-01 | 2023-02-21 | Intellivision Technologies Corp | Methods and systems for accurately recognizing vehicle license plates |
| US10706330B2 (en) | 2015-10-01 | 2020-07-07 | Intellivision Technologies Corp | Methods and systems for accurately recognizing vehicle license plates |
| KR102509819B1 (ko) | 2015-11-04 | 2023-03-14 | 삼성전자주식회사 | 신호 처리 장치 및 신호 처리 방법 |
| CN105373794B (zh) * | 2015-12-14 | 2018-02-06 | 河北工业大学 | 一种车牌识别方法 |
| US9965696B2 (en) | 2015-12-31 | 2018-05-08 | James Alves | Digital camera control system |
| US10068146B2 (en) | 2016-02-25 | 2018-09-04 | Conduent Business Services, Llc | Method and system for detection-based segmentation-free license plate recognition |
| US9911055B2 (en) * | 2016-03-08 | 2018-03-06 | Conduent Business Services, Llc | Method and system for detection and classification of license plates |
| US10250433B1 (en) | 2016-03-25 | 2019-04-02 | WatchGuard, Inc. | Method and system for peer-to-peer operation of multiple recording devices |
| US10341605B1 (en) | 2016-04-07 | 2019-07-02 | WatchGuard, Inc. | Systems and methods for multiple-resolution storage of media streams |
| CN106203418A (zh) * | 2016-07-14 | 2016-12-07 | 北京精英智通科技股份有限公司 | 一种车牌检测的方法及装置 |
| CN108171104B (zh) * | 2016-12-08 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 一种文字检测方法及装置 |
| JP6968891B2 (ja) | 2017-01-05 | 2021-11-17 | リバイバーエムエックス, インク.Revivermx, Inc. | 盗難防止システムを有するデジタルナンバープレートシステム |
| WO2018129343A1 (en) | 2017-01-05 | 2018-07-12 | Revivermx, Inc. | Power and communication modes for digital license plate |
| CA3049246A1 (en) | 2017-01-05 | 2018-07-12 | Revivermx, Inc. | Thermal control system for a digital license plate |
| CN107704857B (zh) * | 2017-09-25 | 2020-07-24 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
| CN110390643B (zh) * | 2018-04-20 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种车牌增强方法、装置及电子设备 |
| CN109063702B (zh) * | 2018-08-08 | 2022-05-17 | 北京旷视科技有限公司 | 车牌识别方法、装置、设备及存储介质 |
| CN110969176B (zh) * | 2018-09-29 | 2023-12-29 | 杭州海康威视数字技术股份有限公司 | 一种车牌样本扩增方法、装置和计算机设备 |
| JP7147513B2 (ja) * | 2018-11-29 | 2022-10-05 | トヨタ自動車株式会社 | 情報提供システム、サーバ、車載装置及び情報提供方法 |
| CN109785319B (zh) * | 2019-01-28 | 2023-09-08 | 湖北汽车工业学院 | 一种基于图像处理的喷码字符检测系统、装置和检测方法 |
| DE102019204602B4 (de) | 2019-04-01 | 2020-10-15 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten |
| US11560784B2 (en) | 2019-06-11 | 2023-01-24 | Noven, Inc. | Automated beam pump diagnostics using surface dynacard |
| US11408271B2 (en) | 2019-06-11 | 2022-08-09 | Noven, Inc. | Well pump diagnostics using multi-physics sensor data |
| CN112396076B (zh) * | 2019-08-15 | 2024-12-03 | 杭州海康威视数字技术股份有限公司 | 车牌图像生成方法、装置及计算机存储介质 |
| CN111091131B (zh) * | 2019-12-18 | 2023-06-09 | 创新奇智(南京)科技有限公司 | 基于多任务学习的自适应车牌字符识别系统及识别方法 |
| CN111652143B (zh) * | 2020-06-03 | 2023-09-29 | 浙江大华技术股份有限公司 | 一种车辆检测方法、装置以及计算机存储介质 |
| CN111754440B (zh) * | 2020-06-29 | 2023-05-05 | 苏州科达科技股份有限公司 | 车牌图像增强方法、系统、设备及存储介质 |
| CN113221887A (zh) * | 2021-05-18 | 2021-08-06 | 上海新纪元机器人有限公司 | 一种车牌识别方法及装置 |
| CN115393836B (zh) * | 2021-05-24 | 2026-03-20 | 成都鼎桥通信技术有限公司 | 车牌识别方法及设备 |
| CN114299275B (zh) * | 2021-12-03 | 2023-07-18 | 江苏航天大为科技股份有限公司 | 一种基于霍夫变换的车牌倾斜校正方法 |
| FR3150030B1 (fr) | 2023-06-19 | 2025-05-02 | Innovative Tech | Procede de lecture automatique de plaque d’immatriculation mis en œuvre par un dispositif de lecture de plaque d’immatriculation |
| US20250054321A1 (en) * | 2023-08-08 | 2025-02-13 | Eaigle Inc. | Systems and Methods for Processing Images to Detect Text |
| CN118552882B (zh) * | 2024-07-26 | 2024-11-15 | 深圳市旭景数字技术有限公司 | 智能视频监控系统的边缘计算优化方法及系统 |
| CN119672654B (zh) * | 2025-02-19 | 2025-06-24 | 国网浙江省电力有限公司宁波供电公司 | 一种车辆信息收录管理方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4567609A (en) * | 1983-03-28 | 1986-01-28 | The United States Of America As Represented By The Secretary Of The Navy | Automatic character recognition system |
| US5253304A (en) * | 1991-11-27 | 1993-10-12 | At&T Bell Laboratories | Method and apparatus for image segmentation |
| CA2132515C (en) * | 1992-03-20 | 2006-01-31 | Glen William Auty | An object monitoring system |
| CA2135240A1 (en) * | 1993-12-01 | 1995-06-02 | James F. Frazier | Automated license plate locator and reader |
| US5805731A (en) * | 1995-08-08 | 1998-09-08 | Apple Computer, Inc. | Adaptive statistical classifier which provides reliable estimates or output classes having low probabilities |
| US5847661A (en) * | 1996-03-15 | 1998-12-08 | Intelligent Ideation, Inc. | Vehicle data acquisition system |
| US6141620A (en) * | 1996-09-03 | 2000-10-31 | Chrysler Corporation | Vehicle control system for automated durability road (ADR) facility |
| SG71018A1 (en) * | 1997-03-01 | 2000-03-21 | Inst Of Systems Science Nat Un | Robust identification code recognition system |
-
1999
- 1999-09-15 US US09/396,950 patent/US6553131B1/en not_active Expired - Fee Related
-
2000
- 2000-09-01 AT AT00307581T patent/ATE338311T1/de not_active IP Right Cessation
- 2000-09-01 ES ES00307581T patent/ES2270792T3/es not_active Expired - Lifetime
- 2000-09-01 EP EP00307581A patent/EP1085455B1/en not_active Expired - Lifetime
- 2000-09-01 DE DE60030377T patent/DE60030377T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60030377D1 (de) | 2006-10-12 |
| US6553131B1 (en) | 2003-04-22 |
| EP1085455A3 (en) | 2004-04-07 |
| DE60030377T2 (de) | 2007-09-20 |
| EP1085455B1 (en) | 2006-08-30 |
| ATE338311T1 (de) | 2006-09-15 |
| EP1085455A2 (en) | 2001-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2270792T3 (es) | Reconocimiento de placas de matricula con camara inteligente. | |
| ES2947935T3 (es) | Método de formación de imágenes de la pared lateral de un neumático | |
| ES2275474T3 (es) | Metodo de segmentacion de caracteres para reconocimiento de placas de matricula de vehiculos. | |
| Dlagnekov | Video-based car surveillance: License plate, make, and model reconition | |
| CN106203274B (zh) | 一种视频监控中行人实时检测系统及方法 | |
| Fleuret et al. | Coarse-to-fine face detection | |
| Panahi et al. | Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications | |
| Rasheed et al. | Automated number plate recognition using hough lines and template matching | |
| Choudhury et al. | Vehicle detection and counting using haar feature-based classifier | |
| US8798314B2 (en) | Detection of vehicles in images of a night time scene | |
| EP0844582A2 (en) | System and method for detecting a human face | |
| Lee et al. | Context and profile based cascade classifier for efficient people detection and safety care system | |
| Bolme et al. | Simple real-time human detection using a single correlation filter | |
| CN116071807B (zh) | 基于视频监控的校园一卡通智能预警方法及系统 | |
| KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
| Mustafa et al. | Challenges in automatic license plate recognition system review | |
| Garcia-Bunster et al. | Crowded pedestrian counting at bus stops from perspective transformations of foreground areas | |
| Lin et al. | Traffic light detection and recognition using a two-stage framework from individual signal bulb identification | |
| CN112132865A (zh) | 人员识别方法及系统 | |
| JP2007025767A (ja) | 画像認識システムと画像認識方法、および画像認識プログラム | |
| Desai et al. | Real-time implementation of Indian license plate recognition system | |
| Wijnhoven et al. | Identity verification using computer vision for automatic garage door opening | |
| Parada-Loira et al. | Local contour patterns for fast traffic sign detection | |
| Davis et al. | Real-time face recognition from surveillance video | |
| Venugopalan et al. | Unconstrained iris acquisition and recognition using cots ptz camera |