ES2233202A1 - Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas. - Google Patents
Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas.Info
- Publication number
- ES2233202A1 ES2233202A1 ES200302745A ES200302745A ES2233202A1 ES 2233202 A1 ES2233202 A1 ES 2233202A1 ES 200302745 A ES200302745 A ES 200302745A ES 200302745 A ES200302745 A ES 200302745A ES 2233202 A1 ES2233202 A1 ES 2233202A1
- Authority
- ES
- Spain
- Prior art keywords
- optical flow
- image
- images
- processing unit
- computation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 2
- 238000003706 image smoothing Methods 0.000 claims 2
- 230000033001 locomotion Effects 0.000 abstract description 6
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000013459 approach Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 229920000954 Polyglycolide Polymers 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G06T7/2013—
-
- G06T7/2066—
-
- G06T7/208—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Abstract
Dispositivo para la estimación de flujo óptico en imágenes mediante FPGAS, es objeto de esta invención un dispositivo desarrollado para la estimación del flujo óptico denso de una secuencia de video en tiempo real. Proporciona las velocidades de los desplazamientos de los niveles de gris presentes en la secuencia. Las imágenes digitalizadas son la entrada al sistema. El dispositivo propuesto realiza el procesamiento mediante una arquitectura basada en cómputo de los gradientes espacio- temporales de la secuencia (módulo DERIVADAS). Existiendo una unidad de control (módulo CONTROL) que permite configurar el funcionamiento de la unidad. Finalmente el dispositivo proporciona la velocidad de cada píxel (módulo CÓMPUTO VELOCIDAD). El dispositivo puede ser utilizado en sistemas de segmentación de objetos móviles, seguimiento, reconstrucción 3-D de escenas, compresión de video, realizándose todo el procesamiento en tiempo real y siendo un sistema embebido y por ello portátil.
Description
Dispositivo para la estimación de flujo óptico en
imágenes mediante FPGAs.
La presente invención se encuadra dentro de los
dispositivos para procesamiento de imágenes en tiempo real. Más
concretamente dentro de los dispositivos digitales para estimación
de flujo óptico en imágenes digitales en niveles de intensidad.
Se conoce el flujo óptico en secuencias de
imágenes consistente en, mediante diferentes métodos, estimar el
desplazamiento de los niveles de gris de una imagen. Este
desplazamiento es medido a nivel subpíxel y nos permite determinar
la velocidad del desplazamiento de los píxeles de una imagen. Esta
información permite la determinación de objetos en movimiento
mediante visión y su segmentación o seguimiento.
El conocimiento de este mapa de velocidades de la
imagen es utilizado en la actualidad en sistemas de segmentación de
objetos móviles, seguimiento, reconstrucción 3-D de
escenas y codificación / compresión de video, siendo sus
potenciales utilidades muy numerosas.
Acorde a esta situación, existen numerosas
metodologías patentadas, principalmente en Estados Unidos, que
describen nuevos métodos de cómputo del flujo óptico. En ellos se
describen básicamente. diferentes implementaciones computacionales
del sistema, cada una intentando mejorar algunos de los problemas
típicos que padecen las demás.
Como ejemplo y referencia tenemos el documento WO
01/96982 A2, que describe un método basado en gradiente y pirámide
multiescala para estimación de flujo óptico mediante el algoritmo
de Horn & Schunck (descrito en el artículo "Determining
Optical flow" publicado en "Artificial Intelligence" 1981,
vol 17, pp 185-203). Otros documentos basados en
los métodos multiescala son US 6.370.196 B1, US 5680487 (basado en
gradiente) y FR2729811 (cómputo de velocidades mediante
interpolación polinomial). Diferentes aproximaciones son los
documentos que pretenden mejorar la estimación del flujo óptico
mediante aproximaciones más robustas. Podemos usar un mapa disperso
de rasgos fiables basados en la geometría epipolar de la cámara,
documento US 20030086590 A1, o estimaciones multihipótesis,
documento US 20030076982 A1. También existen métodos basados en
estimaciones de la fiabilidad del flujo óptico como el descrito en
US 20030058945 A1. Finalmente podemos encontrar documentos como el
US 20030086590 A1 que resuelve la estimación de flujo óptico
mediante la solución de la ecuación de Poisson y un método de
relaja-
ción.
ción.
Los sistemas anteriormente descritos, si bien
presentan métodos y "dispositivos" para la estimación del
flujo óptico, no persiguen el desarrollo de sistemas en tiempo
real. El principal problema es la estimación del flujo óptico es la
elevada potencia de calculo requerida para su procesamiento lo que,
normalmente relega a los dispositivos basados en procesamiento de
imágenes a un segundo plano en las aplicaciones reales. Además no
son sistemas portables, lo que limita significativamente su
utilidad para aplicaciones reales, o su utilización como
sistemas
embebidos.
embebidos.
Existe una metodología para la estimación del
movimiento de los niveles de gris basado en correlación entre
bloques de la imagen y conocido en la terminología anglosajona como
métodos de "blockmaching". Basados en esta técnica sí que
existen diferentes dispositivos hardware que son capaces estimar el
moviendo de los bloques de la imagen en tiempo real. La principal
utilidad de esta técnica es la compresión de video, siendo muy
usada en estándares tales como el mpeg y afines.
Ejemplos de ello son los dispositivos descritos
en W09526539, US 5969772 (permite además detección de objetos en
movimiento), EP0577418 A2 (para codificación de video), Patente US
5627591 (usa un mapa disperso basado en bordes para estimar el
movimiento y codificar video), US 20030123551 (para codificación
mpeg).
El problema de la técnica anterior es que si bien
es muy adecuada para la compresión de video, la información del
movimiento que proporciona no se corresponde siempre con los
desplazamientos reales de los objetos en la imagen. Esto, que es un
problema general de todas las aproximaciones para la estimación de
flujo óptico, se hace especialmente crítico en los métodos de
"blockmaching". Es por ello que para otras aplicaciones, en
especial reconstrucción 3-D de la escena, los
métodos basados en otras aproximaciones, típicamente métodos
basados en cómputo del gradiente, son más apropiados. El problema
de estos sistemas es su complejidad lo que hace poco frecuente la
existencia de sistemas de procesamiento en tiempo real basados en
ello. Un ejemplo destacable y que incluimos aquí como referencia es
el descrito en el documento US5627905. En él se describe un
dispositivo de estimación de flujo óptico basado en gradiente y
procesado de selección de patrones de movimiento. El dispositivo
permite también el seguimiento de objetos. En lo referente a su
implementación hardware utiliza un sistema mixto
procesador-PGAs así como diferentes chip de
memoria.
memoria.
El dispositivo inventado tiene por objeto la
estimación de flujo óptico denso en secuencias de video digital. El
sensor digital podrá ser de cualquier tipo, video estándar,
infrarrojos, radar etc. El procesamiento será realizado en tiempo
real utilizando un método de estimación de flujo óptico basado en
los gradientes de las imágenes. Como hemos visto en el apartado
anterior, la existencia de circuitos capaces de realizar tal
operación es muy reducida, siendo aún menos numerosos los que
pueden ser utilizados como sistemas embebidos. La presente
invención es capaz de realizar tal tarea basándose en una
estructura para circuitos tipo FPGA de gran paralelismo.
La entrada de datos del sistema serán las
imágenes capturadas con cualquier sensor
opto-electrónico y digitalizadas. La imagen de
entrada es almacenada en una memoria externa para su posterior
lectura, tal y como muestra el modulo denominado
"Frame-Grabber" (o módulo capturador) de la figura 1. El
dispositivo computa la derivada temporal a partir de imágenes
suavizadas espacio-temporalmente, utilizando para
ello un filtrado temporal con filtros
IIR.
IIR.
El dispositivo puede operar en diferentes
configuraciones que se determinan mediante una señal entrada
especialmente existente para ello. El modulo de la figura 1
denominado CONTROL es el encargado de modificar la operación de los
restantes elementos del circuito de acuerdo con el estado del
mismo. Las diferentes configuraciones modifican los tamaños de
imagen de trabajo, pudiendo realizarse la estimación de flujo a
diferentes escalas espaciales. También es posible modificar
diferentes parámetros del modelo como los umbrales de confianza en
la estimación de velocidades o de derivadas. La elección de estos
parámetros permitirá elegir la densidad de estimaciones presentes
en la imagen y como consecuencia el umbral de fiabilidad de los
mismos.
Por último, se computa la velocidad. El
dispositivo usa memoria externa para el almacenamiento de
resultados previos, utilizado para estimar la velocidad
recursivamente de manera más estable.
Para una mejor comprensión de esta memoria,
acompañamos la figura 1, que muestra un esquema básico de los
principales elementos de procesamiento realizados dentro de
circuito de la invención, indicando también las líneas de entrada y
salida de datos. Los bloques mostrados informan de las unidades
básicas de procesamiento y control descritas en el apartado
anterior.
En los dibujos:
- 1
- Módulo de control
- 2
- Módulo derivadas
- 3
- Módulo cómputo de velocidad
- 4
- Cámara
- 5
- Frame grabber
- 6
- Suavizado
- 7
- Memoria
- 8
- Salida
Para la realización del circuito de la presente
invención, descrita ya su función en el apartado anterior,
utilizamos un circuito tipo FPGA que cumpla las restricciones de
tiempo real y capacidad de procesamiento descritas en la presente
invención, sin perjuicio de otras soluciones como son las basadas
en circuitos de uso especifico (ASIC).
El circuito realizado posee las entradas
mostradas en la figura 1, los valores de los niveles de gris de la
imagen digital, la entrada de control y las interconexiones con la
memoria externa. La salida proporciona las estimaciones de
velocidad de los píxel de la
imagen.
imagen.
Claims (5)
1. Dispositivo para la estimación de flujo óptico
en imágenes mediante FPGAs caracterizado por comprender los
siguientes elementos:
- Circuito de procesamiento de imágenes en tiempo
real para estimación de flujo óptico mediante
FPGA.
FPGA.
- Entradas y/o salidas para el control del
sistema, valores de los píxeles de la imagen, memorias externas y
resultados obtenidos.
- Unidad de transferencia de datos entre el
dispositivo y la memoria externa.
- Unidad de procesamiento para realizar el
suavizado de las imágenes.
- Unidad de procesamiento para estimación de las
derivadas de la imagen.
- Unidad de procesamiento para el cómputo de las
velocidades de los píxeles de la imagen.
- Unidad de control del sistema.
2. Dispositivo para estimación de flujo óptico
según reivindicación 1 caracterizado porque la unidad de
procesamiento para suavizado de imágenes realiza un suavizado
recursivo de la imagen mediante un filtro tipo IIR.
3. Dispositivo para estimación de flujo óptico
según reivindicación 1 caracterizado porque la unidad de
procesamiento para cómputo de velocidades estima las mismas de
manera recursiva, utilizando los valores obtenidos en las imágenes
anteriores.
4. Dispositivo para estimación de flujo óptico
según reivindicación 1 caracterizado porque la unidad de
control del sistema permite seleccionar la escala espacial para el
cómputo de flujo óptico, así como modificar los umbrales de
velocidades computables y de fiabilidad en su estimación.
5. Dispositivo para estimación de flujo óptico
según reivindicación 1 caracterizado porque el computo de
flujo óptico es realizado utilizando una técnica basada en cómputo
de gradientes de la imagen, obteniéndose un flujo óptico denso.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200302745A ES2233202B1 (es) | 2003-11-24 | 2003-11-24 | Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas. |
PCT/ES2004/000523 WO2005050342A2 (es) | 2003-11-24 | 2004-11-23 | Dispositivo par la estimación de flujo óptico en imágenes mediante fpgas |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200302745A ES2233202B1 (es) | 2003-11-24 | 2003-11-24 | Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas. |
Publications (2)
Publication Number | Publication Date |
---|---|
ES2233202A1 true ES2233202A1 (es) | 2005-06-01 |
ES2233202B1 ES2233202B1 (es) | 2006-10-16 |
Family
ID=34610364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES200302745A Expired - Fee Related ES2233202B1 (es) | 2003-11-24 | 2003-11-24 | Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas. |
Country Status (2)
Country | Link |
---|---|
ES (1) | ES2233202B1 (es) |
WO (1) | WO2005050342A2 (es) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19712017A1 (de) * | 1997-03-15 | 1998-09-17 | Gmd Gmbh | Kompaktes Sensorsystem zur optischen Bewegungserkennung in Echtzeit |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US20020106120A1 (en) * | 2001-01-31 | 2002-08-08 | Nicole Brandenburg | Method of analyzing in real time the correspondence of image characteristics in corresponding video images |
-
2003
- 2003-11-24 ES ES200302745A patent/ES2233202B1/es not_active Expired - Fee Related
-
2004
- 2004-11-23 WO PCT/ES2004/000523 patent/WO2005050342A2/es active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19712017A1 (de) * | 1997-03-15 | 1998-09-17 | Gmd Gmbh | Kompaktes Sensorsystem zur optischen Bewegungserkennung in Echtzeit |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US20020106120A1 (en) * | 2001-01-31 | 2002-08-08 | Nicole Brandenburg | Method of analyzing in real time the correspondence of image characteristics in corresponding video images |
Also Published As
Publication number | Publication date |
---|---|
ES2233202B1 (es) | 2006-10-16 |
WO2005050342A3 (es) | 2005-06-30 |
WO2005050342A2 (es) | 2005-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vedula et al. | Three-dimensional scene flow | |
Hirschmüller et al. | Memory efficient semi-global matching | |
Čech et al. | Scene flow estimation by growing correspondence seeds | |
Jin et al. | A semi-direct approach to structure from motion | |
TWI544781B (zh) | 具有功率有效深度感測器運用之即時三維重建 | |
CN110692083A (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
US11328479B2 (en) | Reconstruction method, reconstruction device, and generation device | |
US20100204964A1 (en) | Lidar-assisted multi-image matching for 3-d model and sensor pose refinement | |
Huber et al. | Integrating lidar into stereo for fast and improved disparity computation | |
Salih et al. | Depth and geometry from a single 2d image using triangulation | |
CN110599545B (zh) | 一种基于特征的构建稠密地图的系统 | |
Shukla et al. | Speed determination of moving vehicles using Lucas-Kanade algorithm | |
KR20170110089A (ko) | 이미지에 대한 초기 수퍼픽셀 라벨 맵을 생성하기 위한 방법 및 장치 | |
CN109917419A (zh) | 一种基于激光雷达与图像的深度填充密集系统及方法 | |
Patel et al. | Comparison of optical flow algorithms for speed determination of moving objects | |
Zhang et al. | On 3-D scene flow and structure recovery from multiview image sequences | |
CN105143816B (zh) | 三维形状计测装置、三维形状计测方法及三维形状计测程序 | |
ES2233202B1 (es) | Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas. | |
Mitiche et al. | MDL estimation of a dense map of relative depth and 3D motion from a temporal sequence of images | |
Devi et al. | FPGA based high performance optical flow computation using parallel architecture | |
Schwarze et al. | Robust ground plane tracking in cluttered environments from egocentric stereo vision | |
Lobo et al. | Bioinspired visuo-vestibular artificial perception system for independent motion segmentation | |
Gong et al. | Disparity flow estimation using orthogonal reliability-based dynamic programming | |
Pełczyński et al. | Motion vector estimation of a stereovision camera with inertial sensors | |
Pless et al. | Independent motion: The importance of history |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EC2A | Search report published |
Date of ref document: 20050601 Kind code of ref document: A1 |
|
FG2A | Definitive protection |
Ref document number: 2233202B1 Country of ref document: ES |
|
FD2A | Announcement of lapse in spain |
Effective date: 20231201 |