DE102010008630A1 - Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons - Google Patents

Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons

Info

Publication number
DE102010008630A1
DE102010008630A1 DE102010008630A DE102010008630A DE102010008630A1 DE 102010008630 A1 DE102010008630 A1 DE 102010008630A1 DE 102010008630 A DE102010008630 A DE 102010008630A DE 102010008630 A DE102010008630 A DE 102010008630A DE 102010008630 A1 DE102010008630 A1 DE 102010008630A1
Authority
DE
Germany
Prior art keywords
image
channel
mask
pyramid
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010008630A
Other languages
German (de)
Inventor
Thomas Dr. 07751 Fiksel
Ulf 07751 Krause
Mario 07745 Rößler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Esw 22880 GmbH
ESW GmbH
Original Assignee
Esw 22880 GmbH
ESW GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Esw 22880 GmbH, ESW GmbH filed Critical Esw 22880 GmbH
Priority to DE102010008630A priority Critical patent/DE102010008630A1/en
Publication of DE102010008630A1 publication Critical patent/DE102010008630A1/en
Application status is Withdrawn legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/005Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • G06K9/4609Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections by matching or filtering
    • G06K9/4619Biologically-inspired filters, e.g. receptive fields
    • G06K9/4623Biologically-inspired filters, e.g. receptive fields with interaction between the responses of different filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G06K9/629Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infra-red radiation
    • H04N5/332Multispectral imaging comprising at least a part of the infrared region
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30112Baggage; Luggage; Suitcase

Abstract

Die Erfindung betrifft ein Verfahren zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, bei dem Bilddaten aus mindestens zwei spektral unterschiedlichen Kamerasystemen mit überlappenden Gesichtsfeldern einer Bilddatenkombination unterzogen werden. The invention relates to a method for processing of multi-channel image recordings for the detection of hidden objects in a scene are subjected to the image data from at least two spectrally different camera systems having overlapping fields of view of an image data combination.
Die Aufgabe, eine neue Möglichkeit zur Verarbeitung von mehrkanaligen Bildaufnahmen für die optoelektronische Personenkontrolle zu finden, die eine Verbesserung des Nachweises verborgener Objekte erreicht, ohne dass der sog. Nacktscannereffekt der Millimeterwellen-Abtastung in Erscheinung tritt, wird erfindungsgemäß gelöst, indem The task of a new way to process multichannel image capture for the optoelectronic security check found that an improvement of the detection of hidden objects, without the so-called. Occurs Nacktscanner effect of millimeter wave scanning in appearance, is solved according to the invention by
– Bilder in Bildkanälen mit unterschiedlichen Frequenzbereichen als zweidimensionale Bilddaten aufgenommen werden, - images are recorded as two-dimensional image data into image channels with different frequency ranges,
– aus den Bilddaten mindestens eines Bildkanals ein Maskenbild erzeugt wird, wobei die Bilddaten in mindestens zwei Klassen von Pixeln unterschieden werden, - from the image data of at least one image channel, a mask image is formed, wherein the image data are divided into at least two classes of pixels,
– die Bilddaten jedes Bildkanals in eine Gauss- und Laplace-Pyramide und des Maskenbildes in eine dazu adäquate Maskenbildpyramide, transformiert werden und - the image data of each image channel in a Gaussian and Laplacian pyramid and the mask image is transformed into an appropriate mask to image pyramid and
– die Bilddaten der Laplace-Pyramiden der einzelnen Bildkanäle mit der Maskenbildpyramide in zueinander korrespondierenden Pyramidenebenen kombiniert und anschließend die Laplace-Pyramiden aus korrespondierenden Bildpunkten gleicher Pyramidenebenen auf Basis eines Vergleichskriteriums zur resultierenden Laplace-Pyramide verschmolzen werden. - the image data of the Laplace pyramids of the individual image channels combined with the mask image pyramid in mutually corresponding pyramid levels, and then the Laplace pyramids are merged from corresponding image dots of the same pyramid level based on a comparison criterion to the resultant Laplacian pyramid.

Description

  • Die Erfindung betrifft ein Verfahren zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, insbesondere bei der optoelektronischen Personenkontrolle, bei dem Bilddaten aus mindestens zwei spektral unterschiedlich empfindlichen Kamerasystemen, die einander weitgehend überlappende Gesichtsfelder aufweisen, einer Bilddatenkombination unterzogen werden. The invention relates to a method for processing of multi-channel image recordings for the detection of hidden objects in a scene, particularly in the opto-electronic control of persons, in which image data of at least two differently spectrally sensitive camera systems that have mutually widely overlapping fields of view, an image data combination are subjected.
  • Bei der Personenkontrolle zum Nachweis versteckter Gegenstände, insbesondere bei der Sicherheitskontrolle im Passagierflugverkehr, haben sich auf Basis von Millimeterwellen-Bildaufnahmesystemen als eine zuverlässige optoelektronische Kontrollmöglichkeit erwiesen, um ohne taktile Leibesvisitationen unter der Kleidung von Personen (Passagieren) verborgene sicherheitsrelevante Gegenstände nachzuweisen. When people screening for the detection of hidden objects, in particular at the security checkpoint in passenger traffic, have proven based on millimeter wave imaging systems as a reliable optoelectronic control ability to detect hidden security-related objects without tactile strip searches under the clothing of persons (passengers).
  • So ist z. So z. B. aus der Example from the US 2005/011 6947 A1 US 2005/011 6947 A1 ein passives Millimeterwellen-Abbildungssystem bekannt, bei dem mit mindestens einem Millimeterwellenfrequenz-Abtastsystem und mehreren Strahlformern von einem zweidimensionalen Gesichtsfeld dichte Millimeterwellenstrahlung aufgenommen wird. discloses a passive millimeter wave imaging system, in which with at least one millimeter wave frequency scanning system and a plurality of beamformers of a two-dimensional visual field density millimeter wave radiation is absorbed. Dabei wird die aufgenommene Strahlung verstärkt und in zwei separate Blöcke aufgeteilt, die der Horizontal- und der Vertikalrichtung zugeordnet sind. The absorbed radiation is amplified and split into two separate blocks, which are assigned to the horizontal and the vertical direction. Durch simultane Signaldetektion der Signalstärken innerhalb jedes Strahls werden zweidimensionale Bilder eines Zielobjekts mit einer Bildrate von 30 Hz (Standard-Videofrequenz) erzeugt, wobei das Frequenzband zwischen 75,5–93,5 GHz ausgewählt wurde, um eine gute Balance zwischen Kleidungsdurchdringung, räumlicher Auflösung und kompakter Bauweise des Systems zu erhalten. By simultaneous signal detection of the signal strengths within each beam two-dimensional images of a target object are generated at a frame rate of 30 Hz (standard video rate), the frequency band has been selected between 75.5 to 93.5 GHz, to maintain a good balance between Kleidungsdurchdringung, spatial resolution to maintain and compact design of the system. Durch ausschließliche Messung der natürlichen Wärmeemission von Lebewesen (Personen) in Gegenüberstellung zu natürlichen Umgebungsquellen (wie z. B. des kalten Himmels) kann ein sehr guter Kontrast von reflektierenden Objekten, die unter der Kleidung versteckt sind, erzielt werden. By exclusive measurement of the natural thermal emission of living beings (people) in comparison to natural environmental sources (such. As of the cold sky) can be a very good contrast of reflective objects which are hidden under the clothes, can be achieved. Für Personenkontrollen in geschlossenen Gebäuden ist bei diesem Detektionsverfahren der Kontrast jedoch zu gering. For checks on persons in closed buildings but in this detection method, the contrast is too low.
  • In der In the US 2005/0231421 A1 US 2005/0231421 A1 und and US 2005/0232459 A1 US 2005/0232459 A1 sind bildgebende Abtastsysteme beschrieben, bei denen Millimeterwellen-Strahlung und Strahlung einer anderen Wellenlänge jeweils zu Bilderzeugung verwendet werden. imaging scanning systems are described, in which millimeter-wave radiation and radiation of a different wavelength respectively used for image formation. Dabei weist das aus der anderen Wellenlänge erzeugte Bild gegenüber dem mit Millimeterwellenstrahlung erzeugten Bild eine höhere räumliche Auflösung auf, um mit der höheren Bildauflösung die Detektion von unter der Kleidung verborgenen Objekten zu verbessern und durch das geringer aufgelöste Millimeterwellen-Bild die Privatsphäre der überwachten Personen zu schützen. Here, the points generated from the other wavelength image with respect to the generated millimeter wave radiation image a higher spatial resolution in order to improve with the higher image resolution, the detection of concealed under clothing objects and by the low-resolution millimeter wave image, the privacy of the monitored person to protect. Aus den akquirierten Daten der verschiedenen Aufnahmesysteme werden dann durch Korrelation der Daten Merkmale gebildet, die anschließend durch logische Kombination klassifiziert und die Ergebnisse angezeigt werden. Features are from the acquired data of the different recording systems then by correlating the data formed which then classified by logical combination and the results are displayed. Daraus können dann Schlussfolgerungen über gefundene Anomalien (versteckte Objekte) gezogen und/oder ein Alarm ausgelöst werden. Conclusions on detected anomalies can then (hidden objects) drawn and / or raise an alarm. Nachteilig ist hierbei die nötige Beschränkung auf „verdächtige Bereiche”, um den verpönten Nacktscannereffekt des Millimeterwellenbildes zu vermeiden sowie die relativ geringe Auflösung bei der Identifikation eines detektierten verborgenen Objekts. The disadvantage here is the necessary restriction on "suspicious areas" in order to avoid the forbidden Nacktscanner effect of the millimeter wave image and the relatively low resolution in the identification of a detected buried object.
  • Ferner ist in der Further, in the US 2006/0006322 US 2006/0006322 eine gewichtete Rauschkompensation für die Kontrastverbesserung von Millimeterwellen-Bildgebungsverfahren beschrieben, mit der insbesondere zufällige, unvorhersagbare Effekte des Rauschens der Ausgangssignale einer Vielzahl von Radiometerkanälen kompensiert werden. described a weighted noise compensation for contrast enhancement of millimeter-wave imaging method, are compensated with the particular random, unpredictable effects of noise of the output signals of a plurality of radiometer channels. Dabei wird jeder Kanal in Abhängigkeit vom Reziprokwert der Standardabweichung der Schwankungen des Ausgangssignals individuell gewichtet und dann die Intensitäten jedes Pixels durch Addition der aufeinanderfolgend gewichteten, diesem Pixel zugeordneten Signale für die Bildzusammensetzung des Millimeterwellenbildes verknüpft. Each channel is individually weighted in dependence on the reciprocal of the standard deviation of the variations of the output signal and then combines the intensities of each pixel by summing the weighted successively, that pixel associated signals for the image composition of the millimeter wave image. Des Weiteren ist in der Furthermore, in the US 2008/0043102 A1 US 2008/0043102 A1 ein Überwachungssystem offenbart, das ein Millimeterwellen-Bild aus einem ersten Sensorsystem mit einem zweiten ergänzenden System, das weitere Objektinformationen liefert, verknüpft. a monitoring system is disclosed which combines a millimeter wave image of a first sensor system having a second supplementary system that provides further object information. Dabei kann das ergänzende System ein zweites Sensorsystem, aber auch eine nichtabbildende Quelle von Objektinformationen sein, um Objekte oder deren Merkmale zu klassifizieren. Here, the additional system may be a second sensor system, but also a non-imaging source of object information to classify objects or their characteristics. Über die Verknüpfung der unterschiedlichen Bild- oder Informationsquellen ist jedoch nichts Genaueres mitgeteilt, wie die möglichen Operationen, Kombination, Vergleich oder geeignete Manipulationen von Daten, anzuwenden sind, um verdächtige Objekte, die einer abgebildeten Person zugeordnet sind, zu extrahieren und zu identifizieren. About linking the different images or information but nothing definite has been notified, as are the possible operations, combination, agreement or appropriate manipulation of data to apply to extract suspicious objects that are associated with a person depicted, and identify. Es bleibt bei der Auswahl verdächtiger Bereiche, die mit höherer Auflösung oder Bildverbesserungsalgorithmen behandelt werden sollen, wobei deren Auswahl aufgrund des Auftretens einer „welligen Textur” in der Nähe des verdächtigen Objekts erfolgt. It remains in the selection of suspicious areas to be treated with higher resolution or image enhancement algorithms, the selection of which is performed due to the occurrence of a "wavy texture" in the vicinity of the suspicious object. Weiterhin ist in der Further, in the US 2009/0041293 A1 US 2009/0041293 A1 ein Abbildungssystem zum Nachweis versteckter Objekte auf Basis von mehreren Millimeterwellenkameras beschrieben. an imaging system for the detection of hidden objects described on the basis of a plurality of millimeter wave cameras. Zusätzlich ist zu jeder Millimeterwellenkamera eine herkömmliche Videokamera mit gleichem Gesichtsfeld angeordnet, deren Signale synchronisiert in Echtzeit miteinander überlagert werden, um aus Differenzen der unterschiedlichen Millimeterwellenbilder versteckte Objekte auf einem Videomonitor anzuzeigen. In addition, a conventional video camera with the same field of view is arranged to each of the millimeter wave camera, the signals synchronized in real time with each other are superimposed to show differences from the different millimeter wave images hidden objects on a video monitor. Aus den drei letztgenannten Lösungen mit verbesserter Bilderzeugung und -verarbeitung von Millimeterwellensignalen zur Erkennung von mitgeführten Objekten bei der Personenkontrolle sind keine Maßnahmen zur Unterdrückung des Nacktscannereffekts der Millimeterwellen-Bilderzeugung beschrieben. no measures to suppress the effect of the Nacktscanner millimeter wave imaging are described from the latter three solutions with improved image formation and processing of millimeter wave signals to detect objects carried along with the control of persons.
  • Der Erfindung liegt die Aufgabe zugrunde, eine neue Möglichkeit zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, insbesondere bei der optoelektronischen Personenkontrolle zu finden, die eine Verbesserung des Nachweises verborgener Objekte erreicht, ohne dass der sog. Nacktscannereffekt der Millimeterwellen-Abtastung in Erscheinung tritt. The invention is based on the object of finding a new way to process multichannel image capture for the detection of hidden objects in a scene, especially in the optoelectronic control of persons who achieved an improvement in the detection of buried objects without the so-called. Nacktscanner effect of millimeter wave So scan occurs in appearance.
  • Erfindungsgemäß wird die Aufgabe bei einem Verfahren zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, insbesondere bei der optoelektronischen Personenkontrolle, bei dem Bilddaten aus mindestens zwei spektral unterschiedlich empfindlichen Kamerasystemen, die einander weitgehend überlappende Gesichtsfelder aufweisen, einer Bilddatenkombination unterzogen werden, gelöst durch folgende Schritte: According to the invention the object is achieved with a method for processing multi-channel image recordings for the detection of hidden objects in a scene, particularly in the opto-electronic control of persons, in which image data of at least two differently spectrally sensitive camera systems that have mutually widely overlapping fields of view, are subjected to an image data combining , achieved by the following steps:
    • (1) Aufnehmen von Bildern in Bildkanälen unterschiedlicher Frequenzbereiche als zweidimensionale Bilddaten, wobei ein Bildkanal aus dem Bereich der Milimeterwellen gewonnen wird und die ausgegebenen Bilder der unterschiedlichen Kanäle zueinander synchronisiert werden, falls die Abtastung mit unterschiedlichen Bildwiederholfrequenzen erfolgt, (1) Recording of images in image channels of different frequency ranges as two-dimensional image data, wherein an image channel is derived from the field of millimeter waves and the images of the different channels are outputted synchronized with each other, if the sampling is done with different refresh rates,
    • (2) Bildverbesserung mittels Filteroperation, bei der mindestens eine Rauschunterdrückung in einem niedrigauflösenden Bildkanal durchgeführt wird, (2) image enhancement means of filter operation, wherein the at least one noise reduction is performed in a low resolution channel,
    • (3) Erzeugung eines Maskenbildes aus den Bilddaten mindestens eines Bildkanals, bei der die Bilddaten in wenigstens zwei Klassen von Pixeln unterschieden werden, (3) generating a mask image from the image data of at least one image channel at which the image data are divided into at least two classes of pixels,
    • (4) Transformation der Bilddaten jedes Bildkanals in eine Gauss- und Laplace-Pyramide und des Maskenbildes in eine dazu adäquate Maskenbildpyramide, wobei aus den ausgelesenen Bilddaten jeweils quadratische Bereiche mit übereinstimmenden Gesichtsfeldern ausgewählt werden, (4) transformation of the image data of each image channel in a Gaussian and Laplacian pyramid and the mask image in a adequate to mask image pyramid, where each square regions with matching visual fields are selected from the read out image data,
    • (5) Fusion der transformierten Bilddaten der Laplace-Pyramiden der einzelnen Bildkanäle mit der Maskenbildpyramide in zueinander korrespondierenden Pyramidenebenen und anschließende Verschmelzung der Laplace-Pyramiden der einzelnen Bildkanäle zu einer resultierenden Laplace-Pyramide, wobei aus korrespondierenden Bildpunkten innerhalb gleicher Pyramidenebenen der einzelnen Laplace-Pyramiden auf Basis eines relativen Vergleichkriteriums ermittelt wird und die resultierenden Bildpunkte ebenenweise zur resultierenden Laplace-Pyramide zusammengefügt werden, und (5) Fusion of the transformed image data of the Laplace pyramids of the individual image channels with the mask image pyramid in mutually corresponding pyramid levels and subsequent fusion of the Laplace pyramids of the individual image channels to form a resultant Laplacian pyramid, wherein from corresponding pixels within the same pyramid levels of the individual Laplacian pyramids is determined based on a relative comparison criterion and the resulting pixels in layers are joined together to the resultant Laplacian pyramid, and
    • (6) Rücktransformation der erzeugten resultierenden Laplace-Pyramide in ein fusioniertes Ergebnisbild. (6) back-transformation of the generated resultant Laplacian pyramid in a fused result image.
  • Vorteilhaft wird das Maskenbild mit Hilfe eines fest einstellbaren Schwellwertes oder mittels eines anpassbaren Schwellwertes erzeugt, wobei der anpassbare Schwellwert aus einer Histogrammverteilung eines ausgelesenen Bildes berechnet wird. the mask image is generated by a fixed adjustable threshold value or by means of an adjustable threshold value is advantageous, wherein the adaptive threshold is calculated from a histogram distribution of an image read out. Dabei kann der Schwellwert zweckmäßig durch den Medianwert des Histogramms berechnet werden. The threshold value may conveniently be calculated by the median value of the histogram. In einer weiteren vorteilhaften Variante wird der Schwellwert aus einer Histogrammanalyse bestimmt, bei der entweder ein globales Minimum gesucht wird. In a further advantageous variant of the threshold from a histogram analysis is determined in either a global minimum is sought. Weiterhin können mittels der Histogrammanalyse auch mehrere Schwellwerte ermittelt werden, falls mehrere lokale Minima vorhanden sind, und damit mehr als zwei Klassen von Pixeln innerhalb des Maskenbildes unterschieden werden. Furthermore, a plurality threshold values ​​can be determined by means of the histogram analysis, if several local minima are present, and thus more than two classes of pixels can be distinguished within the mask image.
  • Das Maskenbild kann außerdem mit Hilfe mehrerer Schwellwerte erzeugt werden, indem dazu zweckmäßig Informationen aus mindestens zwei Bildkanälen verwendet werden. The mask image can be generated using a plurality of threshold values ​​also, by suitably uses information from at least two image channels do so. Dabei wird vorzugsweise aus einem ersten Bildkanal ein erstes Maskenbild erzeugt und mit Informationen aus einem weiteren Bildkanal mindestens eine weitere Klasse von Pixeln unterteilt, wobei die Informationen aus dem weiteren Bildkanal zur Berechnung mindestens eines weiteren Schwellwertes verwendet werden. In this case, a first mask image is generated and divided a further class of pixels having information from a further image channel is at least preferably made from a first video channel, where the information is used from the other channel image to calculate at least one further threshold value. Vorteilhaft wird ein erstes zweiklassiges Maskenbild aus dem Bildkanal im Millimeterwellenbereich und ein zweites mehrklassiges Maskenbild aus dem ersten Maskenbild und einem Bild aus einem langwelligeren Bildkanal erzeugt. a first zweiklassiges mask image from the image channel in the millimeter wave range and a second mehrklassiges mask image from the first mask image and an image of a longer wavelength channel image is advantageously generated. Dabei können die Schwellwerte für das mehrklassige Maskenbild zweckmäßig durch Histogrammauswertung der Bilddaten aus einem IR-Kanal gewonnen werden. In this case, the threshold values ​​for the multiclass mask image can be obtained advantageously by histogram analysis of the image data from an IR channel.
  • Das erzeugte zwei- oder mehrklassige Maskenbild wird für die Bildfusion vorzugsweise in eine Maskenbildpyramide derart umgewandelt, dass durch eine schrittweise Reduzierung der Auflösung des Maskenbildes ein adäquates Datengefüge zu den aus der Bildtransformation erzeugten Laplace-Pyramiden der einzelnen Bildkanäle entsteht. The two- or multi-class mask image is preferably converted for the image fusion in a mask image pyramid such that, by gradually reducing the resolution of the mask image is created an adequate data structure to the generated from the image transformation Laplace pyramids of the individual image channels. Die Bildfusion erfolgt dabei vorzugsweise auf Basis einer Verschmelzung der Laplace-Pyramiden von zwei Bildkanälen, wobei aus korrespondierenden Bildpunkten der einzelnen mit der Maskenbildpyramide gewichteten Laplace-Pyramiden-Ebenen diejenigen Bildpunkte der einzelnen Laplace-Pyramiden-Ebenen ermittelt werden, die den betragsmäßig größten Wert besitzen. The image fusion is preferably carried out based on a fusion of the Laplace pyramids of two image channels, wherein those image points are determined for each Laplacian pyramid levels of corresponding pixels of each weighted with the mask image pyramid Laplacian pyramid levels having the maximum absolute value ,
  • In einer reduzierten vereinfachten Variante kann die Bildfusion zweckmäßig auf Basis einer Verschmelzung der Laplace-Pyramiden von mindestens drei Bildkanälen erfolgen, wobei die Kombination mit der Maskenbildpyramide durch eine Kombination mit der Laplace-Pyramide eines zusätzlichen Bildkanals ersetzt wird und aus korrespondierenden Bildpunkten der einzelnen Laplace-Pyramiden-Ebenen diejenigen Bildpunkte ermittelt werden, die den betragsmäßig größten Wert besitzen. In a reduced simplified variant, the image fusion can be carried out expediently on the basis of a fusion of the Laplace pyramids of at least three image channels, wherein the combination with the mask image pyramid is replaced by a combination with the Laplacian pyramid of an additional image channel and of corresponding image points of each Laplace pyramid levels, those pixels are determined which have the absolute greatest value.
  • Eine weitere Bildverbesserung des Bildes eines niedrig auflösenden Bildkanals kann vorteilhaft durch die Verwendung von Daten aus mindestens einem höher auflösenden Bildkanal mit höherer Bildwiederholrate vorgenommen werden, indem a-priori-Informationen über Bewegungen innerhalb mindestens eines höher auflösenden Bildkanals mit höherer Bildwiederholrate auf das Bild des niedrig auflösenden Bildkanals angewendet werden. Another image enhancement of the image of a low resolution channel can be advantageously carried out by using data from at least one higher resolution image channel with a higher refresh rate by a priori information about movements within at least one higher resolution image channel with a higher refresh rate on the image of the low resolution image channel are applied.
  • Die Erfindung basiert auf der Grundüberlegung, dass die Daten verschiedener, zusätzlich zu einem Millimeterwellenkanal aufgenommene Bildkanäle zur Verbesserung des Nachweises verborgener Objekte gleichermaßen so verarbeitet werden können, dass eine Nacktdarstellung der untersuchten Person nicht erfolgt. The invention is based on the fundamental idea that the data of various, in addition recorded to a millimeter-image channels for improving detection of buried objects alike can be processed so that a nude representation of the examined person does not take place. Kern der erfindungsgemäßen Lösung ist die Kombination einer pixelbasierten (Gauss-Laplace-Transformation) und objektbasierten Erzeugung von Maskenbildern sowie eine Echtzeit-Fusion von Gauss-Laplace-transformierten Bilddaten aus mindestens zwei Bildkanälen unterschiedlicher Wellenlänge und/oder verschiedener Auflösung. Core of the inventive solution is the combination of a pixel-based (Gauss-Laplace transform), and object-based generation of mask images and a real-time fusion of Gaussian-Laplace transformed image data from at least two image channels of different wavelengths and / or different resolution.
  • Mit der Erfindung ist es möglich, ein Verfahren zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, insbesondere bei der optoelektronische Personenkontrolle, zu realisieren, das den Nachweis und die Auflösung verborgener Objekte verbessert, ohne dass der sog. Nacktscannereffekt der Millimeterwellen-Abtastung auf dem Kontrollmonitor in Erscheinung tritt. With the invention it is possible to realize a method for processing of multi-channel image recordings for the detection of hidden objects in a scene, particularly in the optoelectronic persons control, which improves the detection and resolution of buried objects, without the so-called. Nacktscanner effect of millimeter wave scan on the monitor in appearance occurs.
  • Die Erfindung soll nachstehend anhand von Ausführungsbeispielen näher erläutert werden. The invention will be described in greater detail with reference to embodiments. Die Zeichnungen zeigen: In the drawings:
  • 1 1 : den Prinzipablauf des erfindungsgemäßen Verfahrens, : The principle sequence of the method according to the invention,
  • 2 2 : einen Ablauf der Erfindung mit Erweiterung auf drei Bildkanäle mit THz-, IR- und VIS-Kamera, : A sequence of the invention, with extension to three image channels with THz, IR and VIS camera,
  • 3 3 : eine Ausführung der Erfindung gemäß : An embodiment of the invention according to 3 3 mit zusätzlicher Bildverbesserung im niedrig auflösenden THz-Bildkanal durch a-priori-Informationen aus den anderen Bildkanälen, with additional image enhancement in low-resolution THz image channel by a priori information from the other image channels,
  • 4 4 : eine Ausführungsform der Bildfusion aus drei Bildkanälen unter Verwendung einer Gauß-Laplace-Transformation und Wichtung Laplace-Ebenen mit Werten aus äquivalent transformierten Maskenbildern aus zwei Videobildkanälen (IR, VIS); : An embodiment of the image fusion of three image channels using a Gaussian-Laplace transform and weighting Laplace levels with equivalent values ​​from the transformed mask images of two video channels (IR, VIS);
  • 5 5 : eine modifizierte Ausführung der Erfindung, bei der die Maskenbildpyramide durch eine Laplace-Pyramide wenigstens eines zusätzlich erforderlichen Bildkanals ersetzt wird. : A modified embodiment of the invention, in which the mask image pyramid is replaced by a Laplace pyramid of at least one image channel additionally required.
  • Das Verfahren der Bilderzeugung zur Detektion von verborgenen Objekten durch Kombination von Signalen aus mehreren separaten Bildkanälen unterschiedlicher spektraler Empfindlichkeit besteht in seinem Grundalgorithmus – wie in The method of the imaging for the detection of buried objects by combining signals from a plurality of separate image channels of different spectral sensitivity is its basic algorithm - as in 1 1 als Blockschema dargestellt – aus sechs wesentlichen Schritten: illustrated as a block scheme - of six essential steps:
    • 1. Bildaufnahme mit wenigstens zwei spektral unterschiedlichen Bildaufnahmesystemen, 1. Image taken with at least two spectrally different imaging systems,
    • 2. Bildvorverarbeitung zur Bildverbesserung durch mindestens eine Rauschunterdrückung, 2. Image pre-processing for image improvement by at least one noise reduction,
    • 3. Objektmaskenerzeugung aus Bildern von mindestens einem Bildkanal, 3. Object mask generation from images of at least one image channel,
    • 4. Transformation (Gauß-Laplace-Pyramiden) von Bildern aus mindestens einem anderen Bildkanal und adäquate Transformation des Maskenbildes, 4. Transformation (Gaussian-Laplace pyramids) of images from at least one other channel image and adequate transformation of the mask image,
    • 5. Bildfusion durch Verschmelzung der Laplace-Pyramiden mit zusätzlicher lokal-adaptiver Wichtung, 5. Image fusion by fusing the Laplace pyramids with additional locally-adaptive weighting
    • 6. Rücktransformation der gewichteten Laplace-Pyramiden in ein fusioniertes Ergebnisbild. 6. inverse transformation of the weighted Laplacian pyramids in a fused result image.
  • In einer Bildaufnahmeeinheit, die ein Kamerasystem mit mindestens zwei spektral unterschiedlichen Bildkanälen aufweist, erzeugen Kameras aus unterschiedlichen Wellenlängen bzw. Frequenzbereichen zweidimensionale Bilddaten von ein und demselben Objekt, wobei die Kameras unterschiedliche Auflösungen und Bildraten haben können, jedoch stets so zueinander ausgerichtet sein müssen, dass alle Kameras In an image recording unit having a camera system having at least two spectrally different image channels, generate cameras of different wavelengths or frequency ranges two-dimensional image data of one and the same object, the cameras can have different resolutions and frame rates, however, must always be so aligned that all cameras 11 11 , . 12 12 , ..., , ..., 1n 1n mit unterschiedlichen Frequenzbereiche, die in einem Ergebnisbild kombiniert werden sollen, eine möglichst große gemeinsame Schnittmenge der Gesichtsfelder (FOV – Field of View) aufweisen. with different frequency ranges to be combined into a final image, the largest possible area of ​​overlap of the fields of view (FOV - Field of View) have. Für die Personenkontrolle zur Feststellung verborgen mitgeführter Objekte (insbesondere Waffen und anderer sicherheitsrelevanter Gegenstände) wird – ohne Beschränkung der Allgemeinheit des nachfolgenden Verfahrens zur Verarbeitung von mehrkanaligen Bildaufnahmen – als einer der Bildkanäle ein Millimeterwellenempfangssystem verwendet, während mindestens ein weiterer Bildkanal Bilddaten aus dem infraroten (IR) bis sichtbaren (VIS) Spektralbereich aufnimmt. For the control of persons to detect hidden entrained objects (in particular weapons and other safety-related items) will be - without limiting the generality of the subsequent process for the processing of multi-channel image exposures - one millimeter wave receiving system is used as one of the image channels, while at least one further image channel image data from the infrared (IR ) to receive the visible (VIS) spectral region. Im optionsnegierten Beispiel gemäß In the example shown in optionsnegierten 1 1 soll zunächst von zwei spektral unterschiedlichen Kanälen ausgegangen werden. will initially be based on two spectrally different channels. Dazu werden von zwei Kameras These are two cameras 11 11 und and 12 12 , Bilder mit gleichem Gesichtsfeld (FOV) aufgenommen und zur weiteren Verarbeitung synchronisiert bereitgestellt. , Images having the same field of view (FOV) was added and synchronized for further processing provided. Ohne Beschränkung der Allgemeinheit, soll wegen der beabsichtigten Personenkontrolle zur Detektion von verborgenen Gegenständen, davon ausgegangen werden, dass ein Spektralkanal relativ schmalbandig innerhalb des Millimeterwellenbereichs (zwischen 100 GHz und 10 THz bzw. 3 mm bis 0,3 mm) empfindlich ist, um die Bekleidung durchdringen zu können, und für den (mindestens einen) weiteren Kanal wenigstens ein relativ breites Spektralband aus dem Bereich von Infrarot (10 THz bis 300 THz bzw. 0,3 mm bis 780 nm) und/oder dem sichtbaren Frequenzbereich (300 THz und 1 PHz bzw. 780 nm bis 300 nm) gewählt wird. Without loss of generality, to because the intended persons control for the detection of hidden objects, be assumed that a spectral channel is sensitive relatively narrow band within the millimeter wave range (between 100 GHz and 10 THz and 3 mm to 0.3 mm) to give the to be able to penetrate clothing, and further for the (at least one) channel at least a relatively wide spectral range from the infrared (10 THz to 300 THz and 0.3 mm to 780 nm) and / or visible frequency range (300 THz and 1 PHz or 780 nm to 300 nm) is selected.
  • Das Verfahren der Bilderzeugung für die Detektion von verborgenen Gegenständen hat im Einzelnen den folgenden Ablauf gemäß The method of the imaging for the detection of hidden objects has in detail according to the following procedure 1 1 . ,
    • 1. Der erste Schritt des Verfahrens besteht in der synchronisierten Bereitstellung aufgenommener Bilddaten mittels einer Bildaufnahmeeinheit 1. The first step of the process consists in providing the synchronized recorded image data by an image recording unit 1 1 , die die Bilddaten aus einer ersten Kamera That the image data from a first camera 11 11 und einer zweiten Kamera and a second camera 12 12 (optional können weitere Kameras bis zu einer Kamera (Optional additional cameras to a camera 1n 1n vorhanden sein) als zweidimensionale Kamerabilder bereitstellt. be present) provides a two-dimensional camera.
    • 2. In einem zweiten Schritt werden die Bilddaten von mindestens einem der Bildkanäle, insbesondere von dem mit geringerer Auflösung und/oder geringerer Bildrate, bearbeitet, indem das ausgelesene Bild einer kantenerhaltenden Rauschunterdrückung unterworfen wird. 2. In a second step, the image data of at least one of the image channels are, in particular, processed by the lower resolution and / or a lower frame rate by the read-out image of an edge-preserving noise reduction is subjected. Dafür nutzbare Verfahren für eine erste Bildverbesserung können in vielfältiger Ausprägung dem Stand der Technik entnommen werden (siehe z. B. For this, usable method for a first image enhancement can be taken from the prior art in a variety of expression (see, for. Example, ) )
    • 3. In einem dritten Schritt wird für mindestens ein ausgewähltes vorverarbeitetes Kamera-Bild ein Maskenbild erstellt, das zwei Klassen, nämlich Hintergrund- und Objektpixel unterscheidet, so dass eine Trennung von Objekt und Bildhintergrund möglich ist. 3. In a third step, a mask image is created for at least a selected preprocessed camera image that distinguishes two classes, namely background and object pixels, so that it is possible a separation of object and background. Bei mehren Bildkanälen wird der Kanal gewählt, mit dem am besten die Trennung von Hintergrund und Objekt (Person) realisiert werden kann. If there are multiple image channels, the channel is selected, best can be realized with which the separation of the background and the object (person). Die Hintergrundabtrennung wird in diesem Beispiel (Binarisierung) mit Hilfe eines Schwellwertes realisiert, der entweder einstellbar oder anhand einer Histogrammverteilung berechnet wird. The background separation is in this example (binarization) realized with the aid of a threshold value, which is calculated either adjustable or based on a histogram distribution. Dem Stand der Technik sind beliebige andere Verfahren zur Trennung von Objekt und Bildhintergrund entnehmbar, die alternativ zur Anwendung kommen können, um eine so genannte Objekt-Maske in einem Maskenbild The prior art, any other method of separation of object and background are removed, which may be used alternatively to a so-called object-mask in a mask image 31 31 zu erzeugen. to create.
    • 4. Im vierten Schritt werden die Bilddaten der verschiedenen Videokanäle in eine Gauß- und Laplace-Pyramide zerlegt. 4. In the fourth step the image data of the different video channels are divided into a Gaussian and Laplacian pyramid. Diese Transformationsvorschrift der Gauß- und Laplace-Pyramide ist eine allgemein bekannte Methode zur Datenreduktion und -manipulation und kann in seinen Grundzügen der Monografie ( This transformation rule of Gaussian and Laplacian pyramid is a well known method for data reduction and manipulation and may (in its fundamentals the monograph ) entnommen werden. ) Are removed. Um eine Gauß-Laplace-Pyramide zu entwickeln, wird zunächst eine Gaußpyramide konstruiert. In order to develop a Gaussian Laplacian pyramid, a Gaussian pyramid is first constructed. Dabei ist zu beachten, dass das Originalbild eine Seitenlänge von 2 n Pixel aufweisen muss. It should be noted that the original image must have a side length of 2 n pixels. Dazu wird in einem rechteckigen Originalbild entweder ein quadratischer Bereich ausgewählt oder – falls erforderlich – das Bild in mehrere quadratische Bildblöcke unterteilt. For this purpose, in a rectangular original image either a square region is selected or - if necessary - divides the image into a plurality of square image blocks. Das Originalbild stellt die unterste Pyramidenebene GO dar. Die nächste Gaußpyramidenebene G1 wird über eine Tiefpassfilterung (f g = f/2) und Halbierung der Stützstellen von GO errechnet. The original picture represents the lowest pyramid level GO. The next Gaußpyramidenebene G1 is calculated by low-pass filtering (f g = f / 2) and halving of the sampling points of GO. Dieser Prozess wird von Ebene zu Ebene fortgesetzt, bis das „Bild” eine Größe von nur noch einem einzigen Pixel erreicht. This process continues from level to level until the "picture" reached a size of only a single pixel. Die Tiefpassfilterung wird über eine mathematische Faltung mit einer Gaußglocke realisiert, wobei das Bild praktisch mit einem Binomialfilter gefaltet wird. The low-pass filtering is implemented using a mathematical convolution with a Gaussian bell, wherein the image is convolved with a binomial practically. Nach diesem Prozess liegen die Bilder als Gaußpyramide vor, die jeweils einen gewissen Frequenzanteil repräsentieren. After this process, the images are available as Gaussian pyramid, each representing a certain frequency component. Jeder Nachfolger einer Bildebene besitzt nur noch 1/4 der Pixel der Vorgängerebene. Each successor an image plane has only one quarter of the pixels of the previous level. Aus der vorliegenden Gaußpyramide wird dann eine Laplace-Pyramide entwickelt. a Laplace pyramid is then developed from the present Gaussian pyramid. Eine Laplace-Pyramiden-Ebene wird über die Bildung der Differenz von zwei benachbarten Gaußpyramidenebenen erzielt. A Laplacian pyramid level is achieved via the formation of the difference between two neighboring Gaußpyramidenebenen. Dabei ist zu beachten, dass diese beiden Ebenen die gleiche Größe aufweisen müssen. It should be noted that these two levels must be the same size. Dies wird durch Expansion der Nachfolgerebene realisiert. This is realized by expanding the successor level. Der Grauwert der neu hinzugefügten Pixel wird durch Interpolation der beiden vorhandenen Nachbarpixel errechnet. The gray value of the newly added pixels are calculated by interpolation of the two existing neighboring pixels. Die einzelnen Laplacepyramidenebenen repräsentieren die Schärfeanteile eines Bildes. The individual Laplacepyramidenebenen representing the sharpness of an image proportions. Die Laplacepyramidenebene LO beinhaltet die höchsten Frequenzanteile und die weiter darunter liegenden Ebenen die restlichen niedrigeren Frequenzanteile. The Laplacepyramidenebene LO includes the highest frequency components and the further layers below the remaining lower frequency components. Nachdem die Gauß-Laplace-Pyramidenebene gebildet und eventuell die einzelnen Ebenen bearbeitet wurden, wird die Gauß-Laplace-Pyramide rekonstruiert, indem die gewünschten Laplacepyramidenebenen und die höchste Gaußpyramidenebene aufsummiert werden. After the Gauss-Laplace pyramid level were formed and possibly edited the individual levels, the Gaussian Laplacian pyramid is reconstructed by the desired Laplacepyramidenebenen and the highest Gaußpyramidenebene are summed up. Diese Bilddatenzerlegung ist Vorraussetzung für den nachfolgenden auf einer Multiresolution-Methode basierenden Kombinationsschritt. These image data decomposition is a prerequisite for the following based on a multi-resolution method combining step. In einem nebengeordneten Schritt In a further independent step 41 41 zur Anpassung der Maskenbilddaten an die Größe und Struktur der Laplace-Pyramiden werden aus den im Schritt adjusting the mask image data to the size and structure of the Laplace pyramids of the step 3 3 erzeugten Maskenbildern Maskenbildpyramiden erzeugt. Mask images generated generated mask image pyramids. Dies erfolgt durch eine schrittweise Reduzierung (jeweils Halbierung einer Seite) der Auflösung des Maskenbildes, um ein Laplace-Pyramiden adäquates Datengefüge zu erhalten. This is done by gradually reducing (each halving one side) of the resolution of the mask image, to obtain a Laplacian pyramids adequate data structure.
    • 5. Im fünften Schritt (siehe 5. (In the fifth step, see 4 4 ) erfolgt eine Fusion der Bilddaten durch die Kombination der berechneten Laplace-Pyramiden (Multiresolution-Verfahren) der einzelnen Videodatenkanäle (Bildkanäle). ) Are a fusion of the image data by the combination of the calculated Laplacian pyramids (multiresolution method) of the single video data channels (image channels). Dabei werden die entsprechenden Laplace-Pyramiden mit den erstellten Maskenbildern aus Schritt In this case, the respective Laplacian pyramids with the created mask images from step 3 3 gewichtet. weighted. Für diese Wichtung der Laplace-Pyramide mit dem Maskenbild werden die in Schritt For this weighting of the Laplace pyramid with the mask image that are in step 41 41 aus den Maskenbildern gebildeten Maskenbildpyramiden, die den Laplace-Pyramiden adäquat sind, verwendet. formed from the mask images Mask image pyramids that are adequately the Laplace pyramids used. Für den abschließenden Fusionsschritt werden von allen gewichteten Laplace-Pyramiden aus den korrespondierenden Bildpunkten der einzelnen Laplace-Pyramiden-Ebenen die Bildpunkte gewählt, die den betragsmäßig größten Wert besitzen, da dieser der maximalen Information entspricht. For the final fusion step, the pixels are weighted by all the Laplace pyramids of the corresponding image points of each Laplacian pyramid levels is selected having the maximum absolute value, since this corresponds to the maximum information. Die auf diese Weise ausgewählten Bildpunkte stellen die resultierende (fusionierte) Laplace-Pyramide dar. The thus selected image points represent the resulting (merged) Laplacian pyramid.
    • 6. Im sechsten Schritt wird das direkte Fusionsergebnis in Form der fusionierten Laplace-Pyramide durch die Rücktransformation der Laplace-Pyramide in ein Ergebnisbild erstellt. 6. In the sixth step, the direct fusion result is created in the form of the fused Laplacian pyramid by the inverse transformation of the Laplacian pyramid in a resulting image. Dafür kann – sofern die Gauss- und Laplace-Pyramiden-Transformation nach Jähne (aa O) verwendet wurde – die dort angegebene Vorschrift der Rücktransformation verwendet werden. the provision of back-transformation indicated there are used - that can - as long as the Gaussian and Laplacian pyramid transformation after Jähne (cited above) was used.
  • In der Gestaltung gemäß In the embodiment according 2 2 ist das vorstehend beschriebene Zweikanal-Verfahren auf drei Kanäle erweitert worden. has been expanded to three channels, the two-channel method described above. In diesem Beispiel werden im ersten Schritt der Bildaufnahme neben dem anwendungsbedingt gewählten Millimeterwellen-Kanal (aufgenommen durch die THz-Kamera In this example, the image pickup, in addition to the application due to the selected millimeter-wave channel (received by the THz-camera in the first step 11 11 ) weitere Bilddaten im infraroten (IR-)Bereich und im sichtbaren (VIS-)Spektralbereich bereitgestellt. ) Additional image data in the infrared (IR) and visible (VIS) spectral region is provided. Ohne Beschränkung der Allgemeinheit sei in dieser Ausführung angenommen, dass die IR-Kamera Without loss of generality, it is assumed in this embodiment is that the IR camera 12 12 im Bereich 7,5 ... 14 μm arbeitet, während die VIS-Kamera ... 14 microns operates in the range 7.5, while the VIS camera 13 13 im Bereich 300 ... 780 nm empfindlich ist. in the range 300 ... 780 nm is sensitive. Für die THz-Kamera For THz camera 11 11 sei ein Frequenzband im Bereich 0,3 THz ... 0,9 THz (0,3 ... 1 mm) ausgewählt. is a frequency band in the range of 0.3 THz 0.9 THz ... (0.3 ... 1 mm) is selected.
  • Der zweite Schritt der Bildverbesserung The second step of image enhancement 2 2 erfolgt wie im vorherigen Beispiel wiederum im Millimeterwellenkanal, kann aber auch auf die Bilddaten aus dem IR-Kanal angewendet werden. is carried out as in the previous example again in the millimeter-wave channel, but can also be applied to the image data from the IR channel. Die Rauschunterdrückung (kantenerhaltende Rauschfilterung) wird in diesem Beispiel durch ein THz-Bildfilter The noise reduction (edge-preserving noise filtering), in this example by a THz image filter 21 21 vorgenommen, in dem das ausgelesene Bild mit einem rauschunterdrückenden und kantenerhaltenden Algorithmus, z. carried out in which the read-out image with a noise-suppressing and edge-preserving algorithm, z. B. durch ein Median-Filter, vorverarbeitet wird. B. is preprocessed by a median filter.
  • Der dritte Schritt der Maskenbilderzeugung The third step of the mask image forming 3 3 wird für die vorliegenden drei Kanäle wie folgt modifiziert. is modified for the present three channels as follows. Aus den Bilddaten der THz-Kamera From the image data of the THz camera 11 11 wird mit Hilfe eines histogrammgestützt berechneten Schwellwertes ein erstes Maskenbild is determined using a histogram-based threshold value is calculated, a first mask image 31 31 (THz-Maske) erstellt, das zwei Klassen von Pixeldaten, Hintergrund und Person, unterscheidet. (THz mask) created the two classes of pixel data, background and person. Für die Bestimmung des Schwellwertes wird der Median des Histogramms verwendet. To determine the threshold value of the median of the histogram is used. Eine weitere Bestimmung des Schwellwertes basiert auf einer Histogrammanalyse, bei der ein lokales Minimum gesucht wird. Another determining the threshold value based on a histogram analysis, in which a local minimum is sought. Falls mehrere lokale Minima vorhanden sind, können auch mehrere Schwellwerte verwendet und damit mehr als zwei Klassen unterschieden werden. If multiple local minima are present, even more thresholds may be used, more than two classes are distinguished. Wird nur eine Klassenunterteilung benötigt, wir aus der Histogrammanalyse das globale Minimum zur Berechnung des einen Schwellwertes verwendet. If only one class subdivision needed, we used from the histogram analysis the global minimum for calculation of a threshold value. Aus den Bilddaten der IR-Kamera From the image data of the IR camera 12 12 und der zuvor extrahierten THz-Maske (erstes Maskenbild and the previously extracted THz mask (first mask image 31 31 ) wird ein zweites Maskenbild ) Is a second mask image 32 32 erstellt, das drei Klassen von Pixeldaten diskriminiert, nämlich Hintergrund, Person und verborgenes Objekt. created that discriminates three classes of pixel data, namely background, person and hidden object. Hierbei werden die vorteilhaften Eigenschaften: Here, the advantageous properties:
    • – der Temperaturmessung von Oberflächen, - temperature measurement of surfaces,
    • – der höheren radiometrischen und geometrischen Auflösung sowie - the higher radiometric and geometric resolution,
    • – der höheren Bildwiederholfrequenz der IR-Kamera - the higher the refresh rate of the IR camera 12 12 ausgenutzt. exploited.
  • Aufgrund der höheren Auflösung der IR-Bildes können Kanten von Objekten oder Personen genauer detektiert werden. Due to the higher resolution of the infrared image edges of objects or people can be more accurately detected. Mit diesen zusätzlichen Informationen kann aus dem ersten Maskenbild, der THz-Maske, ein zweites Maskenbild zur Unterscheidung zwischen Person und verborgenem Objekt erzeugt werden. With this additional information, a second mask image to distinguish between the person and hidden object can from the first mask image, the THz-mask are generated.
  • Im vierten Schritt der Transformation In the fourth step of transforming 4 4 werden – wie bereits im Basisbeispiel für zwei Kanäle erläutert – sowohl aus den bereits in der Maskenerzeugung - as explained in the basic example of two channels - both those already in the mask generation 3 3 verwendeten Bilddaten in einer Maskenbildtransformation image data used in a mask image transformation 41 41 durch Datenreduktion eine adäquate Maskenbildpyramide als auch aus den von der VIS-Kamera by reducing data adequate mask image pyramid and from the VIS by the camera 13 13 als drittem Bildkanal bereitgestellten Bilddaten jeweils Gauß- und Laplace-Pyramiden berechnet, wobei infolge der einander nahezu überdeckenden Gesichtsfelder (FOV) der Kameras Image data provided as the third image channel in each case calculated Gaussian and Laplacian pyramids, as a result of the mutually almost overlapping fields of view (FOV) of the camera 11 11 bis to 13 13 die gleichen quadratischen Bildbereiche in die entsprechenden Laplace-Pyramiden transformiert werden. the same square image areas are transformed into the corresponding Laplacian pyramids.
  • Der nachfolgende Schritt der Bildfusion The subsequent step of image fusion 5 5 wird gegenüber dem Beispiel nach after over Example 1 1 ebenfalls um einen Kanal erweitert und ist in seiner Berechnungsstruktur der ebenenweise vorgenommenen Kombination der Laplace-Pyramiden in also extended to a channel and is in its calculation of the combination structure in layers made of the Laplace pyramids in 4 4 ausführlicher dargestellt. shown in more detail. In dieser Darstellung ist zu erkennen, dass bei der einfachen Kombination der einzelnen Laplace-Pyramidenebenen innerhalb jeder Ebene eine Wichtung mit den aus Schritt In this representation it can be seen that in the simple combination of the individual Laplacian pyramid levels within each level, a weighting with the step of 3 3 stammenden Maskendaten (Maskenbildpyramide) erfolgt, wobei das zweite Maskenbild occurs derived mask data (mask image pyramid), wherein the second mask image 32 32 , das die Unterteilung der Bildinformation aus den zwei Kanälen, THz-Kamera That the division of the image information from the two channels, THz camera 11 11 und IR-Kamera and IR camera 12 12 , in die drei Pixelklassen (Hintergrund, Person und verborgenes Objekt) beinhaltet, gleichermaßen als Pyramidentransformation ebenenweise auf die kombinierte Laplace-Pyramidenebene angewendet wird. is equally applicable as a pyramid transformation in layers on the combined Laplacian pyramid level, included in the three pixel classes (background, person and hidden object).
  • Wesentlich ist bei dieser Prozedur, dass die pro Kanal bereitgestellten Bilddaten in jeder Pyramidenebene einer Datenreduktion durch Mittelung aus benachbarten Pixeldaten interpolierte neue Pixeldaten erzeugt werden, die dann in der darauf folgenden Ebene Gegenstand der Fusion mit der auf gleiche Weise erzeugten Maskenbild-Pyramidenebene sind. It is essential in this procedure that the image data provided for each channel to be generated in each pyramid level of a data reduction by averaging from adjacent pixel data interpolated new pixel data which are then in the subsequent level object of the fusion with the generated same manner mask image pyramid level. Dabei werden aus den korrespondierenden Bildpunkten der einzelnen gewichteten Laplace-Pyramiden-Ebenen die Bildpunkte gewählt, die den betragsmäßig größten Wert besitzen. Be selected in the pixels of the corresponding image points of each weighted Laplace pyramid levels that have the highest amounts value. Die auf diese Weise ausgewählten Bildpunkte stellen die resultierende (fusionierte) Laplace-Pyramiden-Ebene dar, die dann im sechsten Schritt durch Rücktransformation der fusionierten Laplacepyramide zu einem objektextrahierten Ergebnisbild führt. The thus selected image points represent the resulting (merged) Laplacian pyramid level, which then results in the sixth step by back-transformation of the merged into a Laplace pyramid objektextrahierten resulting image. Dieses fusionierte Ergebnisbild zeichnet sich dadurch aus, dass trotz der kleidungsdurchdringenden THz-Bilddaten eine Bilddarstellung zur Anzeige gebracht wird, die keine Nacktdarstellung der kontrollierten Person und dennoch eine weitaus deutlichere Darstellung von unter der Bekleidung verborgenen Gegenständen ermöglicht sowie eine bessere örtliche Zuordnung (Auflösung) der verborgenen Gegenstände an der Person. This merged output image is characterized in that, despite the clothing penetrating THz image data, an image representation is brought to the display which does not allow nude representation of the controlled person and yet a far clearer representation of hidden under clothing objects, as well as a better spatial allocation (resolution) of hidden objects on the person.
  • In der Ausführungsform gemäß In the embodiment according to 3 3 wird eine weitere Modifikation des lokal-adaptiv gewichteten Fusionsalgorithmus gegenüber dem Beispiel gemäß is a further modification of the locally-adaptive weighted algorithm fusion compared to the embodiment according to 2 2 beschrieben. described. Bei gleicher Wahl der grundsätzlichen Spektralkanäle (THz, IR, VIS) wird hier jedoch die Wahl der Frequenzbänder wie folgt angenommen. With the same choice of the basic spectral (THz, IR, VIS), however, the choice of frequency bands is assumed as follows here. Die THz-Kamera The THz camera 11 11 sei im Bereich von 0,85 ... 0,9 mm (0,34 THz ... 0,35), die IR-Kamera is in the range of 0.85 ... 0.9 mm (0.34 THz ... 0.35), the IR camera 12 12 im Bereich von 7,5 ... 14 μm und die VIS-Kamera in the range of 7.5 ... 14 microns and the VIS camera 13 13 im Bereich von 300 ... 780 nm empfindlich. in the range of 300 ... 780 nm sensitive.
  • Die wesentliche Erweiterung der Bilddatenverarbeitung gegenüber der von The significant expansion of the image data processing over that of 2 2 besteht in der Verwendung von Daten aus Bildkanälen mit höherer räumlicher Auflösung (Bilddaten aus IR-Kamera consists in the use of data from image channels with higher spatial resolution (image data from the IR camera 12 12 und VIS-Kamera and VIS camera 13 13 ) für eine Bildverbesserung niedrigauflösender Kanäle (in diesem Fall: der Millimeterwellendaten aus der THz-Kamera ) (For image enhancement of low resolution channels in this case, the millimeter wave data from the THz camera 11 11 ) erreicht. ) reached. Dazu wird der zweite Verfahrensschritt der Bildverbesserung, bevor die Bilddaten in Gauß- und Laplace-Pyramiden transformiert werden, durch folgende Maßnahmen (Schritte) ergänzt: For this, the second step of image enhancement, before the image data is transformed into Gaussian and Laplacian pyramids, accompanied by the following actions (steps):
    • 2.2 Aufgrund der höheren Bildauflösung der VS- und IR-Videodaten (mindestens 5:1) und der höheren Bildwiederholfrequenz (50 Hz gegenüber 10–25 Hz der THz-Kamera 2.2 Because of the higher image resolution of the VS and IR video data (at least 5: 1) and the higher frame rate (50 Hz to about 10-25 Hz of the THz camera 13 13 ), können a-priori-Informationen abgeleitet werden, um Vorhersage-Berechnungen (forecast evaluation) ), A-priori information may be derived to predict calculations (forecast evaluation) 22 22 durchzuführen, die z. perform z. B. zur Vorausberechnung von Personen- oder Objektbewegungen genutzt werden. As for predicting to persons or object movements are used.
    • 2.3 Die aus dem Schritt der Vorhersage-Berechnungen 2.3 from the step of predicting calculations 22 22 gewonnenen a-priori-Informationen von Personen- oder Objektbewegungen werden dann für eine Bildverbesserung der THz-Bilddaten nach dem in der Grundversion ohnehin angewandten kantenerhaltenden Rauschminderung verwendet. obtained a priori information from personal or object movements are then used for image enhancement of the THz image data according to the already applied in the basic version of edge-preserving noise reduction. Hierbei werden die a-priori-Informationen mittels eines Kalman-Filters verarbeitet. Here, the a-priori information is processed by a Kalman filter. Eine weitere Verbesserung des THz-Bildes kann durch ein Subpixelinterpolation erreicht werden. A further improvement of the THz image can be achieved by a sub-pixel interpolation. Dabei gehen die Bewegungsinformationen (Richtung, Geschwindigkeit und Rotation) ein. The motion information go one (direction, speed and rotation).
  • Mit diesen Zusatzmaßnahmen wird eine bessere Objektverfolgung (Bewegung von überprüften Personen) und genauere Objektabgrenzung von verborgenen Objekten erreicht. With these additional measures improved object tracking (movement of checked persons) and more accurate object delineation of buried objects is achieved.
  • Ein weiter abgewandelter Fusionsablauf ist in A further modified fusion procedure is in 5 5 dargestellt. shown. Bei dieser Ausführung wird von der Voraussetzung ausgegangen, dass mindestens drei Bildkanäle vorhanden sein müssen, um die Aufgabe der verbesserten Bildauflösung (für verborgene Objekte) und die Unterdrückung des Nacktscannereffekts zu erreichen. In this embodiment, it is assumed that the condition that at least three image channels must be present in order to achieve the objective of improving image resolution (for hidden objects) and the suppression of body scanners effect. Bei den erneut in den THz-, IR- und VIS-Spektralbereichen angesiedelten Bildkanälen sollen in diesem Fall die spektralen Empfindlichkeitsbereiche wie folgt eingestellt sein: In the re-settled in the THz, IR and VIS spectral image channels in this case, the spectral sensitivity areas should be set as follows:
    THz-Kamera THz camera 11 11 : 0,85 mm, : 0.85 mm,
    IR-Kamera IR camera 12 12 : 7,5 ... 14 μm, : 7.5 ... 14 microns,
    VIS-Kamera VIS camera 13 13 : 300 ... 780 nm. : 300 ... 780 nm.
  • Dieses Beispiel baut auf der Ausführungsvariante von This example is based on the embodiment of 3 3 auf, zielt aber auf eine verkürzte bzw. vereinheitlichte Bilddatenverarbeitung ab, indem auf die Maskenbilderzeugung (sowie deren adäquater Pyramidenerzeugung) verzichtet wird zugunsten eines dadurch zwingend vorhandenen dritten Bildkanals (hier: neben THz- und VIS-Kanälen mindestens ein IR-Kanal), der in den Ausführungen gemäß den , but aims at a shorter or unified image data processing by the mask image generation (and their adequate pyramid formation) is dispensed with in favor of a characterized necessarily present third image channel (in this case in addition to THz and VIS channels at least one IR channel), the in the embodiments according to the 2 2 und and 3 3 lediglich zur weiteren (geringfügigen) Verbesserung des Ergebnisbildes optional vorhanden sein sollte. should be optional only available for further (slight) improvement of the resulting image. Es konnte festgestellt werden, dass mit jedem zusätzlichen hochauflösenden Bildkanal, dh jedem zwei übersteigenden Kanal, auch bei fest gewählter (dh nicht lokal-adaptiver) Wichtung der Laplace-Pyramiden der einzelnen Bildkanäle bei der Fusion zur resultierenden Laplace-Pyramide eine erhebliche Verbesserung der Bildauflösung für verborgene Objekte sowie Unterdrückung der Nacktscannereffekts erreichbar ist. It has been found that with each additional high-resolution image channel, that is, each two rising channel, also in fixed selected (ie, not locally-adaptive) weighting the Laplace pyramids of the individual image channels in the fusion to the resultant Laplacian pyramid a significant improvement in image resolution be reached for hidden objects and suppression of body scanners effect.
  • Besonders zweckmäßig ist dabei allerdings die Vorverarbeitung des niedrig auflösenden Millimeterwellenkanals der THz-Kamera It is particularly useful, however, the pre-processing of low-resolution millimeter-wave channel of the THz camera 11 11 im zweiten Verarbeitungsschritt durch zusätzliche a-priori-Informationen aus den hochauflösenden Bildkanälen der IR-Kamera in the second processing step with additional a-priori information from the high resolution image channels of the IR camera 12 12 und der VIS-Kamera and the VIS camera 13 13 . , Eine Reduktion auf eine reine kantenerhaltende Rauschunterdrückung mit THz-Bildfilter A reduction to a pure edge-preserving noise reduction with THz image filters 21 21 (z. B. Kalman-Filter) ermöglicht jedoch immer noch eine verschlechterte, aber nutzbare Variante. however (eg. B. Kalman filter) still allows a degraded but usable version.
  • Alle übrigen Verarbeitungsschritte der Bildaufnahme, Bildtransformation in Gauß- und Laplace-Pyramiden und deren ebenenweise Fusion zur resultierenden Laplace-Pyramide und deren Rücktransformation zum fusionierten Ergebnisbild laufen in derselben, wie zu All other processing steps of the image acquisition, image transformation in Gaussian and Laplacian pyramids and their fusion in layers to the resultant Laplacian pyramid and their transformation back to the merged result image run in the same, such as to 1 1 , . 3 3 und and 4 4 beschriebenen, Art und Weise ab, wobei jedoch Laplace-Pyramiden aus mindestens drei Bildkanälen notwendig für den Fusionsschritt described manner from, but Laplacian pyramids necessary for at least three image channels for the fusion step 5 5 zur Verfügung stehen müssen. must be available.
  • Mit Hilfe der vorstehend beschriebenen Varianten des Fusionsalgorithmus auf Basis der Verschmelzung von Laplace-Pyramiden-Daten von zum Teil vorverarbeiteten (aufbereiteten und verbesserten) Daten vorgegebener Bildkanäle bzw. durch Hinzunahme zusätzlicher lokal-adaptiver Maskenbilder oder zusätzlicher Bildkanäle können verborgene Objekte besser erkannt werden, da diese Objekte nicht durch Bildinformationen der anderen Kanäle überdeckt, sondern mit diesen verbessert werden. By means of the above-described variants of the fusion algorithm based on the fusion of Laplacian pyramid data preprocessed in part (processed and improved) data of predetermined image channels or by adding additional locally-adaptive mask images or additional image channels hidden objects can be better appreciated as does not cover these objects by image information of the other channels, but can be improved using this. Dabei wird insgesamt die örtliche Auflösung im Bereich der detektierten verborgenen Objekte gesteigert und zwar ohne die volle Bildgebung der Nacktscannereigenschaft der Millimeterwellen (THz-Kamera The spatial resolution as a whole is increased in the range of the detected hidden objects and without the full imaging of the body scanner characteristic of the millimeter wave (THz camera 11 11 ) im Ergebnisbild darzustellen. ) Represent in the resulting image.
  • Bezugszeichenliste LIST OF REFERENCE NUMBERS
  • 1 1
    Bildaufnahme image capture
    11 11
    erste Kamera (THz-Kamera) first camera (THz camera)
    12 12
    zweite Kamera (IR-Kamera) second camera (infrared camera)
    13 13
    dritte Kamera (VIS-Kamera) third camera (VIS camera)
    1n 1n
    n-te Kamera (eines Mehrkanalsystems) n-th camera (a multi-channel system)
    2 2
    Bildverbesserung image enhancement
    21 21
    Bildfilter (Rauschminderung) Image filtering (noise reduction)
    22 22
    Vorhersageberechnung (Bewegungsvorhersage) Predictive calculation (motion prediction)
    23 23
    Bildverbesserung mit a priori Informationen (aus anderen Kanälen) Image enhancement using a priori information (from other channels)
    3 3
    Maskenbilderzeugung Mask imaging
    31 31
    erstes Maskenbild (THz-Maske) first mask image (mask THz)
    32 32
    zweites Maskenbild (THz-IR-Maske) second mask image (THz-IR mask)
    4 4
    Gauß-Laplace-Transformation Gauss-Laplace transform
    41 41
    Maskenbild-Transformation Mask image transformation
    5 5
    Fusion der Laplace-Pyramiden mit Wichtung durch Maskenbild Fusion of the Laplace pyramids with weighting by mask image
    51 51
    THz-Laplace-Ebene THz Laplace plane
    52 52
    IR-Laplace-Ebene IR Laplace plane
    53 53
    Masken-Laplace-Ebene Mask Laplace plane
    54 54
    Datenreduktionsoperation Data reduction surgery
    55 55
    Wichtungsoperation Weighting operation
    6 6
    Rücktransformation der fusioniert gewichteten Laplace-Pyramide Back-transformation of the fused weighted Laplacian pyramid
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. This list of references cited by the applicant is generated automatically and is included solely to inform the reader. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. The list is not part of the German patent or utility model application. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen. The DPMA is not liable for any errors or omissions.
  • Zitierte Patentliteratur Cited patent literature
    • US 2005/0116947 A1 [0003] US 2005/0116947 A1 [0003]
    • US 2005/0231421 A1 [0004] US 2005/0231421 A1 [0004]
    • US 2005/0232459 A1 [0004] US 2005/0232459 A1 [0004]
    • US 2006/0006322 [0005] US 2006/0006322 [0005]
    • US 2008/0043102 A1 [0005] US 2008/0043102 A1 [0005]
    • US 2009/0041293 A1 [0005] US 2009/0041293 A1 [0005]
  • Zitierte Nicht-Patentliteratur Cited non-patent literature
    • Bernd Jähne: Digitale Bildverarbeitung, 4 Auflage, Springer Verlag Berlin Heidelberg New York, 1997, Kapitel 11.5, S. 342 ff. [0023] Bernd Jähne: Digital Image Processing, 4th edition, Springer Verlag Berlin Heidelberg New York, 1997, Chapter 11.5, pp 342 et seq [0023].
    • Bernd Jähne: Digitale Bildverarbeitung, 4 Auflage, Springer Verlag Berlin Heidelberg New York, 1997, Kapitel 5.2, Seite 149 ff. [0023] Bernd Jähne: Digital Image Processing, 4th edition, Springer Verlag Berlin Heidelberg New York, 1997, Chapter 5.2, page 149 ff [0023].

Claims (14)

  1. Verfahren zur Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen in einer Szene, insbesondere bei der optoelektronischen Personenkontrolle, bei dem Bilddaten aus mindestens zwei spektral unterschiedlich empfindlichen Kamerasystemen, die einander weitgehend überlappende Gesichtsfelder aufweisen, einer Bilddatenkombination unterzogen werden, mit folgenden Schritten: (1) Aufnehmen von Bildern in Bildkanälen unterschiedlicher Frequenzbereiche als zweidimensionale Bilddaten, wobei ein Bildkanal aus dem Bereich der Milimeterwellen gewonnen wird und die ausgegebenen Bilder der unterschiedlichen Kanäle zueinander synchronisiert werden, falls die Abtastung mit unterschiedlichen Bildwiederholfrequenzen erfolgt, (2) Bildverbesserung mittels Filteroperation, bei der mindestens eine Rauschunterdrückung in einem niedrigauflösenden Bildkanal durchgeführt wird, (3) Erzeugung eines Maskenbildes aus den Bilddaten mindestens eines Bildkanals, bei der die B A method for processing multi-channel image recordings for the detection of hidden objects in a scene, particularly in the opto-electronic control of persons, in which image data of at least two differently spectrally sensitive camera systems that have mutually widely overlapping fields of view, an image data combination are subjected to the following steps: ( 1) recording of images in image channels of different frequency ranges as two-dimensional image data, wherein an image channel is derived from the field of millimeter waves and the images of the different channels output are synchronized with each other, if the sampling is done with different refresh rates, (2) image enhancement means of filter operation, wherein the at least one noise reduction is performed in a low resolution channel, (3) generating a mask image from the image data of at least one image channel at which the B ilddaten in wenigstens zwei Klassen von Pixeln unterschieden werden, (4) Transformation der Bilddaten jedes Bildkanals in eine Gauss- und Laplace-Pyramide und des Maskenbildes in eine dazu adäquate Maskenbildpyramide, wobei aus den ausgelesenen Bilddaten jeweils quadratische Bereiche mit übereinstimmenden Gesichtsfeldern ausgewählt werden, (5) Fusion der transformierten Bilddaten der Laplace-Pyramiden der einzelnen Bildkanäle mit der Maskenbildpyramide in zueinander korrespondierenden Pyramidenebenen und anschließende Verschmelzung der Laplace-Pyramiden der einzelnen Bildkanäle zu einer resultierenden Laplace-Pyramide, wobei aus korrespondierenden Bildpunkten innerhalb gleicher Pyramidenebenen der einzelnen Laplace-Pyramiden auf Basis eines relativen Vergleichkriteriums ermittelt wird und die resultierenden Bildpunkte ebenenweise zur resultierenden Laplace-Pyramide zusammengefügt werden, und (6) Rücktransformation der erzeugten resultierenden Laplace-Pyramide in ein fusionierte ilddaten are divided into at least two classes of pixels, (4) transformation of the image data of each image channel in a Gaussian and Laplacian pyramid and the mask image in one to adequately mask image pyramid, whereby the image data read out each square regions with matching visual fields are selected from ( 5) Fusion of the transformed image data of the Laplace pyramids of the individual image channels with the mask image pyramid in mutually corresponding pyramid levels and subsequent fusion of the Laplace pyramids of the individual image channels to form a resultant Laplacian pyramid, wherein from corresponding pixels on within the same pyramid levels of the individual Laplacian pyramids based on a relative comparison criterion is determined and the resulting pixels in layers are joined together to the resultant Laplacian pyramid, and (6) back-transformation of the resultant Laplacian pyramid generated in a merged s Ergebnisbild. s resulting image.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Maskenbild mit Hilfe eines fest einstellbaren Schwellwertes erzeugt wird. A method according to claim 1, characterized in that the mask image is generated by a fixed adjustable threshold value.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Maskenbild mit Hilfe eines anpassbaren Schwellwertes erzeugt wird, wobei der Schwellwert aus einer Histogrammverteilung eines ausgelesenen Bildes berechnet wird. A method according to claim 1, characterized in that the mask image is generated with the aid of an adjustable threshold value, wherein the threshold is calculated from a histogram distribution of an image read out.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Schwellwert für das Maskenbild durch den Medianwert des Histogramms berechnet wird. A method according to claim 3, characterized in that the threshold value for the mask image with the median value of the histogram is calculated.
  5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Schwellwert aus einer Histogrammanalyse bestimmt wird, bei der ein globales Minimum gesucht wird. A method according to claim 3, characterized in that the threshold value is determined from a histogram analysis, in which a global minimum is sought.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass mehrere Schwellwerte ermittelt werden, falls mehrere lokale Minima vorhanden sind, und damit mehr als zwei Klassen von Pixeln innerhalb des Maskenbildes unterschieden werden. A method according to claim 5, characterized in that a plurality of threshold values ​​are determined, if several local minima are present, and thus more than two classes of pixels be distinguished within the mask image.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Maskenbild mit Hilfe mehrerer Schwellwerte erzeugt wird, wobei dazu Informationen aus mindestens zwei Bildkanälen ( A method according to claim 1, characterized in that the mask image using a plurality of threshold values ​​is generated, to (information of at least two image channels 11 11 , . 12 12 ) verwendet werden. ) be used.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass aus einem ersten Bildkanal ( A method according to claim 7, characterized in that (a first video channel 11 11 ) ein erstes Maskenbild ( ) A first mask image ( 31 31 ) erzeugt und mit Informationen aus einem weiteren Bildkanal ( ) And generates (using information from another image channel 12 12 ) mindestens eine weitere Klasse von Pixeln unterteilt wird, wobei die Informationen aus dem weiteren Bildkanal ( ) Is divided at least one other class of pixels, with the information (from the further image channel 12 12 ) zur Berechnung mindestens eines weiteren Schwellwertes verwendet werden. ) Are used to calculate at least one further threshold value.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein erstes zweiklassiges Maskenbild ( A method according to claim 8, characterized in that a first mask image zweiklassiges ( 31 31 ) aus dem Bildkanal im Millimeterwellenbereich ( ) (From the image channel in the millimeter wave range 11 11 ) und ein zweites mehrklassiges Maskenbild ( ) And a second mask image mehrklassiges ( 32 32 ) aus dem ersten Maskenbild ( ) (From the first mask image 31 31 ) und einem Bild aus einem langwelligeren Bildkanal ( ) And an image of a longer wavelength image channel ( 12 12 ) umgewandelt wird. is converted).
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Schwellwerte für das mehrklassige Maskenbild ( A method according to claim 9, characterized in that the threshold values ​​for the multiclass mask image ( 32 32 ) durch Histogrammauswertung in einem IR-Kanal ( ) (By histogram analysis in an IR channel 12 12 ) gewonnen werden. ) be won.
  11. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erzeugte Maskenbild ( A method according to claim 1, characterized in that the mask image ( 31 31 , . 32 32 ) für die Bildfusion ( ) (For the image fusion 5 5 ) in eine Maskenbildpyramide derart umgewandelt wird, dass durch eine schrittweise Reduzierung der Auflösung des Maskenbildes ein adäquates Datengefüge zu den aus der Bildtransformation ( ) Is converted into a mask image pyramid such that, by gradually reducing the resolution of the mask image data an adequate structure to the (from the image transformation 4 4 ) erzeugten Laplace-Pyramiden der einzelnen Bildkanäle ( ) Generated Laplace pyramids of the individual image channels ( 11 11 , . 12 12 , . 13 13 , ... ... 1n 1n ) entsteht. ) Arises.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Bildfusion ( A method according to claim 11, characterized in that the image fusion ( 5 5 ) auf Basis einer Verschmelzung der Laplace-Pyramiden von mindestens zwei Bildkanälen erfolgt, wobei aus korrespondierenden Bildpunkten der einzelnen mit der Maskenbildpyramide gewichteten Laplace-Pyramiden-Ebenen diejenigen Bildpunkte der einzelnen Laplace-Pyramiden-Ebenen ermittelt werden, die den betragsmäßig größten Wert besitzen. ) Is based on a merger of the Laplace pyramids of at least two image channels, wherein those image points are determined for each Laplacian pyramid levels of corresponding pixels of each weighted with the mask image pyramid Laplacian pyramid levels having the maximum absolute value.
  13. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildfusion ( A method according to claim 1, characterized in that the image fusion ( 5 5 ) auf Basis einer Verschmelzung der Laplace-Pyramiden von mindestens drei Bildkanälen erfolgt, wobei die Kombination mit der Maskenbildpyramide durch eine Kombination mit der Laplace-Pyramide eines zusätzlichen Bildkanals ersetzt wird und aus korrespondierenden Bildpunkten der einzelnen Laplace-Pyramiden-Ebenen diejenigen Bildpunkte ermittelt werden, die den betragsmäßig größten Wert besitzen. ) Is based on a merger of the Laplace pyramids of at least three image channels, wherein the combination with the mask image pyramid is replaced by a combination with the Laplacian pyramid of an additional image channel and those pixels are determined from the corresponding image points of each Laplacian pyramid levels, which have the absolute greatest value.
  14. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Bildverbesserung des Bildes eines niedrig auflösenden Bildkanals ( A method according to claim 1, characterized in that an image enhancement of the image of a low resolution channel ( 11 11 ) durch die Verwendung von Daten aus mindestens einem höher auflösenden Bildkanal ( ) (By the use of data from at least one higher resolution image channel 12 12 , . 13 13 ) mit höherer Bildwiederholrate vorgenommen wird, indem a-priori-Informationen über Bewegungen innerhalb des hochauflösenden Bildkanals ( ) Is carried out with a higher refresh rate by a priori information about movements within the high-resolution image channel ( 12 12 , . 13 13 ) mit höherer Bildwiederholrate auf das Bild des niedrig auflösenden Bildkanals ( ) (With higher refresh rate on the image of the low resolution channel 11 11 ) angewendet werden. ) be applied.
DE102010008630A 2010-02-18 2010-02-18 Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons Withdrawn DE102010008630A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010008630A DE102010008630A1 (en) 2010-02-18 2010-02-18 Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010008630A DE102010008630A1 (en) 2010-02-18 2010-02-18 Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons
PCT/DE2011/050005 WO2011100964A2 (en) 2010-02-18 2011-02-18 Method for processing multi-channel image recordings in order to detect hidden objects in the optoelectronic inspection of persons

Publications (1)

Publication Number Publication Date
DE102010008630A1 true DE102010008630A1 (en) 2011-08-18

Family

ID=44317337

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010008630A Withdrawn DE102010008630A1 (en) 2010-02-18 2010-02-18 Method for processing of multi-channel image recordings for the detection of hidden objects in the optoelectronic checking persons

Country Status (2)

Country Link
DE (1) DE102010008630A1 (en)
WO (1) WO2011100964A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681022A (en) * 2012-04-19 2012-09-19 首都师范大学 Terahertz (THz) wave imaging device
CN102681023A (en) * 2012-04-19 2012-09-19 首都师范大学 Terahertz wave imaging system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106353832B (en) * 2016-09-18 2018-08-03 公安部第研究所 Species quickly through the millimeter wave human body security inspection system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035592A1 (en) * 2000-09-08 2003-02-20 Cornog Katherine H. Interpolation of a sequence of images using motion analysis
US20050116947A1 (en) 2001-09-28 2005-06-02 Trex Enterprises Corp Video rate passive millimeter wave imaging system
US20050232459A1 (en) 2004-04-14 2005-10-20 Rowe Richard L Multi-source surveillance portal
US20050231421A1 (en) 2004-04-14 2005-10-20 Michael Fleisher Enhanced surveilled subject imaging
US20060006322A1 (en) 2003-01-31 2006-01-12 Vaidya Nitin M Weighted noise compensating method and camera used in millimeter wave imaging
US20090041293A1 (en) 2007-08-08 2009-02-12 Brian Andrew Multiple camera imaging method and system for detecting concealed objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035592A1 (en) * 2000-09-08 2003-02-20 Cornog Katherine H. Interpolation of a sequence of images using motion analysis
US20050116947A1 (en) 2001-09-28 2005-06-02 Trex Enterprises Corp Video rate passive millimeter wave imaging system
US20060006322A1 (en) 2003-01-31 2006-01-12 Vaidya Nitin M Weighted noise compensating method and camera used in millimeter wave imaging
US20050232459A1 (en) 2004-04-14 2005-10-20 Rowe Richard L Multi-source surveillance portal
US20050231421A1 (en) 2004-04-14 2005-10-20 Michael Fleisher Enhanced surveilled subject imaging
US20080043102A1 (en) 2004-04-14 2008-02-21 Safeview, Inc. Multi-source surveillance system
US20090041293A1 (en) 2007-08-08 2009-02-12 Brian Andrew Multiple camera imaging method and system for detecting concealed objects

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Bernd Jähne: Digitale Bildverarbeitung, 4 Auflage, Springer Verlag Berlin Heidelberg New York, 1997, Kapitel 11.5, S. 342 ff.
Bernd Jähne: Digitale Bildverarbeitung, 4 Auflage, Springer Verlag Berlin Heidelberg New York, 1997, Kapitel 5.2, Seite 149 ff.
LIU,Z., et al: Concealed Weapon Detection and Visualization in a Synthesized Image. Pattern Analysis and Applications Journal, 8(4), 2006, S. 375-389 *
PIELLA,G.: A region-based multiresolution image fusion algorithm. Proceedings of the Fifth International Conf. on Information Fusion, ISIF, 2002, S. 1557-1564 *
ZHANG,Z., BLUM,R.: A Categorization of Multiscale- Decomposition-Based Image Fusion Schemes with a Performance Study for a Digital Camera Application. Proc. IEEE, Vol. 87 No. 8, Aug. 1999, S. 1315-1326 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681022A (en) * 2012-04-19 2012-09-19 首都师范大学 Terahertz (THz) wave imaging device
CN102681023A (en) * 2012-04-19 2012-09-19 首都师范大学 Terahertz wave imaging system
CN102681023B (en) 2012-04-19 2014-05-07 首都师范大学 Terahertz wave imaging system

Also Published As

Publication number Publication date
WO2011100964A2 (en) 2011-08-25
WO2011100964A3 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
Rockinger et al. Pixel-level image fusion: the case of image sequences
Yang et al. Multifocus image fusion and restoration with sparse representation
Wang et al. Information content weighting for perceptual image quality assessment
DE10114932B4 (en) Three-dimensional detection of surroundings
DE19712295B4 (en) Luminance / Chrominanzsignaltrennvorrichtung
DE19636028C1 (en) Stereo image object detection, esp. for road vehicles
DE69812800T2 (en) Method and apparatus for image enhancement
DE69734855T2 (en) Apparatus and method for extracting an object in an image
DE602004005358T2 (en) Object detection in images
DE69735488T2 (en) Method and apparatus for aligning images
DE69333094T2 (en) An apparatus for extracting features of a face image
DE60114469T2 (en) Method and apparatus for determination of interesting pictures and image transmission
DE69233722T2 (en) Procedure for the determination of object images and method for determining the movement thereof
DE69934068T2 (en) Determining the position of eyes by lightning reflex detection and correction of defective in a captured image
DE60111422T2 (en) Recognition of features in images
Rockinger Pixel-level fusion of image sequences using wavelet frames
DE4411179B4 (en) image capture device
DE10195927B4 (en) Generalized text localization in images
DE60125181T2 (en) Method and apparatus for radar target recognition
DE60133160T2 (en) Digital image-processing method and apparatus for adjusting the brightness of digital images
EP1599835B1 (en) Method and assembly for video-coding, video-coding comprising a texture analysis and texture synthesis, corresponding computer programme and computer-readable recording medium
DE60037485T2 (en) A signal processing method and video signal processor for detecting and analyzing a visual and / or audio pattern
DE69627138T2 (en) A method for estimating the location of a picture-target region landmarks from several regions mitverfolgter
Rosell et al. Recent psychophysical experiments and the display signal-to-noise ratio concept
DE60132278T2 (en) A noise reduction method using color information, an apparatus and a program for digital image processing

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20120901