DE102010051207A1

DE102010051207A1 - Vorrichtung sowie Verfahren zur dreidimensionalen Abbildung eines relativ zur Sensoranordnung bewegten Objekts

Info

Publication number: DE102010051207A1
Application number: DE102010051207A
Authority: DE
Inventors: Dr. Ender Joachim; Manfred Hägelen; Dr. Hantscher Sebastian; Stefan Lang
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2010-11-12
Filing date: 2010-11-12
Publication date: 2012-05-16
Anticipated expiration: 2030-11-13
Also published as: DE102010051207B4

Abstract

Die vorliegende Erfindung betrifft eine Sensoranordnung sowie ein Verfahren zur dreidimensionalen Abbildung eines relativ zur Sensoranordnung bewegten Objekts mittels einer Kombination aus Radartechnik und optischer Abbildung. Bei dem Verfahren wird ein dreidimensionales Radarbild des Objekts erfasst und mit einem mit optischen 3D-Sensoren generierten 3D-Oberflächenmodell des Objekts so fusioniert, dass das Radarbild auf die Oberfläche oder die direkte Nähe der Oberfläche des 3D-Oberflächenmodells fokussiert wird. Das 3D-Oberflächenmodell wird dabei auch zur passgenauen Projektion der Radardaten und optischen Texturdaten genutzt. Das Verfahren und die zugehörige Sensoranordnung ermöglichen eine realitätsnahe Darstellung des abgebildeten Objekts.

Description

Technisches Anwendungsgebiet
Die vorliegende Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur dreidimensionalen Abbildung eines relativ zu einer Sensoranordnung der Vorrichtung bewegten Objekts, bei dem das Objekt mit einem oder mehreren Radarsensoren der Sensoranordnung erfasst und aus Radardaten der Radarsensoren ein dreidimensionales Radarbild des Objekts erzeugt wird.
Radarsensoren können in vielen Anwendungen zur Erfassung und Abbildung von Objekten eingesetzt werden. Ein Anwendungsbeispiel ist die Detektion von Waffen oder Explosivstoffen, die von Personen verdeckt unter der Kleidung mitgeführt werden. Bei dieser Anwendung ist es wünschenswert, das Radarbild einem optischen Bild der Person passgenau zu überlagern, um dem Betrachter eine möglichst realitätsnahe Darstellung der Person zu bieten, in der von dieser möglicherweise verdeckt mitgeführte Gegenstände und deren Lage an der Person erkennbar sind. Zur Erzeugung des Radarbildes ist eine genaue Kenntnis der relevanten Bewegung und der dreidimensionalen Oberfläche erforderlich. Ein weiteres Problem besteht darin, dass die Radarbilder und optische Bilder in zwei verschiedenen Abbildungsebenen entstehen. Beim optischen Bild ist die Abbildungsebene durch die Koordinaten Azimut und Elevation festgelegt, beim Radarbild durch Entfernung und Cross-Range (Richtung senkrecht zu Entfernung und scheinbarer Drehachse). Eine deckungsgleiche Überlagerung kann nur dann erfolgen, wenn die dreidimensionale Geometrie der Oberfläche des Objekts bzw. Körpers bekannt ist.
Ein interferometrisches SAR (Radar mit synthetischer Apertur) oder eine ToF-Kamera (ToF: Time-of-Flight) liefert ein dreidimensionales Bild, das aus einer zweidimensionalen Pixelmatrix besteht, die die Intensitäten wiedergibt, sowie einer zweiten zweidimensionalen Matrix, die die dritte Koordinate für jedes einzelne Pixel beinhaltet. Oft werden diese Bilder in der Literatur auch als „2 dimensional” bezeichnet. Sie eignen sich für die Wiedergabe gekrümmter Flächen im dreidimensionalen Raum, etwa die Oberfläche von Körpern oder die Topographie der Erde. Ein vollständiges dreidimensionales Bild würde jedoch aus einer dreidimensionalen Matrix bestehen, deren Pixel die Intensität enthalten. Ein solches Bild könnte die vollständige räumliche Verteilung der Reflektivität wiedergeben und ist nicht an Oberflächen gebunden. Oft wird ein derartiges Bild, das sich als Folge von 2D-Bildern (Schichten) mit variierender dritter Koordinate darstellen lässt, als tomographisch bezeichnet.
In der vorliegenden Patentanmeldung werden unter dem Begriff des dreidimensionalen (3D) Bildes beide Bildtypen verstanden, wobei der zuletzt genannte Bildtyp im Folgenden auch als voll-3D Bild bezeichnet wird. Der Begriff des Objekts umfasst in der vorliegenden Patentanmeldung sowohl Gegenstände als auch lebende Körper wie bspw. Menschen oder Tiere. Unter dem Begriff der optischen Sensoren sind Sensoren zu verstehen, die sowohl im sichtbaren (VIS) Bereich als auch in den beidseitig angrenzenden Bereichen, d. h. im Infraroten (IR) oder im Ultravioletten (UV) arbeiten.
Stand der Technik
Für die zwei- und dreidimensionale Radarabbildung von Objekten sind unterschiedliche Radarverfahren bekannt. Bei dem Verfahren des Inversen Synthetischen Apertur Radars (ISAR) wird die Bewegung des Objektes ausgenutzt, um in der Grundversion ein Radarbild in zwei Dimensionen zu erstellen. Dazu ist es erforderlich, die Entfernungshistorie zu einem Fixpunkt auf dem Objekt sowie die Rotation des Objekts um diesen Fixpunkt sehr genau zu schätzen. Dies geschieht im Allgemeinen durch Ausnutzung der Radardaten selbst mit sog. Autofokusverfahren, deren Erfolg jedoch sehr unsicher ist. Es wurden auch Ansätze zur dreidimensionalen Radarabbildung beschrieben, bei denen zum Beispiel eine Eigenrotation der Sensoranordnung um mehr als eine Drehachse ausgenutzt wird, wie bspw. bei Schiffen (Rollen, Gieren, Stampfen).
Im Bereich der Fernerkundung ist ein SAR-Bilderzeugungsalgorithmus bekannt, der die dreidimensionale Gestalt der Erdoberfläche als Vorinformation nutzt. Dies ist insbesondere dann von Vorteil, wenn die Szene sehr bergig ist und der Flugpfad von der Geradlinigkeit erheblich abweicht. Für die Bilderzeugung kommt hier ein Rückprojektionsalgorithmus zum Einsatz, wie er bspw. in O. Frey, E. H. Meyer, D. R. Nuesch: „Processing SAR data of rugged terrain by time-domain back projection", Proceedings of SPIE Vol. 5980: SAR Image Analysis, Modelling, and Techniques VII, Oct. 2005, ISBN: 9780819460004, beschrieben ist. Die Vorinformation wird durch digitale Geländekarten eingebracht, die entweder aus vorhandenen geographischen Karten oder durch Anwendung der SAR-Interferometrie erhalten wird. Es ist auch eine Technik bekannt, die ohne Vorinformation arbeitet. Bei dieser Technik wird das Gelände in Schichten zerlegt und für jede Schicht ein SAR-Bild erzeugt. Das Ergebnis ist ein voll-3D Bild. In Verbindung mit einer Vielzahl von Überflügen lässt sich durch SAR-Tomographie für jedes Entfernungs-Azimut-Pixel die Höhe schätzen, so dass das Endergebnis einer SAR-Abbildung auf der dreidimensionalen Erdoberfläche entspricht.
Weiterhin sind radiometrische Körperscanner bekannt, die ein Bild der zu untersuchenden Person in den zwei Dimensionen Azimut und Elevation erstellen und dabei Kleidung durchdringen können. Es handelt sich hier jedoch um ein passives Verfahren mit erheblich unterschiedlichen Eigenschaften zum aktiven Radar.
Radar-Körperscanner existieren in verschiedenen Ausprägungen. Grundsätzlich wird hier ein Radarsensor auf einer eindimensionalen Bahn oder zeilenweise in einer Ebene vor der Person bewegt, so dass eine ein- oder zweidimensionale synthetische Apertur erzeugt wird. Im ersten Fall entsteht ein Bild in der Azimut-Schrägentfernungs-Ebene, im letzteren muss ein voll dreidimensionales Bild erzeugt werden, wenn die Gestalt der Oberfläche unbekannt ist. Bei einer weiteren Ausprägung wird der Radarsensor auf einer zirkularen Bahn um die Person herum geführt, so dass eine Abwicklung in 360° (Gesamtkörper-abbildend) möglich ist. Eine approximative Fokussierung der Radardaten kann dadurch erfolgen, dass die Körperoberfläche durch einen Zylinder angenähert wird.
D. M. Sheen et al., „Three Dimensional Millimeter-Wave Imaging for Concealed Weapon Detection,", IEEE transactions an microwave theory and techniques Vol. 49, No. 9, September 2001, Seiten 1581 bis 1592, zeigen ein Beispiel für einen Körperscanner mit Radarsensoren zur Erstellung dreidimensionaler Radarbilder.
Die WO 2008/029117 zeigt eine Ausgestaltung eines Radar-Körperscanners für zweidimensionale (2D) Radarbilder, bei dem zusätzliche Sensoren eingesetzt und die Radarbilder mit den Bildern der zusätzlichen Sensoren fusioniert werden. Als zusätzliche Sensoren werden passive Millimeterwellen-Sensoren, passive Infrarot-Sensoren oder hochauflösende Fernsehbilder (HD-TV) genannt, durch deren Einsatz die Wahrscheinlichkeit der Detektion von unerwünschten Gegenständen erhöht werden soll. Nähere Angaben über die Fusion der Bilder finden sich in dieser Druckschrift nicht.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung sowie ein Verfahren zur Abbildung von relativ zu einer Sensoranordnung der Vorrichtung bewegten Objekten anzugeben, die eine realitätsnahe dreidimensionale Abbildung des Objekts mittels Radartechnik ermöglichen und bei denen sich die Radardaten sehr genau fokussieren lassen.
Darstellung der Erfindung
Die Aufgabe wird mit dem Verfahren und der Vorrichtung gemäß den Patentansprüchen 1 und 7 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens und der Vorrichtung sind Gegenstand der abhängigen Patentansprüche oder lassen sich der nachfolgenden Beschreibung sowie den Ausführungsbeispielen entnehmen.
Bei dem vorgeschlagenen Verfahren wird das Objekt mit einem oder mehreren Radarsensoren einer Sensoranordnung erfasst und aus Radardaten der Radarsensoren ein dreidimensionales Radarbild des Objekts erzeugt, insbesondere mittels SAR oder ISAR. Zusätzlich wird das Objekt mit einem oder mehreren optischen Sensoren der Sensoranordnung dreidimensional erfasst und aus Messdaten der optischen Sensoren ein dreidimensionales Oberflächenmodell des Objekts erzeugt. Das dreidimensionale Oberflächenmodell wird dann vorteilhaft genutzt, um die bei der Erfassung des Objekts erhaltenen Radar-Rohdaten mit Hilfe der Oberfläche zu fokussieren. Anschließend wird das Radarbild bei der Bilddarstellung in korrekter Position, Orientierung und Größe, d. h. passgenau bzw. deckungsgleich, auf die Oberfläche des 3D-Oberflächenmodells projiziert. Der Betrachter erhält damit eine realitätsnahe Bilddarstellung des abgebildeten Objekts. Der Informationsgewinn durch Fusion der beiden Bildquellen wird durch diese Darstellung verbessert.
Bei dem vorgeschlagenen Verfahren wird die problemlose passgenaue Überlagerung der Bilder durch die optische Vermessung und Erstellung des 3D-Oberflächenmodells ermöglicht, für die ein optischer 3D-Sensor erforderlich ist. Dies kann bspw. eine ToF-Kamera oder ein Laserscanner sein. Selbstverständlich ist auch der Einsatz mehrerer derartiger 3D-Sensoren möglich. Durch die bekannte relative Lage der Radarsensoren und der optischen Sensoren in der Sensoranordnung lässt sich damit eine genaue Zuordnung der Radar- und optischen Bilder erreichen. Weiterhin lässt sich durch Aufzeichnung einer Sequenz dreidimensionaler optischer Bilder der Bewegungsverlauf des Objekts ermitteln. Bei stationärer Anordnung der Radarsensoren ist diese Information für die Erzeugung von ISAR-Bildern von Vorteil.
Bei der Erstellung eines SAR- oder ISAR-Radarbildes stellt die erforderliche Fokussierung der Radar-Rohdaten bei einer Abweichung von einer geradlinigen Bewegung des Radars relativ zum Objekt ein Problem dar. Eine derartige Fokussierung ist nur dann möglich, wenn einerseits der zeitliche Verlauf der Entfernung zu einem Fixpunkt auf dem Objekt und dessen relativer Orientierung bekannt ist, und andererseits die Fokussierungspunkte auf die Oberfläche des Objektes gelegt werden können. Eine Abweichung von der geradlinigen Bahn tritt z. B. dann auf, wenn der Radarsensor auf einer zirkularen Bahn um das Objekt geführt werden soll, um es von allen Seiten zugänglich zu machen, oder wenn das Objekt eine eigenständige translatorische und rotatorische Bewegung vollzieht, wie dies bei sich frei bewegenden Personen in der Regel der Fall ist. Mit der Erstellung des 3D-Oberflächenmodells beim vorgeschlagenen Verfahren wird dieses Problem auf einfache Weise gelöst, da nun die für die Fokussierung erforderlichen Informationen bekannt sind. Mit dem Verfahren und der zugehörigen Vorrichtung lassen sich in dieser Ausgestaltung die Radardaten sehr genau auf die Oberfläche des relativ bewegten Objekts oder auf eine Fokaloberfläche in direkter Nähe der Oberfläche, bspw. im Bereich von 5% des Objektdurchmessers unterhalb oder oberhalb der Oberfläche, fokussieren. Mit der Fokussierung in direkter Nähe unterhalb der Oberfläche lassen sich bei optisch nicht durchlässigen Objekten, bei denen die dielektrischen Eigenschaften der Oberfläche jedoch ein Eindringen der Radarstrahlung ermöglichen, auch Strukturen unterhalb der Oberfläche scharf abbilden. Im Gegensatz zum herkömmlichen ISAR-Verfahren entfällt die unsichere Autofokussierung. Eine aufwendige Prozessierung von voll-3D Bildern wie bei der SAR-Tomographie und der nachträglichen Extraktion der Oberfläche ist nicht erforderlich. Die Fokussierung der Radardaten erfolgt dabei auch wesentlich genauer als bei der Zylinderprojektion. Dadurch können das Prozessierungswinkelintervall vergrößert und somit die Bildschärfe erhöht werden.
In einer vorteilhaften Weiterbildung des Verfahrens und der zugehörigen Vorrichtung werden zusätzlich noch optische 2D-Bilder des Objekts erfasst und auf das 3D-Oberflächenmodell projiziert (Mapping). Durch diese 2D-Bilder erhält das Oberflächenmodell dann zusätzlich eine realistische Textur. Die 2D-Bilder können ggf. mit den optischen 3D-Sensoren oder auch mit zusätzlichen 2D-Sensoren, bspw. einer oder mehreren CCD-Kameras, erzeugt werden.
Die vorgeschlagene Vorrichtung setzt sich zumindest aus einer Sensoranordnung mit einem oder mehreren Radarsensoren und einem oder mehreren optischen Sensoren sowie einer Datenverarbeitungseinrichtung zusammen. Die Radarsensoren sind zur Erzeugung eines dreidimensionalen Radarbildes eines relativ zur Sensoranordnung bewegten Objekts geeignet, die optischen Sensoren zur Erzeugung eines dreidimensionalen Modells des Objekts. Die Datenverarbeitungseinrichtung ist so ausgestaltet, dass sie aus den Radardaten der Radarsensoren das dreidimensionale Radarbild des Objekts und aus den Messdaten der optischen Sensoren das dreidimensionale Oberflächenmodell erzeugt, aus dem dreidimensionalen Oberflächenmodell erhaltene Information über den Oberflächenverlauf des Objekts für eine Fokussierung der Radardaten nutzt und das Radarbild oder ein daraus durch Weiterverarbeitung erhaltenes Bild bei der Bilddarstellung in korrekter Position, Orientierung und Größe auf die Oberfläche des 3D-Oberflächenmodells projiziert. Die Vorrichtung umfasst dabei selbstverständlich auch eine Steuereinrichtung, die die Sensoren zur Aufnahme der Radardaten und optischen Daten. ansteuert. Ein aus dem Radarbild durch Weiterverarbeitung erhaltenes Bild kann bspw. ein Bild sein, das nur die am Objekt detektierten Auffälligkeiten, bspw. zusätzliche Gegenstände, darstellt. Eine derartige Detektion kann über einen automatischen Detektionsalgorithmus erfolgen, durch den dann die entsprechenden Bildbereiche aus dem ursprünglichen Radarbild segmentiert werden. Auf das Oberflächenmodell werden dann nur diese extrahierten Bildbereiche, ggf. auch in stark vereinfachter Darstellung projiziert.
Bei dem vorgeschlagenen Verfahren und der zugehörigen Vorrichtung werden daher, je nach Anwendung und Ausführungsform, relativ zur Sensoranordnung bewegte Objekte dreidimensional im Radarfrequenzbereich abgebildet, wobei durch ein optisches Teilsystem gewonnene Oberflächenmodelle dazu dienen, die Radar-Rohdaten darauf zu fokussieren bzw. bereits fokussierte Radarsignaturen hierauf zu projizieren. Zur Erstellung des Radarbildes kommen ein oder mehrere kohärent oder inkohärent miteinander arbeitende Radarsensoren zum Einsatz. Für die 3D-Modellierung der Objektoberfläche wird eine vorzugsweise multimodale Optik verwendet, welche bspw. aus CCD-Kamera(s), ToF-Kamera(s) und/oder Laserscanner(n) besteht. Vorzugsweise wird ein optischer Sensor eingesetzt, welcher die beiden benötigten Bildarten (2D und 3D) liefert. Dies könnte beispielsweise durch eine ToF-Kamera geleistet werden. Die erzielten 3D-Bilder im Radarbereich und im optischen Bereich werden miteinander fusioniert, wobei sich die unterschiedlichen Abbildungseigenschaften in Bezug auf die gewonnene Information ergänzen. Im Gegensatz zu bekannten Verfahren der Radarabbildung sind bei Nutzung des Oberflächenmodells zur Fokussierung keine a priori Informationen über die relative Bewegung des Objekts oder Autofokusverfahren erforderlich. Die Relativbewegung wird durch Bewegung des Sensorsystems mittels einer mechanischen Vorrichtung bzw. durch Montage auf einem sich bewegenden Land- oder Luftfahrzeug und/oder durch eigenständige Bewegung des Objektes bewirkt.
Das vorgeschlagene Verfahren und die zugehörige Vorrichtung lassen sich in vielen unterschiedlichen Anwendungsbereichen einsetzen. Ein Anwendungsbereich betrifft die Radarabbildung von Personen, wobei die erforderliche relative Bewegung entweder durch die Fortbewegung der Person oder aber durch Bewegung der Sensoranordnung an der Person entlang oder um diese herum bewirkt wird. Da Radarstrahlung Kleidung durchdringt, können am Körper verdeckt getragene Waffen oder Explosivstoffe sichtbar gemacht werden. Im Gegensatz zu bekannten Körperscannern ist bei dem hier vorgeschlagenen Verfahren sowie der zugehörigen Vorrichtung auch die Sicherheitskontrolle sich frei bewegender Personen möglich. Die Radarabbildung der Körperoberfläche mit dem vorgeschlagenen Verfahren kann auch im Bereich der Medizintechnik eingesetzt werden, da die Radarwellen tiefer in das Hautgewebe eindringen können als Licht und so Gewebeabnormalitäten sichtbar machen können.
Ein weiterer Anwendungsbereich stellt die Qualitätsanalyse von Industrieprodukten, Lebensmitteln usw. dar. Die zu überprüfenden Objekte werden hierbei z. B. auf einem Band an der Sensoranordnung vorbeigeführt. Das Ergebnis ist eine dreidimensionale Abbildung der Objekte sowohl im optischen Bereich als auch im Radar-Bereich, wobei die Radarwellen auch unter die Oberfläche dringen und so Qualitätsmängel zum Vorschein bringen können. Das Verfahren und die Vorrichtung können auch für die Entdeckung verborgener Stoffe in Gesteinen oder für die Klassifizierung von RecyclingMaterial eingesetzt werden.
Ein weiteres Anwendungsbeispiel betrifft die Radarabbildung von Fahrzeugen, Gebäuden usw. Hierzu kann die Sensoranordnung auf einem Fahrzeug an dem zu untersuchenden Objekt vorbeigeführt werden. Die Radarabbildung kann so die Reflexionseigenschaften des Objektes bzw. verborgene Leitungen, Schadstellen usw. sichtbar machen.
Als Radarsensoren können beim vorgeschlagenen Verfahren und der vorgeschlagenen Vorrichtung unterschiedliche Sensorarten eingesetzt werden, die die zu untersuchenden Objekte dreidimensional abbilden. Dies sind bspw. FMCW-Radare (FMCW: Frequency Modulated Continuous Wave) oder Pulsradare mit beliebigen Wellenformen, monostatische, bistatische oder multistatische Radare, interferometrische Radare, polarimetrische Radare, Array-basierte Radare oder MIMO-Radare (MIMO: Multiple Input Multiple Output) sowie Kombinationen dieser Radare. Dies ist selbstverständlich auch keine abschließende Aufzählung. Bei den optischen 2D-Sensoren handelt es sich um passive optische Sensoren wie bspw. CCD-Kameras, welche die zu untersuchende Szene zweidimensional abbilden und digitalisieren. Neue Technologiestandards können auch Sensoren ermöglichen, die sowohl die Generierung von 2D- als auch 3D-Bildern mit aktiver Beleuchtung in sich vereinen. Auf diese Weise wird die benötigte Sensoranzahl von drei auf zwei reduziert. Die eingesetzten 3D-Sensoren sind aktive im oder nahe dem VIS-Bereich operierende Sensoren, die die zu untersuchende Szene dreidimensional abbilden und digitalisieren. Unter aktiven Sensoren sind hierbei Sensoren zu verstehen, die zur Messung aktiv optische Strahlung aussenden, anstatt nur passiv das Umgebungslicht zu nutzen. Es können natürlich auch passive 3D-Sensoren eingesetzt werden. Die von den optischen 3D-Sensoren erhaltenen Messdaten werden genutzt, um die Oberfläche der erfassten Objekte dreidimensional zu rekonstruieren, d. h. ein dreidimensionales Oberflächenmodell zu erstellen. Die von den 2D-Sensoren (oder evtl. auch 3D-Sensoren) erhaltenen 2D-Messdaten werden genutzt, um die rekonstruierte Oberfläche mit einer Textur zu versehen (Mapping). Durch die Nutzung des 3D-Oberflächenmodells für die Fokussierung der Radar-Rohdaten kann die Radar-Reflektivität der Oberfläche sowie dicht unter der Oberfläche sichtbar gemacht werden.
Kurze Beschreibung der Zeichnungen
Das vorgeschlagene Verfahren sowie die zugehörige Vorrichtung werden nachfolgend anhand von Ausführungsbeispielen in Verbindung mit den Figuren nochmals erläutert. Hierbei zeigen:
1 ein erstes Beispiel für den Aufbau der vorgeschlagenen Vorrichtung;
2 ein zweites Beispiel für den Aufbau der vorgeschlagenen Vorrichtung; und
3 ein Beispiel für die Verfahrensschritte bei der Durchführung des vorgeschlagenen Verfahrens.
Wege zur Ausführung der Erfindung
In der Grundausführung weist die vorgeschlagene Vorrichtung einen Radarsensor zur Erstellung eines dreidimensionalen Radarbildes des Objekts sowie einen 3D-Sensor bzw. eine 3D-Kamera auf, aus deren Messdaten ein 3D-Oberflächenmodell des Objekts erstellt werden kann.
1 zeigt ein erstes Beispiel einer Ausgestaltung einer derartigen Vorrichtung mit dem Radarsensor 2 und der 3D-Kamera 3 als Bestandteile der Sensoranordnung sowie der Datenverarbeitungseinrichtung 9. Während sich das Objekt 1 an der Sensoranordnung oder sich die Sensoranordnung am Objekt 1 vorbei bewegt, strahlt der Sender des Radarsensors 2 kontinuierlich oder in Pulsen das Sendesignal aus. Die am Objekt reflektieren Wellen werden von der Empfangsantenne des Radarsensors 2 empfangen. Das Signal wird in den Empfangszug geleitet und nach üblicher analoger Verarbeitung (verstärken, heruntermischen, filtern, ...) digitalisiert und an den Radareingang der Signalverarbeitung der Datenverarbeitungseinrichtung 9 weitergegeben. Gleichzeitig nimmt die 3D-Kamera 3 eine Folge optischer Bilder des Objekts auf und leitet diese Sequenz an den Optik-Eingang der Signalverarbeitung der Datenverarbeitungseinrichtung 9 weiter. Die Bildsequenz besteht aus dem jeweils sichtbaren Teil der Oberfläche des Objekts 1, das zunächst als starr angenommen wird. Die Folge dieser im 3D-Raum gekrümmten Flächen wird einem Bildverarbeitungsmodul 4 mit einem 3D-Bildverfolgungsalgorithmus zugeführt, der die translatorische und rotatorische Bewegungskomponente als Zeitfunktionen zur Verfügung stellt und eine Rekonstruktion der Oberflächenform des starren Objekts – bis auf den abgeschatteten Teil – zurückgibt. Jede Position auf dem rekonstruierten Teil der Oberfläche kann durch ein Koordinatentripel in einem objektfesten dreidimensionalen Koordinatensystem beschrieben werden. Zusammen mit der translatorischen und rotatorischen Bewegungsmessung kann damit zu jedem Zeitpunkt die Lage jedes Oberflächenpunktes in Bezug auf das Radarsystem, d. h. den oder die Radarsensoren, berechnet werden, dessen relative Position zur 3D-Kamera 3 fest und bekannt ist. Zusätzlich zu der 3D-Kamera oder anstelle der 3D-Kamera kann auch ein Laserscanner oder eine ähnliche Einrichtung zur 3D-Oberflächenerfassung eingesetzt werden.
Die Radarsignale werden in einem Vorverarbeitungsmodul 5 einer radar-üblichen Vorverarbeitung unterzogen. Insbesondere erfolgt hierbei die übliche Pulskompression im Zeit- oder Frequenzbereich. Es wird ein zweidimensionales Feld komplexwertiger Größen entsprechend dem Koordinatengitter der Objektoberfläche angelegt und mit Nullen vorbesetzt. Dieses Feld stellt das spätere Radarbild dar. Nun wird das Radarbild 6 dadurch erzeugt, dass für jeden Gitterpunkt auf der Objektoberfläche und jeden Zeitpunkt die Radarsignale entsprechend der momentanen Entfernung und Richtung des Bildpunktes zum Radarsensor phasenkorrigiert und mit einer Gewichtung versehen phasenrichtig auf das Feld aufaddiert werden. Dies entspricht der dreidimensionalen Version des Rückprojektionsalgorithmus, wie er in den Veröffentlichungen des einleitenden Teils der Beschreibung angeführt ist und zuweilen in der SAR-Bilderzeugung zur Erdfernbeobachtung verwendet wird. Es existieren durchaus noch weitere, zur Rekonstruktion nutzbare mathematische Fokussierungsverfahren, die ebenfalls basierend auf der 3D-Oberfläche arbeiten können. Die Amplituden der komplexen Werte stellen das Ausgangsprodukt für eine weitere Bildverarbeitung dar. Insbesondere kann im Darstellungsmodul 7 durch Koordinatentransformation in die Sensorkoordinaten eine dem menschlichen Betrachter zugänglichere perspektivische Ansicht herstellt werden. Das nach dem beschriebenen Prinzip fokussierte Radarbild wird dabei zusätzlich dem optischen Bild überlagert. Bei dem Verfahren können auch automatische Detektoren 8 eingesetzt werden, die auf dem nicht transformierten Radarbild arbeiten und bei bestimmten Anwendungen unerwünschte Gegenstände und/oder bestimmte Merkmale automatisch detektieren und anzeigen. Derartige Detektoren arbeiten bspw. auf der Amplituden der obigen komplexen Werte mit einfachem Schwellwertvergleich oder mit ausgefeilteren Mustererkennungsverfahren, um damit bestimmte Materialien am Objekt detektieren zu können, deren Reflektivität für die eingesetzten Radarwellen sich von der Reflektivität des Materials der Objektoberfläche unterscheidet.
Für die Durchführung des Verfahrens können bspw. Radarsensoren im Bereich der Millimeterwellen eingesetzt werden, bspw. mit einer Frequenz von ca. 100 GHz, um damit versteckte Gegenstände an einer Person erfassen zu können. Die Erstellung des 3D-Modells kann bspw. auf Basis eines 3D-Sensors erfolgen, der mit aktivem Infrarot arbeitet. Die Ermittlung der Textur für das vom 3D-Sensor erhaltene 3D-Modell bzw. die 3D-Kontur der Person kann hochauflösend mit einer CCD-Kamera erfolgen, die vorzugsweise auch Videofähigkeit zur Passagenkontrolle aufweisen sollte. Je nach Technologiestandard kann Texturermittlung, Videofähigkeit und 3D-Bilderzeugung mit einem Sensor durchgeführt werden, der diese Verfahren in sich vereint. Die Oberflächenkontur des Modells wird zur Rekonstruktion bzw. Fokussierung der Radarstrahlung genutzt. Die Genauigkeit der Rekonstruktion gefundener versteckter Gegenstände wird damit signifikant erhöht.
Die Leistungsfähigkeit der vorgeschlagenen Sensoranordnung kann dadurch erhöht werden, dass zusätzliche Radarsensoren bzw. Radar-Sende- und Empfangseinheiten implementiert werden. Alle Einheiten werden mit einem Hochfrequenzsignal so synchronisiert, dass sie kohärent miteinander arbeiten können. Jede Empfangseinheit wird mit einem Empfangskanal bis hin zur Analog-Digital-Wandlung ausgestattet. In Frage kommen lineare Arrays von Empfangsantennen, beliebige multistatische Anordnungen, MIMO-Konstellationen, multipolarimetrische sowie multiinterferometrische Einheiten. Aufgrund der Kenntnis der geometrischen Positionen aller Phasenzentren kann durch phasenrichtige Akkumulation aller Sensor-Beiträge für jeden Oberflächenpunkt die Auflösung und das Signal-zu-Rausch-Verhältnis gesteigert sowie der Abdeckungsgrad der Oberfläche erhöht werden. Die optische Ausstattung sollte um mindestens eine CCD-Kamera erweitert werden, um die Bildqualität des optischen Bildes, das zur Fusion mit dem Radarbild benutzt wird, zu erhöhen. Weiterhin können auch weitere 3D-Kameras (und/oder Laserscanner oder ähnliches) eingesetzt werden, um größere Bereiche der Körperoberfläche zu erfassen.
2 zeigt ein weiteres Beispiel für eine Ausgestaltung der vorgeschlagenen Vorrichtung mit zusätzlichen Sensoren. Diese Vorrichtung eignet sich vor allem zur Untersuchung an bewegten Personen, d. h. als Körper- bzw. Personen-Scanner. Als Radarsensoren 2 kommen hier mit getrenntem Sender und Empfänger arbeitende Radarmodule zum Einsatz, welche an verschiedenen Positionen des Personen-Scanners am Untersuchungsvolumen angeordnet sind. Diese werden in 360° entlang einer eindimensionalen zirkularen Apertur 10 bewegt und beleuchten das Objekt 1, d. h. die zu untersuchende Person, im Untersuchungsvolumen vollständig. Der Frequenzbereich der emittierenden und empfangenden Einheiten ist unabhängig vom hier vorgestellten Scannerprinzip wählbar. Zusätzlich kommen mehrkanalige Empfänger zum Einsatz, welche Echos von mehreren beispielsweise über Hohlleiter verbundene räumlich verteilte Empfangsantennen der Radarmodule verarbeiten. Dabei arbeiten die Mehrkanalempfänger mit den Radar-Modulen kohärent, indem über einen Richtkoppler ein Teil des Sendesignals an den Lokaloszillatoreingang des Mehrkanalempfängers übertragen wird.
Die 3D-Kameras 3 (hier: ToF-Kameras) sind so angeordnet, dass die betreffende Person aus mehreren Richtungen vermessen wird. Über eine rechnergestützte Fusion der einzelnen Oberflächenkonturen wird das Gesamt-3D-Modell des Objekts erhalten. Je nach verwendeter Art der ToF-Kamera sind Messzeiten in der Größenordnung von einigen 10 Millisekunden möglich. Zusätzlich sind geeignete CCD-Kameras 11 so positioniert, dass deren Bildausschnitt dem der ToF-Kameras möglichst nahe kommt, so dass die Bilder der CCD-Kameras 11 ohne großen rechnerischen Aufwand als Textur für das Modell genutzt werden können. Der Aufnahmevorgang für die 2D-Bilder ist ebenfalls in Bruchteilen einer Sekunde möglich. Die CCD-Kamera fällt weg, wenn der 3D-Sensor in der Lage ist, auch 2D-Bilder der Szene zu liefern.
Die zirkulare Apertur kann bspw. durch den Einsatz eines mechanischen Ringes erzeugt werden, auf welchem die Radarsensoren 2 sitzen. Die Rotationsbewegung des Ringes erzeugt eine synthetische Apertur in Drehrichtung der Radarsensoren. Mit Hilfe mechatronischer Einheiten (Schrittmotor für Rotationsbewegung und Schleifring zur Signalübertragung) wird der Ringaufbau inklusive Radarsensoren zur Rotation gebracht und mit Energie und elektrischen Signalen versorgt. Die Radarsensoren 2, die sich auf der zirkularen Apertur bewegen, sind nach innen gerichtet und besitzen einen Winkel ≠ 0 ihrer Hauptabstrahlrichtung gegenüber ihrer Rotationsebene. Somit ist die Hauptkeule der Sende- und Empfangsantennen auf ein Gebiet im Zentrum außerhalb der Rotationsebene ausgerichtet. Das so ausgeleuchtete Gebiet ist derart groß, dass Personen oder Gegenstände gänzlich von der beleuchtenden Strahlcharakteristik abgedeckt sind. Die entstehenden Echos von rückstreuenden Objekten werden mit den Mehrkanalempfängern aufgezeichnet und ausgewertet.
3 zeigt schematisch ein Beispiel für die Verfahrensschritte bei der Durchführung des vorgeschlagenen Verfahrens, unterteilt in drei Verfahrensabschnitte. Im ersten Verfahrensabschnitt 29 erfolgen multispektrale Aufnahmen der Person oder des Gegenstandes (partiell- oder Gesamtkörper-abbildend), im zweiten Verfahrensabschnitt 30 die Datenauswertung und im dritten Verfahrensabschnitt 31 die Darstellung des Ergebnisses.
In der hier beschriebenen Ausführungsform fallen Daten von drei verschiedenen Sensortypen an. Rohdaten 21 der Radarsensoren jeweils bestehend aus Radarmodul und mehrkanaligem Empfänger, 3D-Rohdaten 22 der ToF-Kamera(s) und 2D-Rohdaten der CCD-Kamera(s) und/oder ToF-Kamera(s) 23. Das Radarmodul sendet eine elektromagnetische Welle aus, welche nach anschließender Reflexion an einem Zielobjekt von den Empfangskanälen des Radarmoduls sowie des mehrkanaligen Empfängers kohärent mit den Sendesignalen verarbeitet wird. Anschließend erfolgt die Digitalisierung der Daten sowie eine Signalverarbeitung nach dem Prinzip der synthetischen Apertur. Da aufgrund der eindimensionalen Apertur des Radars lediglich die Information bezüglich zweier Dimensionen (Schrägentfernung sowie in Azimutrichtung) vorhanden ist, muss die Information für eine korrekte Fokussierung aus den ToF-Kameradaten gewonnen werden. Die Daten, welche die ToF-Kameras aus den verschiedenen Blickwinkeln liefern, werden zu den bewegten dreidimensionalen Gitternetzen der Oberflächen der sich bewegenden Person oder des sich bewegenden Gegenstandes – ähnlich einem optischen Video – verarbeitet (Schritt 24), welche anschließend als Fokaloberfläche des SAR-Algorithmus 25 verwendet werden. Außerdem fließt in die Berechnung ebenfalls noch eine Bewegungskompensation der untersuchten Person oder des untersuchten Gegenstandes ein, welche durch eine multistatische Anordnung bewegter und fest installierter kohärent arbeitender Radare gewonnen wird. Der SAR-Algorithmus realisiert die radarbasierte Bildberechnung bspw. nach dem Verfahren der Rückprojektion, so dass der Radarquerschnitt durch ein Farbschema kodiert angegeben werden kann. Anhand einer Schwellwertentscheidung oder anderer Entscheidungskriterien, wie bspw. mittels intelligenter Algorithmen zur direkten Umgebungsberücksichtigung, werden vorzugsweise die Bereiche des Radarbildes ausgewählt, deren Radarquerschnitte einen vorher bestimmten Wert überschreiten bzw. die Detektionsparameter erfüllen. Parallel dazu werden mit Hilfe der CCD-Kameras oder anderer optischer Sensoren (beispielsweise ToF-Kameras) optische Bilder der Person bzw. des Gegenstandes erzeugt, welche in Schritt 26 zur Nutzung als Textur bearbeitet werden. Diese Textur sowie die ausgewählten Bereiche des bereits nach dem beschriebenen Fokusverfahren mit der 3D-Oberfläche rekonstruierten Radarbildes werden jeweils als Textur auf die mit Hilfe der ToF-Kameradaten berechnete dreidimensionale Oberfläche der untersuchten Person oder Gegenstandes projiziert (Texturüberlagerung 27). Im Ergebnis entsteht ein 3D-Modell 28 einer bewegten Person oder eines Gegenstandes mit einer optischen und einer Radarabbildung als Textur, das dem Betrachter in geeigneter Perspektive an einem Monitor dargestellt werden kann.
Das Objektmodell kann auf mehrere, sich im Blickfeld der Sensoranordnung befindliche Objekte oder Objektteile, erweitert werden. Für die Bewegung der einzelnen Körperteile einer Person können Menschenmodelle eingesetzt werden, die durch die optische Bildsequenz und entsprechende Bildverarbeitungsverfahren parametrisiert werden, wie dies z. B. in der Filmindustrie für die Animation von Trickfilmfiguren (Avatare) durch Beobachtung der tatsächlichen Bewegung von Schauspielern eingesetzt wird. Die Signalverarbeitung muss in diesem Fall parallel für alle Objekte bzw. Objektteile durchgeführt werden.
Weiterhin lässt sich die Sensoranordnung selbstverständlich auch noch mit zusätzlichen anderen Sensoren erweitern, bspw. zur Erstellung eines radiometrischen Bildes oder für eine zusätzliche Nutzung anderer Techniken.
Das Verfahren kann für alle Einsatzgebiete angewendet werden, bei denen eine örtliche Zuordnung der dreidimensionalen Radardaten auf einem optisch nachgebildeten CAD-Modell wichtig ist. Beispiele hierfür sind die Untersuchung von Gegenständen zur Materialprüfung und/oder Qualitätssicherung, die Abbildung von Fahrzeugen oder Gebäuden zur Aufspürung von unter der Oberfläche verborgenen Strukturen, die Lebensmittelkontrolle oder die Medizintechnik, bspw. für dermatologische Untersuchungen, Tumordiagnose usw. Das Verfahren und die zugehörige Sensoranordnung lassen sich damit für viele Überwachungsaufgaben einsetzen.
Bezugszeichenliste

1: Objekt
2: Radarsensor
3: 3D-Kamera (und/oder Laserscanner oder ähnliches)
4: Bildverarbeitungsmodul
5: Vorverarbeitungsmodul
6: Projektion und Fokussierung der Radardaten auf dem 3D-Oberflächenmodell
7: Perspektivische Darstellung, Überlagerung mit den optischen Bildern
8: automatischer Detektor
9: Datenverarbeitungseinrichtung
10: zirkulare synthetische Apertur
11: CCD-Kameras
21: Rohdaten der Radarsensoren
22: 3D-Rohdaten der ToF-Kameras
23: 2D-Rohdaten der CCD-Kameras und/oder ToF-Kameras
24: zeitlich und räumlich veränderliches 3D-Gitternetz des untersuchten Objekts (3D-Oberflächenmodell) zur Bewegungsnachverfolgung
25: SAR-Algorithmus zur Fokussierung der Radar-Rohdaten basierend auf dem 3D-Oberflächenmodell
26: Bearbeitung zur Nutzung als Textur
27: Texturüberlagerung
28: 3D-Modell des bewegten Objekts mit einer optischen und einer Radarabbildung als Textur
29: multispektrale Aufnahmen des Objekts (partiell- oder Gesamtkörper-abbildend)
30: Datenauswertung
31: Darstellung des Ergebnisses

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2008/029117 [0010]

Zitierte Nicht-Patentliteratur

O. Frey, E. H. Meyer, D. R. Nuesch: „Processing SAR data of rugged terrain by time-domain back projection”, Proceedings of SPIE Vol. 5980: SAR Image Analysis, Modelling, and Techniques VII, Oct. 2005, ISBN: 9780819460004 [0006]
D. M. Sheen et al., „Three Dimensional Millimeter-Wave Imaging for Concealed Weapon Detection,”, IEEE transactions an microwave theory and techniques Vol. 49, No. 9, September 2001, Seiten 1581 bis 1592 [0009]

Claims

Verfahren zur dreidimensionalen Abbildung eines relativ zu einer Sensoranordnung bewegten Objekts, bei dem das Objekt (1) mit einem oder mehreren Radarsensoren (2) der Sensoranordnung erfasst und aus Radardaten der Radarsensoren (2) ein dreidimensionales Radarbild des Objekts (1) erzeugt wird, dadurch gekennzeichnet, dass das Objekt (1) zusätzlich mit einem oder mehreren optischen Sensoren (3) der Sensoranordnung dreidimensional erfasst wird, aus Messdaten der optischen Sensoren (3) ein dreidimensionales Oberflächenmodell des Objekts (1) erzeugt wird, aus dem dreidimensionalen Oberflächenmodell erhaltene Informationen über den Oberflächenverlauf des Objekts (1) für eine Fokussierung der Radardaten genutzt werden und das Radarbild oder ein daraus durch Weiterverarbeitung erhaltenes Bild bei einer Bilddarstellung in korrekter Position, Orientierung und Größe auf die Oberfläche des dreidimensionalen Oberflächenmodells projiziert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mindestens ein weiterer optischer Sensor (11) eingesetzt wird, mit dem zweidimensionale Bilder des Objekts (1) aufgenommen werden, die dem dreidimensionalen Oberflächenmodell bei der Bilddarstellung als Textur überlagert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mit dem einen oder den mehreren optischen Sensoren (3) auch zweidimensionale Bilder des Objekts (1) aufgenommen werden, die dem dreidimensionalen Oberflächenmodell bei der Bilddarstellung als Textur überlagert werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die aus dem dreidimensionalen Oberflächenmodell erhaltenen Informationen über den Oberflächenverlauf des Objekts (1) für die Fokussierung der Radardaten direkt auf der Oberfläche oder in direkter Nähe der Oberfläche des Objektes (1) genutzt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mit dem einen oder den mehreren optischen Sensoren (3) eine Sequenz dreidimensionaler Bilder des Objekts (1) aufgezeichnet wird, aus der Sequenz ein Bewegungsverlauf des Objekts (1) ermittelt und als Information bei der Erzeugung der Radarbilder und/oder der Fokussierung der Radardaten genutzt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass als der eine oder die mehreren optischen Sensoren (3), mit denen das Objekt (1) dreidimensional erfasst wird, aktive optische Sensoren eingesetzt werden.
Vorrichtung zur dreidimensionalen Abbildung eines Objekts, zumindest umfassend – eine Sensoranordnung mit – einem oder mehreren Radarsensoren (2), die zur Erzeugung eines dreidimensionalen Radarbildes des relativ zur Sensoranordnung bewegten Objekts (1) geeignet sind, und – einem oder mehreren optischen Sensoren (3), die zur Erzeugung eines dreidimensionalen Radarbildes des relativ zur Sensoranordnung bewegten Objekts (1) geeignet sind, und – eine Datenverarbeitungseinrichtung (9), die aus Radardaten der Radarsensoren (2) ein dreidimensionales Radarbild des Objekts (1) und aus Messdaten der optischen Sensoren (3) ein dreidimensionales Oberflächenmodell des Objekts (1) erzeugt, aus dem dreidimensionalen Oberflächenmodell erhaltene Information über den Oberflächenverlauf des Objekts (1) für eine Fokussierung der Radardaten nutzt und das Radarbild oder ein daraus durch Weiterverarbeitung erhaltenes Bild bei einer Bilddarstellung in korrekter Position, Orientierung und Größe auf die Oberfläche des dreidimensionalen Oberflächenmodells projiziert.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Sensoranordnung mindestens einen weiteren optischen Sensor (11) aufweist, mit dem zweidimensionale Bilder des Objekts (1) aufgenommen werden können, und die Datenverarbeitungseinrichtung (9) so ausgebildet ist, dass sie dem dreidimensionalen Oberflächenmodell die zweidimensionalen Bilder bei der Bilddarstellung als Textur überlagert.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass der eine oder die mehreren optischen Sensoren (3) auch zweidimensionale Bilder des Objekts (1) aufnehmen können, und die Datenverarbeitungseinrichtung (9) so ausgebildet ist, dass sie dem dreidimensionalen Oberflächenmodell die zweidimensionalen Bilder bei der Bilddarstellung als Textur überlagert.
Vorrichtung nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (9) so ausgebildet ist, dass sie die aus dem dreidimensionalen Oberflächenmodell erhaltene Information über den Oberflächenverlauf des Objekts (1) für die Fokussierung der Radardaten direkt auf der Oberfläche oder in direkter Nähe der Oberfläche des Objektes (1) nutzt.
Vorrichtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (9) so ausgebildet ist, dass sie aus einer Sequenz dreidimensionaler Bilder des Objekts (1), die mit dem einen oder den mehreren optischen Sensoren (3) aufgezeichnet wurden, einen Bewegungsverlauf des Objekts (1) ermittelt und als Information bei der Erzeugung der Radarbilder und/oder der Fokussierung der Radardaten nutzt.
Vorrichtung nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass der eine oder die mehreren Radarsensoren (2) an einer mechanischen Einrichtung befestigt sind, durch die sie zur Erzeugung einer synthetischen Apertur (10) während der Aufzeichnung der Radardaten um ein Untersuchungsvolumen herum geführt werden.
Verwendung des Verfahrens und der Vorrichtung gemäß den vorangehenden Patentansprüchen zur dreidimensionalen Abbildung von Personen.