DE102008046964A1 - Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula - Google Patents

Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula Download PDF

Info

Publication number
DE102008046964A1
DE102008046964A1 DE200810046964 DE102008046964A DE102008046964A1 DE 102008046964 A1 DE102008046964 A1 DE 102008046964A1 DE 200810046964 DE200810046964 DE 200810046964 DE 102008046964 A DE102008046964 A DE 102008046964A DE 102008046964 A1 DE102008046964 A1 DE 102008046964A1
Authority
DE
Germany
Prior art keywords
image
optical
unit
dimensions
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE200810046964
Other languages
German (de)
Inventor
Norbert Scholz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE200810046964 priority Critical patent/DE102008046964A1/en
Publication of DE102008046964A1 publication Critical patent/DE102008046964A1/en
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

The recording unit (1) has an optical unit (2) with a wavelength sensitivity lying between 0.4 to 1.2 micrometers. Another optical unit (3) includes a wavelength sensitivity lying between 8 to 12 micrometers. A distance sensor (12) e.g. optical distance sensor, is arranged coplanar to image sensors (5, 8). The optical units are connected with a signal processing unit (14) such that the processing unit obtains signals processed by the optical units per pixels of images and converts the signals from one of the optical units into signals of other optical unit using a specific formula.

Description

Die Erfindung betrifft eine Bilderfassungseinheit zur Fusion von mit Sensoren unterschiedlicher Wellenlängenempfindlichkeit erzeugten Bildern gemäß dem Oberbegriff des Anspruchs 1.The The invention relates to an image acquisition unit for fusion with Sensors of different wavelength sensitivity generated images according to the preamble of the claim 1.

Im Infrarotbereich haben Objekte ein völlig anderes Emissions-, Reflektions- und Transmissionsverhalten als im sichtbaren Wellenlängenbereich. Es ist daher für viele Anwendungen des maschinellen Sehens von offensichtlichem Vorteil, neben bildgebenden Sensoren für den sichtbaren und nahen Infrarotbereich, das ist ein Wellenlängenbereich bis etwa 1,2 μm, detaillierter ein Wellenlängenbereich von ungefähr 0,4 μm bis 1,2 μm, im folgenden kurz Bildsensoren genannt, auch entsprechende Sensoren für den langwelligen Infrarotbereich, das ist ein Wellenlängenbereich bis etwa 14 μm, detaillierter ein Wellenlängenbereich von ungefähr 8 μm bis 12 μm, zu Prüf-, Mess- und Überwachungszwecken heranzuziehen.in the Infrared range, objects have a completely different emission, Reflection and transmission behavior as in the visible wavelength range. It is therefore useful for many machine vision applications obvious advantage, besides imaging sensors for the visible and near infrared range, that is a wavelength range to about 1.2 microns, in more detail a wavelength range from about 0.4 μm to 1.2 μm, hereinafter short called image sensors, also corresponding sensors for the long-wave infrared range, that is a wavelength range to about 14 microns, in more detail a wavelength range from about 8 μm to 12 μm, to test, Measuring and monitoring purposes to use.

Letztere Sensoren werden üblicherweise als Wärmebildsensoren bezeichnet, da mit ihnen vorwiegend die von einem Zielobjekt emittierte Wärmestrahlung gemessen wird. Die Bilder heißen entsprechend thermographische Bilder oder einfach Wärmebilder.Latter Sensors are usually called thermal image sensors denotes, as with them mainly emitted by a target object Heat radiation is measured. The pictures are called according to thermographic images or simply thermal images.

Eine der Schwächen von Wärmebildern liegt in der örtlichen Auflösung, das heißt, es ist schwierig, wichtige Details im Bild genau zu identifizieren und zu lokalisieren.A The weaknesses of thermal images lies in the local Resolution, that is, it is difficult, important Accurately identify and locate details in the image.

Diese Einschränkung ist bedingt durch mehrere Faktoren:

  • 1. Wärmebildsensoren haben, bedingt durch den Herstellprozess, bei weitem nicht die Anzahl von Pixel, die von Bildsensoren her bekannt sind. Der Stand der Technik im Jahre 2006 in diesem Punkt ist: 640×480 Pixel.
  • 2. Wärmebildsensoren sind extrem teuer. Daher besteht aus Kostengründen oft der Zwang, auf Varianten mit einer niedrigen Auflösung, zum Beispiel 160×120 Pixel, auszuweichen. Bei Technologien, die eine kostengünstige Herstellung versprechen, ist die bisher erreichte Auflösung noch geringer, nämlich maximal 32×32 Pixel.
  • 3. Zusätzlich zur Emission von Strahlung wird Wärmeenergie auch mittels Wärmeleitung abgegeben. Bedingt durch diesen Wärmeausgleich mit der Nachbarschaft werden Objekte im Wärmebild nur unscharf dargestellt.
  • 4. Die Wärmestrahlung realer Körper ist abhängig vom Emissionsgrad. Daher können im Wärmebild Artefakte entstehen, hervorgerufen durch unterschiedliche Arten von Oberflächen.
This limitation is due to several factors:
  • 1. Thermal image sensors, due to the manufacturing process, are nowhere near the number of pixels known from image sensors. The state of the art in 2006 at this point is 640 × 480 pixels.
  • 2. Thermal image sensors are extremely expensive. Therefore, for cost reasons, there is often a need to avoid variants with a low resolution, for example 160 × 120 pixels. In technologies that promise a cost-effective production, the previously achieved resolution is even lower, namely a maximum of 32 × 32 pixels.
  • 3. In addition to the emission of radiation, heat energy is also dissipated by heat conduction. Due to this heat balance with the neighborhood, objects in the thermal image are only displayed blurred.
  • 4. The heat radiation of real bodies depends on the emissivity. Therefore, artifacts caused by different types of surfaces can arise in the thermal image.

Wegen der aufgeführten Gründe wird heute die Auswertung von Wärmebildern mit Bildern von Bildsensoren, die im sichtbaren Bereich arbeiten, kombiniert. Die von im sichtbaren Bereich arbeitenden Bildsensoren stammenden Bilder, im folgenden kurz als Sichtbilder bezeichnet, bieten mehr Auflösung, Schärfe und Kontrast und lassen daher eine präzise Lage- und Größenbestimmung der im Wärmebild detektierten Objekte zu.Because of The reasons listed today will be the evaluation of thermal images with images of image sensors in the visible Working area, combined. The image sensors working in the visible range originating images, hereinafter referred to as visual images, offer more resolution, sharpness and contrast and therefore allow precise location and size determination to the objects detected in the thermal image.

Das Kombinieren von Wärmebild- und Sichtbildsensor wird beispielsweise im Dokument EP 0 973 137 A1 beschrieben, ohne dass dabei auf spezielle Methoden und Ausführungen eingegangen wird.The combining of thermal image and visual image sensor, for example, in the document EP 0 973 137 A1 described without going into special methods and designs.

Der Nutzen einer Kombination zwischen Wärme- und Sichtbild besteht konkret darin, eine Zuordnung zwischen den unterschiedlich dargestellten Bildobjekten herzustellen.Of the Benefit of a combination of heat and visual image Specifically, there is an association between the different produce picture objects.

Meistens ist dies für einen menschlichen Beobachter relativ einfach. Er vergleicht beide Bilder und trifft aufgrund seiner Kenntnis der gezeigten Szene entsprechende Zuordnungen.Mostly this is relatively easy for a human observer. He compares both pictures and, due to his knowledge of the shown scene corresponding assignments.

In diesem Fall macht es nichts aus, wenn Bildsensor und Wärmebildsensor räumlich verschiedene Positionen und unterschiedliche Blickrichtungen haben.In In this case, it does not matter if image sensor and thermal imaging sensor spatially different positions and different directions of view to have.

Soll dieser Vergleich jedoch automatisch geschehen, ist es notwendig, dass das Wärme- und das Sichtbild möglichst kongruent zueinander sind. Nur so können beide Bilder in einfacher Weise mittels lokaler Operatoren verknüpft werden. Ansonsten müssten diffizile Methoden zur modellbasierten Objekterkennung eingesetzt werden.Should however, this comparison happen automatically, it is necessary that the heat and the visual image are as congruent as possible to each other. Only then can both pictures be easier Be linked by means of local operators. Otherwise Difficult methods for model-based object recognition would have to be used become.

Es ist also notwendig, dass die zwei Bilder, die mit zwei nach unterschiedlichen Prinzipien arbeitenden bildgebenden Sensoren erzeugt werden, zur Deckung gebracht werden.It So it is necessary that the two pictures, with two after different Principles of working imaging sensors are generated Cover be brought.

Deckungsgleiche, zum Beispiel zweidimensionale, Bilder einer beliebigen räumlichen Anordnung können mit zwei unterschiedlichen Sensoren zum Beispiel dadurch erstellt werden, dass die Position und die Blickrichtung der Sensoren wenigstens in etwa übereinstimmen.Coincident, for example, two-dimensional, images of any spatial Arrangement can with two different sensors for Example can be created by the position and the viewing direction the sensors at least approximately agree.

Hierzu sind neben improvisierten Lösungen, bei denen nacheinander eine Wärmebildkamera und eine zweite, mit einem Bildsensor ausgestattete Kamera auf das identische Gesichtsfeld und die identische Perspektive ausgerichtet wird, aus Firmenveröffentlichungen Wärmebildkameras bekannt, die ein zusätzliches Sensormodul für den sichtbaren Bereich integriert haben.For this are next to improvised solutions, where successively a thermal imaging camera and a second, with an image sensor equipped camera on the identical field of view and identical Perspective, from company publications Thermal imaging cameras are known, which is an additional sensor module integrated for the visible area.

Als Beispiele für solche Firmenveröffentlichungen seien genannt:

  • 1. Fluke Switzerland GmbH: „Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur”, polyscope 18/06, S. 28–30 [1].
  • 2. Roger Schmidt of Fluke Thermography, „Benefits of IR/Visible Fusion”, 2007 [2].
  • 3. K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., ”Commercial fusion camera”, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 , ISBN 9780819462619 [3].
Examples of such company publications include:
  • 1. Fluke Switzerland GmbH: "New Thermography Technology: Maintaining Maintenance Problems Faster", polyscope 18/06, p. 28-30 [1].
  • Second Roger Schmidt of Fluke Thermography, "Benefits of IR / Visible Fusion", 2007 [2].
  • Third K. Johnson, T. McManus and R. Schmidt, Infrared Solutions, Inc., "Commercial Fusion Camera", Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 . ISBN 9780819462619 [3].

Da auch der Erfindungsgedanke von einer Einrichtung mit mindestens zwei gleichzeitig aktiven Sensoren ausgeht, werden nachfolgend die Zusammenhänge, bezogen auf die geometrische Optik, genauer erläutert:
Bilder entstehen durch eine perspektivische Projektion der Außenwelt auf die Bildebene, auch Zentralprojektion genannt. Da die Zentralprojektion keine affine Abbildung ist, ist es nicht möglich, durch irgendwelche linearen Operationen wie Strecken oder Verschieben beide Bilder zur Deckung zu bringen, wenn die sogenannten äußeren Kameraparameter beider Sensoren nicht übereinstimmen. Diese Parameter beschreiben die 3D-Lage (engl. Pose) eines Kamerakoordinatensystems relativ zu einem Weltkoordinatensystem. Als äußere Kameraparameter bezeichnet der Fachmann hierbei

  • a) die Position des optischen Zentrums (engl. Nodal Point) im Raum. Hier gibt es drei Freiheitsgrade;
  • b) die Richtung der optischen Achse, der Hoch- und der Querachse. Auch hier gibt es drei Freiheitsgrade;
Since the concept of the invention also starts from a device having at least two simultaneously active sensors, the relationships with respect to the geometrical optics are explained in more detail below:
Images are created by a perspective projection of the outside world on the image plane, also called central projection. Since the central projection is not an affine image, it is not possible to match both images by any linear operations such as stretching or shifting if the so-called external camera parameters of both sensors do not match. These parameters describe the 3D pose of a camera coordinate system relative to a world coordinate system. As external camera parameters, the expert calls this
  • a) the position of the optical center (English nodal point) in space. There are three degrees of freedom here;
  • b) the direction of the optical axis, the vertical axis and the transverse axis. Again, there are three degrees of freedom;

Die Gleichungen der perspektivischen Projektion lauten dabei:

Figure 00040001
The equations of the perspective projection are:
Figure 00040001

Der Index IR gibt an, dass der Wärmebildsensor gemeint ist. f steht für die Brennweite, hier für den Wärmebildsensor.Of the Index IR indicates that the thermal image sensor is meant. f stands for the focal length, here for the thermal image sensor.

Die 1 verdeutlicht diese optischen Verhältnisse. Es ist dort ein Kameramodell gezeigt, das die Zentralprojektion veranschaulicht.The 1 clarifies these optical conditions. There is shown a camera model that illustrates the central projection.

Analog zu entsprechenden Lehrbüchern, beispielsweise Hanspeter A. Mallot, „Sehen und die Verarbeitung visueller Information, Eine Einführung”, Vieweg Verlagsgesellschaft, 2. Auflage, Januar 2000 , ISBN 3-528-15659-7, S. 32–34 , ist der Wärmebildsensor in der 1 für eine Vereinfachung der Sachlage als Lochkameramodell ausgeführt.Analogous to corresponding textbooks, for example Hanspeter A. Mallot, "Seeing and Processing Visual Information, An Introduction," Vieweg Publishing Company, 2nd Edition, January 2000 . ISBN 3-528-15659-7, p. 32-34 , is the thermal image sensor in the 1 for a simplification of the situation as Lochkameramodell executed.

Wie die 1 zeigt, trifft die optische Achse, die durch das optische Zentrum N → geht, die Bildebene im Abstand fIR und zwar im Bildhauptpunkt H. Dabei fällt das orthogonale Sensorkoordinatensystem des Wärmebildsensors mit dem Ursprung in N →, zur Vereinfachung der Sachlage, mit dem Weltkoordinatensystem zusammen, in dem der Punkt P → angegeben ist. Der Punkt P → hat somit in beiden Koordinatensystemen dieselben Koordinaten (x, y, z)T. Er wird auf den Bildpunkt P →IR in der Bildebene des Wärmebildsensors abgebildet.As the 1 shows, the optical axis, which passes through the optical center N →, the image plane at a distance f IR , namely in the image main H. Here falls the orthogonal sensor coordinate system of the thermal image sensor with the origin in N →, to simplify the situation, with the world coordinate system together, in which the point P → is specified. The point P → thus has the same coordinates (x, y, z) T in both coordinate systems. He is on the picture point P → IR imaged in the image plane of the thermal image sensor.

Würde der Punkt P → in einem anderen Sensorkoordinatensystem beobachtet, verschöbe sich dessen Bildpunkt, und zwar in Bezug auf P →IR perspektivisch verzerrt.If the point P → was observed in another sensor coordinate system, its pixel would be displaced, with respect to P → IR distorted in perspective.

Wäre zum Beispiel ein Bildsensor, nachfolgend gekennzeichnet durch den Index VIS, in einer Entfernung a in x-Richtung verschoben angebracht, würde sich zwar für die y-Komponenten nur eine Skalierung im Verhältnis der Brennweiten ergeben (Gleichung 2b), die x-Komponente dagegen würde abhängig von der Entfernung z des Punktes P → transformiert werden (Gleichung 2a).If, for example, an image sensor, indicated below by the index VIS, was displaced at a distance a in the x direction, only a scaling in the ratio of the focal lengths would result for the y components (equation 2b), whereas the x component would would depend on the Ent distance z of the point P → be transformed (equation 2a).

Figure 00060001
Figure 00060001

Weitere Transformationen, wie zum Beispiel eine Verschiebung in z-Richtung oder Drehungen, werden hier nicht betrachtet, weil sie beim Anmeldungsgegenstand nicht notwendigerweise vorkommen.Further Transformations, such as a shift in the z direction or twists, are not considered here because they are in the subject of the application not necessarily occur.

Das Erzeugen deckungsgleicher Bilder besteht also darin, für alle Punkte P →IR im Wärmebild die dort gemessene Bestrahlungsstärke EIR mit der im gemäß den Gleichungen 2a, b berechneten Punkt P →VIS gemessenen Beleuchtungsstärke EVIS zu einem zweidimensionalen Pixel zusammenzufassen.Creating congruent images is thus, for all points P → IR in the thermal image, the irradiance E IR measured there with the point calculated in accordance with Equations 2a, b P → VIS measured illuminance E VIS to a two-dimensional pixel summarize.

Als Visualisierungshilfe kann das Ergebnis dieser Operation so gesehen werden, dass in einem HSI-Farbraum die Helligkeit durch den Wert EVIS und der Farbton durch den Wert EIR bestimmt wird, und dass die Farbsättigung für das Mischungsverhältnis der beiden Werte steht. Diese Pixel-Repräsentation dient aber, wie schon gesagt, nur der Veranschaulichung. Für eine maschinelle Bildauswertung ist sie nicht geeignet.As a visualization aid, the result of this operation can be seen that in an HSI color space, the brightness is determined by the value E VIS and the color tone by the value E IR , and that the color saturation stands for the mixing ratio of the two values. However, this pixel representation is, as already said, only illustrative. For a machine image analysis, it is not suitable.

Der additive Term in der Gleichung 2a ist in der Stereometrie als Disparität bezeichnet.Of the additive term in equation 2a is in the stereometry as disparity designated.

Werden in die Gleichungen 2a, b das durch den Aufbau des Bildsensors gegebene Pixelrastermaß dVIS und entsprechend für den Wärmebildsensor der Pixelabstand dIR eingeführt, ergeben sich mit

Figure 00060002
Figure 00070001
die Gleichungen 3a, b mit den dimensionslosen Pixelkoordinaten XVIS, YVIS, XIR, YIR und den auf die jeweiligen Pixelrastermaße normierten Brennweiten FVIS und FIR:
Figure 00070002
oder aufgelöst nach XIR, YIR:
Figure 00070003
If the pixel pitch d VIS given by the structure of the image sensor is introduced into the equations 2 a, b and the pixel spacing d IR is correspondingly introduced for the thermal image sensor, this results in
Figure 00060002
Figure 00070001
Equations 3a, b with the dimensionless pixel coordinates X VIS, Y VIS, IR X, IR Y and normalized to the respective pixel pitches focal lengths F F VIS and IR:
Figure 00070002
or resolved to X IR , Y IR :
Figure 00070003

Die einzelnen Pixelkoordinatenkomponenten XVIS, YVIS, XIR, YIR sind ganzzahlige Variablen. Ihr Wertebereich richtet sich nach der Pixelanzahl. Hat der Bildsensor zum Beispiel die Größe 640×480 Pixel, was der sogenannten VGA-Auflösung entspricht, dann gibt es 640×480 Pixel PVIS(XVIS, YVIS) mit {XVIS| – 320, ..., 319} und {YVIS| – 240, ..., 239].The individual pixel coordinate components X VIS , Y VIS , X IR , Y IR are integer variables. Their value range depends on the number of pixels. For example, if the image sensor has the size 640 × 480 pixels, which corresponds to the so-called VGA resolution, then there are 640 × 480 pixels P VIS (X VIS , Y VIS ) with {X VIS | - 320, ..., 319} and {Y VIS | - 240, ..., 239].

Aus den Transformationsgleichungen 3a und 4a lassen sich als Sonderfälle zwei einfache Szenarien für kongruente Bilder ableiten, die aber jeweils für sich ein spezielles Problem mit sich bringen.Out The transformation equations 3a and 4a can be considered as special cases derive two simple scenarios for congruent images, but each a special problem with itself bring.

1. Sonderfall:1st special case:

Die Objekte befinden sich praktisch in einer unendlichen Entfernung.The Objects are practically at an infinite distance.

Beispiele:Examples:

Thermographiebilder von entfernten Objekten wie zum Beispiel Gebäuden, Silos oder Tanks.thermographic images from distant objects such as buildings, silos or tanks.

In diesem Fall geht die Disparität gegen Null und die Gleichungen 3a, 4a sind, wie vorher schon die Gleichungen 3b, 4b, nur eine Skalierung der beiden Koordinatensysteme.In In this case, the disparity goes to zero and the equations 3a, 4a are, just like the equations 3b, 4b, only one scaling the two coordinate systems.

Dieser Sonderfall tritt ein, wenn die Pixelauflösung nicht mehr ausreicht, die Disparität zu messen. Es wird dafür üblicherweise der halbe Pixeldurchmesser als Grenze angesetzt. Die Auflösungsgrenze wird bestimmt von dem Sensor, der die kleinere normierte Brennweite hat, also wegen der eingangs bereits aufgeführten Gründe in der Regel der Wärmebildsensor.This Special case occurs when the pixel resolution is no longer is sufficient to measure the disparity. It usually gets that half the pixel diameter as a limit. The resolution limit is determined by the sensor that has the smaller normalized focal length has, so because of the reasons already mentioned above usually the thermal image sensor.

Anders wäre es, wenn dieser eine extrem lange Brennweite hätte. Bei ziviler Nutzung kommt dies jedoch in der Praxis nicht vor.Different It would be if this had an extremely long focal length. In civilian use, however, this does not occur in practice.

Aus der Gleichung 4a ergibt sich damit: z ≥ 2·a·FIR. (Gl. 5) From equation 4a this yields: z ≥ 2 · a · F IR , (Equation 5)

Es ist für den Fachmann klar, dass eine absichtliche Herbeiführung dieses Sonderfalls, also die Reduzierung von z, durch Verringerung von FIR aus Praxisgründen nicht herbeigeführt wird, weil sich dadurch die Auflösung allgemein verschlechtert.It is clear to the skilled person that an intentional bringing about this particular case, that the reduction of such ∞, by reducing F IR from practical reasons, it is not brought about, as this resolution generally deteriorated.

2. Sonderfall:2nd special case:

Alle interessierenden Objekte sind in der Natur sehr flach und befinden sich in einer einzigen Ebene z = z0, „frontoparallele Ebene” genannt.All objects of interest are very flat in nature and are in a single plane called z = z 0 , called "frontoparallel plane".

Beispiele:Examples:

Messung der Wärmeverteilung auf einer bestückten Leiterplatte; Überwachung von Vorgängen am Boden durch einen an der Decke befestigten Präsenzsensor.Measurement the heat distribution on a populated printed circuit board; monitoring of operations on the ground by a ceiling-mounted Presence sensor.

Hierbei wird aus der Zentralprojektion eine Parallelprojektion. Es muss „nur noch” z0 bestimmt und in Gleichung 3a oder 4a eingesetzt werden.Here, the central projection becomes a parallel projection. It must be determined "only" z 0 and used in Equation 3a or 4a.

Eine Möglichkeit zur Bestimmung von z0 bietet das Abbesche Projektionsgesetz, das heißt, die so genannte und in der Fachwelt als solche bekannte Linsengleichung, aufgelöst nach der Gegenstandsweite z0.One possibility for the determination of z 0 is provided by the Abbe projection law, that is, the so-called lens equation known as such in the art, resolved according to the object distance z 0 .

Figure 00090001
Figure 00090001

In der Gleichung 6 ist b0 die am Objektiv einzustellende Bildweite, wenn auf ein Objekt in der Entfernung z0 scharfgestellt wird. Die Messung des Drehwinkels des Scharfstellrings reicht also aus, um aus b0 auf die Entfernung z0 zu schließen.In Equation 6, b 0 is the image width to be set on the lens when focusing on an object at the distance z 0 . The measurement of the angle of rotation of the focus ring is thus sufficient to conclude from b 0 to the distance z 0 .

Wie bereits in Kreisen von Hobbyfotografen bekannt ist, werden weit entfernte Objekte unabhängig von ihrem Abstand scharf abgebildet. Das heißt im Umkehrschluss, dass sich die Bestimmung von z0 mit Hilfe von b0 außerhalb des Nahbereichs nicht anwenden lässt. Die Grenze des Nahbereichs liegt bei der Hälfte der sogenannten hyperfokalen Entfernung zh. Siehe hierzu: Oliver Jennrich, „Ein Blick auf die Schärfentiefe”, Version 0.2, 22. November 1999 .As is already known in circles of amateur photographers, distant objects are sharply imaged regardless of their distance. Conversely, this means that the determination of z 0 can not be applied with the help of b 0 outside of the near range. The border of the near zone lies at half of the so-called hyperfocal distance z h . See also: Oliver Jennrich, "A View of the Depth of Field", Version 0.2, 22nd November 1999 ,

Figure 00090002
Figure 00090002

In dieser Gleichung ist KIR die Blendenzahl und

Figure 00100001
der Blendendurchmesser des Infrarotobjektivs.In this equation, K IR is the f-number and
Figure 00100001
the aperture diameter of the infrared lens.

Die Disparität an der Grenze des Nahbereichs ergibt sich daraus durch Einsetzen in die Gleichung 4a:

Figure 00100002
Werden die Gleichungen 5 und 7 zusammengefasst, ist zu erkennen, dass der Bereich DIR·FIR < z < 2·a·FIR nicht durch die in [3] angegebene Lösung abgedeckt ist. Die Disparität fällt vielmehr abstandsabhängig von dem Wert
Figure 00100003
gemäß der Gleichung 8 nach Null ab.The disparity at the boundary of the short range results from this by inserting into equation 4a:
Figure 00100002
If the equations 5 and 7 are summarized, it can be seen that the range D IR · F IR <z <2 · a · F IR not covered by the solution given in [3]. The disparity falls rather distance dependent on the value
Figure 00100003
according to the equation 8 to zero.

Aufgabe der vorliegenden Erfindung ist, ausgehend von einer Bilderfassungseinheit der eingangs genannten Art, diese in der Weise technisch zu verbessern, dass nicht nur die Transformationen gemäß den Gleichungen 3a, b oder 4a, b maschinell möglich ist, sondern weiter auch maschinell eine anwendungsspezifische Bildauswertung bezüglich von mit der Bilderfassungseinheit erhaltener Bilder.task The present invention is based on an image acquisition unit of the type mentioned at the outset to technically improve them in such a way that that not only the transformations according to the Equations 3a, b or 4a, b is mechanically possible, but furthermore also machine-specific an application-specific image analysis with respect to that obtained with the image capture unit Images.

Diese Aufgabe wird erfindungsgemäß gelöst durch eine Bilderfassungseinheit, die die Merkmale im kennzeichnenden Teil des Anspruchs 1 aufweist.These The object is achieved by an image acquisition unit, which features in the characterizing Part of claim 1.

Die erfindungsgemäße Bilderfassungseinheit deckt den eingangs beschriebenen Sonderfall 2 ab, ist also geeignet für frontoparallel angeordnete Objekte.The Image capture unit according to the invention covers the at the outset described special case 2, so it is suitable for Frontoparallel arranged objects.

Die Anordnung weist zur Messung des Abstands z0 koplanar zum Wärmebildsensor und zum Bildsensor einen Abstandssensor auf.The arrangement has a distance sensor coplanar with the thermal image sensor and the image sensor for measuring the distance z 0 .

Eine Signalverarbeitungseinheit, die vorzugsweise zusammen mit dem Bild- bzw. Wärmebildsensor und deren Ansteuerelektronik auf einer oder mehreren elektronischen Baugruppen angebracht ist, rechnet gemäß den Gleichungen 3a, b oder 4a, b alle eigenen Pixelkoordinaten in die des jeweiligen anderen Sensors um und bestimmt den zugehörigen Intensitätswert. Dieser wird mit dem eigenen Intensitätswert zu einem Pixelpaar zusammengefasst.A signal processing unit, which is preferably mounted together with the image or thermal imaging sensor and its control electronics on one or more electronic components, converts according to the equations 3a, b or 4a, b all their own pixel coordinates in the respective other sensor and determines the associated intensity value. This becomes a Pi with its own intensity value xelpaar summarized.

Je nach Wahl von Gleichungen 3a, b oder 4a, b ergeben sich gemäß des in der Problembeschreibung als Stand der Technik vorausgesetzten Größenunterschied zwischen Wärmebildsensor und Bildsensor (FVIS > FIR) zwei unterschiedliche Ergebnisse:

  • a) Wird gemäß den Gleichungen 4a, b vom Sichtbild ausgegangen, bleibt dessen Auflösung bei der Bildung der Pixelpaare erhalten. Es wird einfach vielen benachbarten Pixeln eine gemeinsame thermische Bestrahlungsstärke zugewiesen. Dies ist sinnvoll, wenn sich die nachfolgende anwendungsspezifische Auswertung vor allem auf Details im sichtbaren Licht stützt, beispielsweise beim Lokalisieren von schlechten Kontaktstellen.
  • b) Wird gemäß den Gleichungen 3a, b vom Wärmebild ausgegangen, reduziert sich die Anzahl der Pixel auf die des Wärmebildsensors. Dies ist beispielsweise dann sinnvoll, wenn es sich bei der nachfolgenden anwendungsspezifischen Auswertung um eine einfache Präsenzkontrolle handelt.
Depending on the choice of equations 3a, b or 4a, b, two different results result according to the size difference between the thermal image sensor and the image sensor (F VIS > F IR ) assumed in the problem description as state of the art:
  • a) If, according to the equations 4a, b, the visual image is assumed, its resolution in the formation of the pixel pairs remains. Simply assign a common thermal irradiance to many neighboring pixels. This is useful if the subsequent application-specific evaluation relies primarily on details in the visible light, for example, when locating poor contact points.
  • b) If the thermal image is used according to equations 3a, b, the number of pixels is reduced to that of the thermal image sensor. This is useful, for example, if the subsequent application-specific evaluation is a simple presence check.

Mit der Wahl der Transformationsgleichung kann somit die Bildauflösung und damit der Rechenaufwand für eine nachgeschaltete anwendungsspezifische Bildverarbeitungseinheit bestimmt werden.With the choice of the transformation equation can thus the image resolution and thus the computational effort for a downstream application-specific Image processing unit to be determined.

Die erfindungsgemäße Bilderfassungseinheit weist folgende Vorteile auf:

  • a) Im Gegensatz zum Stand den Technik gemäß der Firmenveröffentlichungen [1, 2, 3] gibt es keinen systematischen Restfehler (vgl. Gleichung 8).
  • b) Es ist eine Unterscheidung zwischen reflektierter Strahlung und Eigenstrahlung eines Objekts möglich, wenn eine Korrespondenzbildung zumindest für einige Punkte zwischen Wärmebild und Sichtbild möglich ist. Beispielsweise lässt sich durch Auffinden einer gemeinsamen Kante und dann durch Einsetzen in die Gleichungen 3a, b oder 4a, b feststellen, ob der vom Abstandssensor gefundene Wert z0 „richtig” ist.
The image capture unit according to the invention has the following advantages:
  • a) In contrast to the state of the art according to the company publications [1, 2, 3], there is no systematic residual error (see equation 8).
  • b) A distinction between reflected radiation and own radiation of an object is possible if a correspondence formation is possible, at least for some points between the thermal image and the visual image. For example, can be achieved by finding a common edge and then by substituting into equations 3a, b and 4a, b to determine whether the value found by the distance sensor z is 0 "correctly".

Wenn das nicht der Fall ist, handelt es sich um Strahlung, die von einem Körper außerhalb der durch z0 gegebenen Ebene stammt.If this is not the case, it is radiation originating from a body outside the plane given by z 0 .

Insgesamt können mit Hilfe der erfindungsgemäßen Bilderfassungseinheit nicht nur die Transformationen gemäß den Gleichungen 3a, b oder 4a, b maschinell durchgeführt werden, sondern kann auch maschinell eine anwendungsspezifische Bildauswertung bezüglich von mit der Bilderfassungseinheit erhaltenen Bilden erfolgen.All in all can with the help of the invention Image acquisition unit not only the transformations according to the Equations 3a, b or 4a, b are performed by machine, but can also machine an application-specific image analysis with respect to the image acquisition unit Forming done.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von Unteransprüchen.advantageous Embodiments of the invention are the subject of dependent claims.

Danach ist die Signalverarbeitungseinheit entweder ein digitaler Signalprozessor oder vorzugsweise ein mit den Transformationsgleichungen programmierter Logikbaustein (FPGA), die platzsparend, schnell rechnend und kostengünstig sind.After that the signal processing unit is either a digital signal processor or preferably one programmed with the transformation equations Logic module (FPGA), which saves space, calculates quickly and cost-effectively are.

Der Abstandssensor kann zum Beispiel ein Ultraschallentfernungssensor oder ein auf der sogenannten Photomischdetektor-Technik (PMD-Technik) beruhender optischer Abstandssensor sein, der ohne weiteres zur Verfügung steht. Es können aber auch optische Abstandssensoren entsprechender anderer Techniken verwendet sein.Of the Distance sensor may, for example, an ultrasonic distance sensor or one on the so-called Photomischdetektor technique (PMD technique) be based optical distance sensor, the readily to Available. But it can also optical Distance sensors according to other techniques used.

Ein PMD-Sensor beispielsweise ist ein optischer Sensor, dessen Funktionsprinzip auf dem Lichtlaufzeitverfahren beruht.One PMD sensor, for example, is an optical sensor whose principle of operation based on the light transit time method.

Die Abmessungen der Bilder können gleich oder unterschiedlich sein.The Dimensions of the pictures may be the same or different be.

Das oben angesprochene Pixelpaar wird einer anwendungsspezifischen weiteren Bildverarbeitungseinheit zugeführt werden, die in den Figuren aber nicht näher dargestellt ist. Diese Bildverarbeitungseinheit kann anhand der ihr mit den entsprechenden Pixelpaaren bekannten Bilder, nämlich das des Sichtbildes und das des Wärmebildes, maschinell eine anwenderspezifische Auswertung der Objekte in den Bildern vornehmen. Dies ist möglich, weil eine klare Zuordnung von Stellen des einen Bildes zu entsprechend zugehörigen Stellen des anderen Bildes möglich ist, so dass die bezüglich betreffender Stellen aus den jeweiligen Bildern hervorgehenden spezifischen Informationen miteinander verknüpft und bewertet werden können.The The above-mentioned pixel pair becomes an application-specific one Image processing unit are supplied, which in the figures but not shown in detail. This image processing unit can on the basis of the pictures known to her with the corresponding pixel pairs, namely that of the visual image and that of the thermal image, a user-specific evaluation of the objects in the machine Take pictures. This is possible because of a clear assignment from locations of one image to corresponding locations the other picture is possible, so the respect specific points arising from the respective pictures Information is linked and evaluated can.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:following an embodiment of the invention with reference to a Drawing explained in more detail. Show:

1 eine schematische Darstellung eines Kameramodells zur Veranschaulichung der Zentralprojektion gemäß dem Stand der Technik, und 1 a schematic representation of a camera model for illustrating the central projection according to the prior art, and

2 eine schematische Darstellung einer Bilderfassungseinheit gemäß der Erfindung. 2 a schematic representation of an image capture unit according to the invention.

Die 1 ist weiter oben bereits besprochen worden. Sie wird daher an dieser Stelle nicht nochmals besprochen. Vielmehr wird an dieser Stelle auf die frühere Beschreibung verwiesen.The 1 has already been discussed above. It will therefore not be discussed again at this point. Rather, reference is made to the earlier description at this point.

Die 2 zeigt schematisch die erfindungsgemäße Bilderfassungseinheit 1 zur Fusion von mit einer ersten optischen Einheit 2 für Sichtbilder und einer zweiten optischen Einheit 3 für Wärmebilder erzeugte Bilder.The 2 schematically shows the image capture unit according to the invention 1 for fusion with a first optical unit 2 for visual images and a second optical unit 3 images generated for thermal images.

Die erste optische Einheit 2 weist eine erste Fokuseinrichtung 4 und einen Bildsensor 5 für Sichtbilder auf. Der Bildsensor 5 wiederum weist eine erste optische Achse 6 auf.The first optical unit 2 has a first focus device 4 and an image sensor 5 for visual images. The image sensor 5 again has a first optical axis 6 on.

Die zweite optische Einheit 3 weist eine zweite Fokuseinrichtung 7 und einen Wärmebildsensor 8 für Wärmebilder auf. Der Wärmebildsensor 8 wiederum weist eine zweite optische Achse 9 auf.The second optical unit 3 has a second focus device 7 and a thermal image sensor 8th for thermal images. The thermal image sensor 8th in turn has a second optical axis 9 on.

Die Wellenlängenempfindlichkeit des Bildsensors 5 liegt in einem ersten Wellenlängenbereich von ungefähr 0,4 μm bis 1,2 μm und damit eben im sichtbaren Wellenlängenbereich.The wavelength sensitivity of the image sensor 5 is in a first wavelength range of about 0.4 microns to 1.2 microns and thus just in the visible wavelength range.

Die Wellenlängenempfindlichkeit des Wärmebildsensors 8 liegt in einem zweiten Wellenlängenbereich von ungefähr 8 μm bis 12 μm und damit eben im nicht sichtbaren Infrarotbereich.The wavelength sensitivity of the thermal image sensor 8th lies in a second wavelength range of about 8 microns to 12 microns and thus just in the non-visible infrared range.

Mit dem Bildsensor 5 wird ein erstes Bild mit ersten Strahlen 10 im Bereich der ersten Wellenlängenempfindlichkeit und damit mit einer ersten Wellenlänge erfasst.With the image sensor 5 becomes a first picture with first rays 10 in the range of the first wavelength sensitivity and thus detected at a first wavelength.

Mit dem Wärmebildsensor 8 wird ein zweites Bild mit zweiten Strahlen 11 im Bereich der zweiten Wellenlängenempfindlichkeit und damit mit einer zweiten Wellenlänge erfasst.With the thermal image sensor 8th becomes a second image with second rays 11 in the range of the second wavelength sensitivity and thus detected at a second wavelength.

Mit der ersten Fokuseinrichtung 4 werden die ersten Strahlen 10 eines Bildes auf dem ersten Bildsensor 5 der ersten optischen Einheit 2 mit einer ersten optischen Auflösung abgebildet.With the first focus device 4 become the first rays 10 an image on the first image sensor 5 the first optical unit 2 mapped with a first optical resolution.

Mit der zweiten Fokuseinrichtung 7 werden die zweiten Strahlen 11 eines Bildes auf den zweiten Bildsensor 8 der zweiten optischen Einheit 3 mit einer zweiten optischen Auflösung abgebildet.With the second focus device 7 become the second rays 11 an image on the second image sensor 8th the second optical unit 3 mapped with a second optical resolution.

Vom Grundsatz her können die erste und die zweite optische Auflösung gleich groß sein, es kann aber auch die erste oder die zweite optische Auflösung gegenüber der jeweils anderen optischen Auflösung kleiner sein.from Principle can be the first and the second optical Resolution can be the same, but it can be the same the first or the second optical resolution opposite be smaller in each case the other optical resolution.

In der Regel ist aber die Auflösung des Wärmebildes kleiner als die Auflösung des Sichtbildes.In the rule, however, is the resolution of the thermal image smaller than the resolution of the visual image.

Die Bilderfassungseinheit 1 weist weiter einen Abstandssensor 12 zur Messung des Abstands z0 (siehe oben). Der Abstandssensor 12 hat eine Messachse 13, die koplanar zur ersten optischen Achse 6 des ersten Bildsensors 5 und koplanar zur zweiten optischen Achse 9 des zweiten Bildsensors 8 ausgerichtet ist.The image capture unit 1 further includes a distance sensor 12 for measuring the distance z 0 (see above). The distance sensor 12 has a measuring axis 13 , coplanar with the first optical axis 6 of the first image sensor 5 and coplanar with the second optical axis 9 of the second image sensor 8th is aligned.

Der Abstandssensor 12 kann nach unterschiedlichen Messtechniken seine Entfernungsmessung durchführen. Dabei misst er die Entfernung z0, die weiter oben näher beschrieben ist.The distance sensor 12 can perform its distance measurement according to different measurement techniques. He measures the distance z 0 , which is described in more detail above.

Außerdem weist die Bilderfassungseinheit 1 eine Signalverarbeitungseinheit 14 auf.In addition, the image capture unit points 1 a signal processing unit 14 on.

Die Signalverarbeitungseinheit 14 ist in eine erste Signalverarbeitungseinheit 15 für die erste optische Einheit 2 und in eine zweite Signalverarbeitungseinheit 16 für die zweite optische Einheit 3 aufgeteilt.The signal processing unit 14 is in a first signal processing unit 15 for the first optical unit 2 and a second signal processing unit 16 for the second optical unit 3 divided up.

Die erste Signalverarbeitungseinheit 15 ist auf einer ersten Leiterplatte 17 und die zweite Signalverarbeitungseinheit 16 ist auf einer zweiten Leiterplatte 18 platziert.The first signal processing unit 15 is on a first circuit board 17 and the second signal processing unit 16 is on a second circuit board 18 placed.

Die Signalverarbeitungseinheit 14 ist mit der ersten und der zweiten optischen Einheit 2, 3 in der Weise verbunden, dass die Signalverarbeitungseinheit 14 von der ersten und der zweiten optischen Einheit 2, 3 pro einem jeweiligen Bildpunkt (x, y) des Bildes datentechnisch verarbeitbare Signale (XIR, YIR; XVIS, YVIS) erhält und diese ausgehend von einer der beiden optischen Einheiten 2; 3 jeweils in entsprechende Signale (XVIS, YVIS; XIR, YIR) der jeweils anderen optischen Einheit 3; 2 gemäß der jeweils betreffenden Beziehungen nach den Gleichungen 3a, b beziehungsweise 4a, b unter Festsetzung von z = z0 wie vom Abstandssensor 12 gemessen umrechnet.The signal processing unit 14 is with the first and the second optical unit 2 . 3 connected in such a way that the signal processing unit 14 from the first and second optical units 2 . 3 receives data processes which can be processed by data technology (X IR , Y IR , X VIS , Y VIS ) for each pixel (x, y) of the image, and this starting from one of the two optical units 2 ; 3 each in corresponding signals (X VIS , Y VIS , X IR , Y IR ) of the other optical unit 3 ; 2 according to the relevant relations according to the equations 3a, b and 4a, b, respectively, by setting z = z 0 as from the distance sensor 12 measured converted.

Gemäß dem vorliegenden Ausführungsbeispiel ist die Signalverarbeitungseinheit 14 durch einen digitalen Signalprozessor realisiert. Sie kann aber auch durch einen mit den Transformationsgleichungen programmierten Logikbaustein realisiert sein.According to the present embodiment, the signal processing unit 14 realized by a digital signal processor. But it can also be realized by a programmed with the transformation equations logic block.

Der Signalverarbeitungseinheit 14 der Bilderfassungseinheit 1 ist eine anwendungsspezifische Bildverarbeitungseinheit nachgeschaltet, die die von der Signalverarbeitungseinheit 14 errechneten datentechnisch verarbeitbaren Signale (XIR, YIR; XVIS, YVIS) pro jeweiligem Bildpunkt eines betreffenden Bildes übernimmt und anwendungsspezifisch weiter verarbeitet.The signal processing unit 14 the image capture unit 1 an application-specific image processing unit is connected downstream of that of the signal processing unit 14 calculated data-technically processable signals (X IR , Y IR , X VIS , Y VIS ) per respective pixel of a respective image takes over and further processed application-specific.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 0973137 A1 [0007] EP 0973137 A1 [0007]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • - Fluke Switzerland GmbH: „Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur”, polyscope 18/06, S. 28–30 [0015] - Fluke Switzerland GmbH: "New Thermography Technology: Maintenance Problems Faster On Track", polyscope 18/06, p. 28-30 [0015]
  • - Roger Schmidt of Fluke Thermography, „Benefits of IR/Visible Fusion”, 2007 [0015] - Roger Schmidt of Fluke Thermography, "Benefits of IR / Visible Fusion", 2007 [0015]
  • - K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., ”Commercial fusion camera”, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 [0015] K. Johnson, T. McManus and R. Schmidt, Infrared Solutions, Inc., Commercial Fusion Camera, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, April 17, 2006 [0015]
  • - ISBN 9780819462619 [0015] - ISBN 9780819462619 [0015]
  • - A. Mallot, „Sehen und die Verarbeitung visueller Information, Eine Einführung”, Vieweg Verlagsgesellschaft, 2. Auflage, Januar 2000 [0020] - A. Mallot, "Seeing and Processing Visual Information, An Introduction", Vieweg Publishing Company, 2nd Edition, January 2000 [0020]
  • - ISBN 3-528-15659-7, S. 32–34 [0020] - ISBN 3-528-15659-7, p. 32-34 [0020]
  • - Oliver Jennrich, „Ein Blick auf die Schärfentiefe”, Version 0.2, 22. November 1999 [0043] - Oliver Jennrich, "A View of the Depth of Field ", Version 0.2, November 22, 1999 [0043]

Claims (8)

Bilderfassungseinheit (1) zur Fusion von mit Sensoren (5; 8) unterschiedlicher Wellenlängenempfindlichkeit erzeugten Bildern, aufweisend – eine erste optische Einheit (2) mit einer im Bereich von etwa 0,4 μm bis 1,2 μm liegenden ersten Wellenlängenempfindlichkeit zur Erfassung eines ersten Bildes mit ersten Strahlen (10) im Bereich der ersten Wellenlängenempfindlichkeit und damit mit einer ersten Wellenlänge, und – eine zweite optische Einheit (3) mit einer im Bereich von etwa 8 μm bis 12 μm liegenden zweiten Wellenlängenempfindlichkeit zur Erfassung eines zweiten Bildes mit zweiten Strahlen (11) im Bereich der zweiten Wellenlängenempfindlichkeit und damit mit einer zweiten Wellenlänge, – wobei die erste optische Einheit (2) mit einer ersten optischen Achse (6) eine erste Fokuseinrichtung (4) zum Abbilden der ersten Strahlen (10) auf einem ersten Bildsensor (5) der ersten optischen Einheit (2) mit einer ersten optischen Auflösung (x1, y1) und die die zweite optische Einheit (3) mit einer zweiten optischen Achse (9) eine zweite Fokuseinrichtung (7) zum Abbilden der zweiten Strahlen (11) auf einem zweiten Bildsensor (8) der zweiten optischen Einheit (3) mit einer zweiten optischen Auflösung (x2, y2) hat, dadurch gekennzeichnet, dass koplanar zum ersten Bildsensor (5) und zum zweiten Bildsensor (8) zur Messung der Entfernung z0 ein Abstandssensor (12) angeordnet ist, und dass eine Signalverarbeitungseinheit (14) vorgesehen ist mit der die erste und die zweite optische Einheit (2; 3) in der Weise verbunden sind, dass die Signalverarbeitungseinheit (14) von der ersten und der zweiten optischen Einheit (2; 3) pro einem jeweiligen Bildpunkt (x, y) des Bildes datentechnisch verarbeitbare Signale (XIR, YIR; XVIS, YVIS) erhält und diese ausgehend von einer der beiden optischen Einheiten (2; 3) jeweils in entsprechende Signale (XVIS, YVIS; XIR, YIR) der jeweils anderen optischen Einheit (3; 2) gemäß der jeweils betreffenden Beziehungen:
Figure 00180001
unter Festsetzung von z = z0 umrechnet.
Image capture unit ( 1 ) for fusion with sensors ( 5 ; 8th ) images of different wavelength sensitivity, comprising - a first optical unit ( 2 ) having a first wavelength sensitivity in the range from about 0.4 μm to 1.2 μm for acquiring a first image with first beams ( 10 ) in the range of the first wavelength sensitivity and thus with a first wavelength, and - a second optical unit ( 3 ) having a second wavelength sensitivity in the range of about 8 μm to 12 μm for acquiring a second image with second beams ( 11 ) in the range of the second wavelength sensitivity and thus with a second wavelength, - wherein the first optical unit ( 2 ) with a first optical axis ( 6 ) a first focus device ( 4 ) for imaging the first rays ( 10 ) on a first image sensor ( 5 ) of the first optical unit ( 2 ) with a first optical resolution (x1, y1) and the second optical unit ( 3 ) with a second optical axis ( 9 ) a second focus device ( 7 ) for imaging the second beams ( 11 ) on a second image sensor ( 8th ) of the second optical unit ( 3 ) with a second optical resolution (x2, y2), characterized in that coplanar with the first image sensor ( 5 ) and to the second image sensor ( 8th ) for measuring the distance z 0 a distance sensor ( 12 ), and that a signal processing unit ( 14 ) is provided with the first and the second optical unit ( 2 ; 3 ) are connected in such a way that the signal processing unit ( 14 ) of the first and second optical units ( 2 ; 3 ) receives data processing-capable signals (X IR , Y IR , X VIS , Y VIS ) for each respective pixel (x, y) of the image and obtains them from one of the two optical units ( 2 ; 3 ) in each case in corresponding signals (X VIS , Y VIS , X IR , Y IR ) of the other optical unit ( 3 ; 2 ) according to the respective relations:
Figure 00180001
converted by setting z = z 0 .
Bilderfassungseinheit nach Anspruch 1, dadurch gekennzeichnet, dass die Signalverarbeitungseinheit (14) ein digitaler Signalprozessor oder ein mit den Transformationsgleichungen programmierter Logikbaustein ist.Image acquisition unit according to claim 1, characterized in that the signal processing unit ( 14 ) is a digital signal processor or a logic device programmed with the transformation equations. Bilderfassungseinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Abstandssensor (12) ein Ultraschallentfernungssensor oder ein optischer Abstandssensor ist.Image acquisition unit according to claim 1 or 2, characterized in that the distance sensor ( 12 ) is an ultrasonic distance sensor or an optical distance sensor. Bilderfassungseinheit nach Anspruch 3, dadurch gekennzeichnet, dass der optische Abstandssensor (12) auf der PMD-Messtechnik oder einer anderen entsprechenden Messtechnik beruht.Image acquisition unit according to claim 3, characterized in that the optical distance sensor ( 12 ) is based on the PMD measurement technology or another corresponding measurement technique. Bilderfassungseinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Abmessungen (x; y) oder das Produkt (x·y) der Abmessungen des ersten Bildes im Wesentlichen gleich den Abmessungen (x; y) oder dem Produkt (x·y) der Abmessungen des zweiten Bildes sind.Imaging unit according to one of the preceding claims, characterized in that the dimensions (x; y) or the product (x · y) of the dimensions of the first image substantially equal to the dimensions (x; y) or the product (x. y) of the Dimensions of the second picture are. Bilderfassungseinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Abmessungen (x; y) oder das Produkt (x·y) der Abmessungen des ersten Bildes größer als die Abmessungen (x; y) oder das Produkt (x·y) der Abmessungen des zweiten Bildes sind.Imaging unit according to one of the preceding claims, characterized in that the dimensions (x; y) or the product (x · y) the dimensions of the first image larger as the dimensions (x; y) or the product (x x y) of the dimensions of the second picture. Bilderfassungseinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Abmessungen (x; y) oder das Produkt (x·y) der Abmessungen des ersten Bildes kleiner als die Abmessungen (x; y) oder das Produkt (x·y) der Abmessungen des zweiten Bildes sind.Imaging unit according to one of the preceding claims, characterized in that the dimensions (x; y) or the product (x · y) of the dimensions of the first image smaller than that Dimensions (x; y) or the product (x x y) of the dimensions of the second picture. Bilderfassungseinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Signalverarbeitungseinheit (14) eine anwendungsspezifische Bildverarbeitungseinheit nachgeschaltet ist, die die von der Signalverarbeitungseinheit (14) errechneten datentechnisch verarbeitbaren Signale (XIR, YIR; XVIS, YVIS) pro jeweiligem Bildpunkt eines betreffenden Bildes übernimmt und anwendungsspezifisch verarbeitet.Image acquisition unit according to one of the preceding claims, characterized in that the signal processing unit ( 14 ) an application-specific image processing unit is connected downstream of that of the signal processing unit ( 14 ) is calculated and processed in an application-specific manner (X IR , Y IR , X VIS , Y VIS ) per respective pixel of a respective image.
DE200810046964 2008-09-12 2008-09-12 Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula Ceased DE102008046964A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200810046964 DE102008046964A1 (en) 2008-09-12 2008-09-12 Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200810046964 DE102008046964A1 (en) 2008-09-12 2008-09-12 Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula

Publications (1)

Publication Number Publication Date
DE102008046964A1 true DE102008046964A1 (en) 2010-05-12

Family

ID=42096231

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200810046964 Ceased DE102008046964A1 (en) 2008-09-12 2008-09-12 Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula

Country Status (1)

Country Link
DE (1) DE102008046964A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080372A1 (en) * 2010-12-15 2012-06-21 Latecoere Active device for viewing a scene through a diffusing medium, use of said device, and viewing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0973137A1 (en) 1998-07-06 2000-01-19 Siemens Building Technologies AG Motion detector
US20060289722A1 (en) * 2005-02-11 2006-12-28 Samsung Electronics Co., Ltd. Probe for data storage apparatus
EP1801632A2 (en) * 2002-06-18 2007-06-27 Bayerische Motorenwerke Aktiengesellschaft Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0973137A1 (en) 1998-07-06 2000-01-19 Siemens Building Technologies AG Motion detector
EP1801632A2 (en) * 2002-06-18 2007-06-27 Bayerische Motorenwerke Aktiengesellschaft Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image
US20060289722A1 (en) * 2005-02-11 2006-12-28 Samsung Electronics Co., Ltd. Probe for data storage apparatus

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A. Mallot, "Sehen und die Verarbeitung visueller Information, Eine Einführung", Vieweg Verlagsgesellschaft, 2. Auflage, Januar 2000
Fluke Switzerland GmbH: "Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur", polyscope 18/06, S. 28-30
ISBN 3-528-15659-7, S. 32-34
ISBN 9780819462619
K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., "Commercial fusion camera", Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006
LUHMANN,Thomas: Nahbereichsphotogrammetrie-Grundlagen, Methoden und Anwendungen. 2. Aufl., Heidelberg: Wichmann, 2003. S. 310-326 .- ISBN 3-87907-398-8 *
Oliver Jennrich, "Ein Blick auf die Schärfentiefe", Version 0.2, 22. November 1999
Roger Schmidt of Fluke Thermography, "Benefits of IR/Visible Fusion", 2007

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080372A1 (en) * 2010-12-15 2012-06-21 Latecoere Active device for viewing a scene through a diffusing medium, use of said device, and viewing method
FR2969455A1 (en) * 2010-12-15 2012-06-22 Latecoere ACTIVE SCENE OBSERVATION DEVICE THROUGH A DIFFUSING MEDIUM, USE OF THE DEVICE AND OBSERVATION METHOD

Similar Documents

Publication Publication Date Title
DE69826753T2 (en) Optical profile sensor
EP3186952B1 (en) Image capturing device and method for image capturing
EP3396409B1 (en) Method for calibrating a camera and a laser scanner
DE102012108567B4 (en) Method of obtaining depth information using a light pattern
DE102006055758B4 (en) Method for calibrating cameras and projectors
DE102010040518A1 (en) Image recording device, image display method and recording medium, and image recording program recorded thereon
EP3186776B1 (en) Image capturing device and method for image capturing
DE102005010390A1 (en) Transparent camera calibration tool for camera calibration and its calibration procedure
DE102009030644B4 (en) Non-contact detection device
DE102008062995A1 (en) 3D camera for room surveillance
DE102014113256A1 (en) Image recording device and method for image recording with reflex suppression
WO2016146105A1 (en) Method and device for calibrating a camera
WO2013124056A1 (en) Device for non-contact temperature measurement and temperature measurement method
EP3775767A1 (en) Method and system for measuring an object by means of stereoscopy
DE102012102580A1 (en) Method for measuring an object and intraoral scanner
DE102019008472A1 (en) Multi-lens camera system and method for hyperspectral recording of images
DE102018104913A1 (en) Vibration monitoring of an object using a video camera
DE102020116468A1 (en) STEREO CAMERA
DE102008046964A1 (en) Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula
DE102014206677A1 (en) Camera system and method for detecting an environment of a vehicle
DE102008046965A1 (en) Image recording unit for fusion of images producing different wavelength sensitivity with sensors, has switching unit provided for switching radiation coming on optical unit from image with wavelength
DE102008046963A1 (en) Image recording unit for fusion of image of e.g. building, has signal processing unit receiving data processing signals from optical units, where signals are converted into signals of heat image based on visible image using preset formula
DE102021111417A1 (en) Method and system for determining the position of a marker in a 2D image and marker designed therefor
DE102011055967B4 (en) Measuring method and device for carrying out the measuring method
EP3496398B1 (en) Secure stereo camera and method for testing the functionality of the image sensors

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection