DE102008046964A1 - Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula - Google Patents
Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula Download PDFInfo
- Publication number
- DE102008046964A1 DE102008046964A1 DE200810046964 DE102008046964A DE102008046964A1 DE 102008046964 A1 DE102008046964 A1 DE 102008046964A1 DE 200810046964 DE200810046964 DE 200810046964 DE 102008046964 A DE102008046964 A DE 102008046964A DE 102008046964 A1 DE102008046964 A1 DE 102008046964A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- optical
- unit
- dimensions
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 230000035945 sensitivity Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 12
- 238000001931 thermography Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 241000935974 Paralichthys dentatus Species 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0278—Control or determination of height or angle information for sensors or receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Radiation Pyrometers (AREA)
- Studio Devices (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
Description
Die Erfindung betrifft eine Bilderfassungseinheit zur Fusion von mit Sensoren unterschiedlicher Wellenlängenempfindlichkeit erzeugten Bildern gemäß dem Oberbegriff des Anspruchs 1.The The invention relates to an image acquisition unit for fusion with Sensors of different wavelength sensitivity generated images according to the preamble of the claim 1.
Im Infrarotbereich haben Objekte ein völlig anderes Emissions-, Reflektions- und Transmissionsverhalten als im sichtbaren Wellenlängenbereich. Es ist daher für viele Anwendungen des maschinellen Sehens von offensichtlichem Vorteil, neben bildgebenden Sensoren für den sichtbaren und nahen Infrarotbereich, das ist ein Wellenlängenbereich bis etwa 1,2 μm, detaillierter ein Wellenlängenbereich von ungefähr 0,4 μm bis 1,2 μm, im folgenden kurz Bildsensoren genannt, auch entsprechende Sensoren für den langwelligen Infrarotbereich, das ist ein Wellenlängenbereich bis etwa 14 μm, detaillierter ein Wellenlängenbereich von ungefähr 8 μm bis 12 μm, zu Prüf-, Mess- und Überwachungszwecken heranzuziehen.in the Infrared range, objects have a completely different emission, Reflection and transmission behavior as in the visible wavelength range. It is therefore useful for many machine vision applications obvious advantage, besides imaging sensors for the visible and near infrared range, that is a wavelength range to about 1.2 microns, in more detail a wavelength range from about 0.4 μm to 1.2 μm, hereinafter short called image sensors, also corresponding sensors for the long-wave infrared range, that is a wavelength range to about 14 microns, in more detail a wavelength range from about 8 μm to 12 μm, to test, Measuring and monitoring purposes to use.
Letztere Sensoren werden üblicherweise als Wärmebildsensoren bezeichnet, da mit ihnen vorwiegend die von einem Zielobjekt emittierte Wärmestrahlung gemessen wird. Die Bilder heißen entsprechend thermographische Bilder oder einfach Wärmebilder.Latter Sensors are usually called thermal image sensors denotes, as with them mainly emitted by a target object Heat radiation is measured. The pictures are called according to thermographic images or simply thermal images.
Eine der Schwächen von Wärmebildern liegt in der örtlichen Auflösung, das heißt, es ist schwierig, wichtige Details im Bild genau zu identifizieren und zu lokalisieren.A The weaknesses of thermal images lies in the local Resolution, that is, it is difficult, important Accurately identify and locate details in the image.
Diese Einschränkung ist bedingt durch mehrere Faktoren:
- 1. Wärmebildsensoren haben, bedingt durch den Herstellprozess, bei weitem nicht die Anzahl von Pixel, die von Bildsensoren her bekannt sind. Der Stand der Technik im Jahre 2006 in diesem Punkt ist: 640×480 Pixel.
- 2. Wärmebildsensoren sind extrem teuer. Daher besteht aus Kostengründen oft der Zwang, auf Varianten mit einer niedrigen Auflösung, zum Beispiel 160×120 Pixel, auszuweichen. Bei Technologien, die eine kostengünstige Herstellung versprechen, ist die bisher erreichte Auflösung noch geringer, nämlich maximal 32×32 Pixel.
- 3. Zusätzlich zur Emission von Strahlung wird Wärmeenergie auch mittels Wärmeleitung abgegeben. Bedingt durch diesen Wärmeausgleich mit der Nachbarschaft werden Objekte im Wärmebild nur unscharf dargestellt.
- 4. Die Wärmestrahlung realer Körper ist abhängig vom Emissionsgrad. Daher können im Wärmebild Artefakte entstehen, hervorgerufen durch unterschiedliche Arten von Oberflächen.
- 1. Thermal image sensors, due to the manufacturing process, are nowhere near the number of pixels known from image sensors. The state of the art in 2006 at this point is 640 × 480 pixels.
- 2. Thermal image sensors are extremely expensive. Therefore, for cost reasons, there is often a need to avoid variants with a low resolution, for example 160 × 120 pixels. In technologies that promise a cost-effective production, the previously achieved resolution is even lower, namely a maximum of 32 × 32 pixels.
- 3. In addition to the emission of radiation, heat energy is also dissipated by heat conduction. Due to this heat balance with the neighborhood, objects in the thermal image are only displayed blurred.
- 4. The heat radiation of real bodies depends on the emissivity. Therefore, artifacts caused by different types of surfaces can arise in the thermal image.
Wegen der aufgeführten Gründe wird heute die Auswertung von Wärmebildern mit Bildern von Bildsensoren, die im sichtbaren Bereich arbeiten, kombiniert. Die von im sichtbaren Bereich arbeitenden Bildsensoren stammenden Bilder, im folgenden kurz als Sichtbilder bezeichnet, bieten mehr Auflösung, Schärfe und Kontrast und lassen daher eine präzise Lage- und Größenbestimmung der im Wärmebild detektierten Objekte zu.Because of The reasons listed today will be the evaluation of thermal images with images of image sensors in the visible Working area, combined. The image sensors working in the visible range originating images, hereinafter referred to as visual images, offer more resolution, sharpness and contrast and therefore allow precise location and size determination to the objects detected in the thermal image.
Das
Kombinieren von Wärmebild- und Sichtbildsensor wird beispielsweise
im Dokument
Der Nutzen einer Kombination zwischen Wärme- und Sichtbild besteht konkret darin, eine Zuordnung zwischen den unterschiedlich dargestellten Bildobjekten herzustellen.Of the Benefit of a combination of heat and visual image Specifically, there is an association between the different produce picture objects.
Meistens ist dies für einen menschlichen Beobachter relativ einfach. Er vergleicht beide Bilder und trifft aufgrund seiner Kenntnis der gezeigten Szene entsprechende Zuordnungen.Mostly this is relatively easy for a human observer. He compares both pictures and, due to his knowledge of the shown scene corresponding assignments.
In diesem Fall macht es nichts aus, wenn Bildsensor und Wärmebildsensor räumlich verschiedene Positionen und unterschiedliche Blickrichtungen haben.In In this case, it does not matter if image sensor and thermal imaging sensor spatially different positions and different directions of view to have.
Soll dieser Vergleich jedoch automatisch geschehen, ist es notwendig, dass das Wärme- und das Sichtbild möglichst kongruent zueinander sind. Nur so können beide Bilder in einfacher Weise mittels lokaler Operatoren verknüpft werden. Ansonsten müssten diffizile Methoden zur modellbasierten Objekterkennung eingesetzt werden.Should however, this comparison happen automatically, it is necessary that the heat and the visual image are as congruent as possible to each other. Only then can both pictures be easier Be linked by means of local operators. Otherwise Difficult methods for model-based object recognition would have to be used become.
Es ist also notwendig, dass die zwei Bilder, die mit zwei nach unterschiedlichen Prinzipien arbeitenden bildgebenden Sensoren erzeugt werden, zur Deckung gebracht werden.It So it is necessary that the two pictures, with two after different Principles of working imaging sensors are generated Cover be brought.
Deckungsgleiche, zum Beispiel zweidimensionale, Bilder einer beliebigen räumlichen Anordnung können mit zwei unterschiedlichen Sensoren zum Beispiel dadurch erstellt werden, dass die Position und die Blickrichtung der Sensoren wenigstens in etwa übereinstimmen.Coincident, for example, two-dimensional, images of any spatial Arrangement can with two different sensors for Example can be created by the position and the viewing direction the sensors at least approximately agree.
Hierzu sind neben improvisierten Lösungen, bei denen nacheinander eine Wärmebildkamera und eine zweite, mit einem Bildsensor ausgestattete Kamera auf das identische Gesichtsfeld und die identische Perspektive ausgerichtet wird, aus Firmenveröffentlichungen Wärmebildkameras bekannt, die ein zusätzliches Sensormodul für den sichtbaren Bereich integriert haben.For this are next to improvised solutions, where successively a thermal imaging camera and a second, with an image sensor equipped camera on the identical field of view and identical Perspective, from company publications Thermal imaging cameras are known, which is an additional sensor module integrated for the visible area.
Als Beispiele für solche Firmenveröffentlichungen seien genannt:
- 1.
Fluke Switzerland GmbH: „Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur”, polyscope 18/06, S. 28–30 - 2.
Roger Schmidt of Fluke Thermography, „Benefits of IR/Visible Fusion”, 2007 - 3.
K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., ”Commercial fusion camera”, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 ISBN 9780819462619
- 1.
Fluke Switzerland GmbH: "New Thermography Technology: Maintaining Maintenance Problems Faster", polyscope 18/06, p. 28-30 - Second
Roger Schmidt of Fluke Thermography, "Benefits of IR / Visible Fusion", 2007 - Third
K. Johnson, T. McManus and R. Schmidt, Infrared Solutions, Inc., "Commercial Fusion Camera", Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 ISBN 9780819462619
Da
auch der Erfindungsgedanke von einer Einrichtung mit mindestens
zwei gleichzeitig aktiven Sensoren ausgeht, werden nachfolgend die
Zusammenhänge, bezogen auf die geometrische Optik, genauer
erläutert:
Bilder entstehen durch eine perspektivische
Projektion der Außenwelt auf die Bildebene, auch Zentralprojektion
genannt. Da die Zentralprojektion keine affine Abbildung ist, ist
es nicht möglich, durch irgendwelche linearen Operationen
wie Strecken oder Verschieben beide Bilder zur Deckung zu bringen,
wenn die sogenannten äußeren Kameraparameter beider
Sensoren nicht übereinstimmen. Diese Parameter beschreiben
die 3D-Lage (engl. Pose) eines Kamerakoordinatensystems relativ
zu einem Weltkoordinatensystem. Als äußere Kameraparameter
bezeichnet der Fachmann hierbei
- a) die Position des optischen Zentrums (engl. Nodal Point) im Raum. Hier gibt es drei Freiheitsgrade;
- b) die Richtung der optischen Achse, der Hoch- und der Querachse. Auch hier gibt es drei Freiheitsgrade;
Images are created by a perspective projection of the outside world on the image plane, also called central projection. Since the central projection is not an affine image, it is not possible to match both images by any linear operations such as stretching or shifting if the so-called external camera parameters of both sensors do not match. These parameters describe the 3D pose of a camera coordinate system relative to a world coordinate system. As external camera parameters, the expert calls this
- a) the position of the optical center (English nodal point) in space. There are three degrees of freedom here;
- b) the direction of the optical axis, the vertical axis and the transverse axis. Again, there are three degrees of freedom;
Die Gleichungen der perspektivischen Projektion lauten dabei: The equations of the perspective projection are:
Der Index IR gibt an, dass der Wärmebildsensor gemeint ist. f steht für die Brennweite, hier für den Wärmebildsensor.Of the Index IR indicates that the thermal image sensor is meant. f stands for the focal length, here for the thermal image sensor.
Die
Analog
zu entsprechenden Lehrbüchern, beispielsweise Hanspeter
Wie
die
Würde
der Punkt P → in einem anderen Sensorkoordinatensystem beobachtet,
verschöbe sich dessen Bildpunkt, und zwar in Bezug auf
Wäre zum Beispiel ein Bildsensor, nachfolgend gekennzeichnet durch den Index VIS, in einer Entfernung a in x-Richtung verschoben angebracht, würde sich zwar für die y-Komponenten nur eine Skalierung im Verhältnis der Brennweiten ergeben (Gleichung 2b), die x-Komponente dagegen würde abhängig von der Entfernung z des Punktes P → transformiert werden (Gleichung 2a).If, for example, an image sensor, indicated below by the index VIS, was displaced at a distance a in the x direction, only a scaling in the ratio of the focal lengths would result for the y components (equation 2b), whereas the x component would would depend on the Ent distance z of the point P → be transformed (equation 2a).
Weitere Transformationen, wie zum Beispiel eine Verschiebung in z-Richtung oder Drehungen, werden hier nicht betrachtet, weil sie beim Anmeldungsgegenstand nicht notwendigerweise vorkommen.Further Transformations, such as a shift in the z direction or twists, are not considered here because they are in the subject of the application not necessarily occur.
Das
Erzeugen deckungsgleicher Bilder besteht also darin, für
alle Punkte
Als Visualisierungshilfe kann das Ergebnis dieser Operation so gesehen werden, dass in einem HSI-Farbraum die Helligkeit durch den Wert EVIS und der Farbton durch den Wert EIR bestimmt wird, und dass die Farbsättigung für das Mischungsverhältnis der beiden Werte steht. Diese Pixel-Repräsentation dient aber, wie schon gesagt, nur der Veranschaulichung. Für eine maschinelle Bildauswertung ist sie nicht geeignet.As a visualization aid, the result of this operation can be seen that in an HSI color space, the brightness is determined by the value E VIS and the color tone by the value E IR , and that the color saturation stands for the mixing ratio of the two values. However, this pixel representation is, as already said, only illustrative. For a machine image analysis, it is not suitable.
Der additive Term in der Gleichung 2a ist in der Stereometrie als Disparität bezeichnet.Of the additive term in equation 2a is in the stereometry as disparity designated.
Werden in die Gleichungen 2a, b das durch den Aufbau des Bildsensors gegebene Pixelrastermaß dVIS und entsprechend für den Wärmebildsensor der Pixelabstand dIR eingeführt, ergeben sich mit die Gleichungen 3a, b mit den dimensionslosen Pixelkoordinaten XVIS, YVIS, XIR, YIR und den auf die jeweiligen Pixelrastermaße normierten Brennweiten FVIS und FIR: oder aufgelöst nach XIR, YIR: If the pixel pitch d VIS given by the structure of the image sensor is introduced into the equations 2 a, b and the pixel spacing d IR is correspondingly introduced for the thermal image sensor, this results in Equations 3a, b with the dimensionless pixel coordinates X VIS, Y VIS, IR X, IR Y and normalized to the respective pixel pitches focal lengths F F VIS and IR: or resolved to X IR , Y IR :
Die einzelnen Pixelkoordinatenkomponenten XVIS, YVIS, XIR, YIR sind ganzzahlige Variablen. Ihr Wertebereich richtet sich nach der Pixelanzahl. Hat der Bildsensor zum Beispiel die Größe 640×480 Pixel, was der sogenannten VGA-Auflösung entspricht, dann gibt es 640×480 Pixel PVIS(XVIS, YVIS) mit {XVIS| – 320, ..., 319} und {YVIS| – 240, ..., 239].The individual pixel coordinate components X VIS , Y VIS , X IR , Y IR are integer variables. Their value range depends on the number of pixels. For example, if the image sensor has the size 640 × 480 pixels, which corresponds to the so-called VGA resolution, then there are 640 × 480 pixels P VIS (X VIS , Y VIS ) with {X VIS | - 320, ..., 319} and {Y VIS | - 240, ..., 239].
Aus den Transformationsgleichungen 3a und 4a lassen sich als Sonderfälle zwei einfache Szenarien für kongruente Bilder ableiten, die aber jeweils für sich ein spezielles Problem mit sich bringen.Out The transformation equations 3a and 4a can be considered as special cases derive two simple scenarios for congruent images, but each a special problem with itself bring.
1. Sonderfall:1st special case:
Die Objekte befinden sich praktisch in einer unendlichen Entfernung.The Objects are practically at an infinite distance.
Beispiele:Examples:
Thermographiebilder von entfernten Objekten wie zum Beispiel Gebäuden, Silos oder Tanks.thermographic images from distant objects such as buildings, silos or tanks.
In diesem Fall geht die Disparität gegen Null und die Gleichungen 3a, 4a sind, wie vorher schon die Gleichungen 3b, 4b, nur eine Skalierung der beiden Koordinatensysteme.In In this case, the disparity goes to zero and the equations 3a, 4a are, just like the equations 3b, 4b, only one scaling the two coordinate systems.
Dieser Sonderfall tritt ein, wenn die Pixelauflösung nicht mehr ausreicht, die Disparität zu messen. Es wird dafür üblicherweise der halbe Pixeldurchmesser als Grenze angesetzt. Die Auflösungsgrenze wird bestimmt von dem Sensor, der die kleinere normierte Brennweite hat, also wegen der eingangs bereits aufgeführten Gründe in der Regel der Wärmebildsensor.This Special case occurs when the pixel resolution is no longer is sufficient to measure the disparity. It usually gets that half the pixel diameter as a limit. The resolution limit is determined by the sensor that has the smaller normalized focal length has, so because of the reasons already mentioned above usually the thermal image sensor.
Anders wäre es, wenn dieser eine extrem lange Brennweite hätte. Bei ziviler Nutzung kommt dies jedoch in der Praxis nicht vor.Different It would be if this had an extremely long focal length. In civilian use, however, this does not occur in practice.
Aus
der Gleichung 4a ergibt sich damit:
Es ist für den Fachmann klar, dass eine absichtliche Herbeiführung dieses Sonderfalls, also die Reduzierung von z∞, durch Verringerung von FIR aus Praxisgründen nicht herbeigeführt wird, weil sich dadurch die Auflösung allgemein verschlechtert.It is clear to the skilled person that an intentional bringing about this particular case, that the reduction of such ∞, by reducing F IR from practical reasons, it is not brought about, as this resolution generally deteriorated.
2. Sonderfall:2nd special case:
Alle interessierenden Objekte sind in der Natur sehr flach und befinden sich in einer einzigen Ebene z = z0, „frontoparallele Ebene” genannt.All objects of interest are very flat in nature and are in a single plane called z = z 0 , called "frontoparallel plane".
Beispiele:Examples:
Messung der Wärmeverteilung auf einer bestückten Leiterplatte; Überwachung von Vorgängen am Boden durch einen an der Decke befestigten Präsenzsensor.Measurement the heat distribution on a populated printed circuit board; monitoring of operations on the ground by a ceiling-mounted Presence sensor.
Hierbei wird aus der Zentralprojektion eine Parallelprojektion. Es muss „nur noch” z0 bestimmt und in Gleichung 3a oder 4a eingesetzt werden.Here, the central projection becomes a parallel projection. It must be determined "only" z 0 and used in Equation 3a or 4a.
Eine Möglichkeit zur Bestimmung von z0 bietet das Abbesche Projektionsgesetz, das heißt, die so genannte und in der Fachwelt als solche bekannte Linsengleichung, aufgelöst nach der Gegenstandsweite z0.One possibility for the determination of z 0 is provided by the Abbe projection law, that is, the so-called lens equation known as such in the art, resolved according to the object distance z 0 .
In der Gleichung 6 ist b0 die am Objektiv einzustellende Bildweite, wenn auf ein Objekt in der Entfernung z0 scharfgestellt wird. Die Messung des Drehwinkels des Scharfstellrings reicht also aus, um aus b0 auf die Entfernung z0 zu schließen.In Equation 6, b 0 is the image width to be set on the lens when focusing on an object at the distance z 0 . The measurement of the angle of rotation of the focus ring is thus sufficient to conclude from b 0 to the distance z 0 .
Wie
bereits in Kreisen von Hobbyfotografen bekannt ist, werden weit
entfernte Objekte unabhängig von ihrem Abstand scharf abgebildet.
Das heißt im Umkehrschluss, dass sich die Bestimmung von
z0 mit Hilfe von b0 außerhalb
des Nahbereichs nicht anwenden lässt. Die Grenze des Nahbereichs
liegt bei der Hälfte der sogenannten hyperfokalen Entfernung
zh. Siehe hierzu:
In dieser Gleichung ist KIR die Blendenzahl undder Blendendurchmesser des Infrarotobjektivs.In this equation, K IR is the f-number and the aperture diameter of the infrared lens.
Die
Disparität an der Grenze des Nahbereichs ergibt sich daraus
durch Einsetzen in die Gleichung 4a: Werden
die Gleichungen 5 und 7 zusammengefasst, ist zu erkennen, dass der
Bereich
Aufgabe der vorliegenden Erfindung ist, ausgehend von einer Bilderfassungseinheit der eingangs genannten Art, diese in der Weise technisch zu verbessern, dass nicht nur die Transformationen gemäß den Gleichungen 3a, b oder 4a, b maschinell möglich ist, sondern weiter auch maschinell eine anwendungsspezifische Bildauswertung bezüglich von mit der Bilderfassungseinheit erhaltener Bilder.task The present invention is based on an image acquisition unit of the type mentioned at the outset to technically improve them in such a way that that not only the transformations according to the Equations 3a, b or 4a, b is mechanically possible, but furthermore also machine-specific an application-specific image analysis with respect to that obtained with the image capture unit Images.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine Bilderfassungseinheit, die die Merkmale im kennzeichnenden Teil des Anspruchs 1 aufweist.These The object is achieved by an image acquisition unit, which features in the characterizing Part of claim 1.
Die erfindungsgemäße Bilderfassungseinheit deckt den eingangs beschriebenen Sonderfall 2 ab, ist also geeignet für frontoparallel angeordnete Objekte.The Image capture unit according to the invention covers the at the outset described special case 2, so it is suitable for Frontoparallel arranged objects.
Die Anordnung weist zur Messung des Abstands z0 koplanar zum Wärmebildsensor und zum Bildsensor einen Abstandssensor auf.The arrangement has a distance sensor coplanar with the thermal image sensor and the image sensor for measuring the distance z 0 .
Eine Signalverarbeitungseinheit, die vorzugsweise zusammen mit dem Bild- bzw. Wärmebildsensor und deren Ansteuerelektronik auf einer oder mehreren elektronischen Baugruppen angebracht ist, rechnet gemäß den Gleichungen 3a, b oder 4a, b alle eigenen Pixelkoordinaten in die des jeweiligen anderen Sensors um und bestimmt den zugehörigen Intensitätswert. Dieser wird mit dem eigenen Intensitätswert zu einem Pixelpaar zusammengefasst.A signal processing unit, which is preferably mounted together with the image or thermal imaging sensor and its control electronics on one or more electronic components, converts according to the equations 3a, b or 4a, b all their own pixel coordinates in the respective other sensor and determines the associated intensity value. This becomes a Pi with its own intensity value xelpaar summarized.
Je nach Wahl von Gleichungen 3a, b oder 4a, b ergeben sich gemäß des in der Problembeschreibung als Stand der Technik vorausgesetzten Größenunterschied zwischen Wärmebildsensor und Bildsensor (FVIS > FIR) zwei unterschiedliche Ergebnisse:
- a) Wird gemäß den Gleichungen 4a, b vom Sichtbild ausgegangen, bleibt dessen Auflösung bei der Bildung der Pixelpaare erhalten. Es wird einfach vielen benachbarten Pixeln eine gemeinsame thermische Bestrahlungsstärke zugewiesen. Dies ist sinnvoll, wenn sich die nachfolgende anwendungsspezifische Auswertung vor allem auf Details im sichtbaren Licht stützt, beispielsweise beim Lokalisieren von schlechten Kontaktstellen.
- b) Wird gemäß den Gleichungen 3a, b vom Wärmebild ausgegangen, reduziert sich die Anzahl der Pixel auf die des Wärmebildsensors. Dies ist beispielsweise dann sinnvoll, wenn es sich bei der nachfolgenden anwendungsspezifischen Auswertung um eine einfache Präsenzkontrolle handelt.
- a) If, according to the equations 4a, b, the visual image is assumed, its resolution in the formation of the pixel pairs remains. Simply assign a common thermal irradiance to many neighboring pixels. This is useful if the subsequent application-specific evaluation relies primarily on details in the visible light, for example, when locating poor contact points.
- b) If the thermal image is used according to equations 3a, b, the number of pixels is reduced to that of the thermal image sensor. This is useful, for example, if the subsequent application-specific evaluation is a simple presence check.
Mit der Wahl der Transformationsgleichung kann somit die Bildauflösung und damit der Rechenaufwand für eine nachgeschaltete anwendungsspezifische Bildverarbeitungseinheit bestimmt werden.With the choice of the transformation equation can thus the image resolution and thus the computational effort for a downstream application-specific Image processing unit to be determined.
Die erfindungsgemäße Bilderfassungseinheit weist folgende Vorteile auf:
- a) Im Gegensatz zum Stand den Technik gemäß der Firmenveröffentlichungen [1, 2, 3] gibt es keinen systematischen Restfehler (vgl. Gleichung 8).
- b) Es ist eine Unterscheidung zwischen reflektierter Strahlung und Eigenstrahlung eines Objekts möglich, wenn eine Korrespondenzbildung zumindest für einige Punkte zwischen Wärmebild und Sichtbild möglich ist. Beispielsweise lässt sich durch Auffinden einer gemeinsamen Kante und dann durch Einsetzen in die Gleichungen 3a, b oder 4a, b feststellen, ob der vom Abstandssensor gefundene Wert z0 „richtig” ist.
- a) In contrast to the state of the art according to the company publications [1, 2, 3], there is no systematic residual error (see equation 8).
- b) A distinction between reflected radiation and own radiation of an object is possible if a correspondence formation is possible, at least for some points between the thermal image and the visual image. For example, can be achieved by finding a common edge and then by substituting into equations 3a, b and 4a, b to determine whether the value found by the distance sensor z is 0 "correctly".
Wenn das nicht der Fall ist, handelt es sich um Strahlung, die von einem Körper außerhalb der durch z0 gegebenen Ebene stammt.If this is not the case, it is radiation originating from a body outside the plane given by z 0 .
Insgesamt können mit Hilfe der erfindungsgemäßen Bilderfassungseinheit nicht nur die Transformationen gemäß den Gleichungen 3a, b oder 4a, b maschinell durchgeführt werden, sondern kann auch maschinell eine anwendungsspezifische Bildauswertung bezüglich von mit der Bilderfassungseinheit erhaltenen Bilden erfolgen.All in all can with the help of the invention Image acquisition unit not only the transformations according to the Equations 3a, b or 4a, b are performed by machine, but can also machine an application-specific image analysis with respect to the image acquisition unit Forming done.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von Unteransprüchen.advantageous Embodiments of the invention are the subject of dependent claims.
Danach ist die Signalverarbeitungseinheit entweder ein digitaler Signalprozessor oder vorzugsweise ein mit den Transformationsgleichungen programmierter Logikbaustein (FPGA), die platzsparend, schnell rechnend und kostengünstig sind.After that the signal processing unit is either a digital signal processor or preferably one programmed with the transformation equations Logic module (FPGA), which saves space, calculates quickly and cost-effectively are.
Der Abstandssensor kann zum Beispiel ein Ultraschallentfernungssensor oder ein auf der sogenannten Photomischdetektor-Technik (PMD-Technik) beruhender optischer Abstandssensor sein, der ohne weiteres zur Verfügung steht. Es können aber auch optische Abstandssensoren entsprechender anderer Techniken verwendet sein.Of the Distance sensor may, for example, an ultrasonic distance sensor or one on the so-called Photomischdetektor technique (PMD technique) be based optical distance sensor, the readily to Available. But it can also optical Distance sensors according to other techniques used.
Ein PMD-Sensor beispielsweise ist ein optischer Sensor, dessen Funktionsprinzip auf dem Lichtlaufzeitverfahren beruht.One PMD sensor, for example, is an optical sensor whose principle of operation based on the light transit time method.
Die Abmessungen der Bilder können gleich oder unterschiedlich sein.The Dimensions of the pictures may be the same or different be.
Das oben angesprochene Pixelpaar wird einer anwendungsspezifischen weiteren Bildverarbeitungseinheit zugeführt werden, die in den Figuren aber nicht näher dargestellt ist. Diese Bildverarbeitungseinheit kann anhand der ihr mit den entsprechenden Pixelpaaren bekannten Bilder, nämlich das des Sichtbildes und das des Wärmebildes, maschinell eine anwenderspezifische Auswertung der Objekte in den Bildern vornehmen. Dies ist möglich, weil eine klare Zuordnung von Stellen des einen Bildes zu entsprechend zugehörigen Stellen des anderen Bildes möglich ist, so dass die bezüglich betreffender Stellen aus den jeweiligen Bildern hervorgehenden spezifischen Informationen miteinander verknüpft und bewertet werden können.The The above-mentioned pixel pair becomes an application-specific one Image processing unit are supplied, which in the figures but not shown in detail. This image processing unit can on the basis of the pictures known to her with the corresponding pixel pairs, namely that of the visual image and that of the thermal image, a user-specific evaluation of the objects in the machine Take pictures. This is possible because of a clear assignment from locations of one image to corresponding locations the other picture is possible, so the respect specific points arising from the respective pictures Information is linked and evaluated can.
Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:following an embodiment of the invention with reference to a Drawing explained in more detail. Show:
Die
Die
Die
erste optische Einheit
Die
zweite optische Einheit
Die
Wellenlängenempfindlichkeit des Bildsensors
Die
Wellenlängenempfindlichkeit des Wärmebildsensors
Mit
dem Bildsensor
Mit
dem Wärmebildsensor
Mit
der ersten Fokuseinrichtung
Mit
der zweiten Fokuseinrichtung
Vom Grundsatz her können die erste und die zweite optische Auflösung gleich groß sein, es kann aber auch die erste oder die zweite optische Auflösung gegenüber der jeweils anderen optischen Auflösung kleiner sein.from Principle can be the first and the second optical Resolution can be the same, but it can be the same the first or the second optical resolution opposite be smaller in each case the other optical resolution.
In der Regel ist aber die Auflösung des Wärmebildes kleiner als die Auflösung des Sichtbildes.In the rule, however, is the resolution of the thermal image smaller than the resolution of the visual image.
Die
Bilderfassungseinheit
Der
Abstandssensor
Außerdem
weist die Bilderfassungseinheit
Die
Signalverarbeitungseinheit
Die
erste Signalverarbeitungseinheit
Die
Signalverarbeitungseinheit
Gemäß dem
vorliegenden Ausführungsbeispiel ist die Signalverarbeitungseinheit
Der
Signalverarbeitungseinheit
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- - EP 0973137 A1 [0007] EP 0973137 A1 [0007]
Zitierte Nicht-PatentliteraturCited non-patent literature
- - Fluke Switzerland GmbH: „Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur”, polyscope 18/06, S. 28–30 [0015] - Fluke Switzerland GmbH: "New Thermography Technology: Maintenance Problems Faster On Track", polyscope 18/06, p. 28-30 [0015]
- - Roger Schmidt of Fluke Thermography, „Benefits of IR/Visible Fusion”, 2007 [0015] - Roger Schmidt of Fluke Thermography, "Benefits of IR / Visible Fusion", 2007 [0015]
- - K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., ”Commercial fusion camera”, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 [0015] K. Johnson, T. McManus and R. Schmidt, Infrared Solutions, Inc., Commercial Fusion Camera, Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, April 17, 2006 [0015]
- - ISBN 9780819462619 [0015] - ISBN 9780819462619 [0015]
- - A. Mallot, „Sehen und die Verarbeitung visueller Information, Eine Einführung”, Vieweg Verlagsgesellschaft, 2. Auflage, Januar 2000 [0020] - A. Mallot, "Seeing and Processing Visual Information, An Introduction", Vieweg Publishing Company, 2nd Edition, January 2000 [0020]
- - ISBN 3-528-15659-7, S. 32–34 [0020] - ISBN 3-528-15659-7, p. 32-34 [0020]
- - Oliver Jennrich, „Ein Blick auf die Schärfentiefe”, Version 0.2, 22. November 1999 [0043] - Oliver Jennrich, "A View of the Depth of Field ", Version 0.2, November 22, 1999 [0043]
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200810046964 DE102008046964A1 (en) | 2008-09-12 | 2008-09-12 | Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200810046964 DE102008046964A1 (en) | 2008-09-12 | 2008-09-12 | Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102008046964A1 true DE102008046964A1 (en) | 2010-05-12 |
Family
ID=42096231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200810046964 Ceased DE102008046964A1 (en) | 2008-09-12 | 2008-09-12 | Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102008046964A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012080372A1 (en) * | 2010-12-15 | 2012-06-21 | Latecoere | Active device for viewing a scene through a diffusing medium, use of said device, and viewing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0973137A1 (en) | 1998-07-06 | 2000-01-19 | Siemens Building Technologies AG | Motion detector |
US20060289722A1 (en) * | 2005-02-11 | 2006-12-28 | Samsung Electronics Co., Ltd. | Probe for data storage apparatus |
EP1801632A2 (en) * | 2002-06-18 | 2007-06-27 | Bayerische Motorenwerke Aktiengesellschaft | Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image |
-
2008
- 2008-09-12 DE DE200810046964 patent/DE102008046964A1/en not_active Ceased
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0973137A1 (en) | 1998-07-06 | 2000-01-19 | Siemens Building Technologies AG | Motion detector |
EP1801632A2 (en) * | 2002-06-18 | 2007-06-27 | Bayerische Motorenwerke Aktiengesellschaft | Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image |
US20060289722A1 (en) * | 2005-02-11 | 2006-12-28 | Samsung Electronics Co., Ltd. | Probe for data storage apparatus |
Non-Patent Citations (8)
Title |
---|
A. Mallot, "Sehen und die Verarbeitung visueller Information, Eine Einführung", Vieweg Verlagsgesellschaft, 2. Auflage, Januar 2000 |
Fluke Switzerland GmbH: "Neue Thermografie-Technologie: Wartungsproblemen schneller auf der Spur", polyscope 18/06, S. 28-30 |
ISBN 3-528-15659-7, S. 32-34 |
ISBN 9780819462619 |
K. Johnson, T. McManus und R. Schmidt, Infrared Solutions, Inc., "Commercial fusion camera", Proc. of SPIE Volume 6205 62050H, Thermosense XXVIII, 17 April 2006 |
LUHMANN,Thomas: Nahbereichsphotogrammetrie-Grundlagen, Methoden und Anwendungen. 2. Aufl., Heidelberg: Wichmann, 2003. S. 310-326 .- ISBN 3-87907-398-8 * |
Oliver Jennrich, "Ein Blick auf die Schärfentiefe", Version 0.2, 22. November 1999 |
Roger Schmidt of Fluke Thermography, "Benefits of IR/Visible Fusion", 2007 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012080372A1 (en) * | 2010-12-15 | 2012-06-21 | Latecoere | Active device for viewing a scene through a diffusing medium, use of said device, and viewing method |
FR2969455A1 (en) * | 2010-12-15 | 2012-06-22 | Latecoere | ACTIVE SCENE OBSERVATION DEVICE THROUGH A DIFFUSING MEDIUM, USE OF THE DEVICE AND OBSERVATION METHOD |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69826753T2 (en) | Optical profile sensor | |
EP3186952B1 (en) | Image capturing device and method for image capturing | |
EP3396409B1 (en) | Method for calibrating a camera and a laser scanner | |
DE102012108567B4 (en) | Method of obtaining depth information using a light pattern | |
DE102006055758B4 (en) | Method for calibrating cameras and projectors | |
DE102010040518A1 (en) | Image recording device, image display method and recording medium, and image recording program recorded thereon | |
EP3186776B1 (en) | Image capturing device and method for image capturing | |
DE102005010390A1 (en) | Transparent camera calibration tool for camera calibration and its calibration procedure | |
DE102009030644B4 (en) | Non-contact detection device | |
DE102008062995A1 (en) | 3D camera for room surveillance | |
DE102014113256A1 (en) | Image recording device and method for image recording with reflex suppression | |
WO2016146105A1 (en) | Method and device for calibrating a camera | |
WO2013124056A1 (en) | Device for non-contact temperature measurement and temperature measurement method | |
EP3775767A1 (en) | Method and system for measuring an object by means of stereoscopy | |
DE102012102580A1 (en) | Method for measuring an object and intraoral scanner | |
DE102019008472A1 (en) | Multi-lens camera system and method for hyperspectral recording of images | |
DE102018104913A1 (en) | Vibration monitoring of an object using a video camera | |
DE102020116468A1 (en) | STEREO CAMERA | |
DE102008046964A1 (en) | Image recording unit i.e. thermographic camera, for consolidating thermographic images produced by image sensors, has signal processing unit converting signals from optical unit into signals of another optical unit using formula | |
DE102014206677A1 (en) | Camera system and method for detecting an environment of a vehicle | |
DE102008046965A1 (en) | Image recording unit for fusion of images producing different wavelength sensitivity with sensors, has switching unit provided for switching radiation coming on optical unit from image with wavelength | |
DE102008046963A1 (en) | Image recording unit for fusion of image of e.g. building, has signal processing unit receiving data processing signals from optical units, where signals are converted into signals of heat image based on visible image using preset formula | |
DE102021111417A1 (en) | Method and system for determining the position of a marker in a 2D image and marker designed therefor | |
DE102011055967B4 (en) | Measuring method and device for carrying out the measuring method | |
EP3496398B1 (en) | Secure stereo camera and method for testing the functionality of the image sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8131 | Rejection |