DE202010017860U1 - Wärmebildkamera - Google Patents
Wärmebildkamera Download PDFInfo
- Publication number
- DE202010017860U1 DE202010017860U1 DE202010017860U DE202010017860U DE202010017860U1 DE 202010017860 U1 DE202010017860 U1 DE 202010017860U1 DE 202010017860 U DE202010017860 U DE 202010017860U DE 202010017860 U DE202010017860 U DE 202010017860U DE 202010017860 U1 DE202010017860 U1 DE 202010017860U1
- Authority
- DE
- Germany
- Prior art keywords
- image
- data field
- vis
- frequency
- transformed data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000001931 thermography Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
- H01R9/00—Structural associations of a plurality of mutually-insulated electrical connecting elements, e.g. terminal strips or terminal blocks; Terminals or binding posts mounted upon a base or in a case; Bases therefor
- H01R9/22—Bases, e.g. strip, block, panel
- H01R9/24—Terminal blocks
- H01R9/26—Clip-on terminal blocks for side-by-side rail- or strip-mounting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
- G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
- G01F23/26—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring variations of capacity or inductance of capacitors or inductors arising from the presence of liquid or fluent solid material in the electric or electromagnetic fields
- G01F23/263—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring variations of capacity or inductance of capacitors or inductors arising from the presence of liquid or fluent solid material in the electric or electromagnetic fields by measuring variations in capacitance of capacitors
- G01F23/268—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring variations of capacity or inductance of capacitors or inductors arising from the presence of liquid or fluent solid material in the electric or electromagnetic fields by measuring variations in capacitance of capacitors mounting arrangements of probes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/025—Interfacing a pyrometer to an external device or network; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/0265—Handheld, portable
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0846—Optical arrangements having multiple detectors for performing different types of detection, e.g. using radiometry and reflectometry channels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Abstract
Wärmebildkamera (1) mit einer Detektoreinheit (2) zur Aufnahme von IR-Bildern (9), mit einer VIS-Kamera (3) zur Aufnahme von VIS-Bildern (19), mit einer von der Detektoreinheit (2) und der VIS-Kamera (3) mit Datenfeldern (12, 20) gespeisten Bildverarbeitungseinheit (4) und mit einer an einen Datenausgang der Bildverarbeitungseinheit (4) angeschlossenen, vorzugsweise farbfähigen Anzeigeeinheit (5), dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (4) zur Ausführung eines Verfahrens zum Aufbereiten eines IR-Bildes (9), wobei das IR-Bild (9) eine aufgenommene Szene (10) zeigt und Messwerte (11) der Szene (10) codiert als Datenfelder (12) in Farbkanälen eines Farbraums enthält, wobei auf das Datenfeld (12) jedes Farbkanals ein Frequenzanalyseverfahren angewendet wird, bei welchem Frequenzanalyseverfahren zu dem Datenfeld (12) ein transformiertes Datenfeld (13) in einem Frequenzraum (14) mit transformierten Datenfeldeinträgen (15) generiert wird, wobei für jeden Farbkanal niederfrequente transformierte Datenfeldeinträge (17) des jeweiligen transformierten Datenfeldes (13) zur Weiterverarbeitung ausgewählt werden, wobei auf das Datenfeld (20) eines VIS-Bildes (19) der aufgenommenen Szene...
Description
- Die Erfindung betrifft eine Wärmebildkamera mit einer Detektoreinheit zur Aufnahme von IR-Bildern, mit einer VIS-Kamera zur Aufnahme von VIS-Bildern, mit einer von der Detektoreinheit und der VIS-Kamera mit Datenfeldern gespeisten Bildverarbeitungseinheit und mit einer an eine Datenausgang der Bildverarbeitungseinheit angeschlossenen, vorzugsweise farbfähigen Anzeigeeinheit.
- Die Erfindung findet Anwendung bei einem Verfahren zum Aufbereiten eines IR-Bildes, wobei das IR-Bild eine aufgenommene Szene zeigt und Messwerte der Szene codiert als Datenfelder in Farbkanälen eines Farbraums enthält.
- Es ist bekannt, IR-Bilder mit Wärmebildkameras aufzunehmen. Das Problem ist dabei häufig, dass Konturen oder Einzelheiten der aufgenommenen Szene im IR-Bild nicht oder nur schlecht ersichtlich sind. Es ist daher üblich geworden, das gewonnene IR-Bild mit einem parallel dazu aufgenommenen VIS-Bild durch Überlagerung, sogenanntes Alpha-Blending, zu vermischen.
- Beispielsweise wird ein derartiges Verfahren in der
EP 1 299 699 B1 beschrieben. - Der Erfindung liegt die Aufgabe zugrunde, eine Alternative zu diesem Verfahren zu finden.
- Zur Lösung dieser Aufgabe sind erfindungsgemäß bei der Wärmebildkamera die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit vorgeschlagen, die Wärmebildkamera zur Ausführung des eingangs beschriebenen Verfahrens einzurichten, bei dem vorgesehen ist, dass auf das Datenfeld jedes Farbkanals ein Frequenzanalyseverfahren angewendet wird, bei welchem Frequenzanalyseverfahren zu dem Datenfeld ein transformiertes Datenfeld in einem Frequenzraum mit transformierten Datenfeldeinträgen generiert wird, dass für jeden Farbkanal niederfrequente transformierte Datenfeldeinträge des jeweiligen transformierten Datenfelds zur Weiterverarbeitung ausgewählt werden, dass auf das Datenfeld eines VIS-Bildes der aufgenommenen Szene ein Frequenzanalyseverfahren angewendet wird, bei welchem Frequenzanalyseverfahren ein weiteres transformiertes Datenfeld in den Frequenzraum mit transformierten Datenfeldeinträgen generiert wird, dass hochfrequente transformierte Datenfeldeinträge des weiteren transformierten Datenfeldes zur Weiterverarbeitung ausgewählt werden, dass für jeden Farbkanal ein kombiniertes Datenfeld im Frequenzraum mit den ausgewählten Datenfeldeinträgen des transformierten Datenfelds des Farbkanals und den ausgewählten Datenfeldeinträgen des transformierten Datenfeldes des VIS-Bildes befüllt wird, dass auf das für jeden Farbkanal generierte, kombinierte Datenfeld das inverse Frequenzanalyseverfahren angewendet wird und dass die Ergebnisse des inversen Frequenzanalyseverfahrens als Farbkanäle eines aufbereiteten IR-Bildes bereitgestellt werden. Die Erfindung macht sich somit die Erkenntnis zu Nutze, dass die im IR-Bild möglicherweise nur schlecht ersichtlichen Konturen oder Einzelheiten als hochfrequente Anteile aus dem VIS-Bild extrahiert und zur Aufbereitung des IR-Bildes verwendet werden können, indem die Bilder zur Aufbereitung jeweils einem Frequenzanalyseverfahren unterworfen werden. Die Erfindung macht weiterhin von der Erkenntnis Gebrauch, dass die Temperaturinformationen des IR-Bildes für viele praktische Anwendungen in flächigen Anteilen des IR-Bildes bezüglich der Bildposition nur gering veränderlich sind und deswegen den niederfrequenten Anteil dieser Bilder darstellen. Unter dem inversen Frequenzanalyseverfahren wird ein Verfahren verstanden, welches die Ergebnisgrößen des Frequenzanalyseverfahrens in dessen Ausgangsgrößen oder in diesen Ausgangsgrößen eindeutig zugeordnete Größen überführt, sofern zwischen dem Frequenzanalyseverfahren und dem inversen Frequenzanalyseverfahren keine Zwischenbearbeitungsschritte an den Ergebnisgrößen ausgeführt werden. Bevorzugt liefert das inversen Frequenzanalyseverfahren genau die Ausgangsgrößen zurück.
- Durch die erfindungsgemäße Kombination kann somit ein aufbereitetes IR-Bild erstellt werden, welches die Temperaturinformationen des IR-Bildes und die Einzelheiten des VIS-Bildes erbt.
- Dadurch, dass die erfindungsgemäße Bildverarbeitung des in einer Falschfarbendarstellung vorliegenden IR-Bildes für jeden Farbkanal getrennt ausgeführt wird, erreicht die Erfindung als weiteren Vorteil, dass der Farbeindruck bei der Falschfarbendarstellung der Temperaturinformation unverändert oder im wesentlichen unverändert bleibt. Dies ermöglicht, die durch sorgfältige Austarierung der Zuordnung von Temperaturwerten zu Farben gewonnenen Gebrauchseigenschaften beizubehalten.
- Das VIS-Bild kann als Schwarzweiß-Bild oder als Farbbild vorliegen. Zur Vereinfachung der Bildverarbeitungsschritte kann vorgesehen sein, dass das Datenfeld des VIS-Bildes vor Anwendung des Frequenzanalyseverfahrens auf die Schwarzweiß-Information des VIS-Bildes reduziert wird. Dies kann beispielsweise durch Verwendung einer Schwarzweiß-Kamera oder durch Extraktion der Helligkeitswerte eines Farbbildes erfolgen.
- Alternativ kann vorgesehen sein, dass das Datenfeld des VIS-Bildes vor Anwendung des Frequenzanalyseverfahrens auf die Bildinformation des VIS-Bildes in einem Farbkanal reduziert wird. Beispielsweise kann dies durch Auswahl eines bestimmten Farbkanals des VIS-Bildes zur Verwendung für alle Farbkanäle des IR-Bildes erfolgen.
- Durch diese Reduktion wird einerseits die Datenmenge des VIS-Bildes reduziert, und es muss andererseits für die Verarbeitung der Datenfelder der unterschiedlichen Farbkanäle des IR-Bildes nur ein einziges Frequenzanalyseverfahren für das VIS-Bild durchgeführt werden. Hierdurch wird das erfindungsgemäße Verfahren nochmals vereinfacht.
- Zur Auswahl der niederfrequenten transformierten Datenfeldeinträge kann vorgesehen sein, dass die niederfrequenten transformierten Datenfelder durch eine obere Schranke im Frequenzraum definiert werden. Ausgewählt werden dann diejenigen Anteile, die (betragsmäßig) unterhalb dieser Schranke liegen oder die diese Schranke nicht überschreiten. Vorzugsweise ist vorgesehen, dass die obere Schranke für alle Farbkanäle gleich festgelegt wird.
- Zur Auswahl der hochfrequenten transformierten Datenfelder des VIS-Bildes kann vorgesehen sein, dass die hochfrequenten transformierten Datenfelder durch eine untere Schranke im Frequenzraum definiert werden. Hier werden diejenigen Anteile ausgewählt, die (betragsmäßig) oberhalb der unteren Schranke liegen oder die diese Schranke nicht unterschreiten.
- Je nach Anwendungsfall kann die obere Schranke oberhalb oder unterhalb der unteren Schranke liegen. Im ersteren Fall wird eine Lücke des Frequenzraums ausgespart, im letzteren Fall ergibt sich eine Überlappung. Vorzugsweise ist vorgesehen, dass als obere Schranke und als untere Schranke ein gemeinsamer Schrankenwert verwendet wird.
- Das erfindungsgemäße Verfahren kann einfach und ressourceschonend implementiert werden, wenn während des Frequenzanalyseverfahrens eine Integraltransformation oder eine Summentransformation berechnet wird. Beispielsweise kann hierbei eine Wavelet-Transformation ausgeführt werden. Es sind aber auch andere Transformationen denkbar, um den erfindungsgemäßen Effekt zu erzielen, beispielsweise eine blockweise diskrete Cosinus-Transformation oder eine blockweise schnelle Fourier-Transformation (FFT).
- Es hat sich als günstig erwiesen, wenn die Datenfelder des IR-Bildes und des VIS-Bildes vor dem Frequenzanalyseverfahren in Registrierung gebracht werden. Hierbei wird unter Registrierung eine Zuordnung von Bildpunkten des IR-Bildes zu Bildpunkten des VIS-Bildes derart verstanden, dass Bildpunkte bzw. Bildbereiche, die denselben Ausschnitt einer aufgenommenen Szene wiedergeben, einander zugeordnet sind. Durch diese vorgelagerte Registrierung kann erreicht werden, dass nach Anwendung des inversen Frequenzanalyseverfahrens auf das kombinierte Datenfeld ein aufbereitetes IR-Bild vorliegt, in welchem die richtigen Bildinhalte einander zugeordnet sind, ohne dass eine nochmalige Bearbeitung zwingend erforderlich wäre.
- Zur Vermeidung von unnötigem Berechnungsaufwand kann zweckmäßig vorgesehen sein, dass die Datenfelder des IR-Bildes und des VIS-Bildes vor dem Frequenzanalyseverfahren an eine Auflösung des aufbereiteten IR-Bildes angepasst werden. Dies kann beispielsweise durch Interpolation zur Verbesserung der Auflösung oder durch Reduktion mittels eines Abtastverfahrens zur Verringerung der Auflösung erfolgen. Besonders das VIS-Bild liegt häufig in einer Auflösung vor, die für die Darstellung des aufbereiteten IR-Bildes an einer Anzeigeeinheit einer Wärmebildkamera nicht benötigt wird, da VIS-Kameras mit vergleichsweise hoher Auflösung einfach erhältlich sind.
- Das erfindungsgemäße Verfahren kann mit Vorteil bei einer Wärmebildkamera eingesetzt werden. Hierzu kann vorgesehen sein, dass das IR-Bild und das VIS-Bild mit der Wärmebildkamera aufgenommen werden. Bevorzugt werden IR-Bild und VIS-Bild zeitgleich oder mit geringem zeitlichem Abstand aufgenommen, um möglichst dieselbe Szene zu zeigen.
- Beispielsweise kann vorgesehen sein, dass das aufbereitete IR-Bild auf einer Anzeigeeinheit einer Wärmebildkamera ausgegeben wird. In diesem Fall kann die Auflösung des aufbereiteten IR-Bildes durch eine Auflösung der Anzeigeeinheit bestimmt werden. Die Anzeigeeinheit kann beispielsweise als Display ausgebildet sein. Die Ausgabe des aufbereiteten IR-Bildes kann als Falschfarbenbild erfolgen.
- Günstig ist es, wenn als Farbkanäle die Farbkanäle des RGB-Farbraums verwendet werden. Von Vorteil ist dabei, dass die Bearbeitungsschritte des erfindungsgemäßen Verfahrens von Anfang an an die technischen Rahmenbedingungen der Anzeigeeinheit zur Anzeige des aufbereiteten IR-Bildes angepasst sind. Typischerweise verarbeitet die Anzeigeeinheit Farbbilder im RGB-Farbraum, so dass der RGB-Farbraum besonders geeignet ist. Selbstverständlich können auch andere Farbräume verwendet werden.
- Zur Lösung der Aufgabe ist bei der eingangs beschriebenen Wärmebildkamera vorgesehen, dass die Bildverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens eingerichtet ist und dass die Anzeigeeinheit zur Anzeige des aufbereiteten IR-Bildes an die Bildverarbeitungseinheit angeschlossen ist. Die Einrichtung der Bildverarbeitungseinheit kann beispielsweise durch geeignete Programmierung und/oder durch Ausgestaltung einer entsprechenden elektronischen Verschaltung erreicht sein.
- Vorzugsweise ist die Wärmebildkamera als Handgerät mit integrierter Energieversorgung ausgebildet.
- Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf dieses Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale des Ausführungsbeispiels untereinander und/oder mit einzelnen oder mehreren Merkmalen der Patentansprüche.
- Es zeigt:
-
1 eine erfindungsgemäße Wärmebildkamera in einer Schrägansicht von vorne, -
2 die Wärmebildkamera gemäß1 in einer Schrägansicht von hinten, -
3 eine Prinzipdarstellung des erfindungsgemäßen Verfahrens und -
4 eine detailliertere Prinzipdarstellung einzelner Verfahrensschritte des erfindungsgemäßen Verfahrens gemäß3 . -
1 zeigt eine im Ganzen mit1 bezeichnete Wärmebildkamera in einer Schrägansicht von vorne.2 zeigt die korrespondierende Schrägansicht der Wärmebildkamera1 aus1 von hinten. - Die Wärmebildkamera
1 weist eine Detektoreinheit2 auf, die in an sich bekannter Weise zur Aufnahme von IR-Bildern eingerichtet ist. - Die Wärmebildkamera
1 verfügt ferner über eine VIS-Kamera3 , die in an sich bekannter Weise zur Aufnahme von VIS-Bildern eingerichtet ist. - Die Detektoreinheit
2 und die VIS-Kamera3 erzeugen jeweils Datenfelder, mit denen eine im Inneren der Wärmebildkamera1 angeordnete Bildverarbeitungseinheit4 – die in1 und in2 nur angedeutet und nicht weiter ersichtlich ist – gespeist wird. - An den Datenausgang der Bildverarbeitungseinheit
4 ist eine farbfähige Anzeigeeinheit5 angeschlossen. Die Anzeigeeinheit5 ist bei der Wärmebildkamera1 als Display ausgebildet und in das Gehäuse6 der Wärmebildkamera1 integriert. - Die Wärmebildkamera
1 ist mit einem Griff7 als Handgerät ausgestattet, und es ist eine Energieversorgung8 zum Betrieb der Wärmebildkamera1 in den Griff7 bzw. das Gehäuse6 integriert. - In der Bildverarbeitungseinheit
4 der Wärmebildkamera1 wird das erfindungsgemäße Verfahren ausgeführt, welches anhand der3 und4 im Folgenden näher beschrieben wird. - Das in
3 dargestellte Verfahren beginnt mit der Bereitstellung eines IR-Bildes9 . - Das IR-Bild
9 zeigt eine mit der Detektoreinheit2 aufgenommene Szene10 , die hier der Einfachheit halber durch symbolische Wellenlinien angedeutet wird. - Die Messwerte
11 der Szene10 liegen als Datenfelder12 in Farbkanälen eines Farbraums vor. -
3 zeigt zur Verdeutlichung des Prinzips das Datenfeld12 als eindimensionales Datenfeld, obwohl die IR-Bilder9 tatsächlich als zweidimensionales Datenfeld vorliegen. Es wird ferner zur Vereinfachung nur das Datenfeld12 eines einzigen Farbkanals gezeigt. Die Bearbeitung der übrigen Farbkanäle vollzieht sich völlig analog. - Auf das Datenfeld
12 wird nun ein Frequenzanalyseverfahren angewendet. Als Ergebnis steht ein transformiertes Datenfeld13 bereit, welches in4 ersichtlich ist. - Das transformierte Datenfeld
13 ist über einem Frequenzraum14 gebildet und enthält die mit dem Frequenzanalyseverfahren berechneten transformierten Datenfeldeinträge15 zu den Messwerten11 . - Auch hier wurde in
4 zur Vereinfachung der Darstellung ein eindimensionaler Frequenzraum14 gewählt, obwohl der tatsächlich verwendete Frequenzraum zu dem IR-Bild9 zweidimensional ist. - In einem Auswahlschritt
16 werden aus dem transformierten Datenfeld13 niederfrequente transformierte Datenfeldeinträge17 ausgewählt. Dieser niederfrequente Anteil des transformierten Datenfeldes13 , der in der Prinzipskizze gemäß4 insbesondere die beiden symbolisch dargestellten Spitzenwerte18 nicht enthält, wird zur Weiterverarbeitung bereitgehalten. - In
3 ist weiter ein VIS-Bild19 ersichtlich, welches mit der VIS-Kamera3 der Wärmebildkamera1 zeitgleich oder in zeitlicher Nähe zu dem IR-Bild9 von der Szene10 aufgenommen wurde. Detektoreinheit2 und VIS-Kamera3 sind hierzu optisch geeignet aufeinander ausgerichtet. - Da das IR-Bild
9 im infraroten Spektralbereich aufgenommen wurde, während das VIS-Bild im sichtbaren Spektralbereich aufgenommen wurde, unterscheiden sich die Darstellungen der Szene10 in den Bildern9 ,19 , wie schematisch durch unterschiedliche Muster angedeutet. - Das VIS-Bild
19 liegt als Datenfeld20 mit Datenfeldeinträgen21 vor. - Hierbei kann das VIS-Bild
19 als Schwarzweiß-Bild, als Farbkanal eines Farbbildes, als Schwarzweiß- bzw. Helligkeits-Komponente eines Farbbildes oder auf sonstige Weise vorliegen. - Mit einem Frequenzanalyseverfahren, welches zu dem auf das Datenfeld
12 angewendeten Frequenzanalyseverfahren identisch sein kann oder welches sich von jenem Frequenzanalyseverfahren durch einen anderen Parametrierungssatz unterscheiden kann, wird aus dem Datenfeld20 ein weiteres transformiertes Datenfeld22 erzeugt, welches in4 ersichtlich ist. Ein derartiger Parametrierungssatz berücksichtigt beispielsweise unterschiedliche Bildauflösungen, eine fehlerhafte Registrierung, Abbildungsfehler und dergleichen mehr. - Das weitere transformierte Datenfeld
22 enthält somit transformierte Datenfeldeinträge23 über dem Frequenzraum14 , der auch hier der Einfachheit halber nur eindimensional dargestellt ist. - In einem Auswahlschritt
24 werden die hochfrequenten transformierten Datenfeldeinträge25 der transformierten Datenfeldeinträge23 zur Weiterverarbeitung ausgewählt. - Bei Anwendung des inversen Frequenzanalyseverfahrens auf die ausgewählten niederfrequenten transformierten Datenfeldeinträge
17 würde sich somit das Zwischenbild26 gemäß3 ergeben, bei Anwendung des inversen Frequenzanalyseverfahrens auf die hochfrequenten transformierten Datenfeldeinträge25 dagegen das Zwischenbild27 in3 . - In einem Kombinationsschritt
28 wird schließlich ein kombiniertes Datenfeld29 erzeugt, welches die niederfrequenten transformierten Datenfeldeinträge17 des transformierten Datenfeldes13 zu dem jeweils betrachteten Farbkanal des IR-Bildes9 als niederfrequenten Anteil und die hochfrequenten transformierten Datenfeldeinträge25 des weiteren transformierten Datenfelds22 zu dem VIS-Bild19 als hochfrequenten Anteil enthält. - Durch Anwendung des inversen Frequenzanalyseverfahrens ergibt sich so ein aufbereitetes Datenfeld
30 mit aufbereiteten Datenfeldeinträgen31 über Ortsraum32 . Dieser Ortsraum32 kennzeichnet die Bildpositionen im IR-Bild9 und im VIS-Bild19 . Der Ortsraum32 ist somit ebenfalls zweidimensional. - Das aufbereitete Datenfeld
30 wird schließlich in einem Ausgabeschritt33 als aufbereitetes IR-Bild34 auf der Anzeigeeinheit5 der Wärmebildkamera1 bereitgestellt und ausgegeben. - Wie aus den Zeichnungen ersichtlich ist, wird in dem Auswahlschritt
16 der Anteil des transformierten Datenfelds13 ausgewählt, welcher unterhalb eines als obere Schranke vorgegebenen Schrankenwerts liegt. Dagegen wird in dem weiteren transformierten Datenfeld22 der Anteil ausgewählt, welcher oberhalb eines als untere Schranke definierten Schrankenwerts liegt. - Insbesondere werden somit die niederfrequenten Anteile
35 des weiteren transformierten Datenfelds22 bei einer Weiterverarbeitung unterdrückt. - Im beschriebenen Ausführungsbeispiel fallen die Zahlenwerte von unterem Schrankenwert und oberem Schrankenwert zusammen, so dass nur ein gemeinsamer Schrankenwert vorliegt.
- Zur Ausführung des Frequenzanalyseverfahrens wird eine Transformation aus dem Ortsraum
32 in den Frequenzraum14 durchgeführt. Dies geschieht durch eine Integraltransformation bzw. (diskretisiert) durch eine Summentransformation. Das beschriebene Ausführungsbeispiel verwendet eine Wavelet-, Fourier- oder Cosinus-Transformation. Weitere Ausführungsbeispiele verwenden weitere, invertierbare Transformationsvorschriften zwischen Orts-32 und Frequenzraum14 . - In einem Kalibrierungsschritt, der beispielsweise bereits werkseitig vorgenommen werden kann, werden die Datenfelder des IR-Bildes
9 und des VIS-Bildes19 in Registrierung gebracht, so dass gleiche Punkte im Ortsraum32 der Darstellung der IR-Bilder9 und der VIS-Bilder19 korrespondierende Bildpunkte der Bilder9 ,19 bezeichnen. Um die Kombination im Kombinationsschritt28 zu erleichtern, wurden die Bildauflösungen der Datenfelder12 ,20 aneinander angepasst, so dass die Frequenzräume14 unmittelbar vergleichbar sind. - Wie bereits erwähnt, wird das in
3 und4 gezeigte Verfahren für die einzelnen Farbkanäle des bereits als Falschfarbenbild vorliegenden IR-Bildes9 getrennt durchgeführt, so dass insgesamt drei aufbereitete Datenfelder30 vorliegen. - Hierbei wird aber nur ein VIS-Bild
19 einmal verarbeitet. - Es werden somit für jeden Farbkanal des IR-Bildes
9 die jeweiligen niederfrequenten transformierten Datenfeldeinträge mit den für alle Farbkanäle gleichen hochfrequenten transformierten Datenfeldeinträgen25 des VIS-Bildes19 kombiniert. - In dem Ausgabeschritt
33 werden die aufbereiteten Datenfelder30 zu dem aufbereiteten IR-Bild34 kombiniert, in dem jeder Farbkanal mit der ihm zugehörigen Farbkomponente versehen wird. - Somit liegt wieder eine Falschfarbendarstellung vor, deren Farbwerte im Wesentlichen den Farbwerten des IR-Bildes
9 gleichen. - Da die als Display ausgebildete Anzeigeeinheit
5 aus Anordnungen von drei unterschiedlichen Farbpixeln in RGB-Codierung ausgestaltet ist, werden als Farbkanäle die Farbkanäle des RGB-Farbraums verwendet. Somit können die aufbereiteten Datenfelder30 der einzelnen Farbkanäle zur direkten Ansteuerung der jeweiligen Farbpixel verwendet werden. - Bei dem Verfahren zum Aufbereiten eines mit einer Wärmebildkamera
1 aufgenommenen IR-Bildes9 ist vorgesehen, dass für jeden Farbkanal des IR-Bildes9 das Datenfeld12 des IR-Bildes mit einem Frequenzanalyseverfahren in ein transformiertes Datenfeld13 über einem Frequenzraum14 umgewandelt wird, dass aus dem transformierten Datenfeld13 niederfrequente transformierte Datenfeldeinträge17 zur Weiterver arbeitung ausgewählt werden, dass mit der Wärmebildkamera1 ein VIS-Bild19 , welches im Wesentlichen oder genau dieselbe Szene10 wie das IR-Bild9 zeigt, aufgenommen wird, dass das Datenfeld20 des VIS-Bildes19 mit einem Frequenzanalyseverfahren in den Frequenzraum14 transformiert wird, dass zur Weiterverarbeitung aus dem transformierten Datenfeld22 des VIS-Bildes19 hochfrequente transformierte Datenfeldeinträge25 ausgewählt werden, dass aus dem niederfrequenten Anteil17 des transformierten IR-Bildes9 und dem hochfrequenten Anteil25 des VIS-Bildes19 ein kombiniertes Datenfeld29 für jeden Farbkanal erstellt wird und dass die kombinierten Datenfelder29 zu einem aufbereiteten IR-Bild34 in Falschfarbendarstellung kombiniert werden. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- EP 1299699 B1 [0004]
Claims (10)
- Wärmebildkamera (
1 ) mit einer Detektoreinheit (2 ) zur Aufnahme von IR-Bildern (9 ), mit einer VIS-Kamera (3 ) zur Aufnahme von VIS-Bildern (19 ), mit einer von der Detektoreinheit (2 ) und der VIS-Kamera (3 ) mit Datenfeldern (12 ,20 ) gespeisten Bildverarbeitungseinheit (4 ) und mit einer an einen Datenausgang der Bildverarbeitungseinheit (4 ) angeschlossenen, vorzugsweise farbfähigen Anzeigeeinheit (5 ), dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (4 ) zur Ausführung eines Verfahrens zum Aufbereiten eines IR-Bildes (9 ), wobei das IR-Bild (9 ) eine aufgenommene Szene (10 ) zeigt und Messwerte (11 ) der Szene (10 ) codiert als Datenfelder (12 ) in Farbkanälen eines Farbraums enthält, wobei auf das Datenfeld (12 ) jedes Farbkanals ein Frequenzanalyseverfahren angewendet wird, bei welchem Frequenzanalyseverfahren zu dem Datenfeld (12 ) ein transformiertes Datenfeld (13 ) in einem Frequenzraum (14 ) mit transformierten Datenfeldeinträgen (15 ) generiert wird, wobei für jeden Farbkanal niederfrequente transformierte Datenfeldeinträge (17 ) des jeweiligen transformierten Datenfeldes (13 ) zur Weiterverarbeitung ausgewählt werden, wobei auf das Datenfeld (20 ) eines VIS-Bildes (19 ) der aufgenommenen Szene (10 ) ein Frequenzanalyseverfahren angewendet wird, bei welchem Frequenzanalyseverfahren ein weiteres transformiertes Datenfeld (22 ) in dem Frequenzraum (14 ) mit transformierten Datenfeldeinträgen (23 ) generiert wird, wobei hochfrequente transformierte Datenfeldeinträge (25 ) des weiteren transformierten Datenfeldes (22 ) zur Weiterverarbeitung ausgewählt werden, wobei für jeden Farbkanal ein kombiniertes Datenfeld (29 ) im Frequenzraum (14 ) mit den ausgewählten Datenfeldeinträgen (17 ) des transformierten Datenfeldes (13 ) des Farbkanals und den ausgewählten Datenfeldeinträgen (25 ) des weiteren transformierten Datenfeldes (22 ) des VIS-Bildes (19 ) befüllt wird, wobei auf das für jeden Farbkanal generierte, kombinierte Datenfeld (29 ) ein inverses Frequenzanalyseverfahren angewendet wird und wobei die Ergebnisse (30 ) des inversen Frequenzanalyseverfahrens als Farbkanäle eines aufbereiteten IR-Bildes (34 ) bereitgestellt werden, eingerichtet ist und dass die Anzeigeeinheit (5 ) zur Anzeige des aufbereiteten IR-Bildes (34 ) an die Bildverarbeitungseinheit (4 ) angeschlossen ist. - Wärmebildkamera nach Anspruch 1, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren das Datenfeld (
20 ) des VIS-Bildes (19 ) vor Anwendung des Frequenzanalyseverfahrens auf die Schwarzweiß-Information des VIS-Bildes (19 ) oder die Bildinformation des VIS-Bildes (19 ) in einem Farbkanal reduziert wird. - Wärmebildkamera nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren die niederfrequenten transformierten Datenfelder (
17 ) durch eine obere Schranke im Frequenzraum (14 ) definiert werden und/oder dass die hochfrequenten transformierten Datenfelder (25 ) durch eine untere Schranke im Frequenzraum (14 ) definiert werden. - Wärmebildkamera nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren als obere Schranke und als untere Schranke ein gemeinsamer Schrankenwert verwendet wird.
- Wärmebildkamera nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren während des Frequenzanalyseverfahrens eine Integraltransformation oder Summentransformation berechnet wird, insbesondere dass eine Wavelet-Transformation ausgeführt wird.
- Wärmebildkamera nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren die Datenfelder (
12 ,20 ) des IR-Bildes (9 ) und des VIS-Bildes (19 ) vor dem Frequenzanalyseverfahren in Registrierung gebracht werden. - Wärmebildkamera nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren die Datenfelder (
12 ,20 ) des IR-Bildes (9 ) und des VIS-Bildes (19 ) vor dem Frequenzanalyseverfahren an eine Auflösung des aufbereiteten IR-Bildes (34 ) angepasst werden. - Wärmebildkamera nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren das IR-Bild (
9 ) und das VIS-Bild (19 ) mit einer Wärmebildkamera (1 ) aufgenommen werden, vorzugsweise zeitgleich oder mit geringem zeitlichem Abstand. - Wärmebildkamera nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren das aufbereitete IR-Bild (
34 ) auf einer Anzeigeeinheit (5 ), insbesondere als Falschfarbenbild, einer Wärmebildkamera (1 ) ausgegeben wird, insbesondere wobei die Auflösung des aufbereiteten IR-Bildes (34 ) durch eine Auflösung der Anzeigeeinheit (5 ) bestimmt wird. - Wärmebildkamera nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bei dem ausführbaren Verfahren als Farbkanäle die Farbkanäle des RGB-Farbraums verwendet werden.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE202010017860U DE202010017860U1 (de) | 2010-10-06 | 2010-10-06 | Wärmebildkamera |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010047675A DE102010047675A1 (de) | 2010-10-06 | 2010-10-06 | Verfahren zum Aufbereiten eines IR-Bildes und korrespondierende Wärmebildkamera |
DE202010017860U DE202010017860U1 (de) | 2010-10-06 | 2010-10-06 | Wärmebildkamera |
Publications (1)
Publication Number | Publication Date |
---|---|
DE202010017860U1 true DE202010017860U1 (de) | 2013-01-15 |
Family
ID=50821709
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE202010017860U Expired - Lifetime DE202010017860U1 (de) | 2010-10-06 | 2010-10-06 | Wärmebildkamera |
DE102010047675A Withdrawn DE102010047675A1 (de) | 2010-10-06 | 2010-10-06 | Verfahren zum Aufbereiten eines IR-Bildes und korrespondierende Wärmebildkamera |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010047675A Withdrawn DE102010047675A1 (de) | 2010-10-06 | 2010-10-06 | Verfahren zum Aufbereiten eines IR-Bildes und korrespondierende Wärmebildkamera |
Country Status (1)
Country | Link |
---|---|
DE (2) | DE202010017860U1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019209282A1 (de) * | 2019-06-26 | 2020-12-31 | Robert Bosch Gmbh | Verfahren zum Erhalten einer Infrarotdarstellung einer Bildsituation und Recheneinheit, System und Computerprogramm zu dessen Durchführung |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1299699B1 (de) | 2000-06-16 | 2006-08-09 | Flir Systems AB | Überwachungssystem für abbildungen und regionen verschiedener wellenlänge |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
US5949914A (en) * | 1997-03-17 | 1999-09-07 | Space Imaging Lp | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
US20050190990A1 (en) * | 2004-01-27 | 2005-09-01 | Burt Peter J. | Method and apparatus for combining a plurality of images |
EP2197199B1 (de) * | 2008-12-12 | 2017-10-18 | Testo SE & Co. KGaA | Wärmebildkamera und Verfahren zur Konstruktion eines thermografischen Bildes |
-
2010
- 2010-10-06 DE DE202010017860U patent/DE202010017860U1/de not_active Expired - Lifetime
- 2010-10-06 DE DE102010047675A patent/DE102010047675A1/de not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1299699B1 (de) | 2000-06-16 | 2006-08-09 | Flir Systems AB | Überwachungssystem für abbildungen und regionen verschiedener wellenlänge |
Also Published As
Publication number | Publication date |
---|---|
DE102010047675A1 (de) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE602004009702T2 (de) | Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten | |
DE60017600T2 (de) | Digitales bilderzeugungsverfahren | |
DE102004007649A1 (de) | System und Verfahren zum Analysieren eines digitalen Bildes | |
DE112016001040T5 (de) | Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang | |
DE102016112968B4 (de) | Bestimmung von Farbwerten für Pixel an Zwischenpositionen | |
DE10150428A1 (de) | Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts | |
WO2012072151A1 (de) | Verfahren zur aufbereitung von bildern in nicht-sichtbaren spektralbereichen und korrespondierende kamera und messanordnung | |
EP3289398A1 (de) | Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen | |
DE10213284A1 (de) | Verfahren zur Bilddarstellung in der medizinischen Bildgebung | |
EP2790408A1 (de) | Verfahren zur komprimierten Speicherung von grafischen Daten | |
DE69724200T2 (de) | Verfahren und Vorrichtung zur Erzeugung einer digitalen Bilddarstellung | |
DE102004056589A1 (de) | Verfahren und Vorrichtung zur Durchführung segmentierungsbasierter Bildoperationen | |
EP1323294B1 (de) | Verfahren und vorrichtung zum proofen von gerasterten druckdaten unter beibehaltung der rasterinformation | |
EP1562366A1 (de) | Verfahren zur Korrektur der Bilddaten eines Kamerasystems | |
DE202010017860U1 (de) | Wärmebildkamera | |
DE102006012943A1 (de) | Verfahren zur automatischen Auswertung eines Abbildungsdatensatzes eines Objektes und medizinisches Abbildungssystem | |
EP1252757A2 (de) | Verfahren und vorrichtung zur veränderung der farbsättigung elektronisch erfasster bilder | |
DE102017011562A1 (de) | Verfahren zur Umwandlung eines Rohbilds in ein Farbbild | |
EP1922871B1 (de) | Übertragung von nutzdaten im bildsignal eines kamerasystems | |
DE60207745T2 (de) | Intensitätskorrektur bei zusammengesetzten mosaikbildern in der computer-radiographie | |
DE102015208084A1 (de) | Verfahren zum Generieren eines Kontrastbildes einer Objektbeschaffenheit und diesbezügliche Vorrichtungen | |
DE102006048847A1 (de) | Anpassung eines digitalen Bildes für die Anzeige auf einem Bildschirm | |
DE102010005265A1 (de) | Verfahren zur überlagerten Darstellung korrespondierender Bilder und Bildaufnahmevorrichtung | |
DE102011002907A1 (de) | Verfahren zur rechnergestützten Verarbeitung digitalisierter Bilder | |
EP3596914A1 (de) | Farbreferenz zur kalibrierung einer dentalen farbkamera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R207 | Utility model specification |
Effective date: 20130307 |
|
R150 | Utility model maintained after payment of first maintenance fee after three years |
Effective date: 20140123 |
|
R151 | Utility model maintained after payment of second maintenance fee after six years | ||
R152 | Utility model maintained after payment of third maintenance fee after eight years | ||
R071 | Expiry of right |