DE102019121557B4 - Kamera sowie Verfahren - Google Patents

Kamera sowie Verfahren Download PDF

Info

Publication number
DE102019121557B4
DE102019121557B4 DE102019121557.9A DE102019121557A DE102019121557B4 DE 102019121557 B4 DE102019121557 B4 DE 102019121557B4 DE 102019121557 A DE102019121557 A DE 102019121557A DE 102019121557 B4 DE102019121557 B4 DE 102019121557B4
Authority
DE
Germany
Prior art keywords
camera
image
marking
carrier
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019121557.9A
Other languages
English (en)
Other versions
DE102019121557A1 (de
Inventor
Marco Grimm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Basler AG
Original Assignee
Basler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler AG filed Critical Basler AG
Priority to DE102019121557.9A priority Critical patent/DE102019121557B4/de
Priority to CN202080056533.5A priority patent/CN114342347A/zh
Priority to PCT/EP2020/068118 priority patent/WO2021028107A1/de
Publication of DE102019121557A1 publication Critical patent/DE102019121557A1/de
Application granted granted Critical
Publication of DE102019121557B4 publication Critical patent/DE102019121557B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

Kamera (10) mit einem elektronischen Bildsensor (40), dadurch gekennzeichnet, dass in einem Strahlengang (14) vor dem Bildsensor (40) mindestens eine Markierung (54) zum Erkennen einer Beleuchtungssituation und/oder von Störstrukturen (74, 76, 88) angeordnet ist.

Description

  • Die Erfindung betrifft zunächst eine Kamera mit einem elektronischen Bildsensor. Darüber hinaus hat die Erfindung ein Verfahren zum Bearbeiten eines Bildes, das mittels einer Kamera mit einem elektronischen Bildsensor aufgenommen wird oder wurde, zum Gegenstand.
  • Aus dem Stand der Technik sind elektronische Kameras mit CMOS-Chips als Bildsensoren in einer großen Variationsbreite bekannt. Weiterhin sind mathematische Algorithmen zur numerischen Auf- und Bearbeitung der von einem Bildsensor gelieferten digitalen Bilder bzw. digitalen Bilddaten aus dem Stand der Technik hinlänglich bekannt.
  • Mittels eines derartigen Algorithmus lässt sich aus einem von einem Bildsensor gelieferten Bild beispielsweise alles herausrechnen, was eine Störstruktur ist. Unter dem Begriff einer Störstruktur werden in diesem Zusammenhang vor allem ungewollte Verschmutzungen bzw. Kontaminationen und/oder fertigungsbedingte Fehler an Komponenten im Strahlengang der elektronischen Kamera oder des Kameraobjektives verstanden, die nicht von dem mittels der Kamera abzubildenden realen Objekt herrühren.
  • Durch die aufwändigen numerischen Bereinigungsprozesse können jedoch auch unbeabsichtigt reale und das Objekt ordnungsgemäß wiedergebende Bildinhalte unwiderruflich eliminiert werden. Infolgedessen ist keine verlässliche authentische Bildwiedergabe des abzubildenden Objekts durch die elektronische Kamera mehr gegeben. Weiterführender Stand der Technik ist in der US 2003 / 0 193 604 A1 und in der DE 102 01 522 A1 gezeigt.
  • Eine Aufgabe der Erfindung ist es daher, eine elektronische Kamera bereitzustellen, bei der eine unbeabsichtigte Elimination realer Bildinhalte durch mathematische Algorithmen zur Entfernung von Störstrukturen an Komponenten im Strahlengang, insbesondere in der Form von Verschmutzungen, weitestgehend unterbleibt.
  • Die eingangs genannte Aufgabe wird zunächst dadurch gelöst, dass in einem Strahlengang vor dem Bildsensor mindestens eine Markierung zum Erkennen einer Beleuchtungssituation und/oder von Störstrukturen angeordnet ist.
  • Hierdurch kann zunächst die aktuelle Blende geschätzt werden, so dass ein Rückschluss auf eine Beleuchtungssituation der elektronischen Kamera möglich ist. Die räumliche Position der mindestens einen Markierung in Bezug zu dem Bildsensor, die Größe sowie die Form der Markierung sind genau bekannt, so dass die Lage und die Geometrie eines von der Markierung hervorgerufenen Schattens bzw. einer Abschattung auf dem Bildsensor ebenfalls bekannt sind. Die Schätzung der Blende bzw. der Blendenzahl erfolgt anhand des von der mindestens einen Markierung auf die Oberfläche des Bildsensors geworfenen Schattens, der sich zum Beispiel diffus bzw. verschwommen oder kontraststark bzw. scharf konturiert abzeichnen kann. Bei einer hinreichenden Beleuchtungssituation kann dann alles, was einen ähnlichen Schatten wie die Markierung auf dem Bildsensor erzeugt, als eine Störstruktur identifiziert und mittels eines geeigneten mathematischen Algorithmus zur Bildverarbeitung aus dem Bild herausgerechnet werden. Hierdurch bleiben die realen Original-Bildinformationen unbeeinträchtigt erhalten. Ein versehentliches Löschen der realen Bildstrukturen wird vermieden, wenn diese nicht zu der erkannten aktuellen Beleuchtungssituation bzw. der geschätzten Blendenzahl der Kamera passen. Der Markierungsschatten wird vorzugsweise abschließend aus dem Bild heraus gerechnet. Der erforderliche Suchraum zur Bildbearbeitung wird wesentlich reduziert, so dass der betreffende Algorithmus mit weniger Codezeilen auskommt und schneller ausführbar ist. Die erfindungsgemäße elektronische Kamera ist zum Beispiel für Fließband- und Mikroskopanwendungen vorgesehen. Eine hinreichende Beleuchtungssituation ist insbesondere dann anzunehmen, wenn die geschätzte Blendenzahl k gleich f/16, f/27 oder größer ist. In einer solchen Konstellation ist eine kleine Blendenöffnung gegeben, wodurch das resultierende Bild eine hohe Tiefenschärfe aufweist und sich das Herausrechnen von Störstrukturen mittels geeigneter Algorithmen zur Bildverarbeitung einfacher gestaltet.
  • Vorzugsweise ist die mindestens eine Markierung in einen für optische Strahlung durchlässigen Träger eingebracht. Bei dem Träger kann es sich beispielsweise um ein Sensorglas handeln. Das Sensorglas ist fest in die Kamera eingebaut und nicht austauschbar wie zum Beispiel ein Vorsatzfilter, so dass der Fehlerfreiheit eine herausgehobene Bedeutung zukommt. Die integrale Ausbildung der Markierung auf und/oder in dem Sensorglas ist zudem mechanisch sehr robust. Weiterhin kann der Träger als ein fest in die Kamera eingebauter Filter, wie zum Beispiel ein so genannter IR-Cut-Filter ausgebildet sein.
  • Bei einer technisch vorteilhaften Ausgestaltung ist die mindestens eine Markierung in eine Trägeraußenfläche eingebracht. Hierdurch ist ein axialer Abstand zwischen der Markierung und dem Bildsensor genau bestimmt. Die Herstellung der Markierung kann beispielsweise mittels eines Lasers erfolgen.
  • Bevorzugt ist die Markierung vom Trägerrand beabstandet angeordnet. In einem Randbereich des Trägers sind für gewöhnlich optische Verzerrungen nicht vollständig auszuschließen. Durch die außerrandseitige Positionierung der Markierung in Richtung der optischen Achse wird der Einfluss etwaiger randseitiger optischer Verzerrungen reduziert. Der umlaufende Randbereich weist im Allgemeinen eine Breite von etwa 10% bis 30% von einer Sensorbreite und einer Sensorhöhe auf.
  • Im Fall einer weiteren Ausgestaltung ist die Markierung auf der optischen Achse angeordnet. Die hierdurch gegebene zentrale Position der Markierung im späteren Bild erleichtert das Auffinden der von der Markierung hervorgerufenen Abschattung. Außerdem ist der Schatten der Markierung in der zentralen Position weitgehend frei von unerwünschten optischen Verzerrungen.
  • Vorzugsweise ist die Markierung linienhaft oder flächenhaft, insbesondere punkt- oder kreisförmig, ausgebildet. Aufgrund der bevorzugt regelmäßigen Geometrie und Ausdehnung der Markierung in der Bildebene ist eine gute Erkennbarkeit durch bekannte mathematische Algorithmen zur digitalen Bildbearbeitung gegeben. Eine Größe der Markierung kann zum Beispiel in einem Bereich von 10 µm bis 50 µm liegen.
  • Bei einer günstigen Weiterbildung umfasst die Kamera eine Rechnereinheit, die dazu eingerichtet ist, in einem erfassten Bild die Beleuchtungssituation anhand der mindestens einen Markierung zu erfassen und damit Störstrukturen zu erkennen und aus dem Bild herauszurechnen. Infolgedessen ist bei einer hinreichenden Beleuchtungssituation die Erkennung von Störstrukturen und deren Bereinigung, das heißt die Entfernung des von den Störstrukturen hervorgerufenen Schattens bzw. der hierdurch verursachten Bildfehler in dem digitalen Bild realisierbar.
  • Darüber hinaus wird die eingangs genannte Aufgabe durch ein Verfahren zum Bearbeiten eines Bildes, das mittels einer Kamera mit einem elektronischen Bildsensor aufgenommen wird oder wurde, insbesondere mittels einer Kamera nach Maßgabe mindestens eines der Patentansprüche 1 bis 7, umfassend die folgende Schritte gelöst:
    • a) Suchen einer Wiedergabe mindestens einer in einem Strahlengang der Kamera angeordneten Markierung insbesondere zum Erfassen einer Beleuchtungssituation, und
    • b) Entscheiden, basierend auf einem Ergebnis des Suchens und der hierdurch erfassten Beleuchtungssituation, ob das Bild nach Störstrukturen durchsucht wird.
  • Hierdurch lassen sich durch Störstrukturen, wie zum Beispiel Verschmutzungen, Fremdpartikel oder produktionsbedingte Störstellen, hervorgerufene Abbildungsfehler in dem vom Bildsensor erzeugten Bild ohne die Gefahr einer unbeabsichtigten Verfälschung von realen Bildteilen einfacher heraus rechnen. Die Entscheidung, ob nach der Schätzung der Beleuchtungssituation eine Durchsuchung des Bildes nach Störstrukturen und deren Herausrechnen in einem weiteren Schritt erfolgt, hängt vorrangig von dem Ergebnis der im Schritt a) vollzogenen Erfassung der Beleuchtungssituation, insbesondere der geschätzten Blende ab. Eine große Blendenzahl mit kleiner Blendenöffnung bewirkt eine hohe Tiefenschärfe des vom Bildsensor erzeugten Bildes, so dass sich die Schatten von etwaigen Störstrukturen im Allgemeinen besonders konturscharf im digitalen Bild abzeichnen und daher besonders beeinträchtigend sind.
  • Bei einer Fortbildung des Verfahrens ist vorgesehen, dass zur Erkennung der Beleuchtungssituation anhand der Wiedergabe der mindestens einen Markierung in dem vom Bildsensor generierten Bild insbesondere eine eingestellte Blendenzahl geschätzt wird. Infolgedessen ist eine hinreichend präzise Bestimmung der Beleuchtungssituation der elektronischen Kamera, das heißt insbesondere zumindest eine Abschätzung der aktuell eingestellten Blende möglich.
  • Im Fall einer günstigen Ausgestaltung des Verfahrens wird eine aufgefundene Störstruktur in dem Bild mittels einer Rechnereinheit zumindest teilweise herausgerechnet. Hierdurch lassen sich die ermittelten Störstrukturen in dem mittels des Bildsensors aufgenommenen Bild bei geeigneter Beleuchtungssituation einfacher mittels eines geeigneten Algorithmus zur Bildverarbeitung vollautomatisch entfernen. Die digitale Recheneinheit verfügt zu diesem Zweck über eine Leistungsstärke, die eine Elimination der unerwünschten Störstrukturen aus dem Bild in Echtzeit ermöglicht.
  • Im Folgenden wird ein bevorzugtes Ausführungsbeispiel der Erfindung anhand von schematischen Figuren näher erläutert. Es zeigen
    • 1 einen schematischen Längsschnitt einer erfindungsgemäßen elektronischen Kamera,
    • 2 ein mit einer Blendenzahl von k gleich f/16 erzeugtes Bild der elektronischen Kamera, und
    • 3 ein mit einer Blendenzahl von k gleich f/27 erzeugtes Bild der elektronischen Kamera.
  • Die 1 illustriert einen schematischen Längsschnitt einer erfindungsgemäßen elektronischen Kamera.
  • Eine Kamera 10 umfasst unter anderem ein näherungsweise hohlzylindrisches Gehäuse 12 mit einem Strahlengang 14 und einer optischen Achse 16. Das Gehäuse 12 ist im Wesentlichen rotationssymmetrisch zu der optischen Achse 16 aufgebaut. Entlang der optischen Achse 16 sind ein Objektiv 20 mit mindestens einer Linse, eine Blende 26, ein erster Träger 30, ein zweiter Träger 34 sowie ein elektronischer Bildsensor 40, wie zum Beispiel ein CMOS-Chip 42 oder dergleichen angeordnet. Die beiden plattenförmigen Träger 30, 34 sind parallel beabstandet zueinander positioniert, jeweils für optische Strahlung durchlässig und senkrecht zur optischen Achse 16 ausgerichtet. Der erste Träger 30 ist hier lediglich exemplarisch als ein so genannter IR-Cut-Filter 46 und der zweiter Träger 34 ist hier nur beispielhaft als ein Sensorglas 50 ausgebildet. Sowohl der IR-Cut-Filter 46 als auch das Sensorglas 50 sind fest in das Kameragehäuse 12 eingebaut.
  • Innerhalb des Strahlengangs 14 ist vor dem Bildsensor 40 eine definierte Markierung 54 hier lediglich beispielhaft radial außerhalb der optischen Achse 16 des Strahlengangs 14 angeordnet. Die Markierung 54 ist zu diesem Zweck in einer Trägeraußenfläche 60 bzw. einer in Richtung des Objektivs 20 weisenden Sensorglasaußenfläche 62 des zweiten Trägers 34 bzw. des Sensorglases 50 des elektronischen Bildsensors 40 ausgebildet. Darüber hinaus ist die Markierung 54 von einem umfangsseitig umlaufenden Trägerrand 56 des zweiten Trägers 34 beabstandet angeordnet, wobei der rahmenartige Trägerrand 56 ca. 10% bis 30% einer nicht bezeichneten Höhe und Breite des zweiten Trägers 34 einnimmt.
  • Die Markierung 54 kann zum Beispiel mittels eines Lasers, mithilfe bekannter Lasergravurverfahren, durch chemisches Ätzen oder mittels anderer materialabtragender Verfahren während oder nach dem Fertigungsprozess des Trägers 34 hergestellt werden. Die Markierung 54 kann grundsätzlich eine beliebige Geometrie und Flächenausdehnung aufweisen. Beispielsweise kann die Markierung 54 linienhaft oder beliebig flächenhaft, wie zum Beispiel punktförmig, kreisförmig, elliptisch, oval, vieleckig etc. ausgeführt sein. Darüber hinaus kann die Markierung 54 eine regel- oder unregelmäßige, rasterartige bzw. musterartige Gestalt aufweisen, die beispielsweise durch eine auf einen begrenzten Flächenbereich des zweiten Trägers 34 beschränkte, regelmäßige Wiederholung geometrischer Strukturen, wie Punkte, Kreise, Ellipsen, Ovale, Geraden, Bögen, Vielecke oder dergleichen realisiert sein kann. Alternativ kann die Markierung mit mindestens einem grafischen codeähnlichen Symbol oder einem Piktogramm, insbesondere einer Zahl, einem Buchstaben oder dergleichen gebildet sein, die mittels eines OCR-Algorithmus (so genannte „Optical Character Recognition“) besonders einfach erkennbar und auswertbar ist. Eine Größe der mindestens einen Markierung 54 des Trägers 34 beträgt bevorzugt in Längs- und Querrichtung zwischen 10 µm und 50 µm, jeweils einschließlich der Intervallgrenzen. In jedem Fall bewirkt die Markierung 54 im Vergleich zu übrigen Zonen des zweiten Trägers 34 eine zumindest geringfügige Schwächung des durchtretenden Lichts bzw. der optischen Strahlung.
  • Dem elektronischen Bildsensor 40 ist hier exemplarisch eine leistungsfähige digitale Rechnereinheit 66 zugeordnet, die bevorzugt direkt in die Kamera 10 integriert ist. Alternativ kann die Rechnereinheit 66 auch mit einem mit der Kamera 10 verbundenen, leistungsstarken externen PC realisiert sein, auf dem dann ein Algorithmus zur Detektion der definiert ausgebildeten Markierung 54 ausgeführt wird. Eine derartige Konstellation ist dann besonders vorteilhaft, wenn die Rechenleistung einer in die Kamera 10 integrierten Rechnereinheit 66 nicht hinreichend hoch ist. Mithilfe der Rechnereinheit 66 und darauf implementierter mathematischer Algorithmen zur numerischen Bildbearbeitung lässt sich ein von dem elektronischen Bildsensor 40 generiertes digitales Bild 70 vorzugsweise in Echtzeit erkennen und bearbeiten.
  • Auf der Trägeraußenfläche 60 des zweiten Trägers 34 befinden sich hier beispielhaft zwei Störstrukturen 74, 76. Bei diesen Störstrukturen 74, 76 kann es sich um Schmutzpartikel, Fremdpartikel wie Fussel, Pollen, Mikroorganismen, Fettteilchen, Staubteilchen oder dergleichen handeln. Die erste Störstruktur 74 befindet sich im Bereich der optischen Achse 16, während sich die zweite Störstruktur 76 radial außerhalb versetzt zu der optischen Achse 16 befindet. Bei den beiden Störstrukturen 74, 76 kann es sich grundsätzlich um äußere Fremdpartikel oder um produktionsbedingte Fehl- oder Störstellen, wie zum Beispiel Kratzer, Schleifspuren, Mikrorisse, Gas- oder Lufteinschlüsse etc. handeln, die sich in der Regel zumindest teilweise im Inneren des zweiten Trägers 34 befinden. Illustrativ befindet sich auf einer Trägeraußenfläche 80 des ersten Trägers 30 bzw. der in die Richtung des Objektivs 20 weisenden Filteraußenfläche 82 des IR-Cut-Filters 46 im Bereich der optischen Achse 16 ebenfalls eine Störstruktur 88 in Form eines Schmutzpartikels im Bereich der optischen Achse 16 der Kamera 10.
  • Die Blende 26 der Kamera 10 weist eine Blendenöffnung 90 mit einem Durchmesser D auf, während ein Abstand d zwischen der Blende 26 und einer Oberfläche 92 des elektronischen Bildsensors 40 gleich d ist, woraus sich hier beispielhaft eine Blendenzahl k gemäß der Beziehung k gleich d D
    Figure DE102019121557B4_0001
    ergibt.
  • Aufgrund der mit hoher Genauigkeit bekannten Geometrie, das heißt Ausdehnung sowie Form der definiert eingebrachten Markierung 54 ist auch ein von dieser auf dem Bildsensor 40 erzeugter Schatten 100 bzw. Markierungsschatten hinsichtlich Lage und Geometrie exakt bekannt und mittels der Rechnereinheit vergleichsweise einfach lokalisierbar und auswertbar.
  • Im Fall einer hohen Blendenzahl k ist in der Regel eine optimale Beleuchtungssituation gegeben und der Schatten 100 bzw. der Markierungsschatten ist aufgrund des sich dann einstellenden hohen Kontrastes sowie der großen Tiefenschärfe ausgezeichnet erkennbar und auswertbar, so dass auch die Störstrukturen 74, 76 leichter mit Hilfe eines Bildbearbeitungsalgorithmus der Rechnereinheit 66 auffindbar und gegebenenfalls bearbeitbar sind. Derartige Bildbearbeitungsalgorithmen sind dem auf dem Gebiet der digitalen Bildauswertung tätigen Fachmann aus dem Stand der Technik hinreichend geläufig.
  • Zum Auffinden der Störstrukturen 74, 76 kann das Bild 70 beispielsweise in ein nicht dargestelltes Grauwertebild umgewandelt werden und Bildpixel, die in einem bestimmten Grauwerteintervall liegen - der zum Beispiel durch eine Gauß'sche Verteilung um den Grauwert des Markierungsschattens definiert sein kann - als unerwünschte Störstrukturen mittels der Rechnereinheit 66 bewertet und herausgerechnet. Durch Beugungseffekte am Rand der Störstrukturen 74, 76 ist die Kontur der Störstrukturen 74, 76 weitestgehend irrelevant. Die mittels des Algorithmus zur Bildbearbeitung heraus gerechneten Störstrukturen 74, 76 können dann zum Beispiel durch die wahrscheinlichsten realen Bildstrukturen ersetzt werden, die sich wiederum anhand der unmittelbar an die Störstrukturen 74, 76 angrenzenden realen bzw. originalen Strukturen ergeben. Bevorzugterweise wird auch der Schatten 100 aus dem Bild 70 herausgerechnet.
  • Bei kleinen Blendenzahlen k stellt sich hingegen ein vergleichsweise verwaschener, unscharfer bzw. diffuser, kontrastarmer Schatten 100 auf dem Bildsensor 40 bzw. im digitalen Bild 70 ein, so dass sich auch das Herausrechnen der Störstrukturen 74, 76 mittels der Rechnereinheit und dem Algorithmus ungleich aufwändiger gestaltet und unter Umständen zur Erzielung optimaler Ergebnisse ohne eine Korrektur der Blendenzahl k nicht mehr praktikabel ist. Durch das Vorwissen, dass der Schatten 100 der Markierung 54 in diesem Fall kontrastarm ist, kann der Algorithmus so eingestellt bzw. parametriert werden, dass nicht versehentlich Strukturen im Bild herausgerechnet werden, die eine Ähnlichkeit zu kontrastreichen Schatten haben, worin der zentrale Vorteil der Erfindung zu sehen ist.
  • Die Kamera 10 ist vor allem für Fließband- und Mikroskopanwendungen vorgesehen. Je größer die Blendenzahl k gleich f/16, f/27, ... ist, desto kleiner ist der für den Lichtdurchtritt wirksame Öffnungsquerschnitt bzw. die Pupillenöffnung der Blendenöffnung 90 für das über das Objektiv 20 einfallende Licht und umso mehr Tiefenschärfe stellt sich in dem Bild 70 ein. Bei Mikroskopieanwendungen wird in der Regel eine hohe Tiefenschärfe angestrebt, so dass eine große Blendenzahl k vorteilhaft ist. Bei einer großen Blendenzahl k wird die Markierung 54 bzw. der Markierungsschatten mit einem besonders hohen Kontrast und randscharf im Bild 70 wiedergegeben. Infolgedessen lassen sich Störstrukturen 74, 76 mittels geeigneter mathematischer Algorithmen vergleichsweise leicht auffinden und bearbeiten. Die Kenntnis der Brennweite des Objektivs 20 ist bei Fließband- oder Mikroskopanwendungen der Kamera 10 in der Regel nicht notwendig.
  • Dieselben Überlegungen gelten analog für die Störstruktur 88 des ersten, objektivnahen Trägers 30 bzw. des IR-Cut-Filter 46 in der elektronischen Kamera 10.
  • Bei dem erfindungsgemäßen Verfahren zum Bearbeiten eines Bildes 70, das mittels einer Kamera mit einem elektronischen Bildsensor aufgenommen wird oder wurde, insbesondere mittels einer Kamera 10, erfolgt in einem ersten Verfahrensschritt a) das Suchen einer Wiedergabe bzw. des Schattens 100 mindestens einer in einem Strahlengang 14 der Kamera 10 angeordneten Markierung 54 insbesondere zum Erfassen einer Beleuchtungssituation der mindestens einen in dem Strahlengang 14 der Kamera 10 angeordneten Markierung 54, insbesondere zum Erfassen der aktuellen Beleuchtungssituation der Kamera 10. In einem nachfolgenden Verfahrensschritt b) erfolgt auf der Basis des Ergebnisses der Suche und der hierdurch erfassten Beleuchtungssituation im Verfahrensschritt a) die Entscheidung, ob das Bild 70 nach den etwaig vorhandenen und zu eliminierenden Störstrukturen 74, 76 durchsucht wird. Das Durchsuchen des Bildes 70 nach den Störstrukturen 74, 76 und deren abschließende Elimination mittels des Algorithmus ist in aller Regel nur praktikabel, wenn die Erfassung der Beleuchtungssituation im Verfahrensschritt a) eine hinreichend große Blendenzahl k gleich d D
    Figure DE102019121557B4_0002
    bzw. f/16, f/27, ... ergibt.
  • Die 2 zeigt ein mit einer Blendenzahl von k gleich f/16 erzeugte Bild der elektronischen Kamera von 1 und die 3 illustriert ein mit einer Blendenzahl von k gleich f/27 erzeugtes Bild der elektronischen Kamera von 1, wobei im weiteren Fortgang der Beschreibung zugleich auf die 2, 3 bezuggenommen wird.
  • Das Bild 70 verfügt beispielhaft über eine Auflösung von 600 Pixeln entlang der X-Achse und 600 Pixel in der Y-Achse. In der Bildmitte befindet sich jeweils die optische Achse 16. Dasselbe gilt für das digitale Bild 110 in der 3.
  • In der Darstellung von 2 ist die definiert eingebrachte Markierung 54 aufgrund der ungünstigen Beleuchtungssituation bzw. der niedrigen Blendenzahl k gleich f/16 und der hiermit verbundenen, kontrastschwachen verwaschenen Abbildung durch einen Algorithmus zur Bildauswertung nur schwer detektierbar und/oder bearbeitbar. Aufgrund der höheren Blendenzahl k gleich f/27 des digitalen Bildes 110 in der 3 und die damit einhergehende, deutlich günstigere Beleuchtungssituation ist die Markierung 54 leichter mittels eines Algorithmus erfassbar und bearbeitbar. Dasselbe gilt für die Störstruktur 74 (vgl. 1) des Sensorglases, die somit ebenfalls leichter mittels des im Rahmen der Beschreibung von 1 erläuterten Algorithmus aus dem Bild 110 herausrechenbar ist. Weitere nicht bezeichnete Störstrukturen in dem Bild 110 von 3 weisen einen vergleichsweise geringen Kontrast auf.
  • Die Erfindung betrifft zunächst eine Kamera 10 mit einem elektronischen Bildsensor 40. Erfindungsgemäß ist vorgesehen, dass in einem Strahlengang 14 vor dem Bildsensor 40 mindestens eine Markierung 54 zum Erkennen einer Beleuchtungssituation und/oder von Störstrukturen 74, 76, 88 angeordnet ist. Infolgedessen wird ein unbeabsichtigtes Entfernen realer Bildinhalte durch numerische Bearbeitungsalgorithmen zur Entfernung von Störstrukturen an Komponenten im Strahlengang, insbesondere in der Form von fertigungsbedingten Störstrukturen oder beim Betrieb der Kamera 10 auftretenden Verschmutzungen im Bereich eines IR-Cut-Filters 46 und/oder eines Sensorglases 50, weitestgehend vermieden. Darüber hinaus betrifft die Erfindung ein Verfahren zum Bearbeiten eines Bildes 70, das mittels einer Kamera 10 mit einem elektronischen Bildsensor 40 aufgenommen wird oder wurde.
  • Bezugszeichenliste
  • 10
    Kamera
    12
    Gehäuse
    14
    Strahlengang
    16
    optische Achse
    20
    Objektiv
    26
    Blende
    30
    erster Träger
    34
    zweiter Träger
    40
    elektronischer Bildsensor
    42
    CMOS-Chip
    46
    IR-Cut-Filter
    50
    Sensorglas
    54
    Markierung
    56
    Trägerrand
    60
    Trägeraußenfläche (zweiter Träger)
    62
    Sensorglasaußenfläche
    66
    digitale Rechnereinheit
    70
    digitales Bild
    74
    Störstruktur
    76
    Störstruktur
    80
    Trägeraußenfläche
    82
    Filteraußenfläche
    88
    Störstruktur
    90
    Blendenöffnung
    92
    Oberfläche (Bildsensor)
    100
    Schatten (Markierungsschatten)
    110
    digitales Bild
    D
    Blendenöffnung (Durchmesser)
    d, f
    Abstand, Brennweite
    k
    Blendenzahl, Blendenwert

Claims (10)

  1. Kamera (10) mit einem elektronischen Bildsensor (40), dadurch gekennzeichnet, dass in einem Strahlengang (14) vor dem Bildsensor (40) mindestens eine Markierung (54) zum Erkennen einer Beleuchtungssituation und/oder von Störstrukturen (74, 76, 88) angeordnet ist.
  2. Kamera (10) nach Patentanspruch 1, dadurch gekennzeichnet, dass die mindestens eine Markierung (54) in einen für optische Strahlung durchlässigen Träger (30, 34) eingebracht ist.
  3. Kamera (10) nach Patentanspruch 2, dadurch gekennzeichnet, dass die mindestens eine Markierung (54) in eine Trägeraußenfläche (60, 80) eingebracht ist.
  4. Kamera (10) nach Patentanspruch 2 oder 3, dadurch gekennzeichnet, dass die Markierung (54) vom Trägerrand (56) beabstandet angeordnet ist.
  5. Kamera (10) nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Markierung (54) auf der optischen Achse (16) angeordnet ist.
  6. Kamera (10) nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Markierung (54) linienhaft oder flächenhaft, insbesondere punkt- oder kreisförmig, ausgebildet ist.
  7. Kamera (10) nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Kamera (10) eine Rechnereinheit (66) umfasst, die dazu eingerichtet ist, in einem erfassten Bild (70, 110) die Beleuchtungssituation anhand der mindestens einen Markierung (54) zu erfassen und damit Störstrukturen (74, 76, 88) zu erkennen und aus dem Bild (70, 110) herauszurechnen.
  8. Verfahren zum Bearbeiten eines Bildes (70, 110), das mittels einer Kamera mit einem elektronischen Bildsensor aufgenommen wird oder wurde, insbesondere mittels einer Kamera (10) nach Maßgabe mindestens eines der Patentansprüche 1 bis 7, umfassend die folgenden Schritte: a) Suchen einer Wiedergabe mindestens einer in einem Strahlengang der Kamera angeordneten Markierung (54) insbesondere zum Erfassen einer Beleuchtungssituation, und b) Entscheiden, basierend auf einem Ergebnis des Suchens und der hierdurch erfassten Beleuchtungssituation, ob das Bild (70, 110) nach Störstrukturen (74, 76, 88) durchsucht wird.
  9. Verfahren nach Patentanspruch 8, dadurch gekennzeichnet, dass zur Erkennung der Beleuchtungssituation anhand der Wiedergabe der mindestens einen Markierung (54) in dem vom Bildsensor (40) generierten Bild (70, 110) insbesondere eine eingestellte Blendenzahl (k) geschätzt wird.
  10. Verfahren nach Patentanspruch 8 oder 9, dadurch gekennzeichnet, dass eine aufgefundene Störstruktur (74, 76, 88) in dem Bild (70, 110) mittels einer Rechnereinheit (66) zumindest teilweise herausgerechnet wird.
DE102019121557.9A 2019-08-09 2019-08-09 Kamera sowie Verfahren Active DE102019121557B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019121557.9A DE102019121557B4 (de) 2019-08-09 2019-08-09 Kamera sowie Verfahren
CN202080056533.5A CN114342347A (zh) 2019-08-09 2020-06-26 摄像机及其方法
PCT/EP2020/068118 WO2021028107A1 (de) 2019-08-09 2020-06-26 Kamera sowie verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019121557.9A DE102019121557B4 (de) 2019-08-09 2019-08-09 Kamera sowie Verfahren

Publications (2)

Publication Number Publication Date
DE102019121557A1 DE102019121557A1 (de) 2021-02-11
DE102019121557B4 true DE102019121557B4 (de) 2021-07-22

Family

ID=71266675

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019121557.9A Active DE102019121557B4 (de) 2019-08-09 2019-08-09 Kamera sowie Verfahren

Country Status (3)

Country Link
CN (1) CN114342347A (de)
DE (1) DE102019121557B4 (de)
WO (1) WO2021028107A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US20030193604A1 (en) 2002-04-11 2003-10-16 Robins Mark Nelson Camera lens contamination detection and indication system and method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19630717A1 (de) * 1996-07-30 1998-02-05 Daimler Benz Aerospace Ag Verfahren zur Detektion eines Zieles und Anordnung zur Durchführung des Verfahrens
WO2004008501A1 (en) * 2002-07-12 2004-01-22 Jeol Usa, Inc. Method for detection and relocation of wafer defects
US20040211881A1 (en) * 2003-04-23 2004-10-28 Pierre Liu Image sensor capable of avoiding lateral light interference
ATE492992T1 (de) * 2007-10-26 2011-01-15 Sick Ag Ortsauflösender optoelektronischer sensor mit testeinheit und testverfahren hierfür
CN103688530B (zh) * 2011-05-17 2018-02-27 沃思测量技术股份有限公司 用于生成和评估图像的方法
EP2587450B1 (de) * 2011-10-27 2016-08-31 Nordson Corporation Verfahren und Vorrichtung zur Erzeugung eines dreidimensionalen Modells eines Bereichs von Interesse mithilfe eines Bildgebungssystems
US9665932B2 (en) * 2013-09-03 2017-05-30 Thales Transport & Security, Inc. Camera based cable inspection system
JP6643072B2 (ja) * 2015-12-10 2020-02-12 キヤノン株式会社 顕微鏡システムおよびその制御方法
US20170262975A1 (en) * 2016-03-08 2017-09-14 Kabushiki Kaisha Toshiba Wafer inspection method for manufacturing semiconductor device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US20030193604A1 (en) 2002-04-11 2003-10-16 Robins Mark Nelson Camera lens contamination detection and indication system and method

Also Published As

Publication number Publication date
CN114342347A (zh) 2022-04-12
WO2021028107A1 (de) 2021-02-18
DE102019121557A1 (de) 2021-02-11

Similar Documents

Publication Publication Date Title
EP1123483A1 (de) Unebenheiten in einer gewölbten oberfläche, wie reifenseitenwand, mit bandpassfilterung
DE102016107900B4 (de) Verfahren und Vorrichtung zur Kantenermittlung eines Messobjekts in der optischen Messtechnik
EP3452858B1 (de) Artefaktreduktion bei der winkelselektiven beleuchtung
DE102012206079A1 (de) Inspizieren von potenziell störenden Eigenschaften in einem maschinellen, visuellen System
DE102014207095A1 (de) Kantenmessungs-Videowerkzeug mit robustem Kantenunterscheidungs-Spielraum
DE102020126554A1 (de) Mikroskopiesystem und verfahren zum überprüfen von eingabedaten
DE112016006579T5 (de) Ladungsträgerstrahlvorrichtung und Probenhalterung
DE19951146A1 (de) Verfahren zum Reduzieren des Rauschens in einem durch Abbildung erhaltenen Signal
DE102019121557B4 (de) Kamera sowie Verfahren
DE4434475C2 (de) Verfahren und Vorrichtung zur Qualitätskontrolle eines Gegenstandes, insbesondere einer Compact-Disc
DE102018218095B4 (de) Verfahren zur Kantenermittlung eines Messobjekts in der optischen Messtechnik und Koordinatenmessgerät
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE10143522A1 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts
DE102013211286A1 (de) Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor
DE102019211158A1 (de) Optische Anordnung zur Bauteilinspektion von Bauteilen mit einer gekrümmten Oberfläche und Inspektionsverfahren hierzu
DE102007047924B4 (de) Verfahren zur automatischen Detektion von Fehlmessungen mittels Qualitätsfaktoren
AT522945B1 (de) Verfahren und Testsystem zur Qualitätsbestimmung einer optischen Projektionseinheit
DE112014005893B4 (de) Ein Verfahren zum Messen von Positionen von Strukturen auf einer Maske und dadurch Bestimmen von Fehlern bei der Herstellung von Masken
WO2017080921A1 (de) Mikroskopierverfahren zur ermittlung eines kontrastbildes und mikroskop
DE102018210606A1 (de) Mikroskopisches Abbildungsverfahren unter Verwendung eines Korrekturfaktors
DE102022118586A1 (de) Computerimplementiertes Verfahren, Verfahren, Messgerät und Computerprogrammprodukt
DE102016120730A1 (de) Autofokussiereinrichtung für eine Abbildungsvorrichtung sowie Autofokussierverfahren
DE102022118582A1 (de) Computerimplementiertes Verfahren, Verfahren, Messgerät und Computerprogrammprodukt
DE102016115856A1 (de) Verfahren zur Bildgebung in einem Mikroskop mit schiefer Beleuchtung
DE2238766C3 (de) Vorrichtung zum Erkennen von aut diffus streuenden Trägern angebrachten Zeichen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005225000

Ipc: H04N0023000000