DE102014111150B3 - Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild - Google Patents

Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild Download PDF

Info

Publication number
DE102014111150B3
DE102014111150B3 DE102014111150.8A DE102014111150A DE102014111150B3 DE 102014111150 B3 DE102014111150 B3 DE 102014111150B3 DE 102014111150 A DE102014111150 A DE 102014111150A DE 102014111150 B3 DE102014111150 B3 DE 102014111150B3
Authority
DE
Germany
Prior art keywords
image
gray scale
determining
binary
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014111150.8A
Other languages
English (en)
Inventor
Stefan Eickeler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE102014111150.8A priority Critical patent/DE102014111150B3/de
Priority to PCT/EP2015/066990 priority patent/WO2016020209A2/de
Application granted granted Critical
Publication of DE102014111150B3 publication Critical patent/DE102014111150B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Ausführungsbeispiele beziehen sich auf ein Konzept zur Ermittlung eines Schärfemaßes für ein Bild, umfassend: Bereitstellen (110; 210) eines digitalen Graustufenbildes des Bildes; Ermitteln (120; 220), basierend auf dem Graustufenbild, eines Binärbildes des Bildes; Detektieren (130; 230) wenigstens einer Kantenposition in dem Binärbild; Ermitteln (140; 240), in dem digitalen Graustufenbild, wenigstens eines Graustufengradienten in einer Umgebung der wenigstens einen detektierten Kantenposition; und Bereitstellen (150; 250) des Schärfemaßes basierend auf dem wenigstens einen ermittelten Graustufengradienten.

Description

  • Technisches Gebiet
  • Ausführungsbeispiele der vorliegenden Erfindung betreffen Vorrichtungen und Verfahren zur Ermittlung eines Schärfemaßes für ein Bild, insbesondere eine referenzfreie Qualitätsmessung von gescannten Druckerzeugnissen.
  • Hintergrund
  • Massendigitalisierung bedeutet beispielsweise das Scannen bzw. Abtasten und Digitalisieren von Büchern oder anderen Druckerzeugnissen in einem großen Umfang. Hierbei können mehrere Tausend Seiten am Tag gescannt werden. Bei diesem Prozess ist eine konstante Qualität besonders wichtig, da eine Wiederholung des Scanprozesses sehr kostenaufwändig ist. Eine zeitnahe Qualitätssicherung während des Scanvorgangs ist daher besonders vorteilhaft, um bei Qualitätsproblemen rechtzeitig Korrekturen durchzuführen zu können. Derzeit kann die Qualitätssicherung nur stichprobenartig manuell durchgeführt werden.
  • Bei der Beurteilung der Bildqualität spielt die Schärfe eines Bildes eine herausragende Rolle. Weitere Qualitätsmerkmale sind beispielsweise Kontrast oder Beleuchtungshomogenität, für die automatische Messverfahren existieren. Durch eine automatisierte Messung der Schärfe im gescannten Bild wird eine vollständige automatische Testabdeckung von den Endprodukten oder Ergebnissen der Digitalisierung (Digitalisaten) ermöglicht.
  • Automatische Verfahren zur Messung der Bildschärfe benötigten bisher eine Referenz oder Prüfvorlage in Form einer Testkarte mit optimalen Schwarz-Weiß-Übergängen, die zusätzlich zu einer Buchseite gescannt wird. Anhand eines bekannten Musters der Testkarte kann anschließend die Schärfe der Übergänge im Bild berechnet werden.
  • Andere Verfahren zur Messung der Bildschärfe werten Kanten im Bild aus. Die DE 199 02 401 C2 beschreibt beispielsweise ein Verfahren zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon mittels Bildverarbeitung und -auswertung. Zum Identifizieren von optischen Marken und Kanten des blattförmigen Gutes kann zuerst eine Binarisierung der Bilder oder Teilbilder vorgenommen werden, indem eine Häufigkeit von einzelnen im Bild auftretenden Grauwerten ermittelt, dann ein Schwellwert gebildet wird und alle Grauwerte unterhalb einer Schwelle einem ersten binären Wert und die übrigen einem zweiten binären Wert zugewiesen werden. Nach Binarisierung wird eine Kantendetektion vorgenommen, indem mit Hilfe eines Gradientenoperators die Konturen der im Bild liegenden Objekte ermittelt werden.
  • Beträge der Gradienten von Kanten können als Bildschärfe interpretiert werden. So beschreibt beispielsweise die DE 11 2010 005 589 T5 ein Autofokus-Bildsystem mit einem Fokussignalgenerator. Der Fokussignalgenerator kann ein Fokussignal erzeugen, das eine Funktion von Kantenbreite und/oder von Statistiken der Kantenbreiten ist. Dazu können aus einem Eingabebild Graustufensignale erzeugt werden, um mittels Gradienten in dem Eingabebild eine oder mehrere Kanten zu erkennen. Zur Bildung des Fokussignals können dann benachbarte Kanten entweder vollständig ausgeschlossen werden oder ihr Beitrag kann reduziert werden, wenn ihr maximaler Gradientenbetrag kleiner als ein vorgegebener Bruchteil eines maximalen Gradientenbetrags einer benachbarten breiteren Kante ist. Derartige Verfahren funktionieren sehr gut, um verschiedene Qualitätsstufen eines Bildes zu bestimmen. Die berechnete Schärfe kann aber nicht zum Vergleich unterschiedlicher Bilder genutzt werden, da der Bildinhalt nicht als bekannt vorausgesetzt werden kann.
  • Es besteht also ein Bedarf an einer Weiterbildung bekannter Verfahren zur Messung der Bildschärfe.
  • Zusammenfassung
  • Die Aufgabe wird durch eine Vorrichtung, ein Verfahren und ein Computerprogramm jeweils mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
  • Gemäß einem ersten Aspekt schaffen Ausführungsbeispiele ein Verfahren zur Ermittlung eines Schärfemaßes für ein Bild, z.B. eines Maßes für die Bildschärfe eines Digitalisats des Bilds. Das Verfahren umfasst ein Bereitstellen eines digitalen Graustufenbildes des Bildes. Basierend auf dem Graustufenbild wird ein Binärbild des Bildes ermittelt. In dem Binärbild wird wenigstens eine Kante bzw. Kantenposition detektiert. In dem digitalen Graustufenbild wird wenigstens ein Graustufengradient in einer Umgebung der wenigstens einen detektierten Kante bzw. Kantenposition ermittelt. Ferner wird das Schärfemaß basierend auf dem wenigstens einen ermittelten Graustufengradienten bereitgestellt.
  • Gemäß einem weiteren Aspekt schaffen Ausführungsbeispiele eine Vorrichtung zum Ermitteln eines Schärfemaßes für ein Bild. Die Vorrichtung umfasst eine Einrichtung oder einen Prozessor zum Bereitstellen eines digitalen Graustufenbildes des Bildes, eine Einrichtung oder einen Prozessor zum Ermitteln, basierend auf dem Graustufenbild, eines Binärbildes des Bildes, eine Einrichtung oder einen Prozessor zur Detektion von wenigstens einer Kante bzw. Kantenposition in dem Binärbild, eine Einrichtung oder einen Prozessor zum Ermitteln, in dem digitalen Graustufenbild, von Graustufengradienten in einer Umgebung der detektierten Kanten bzw. Kantenpositionen, und eine Einrichtung oder einen Prozessor zum Bereitstellen des Schärfemaßes basierend auf den ermittelten Graustufengradienten.
  • In einigen Ausführungsformen kann die Vorrichtung wenigstens eine dedizierte oder wenigstens eine universelle Hardwarekomponente umfassen. Die Vorrichtung ist konfiguriert, um die Schritte des beschriebenen Verfahrens auszuführen. Einige Ausführungsformen umfassen digitale Schaltungen innerhalb von Geräten oder Vorrichtungen zur Durchführung der entsprechenden Verfahrensschritte. Eine digitale Schaltung, beispielsweise ein digitaler Signalprozessor (DSP), ein Field-Programmable Gate Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein Allzweck-Prozessor kann mit einem Speicher gekoppelt werden und kann dementsprechend mittels Hardware und / oder Software konfiguriert werden. Weitere Ausführungsformen stellen daher auch ein Computerprogramm mit einem Programmcode zum Durchführen von Ausführungsformen des Verfahrens bereit, wenn das Computerprogramm auf einem Computer oder einer programmierbaren Hardwarevorrichtung ausgeführt wird.
  • Gemäß wenigstens einem Ausführungsbeispiel umfasst das Bereitstellen des Graustufenbildes eine Kontrastverstärkung des Graustufenbildes. Die Kontrastverstärkung kann dabei beispielsweise eine Histogrammspreizung bzw. Tonwertspreizung und/oder eine Histogrammäqualisation des Graustufenbildes umfassen. Durch einen dadurch verstärkten und/oder normalisierten Kontrast des Graustufenbildes kann eine Kantendetektion erleichtert bzw. verbessert werden.
  • Gemäß wenigstens einem Ausführungsbeispiel umfasst das Ermitteln oder Berechnen des Binärbildes ein Schwellwertverfahren, insbesondere eine Sauvola-Binärisierung. Je nachdem, ob der Grauwert eines Pixels über oder unter einem bestimmten Schwellenwert liegt, wird er Schwarz oder Weiß bzw. „0“ oder „1“. Maßgeblich kann dabei die Wahl des Schwellenwertes sein; dieser braucht nicht notwendigerweise bei 50 % liegen.
  • Gemäß einer Ausführungsform kann beim Ermitteln oder Berechnen des Binärbildes ein binärer Intensitätswert i´(x, y) eines Pixels des Binärbildes an einer Position (x, y) entsprechend
    Figure DE102014111150B3_0002
    ermittelt bzw. berechnet werden. Dabei bedeutet
    Figure DE102014111150B3_0003
    eine lokale mittlere Graustufenintensität an der Position (x, y) und
    Figure DE102014111150B3_0004
    eine lokale Varianz von Graustufenintensitäten an der Position (x, y). Hier bezeichnet i(x, y) eine Graustufenintensität bzw. einen Graustufenwert eines Pixels des digitalen Graustufenbildes an der Position (x, y), r einen Radius eines Berechnungsfensters um die Position (x, y), und k, R bezeichnen Konstanten. Durch eine derartige Implementierung kann ein Rechenaufwand der Binarisierung verringert werden.
  • Gemäß wenigstens einem Ausführungsbeispiel können beim Detektieren oder Ermitteln der wenigstens einen Kantenposition horizontal, vertikal und/oder diagonal benachbarte Pixelpaare mit unterschiedlichen Binärwerten ermittelt werden, um Sprünge und damit mögliche Kanten im Bild festzustellen. Um einen möglichen negativen Einfluss von Bildrauschen zu verringern, kann das Detektieren der wenigstens einen Kante bzw. Kantenposition unter der Nebenbedingung erfolgen, dass jeder Pixel eines Pixelpaars mit unterschiedlichen Binärwerten jeweils wenigstens N weitere unmittelbar (horizontal, vertikal und/oder diagonal) benachbarte Pixel mit demselben Binärwert wie der jeweilige Pixel des Pixelpaars hat, wobei N > 1 (z.B. N = 4).
  • Gemäß wenigstens einem Ausführungsbeispiel werden beim Ermitteln oder Berechnen der Graustufengradienten in einer Umgebung einer basierend auf dem Binärbild detektierten Kantenposition in dem Graustufenbild jeweils Pixelpaare mit dem gleichen Abstand zu der ermittelten Kante bzw. Kantenposition gebildet und Graustufenintensitätsdifferenzen zwischen den Pixeln der Pixelpaare ermittelt. Dies ermöglicht eine zuverlässige Bestimmung eines Graustufenintensitätsgradienten um die ermittelten Kanten bzw. Kantenpositionen herum.
  • Gemäß wenigstens einem Ausführungsbeispiel wird das Schärfemaß dann basierend auf einem Mittelwert der Beträge der Graustufenintensitätsdifferenzen ein oder mehrerer detektierter Kanten ermittelt.
  • Gemäß wenigstens einem Ausführungsbeispiel unterliegen dem hier vorgestellten Konzept ausschließlich analoge oder digitale Bilder von Druckerzeugnissen. In anderen Worten ausgedrückt können Ausführungsbeispiele auf Bilder von Druckerzeugnissen optimiert sein.
  • Daher kann das Konzept gegenüber herkömmlichen Konzepten, die auf allen Arten von Bildern arbeiten, genauere Ergebnisse erreichen.
  • Figurenkurzbeschreibung
  • Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
  • 1 ein schematisches Ablaufdiagram eines Verfahrens zur Ermittlung eines Schärfemaßes für ein Bild gemäß einem Ausführungsbeispiel;
  • 2 ein schematisches Ablaufdiagram eines Verfahrens zur Ermittlung eines Schärfemaßes für ein Bild gemäß einem weiteren Ausführungsbeispiel; und
  • 3 eine schematische Darstellung von möglichen Grauwertverläufen an einer Kante.
  • Beschreibung
  • Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
  • Bei der nachfolgenden Beschreibung der beigefügten Figuren, die lediglich einige exemplarische Ausführungsbeispiele zeigen, können gleiche Bezugszeichen gleiche oder vergleichbare Komponenten bezeichnen. Ferner können zusammenfassende Bezugszeichen für Komponenten und Objekte verwendet werden, die mehrfach in einem Ausführungsbeispiel oder in einer Zeichnung auftreten, jedoch hinsichtlich eines oder mehrerer Merkmale gemeinsam beschrieben werden. Komponenten oder Objekte, die mit gleichen oder zusammenfassenden Bezugszeichen beschrieben werden, können hinsichtlich einzelner, mehrerer oder aller Merkmale, beispielsweise ihrer Dimensionierungen, gleich, jedoch gegebenenfalls auch unterschiedlich ausgeführt sein, sofern sich aus der Beschreibung nicht etwas anderes explizit oder implizit ergibt.
  • Obwohl Ausführungsbeispiele auf verschiedene Weise modifiziert und abgeändert werden können, sind Ausführungsbeispiele in den Figuren als Beispiele dargestellt und werden hierin ausführlich beschrieben. Es sei jedoch klargestellt, dass nicht beabsichtigt ist, Ausführungsbeispiele auf die jeweils offenbarten Formen zu beschränken, sondern dass Ausführungsbeispiele vielmehr sämtliche funktionale und/oder strukturelle Modifikationen, Äquivalente und Alternativen, die im Bereich der Erfindung liegen, abdecken sollen. Gleiche Bezugszeichen bezeichnen in der gesamten Figurenbeschreibung gleiche oder ähnliche Elemente.
  • Man beachte, dass ein Element, das als mit einem anderen Element „verbunden“ oder „verkoppelt“ bezeichnet wird, mit dem anderen Element direkt verbunden oder verkoppelt sein kann oder dass dazwischenliegende Elemente vorhanden sein können. Wenn ein Element dagegen als „direkt verbunden“ oder „direkt verkoppelt“ mit einem anderen Element bezeichnet wird, sind keine dazwischenliegenden Elemente vorhanden. Andere Begriffe, die verwendet werden, um die Beziehung zwischen Elementen zu beschreiben, sollten auf ähnliche Weise interpretiert werden (z.B., „zwischen“ gegenüber „direkt dazwischen“, „angrenzend“ gegenüber „direkt angrenzend“ usw.).
  • Die Terminologie, die hierin verwendet wird, dient nur der Beschreibung bestimmter Ausführungsbeispiele und soll die Ausführungsbeispiele nicht beschränken. Wie hierin verwendet, sollen die Singularformen „ einer,” „ eine”, „eines ” und „der, die, das“ auch die Pluralformen beinhalten, solange der Kontext nicht eindeutig etwas anderes angibt. Ferner sei klargestellt, dass die Ausdrücke wie z.B. „beinhaltet“, „beinhaltend“, aufweist“ und/oder „aufweisend“, wie hierin verwendet, das Vorhandensein von genannten Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder die Hinzufügung von einem bzw. einer oder mehreren Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
  • Solange nichts anderes definiert ist, haben sämtliche hierin verwendeten Begriffe (einschließlich von technischen und wissenschaftlichen Begriffen) die gleiche Bedeutung, die ihnen ein Durchschnittsfachmann auf dem Gebiet, zu dem die Ausführungsbeispiele gehören, beimisst. Ferner sei klargestellt, dass Ausdrücke, z.B. diejenigen, die in allgemein verwendeten Wörterbüchern definiert sind, so zu interpretieren sind, als hätten sie die Bedeutung, die mit ihrer Bedeutung im Kontext der einschlägigen Technik konsistent ist, und nicht in einem idealisierten oder übermäßig formalen Sinn zu interpretieren sind, solange dies hierin nicht ausdrücklich definiert ist.
  • 1 zeigt ein schematisches Ablaufdiagramm eines Verfahrens 100 zur Ermittlung eines Schärfemaßes für ein Bild bzw. eines Digitalisats eines Bilds.
  • Das Verfahren 100 umfasst einen Schritt 110 des Bereitstellens eines digitalen Graustufenbildes des Bildes, welches ursprünglich beispielsweise auch als Farbbild vorliegen kann. Dies kann beispielsweise durch ein Scannen und Digitalisieren eines Bilds passieren. Als Eingangsbild für weitere Verfahrensschritte werden gemäß manchen Ausführungsbeispielen digitale Graustufenbilder erwartet. Analoge oder digitale Farbbilder können daher vorher in digitale Graustufenbilder umgewandelt werden, z.B. mittels eines Graustufenscanprozesses. Auf den Schritt 110 folgt ein Schritt 120 des Ermittelns, basierend auf dem (digitalen) Graustufenbild, eines Binärbildes des Bildes. Dazu können prinzipiell beliebige computerimplementierte Binarisierungsverfahren eingesetzt werden. Binarisierung bezeichnet dabei die Erzeugung eines Binärbildes aus einem Graustufen- oder einem in einem Zwischenschritt zum Graustufenbild umgewandelten Farbbild. Eine einfache Binarisierungsmethode ist das sogenannte Schwellwertverfahren. Je nachdem, ob der Grauwert eines Pixels über oder unter einem bestimmten Schwellenwert liegt, wird er Schwarz oder Weiß. Eine vorteilhafte Implementierung der Binarisierung 120, die sogenannte Sauvola-Binarisierung, wird nachfolgend noch beschrieben. In einem weiteren Verfahrensschritt 130 wird wenigstens eine Kante bzw. Kantenposition in dem Binärbild detektiert. Beispielsweise können dabei (x, y) Koordinaten von Objektkanten in dem (Binär-)Bild ermittelt werden. Mit dieser Information kann in einem weiteren Schritt 140 in dem digitalen Graustufenbild wenigstens ein Graustufengradienten in einer Umgebung der wenigstens einen detektierten Kantenposition bestimmt werden. Basierend auf dem in Schritt 140 wenigstens einen ermittelten Graustufengradienten betreffend wenigstens eine detektierte Kante, kann in einem darauffolgenden Schritt 150 das Schärfemaß ermittelt und bereitgestellt werden.
  • 2 zeigt die Arbeitsweise einer möglichen Ausführungsvariante 200 des Verfahrens 100. Als Eingangsbild wird in Schritt 210 ein digitales Graustufenbild I bereitgestellt. Farbbilder können in Schritt 210 also in Graustufenbilder umgewandelt werden, beispielsweise mittels eine Graustufenscans eines Bilds eines gedruckten Werkes.
  • Das Verfahren 200 weist gegenüber dem Verfahren 100 einen zusätzlichen Schritt 215 einer Kontrastnormalisierung bzw. -verstärkung des eingangs bereitgestellten Graustufenbildes I auf. Eine Möglichkeit zur Kontrastnormalisierung ist beispielsweise ein Histogrammausgleich. Dabei kann aus einer ursprünglichen Grauwertverteilung im Histogramm des Graustufenbildes I eine Gleichverteilung berechnet werden, damit der gesamte zur Verfügung stehende Wertebereich optimal ausgenutzt wird. Alternativ kann der Graustufenbereich des Graustufenbildes I linear gestreckt werden, so dass beispielsweise die dunkelsten Pixel auf einen minimalen Grauwert abgebildet werden und die hellsten auf einen maximalen Grauwert abgebildet werden. Diese sogenannte Histogrammnormalisierung (Histogrammspreizung) ist eine effektive Methode, den Kontrast eines Graustufenbildes automatisch zu erhöhen. Ziel der automatischen Kontrastanpassung ist es, die Pixelwerte eines Bilds so zu verändern, dass der gesamte verfügbare Wertebereich (z.B. 8 Bit, also Werte von 0 bis 255) abgedeckt wird. Dazu kann z.B. ein aktuell dunkelster Pixel auf den niedrigsten und das aktuell hellste Pixel auf den höchsten Intensitätswert abgebildet und alle dazwischenliegenden Pixelwerte linear verteilt werden. Angenommen, qmin und qmax sind der aktuell kleinste bzw. größte Pixelwert in einem Bild I(x, y), das über einen maximalen Intensitätsbereich [0, q] verfügt (z.B. q = 255). Zunächst werden im gegebenen Graustufenbild I(x, y) die minimale Intensität qmin und die maximale Intensität qmax bestimmt. Anschließend kann im Ausgabebild I'(x, y) das Intervall [qmin, qmax] auf das Intervall [0, q] basierend auf
    Figure DE102014111150B3_0005
    gespreizt werden. In Gleichung (1) bezeichnet I(x, y): Intensität eines Pixels in Graustufenbild I auf Bildposition x, y.
  • Die Binärisierung 220 wandelt das Graustufenbild I in ein binäres Bild B um. Ziel ist hierbei, dass Bildpunkte von Buchstaben und Rasterpunkte den Wert 0 (schwarz) und Hintergrundpixel den Wert 1 (weiß) erhalten. Da die Eingangsbilder nicht bekannt sind, kann vorzugsweise ein robustes lokal-adaptives Binarisierungsverfahren eingesetzt werden. Eine mögliche Implementierung verwendet die Sauvola-Binarisierung. Die Sauvola-Binarisierung arbeitet mit einer gefensterten Berechnung eines lokalen Schwellenwertes t(x, y).
    Figure DE102014111150B3_0006
  • In den Gleichungen (2)–(5) bedeuten:
  • i(x, y):
    Intensität eines Pixels in Graustufenbild I auf Bildposition x, y
    r:
    Radius des Fensters, Höhe und Breite entsprechen 2r + 1
    µ(x, y):
    Lokale mittlere Graustufenintensität an Position x, y
    σ2(x, y):
    Lokale Graustufenintensitätsvarianz an Position x, y
    t(x, y):
    Lokaler Schwellwert an Position x, y
    i‘(x, y):
    Wert des binären Bildes B an Position x, y
  • In einem Ausführungsbeispiel sind die Konstanten: k = 0.3, R = 128. Andere Werte sind natürlich ebenso denkbar. Die naive Implementierung der Sauvola-Binarisierung hat einen vergleichsweise hohen Rechenzeitbedarf. Die hier vorgeschlagene Implementierung verwendet deshalb Integralbilder und quadrierte Integralbilder. Gemäß einem Ausführungsbeispiel wird ferner folgende Umwandlung der obigen Gleichungen (durch Einsetzen von Gleichung (4) in (5)) vorgenommen, um die rechenintensive Berechnung der Quadratwurzel in Gleichung (4) zu umgehen:
    Figure DE102014111150B3_0007
  • Beim Ermitteln 220 des Binärbildes B kann von einem Prozessor also ein binärer Intensitätswert i´(x, y) eines Pixels des Binärbildes an einer Position (x, y) entsprechend Gleichung (6) bestimmt werden.
  • Bei der Kantenselektion bzw. -detektion 230 werden, basierend auf dem Binärbild B, ein oder mehrere Kanten zur Schärfeberechnung ausgewählt. Ein mögliches Ergebnis ist eine Liste L von horizontal, vertikal und/oder diagonal benachbarten Pixelpaaren. Eine mögliche Regel für die Kantenauswahl könnte lauten: „Nimm alle horizontal, vertikal und/oder diagonal benachbarten Pixelpaare mit unterschiedlichen Werten." Diese Regel ist jedoch anfällig für Bildrauschen und kann daher nicht unbedingt generell eingesetzt werden. Eine mögliche erweiterte Regel kann daher lauten: „Nimm alle horizontal, vertikal und/oder diagonal benachbarten Pixelpaare mit unterschiedlichen Werten und der Nebenbedingung, dass jeder Pixel des Paars jeweils mindestens N (N > 1) Pixel in direkter Nachbarschaft (horizontal, vertikal und diagonal) mit dem gleichen Wert hat." In anderen Worten ausgedrückt kann das Detektieren 230 der wenigstens einen Kantenposition unter der Nebenbedingung erfolgen, dass jeder Pixel eines Pixelpaars mit unterschiedlichen Binärwerten jeweils wenigstens N weitere unmittelbar benachbarte Pixel mit demselben Binärwert wie der jeweilige Pixel des Pixelpaars hat, wobei N > 1 (z.B. N = 4).
  • In der Gradientenermittlung und -auswertung 240, 250 kann für die in Schritt 230 anhand des Binärbilds B ermittelten horizontalen und vertikalen Kanten eine Abweichung der Graustufenverläufe von der optimalen Sprungfunktion (auch Heavyside Funktion genannt) an diesen Kanten im optional normalisierten Graustufenbild I‘ berechnet werden. 3 zeigt dazu exemplarisch für eine an der Position x = 0 verlaufende vertikal Kante die ideale Sprungfunktion 310, wobei ein Graustufenintensitätswert bei x = 0 von dem minimalen Wert (z.B. 0) auf den maximalen Wert q (z. B. 255) springt, oder umgekehrt. Dies entspräche einem maximalen Gradienten von +∞ (bzw. 255 bei 8 Bit Auflösung und diskreten Pixelpositionen) an der Stelle x = 0. Ein möglicher tatsächlicher Graustufenverlauf in einem optional normalisierten (leicht unscharfen) Graustufenbild ist mit Bezugszeichen 320 gekennzeichnet. Der Graustufenverlauf 320 führt hier zu einem kleineren Gradienten. Zur Ermittlung des Graustufengradienten können in einer Nachbarschaft von ±N Pixeln zu einer Kante jeweils Pixelpaare mit gleichem horizontalen oder vertikalen Abstand zur Kantenposition gebildet und die Beträge der Differenzen summiert werden. In 3 sind schematisch in einer Nachbarschaft von ±7 Pixeln zur vertikalen Kante bei x = 0 jeweils Pixelpaare mit gleichem horizontalen Abstand zur Kantenposition eingezeichnet. Die Beträge der Differenzen der jeweiligen Graustufenwerte bei x = ±1, x = ±2, x = ±3, x = ±4, usw., können summiert und ein Mittelwert gebildet werden.
  • Das Schärfemaß kann dann beispielsweise auf dem Mittelwert der Beträge der Graustufenintensitätsdifferenzen ein oder mehrerer detektierter Kanten basieren. In anderen Worten ausgedrückt kann sich die Bildschärfe als Mittelwert der Beträge der Differenzen aller Kanten errechnen lassen. Geht man exemplarisch von einem 8 Bit Wert aus, wäre ein maximaler Bildschärfewert beispielsweise 255 (d.h. alle Kanten haben näherungsweise einen Graustufengradienten von 255).
  • Das hier vorgeschlagene Konzept bietet eine Lösung für die fehlende Referenz bei unbekanntem Bildinhalt. Das Konzept ist vorzugsweise für Digitalisate oder Bilder von gedruckten Werken geeignet. Für die Bestimmung der Schärfe können die Buchstaben oder das Raster von gedruckten Fotos verwendet werden. Für die Messung können die Kanten der Buchstaben und/oder der Rasterpunkte als optimale Schwarz-Weiß-Übergänge betrachtet werden.
  • Mögliche Anwendungsgebiete sind das Qualitätsmanagement in der Massendigitalisierung oder die Qualitätssicherung von mit mobilen Geräten (z.B. Smartphones) aufgenommenen Bildern von Dokumenten.
  • Die in der vorstehenden Beschreibung, den nachfolgenden Ansprüchen und den beigefügten Figuren offenbarten Merkmale können sowohl einzeln wie auch in beliebiger Kombination für die Verwirklichung eines Ausführungsbeispiels in ihren verschiedenen Ausgestaltungen von Bedeutung sein und implementiert werden.
  • Obwohl manche Aspekte im Zusammenhang mit einem Verfahren beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung einer entsprechenden Vorrichtung zum Ausführen des Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist.
  • Somit umfassen Ausführungsbeispiele also auch eine Vorrichtung zum Ermitteln eines Schärfemaßes für ein Bild, mit einer Einrichtung bzw. einem Prozessor zum Bereitstellen eines digitalen Graustufenbildes des Bildes, einer Einrichtung bzw. einem Prozessor zum Ermitteln, basierend auf dem Graustufenbild, eines Binärbildes des Bildes, einer Einrichtung bzw. einem Prozessor zur Detektion von Kantenpositionen in dem Binärbild, einer Einrichtung bzw. einem Prozessor zum Ermitteln, in dem digitalen Graustufenbild, von Graustufengradienten in einer Umgebung der detektierten Kantenpositionen, und einer Einrichtung bzw. einem Prozessor zum Bereitstellen des Schärfemaßes basierend auf den ermittelten Graustufengradienten.
  • Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
  • Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
  • Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
  • Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
  • Ein Programm gemäß einem Ausführungsbeispiel kann eines der Verfahren während seiner Durchführung beispielsweise dadurch umsetzen, dass dieses Speicherstellen ausliest oder in diese ein Datum oder mehrere Daten hinein schreibt, wodurch gegebenenfalls Schaltvorgänge oder andere Vorgänge in Transistorstrukturen, in Verstärkerstrukturen oder in anderen elektrischen, optischen, magnetischen oder nach einem anderen Funktionsprinzip arbeitenden Bauteile hervorgerufen werden. Entsprechend können durch ein Auslesen einer Speicherstelle Daten, Werte, Sensorwerte oder andere Informationen von einem Programm erfasst, bestimmt oder gemessen werden. Ein Programm kann daher durch ein Auslesen von einer oder mehreren Speicherstellen Größen, Werte, Messgrößen und andere Informationen erfassen, bestimmen oder messen, sowie durch ein Schreiben in eine oder mehrere Speicherstellen eine Aktion bewirken, veranlassen oder durchführen sowie andere Geräte, Maschinen und Komponenten ansteuern.
  • Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims (12)

  1. Verfahren (100; 200) zur Ermittlung eines Schärfemaßes für ein Bild, umfassend: Bereitstellen (110; 210) eines digitalen Graustufenbildes des Bildes; Ermitteln (120; 220), basierend auf dem Graustufenbild, eines Binärbildes des Bildes; Detektieren (130; 230) wenigstens einer Kantenposition in dem Binärbild; Ermitteln (140; 240), in dem digitalen Graustufenbild, wenigstens eines Graustufengradienten in einer Umgebung der wenigstens einen detektierten Kantenposition; und Bereitstellen (150; 250) des Schärfemaßes basierend auf dem wenigstens einen ermittelten Graustufengradienten.
  2. Verfahren (100; 200) nach Anspruch 1, wobei das Bereitstellen (110; 210) des Graustufenbildes eine Kontrastverstärkung (215) des Graustufenbildes umfasst.
  3. Verfahren (100; 200) nach Anspruch 2, wobei die Kontrastverstärkung (215) eine Histogrammspreizung und/oder eine Histogrammäqualisation des Graustufenbildes umfasst.
  4. Verfahren (100; 200) nach einem der vorhergehenden Ansprüche, wobei das Ermitteln (120; 220) des Binärbildes ein Schwellwertverfahren, insbesondere eine Sauvola-Binärisierung, umfasst.
  5. Verfahren (100; 200) nach einem der vorhergehenden Ansprüche, wobei beim Ermitteln (120; 220) des Binärbildes ein binärer Intensitätswert i´(x, y) eines Pixels des Binärbildes an einer Position (x, y) entsprechend
    Figure DE102014111150B3_0008
    ermittelt wird, mit einer lokalen mittleren Graustufenintensität
    Figure DE102014111150B3_0009
    an der der Position (x, y), einer lokalen Varianz
    Figure DE102014111150B3_0010
    an der der Position (x, y), wobei i(x, y) eine Graustufenintensität eines Pixels des digitalen Graustufenbildes an der Position (x, y) bedeutet, r einen Radius eines Berechnungsfensters um die Position (x, y) bedeutet, und k, R Konstanten bedeuten.
  6. Verfahren (100; 200) nach einem der vorhergehenden Ansprüche, wobei beim Detektieren (130; 230) der wenigstens einen Kantenposition horizontal, vertikal und/oder diagonal benachbarte Pixelpaare mit unterschiedlichen Binärwerten ermittelt werden.
  7. Verfahren (100; 200) nach Anspruch 6, wobei das Detektieren (130; 230) der wenigstens einen Kantenposition unter der Nebenbedingung erfolgt, dass jeder Pixel eines Pixelpaars mit unterschiedlichen Binärwerten jeweils wenigstens N weitere unmittelbar benachbarte Pixel mit demselben Binärwert wie der jeweilige Pixel des Pixelpaars hat, wobei N > 1.
  8. Verfahren (100; 200) nach einem der vorhergehenden Ansprüche, wobei beim Ermitteln (140; 240) der Graustufengradienten in einer Umgebung einer detektierten Kantenposition jeweils Pixelpaare mit dem gleichen Abstand zu der Kantenposition gebildet und Graustufenintensitätsdifferenzen zwischen den Pixeln der Pixelpaare gebildet werden.
  9. Verfahren (100; 200) nach Anspruch 8, wobei das Schärfemaß auf einem Mittelwert der Beträge der Graustufenintensitätsdifferenzen ein oder mehrerer detektierter Kanten basiert.
  10. Verfahren (100; 200) nach einem der vorhergehenden Ansprüche, wobei das Bild auf einem gedruckten Werk basiert.
  11. Computerprogram zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Hardwarekomponente abläuft.
  12. Vorrichtung zum Ermitteln eines Schärfemaßes für ein Bild, umfassend: einer Einrichtung zum Bereitstellen eines digitalen Graustufenbildes des Bildes; einer Einrichtung zum Ermitteln, basierend auf dem Graustufenbild, eines Binärbildes des Bildes; einer Einrichtung zur Detektion von Kantenpositionen in dem Binärbild; einer Einrichtung zum Ermitteln, in dem digitalen Graustufenbild, von Graustufengradienten in einer Umgebung der detektierten Kantenpositionen; und einer Einrichtung zum Bereitstellen des Schärfemaßes basierend auf den ermittelten Graustufengradienten.
DE102014111150.8A 2014-08-05 2014-08-05 Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild Active DE102014111150B3 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102014111150.8A DE102014111150B3 (de) 2014-08-05 2014-08-05 Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild
PCT/EP2015/066990 WO2016020209A2 (de) 2014-08-05 2015-07-24 Vorrichtung, verfahren und computerprogramm zur ermittlung eines schärfemasses für ein bild

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014111150.8A DE102014111150B3 (de) 2014-08-05 2014-08-05 Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild

Publications (1)

Publication Number Publication Date
DE102014111150B3 true DE102014111150B3 (de) 2015-07-30

Family

ID=53523186

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014111150.8A Active DE102014111150B3 (de) 2014-08-05 2014-08-05 Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild

Country Status (2)

Country Link
DE (1) DE102014111150B3 (de)
WO (1) WO2016020209A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972084A (zh) * 2022-05-13 2022-08-30 杭州汇萃智能科技有限公司 一种图像对焦准确度评价方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19902401C2 (de) * 1999-01-22 2001-02-01 Wohlenberg Schneidesysteme Gmb Verfahren und Vorrichtung zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon
DE112010005589T5 (de) * 2010-05-26 2013-03-14 Hiok Nam Tay Autofokus-bildsystem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19902401C2 (de) * 1999-01-22 2001-02-01 Wohlenberg Schneidesysteme Gmb Verfahren und Vorrichtung zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon
DE112010005589T5 (de) * 2010-05-26 2013-03-14 Hiok Nam Tay Autofokus-bildsystem

Also Published As

Publication number Publication date
WO2016020209A2 (de) 2016-02-11
WO2016020209A3 (de) 2017-06-29

Similar Documents

Publication Publication Date Title
DE60308739T2 (de) Automatisches Bildqualitäts-Bewertungsverfahren und Korrekturtechnik
DE4445386C1 (de) Verfahren und Vorrichtung zur Trennung einer Vordergrundinformation von einer Hintergrundinformation in einer Vorlage
DE69533054T2 (de) Mehrfenstertechnik zur Schwellenwertverarbeitung eines Bildes unter Verwendung lokaler Bildeigenschaften
DE69926205T2 (de) Artefaktentfernungstechnik für schiefenkorrigierte bilder
DE3851173T2 (de) Verfahren und Gerät zur Erkennung von Halbtonbildmustern.
DE2620765C2 (de)
DE112013000627T5 (de) Segmentierung zur Waferinspektion
DE112010005721B4 (de) Bildverarbeitungsvorrichtung
DE102017001366A1 (de) Geometrie-messsystem, geometrie-messapparat und geometrie-messverfahren
DE3107521A1 (de) Verfahren zum automatischen erkennen von bild- und text- oder graphikbereichen auf druckvorlagen
DE112014006439B4 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
EP0012724A1 (de) Verfahren zur maschinellen Beurteilung der Druckqualität eines Druckerzeugnisses sowie Vorrichtung zu dessen Durchführung
EP2619525B1 (de) Verfahren zum optischen antasten einer kante in oder an einem oberlächenbereich
DE69925354T2 (de) Bildverarbeitungssystem um vertikale Muster auf abgetasteten Bildern zu reduzieren
DE102013112040B4 (de) System und Verfahren zum Auffinden von sattelpunktartigen Strukturen in einem Bild und Bestimmen von Informationen daraus
EP0132453A1 (de) Verfahren und Einrichtung zum Minimieren von Fehlern bei der digitalen Verarbeitung von elektrischen Signalen
DE102014111150B3 (de) Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild
DE112016007447T5 (de) Verfahren zum Vergleichen einer ersten Zeichnung mit einer zweiten Zeichnung durch Vergleichen ihrer Zeichnungselemente
DE1197656B (de) Verfahren zur maschinellen Zeichenerkennung
DE112016004401T5 (de) Projizieren eines Bildes auf eine unregelmässig geformte Anzeigeoberfläche
DE112011105010B4 (de) Erkennung von Kratzern auf einem Bild
DE102021131172A1 (de) System und Verfahren zum Lokalisieren und Decodieren unlesbarer Datenmatrizen
EP3316216B1 (de) Verfahren zum prüfen eines gegenstands
EP0950310A1 (de) Verfahren zur bestimmung der geometriedaten von abtastvorlagen
EP0623885A2 (de) Einrichtung zum Gewinnen von Klassifikationsinformationen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative