DE69015153T2 - Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal. - Google Patents

Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal.

Info

Publication number
DE69015153T2
DE69015153T2 DE69015153T DE69015153T DE69015153T2 DE 69015153 T2 DE69015153 T2 DE 69015153T2 DE 69015153 T DE69015153 T DE 69015153T DE 69015153 T DE69015153 T DE 69015153T DE 69015153 T2 DE69015153 T2 DE 69015153T2
Authority
DE
Germany
Prior art keywords
image
segmentation
signal values
sampled
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69015153T
Other languages
English (en)
Other versions
DE69015153D1 (de
Inventor
David Cok
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of DE69015153D1 publication Critical patent/DE69015153D1/de
Application granted granted Critical
Publication of DE69015153T2 publication Critical patent/DE69015153T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Description

  • Die Erfindung bezieht sich allgemein auf die Verarbeitung von Farbbilderzeugungssignalen, insbesondere auf einen Segmentierungsvorgang zum Interpolieren von Signalwerten eines Farbbandbereichs derart, daß Farbrandeffekte in der Nähe von Farbkanten wesentlich reduziert werden.
  • Mehrkanal -Bildabtastvorrichtungen (z. B. Dreifarbenband, Luminanzband), wie zum Beispiel digitale RGB-Videokameras, erzeugen normalerweise Ausgangssignale mit unterschiedlichen Abtastfrequenzen, wobei ein Kanal (üblicherweise der Grün- oder Luminanzkanal) vollabgetastet wird, während die übrigen Kanäle (die Rot- und Blaukanäle) Daten niedriger Auflösung führen. Bei einer Kleinkamera mit CCD- Bildwandler kann die Gründatenmenge zum Beispiel zweioder dreimal so groß sein wie die Datenmenge der Rot- oder Blaukanäle. Außerdem ist es bei der Fernübertragung komprimierter Farbbilddaten allgemein üblich, the Chrominanzkanäle teilabzutasten, bevor die Daten zur weiteren Verminderung der zu übermittelnden Datenmenge dem Komprimiervorgang unterzogen werden.
  • Wegen dieser verringerten Datenmenge, mit der das ursprüngliche Bild bei der Rekonstruktion wiederhergestellt wird, müssen für die nicht abgetasteten Bildbereiche des niedriger aufgelösten Kanals Werte eingefügt oder interpoliert werden. Eine weit verbreitete Technik für die Ausführung des Interpolationsvorgangs besteht darin, für die Bildstellen, für die keine Chrominanzdaten vorliegen, die Werte mittels ein- oder zweidimensionaler linearer Interpolation aus jenen angrenzenden Pixeln zu ermitteln, für die die Chrominanzwerte vorliegen.
  • Normalerweise handelt es sich bei dem interpolierten Wert um ein Farbdifferenzsignal, zum Beispiel ein I-, Q-, R-G-, oder B-G-Signal. Leider führt ein solches lineares Interpolationsverfahren zu Farbartefakten (Unschärfe oder Verwischen des Bildes) an den Kanten zwischen Bereichen unterschiedlicher Farbe, so daß die Farbkomponente der Kante nicht genauso scharf ist wie die Luminanzkomponente, was sowohl bei fotografischen Abbildungen als auch bei Videoabbildungen von Motiven die Qualität vermindert.
  • WO-A-86 01965 beschreibt ein Verfahren zur Verarbeitung abgetasteter Farbbildsignalwerte gemäß dem Gattungsbegriff des Anspruchs 1 zur Erzeugung interpolierter Signalwerte. Die Farbsignalwerte repräsentieren den Farbinhalt einer Bildvorlage und umfassen zumindest zwei verschiedene Farbbandbereiche, wobei ein erster, einem ersten Farbinhalt der Bildvorlage zugeordneter Farbbildsignalwert mit einer ersten räumlichen Frequenz und ein zweiter, einem zweiten Farbinhalt der Bildvorlage zugeordneter Farbbildsignalwert mit einer zweiten, gegenüber der ersten räumlichen Frequenz niedrigeren räumlichen Frequenz abgetastet wird. Das beschriebene Interpolationsverfahren basiert jedoch nur auf der Farbtonkomponente (Verhältnis des zweiten abgetasteten Farbinhalts zum ersten abgetasteten Farbinhalt) und dem ersten abgetasteten Farbinhalt. Unabhängig davon, ob eine Kante zwischen aufeinanderfolgenden zweiten abgetasteten Farbbildsignalwerten vorliegt, wird nur eine Beziehung zugrundegelegt.
  • Nach der vorliegenden, in Anspruch 1 definierten Erfindung werden Farbrandeffekte, die sich in Bereichen unterschiedlicher Farbe bei Bildern ergeben, die mit herkömmlichen Interpolationsverfahren verarbeitet werden, wirksam durch eine neuartige und verbesserte Signalverarbeitungstechnik vermieden, bei der der vollabgetastete Kanal in ein Segmentierungsdiagramm umgesetzt wird, das eine Reihe von nebeneinanderliegenden Bildbereichen unterschiedlicher Bildmerkmale enthält. Der Segmentierungsvorgang läuft derart ab, daß innerhalb des jeweiligen Bereichs die vollabgetasteten Signalwerte einem gemeinsamen Bildmerkmal zugeordnet werden. Zwischen benachbarten Bereichen tritt eine Trennlinie auf, wenn der Segmentierungsvorgang das Vorliegen einer Kante zwischen teilabgetasteten Bildbereichen abgeleitet und beiderseits der Kante anfallende Signalwerte für aufeinanderfolgende Abtaststellen des vollabgetasteten Kanals entsprechend unterschiedlichen Bildmerkmalen zugeordnet hat. Nach Segmentierung des Bildes werden die innerhalb der einzelnen Bereiche anfallenden Signalwerte für nicht abgetastete Stellen des teilabgetasteten Kanals nach Vorgabe einer zwischen vollabgetasteten und an einer Abtaststelle in einem Bereich, in welchem jeder der voll- und teilabgetasteten Signalwerte erzeugt wurde, teilabgetasteten Signalwerten bestehenden Beziehung interpoliert.
  • Das erfindungsgemäße Interpolationsverfahren kann auch mit mehreren Segmentierungsvorgängen ausgeführt werden. In diesem Fall wird das Bildverarbeitungsergebnis der einzelnen Segmentierungsvorgänge gewichtet. Anschließend werden die aus jedem Segmentierungsvorgang erhaltenen Tnterpolationswerte kombiniert und daraus ein gewichteter Mittelwert ermittelt.
  • Die Erfindung wird im folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
  • Es zeigen:
  • Fig. 1 ein Diagramm eines eine spezielle Farbabtastwert-Interpolationseinrichtung verwendenden Farbbildverarbeitungssystems;
  • Fig. 2 eine schematische Darstellung eines Bereichs einer zweidimensionalen Pixelanordnung;
  • Fig. 3 eine schematische Darstellung eines Bereichs einer Reihe der Pixelanordnung nach Fig. 2 und der unterschiedlichen Abtastung der Pixelbereiche innerhalb der Reihe zum Zwecke der Erzeugung von Abtastsignalwerten Li und Ci,
  • Fig. 4 eine schematische Darstellung einer Reihe von Bildsignalen, bei denen zwischen konstanten Pegeln für aufeinanderfolgende abgesetzte, Kanten repräsentierende Stellen in vollabgetasteten Bereichen 0 und n eine Kante vorliegt;
  • Fig. 5 ein Diagramm eines Bildsignals, bei dem zwischen gleichförmig (linear) veränderlichen Bereichen, die die vollabgetasteten Stellen 0 und n enthalten, eine Kante vorliegt; und
  • Fig. 6 eine schematische Darstellung eines Bereichs einer zweidimensionalen Pixelanordnung und der zweidimensionalen Segmentierung der Pixelbereiche innerhalb der Anordnung derart, daß jeder Bereich mehrere Pixelbereiche, in denen vollabgetastete Signalwerte erhalten werden, und einen Pixelbereich enthält, in dem ein teilabgetasteter Signalwert erhalten wird.
  • Bevor auf die Einzelheiten einer Ausführungsform der Erfindung eingegangen wird, sollte darauf hingewiesen werden, daß die Erfindung hauptsächlich in einem neuen Farbbildsignal-Interpolationsvorgang und nicht so sehr in einer bestimmten Ausführung dieses Vorgangs zu sehen ist. Außerdem verwendet die Erfindung gemäß ihrer bevorzugten Ausführungsform zwar einen programmierten digitalen Computer, der Interpolationsvorgang kann jedoch mit den unterschiedlichsten baulichen Kombinationen herkömmlicher Signalverarbeitungs-Schaltungen und -Komponenten, zum Beispiel speziell konfigurierter integrierter Schaltungshardware, ausgeführt werden. Entsprechend wurden Aufbau, Steuerung und Anordnung der Signalverarbeitungshardware einer Ausführungsform der Erfindung in den Zeichnungen durch ein leicht verständliches Blockdiagramm dargestellt, das nur drei besondere, sich auf die Erfindung beziehende Details zeigt, um die Offenbarung der Erfindung nicht durch bauliche Details zu überlagern, die für den Fachmann in Kenntnis dieser Beschreibung ohnehin naheliegend sind.
  • Fig. 1 zeigt ein Schema eines Farbbildverarbeitungssystems mit einem Farbbildwandler, bestehend zum Beispiel aus einer digitalen RGB-Videokamera 11, der über seine Ausgangsverbindung 13 Bildmerkmale repräsentierende digitale Signale liefert, zum Beispiel Signalwerte des roten, grünen und blauen Kanals, die rote, grüne und blaue Farbbandbereichskomponenten eines Farbbildes 21 repräsentieren, von dem Licht auf eine optoelektronische Umwandlungsmatrix in einer Kamera fällt. Wie bereits erwähnt, ist beim Abtasten des Bildes 21 mittels der Kamera 11 die Abtastfrequenz nicht für alle Bilddatenbandbereiche jeweils gleich. Normalerweise wird Grün vollabgetastet, während Rot und Blau mit geringerer Frequenz abgetastet werden. Infolgedessen werden die auf der Verbindung 13 anliegenden Abtastwerte einer Interpolationseinrichtung 15 (zum Beispiel einem für die Ausführung des nachstehend im einzelnen beschriebenen programmierten Mikroprozessor) zugeleitet, der Werte für jene Bereiche (Pixelstellen) eines Bildes ableitet, die zwischen den vollabgetasteten Pixeln liegen. Für die Zwecke der Beschreibung werden vollabgetastete Pixel mit dem Bezugs Zeichen L, teilabgetastete Komponenten mit dem Bezugszeichen C bezeichnet.
  • Fig. 2 zeigt eine schematische Darstellung eines Bereichs einer zweidimensionalen Anordnung von Bildpixeln Pi,j, für die eine Kamera 11 Bildmerkmale repräsentierende Signale in Verbindung mit entsprechenden Bildattributen, wie zum Beispiel einem angegebenen Chrominanz- oder Chrominanzdifferenzwert, einem Luminanzwert, usw., liefert. Außerdem sind in der Anordnung ein eindimensionaler oder linearer Pixelbereich 25 und ein zweidimensionaler Bereich 27 durch gestrichelte Linien begrenzt; auf diese wird in der nachstehenden Beschreibung von Beispielen für das Segmentieren des Bildes in nebeneinanderliegende Bereiche unterschiedlicher Farbmerkmale Bezug genommen.
  • Wie bereits erwähnt, wird bei der vorliegenden Erfindung das Problem von Farbrandeffekten an den Kanten zwischen Bildbereichen mit unterschiedlichen Farbmerkmalen dadurch wirksam vermieden, daß das Bild zunächst in eine Vielzahl nebeneianderliegender Bildbereiche segmentiert wird,
  • zwischen denen Kanten abgeleitet werden, und daß dann teilabgetastete Signalwerte in jedem Bereich nach Vorgabe einer vorbestimmten Beziehung zwischen vollabgetasteten und teilabgetasteten Signalwerten an Abtaststellen, an denen vollabgetastete und teilabgetastete Signalwerte von der Kamera 11 geliefert wurden, interpoliert werden. Dabei ist darauf hinzuweisen, daß für die Segmentierung des Bildes ein beliebiges Verfahren aus einer Reihe bekannter Bildsignalverarbeitungstechniken, einschließlich eindimensionaler und zweidimensionaler Segmentierungssysteme, verwendet werden kann und daß die Erfindung nicht auf ein bestimmtes Verfahren beschränkt ist. Infolgedessen dienen die nachstehend beschriebenen Segmentierungsbeispiele nur der Illustration, und es sind auch andere in der Literatur beschriebene Verfahren im Rahmen der Erfindung gleichermaßen verwendbar.
  • Ein Beispiel einer Technik zum Segmentieren des Bildes auf eindimensionaler Basis umfaßt die Analyse aufeinanderfolgender linearer Pixelgruppen oder Pixelzeilen, zum Beispiel des linearen Bereichs 25 in der Anordnung gemäß Fig. 2, unter Verwendung von Teilintervallen, die durch jene Pixelstellen begrenzt werden, an denen durch die Kamera 11 Signalwerte für einen teilabgetasteten Kanal erzeugt wurden. Es wird angenommen, daß innerhalb jedes Teilintervalls eine Farbkante liegt, und durch die Analyse wird die wahrscheinlichste Lage der Kante durch ständig wiederholte Verarbeitung der vollabgetasteten Kanalsignale für alle Pixel innerhalb des Teilintervalls bestimmt.
  • Unter Bezugnahme auf Fig. 3, in der ein Bereich 25 einer Reihe der Pixelanordnung gemäß Fig. 2 dargestellt ist, werden durch Differenz-(Frequenz)abtastung der Pixelstellen Pi innerhalb der Reihe für jedes Pixel Pi vollabgetastete Signalwerte Li und für jede nte Pixelstelle teilabgetastete Signalwerte C0, Cn, C2n, ... erzeugt, wobei der Teilabtastfaktor n normalerweise 2, 4 oder 8 ist. Daher müssen C-Werte für die Pixelstellen C1, C2, C3, ..., Cn-1, Cn+1, usw., interpoliert werden. Erfindungsgemäß wird, bevor die C-Werte für diese Stellen interpoliert werden, innerhalb jedes Teilintervalls, zum Beispiel des Teilintervalls zwischen den Pixelstellen P0 und Pn, eine Farbkante abgeleitet, und es wird angenommen, daß die Bildmerkmale auf gegenüberliegenden Seiten der Kante jeweils verschiedenen Farbmerkmalen entsprechen, zum Beispiel jeweils verschiedenen konstanten Farbstärken oder jeweils gleichmäßigen Farbabweichungen, so daß zwischen der Kante und den Endpunkten des Teilintervalls zwei an der Kante aneinandergrenzende Farbbereiche bestehen. Um zu bestimmen, zwischen welchen zwei Pixeln die Kante liegen soll, wird das Segmentierungsverfahren sich immer wiederholend durchgeführt, so daß für jede wiederholte Teilintervall-Segmentierung eine Reihe von Lagedaten erzeugt werden. Jene wiederholte Teilintervall-Segmentierung, die den L-Werten des vollabgetasteten Kanals am nächsten kommt, wird dann ausgewählt. Die Auswahl kann mittels herkömmlicher Fehlermeßtechniken, zum Beispiel der Methoden der kleinsten Quadrate oder der größten Wahrscheinlichkeit, oder mittels des Bayesschen statistischen Verfahrens oder durch Schwellwertüberschreitung der L-Werte zwischen den Bereichen getroffen werden.
  • Fig. 4 zeigt ein Diagramm eines sich wiederholenden Segmentierungsverfahrens bei einem Teilintervall vollabgetasteter L-Signalwerte, wobei für aufeinanderfolgende, abgesetzte, eine Kante repräsentierende Bereiche in den vollabgetasteten Bereichen 0 und n zwischen hohen und niedrigen konstanten Stärken LKH und LKL eine Kante E abgeleitet wird. Bei diesem Beispiel eines eindimensionalen Segmentierungsverfahrens wird davon ausgegangen, daß die Bildmerkmale einem vorgeschriebenen Modell oder Muster M entsprechen, das in dem in Fig. 4 dargestellten Beispiel durch eine stufenweise Veränderung des Parameters L
  • zwischen einem relativ hohen konstanten Wert LKH und einem relativ niedrigen konstanten Wert LKL repräsentiert ist. Anders ausgedrückt, wird innerhalb des Teilintervalls eine Kante E zwischen den Pixelstellen 0 und n angenommen; beiderseits der Kante ist der Wert L eine Konstante (entweder LKH oder LKL). Die Werte der Konstanten können in der Weise gewählt werden, daß man auf der Grundlage der vorherigen Kenntnis der Bidstatistik und der Mittelung der L-Werte innerhalb des Intervalls einen gegebenen Schwellenwert festlegt. Wie beim Segmentierungsverfahren selbst sind die besonderen Mechanismen, die der Bestimmung der Konstanten dienen, für die Erfindung nicht wesentlich.
  • Bei jeder Wiederholung der Ermittlung der Position der Kante E wird die Folge der L-Werte L0, L1, L2, ..., Ln mit dem Modell M verglichen und ein Maß für die Übereinstimmung des Modells mit den tatsächlichen, das Bild repräsentierenden Signalen abgeleitet (zum Beispiel nach dem Verfahren des geringsten Fehlerquadrats oder durch Wahl des mittleren 0-Übergangs von L-(Lo+Ln)/2). Das Segmentierungsmodell, das die "beste Übereinstimmung" ergibt, führt damit zur optimalen Lage der Kante E und zur bestmöglichen Anpassung des Mechanismus, durch den die teilabgetasteten C-Werte innerhalb des Teilintervalls oder des Bereichs zwischen den Pixelpositionen 0 und n interpoliert werden.
  • Der besondere Mechanismus für das Interpolieren eines unbekannten Wertes von C hängt ab von den Merkmalen der Bandbereiche der L- und C-Signale. Unbekannte Werte von C können zum Beispiel dadurch definiert werden, daß man jeden C-Wert innerhalb eines Bereichs (auf einer Seite der Kante E) oder die Differenz C-L innerhalb des Bereichs oder das Verhältnis C/L innerhalb des Bereichs konstant macht. Bei Bandbereichen, die zueinander im wesentlichen nicht in Wechselbeziehung stehen, wie zum Beispiel Inphase- und Luminanzkanäle bei einem YIQ-System, wird der Wert von C innerhalb des Bereichs festgelegt. Bei Rot- und Grün-Farbintensitäts-Bildwiedergabeeinrichtungen wird das Verhältnis von Rot zu Grün (Grün vollabgetastet) als Konstante innerhalb des Bereichs festgelegt. Bei einer Bilderzeugungseinrichtung mit logarithmischer Belichtung wird die Differenz zwischen den Rot- und Grünwerten als Konstante innerhalb des Bereichs festgelegt.
  • Fig. 5 zeigt ein Diagramm eines zweiten Beispiels eines sich wiederholenden Segmentierungsverfahrens, das bei einem Teilintervall vollabgetasteter L-Signalwerte anwendbar ist, wobei eine Kante E zwischen gleichbleibenden Werten von L (der Form L = a.x + b) abgeleitet wird, wie diese durch die Linie L = a1.x + b zwischen den Pixelpositionen Pn und der Kante E und durch die Linie L2 = a2L0 + b2 zwischen der Kante E und der Pixelposition Pn repräsentiert wird. Bei diesem Beispiel hat das Modell M des Bildmerkmals die Form einer linearen Gleichung, wie diese in Fig. 7 durch die Linien L1 bzw. L2 dargestellt ist. Wie bei dem zuvor beschriebenen Beispiel wird innerhalb des Teilintervalls eine Kante E zwischen den Pixelpositionen 0 und n angenommen, und beiderseits der Kante entspricht der Wert L einer bestimmten Beziehung (hier einer linearen Veränderung, nicht wie im zuvor beschriebenen Beispiel einer Konstanten). Die Werte der Koeffizienten a und b können entsprechend den Bildmerkmalen gewählt werden, zum Beispiel nach den zu erwartenden Störsignalen und den jeweiligen Werten von C0, L0 und Cn, Ln an den Pixelpositionen 0 bzw. n.
  • Wie im zuvor beschriebenen Beispiel wird bei jeder wiederholten Lagebestimmung der Kante E die Folge der L-Werte L0, L1, L2, ..., Ln mit dem Modell M verglichen und ein Maß für die Übereinstimmung des Modells mit den tatsächlichen, das Bild repräsentieren Signalen abgeleitet. Das Modell, das die beste Übereinstimmung ergibt, bestimmt dann die Position der Kante E und den Mechanismus, mittels dessen die teilabgetasteten C-Werte innerhalb des Teilintervalls oder Bereichs zwischen den Pixelpositionen 0 und n interpoliert werden. Wie bereits erwähnt, hängt der Mechanismus für das Interpolieren eines unbekannten Wertes C ab von den Merkmalen der Bandbereiche der L- und C-Signale und kann die vorstehend erwähnten Beziehungen beinhalten.
  • Fig. 6(a) - 6(b) zeigen den Bereich 27 der Pixelanordnung nach Fig. 2, der mittels eines zweidimensionalen Segmentierungsverfahrens derart in entsprechende Segmentierungsdiagramme segmentiert wurde, daß jeder Bereich jedes Diagramms eine Vielzahl von Pixelpositionen, an denen vollabgetastete Signalwerte erhalten werden, und eine Pixelposition enthält, an der ein teilabgetastetes Signal erhalten wird. Im einzelnen zeigen die Fig. 6(a) - 6(b) jeweils eine zweidimensionale Segmentierung oder Unterteilung aneinandergrenzender Bereiche einer zweidimensionalen Anordnung von Pixeln in vier Bereiche 31-34, die jeweils eine Pixelposition P, an der sowohl L- als auch C-Werte von der Kamera 11 geliefert werden, sowie eine gewisse Anzahl weiterer Pixelpositionen Po enthalten, an denen nur L-Werte geliefert werden und für die C-Werte interpoliert werden müssen. Beispiele für ein Verfahren zur Segmentierung benachbarter Bereiche für die in Fig. 6 dargestellte Abtastgeometrie sind beliebig der veröffentlichten Literatur zu entnehmen (zum Beispiel "Handbook of Pattern Recognition and Image Processing", T.Y. Young & K.S Fu Academic Press 1986). Durch wiederholte Anwendung des Segmentierungsverfahrens werden, wie in Fig. 6(a) - 6(c) dargestellt, Gruppen miteinander verbundener Kantenlinien E zwischen angrenzenden Bereichen erzeugt. Bei dem in Fig. 6(a) dargestellten Segmentierungsdiagramm ist die Geometrie zum Beispiel durch eine Kantenlinie E12 zwischen den Bereichen 31 und 32, eine Kantenlinie E13 zwischen den Bereichen 31 und 33, eine Kantenlinie E14 zwischen den Bereichen 31 und 34 und eine Kantenlinie E34 zwischen den Bereichen 33 und 34 unterteilt. Bei jeder Wiederholung der Lagebestimmung der Kantenlinien E werden die L-Werte innerhalb jedes Bereichs werden mit einem (zweidimensionalen) Modell für die Anordnung (zum Beispiel einem Konstantpegel- oder planaren Modell) verglichen, und es wird ein Maß für die Übereinstimmung des Modells mit den L- Werten jeder Pixelposition innerhalb eines Bereichs abgeleitet. Wie bei dem eindimensionalen Segmentierungsverfahren bestimmt dasjenige zweidimensionale Modell, das die beste Übereinstimmung ergibt, den Verlauf der Kantenlinien E und den Mechanismus, mittels dessen die teilabgetasteten C-Werte innerhalb des Bereichs interpoliert werden.
  • Wie vorstehend erwähnt, werden bei dem erfindungsgemäßen Interpolationsverfahren zunächst die Bilddaten nach einem vorgeschriebenen eindimensionalen oder zweidimensionalen Segmentierungsverfahren segmentiert und dann, nach Durchführung einer übereinstimmungsprüfung zur Festlegung der Grenzen der segmentierten Bereiche, die teilabgetasteten C-Werte an den Pixelpositionen, an denen ursprünglich keine C-Daten geliefert wurden, interpoliert. Gemäß einer Weiterentwicklung dieses Verfahrens ist es möglich, sich nicht von vornherein für ein bestimmtes Segmentierungsverfahren zu entscheiden und dann die L-Datenwerte auf den gewählten Segmentierungsmechanismus anzuwenden, sondern das erfindungsgemäße Verfahren in der Weise durchzuführen, daß man eine Vielzahl von Segmentierungssystemen auf die Daten anwendet und jedem Segmentierungsverfahren eine Bewertung zuteilt. Ein typisches Maß für die Bewertung kann wiederum aus der mittleren quadratischen Abweichung der tatsächlichen L-Daten von dem gewählten Segmentierungsmodell basieren. Ein anderes Maß für die zu verwendende Bewertungszahl ist, von einem statistischen Modell des Bildes ausgehend, die Wahrscheinlichkeit, mit der eine Segmentierung die gegebenen beobachteten L-Daten erzeugen kann. Für eine Vielzahl von Segmentierungssystemen S1, S2, S3, ..., Sk bestehen also eine entsprechende Vielzahl von Leistungs- oder Gewichtungskoeffizienten W1, W2, W3, Wk, die jeweils der Bewertungszahl und den von vornherein gegebenen Bildmerkmalen zugeordnet sind. Zum Beispiel kann die Gewichtungsfunktion W entsprechend der folgenden Beziehung ermittelt werden:
  • W = exp ( -(mittlere quadratische Abweichung)/(Abweichung des gleichförmigen Bildfeldes)),
  • wobei der Abweichungswert ein Maß für die Störsignale innerhalb eines im allgemeinen gleichförmigen Bildbereichs ist.
  • Für jedes Segmentierungsdiagramm werden alle unbekannten C-Werte interpoliert und dann entsprechend dem Gewichtungskoeffizienten, der dem speziellen verwendeten Segmentierungsverfahren zugeordnet ist, skaliert. Schließlich werden für jede interpolierte Pixelstelle Pi alle Werte Ci für diese Stelle unter Berücksichtigung aller dieser Gewichtungskoeffizienten aufsummiert, so daß man einen gewichteten Mittelwert Ci erhält.
  • Aus der vorstehenden Beschreibung ist ersichtlich, daß das Problem der Farbrandeffekte zwischen Bildbereichen unterschiedlicher Farbmerkmale, die mit herkömmlichen Interpolationsmechanismen verarbeitet werden, erfindungsgemäß dadurch wirksam vermieden wird, daß man die Interpolation von teilabgetasteten Bildsignalen ausgehend von einem Anfangs-Segmentierungsdiagramm ausführt, dessen Grenzen so festgelegt wurden, daß die Bilddaten optimal in eine Vielzahl aneinandergrenzender Bildbereiche mit jeweils unterschiedlichen Bildmerkmalen unterteilt werden. Da zwischen benachbarten Bereichen eine Grenze dort entsteht, wo nach dem Segmentierungsvorgang eine Kante abgeleitet wurde, erzeugen interpolierte teilabgetastete Werte in der Nähe dieser Kante ein rekonstruiertes Bild, das gegenüber Bildern, die mittels herkömmlicher linearer Interpolation erzeugt wurden, eine beträchtlich verbesserte Qualität aufweist.
  • Zeichnungsbeschriftung
  • Fig. 1
  • 21 Bild
  • 11 Kamera
  • 15 Interpolationseinrichtung
  • a Datenausgang

Claims (7)

1. Verfahren zum Verarbeiten abgetasteter, von einer Farbbilderzeugungsvorrichtung erzeugter Signalwerte, die unterschiedliche Farbinformationsinhalte (C. L) einer Bildvorlage darstellen, wobei ein vollabgetasteter Signalwertkanal einem ersten Bandbereich mit Informationen erster Farbkomponentenmerkmale (L) der Bildvorlage und ein teilabgetasteter Kanal der abgetasteten Signalwerte einem zweiten Bandbereich mit Informationen zweiter Farbkomponentenmerkmale (C) der Bildvorlage zugeordnet ist, und wobei das Verfahren für Bereiche der Bildvorlage zwischen Abtaststellen, an denen keine zweiten Signalwerte erzeugt werden, auf der Grundlage eines von den Merkmalen der Bandbereiche der voll bzw. teilabgetasteten Signale abhängigen Segmentierungsvorgangs, interpolierte zweite Signalwerte erzeugt, gekennzeichnet durch folgende Schritte:
a) Segmentieren des vollabgetasteten Kanals in ein Segmentierungsdiagramm, das eine Reihe von nebeneinanderliegenden Bildbereichen unterschiedlicher Bildmerkmale enthält, so daß die innerhalb eines bestimmten Bereichs vollabgetasteten Signalwerte einem gemeinsamen Bildmerkmal, und die zu beiden Seiten einer zwischen benachbarten Bereichen verlaufenden Trennungslinie anfallenden Signalwerte für aufeinanderfolgende Abtaststellen des vollabgetasteten Kanals entsprechend unterschiedlichen Bildmerkmalen zugeordnet werden; und
b) Interpolieren der innerhalb jeden Bereichs anfallenden Signalwerte für nichtabgetastete Stellen des teilabgetasteten Kanals nach Vorgabe einer zwischen vollabgetasteten und an einer Abtaststelle in einem Bereich, in welchem jeder der voll- und teilabgetasteten Signalwerte erzeugt wurden, teilabgetasteten Signalwerten bestehenden Beziehung, wobei die vorgegebene Beziehung vom ausgewählten Segmentierungsvorgang und dem gemeinsamen, dem entsprechenden Bildbereich zugeordneten Merkmal abhängt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für einen ausgewählten Segmentierungsvorgang eine Vielzahl von Segmentierungsdiagrammen und eine entsprechende Vielzahl von interpolierten Werten erhalten werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß eine Vielzahl von Segmentierungsdiagrammen, die einer Vielzahl von unterschiedlichen Bildsegmentierungsvorgängen entsprechen, erhalten werden und jedes der Vielzahl von Segmentierungsdiagrammen entsprechend einer vorgeschriebenen Fehlercharakteristik zwischen jedem segmentierten Diagramm und der Bildvorlage gewichtet wird, und daß eine Vielzahl von entsprechenden interpolierten Werten, die jedem der unterschiedlichen Bildsegmentierungsvorgänge entsprechen, kombiniert und entsprechend der Gewichtung der Vielzahl von Segmentierungsdiagrammen gewichtet werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß Schritt a) die Segmentierung der Bildvorlage in ein Bildsegmentierungsdiagramm umfaßt, welches aus einer Vielzahl von Bereichen erster Signalwerte gebildet ist, so daß innerhalb eines bestimmten Bereichs jeder erste Signalwert gleich ist, während die Werte der ersten Signale für benachbarte Bereiche voneinander abweichen, so daß zwischen benachbarten Bereichen eine Bildgrenze gebildet wird.
5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Schritt a) folgende Schritte umfaßt:
a1) Ableiten einer Bildmerkmalskante zwischen aufeinanderfolgenden Abtaststellen, an denen von der Bilderzeugungsvorrichtung zweite Signalwerte erzeugt werden,
a2) Verarbeiten erster Signalwerte, die an Abtaststellen erzeugt werden, die sich zwischen der Bildmerkmalskante und einer der aufeinanderfolgenden Abtaststellen befinden, entsprechend einer ersten bildmerkmalsbestimmenden Beziehung, und erster Signalwerte, die an Abtaststellen erzeugt werden, die sich zwischen der Bildmerkmalskante und einer weiteren der aufeinderfolgenden Abtaststellen befinden, entsprechend einer zweiten bildmerkmalsbestimmenden Beziehung, um die Lagedaten einer voraussichtlichten Segmentierungsgrenze zwischen den aufeinanderfolgenden Abtaststellen abzuleiten,
a3) Wiederholen der Schritte a1) und a2) für mehrere abgeleitete Bildmerkmalskanten zwischen den auf einanderfolgenden Abtaststellen, um mehrere Lagedaten voraussichtlicher Segmentierungsgrenzen zu erhalten, und
a4) Auswählen entsprechend den Lagedaten voraussichtlicher Segmentierungsgrenzen derjenigen Bildmerkmalskante als Bildbegrenzung zwischen benachbarten Bereichen des Segmentierungsdiagramms, die einer Änderung in den ersten Signalwerten am nächsten kommt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Schritte a1) - a4) bei einer eindimensionalen Anordnung von Abtaststellen durchgeführt werden.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Schritte a1) - a4) bei einer zweidimensionalen Anordnung von Abtaststellen durchgeführt werden.
DE69015153T 1989-10-02 1990-09-24 Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal. Expired - Fee Related DE69015153T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/415,942 US5040064A (en) 1989-10-02 1989-10-02 Method of processing sampled signal valves produced by a color imaging device
PCT/US1990/005363 WO1991005441A1 (en) 1989-10-02 1990-09-24 Segmentation mechanism for producing interpolated color values for a sampled color image signal

Publications (2)

Publication Number Publication Date
DE69015153D1 DE69015153D1 (de) 1995-01-26
DE69015153T2 true DE69015153T2 (de) 1995-06-22

Family

ID=23647867

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69015153T Expired - Fee Related DE69015153T2 (de) 1989-10-02 1990-09-24 Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal.

Country Status (5)

Country Link
US (1) US5040064A (de)
EP (1) EP0446330B1 (de)
JP (1) JPH04502097A (de)
DE (1) DE69015153T2 (de)
WO (1) WO1991005441A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2948240B2 (ja) * 1989-10-09 1999-09-13 株式会社日立製作所 信号補間装置
US5475769A (en) * 1992-07-13 1995-12-12 Polaroid Corporation Method and apparatus for recovering image data through the use of a color test pattern
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
US5778106A (en) * 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6650795B1 (en) 1999-08-10 2003-11-18 Hewlett-Packard Development Company, L.P. Color image capturing system with antialiazing
US6580837B1 (en) * 1999-12-07 2003-06-17 Intel Corporation Up-sampling decimated color plane data
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
US7221793B2 (en) * 2003-05-27 2007-05-22 Hewlett-Packard Development Company, L.P. Systems and methods for providing spatially-varied demosaicing
GB0316994D0 (en) * 2003-07-21 2003-08-27 E2V Tech Uk Ltd Smear reduction in CCD images
US20070198725A1 (en) * 2004-10-06 2007-08-23 Morris Robert P System and method for utilizing contact information, presence information and device activity
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
TWI268709B (en) * 2005-08-26 2006-12-11 Realtek Semiconductor Corp Digital filtering device and related method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61501424A (ja) * 1984-09-10 1986-07-10 イ−ストマン コダック カンパニ− 標本色彩画像信号のための信号処理方法及び装置
US4630307A (en) * 1984-09-10 1986-12-16 Eastman Kodak Company Signal processing method and apparatus for sampled image signals
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4764805A (en) * 1987-06-02 1988-08-16 Eastman Kodak Company Image transmission system with line averaging preview mode using two-pass block-edge interpolation

Also Published As

Publication number Publication date
DE69015153D1 (de) 1995-01-26
EP0446330A1 (de) 1991-09-18
US5040064A (en) 1991-08-13
JPH04502097A (ja) 1992-04-09
EP0446330B1 (de) 1994-12-14
WO1991005441A1 (en) 1991-04-18

Similar Documents

Publication Publication Date Title
DE69015153T2 (de) Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal.
DE69005991T2 (de) Verfahren und anordnung zur erzeugung eines hochauflösenden elektronischen signals von der zeilenabtastung einer farbvorlage.
DE69938227T2 (de) Verfahren und Gerät zur Bewegungsartefakten- und Geräuschverringerung in Videobildverarbeitung
DE4416801C2 (de) Verfahren zur Mustererkennung
DE3546136C2 (de)
DE3545951C2 (de)
DE3609887C2 (de) Schaltungsanordnung zur Erzeugung von Bemessungsfaktoren für ein rekursives Filter für Videosignale
DE19816123B4 (de) Verfahren zum Erzeugen von Mehrfachwiedergaben eines Bilds mit einer Mehrfachbildabtastvorrichtung
DE3935067C2 (de)
DE3687850T2 (de) Festkoerper-bildaufnahmeanordnung.
DE2757456C2 (de)
DE3687434T2 (de) Geraet zum ausgleich von bewegung in einem von einem von einem fernsehsignal abgeleiteten bild.
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
DE3789091T2 (de) Bildverarbeitungsverfahren und -system zur Bildrekonstruktion.
DE69018811T2 (de) Zeilenabtastgerät unter anwendung von versetzten linearsegmenten mit angrenzenden überlappungsgebieten.
DE3638852A1 (de) Bildverarbeitungsgeraet und -verfahren
DE3786011T2 (de) Verfahren zur verbesserung eines farbvideobildes und entsprechende vorrichtung.
DE3527275C2 (de)
DE2256617C3 (de) Einrichtung zur Analyse einer Vorlage
DE4341536A1 (de) Bildverarbeitungseinrichtung
DE2905264C2 (de)
EP0042981B1 (de) Verfahren zur Codierung von elektrischen Signalen, die bei der Abtastung eines grafischen Musters mit aus Text und Bildern gemischtem Inhalt gewonnen werden
DE69018394T2 (de) Bilddatenkompressionsverfahren und -vorrichtung.
DE60320076T2 (de) Verfahren zur elektronischen farbentfernung unter nutzung räumlicher beziehungen zur verbesserung der genauigkeit
DE3249578C2 (de)

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee