DE69015153T2 - Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal. - Google Patents
Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal.Info
- Publication number
- DE69015153T2 DE69015153T2 DE69015153T DE69015153T DE69015153T2 DE 69015153 T2 DE69015153 T2 DE 69015153T2 DE 69015153 T DE69015153 T DE 69015153T DE 69015153 T DE69015153 T DE 69015153T DE 69015153 T2 DE69015153 T2 DE 69015153T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- segmentation
- signal values
- sampled
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims description 49
- 238000000034 method Methods 0.000 claims description 55
- 238000010586 diagram Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Description
- Die Erfindung bezieht sich allgemein auf die Verarbeitung von Farbbilderzeugungssignalen, insbesondere auf einen Segmentierungsvorgang zum Interpolieren von Signalwerten eines Farbbandbereichs derart, daß Farbrandeffekte in der Nähe von Farbkanten wesentlich reduziert werden.
- Mehrkanal -Bildabtastvorrichtungen (z. B. Dreifarbenband, Luminanzband), wie zum Beispiel digitale RGB-Videokameras, erzeugen normalerweise Ausgangssignale mit unterschiedlichen Abtastfrequenzen, wobei ein Kanal (üblicherweise der Grün- oder Luminanzkanal) vollabgetastet wird, während die übrigen Kanäle (die Rot- und Blaukanäle) Daten niedriger Auflösung führen. Bei einer Kleinkamera mit CCD- Bildwandler kann die Gründatenmenge zum Beispiel zweioder dreimal so groß sein wie die Datenmenge der Rot- oder Blaukanäle. Außerdem ist es bei der Fernübertragung komprimierter Farbbilddaten allgemein üblich, the Chrominanzkanäle teilabzutasten, bevor die Daten zur weiteren Verminderung der zu übermittelnden Datenmenge dem Komprimiervorgang unterzogen werden.
- Wegen dieser verringerten Datenmenge, mit der das ursprüngliche Bild bei der Rekonstruktion wiederhergestellt wird, müssen für die nicht abgetasteten Bildbereiche des niedriger aufgelösten Kanals Werte eingefügt oder interpoliert werden. Eine weit verbreitete Technik für die Ausführung des Interpolationsvorgangs besteht darin, für die Bildstellen, für die keine Chrominanzdaten vorliegen, die Werte mittels ein- oder zweidimensionaler linearer Interpolation aus jenen angrenzenden Pixeln zu ermitteln, für die die Chrominanzwerte vorliegen.
- Normalerweise handelt es sich bei dem interpolierten Wert um ein Farbdifferenzsignal, zum Beispiel ein I-, Q-, R-G-, oder B-G-Signal. Leider führt ein solches lineares Interpolationsverfahren zu Farbartefakten (Unschärfe oder Verwischen des Bildes) an den Kanten zwischen Bereichen unterschiedlicher Farbe, so daß die Farbkomponente der Kante nicht genauso scharf ist wie die Luminanzkomponente, was sowohl bei fotografischen Abbildungen als auch bei Videoabbildungen von Motiven die Qualität vermindert.
- WO-A-86 01965 beschreibt ein Verfahren zur Verarbeitung abgetasteter Farbbildsignalwerte gemäß dem Gattungsbegriff des Anspruchs 1 zur Erzeugung interpolierter Signalwerte. Die Farbsignalwerte repräsentieren den Farbinhalt einer Bildvorlage und umfassen zumindest zwei verschiedene Farbbandbereiche, wobei ein erster, einem ersten Farbinhalt der Bildvorlage zugeordneter Farbbildsignalwert mit einer ersten räumlichen Frequenz und ein zweiter, einem zweiten Farbinhalt der Bildvorlage zugeordneter Farbbildsignalwert mit einer zweiten, gegenüber der ersten räumlichen Frequenz niedrigeren räumlichen Frequenz abgetastet wird. Das beschriebene Interpolationsverfahren basiert jedoch nur auf der Farbtonkomponente (Verhältnis des zweiten abgetasteten Farbinhalts zum ersten abgetasteten Farbinhalt) und dem ersten abgetasteten Farbinhalt. Unabhängig davon, ob eine Kante zwischen aufeinanderfolgenden zweiten abgetasteten Farbbildsignalwerten vorliegt, wird nur eine Beziehung zugrundegelegt.
- Nach der vorliegenden, in Anspruch 1 definierten Erfindung werden Farbrandeffekte, die sich in Bereichen unterschiedlicher Farbe bei Bildern ergeben, die mit herkömmlichen Interpolationsverfahren verarbeitet werden, wirksam durch eine neuartige und verbesserte Signalverarbeitungstechnik vermieden, bei der der vollabgetastete Kanal in ein Segmentierungsdiagramm umgesetzt wird, das eine Reihe von nebeneinanderliegenden Bildbereichen unterschiedlicher Bildmerkmale enthält. Der Segmentierungsvorgang läuft derart ab, daß innerhalb des jeweiligen Bereichs die vollabgetasteten Signalwerte einem gemeinsamen Bildmerkmal zugeordnet werden. Zwischen benachbarten Bereichen tritt eine Trennlinie auf, wenn der Segmentierungsvorgang das Vorliegen einer Kante zwischen teilabgetasteten Bildbereichen abgeleitet und beiderseits der Kante anfallende Signalwerte für aufeinanderfolgende Abtaststellen des vollabgetasteten Kanals entsprechend unterschiedlichen Bildmerkmalen zugeordnet hat. Nach Segmentierung des Bildes werden die innerhalb der einzelnen Bereiche anfallenden Signalwerte für nicht abgetastete Stellen des teilabgetasteten Kanals nach Vorgabe einer zwischen vollabgetasteten und an einer Abtaststelle in einem Bereich, in welchem jeder der voll- und teilabgetasteten Signalwerte erzeugt wurde, teilabgetasteten Signalwerten bestehenden Beziehung interpoliert.
- Das erfindungsgemäße Interpolationsverfahren kann auch mit mehreren Segmentierungsvorgängen ausgeführt werden. In diesem Fall wird das Bildverarbeitungsergebnis der einzelnen Segmentierungsvorgänge gewichtet. Anschließend werden die aus jedem Segmentierungsvorgang erhaltenen Tnterpolationswerte kombiniert und daraus ein gewichteter Mittelwert ermittelt.
- Die Erfindung wird im folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
- Es zeigen:
- Fig. 1 ein Diagramm eines eine spezielle Farbabtastwert-Interpolationseinrichtung verwendenden Farbbildverarbeitungssystems;
- Fig. 2 eine schematische Darstellung eines Bereichs einer zweidimensionalen Pixelanordnung;
- Fig. 3 eine schematische Darstellung eines Bereichs einer Reihe der Pixelanordnung nach Fig. 2 und der unterschiedlichen Abtastung der Pixelbereiche innerhalb der Reihe zum Zwecke der Erzeugung von Abtastsignalwerten Li und Ci,
- Fig. 4 eine schematische Darstellung einer Reihe von Bildsignalen, bei denen zwischen konstanten Pegeln für aufeinanderfolgende abgesetzte, Kanten repräsentierende Stellen in vollabgetasteten Bereichen 0 und n eine Kante vorliegt;
- Fig. 5 ein Diagramm eines Bildsignals, bei dem zwischen gleichförmig (linear) veränderlichen Bereichen, die die vollabgetasteten Stellen 0 und n enthalten, eine Kante vorliegt; und
- Fig. 6 eine schematische Darstellung eines Bereichs einer zweidimensionalen Pixelanordnung und der zweidimensionalen Segmentierung der Pixelbereiche innerhalb der Anordnung derart, daß jeder Bereich mehrere Pixelbereiche, in denen vollabgetastete Signalwerte erhalten werden, und einen Pixelbereich enthält, in dem ein teilabgetasteter Signalwert erhalten wird.
- Bevor auf die Einzelheiten einer Ausführungsform der Erfindung eingegangen wird, sollte darauf hingewiesen werden, daß die Erfindung hauptsächlich in einem neuen Farbbildsignal-Interpolationsvorgang und nicht so sehr in einer bestimmten Ausführung dieses Vorgangs zu sehen ist. Außerdem verwendet die Erfindung gemäß ihrer bevorzugten Ausführungsform zwar einen programmierten digitalen Computer, der Interpolationsvorgang kann jedoch mit den unterschiedlichsten baulichen Kombinationen herkömmlicher Signalverarbeitungs-Schaltungen und -Komponenten, zum Beispiel speziell konfigurierter integrierter Schaltungshardware, ausgeführt werden. Entsprechend wurden Aufbau, Steuerung und Anordnung der Signalverarbeitungshardware einer Ausführungsform der Erfindung in den Zeichnungen durch ein leicht verständliches Blockdiagramm dargestellt, das nur drei besondere, sich auf die Erfindung beziehende Details zeigt, um die Offenbarung der Erfindung nicht durch bauliche Details zu überlagern, die für den Fachmann in Kenntnis dieser Beschreibung ohnehin naheliegend sind.
- Fig. 1 zeigt ein Schema eines Farbbildverarbeitungssystems mit einem Farbbildwandler, bestehend zum Beispiel aus einer digitalen RGB-Videokamera 11, der über seine Ausgangsverbindung 13 Bildmerkmale repräsentierende digitale Signale liefert, zum Beispiel Signalwerte des roten, grünen und blauen Kanals, die rote, grüne und blaue Farbbandbereichskomponenten eines Farbbildes 21 repräsentieren, von dem Licht auf eine optoelektronische Umwandlungsmatrix in einer Kamera fällt. Wie bereits erwähnt, ist beim Abtasten des Bildes 21 mittels der Kamera 11 die Abtastfrequenz nicht für alle Bilddatenbandbereiche jeweils gleich. Normalerweise wird Grün vollabgetastet, während Rot und Blau mit geringerer Frequenz abgetastet werden. Infolgedessen werden die auf der Verbindung 13 anliegenden Abtastwerte einer Interpolationseinrichtung 15 (zum Beispiel einem für die Ausführung des nachstehend im einzelnen beschriebenen programmierten Mikroprozessor) zugeleitet, der Werte für jene Bereiche (Pixelstellen) eines Bildes ableitet, die zwischen den vollabgetasteten Pixeln liegen. Für die Zwecke der Beschreibung werden vollabgetastete Pixel mit dem Bezugs Zeichen L, teilabgetastete Komponenten mit dem Bezugszeichen C bezeichnet.
- Fig. 2 zeigt eine schematische Darstellung eines Bereichs einer zweidimensionalen Anordnung von Bildpixeln Pi,j, für die eine Kamera 11 Bildmerkmale repräsentierende Signale in Verbindung mit entsprechenden Bildattributen, wie zum Beispiel einem angegebenen Chrominanz- oder Chrominanzdifferenzwert, einem Luminanzwert, usw., liefert. Außerdem sind in der Anordnung ein eindimensionaler oder linearer Pixelbereich 25 und ein zweidimensionaler Bereich 27 durch gestrichelte Linien begrenzt; auf diese wird in der nachstehenden Beschreibung von Beispielen für das Segmentieren des Bildes in nebeneinanderliegende Bereiche unterschiedlicher Farbmerkmale Bezug genommen.
- Wie bereits erwähnt, wird bei der vorliegenden Erfindung das Problem von Farbrandeffekten an den Kanten zwischen Bildbereichen mit unterschiedlichen Farbmerkmalen dadurch wirksam vermieden, daß das Bild zunächst in eine Vielzahl nebeneianderliegender Bildbereiche segmentiert wird,
- zwischen denen Kanten abgeleitet werden, und daß dann teilabgetastete Signalwerte in jedem Bereich nach Vorgabe einer vorbestimmten Beziehung zwischen vollabgetasteten und teilabgetasteten Signalwerten an Abtaststellen, an denen vollabgetastete und teilabgetastete Signalwerte von der Kamera 11 geliefert wurden, interpoliert werden. Dabei ist darauf hinzuweisen, daß für die Segmentierung des Bildes ein beliebiges Verfahren aus einer Reihe bekannter Bildsignalverarbeitungstechniken, einschließlich eindimensionaler und zweidimensionaler Segmentierungssysteme, verwendet werden kann und daß die Erfindung nicht auf ein bestimmtes Verfahren beschränkt ist. Infolgedessen dienen die nachstehend beschriebenen Segmentierungsbeispiele nur der Illustration, und es sind auch andere in der Literatur beschriebene Verfahren im Rahmen der Erfindung gleichermaßen verwendbar.
- Ein Beispiel einer Technik zum Segmentieren des Bildes auf eindimensionaler Basis umfaßt die Analyse aufeinanderfolgender linearer Pixelgruppen oder Pixelzeilen, zum Beispiel des linearen Bereichs 25 in der Anordnung gemäß Fig. 2, unter Verwendung von Teilintervallen, die durch jene Pixelstellen begrenzt werden, an denen durch die Kamera 11 Signalwerte für einen teilabgetasteten Kanal erzeugt wurden. Es wird angenommen, daß innerhalb jedes Teilintervalls eine Farbkante liegt, und durch die Analyse wird die wahrscheinlichste Lage der Kante durch ständig wiederholte Verarbeitung der vollabgetasteten Kanalsignale für alle Pixel innerhalb des Teilintervalls bestimmt.
- Unter Bezugnahme auf Fig. 3, in der ein Bereich 25 einer Reihe der Pixelanordnung gemäß Fig. 2 dargestellt ist, werden durch Differenz-(Frequenz)abtastung der Pixelstellen Pi innerhalb der Reihe für jedes Pixel Pi vollabgetastete Signalwerte Li und für jede nte Pixelstelle teilabgetastete Signalwerte C0, Cn, C2n, ... erzeugt, wobei der Teilabtastfaktor n normalerweise 2, 4 oder 8 ist. Daher müssen C-Werte für die Pixelstellen C1, C2, C3, ..., Cn-1, Cn+1, usw., interpoliert werden. Erfindungsgemäß wird, bevor die C-Werte für diese Stellen interpoliert werden, innerhalb jedes Teilintervalls, zum Beispiel des Teilintervalls zwischen den Pixelstellen P0 und Pn, eine Farbkante abgeleitet, und es wird angenommen, daß die Bildmerkmale auf gegenüberliegenden Seiten der Kante jeweils verschiedenen Farbmerkmalen entsprechen, zum Beispiel jeweils verschiedenen konstanten Farbstärken oder jeweils gleichmäßigen Farbabweichungen, so daß zwischen der Kante und den Endpunkten des Teilintervalls zwei an der Kante aneinandergrenzende Farbbereiche bestehen. Um zu bestimmen, zwischen welchen zwei Pixeln die Kante liegen soll, wird das Segmentierungsverfahren sich immer wiederholend durchgeführt, so daß für jede wiederholte Teilintervall-Segmentierung eine Reihe von Lagedaten erzeugt werden. Jene wiederholte Teilintervall-Segmentierung, die den L-Werten des vollabgetasteten Kanals am nächsten kommt, wird dann ausgewählt. Die Auswahl kann mittels herkömmlicher Fehlermeßtechniken, zum Beispiel der Methoden der kleinsten Quadrate oder der größten Wahrscheinlichkeit, oder mittels des Bayesschen statistischen Verfahrens oder durch Schwellwertüberschreitung der L-Werte zwischen den Bereichen getroffen werden.
- Fig. 4 zeigt ein Diagramm eines sich wiederholenden Segmentierungsverfahrens bei einem Teilintervall vollabgetasteter L-Signalwerte, wobei für aufeinanderfolgende, abgesetzte, eine Kante repräsentierende Bereiche in den vollabgetasteten Bereichen 0 und n zwischen hohen und niedrigen konstanten Stärken LKH und LKL eine Kante E abgeleitet wird. Bei diesem Beispiel eines eindimensionalen Segmentierungsverfahrens wird davon ausgegangen, daß die Bildmerkmale einem vorgeschriebenen Modell oder Muster M entsprechen, das in dem in Fig. 4 dargestellten Beispiel durch eine stufenweise Veränderung des Parameters L
- zwischen einem relativ hohen konstanten Wert LKH und einem relativ niedrigen konstanten Wert LKL repräsentiert ist. Anders ausgedrückt, wird innerhalb des Teilintervalls eine Kante E zwischen den Pixelstellen 0 und n angenommen; beiderseits der Kante ist der Wert L eine Konstante (entweder LKH oder LKL). Die Werte der Konstanten können in der Weise gewählt werden, daß man auf der Grundlage der vorherigen Kenntnis der Bidstatistik und der Mittelung der L-Werte innerhalb des Intervalls einen gegebenen Schwellenwert festlegt. Wie beim Segmentierungsverfahren selbst sind die besonderen Mechanismen, die der Bestimmung der Konstanten dienen, für die Erfindung nicht wesentlich.
- Bei jeder Wiederholung der Ermittlung der Position der Kante E wird die Folge der L-Werte L0, L1, L2, ..., Ln mit dem Modell M verglichen und ein Maß für die Übereinstimmung des Modells mit den tatsächlichen, das Bild repräsentierenden Signalen abgeleitet (zum Beispiel nach dem Verfahren des geringsten Fehlerquadrats oder durch Wahl des mittleren 0-Übergangs von L-(Lo+Ln)/2). Das Segmentierungsmodell, das die "beste Übereinstimmung" ergibt, führt damit zur optimalen Lage der Kante E und zur bestmöglichen Anpassung des Mechanismus, durch den die teilabgetasteten C-Werte innerhalb des Teilintervalls oder des Bereichs zwischen den Pixelpositionen 0 und n interpoliert werden.
- Der besondere Mechanismus für das Interpolieren eines unbekannten Wertes von C hängt ab von den Merkmalen der Bandbereiche der L- und C-Signale. Unbekannte Werte von C können zum Beispiel dadurch definiert werden, daß man jeden C-Wert innerhalb eines Bereichs (auf einer Seite der Kante E) oder die Differenz C-L innerhalb des Bereichs oder das Verhältnis C/L innerhalb des Bereichs konstant macht. Bei Bandbereichen, die zueinander im wesentlichen nicht in Wechselbeziehung stehen, wie zum Beispiel Inphase- und Luminanzkanäle bei einem YIQ-System, wird der Wert von C innerhalb des Bereichs festgelegt. Bei Rot- und Grün-Farbintensitäts-Bildwiedergabeeinrichtungen wird das Verhältnis von Rot zu Grün (Grün vollabgetastet) als Konstante innerhalb des Bereichs festgelegt. Bei einer Bilderzeugungseinrichtung mit logarithmischer Belichtung wird die Differenz zwischen den Rot- und Grünwerten als Konstante innerhalb des Bereichs festgelegt.
- Fig. 5 zeigt ein Diagramm eines zweiten Beispiels eines sich wiederholenden Segmentierungsverfahrens, das bei einem Teilintervall vollabgetasteter L-Signalwerte anwendbar ist, wobei eine Kante E zwischen gleichbleibenden Werten von L (der Form L = a.x + b) abgeleitet wird, wie diese durch die Linie L = a1.x + b zwischen den Pixelpositionen Pn und der Kante E und durch die Linie L2 = a2L0 + b2 zwischen der Kante E und der Pixelposition Pn repräsentiert wird. Bei diesem Beispiel hat das Modell M des Bildmerkmals die Form einer linearen Gleichung, wie diese in Fig. 7 durch die Linien L1 bzw. L2 dargestellt ist. Wie bei dem zuvor beschriebenen Beispiel wird innerhalb des Teilintervalls eine Kante E zwischen den Pixelpositionen 0 und n angenommen, und beiderseits der Kante entspricht der Wert L einer bestimmten Beziehung (hier einer linearen Veränderung, nicht wie im zuvor beschriebenen Beispiel einer Konstanten). Die Werte der Koeffizienten a und b können entsprechend den Bildmerkmalen gewählt werden, zum Beispiel nach den zu erwartenden Störsignalen und den jeweiligen Werten von C0, L0 und Cn, Ln an den Pixelpositionen 0 bzw. n.
- Wie im zuvor beschriebenen Beispiel wird bei jeder wiederholten Lagebestimmung der Kante E die Folge der L-Werte L0, L1, L2, ..., Ln mit dem Modell M verglichen und ein Maß für die Übereinstimmung des Modells mit den tatsächlichen, das Bild repräsentieren Signalen abgeleitet. Das Modell, das die beste Übereinstimmung ergibt, bestimmt dann die Position der Kante E und den Mechanismus, mittels dessen die teilabgetasteten C-Werte innerhalb des Teilintervalls oder Bereichs zwischen den Pixelpositionen 0 und n interpoliert werden. Wie bereits erwähnt, hängt der Mechanismus für das Interpolieren eines unbekannten Wertes C ab von den Merkmalen der Bandbereiche der L- und C-Signale und kann die vorstehend erwähnten Beziehungen beinhalten.
- Fig. 6(a) - 6(b) zeigen den Bereich 27 der Pixelanordnung nach Fig. 2, der mittels eines zweidimensionalen Segmentierungsverfahrens derart in entsprechende Segmentierungsdiagramme segmentiert wurde, daß jeder Bereich jedes Diagramms eine Vielzahl von Pixelpositionen, an denen vollabgetastete Signalwerte erhalten werden, und eine Pixelposition enthält, an der ein teilabgetastetes Signal erhalten wird. Im einzelnen zeigen die Fig. 6(a) - 6(b) jeweils eine zweidimensionale Segmentierung oder Unterteilung aneinandergrenzender Bereiche einer zweidimensionalen Anordnung von Pixeln in vier Bereiche 31-34, die jeweils eine Pixelposition P, an der sowohl L- als auch C-Werte von der Kamera 11 geliefert werden, sowie eine gewisse Anzahl weiterer Pixelpositionen Po enthalten, an denen nur L-Werte geliefert werden und für die C-Werte interpoliert werden müssen. Beispiele für ein Verfahren zur Segmentierung benachbarter Bereiche für die in Fig. 6 dargestellte Abtastgeometrie sind beliebig der veröffentlichten Literatur zu entnehmen (zum Beispiel "Handbook of Pattern Recognition and Image Processing", T.Y. Young & K.S Fu Academic Press 1986). Durch wiederholte Anwendung des Segmentierungsverfahrens werden, wie in Fig. 6(a) - 6(c) dargestellt, Gruppen miteinander verbundener Kantenlinien E zwischen angrenzenden Bereichen erzeugt. Bei dem in Fig. 6(a) dargestellten Segmentierungsdiagramm ist die Geometrie zum Beispiel durch eine Kantenlinie E12 zwischen den Bereichen 31 und 32, eine Kantenlinie E13 zwischen den Bereichen 31 und 33, eine Kantenlinie E14 zwischen den Bereichen 31 und 34 und eine Kantenlinie E34 zwischen den Bereichen 33 und 34 unterteilt. Bei jeder Wiederholung der Lagebestimmung der Kantenlinien E werden die L-Werte innerhalb jedes Bereichs werden mit einem (zweidimensionalen) Modell für die Anordnung (zum Beispiel einem Konstantpegel- oder planaren Modell) verglichen, und es wird ein Maß für die Übereinstimmung des Modells mit den L- Werten jeder Pixelposition innerhalb eines Bereichs abgeleitet. Wie bei dem eindimensionalen Segmentierungsverfahren bestimmt dasjenige zweidimensionale Modell, das die beste Übereinstimmung ergibt, den Verlauf der Kantenlinien E und den Mechanismus, mittels dessen die teilabgetasteten C-Werte innerhalb des Bereichs interpoliert werden.
- Wie vorstehend erwähnt, werden bei dem erfindungsgemäßen Interpolationsverfahren zunächst die Bilddaten nach einem vorgeschriebenen eindimensionalen oder zweidimensionalen Segmentierungsverfahren segmentiert und dann, nach Durchführung einer übereinstimmungsprüfung zur Festlegung der Grenzen der segmentierten Bereiche, die teilabgetasteten C-Werte an den Pixelpositionen, an denen ursprünglich keine C-Daten geliefert wurden, interpoliert. Gemäß einer Weiterentwicklung dieses Verfahrens ist es möglich, sich nicht von vornherein für ein bestimmtes Segmentierungsverfahren zu entscheiden und dann die L-Datenwerte auf den gewählten Segmentierungsmechanismus anzuwenden, sondern das erfindungsgemäße Verfahren in der Weise durchzuführen, daß man eine Vielzahl von Segmentierungssystemen auf die Daten anwendet und jedem Segmentierungsverfahren eine Bewertung zuteilt. Ein typisches Maß für die Bewertung kann wiederum aus der mittleren quadratischen Abweichung der tatsächlichen L-Daten von dem gewählten Segmentierungsmodell basieren. Ein anderes Maß für die zu verwendende Bewertungszahl ist, von einem statistischen Modell des Bildes ausgehend, die Wahrscheinlichkeit, mit der eine Segmentierung die gegebenen beobachteten L-Daten erzeugen kann. Für eine Vielzahl von Segmentierungssystemen S1, S2, S3, ..., Sk bestehen also eine entsprechende Vielzahl von Leistungs- oder Gewichtungskoeffizienten W1, W2, W3, Wk, die jeweils der Bewertungszahl und den von vornherein gegebenen Bildmerkmalen zugeordnet sind. Zum Beispiel kann die Gewichtungsfunktion W entsprechend der folgenden Beziehung ermittelt werden:
- W = exp ( -(mittlere quadratische Abweichung)/(Abweichung des gleichförmigen Bildfeldes)),
- wobei der Abweichungswert ein Maß für die Störsignale innerhalb eines im allgemeinen gleichförmigen Bildbereichs ist.
- Für jedes Segmentierungsdiagramm werden alle unbekannten C-Werte interpoliert und dann entsprechend dem Gewichtungskoeffizienten, der dem speziellen verwendeten Segmentierungsverfahren zugeordnet ist, skaliert. Schließlich werden für jede interpolierte Pixelstelle Pi alle Werte Ci für diese Stelle unter Berücksichtigung aller dieser Gewichtungskoeffizienten aufsummiert, so daß man einen gewichteten Mittelwert Ci erhält.
- Aus der vorstehenden Beschreibung ist ersichtlich, daß das Problem der Farbrandeffekte zwischen Bildbereichen unterschiedlicher Farbmerkmale, die mit herkömmlichen Interpolationsmechanismen verarbeitet werden, erfindungsgemäß dadurch wirksam vermieden wird, daß man die Interpolation von teilabgetasteten Bildsignalen ausgehend von einem Anfangs-Segmentierungsdiagramm ausführt, dessen Grenzen so festgelegt wurden, daß die Bilddaten optimal in eine Vielzahl aneinandergrenzender Bildbereiche mit jeweils unterschiedlichen Bildmerkmalen unterteilt werden. Da zwischen benachbarten Bereichen eine Grenze dort entsteht, wo nach dem Segmentierungsvorgang eine Kante abgeleitet wurde, erzeugen interpolierte teilabgetastete Werte in der Nähe dieser Kante ein rekonstruiertes Bild, das gegenüber Bildern, die mittels herkömmlicher linearer Interpolation erzeugt wurden, eine beträchtlich verbesserte Qualität aufweist.
- Fig. 1
- 21 Bild
- 11 Kamera
- 15 Interpolationseinrichtung
- a Datenausgang
Claims (7)
1. Verfahren zum Verarbeiten abgetasteter, von einer
Farbbilderzeugungsvorrichtung erzeugter Signalwerte, die
unterschiedliche Farbinformationsinhalte (C. L) einer
Bildvorlage darstellen, wobei ein vollabgetasteter
Signalwertkanal einem ersten Bandbereich mit Informationen
erster Farbkomponentenmerkmale (L) der Bildvorlage und ein
teilabgetasteter Kanal der abgetasteten Signalwerte einem
zweiten Bandbereich mit Informationen zweiter
Farbkomponentenmerkmale (C) der Bildvorlage zugeordnet ist, und
wobei das Verfahren für Bereiche der Bildvorlage zwischen
Abtaststellen, an denen keine zweiten Signalwerte erzeugt
werden, auf der Grundlage eines von den Merkmalen der
Bandbereiche der voll bzw. teilabgetasteten Signale
abhängigen Segmentierungsvorgangs, interpolierte zweite
Signalwerte erzeugt, gekennzeichnet durch folgende Schritte:
a) Segmentieren des vollabgetasteten Kanals in ein
Segmentierungsdiagramm, das eine Reihe von
nebeneinanderliegenden Bildbereichen unterschiedlicher Bildmerkmale
enthält, so daß die innerhalb eines bestimmten Bereichs
vollabgetasteten Signalwerte einem gemeinsamen
Bildmerkmal, und die zu beiden Seiten einer zwischen
benachbarten Bereichen verlaufenden Trennungslinie
anfallenden Signalwerte für aufeinanderfolgende
Abtaststellen des vollabgetasteten Kanals entsprechend
unterschiedlichen Bildmerkmalen zugeordnet werden; und
b) Interpolieren der innerhalb jeden Bereichs anfallenden
Signalwerte für nichtabgetastete Stellen des
teilabgetasteten Kanals nach Vorgabe einer zwischen
vollabgetasteten und an einer Abtaststelle in einem Bereich, in
welchem jeder der voll- und teilabgetasteten
Signalwerte erzeugt wurden, teilabgetasteten Signalwerten
bestehenden Beziehung, wobei die vorgegebene Beziehung
vom ausgewählten Segmentierungsvorgang und dem
gemeinsamen, dem entsprechenden Bildbereich zugeordneten
Merkmal abhängt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für
einen ausgewählten Segmentierungsvorgang eine Vielzahl von
Segmentierungsdiagrammen und eine entsprechende Vielzahl
von interpolierten Werten erhalten werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet,
daß eine Vielzahl von Segmentierungsdiagrammen, die einer
Vielzahl von unterschiedlichen Bildsegmentierungsvorgängen
entsprechen, erhalten werden und jedes der Vielzahl von
Segmentierungsdiagrammen entsprechend einer
vorgeschriebenen Fehlercharakteristik zwischen jedem segmentierten
Diagramm und der Bildvorlage gewichtet wird, und daß eine
Vielzahl von entsprechenden interpolierten Werten, die
jedem der unterschiedlichen Bildsegmentierungsvorgänge
entsprechen, kombiniert und entsprechend der Gewichtung der
Vielzahl von Segmentierungsdiagrammen gewichtet werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß
Schritt a) die Segmentierung der Bildvorlage in ein
Bildsegmentierungsdiagramm umfaßt, welches aus einer Vielzahl
von Bereichen erster Signalwerte gebildet ist, so daß
innerhalb eines bestimmten Bereichs jeder erste
Signalwert gleich ist, während die Werte der ersten Signale für
benachbarte Bereiche voneinander abweichen, so daß
zwischen benachbarten Bereichen eine Bildgrenze gebildet
wird.
5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
Schritt a) folgende Schritte umfaßt:
a1) Ableiten einer Bildmerkmalskante zwischen
aufeinanderfolgenden Abtaststellen, an denen von der
Bilderzeugungsvorrichtung zweite Signalwerte erzeugt werden,
a2) Verarbeiten erster Signalwerte, die an Abtaststellen
erzeugt werden, die sich zwischen der
Bildmerkmalskante und einer der aufeinanderfolgenden Abtaststellen
befinden, entsprechend einer ersten
bildmerkmalsbestimmenden Beziehung, und erster Signalwerte, die an
Abtaststellen erzeugt werden, die sich zwischen der
Bildmerkmalskante und einer weiteren der
aufeinderfolgenden Abtaststellen befinden, entsprechend einer
zweiten bildmerkmalsbestimmenden Beziehung, um die
Lagedaten einer voraussichtlichten
Segmentierungsgrenze zwischen den aufeinanderfolgenden Abtaststellen
abzuleiten,
a3) Wiederholen der Schritte a1) und a2) für mehrere
abgeleitete Bildmerkmalskanten zwischen den auf
einanderfolgenden Abtaststellen, um mehrere Lagedaten
voraussichtlicher Segmentierungsgrenzen zu erhalten, und
a4) Auswählen entsprechend den Lagedaten voraussichtlicher
Segmentierungsgrenzen derjenigen Bildmerkmalskante als
Bildbegrenzung zwischen benachbarten Bereichen des
Segmentierungsdiagramms, die einer Änderung in den
ersten Signalwerten am nächsten kommt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die
Schritte a1) - a4) bei einer eindimensionalen Anordnung
von Abtaststellen durchgeführt werden.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die
Schritte a1) - a4) bei einer zweidimensionalen Anordnung
von Abtaststellen durchgeführt werden.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/415,942 US5040064A (en) | 1989-10-02 | 1989-10-02 | Method of processing sampled signal valves produced by a color imaging device |
PCT/US1990/005363 WO1991005441A1 (en) | 1989-10-02 | 1990-09-24 | Segmentation mechanism for producing interpolated color values for a sampled color image signal |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69015153D1 DE69015153D1 (de) | 1995-01-26 |
DE69015153T2 true DE69015153T2 (de) | 1995-06-22 |
Family
ID=23647867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69015153T Expired - Fee Related DE69015153T2 (de) | 1989-10-02 | 1990-09-24 | Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal. |
Country Status (5)
Country | Link |
---|---|
US (1) | US5040064A (de) |
EP (1) | EP0446330B1 (de) |
JP (1) | JPH04502097A (de) |
DE (1) | DE69015153T2 (de) |
WO (1) | WO1991005441A1 (de) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2948240B2 (ja) * | 1989-10-09 | 1999-09-13 | 株式会社日立製作所 | 信号補間装置 |
US5475769A (en) * | 1992-07-13 | 1995-12-12 | Polaroid Corporation | Method and apparatus for recovering image data through the use of a color test pattern |
US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
US5555324A (en) * | 1994-11-01 | 1996-09-10 | Massachusetts Institute Of Technology | Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene |
US5778106A (en) * | 1996-03-14 | 1998-07-07 | Polaroid Corporation | Electronic camera with reduced color artifacts |
JPH11122626A (ja) | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
US6650795B1 (en) | 1999-08-10 | 2003-11-18 | Hewlett-Packard Development Company, L.P. | Color image capturing system with antialiazing |
US6580837B1 (en) * | 1999-12-07 | 2003-06-17 | Intel Corporation | Up-sampling decimated color plane data |
US6903782B2 (en) * | 2001-03-28 | 2005-06-07 | Koninklijke Philips Electronics N.V. | System and method for performing segmentation-based enhancements of a video image |
US7221793B2 (en) * | 2003-05-27 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing spatially-varied demosaicing |
GB0316994D0 (en) * | 2003-07-21 | 2003-08-27 | E2V Tech Uk Ltd | Smear reduction in CCD images |
US20070198725A1 (en) * | 2004-10-06 | 2007-08-23 | Morris Robert P | System and method for utilizing contact information, presence information and device activity |
US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
TWI268709B (en) * | 2005-08-26 | 2006-12-11 | Realtek Semiconductor Corp | Digital filtering device and related method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61501424A (ja) * | 1984-09-10 | 1986-07-10 | イ−ストマン コダック カンパニ− | 標本色彩画像信号のための信号処理方法及び装置 |
US4630307A (en) * | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US4764805A (en) * | 1987-06-02 | 1988-08-16 | Eastman Kodak Company | Image transmission system with line averaging preview mode using two-pass block-edge interpolation |
-
1989
- 1989-10-02 US US07/415,942 patent/US5040064A/en not_active Expired - Lifetime
-
1990
- 1990-09-24 WO PCT/US1990/005363 patent/WO1991005441A1/en active IP Right Grant
- 1990-09-24 JP JP2513797A patent/JPH04502097A/ja active Pending
- 1990-09-24 EP EP90914590A patent/EP0446330B1/de not_active Expired - Lifetime
- 1990-09-24 DE DE69015153T patent/DE69015153T2/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE69015153D1 (de) | 1995-01-26 |
EP0446330A1 (de) | 1991-09-18 |
US5040064A (en) | 1991-08-13 |
JPH04502097A (ja) | 1992-04-09 |
EP0446330B1 (de) | 1994-12-14 |
WO1991005441A1 (en) | 1991-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69015153T2 (de) | Segmentierungseinrichtung zur erzeugung farbinterpolationswerte für ein getastetes farbbildsignal. | |
DE69005991T2 (de) | Verfahren und anordnung zur erzeugung eines hochauflösenden elektronischen signals von der zeilenabtastung einer farbvorlage. | |
DE69938227T2 (de) | Verfahren und Gerät zur Bewegungsartefakten- und Geräuschverringerung in Videobildverarbeitung | |
DE4416801C2 (de) | Verfahren zur Mustererkennung | |
DE3546136C2 (de) | ||
DE3545951C2 (de) | ||
DE3609887C2 (de) | Schaltungsanordnung zur Erzeugung von Bemessungsfaktoren für ein rekursives Filter für Videosignale | |
DE19816123B4 (de) | Verfahren zum Erzeugen von Mehrfachwiedergaben eines Bilds mit einer Mehrfachbildabtastvorrichtung | |
DE3935067C2 (de) | ||
DE3687850T2 (de) | Festkoerper-bildaufnahmeanordnung. | |
DE2757456C2 (de) | ||
DE3687434T2 (de) | Geraet zum ausgleich von bewegung in einem von einem von einem fernsehsignal abgeleiteten bild. | |
DE69015419T2 (de) | Umwandlung eines Videosignals auf einen photographischen Film. | |
DE3789091T2 (de) | Bildverarbeitungsverfahren und -system zur Bildrekonstruktion. | |
DE69018811T2 (de) | Zeilenabtastgerät unter anwendung von versetzten linearsegmenten mit angrenzenden überlappungsgebieten. | |
DE3638852A1 (de) | Bildverarbeitungsgeraet und -verfahren | |
DE3786011T2 (de) | Verfahren zur verbesserung eines farbvideobildes und entsprechende vorrichtung. | |
DE3527275C2 (de) | ||
DE2256617C3 (de) | Einrichtung zur Analyse einer Vorlage | |
DE4341536A1 (de) | Bildverarbeitungseinrichtung | |
DE2905264C2 (de) | ||
EP0042981B1 (de) | Verfahren zur Codierung von elektrischen Signalen, die bei der Abtastung eines grafischen Musters mit aus Text und Bildern gemischtem Inhalt gewonnen werden | |
DE69018394T2 (de) | Bilddatenkompressionsverfahren und -vorrichtung. | |
DE60320076T2 (de) | Verfahren zur elektronischen farbentfernung unter nutzung räumlicher beziehungen zur verbesserung der genauigkeit | |
DE3249578C2 (de) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |