DE19926315B4

DE19926315B4 - Kollaborative Beurteilung beim statistischen Kodieren

Info

Publication number: DE19926315B4
Application number: DE19926315A
Authority: DE
Inventors: James D. Menlo Park Allen
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-06-09
Filing date: 1999-06-09
Publication date: 2009-08-27
Anticipated expiration: 2019-06-10
Also published as: GB2339991A; DE19926315A1; JP3688937B2; GB9913081D0; US6084987A; JP2000031833A; GB2339991B

Abstract

Verfahren der Erzeugung einer kollaborativen Beurteilung zur Verwendung beim Kodieren eines Symbols, wobei das Verfahren folgendes umfasst:
eine Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen für das zu kodierende Symbol wird erzeugt;
ein Überbetonungsexponent und eine Wichtungsinformation, die auf die Wichtung zwischen der Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen hinweist bzw. diese anzeigt, wird ausgewählt; und
die Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen werden zu der kollaborativen Wahrscheinlichkeitsschätzung basierend auf einer Überbetonungsfunktion kombiniert, die den Überbetonungsexponenten und die Wichtungsinformation verwendet; dadurch gekennzeichnet, dass das Verfahren des weiteren die Klassifizierung der Vielzahl von Wahrscheinlichkeitsschätzungen in Bereichen einer Mehrbereichskarte bzw. Mehrbereichszuordnung umfasst und dass das Auswählen des Überbetonungsexponenten und der Wichtungsinformation das Auswählen eines der Bereiche umfasst, wobei die ausgewählten Werte für den Überbetonungsexponenten und für die Wichtungsinformation dem ausgewählten Bereich zugeordnet sind.

Description

Die vorliegende Erfindung betrifft das Gebiet des statistischen Kodierens ("statistical coding"), genauer betrifft die vorliegende Erfindung die Kombination mehrerer Wahrscheinlichkeitsschätzungen zu einer kollaborativen bzw. zusammenarbeitenden bzw. gemeinsamen Beurteilung zum Kodieren von Information.
Statistisches Kodieren stellt ein Beispiel einer Kodiertechnik dar, die ein nützliches Werkzeug zum Speichern und Übertragen großer Datenmengen darstellt. Zum Beispiel wird die Zeit, die erforderlich ist, um ein Bild zu übertragen, wie z. B. bei der Faxübertragung eines Dokuments, reduziert, wenn eine Kompression verwendet wird, um die Anzahl der Bits zu verringern, die notwendig sind, um das Bild zu erzeugen.
Beim statistischen Kodieren entwickelt man eine Wahrscheinlichkeitsschätzung von Konditionierungsdaten bzw. bedingten Daten. Typischerweise wird der Satz aller Kodierungsentscheidungen basierend auf den Konditionisierungsdaten aufgeteilt bzw. partitioniert und Statistiken werden für ein jedes derartiges Partitionsglied oder Kontext entwickelt. Zum Beispiel können Kodierungsentscheidungen basierend auf benachbarte Pixel konditioniert werden. Ein Beispiel für ein derartiges Schema ist in 1A und 1B gezeigt. Nimmt man Bezug auf 1A, so werden 10 vorherige Pixel verwendet, um das Pixel 101 (das durch das "?" kenntlich gemacht ist) zu konditionieren. Falls jedes Pixel zwei mögliche Werte aufweist, gibt es 1024 unterschiedliche Kombinationen, die für die 10 Pixel möglich sind.
Somit gibt es 1024 unterschiedliche Kontexte, die verwendet werden können, um das Kodieren des Pixels 101 zu konditionieren. Nimmt man Bezug auf 1B, so enthält eine Nachschlagtabelle (LUT) 102 eine Wahrscheinlichkeitsschätzung darüber, wie wahrscheinlich es ist, daß ein Pixel sich in einem höchstwahrscheinlichen Zustand (oder einem niedrigstwahrscheinlichen Zustand) befindet, und zwar für jede mögliche Kombination von Werten für die 10 Pixel. Deshalb enthält LUT 102 1024 Kontextbins, wobei jeder Kontextbin eine Wahrscheinlichkeitsschätzung aufweist, die damit im Zusammenhang steht bzw. diesem zugeordnet ist. Die LUT 102 empfängt 10 vorhergehende Pixel bei ihrem Eingang 103 und gibt eine Wahrscheinlichkeitsschätzung 104 in Antwort darauf aus.
Zwei oder mehrere Partitionierungen bzw. Partitionierungsvorgänge können durchgeführt werden, um zwei oder mehr Wahrscheinlichkeitsschätzungen für dasselbe Pixel zu erhalten. Zum Beispiel kann eine Schätzung den Pixeln entsprechen, die links des Pixels, das konditioniert wird, benachbart sind bzw. angrenzen und eine andere Schätzung kann Pixeln entsprechen, die oberhalb des Pixels angrenzen, das konditioniert wird. Die zwei Schätzungen werden zu einer einzigen Wahrscheinlichkeitsschätzung kombiniert (das heißt kollaborative bzw. gemeinsame Beurteilung). 2 ist ein Blockdiagramm, das ein derartiges System erläutert.
Nimmt man Bezug auf 2, so werden zwei Wahrscheinlichkeitsschätzungen auf zwei verschiedenen Gruppen von 8 Pixeln konditioniert. Eine der Wahrscheinlichkeitsschätzungen P₁, die die Wahrscheinlichkeit anzeigt, daß das Pixel 200 sich in seinem höchstwahrscheinlichen Zustand befindet, wird von der LUT 201 basierend auf den Werten der 8 Pixel ausgegeben, die in der Pixelgruppe 203 gezeigt sind. Die andere Wahrscheinlichkeitsschätzung P₂, die anzeigt, daß sich das Pixel 200 in seinem höchstwahrscheinlichen Zustand befindet, wird von der LUT 202 basierend auf den Werten der 8 Pixel ausgegeben, die in der Pixelgruppe 204 gezeigt sind. Da die Pixelgruppen 203 und 204 5 gemeinsame Pixel aufweisen, sind 5 der Eingaben bzw. Eingangssignale zu den LUTs 201 und 202 gleich und werden gemeinsam genutzt bzw. geteilt. Die zwei Wahrscheinlichkeitsschätzungen werden durch den Kombinationsblock 205 kombiniert, um eine kollaborative bzw. gemeinsame Wahrscheinlichkeitsschätzung 206 zu erzeugen.
Der Hauptvorteil bei der Verwendung einer kollaborativen Beurteilung ist, daß kleinere Konditionierungspartitionen verwendet werden können. Die Verwendung kleinerer Konditionierungspartitionen impliziert eine schneller Adaption, weil Kontexte nicht "verwässert" werden und das Modell nicht mit zu vielen Kontexten "überangepaßt" wird. Kleinere Partitionen implizieren ebenso einen geringeren Hardwareaufwand, um die Wahrscheinlichkeitsschätzungen zu speichern. Mit anderen Worten kann der Speicher zum Speichern der Statistiken und des Kontextes (das heißt der Kontextspeicher) kleiner sein.
In dem Fall, wo zwei Wahrscheinlichkeitsschätzungen kombiniert werden, kann man annehmen, daß eine Mittelung der zwei Wahrscheinlichkeitsschätzungen die genaueste Wahrscheinlichkeitsschätzung erzielen würde. Jedoch ist diese einfache Kombinierungstechnik häufig nicht anwendbar, wenn die Konditionierung, auf der eine der Wahrscheinlichkeitsschätzungen basiert, stark zu der Konditionierung in Beziehung steht, auf der die andere Wahrscheinlichkeitsschätzung basiert.
Im Stand der Technik werden Schätzungen über das geometrische Mittel der Unterschiede kombiniert und das Ergebnis wird überbetont, falls es einen Konsens gibt. Diesbezüglich wird auf Kris Popat und Rosalin W. Picard "Exaggerated Consensus in Lossless Image Compression" in Proceedings of IEEE Int'l Conf of Image Processing, Band III, Seiten 846–850, November 1994, verwiesen. Das heißt man sagt, daß, wenn die Wahrscheinlichkeitsschätzungen beide größer als 50% sind (das heißt es gibt einen Konsens) und die sich ergebende kombinierte Wahrscheinlichkeitsschätzung größer als eine der beiden Komponent-Wahrscheinlichkeitsschätzungen ist, die sich ergebende Wahrscheinlichkeitsschätzung überbetont ist.
Es ist bekannt die kollaborative Beurteilung, die als P_NET bezeichnet wird, basierend auf einer rohen Wahrscheinlichkeit, die als Q bezeichnet wird zu berechnen, und zwar nach dem folgenden: Q = √A/(1 + √A) wobei A gleich dem folgenden ist: A = P1·P2/(1 – P1 – P2 + P1P2)
P_NET wird gemäß der folgenden Gleichung erzeugt: PNET = QY(B)/(QY(B) + (1 – Q)Y(B))wobei P₁ und P₂ zwei Wahrscheinlichkeitsschätzungen sind und B die Divergenz zwischen den Wahrscheinlichkeitsschätzungen P₁ und P₂ mißt. Der Wert Y(B) ist ein Überbetonungsexponent, der mit einer Nachschlagtabelle implementiert wird, die von Übungsbildern entwickelt wird. Die Funktion, die einen Konsens auf einen Überbetonungsexponenten abbildet, wird durch Training festgelegt, wobei ein Ensemble von Testdaten verwendet wird.
Zum Stand der Technik gehört der Artikel von K. Propat und R. W. Picard „Cluster-based probability model and its application to image and texture processing", erschienen in IEEE transactions an image processing, Band 6, Nr. 2, Februar 1997, Seiten 268 bis 284. In Zusammenhang mit Bild- und Textverarbeitung wird ein Modell zur Wahrscheinlichkeitsabschätzung bereitgestellt. Die offenbarte Technik kombiniert dabei Aspekte der Kernabschätzung („kernel estimation") und der Cluster-Analyse. Es werden in der Veröffentlichung eine Mehrbereichskarte, ein Überbetonungsexponent sowie eine Wichtungsinformation erwähnt, diese unterscheiden sich jedoch grundlegend von der Mehrbereichskarte, dem Überbetonungsexponenten und der Wichtungsinformation gemäß der vorliegenden Erfindung. Die in der Veröffentlichung offenbarte Wichtungsinformation basiert lediglich auf der Anzahl der Trainingspunkte, die in einer vorher ausgewählten Zelle Um liegen. Im Gegensatz dazu wird die Wichtungsinformation in der vorliegenden Erfindung basierend auf den Wahrscheinlichkeitsschätzungen ausgewählt. Der in der Veröffentlichung offenbarte Überbetonungsexponent steht des Weiteren in keinerlei direkter Beziehung zu einer Mehrbereichskarte. Des Weiteren wird in der Veröffentlichung zwar eine Art Mehrbereichskarte offenbart, aber den Bereichen dieser Mehrbereichskarte sind keine Werte sowohl für eine Wichtungsinformation als auch für den Überbetonungsexponenten zugeordnet. Eine solche Zuordnung ist jedoch für die vorliegende Erfindung kennzeichnend.
Die WO 96/15620 A1 offenbart ein Kontext basiertes Kodierungs- und Dekodierungsverfahren zur verlustfreien Kompression von Digitalbildern jedes Typs. Die Druckschrift offenbart eine Einteilung bzw. Zuteilung von verschiedenen benachbarten Bereichen in verschiedene Konditionierungsklassen. Im Gegensatz dazu offenbart die vorliegende Erfindung einen Bereichsklassifizierer, der auf eine Vielzahl von Wahrscheinlichkeitsschätzungen anspricht bzw. darauf antwortet, um eine Bereichsanzeige zu erzeugen.
Es ist die Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Erzeugung einer kollaborativen Beurteilung zur Verwendung beim Kodieren eines Symbols und einen entsprechenden Apparat dafür bereit zu stellen.
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Ansprüche. Abhängige Ansprüche sind auf vorteilhafte Ausführungsformen gerichtet.
Die vorliegende Erfindung wird im folgenden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Bei den offenbarten Ausführungsformen und Beispielen werden weitere erfindungswesentliche Merkmale offenbart. Merkmale unterschiedlicher Beispiele und Ausführungsformen können miteinander kombiniert werden.
1A und 1B zeigen ein Partitionierungsschema nach dem Stand der Technik.
2 ist ein Blockdiagramm eines Systems, bei dem zwei Kontextmodelle kombiniert werden.
3 ist ein Flußdiagramm einer Ausführungsform eines Prozesses der Erzeugung einer kollaborativen Wahrscheinlichkeitsschätzung.
4 zeigt eine zweidimensionale Zuordnung bzw. Karte, die individuelle Bereiche bzw. Regionen aufweist, die unterschiedlichen Paaren von Wahrscheinlichkeitsschätzungen zugeordnet sind.
5 ist ein Blockdiagramm einer Ausführungsform eines Kodiersystems.
Ein statistisches Kodierungsschema, das eine Kollaborationsbeurteilung verwendet, wird beschrieben. Bei der folgenden Beschreibung werden zahlreiche Details dargelegt, wie z. B. Anzahl der Wahrscheinlichkeitsschätzungen, Kontexte, Bits und Speicher usw. Es ist jedoch für einen Fachmann offensichtlich, daß die vorliegende Erfindung ohne diese spezifischen Details realisiert werden kann. In anderen Fällen werden gut bekannten Strukturen und Vorrichtungen eher in Blockdiagrammform als im Detail gezeigt, um eine Verschleierung der vorliegenden Erfindung zu vermeiden.
Manche Teile der detaillierten Beschreibung, die im folgenden beschrieben wird, sind in Termen von Algorithmen und symbolischen Darstellungen von Operationen mit Datenbits innerhalb eines Computerspeichers dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die von den Fachleuten auf dem Gebiet der Datenverarbeitung verwendet werden, um das Wesen ihrer Arbeit anderen Fachleuten am effektivsten zu übermitteln. Ein Algorithmus bedeutet hier und im allgemeinen eine selbstkonsistente Folge von Schritten, die zu einem gewünschten Ergebnis führen. Bei den Schritten handelt es sich um solche, die physikalische Manipulationen von physikalischen Quantitäten erforderlich machen. Üblicherweise, wenn auch nicht notwendigerweise, nehmen diese Quantitäten die Gestalt von elektrischen oder magnetischen Signalen an, die dazu in der Lage sind, gespeichert, übertragen, kombiniert, verglichen und sonstwie manipuliert zu werden. Es hat sich mit der Zeit als praktisch erwiesen, und zwar aus Gründen der gemeinsamen Verwendung, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen bzw. Charakter, Terme, Nummern oder dergleichen Bezug zu nehmen.
Man sollte jedoch im Gedächtnis behalten, daß alle diese oder ähnlichen Terme mit den geeigneten physikalischen Größen in Beziehung stehen und sie lediglich praktische Kennungen darstellen, die für diese Quantitäten verwendet werden. Soweit es nicht anders speziell erwähnt wird, wie bei der folgenden Diskussion offensichtlich werden wird, ist es so gedacht, daß für die vorliegende Erfindung bei Diskussionen, die die Ausdrücke, wie z. B. "Verarbeiten" oder "Berechnen" oder "Errechnen" oder "Bestimmen" oder "Anzeigen" oder dergleichen, verwenden, auf die Aktion und die Verarbeitungen eines Computersystems oder einer ähnlichen elektronischen Berechnungsvorrichtung Bezug nehmen, die Daten, die physikalische (elektronische) Quantitäten innerhalb der Register und Speicher des Computersystems darstellen, in andere Daten, die in ähnlicher Weise physikalische Quantitäten innerhalb der Speicher oder Register des Computersystems oder eines anderen derartigen Informationsspeichers, Übertragungsvorrichtung oder Anzeigevorrichtung darstellen, manipuliert und transformiert.
Ebenso, wie unten diskutiert wird, betrifft die Erfindung einen Apparat, um die Operationen darin durchzuführen. Dieser Apparat kann für die erforderlichen Zwecke speziell aufgebaut sein oder er kann einen Allzweck-Computer umfassen, der selektiv aktiviert oder rekonfiguriert wird, und zwar durch ein Computer-Programm, das in dem Computer gespeichert ist. Ein derartiges Computerprogramm kann in einem computerlesbaren Speichermedium gespeichert sein, wie z. B. einer Diskette, optischen Disk, CD-ROMs und einer magnetooptischen Disk, eines Nur-Lese-Speichers (ROM), eines Speichers mit wahlfreiem Zugriff (RAM), EPROM, EEPROM, magnetischer und optischer Karten oder jeglichen Typs von Medium, das zum Speichern elektronischer Befehle bzw. Instruktionen geeignet ist, und wobei jedes Medium vorzugsweise mit einem Computersystembus verbunden ist. Die Algorithmen, die hierin dargestellt werden, stehen nicht inhärent mit einem bestimmten Computer oder einem anderen Apparat in Beziehung. Verschiedene Allzweck-Maschinen können mit Programmen in Übereinstimmung mit den Lehren hierin verwendet werden oder es kann sich als praktisch erweisen, einen spezialisierteren Apparat aufzubauen, um die erforderlichen Verfahrensschritte durchzuführen. Die erforderliche Struktur für eine Vielfalt dieser Maschinen wird von der folgenden Beschreibung klar werden. Zusätzlich wird die vorliegende Erfindung nicht unter Bezugnahme auf irgendeine bestimmte Programmiersprache beschrieben. Man wird erkennen, daß eine Vielfalt von Programmiersprachen verwendet werden kann, um die Lehren der Erfindung, wie sie hierin beschrieben wird, zu implementieren.
Übersicht
Ein Verfahren und Apparat zum Erzeugen einer kollaborativen Beurteilung zur Verwendung beim Kodieren eines Symbols wird beschrieben. Das Symbol kann ein Bit, eine Entscheidung, ein Token oder ein anderes Datum umfassen, das einer Kodierung unterzogen wird.
Bei einem Beispiel beinhaltet ein Verfahren zum Erzeugen einer kollaborativen Beurteilung die Erzeugung mehrerer Wahrscheinlichkeitsschätzungen für jedes Symbol, das zu kodieren ist. Diese Wahrscheinlichkeitsschätzungen können konditionierte Wahrscheinlichkeitsverteilungen niedriger Ordnung darstellen. Diese Wahrscheinlichkeitsschätzungen werden kombiniert, um eine einzige Schätzung höherer Ordnung zu erzeugen, die auf ihrer Übereinstimmung (das heißt ihrem Konsens) basiert. Zum Beispiel kann, falls Graphen von zwei Wahrscheinlichkeitsverteilungen dieselbe Gestalt haben, die Kombination von individuellen Wahrscheinlichkeitsschätzungen zu einer Überbetonung der Gestalt bzw. Form führen. Somit wird eine kollaborative Beurteilung erzeugt, indem mehrere Wahrscheinlichkeitsschätzungen kombiniert werden, wo die Kombination zu einer Überbetonung der Wahrscheinlichkeitsschätzungen einer jeden einzelnen der Wahrscheinlichkeitsschätzungen führt.
Bei einem Beispiel ist die kollaborative Beurteilung das Ergebnis der Anwendung einer Funktion von Wahrscheinlichkeitsschätzungen. Diese Funktion verbindet einen Überbetonungsexponenten und eine Gewichtungsinformation, die basierend auf den Wahrscheinlichkeitsschätzungen ausgewählt werden. Die Wichtungsinformation bzw. Gewichtungsinformation weist auf die Wichtung zwischen den Wahrscheinlichkeitsschätzungen hin. Bei einem Beispiel kann die Wichtungsinformation bzw. Gewichtungsinformation eine Effizienzwichtung umfassen, die auf das Ausmaß hinweist, in dem die Wahrscheinlichkeitsschätzung die kollaborative Wahrscheinlichkeitsschätzung beeinflußt. Bei einem anderen Beispiel kann die Wichtungsinformation einen Satz von Gewichten umfassen, wobei jedes Gewicht mit einer der Wahrscheinlichkeitsschätzungen im Zusammenhang steht bzw. einer Wahrscheinlichkeitsschätzung zugeordnet ist. Der Überbetonungsexponent mißt indirekt den Grad der Unabhängigkeit unter den Konditionierungsdaten, die durch die unterschiedlichen Wahrscheinlichkeitsschätzungen verwendet werden.
Die Wahrscheinlichkeitsschätzungen werden dann zu einer kollaborativen Wahrscheinlichkeitsschätzung kombiniert, und zwar basierend auf der Überbetonungsfunktion, indem der Überbetonungsexponent und die Wichtungsinformation verwendet werden.
3 zeigt ein anderes Beispiel des Prozesses zum Kombinieren der mehreren Wahrscheinlichkeitsschätzungen zu einer kollaborativen Wahrscheinlichkeitsschätzung. Der Prozeß, der in 3 dargelegt ist, berechnet die kollaborative Wahrscheinlichkeitsschätzung, indem eine Funktion (z. B. eine Gleichung) verwendet wird, die einen Überbetonungsexponenten und eine Effizienzwichtung enthält.
Die Verarbeitungslogik kann den Kombinationsprozeß durchführen. Die Verarbeitungslogik kann Software, wie z. B. jene umfassen, die auf einem Allzweck-Computer oder auf einer dafür gedachten Verarbeitungsvorrichtung oder Computersystem, einer Hardware, wie z. B. einer dafür bestimmten Logik oder Schaltung oder einer Kombination aus beidem läuft.
Nimmt man Bezug auf 3, so beginnt der Prozeß damit, daß die Verarbeitungslogik mehrere Wahrscheinlichkeitsschätzungen für jedes Symbol, das zu kodieren ist, erzeugt (Verarbeitungsblock 301). In dem Fall, wo das Symbol eine Entscheidung umfaßt, kann jede Wahrscheinlichkeitsschätzung in Antwort auf einen Kontext erzeugt werden. Das heißt die Daten, die kodiert werden, werden in mehrere Kontextmodell eingegeben. Jedes Kontextmodell übersetzt die Eingangsdaten in einen Satz oder eine Sequenz von binären Entscheidungen und liefert ein Kontextbin für jede Entscheidung. Sowohl die Sequenz von binären Entscheidungen als auch ihre zugeordneten Kontextbins werden zu einem Wahrscheinlichkeitschätzmodul ausgegeben, das eine Wahrscheinlichkeitsschätzung für jede binäre Entscheidung erzeugt, und zwar in einer Art und Weise, die in der Fachwelt gut bekannt ist.
Bei der vorliegenden Erfindung sind die Kontextmodelle unterschiedlich. Bei einer Ausführungsform werden benachbarte Pixel als Kontext verwendet, um das Kodieren einer Entscheidung zu konditionieren. Eine vorbestimmte Anzahl von Pixeln kann verwendet werden. Zum Beispiel werden bei einer Ausführungsform 10 benachbarte Pixel als ein Kontext verwendet, während andere Kontexte ausgebildet werden können, indem unterschiedliche Gruppen oder eine unterschiedliche Anzahl von benachbarten Pixeln verwendet werden. Bei einer anderen Ausführungsform werden, wenn ein einzelnes Bit eines Pixels kodiert wird, nur jene in Bits in derselben Bitposition innerhalb der benachbarten Pixel, die den Kontext bilden, verwendet, um das individuelle Bit zu konditionieren. Bemerkenswert ist, daß bei anderen Ausführungsformen andere Bits innerhalb eines Pixels oder mehrerer Pixel den Kontext für ein bestimmtes Bit (z. B. Entscheidung) ausbilden können.
Andere Kontextmodelle können verwendet werden, um Kontexte zu erzeugen, die zu einer Wahrscheinlichkeitsschätzung führen, die erzeugt wird, wenn sie in eine Wahrscheinlichkeitsschätzmaschine eingegeben wird.
Bei einer Ausführungsform werden zwei Wahrscheinlichkeitsschätzungen erzeugt, und zwar eine für jeden Kontext. Diese werden hierin als Wahrscheinlichkeitsschätzungen P₁ und P₂ bezeichnet. Die Anzahl der Wahrscheinlichkeitsschätzungen, die erzeugt werden, kann statt dessen drei oder mehr betragen.
Nachdem die Wahrscheinlichkeitsschätzungen erzeugt worden sind, klassifiziert eine Verarbeitungslogik sie zu bzw. in einen Bereich R (Verarbeitungsblock 302). 4 erläutert ein Beispiel einer zweidimensionalen (2-D) Konsenskarte 400 mit Bereichen I–VIII. Ein Bereich der Bereiche in der Karte 400 wird basierend auf den Werten der Wahrscheinlichkeitsschätzungen P₁ und P₂ ausgewählt. Jeder Bereich ist zwei Parametern zugeordnet, einem Effizienzgewicht W_R und einem Überbetonungsexponenten Y_R. Das Effizienzgewicht weist auf das Gewicht hin, das jedem der Wahrscheinlichkeitsschätzungen unter Bezugnahme aufeinander gegeben wird. Bei einem Beispiel werden den Wahrscheinlichkeitsschätzungen unterschiedliche Gewichte gegeben. In dem Fall, wo nur zwei Wahrscheinlichkeitsschätzungen kombiniert werden, kann ein einziger Gewichtswert verwendet werden, um festzulegen, welchem der Wahrscheinlichkeitsschätzungen ein größeres Gewicht beim Bestimmen zu geben ist, was die kollaborative Wahrscheinlichkeitsschätzung sein sollte. Bemerkenswert ist, daß, falls mehr als zwei Wahrscheinlichkeitsschätzungen kombiniert werden, zusätzliche Gewichte W notwendig sein können, um die unterschiedlichen Gewichte für jede Wahrscheinlichkeitsschätzung anzuzeigen. Bei einem Beispiel ist W_R anfänglich 0,5 und Y_R ist anfänglich 1,0 und diese Parameter sind aktualisierbar.
Die Auswahl eines Bereiches R basierend auf den Wahrscheinlichkeitsschätzungen führt zu den Werten für W_R und Y_R, die durch die Verarbeitungslogik ausgegeben werden (Verarbeitungsblock 303). Bei einem Beispiel umfaßt die 2-D-Konsenskarte eine Nachschlagtabelle (LUT), die W_R- und Y_R-Werte für jeden Bereich speichert.
Nach der Klassifizierung der zwei Wahrscheinlichkeitsschätzungen, um die W_R- und Y_R-Werte zu erhalten, berechnet die Verarbeitungslogik die kollaborative Beurteilung P_NET. Bei einer Ausführungsform wird P_NET gemäß den folgenden Gleichungen berechnet (Verarbeitungsblock 304). Für die Kürze der Freilegung nehme man an, daß die kodierte Entscheidung wahr war. Falls nicht, ersetze man jedes P mit (1 – P) usw.:
Bemerkenswert ist, daß die Kombination von Wahrscheinlichkeitsschätzungen auf eine Wahrscheinlichkeit gemäß einem arithmetischen Mittel basiert, anstelle der Übereinstimmungen gemäß dem geometrischen Mittel.
Nach der Berechnung kollaborativen Beurteilung aktualisiert die Verarbeitungslogik die Parameter W_R, Y_R. Die Aktualisierungen können für jedes neue Symbol (z. B. Entscheidung usw.) durchgeführt werden, das kodiert wird. Somit können die Aktualisierungen in Echtzeit auftreten (z. B. Online bzw. im Betrieb).
Bei einer Ausführungsform aktualisiert, da die Kosten des Kodierens einer wahren Entscheidung einer Wahrscheinlichkeit P_NET – logP_NET beträgt, die Verarbeitungslogik diese Parameter, indem Aktualisierungsregeln gemäß einem Gradienten-Abstiegsverfahren bzw. Gradient-Abwärts-("gradient descent")Aktualisierungsregeln verwendet werden. Die Gradient-Abwärts-("gradient descent")Aktualisierungsregeln können eine Aktualisierung gemäß der folgenden Gleichungen durchführen:
wobei δ_W, δ_Y Adaptionsraten darstellen. Der Wert für jede Adaptionsrate, die wahrscheinlich ist, um die beste Kompressionsleistungsfähigkeit zu ergeben, liegt wahrscheinlich in der Nähe von 0,01 bei den meisten Anwendungen oder in der Nähe von 0,05, wenn die Datensätze klein sind oder hoch nicht-stationär sind.
Somit können die Adaptionsraten basierend auf einer gewünschten Leistungsfähigkeit oder den Daten selbst ausgewählt werden. Es wäre für einen Fachmann leicht erkennbar, wie mit verschiedenen Werten zu experimentieren wäre, um eine gute Leistungsfähigkeit zu erzielen.
Falls Y_R = 1, wird das vorherige zu:
Somit werden die W_R- und Y_R-Werte adaptiv in Echtzeit eingestellt, und zwar Bereich um Bereich. In ähnlicher Weise impliziert dies, daß die W_R- und Y_R-Werte in Echtzeit ebenso gelernt werden.
Bemerkenswert ist, daß der W_R- und Y_R-Wert für jeden Bereich Offline bzw. außer Betrieb eingestellt werden kann. Die Offline-Aktualisierung der W_R- und Y_R-Werte kann durchgeführt werden, indem der Bereich der möglichen Kombinationen von Wahrscheinlichkeitsschätzungen partitioniert wird und indem ein Testbild oder mehrere Testbilder verwendet wird bzw. werden, um die Kombination von W_R- und Y_R-Werten zu erkennen bzw. zu identifizieren, die zu der niedrigsten mittleren Bitrate führen. Wenn einmal eine derartige Kombination von Werten erkannt bzw. identifiziert worden ist, werden jene Werte dem Bereich zugewiesen.
Zum Kodieren kann die kombinierte Wahrscheinlichkeitsschätzung durch einen Kodierer verwendet werden, um Information zu kodieren. Bei einer Ausführungsform kann der Kodierer einen Bitstromgenerator enthalten, der die kollaborative Wahrscheinlichkeitsschätzung zusammen mit der Bestimmung, ob eine binäre Entscheidung (Ergebnis) sich in ihrem bzw. seinem wahrscheinlichsten Zustand (das heißt ob die Entscheidung dem höchstwahrscheinlichen Symbol bzw. MPS entspricht) befindet, empfängt. Der Bitstromgenerator empfängt die Wahrscheinlichkeitsschätzung und die Bestimmung, ob oder ob nicht die binäre Entscheidung wahrscheinlich war, als Eingabe bzw. Eingangssignal und erzeugt einen komprimierten Datenstrom, wobei 0 Bits bzw. kein Bit oder mehrere Bits ausgegeben werden, um die Originaleingangsdaten darzustellen. Der Kodierer kann ebenfalls Kodezustandsdaten erzeugen, die verwendet werden können, um nachfolgende Daten zu kodieren.
Während des Dekodierens können dieselben Prozesse der Erzeugung einer kollaborativen Wahrscheinlichkeitsschätzung verwendet werden. Das heißt mehrere Wahrscheinlichkeitsschätzungen werden basierend auf mehreren Kontexten erzeugt und in derselben Art und Weise kombiniert, wie oben beschrieben. Bei einer Ausführungsform gibt ein Kodierer, wie z. B. einer mit einem Bitstromgenerator, ein Bit zurück, das darstellt, ob eine binäre Entscheidung (das heißt das Ereignis) sich in ihrem bzw. seinem höchstwahrscheinlichen Zustand befindet. Die kombinierte Wahrscheinlichkeitsschätzung wird basierend auf dem empfangenen Bit erzeugt und gibt ein Ergebnis zu dem Kontextmodell zurück. Das Kontextmodell empfängt das Ergebnis und verwendet es, um die Originaldaten zu erzeugen und das Kontextbin für die nächste binäre Entscheidung zu aktualisieren.
Der Prozeß der Erzeugung der kollaborativen Beurteilung kann bei der verlustfreien Bildkompression sowie bei anderen Bildverarbeitungsanwendungen nützlich sein, wie z. B. eine verlustbehaftete Kompression, Wiederherstellung, Segmentation und Klassifizierung. Ein verlustbehaftetes Kodieren bringt ein Kodieren mit sich, das zum Verlust von Information führt, so daß es keine Garantie einer perfekten Rekonstruktion der ursprünglichen Daten gibt. Bei einer verlustfreien Kompression bleibt die gesamte Information erhalten und die Daten werden in einer Art und Weise komprimiert, die eine perfekte Rekonstruktion erlaubt. Andere potentielle Bereiche einer Anwendung beinhalten eine Multisensorintegration und eine Entscheidungsfindung basierend auf gehäuften Ergebnissen bzw. Hinweisen bzw. einem akkumulierten Beweis.
Bemerkenswert ist, daß andere Techniken zur Kombination mehrerer Wahrscheinlichkeitsschätzungen einen Teil des hierin beschriebenen Prozesses oder alle Teile des hierin beschriebenen Prozesses verwenden können.
5 ist ein Blockdiagramm eines Beispiels eines Kodiersystems mit eine kollaborativen Wahrscheinlichkeitsschätzgenerator. Nimmt man Bezug auf 5, so erzeugt ein Kontextmodell 501 mehrere Kontexte, Kontextindex 1 – Kontextindex N, und konvertiert jedes Eingangsdatenbit in eine Entscheidung. Wie oben diskutiert wurde, kann es sich bei den Kontexten um zwei unterschiedliche Gruppen von Pixeln handeln. Jeder Kontext wird verwendet, um einen oder mehrere Speicher (z. B. Nachschlagtabellen) zu adressieren, wie z. B. Kontextspeicher 502₁ –502_N , die Wahrscheinlichkeitsschätzungen für jedes Kontextbin enthalten. Bei einer Antwort auf die Kontexte geben die Speicher 502₁ –502_N Wahrscheinlichkeitsschätzungen aus.
Bei einer Ausführungsform werden die zwei Wahrscheinlichkeitsschätzungen auf zwei unterschiedliche Gruppen von 8 Pixeln konditioniert. Eine der Wahrscheinlichkeitsschätzungen P₁, die die Wahrscheinlichkeit anzeigt, daß ein Pixel sich in einem höchstwahrscheinlichen Zustand befindet, wird von einer LUT ausgegeben, die auf den Werten von 8 Pixeln basiert. Die andere Wahrscheinlichkeitsschätzung P₂, die die Wahrscheinlichkeit anzeigt, daß ein Pixel sich in einem höchstwahrscheinlichen Zustand befindet, wird von der LUT ausgegeben, und zwar basierend auf den Werten von 8 unterschiedlichen Pixeln. Falls die zwei Pixelgruppen gemeinsame Pixel aufweisen, kann ein Teil der Eingaben bzw. manche der Eingangssignale zu den LUTs gleich sein.
Der kollaborative Wahrscheinlichkeitsschätzgenerator 503 kombiniert die zwei Wahrscheinlichkeitsschätzungen, um eine kollaborative Wahrscheinlichkeitsschätzung 506 zu erzeugen. Bei einer Ausführungsform umfaßt der Wahrscheinlichkeitsschätzgenerator 503 einen Bereichsklassifizierer 510, der die Wahrscheinlichkeitsschätzungen empfängt und einen Bereichsidentifizierer 511 erzeugt. Eine 2-D-Konsenskarte (z. B. LUT) 512 empfängt einen Bereichsidentifizierer 511 und gibt die W_R- und Y_R-Werte aus. Bemerkenswert ist, daß bei anderen Ausführungsformen die Wahrscheinlichkeitsschätzungen als Eingangssignale bzw. Eingaben zu der 2-D-Konsenskarte direkt verwendet werden können. Ein Wahrscheinlichkeitsschätzkombinierer 513 verwendet die W_R- und Y_R-Werte, um die Wahrscheinlichkeitsschätzungen, wie oben beschrieben, zu kombinieren und gibt das Ergebnis P_NET aus. Der P_NET-Wert wird ebenso gesendet, um das Modul 506 zu aktualisieren, das die W_R- und Y_R-Werte für den Bereich aktualisiert, wie oben beschrieben wurde.
Der Kodierer 504 empfängt die P_NET und kodiert die Daten unter ihrer Verwendung. Bei den Daten kann es sich um Entscheidungen oder Hinweise handeln, ob oder ob nicht die binäre Entscheidung als Eingangssignale bzw. als Eingabe wahrscheinlich war. Der Ausgang des Kodierers ist ein komprimierter Datenstrom, der Ausgabebits ausgibt, um die ursprünglichen Eingangsdaten darzustellen. Der Kodierer kann jede Kodiertechnik verwenden, die in der Fachwelt gut bekannt ist (z. B. statistisches Kodieren usw.). Der Kodierer kann kein Bit bzw. 0 Bits oder mehr Ausgabebits zusammen mit Kodezustandsdaten (nicht gezeigt) erzeugt, die verwendet werden können, um nachfolgende Daten zu kodieren.
Die Blöcke (oder Einheiten) in 5 können als Software, Hardware oder einer Kombination aus beiden, wie oben beschrieben wurde, implementiert bzw. realisiert werden.

Claims

Verfahren der Erzeugung einer kollaborativen Beurteilung zur Verwendung beim Kodieren eines Symbols, wobei das Verfahren folgendes umfasst: eine Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen für das zu kodierende Symbol wird erzeugt; ein Überbetonungsexponent und eine Wichtungsinformation, die auf die Wichtung zwischen der Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen hinweist bzw. diese anzeigt, wird ausgewählt; und die Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen werden zu der kollaborativen Wahrscheinlichkeitsschätzung basierend auf einer Überbetonungsfunktion kombiniert, die den Überbetonungsexponenten und die Wichtungsinformation verwendet; dadurch gekennzeichnet, dass das Verfahren des weiteren die Klassifizierung der Vielzahl von Wahrscheinlichkeitsschätzungen in Bereichen einer Mehrbereichskarte bzw. Mehrbereichszuordnung umfasst und dass das Auswählen des Überbetonungsexponenten und der Wichtungsinformation das Auswählen eines der Bereiche umfasst, wobei die ausgewählten Werte für den Überbetonungsexponenten und für die Wichtungsinformation dem ausgewählten Bereich zugeordnet sind.
Verfahren nach Anspruch 1, das weiter das Aktualisieren der Wichtungsinformation umfasst.
Verfahren nach Anspruch 2, bei welchem das Aktualisieren der Wichtungsinformation die Einstellung der Wichtungsinformation im Betrieb bzw. Online während des Kodierens der Information umfasst.
Verfahren nach Anspruch 2, bei welchem das Aktualisieren der Wichtungsinformation gemäß einem Gradienten-Abstiegsverfahren bzw. "gradient descent" erfolgt.
Verfahren nach Anspruch 1, das weiter die Aktualisierung des Überbetonungsexponenten umfasst.
Verfahren nach Anspruch 5, bei welchem die Aktualisierung des Überbetonungsexponenten die Online-Einstellung bzw. die Einstellung des Überbetonungsexponenten während des Betriebs umfasst, während Information kodiert wird.
Verfahren nach Anspruch 5, bei welchem die Aktualisierung des Überbetonungsexponenten gemäß einem Gradienten-Abstiegsverfahren bzw. "gradient descent" erfolgt.
Verfahren nach Anspruch 1, bei welchem die Wichtungsinformation eine Effizienzwichtung umfasst.
Verfahren der Kodierung, das folgendes umfasst: eine Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen für ein zu kodierendes Symbol wird erzeugt; die Vielzahl von Wahrscheinlichkeitsschätzungen wird zu einer kollaborativen Wahrscheinlichkeitsschätzung P_NET kombiniert, und zwar gemäß folgendem:
wobei ein Überbetonungsexponent Y_R und eine Wichtung W_R basierend auf der Vielzahl von Wahrscheinlichkeitsschätzungen ausgewählt werden; und eine Ausgabe bzw. ein Ausgangssignal wird in Antwort auf das Symbol und die kollaborative Wahrscheinlichkeitsschätzung erzeugt.
Verfahren nach Anspruch 9, bei welchem die Erzeugung einer Ausgabe bzw. Ausgangssignals die Erzeugung von Kodezustandsdaten umfasst.
Apparat zum Erzeugen einer kollaborativen Beurteilung zur Verwendung beim Kodieren eines Symbols, wobei der Apparat folgendes umfasst: eine Einrichtung zum Erzeugen einer Anzahl von Wahrscheinlichkeitsschätzungen für das zu kodierende Symbol; eine Einrichtung zum Auswählen eines Überbetonungsexponenten und einer Wichtungsinformation, die auf die Wichtung zwischen der Anzahl von Wahrscheinlichkeitsschätzungen hinweist; eine Einrichtung zum Kombinieren der Anzahl von Wahrscheinlichkeitsschätzungen zu der kollaborativen Wahrscheinlichkeitsschätzung basierend auf einer Überbetonungsfunktion, indem der Überbetonungsexponent und die Wichtungsinformation verwendet werden, dadurch gekennzeichnet, dass der Apparat weiter eine Einrichtung zum Klassifizieren der Mehrzahl von Wahrscheinlichkeitsschätzungen pro Bereich bzw. in Bereichen einer Mehrbereichskarte bzw. Zuordnung umfasst, wobei die Einrichtung zum Auswählen einen Bereich auswählt, und den Überbetonungsexponenten und die Wichtungsinformation basierend auf dem ausgewählten Bereich ausgibt.
Apparat nach Anspruch 11, der weiter eine Einrichtung zum Aktualisieren der Wichtungsfunktion umfasst.
Apparat nach Anspruch 12, bei welchem die Einrichtung zum Aktualisieren die Wichtungsinformation Online bzw. im Betrieb einstellt, während die Information kodiert wird.
Apparat nach Anspruch 12, bei welchem die Einrichtung zum Aktualisieren die Effizienzwichtungsinformation gemäß einem Gradienten-Abstiegsverfahren bzw. gemäß "gradient descent" erfolgt.
Apparat nach Anspruch 11, der weiter die Einrichtung zum Aktualisieren des Überbetonungsexponenten umfasst.
Apparat nach Anspruch 15, bei welchem die Einrichtung zum Aktualisieren den Überbetonungsexponenten Online bzw. im Betrieb einstellt, während Information kodiert wird.
Apparat nach Anspruch 15, bei welchem die Einrichtung zum Aktualisieren den Überbetonungsexponenten mittels abwärts gerichteten Gradienten bzw. gemäß einem Gradienten-Abstiegsverfahren aktualisiert.
Computersoftwareprodukt mit einem beschreibbaren Medium bzw. Speichermedium, das Befehle darauf speichert, oder Programm, das, wenn es von einer Verarbeitungsvorrichtung bzw. Computer ausgeführt wird, die Verarbeitungsvorrichtung bzw. den Computer veranlasst, folgendes zu bewirken: eine Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen wird für ein zu kodierendes Symbol erzeugt; die Anzahl bzw. Vielzahl von Wahrscheinlichkeitsschätzungen werden zu einer kollaborativen Wahrscheinlichkeitsschätzung P_NET gemäß dem folgenden kombiniert:
wobei ein Überbetonungsexponent Y_R und eine Wichtung W_R verwendet werden, die basierend auf der Vielzahl von Wahrscheinlichkeitsschätzungen ausgewählt werden; und eine Ausgabe wird in Antwort auf das Symbol und die kollaborative Wahrscheinlichkeitsschätzung erzeugt.
Computersoftwareprodukt oder Programm nach Anspruch 18, das Befehle umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, die Anzahl von Wahrscheinlichkeitsschätzungen nach Bereich einer Mehrbereichskarte bzw. Zuordnung zu klassifizieren.
Computersoftwareprodukt oder Programm nach Anspruch 18, das weiter Befehle umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, einen Überbetonungsexponenten und eine Wichtungsinformation, die auf die Wichtung zwischen der Vielzahl von Wahrscheinlichkeitsschätzungen hinweist bzw. diese anzeigt, auszuwählen.
Computersoftwareprodukt oder Programm nach Anspruch 20, das weiter Instruktionen umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, einen Bereich einer zweidimensionalen Karte bzw. Zuordnung basierend auf den Wahrscheinlichkeitsschätzungen auszuwählen und den Überbetonungsexponenten und die Wichtungsinformation basierend auf dem ausgewählten Bereich auszugeben.
Computersoftwareprodukt oder Programm nach Anspruch 18, das weiter Befehle umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, die Wichtungsinformation zu aktualisieren.
Computersoftwareprodukt oder Programm nach Anspruch 22, das weiter Befehle umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, die Wichtungsinformation online bzw. im Betrieb zu aktualisieren, während Information kodiert wird.
Computersoftwareprodukt oder Programm nach Anspruch 22, bei welchem die Aktualisierung der Wichtungsinformation gemäß einem Gradienten-Abstiegsverfahren bzw. "gradient descent" erfolgt.
Computersoftwareprodukt oder Programm nach Anspruch 18, das weiter Befehle umfaßt, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, den Überbetonungsexponenten zu aktualisieren.
Computersoftwareprodukt oder Programm nach Anspruch 25, das weiter Befehle umfasst, die, wenn sie von der Verarbeitungsvorrichtung ausgeführt werden, die Verarbeitungsvorrichtung veranlassen, den Überbetonungsexponenten online bzw. im Betrieb einzustellen, während Information kodiert wird.
Computersoftwareprodukt oder Programm nach Anspruch 25, bei welchem die Aktualisierung des Überbetonungsexponenten gemäß einem Gradienten-Abstiegsverfahren bzw. "gradient descent" erfolgt.
Computersoftwareprodukt oder Programm nach Anspruch 18, bei welchem die Wichtungsinformation eine Effizienzwichtung umfasst.
Kollaborativer Wahrscheinlichkeitsschätzgenerator, der folgendes umfasst: einen Bereichsklassifizierer, der auf eine Vielzahl von Wahrscheinlichkeitsschätzungen anspricht bzw. darauf antwortet, um eine Bereichsanzeige zu erzeugen; eine zweidimensionale Konsenskarte bzw. Konsenszuordnung, um einen Überbetonungsexponenten und eine Wichtungsinformation, die eine Wichtung zwischen der Vielzahl von Wahrscheinlichkeitsschätzungen anzeigt, in Antwort auf die Bereichsanzeige zu erzeugen; eine Wahrscheinlichkeitsschätzung, um die Vielzahl von Wahrscheinlichkeitsschätzungen zu einer kollaborativen Wahrscheinlichkeitsschätzung basierend auf einer Überbetonungsfunktion zu kombinieren, indem der Überbetonungsexponent und die Wichtungsinformation, die von der zweidimensionalen Konsenskarte bzw. Zuordnung empfangen werden, verwendet werden.
Kollaborativer Wahrscheinlichkeitsschätzgenerator, der in Anspruch 29 festgelegt ist und der weiter eine Aktualisierungseinheit umfasst, die auf die kollaborative Wahrscheinlichkeitsschätzung anspricht bzw. darauf antwortet, um den Überbetonungsexponent und die Wichtungsinformation darauf basierend zu aktualisieren.