DE69838536T2

DE69838536T2 - Bildwandler und bildwandlungsverfahhren

Info

Publication number: DE69838536T2
Application number: DE69838536T
Authority: DE
Inventors: Tetsujiro Shinagawa-ku Kondo; Yasushi Shinagawa-ku TATEHIRA; Hideo Shinagawa-ku Nakaya; Takaya Shinagawa-ku Hoshino; Masaaki Shinagawa-ku HATTORI
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-05-06
Filing date: 1998-05-06
Publication date: 2008-07-24
Anticipated expiration: 2018-05-07
Also published as: CN1223050A; EP0912045A1; DE69838536D1; IL127910A; EP0912045A4; US6233019B1; WO1998051072A1; KR20000023569A; EP0912045B1; KR100499434B1; CN1129301C; IL127910A0

Description

Gebiet der Erfindung
Diese Erfindung betrifft Pixelumformungseinrichtungen und -verfahren. Insbesondere betrifft sie Pixelumformungseinrichtungen und -verfahren zur sicheren Korrektur eines unscharfen Bildes.
Beschreibung des Standes der Technik
Die Anmelderin hat die Technik, die es möglich macht, Pixeldaten mit höherer Auflösung zu erhalten, beispielsweise die der Japanischen Veröffentlichung JP080151599 , vorgeschlagen. Bei diesem Vorschlag wird in dem Fall, dass Bilddaten, die aus HD-Pixeldaten (HD = High Definition (Hochauflösung)) zusammengesetzt sind, aus Bilddaten, die aus SD-Pixeldaten (SD = Standard Definition (Standardauflösung) zusammengesetzt sind, erzeugt werden, unter Benutzung von SD-Pixeldaten, die in der Nachbarschaft der erzeugten HD-Pixeldaten sitzen, eine Klassifikation ausgeführt wird (die Klasse wird bestimmt). Ein gesetzter Prädiktionskoeffizientenwert wird für jede Klasse vorher gelernt. Es werden die HD-Pixeldaten, die näher am wahren Wert sind, im ruhenden Bildabschnitt unter Benutzung einer Interrahmenkorrelation (z. B. Intervollbildkorrelation) und im sich bewegenden Abschnitt unter Benutzung einer Interfeldkorrelation (z. B. Interteilbildkorrelation) erhalten.
Diese Technik ist beispielsweise zum Korrigieren von Bilddaten, deren Bildqualität sehr schlecht ist (unscharfes Bild), in Bilddaten, die eine vorteilhafte Bildqualität aufweisen, fähig. Jedoch ist sie in dem Fall von Bilddaten, deren Bildqualität sehr schlecht ist, bei Ausführung einer Klassifikation unter Benutzung dieser Bilddaten, deren Bildqualität sehr schlecht ist, nicht zur Ausführung einer geeigneten Klassifikation und zum Bestimmen der passenden Klasse fähig. Deshalb ist, da die passende Klasse nicht erhalten werden kann, nach allem das Problem geblieben, dass sie nicht fähig ist, die Bildqualität ausreichend zu korrigieren.
Zusammenfassung der Erfindung
Im Hinblick auf eine derartige Situation schlägt die vorliegende Erfindung die Bildwandlungs- bzw. Bildumformungseinrichtung und das Bildwandlungs- bzw. Bildumformungsverfahren zum sicheren Korrigieren der Bildqualität, selbst wenn die Bildqualität der eingegebenen Bilddaten schlecht ist, vor.
Gemäß der vorliegenden Erfindung ist ein Bildwandler bzw. Bildumformer zur Umwandlung bzw. Umformung eines ersten Bildsignals, das aus mehreren Pixeldaten zusammengesetzt ist, in zweite Bilddaten, die aus mehreren Pixeldaten zusammengesetzt sind, bereitgestellt, der aufweist: eine Pixelextrahierungseinrichtung zum Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Klassenabgriff, eine Klassifikationsschaltung zum Klassifizieren des Klassenabgriffs zur Erzeugung eines Klassencodes, der die Klasse des Klassenabgriffs darstellt, wobei die Klassifikationsschaltung zur Erzeugung des Klassencodes eine Schaltung zum Kombinieren der binären Beschreibungen mit einem reduzierten Dynamikbereich der Pixel des Klassenabgriffs zu einem Datenwort und eine Schaltung zum Kombinieren des einen Datenworts mit einer Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, aufweist, eine Herstellungsschaltung zur Ableitung des zweiten Bildsignals vom ersten Bildsignal entsprechend Prädiktionsdaten, eine Erzeugungsschaltung zur Erzeugung der Prädiktionsdaten entsprechend dem Klassencode und eine Schaltung zur Herstellung der Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, und zur Steuerung der Pixelextrahierungsoperation der Pixelextrahierungsschaltung entsprechend der Unschärfegröße, wobei die Schaltung zur Herstellung der Unschärfegröße betriebsfähig ist zu einer Verschiebung der Pixeldaten im Bildsignal, um Autokorrelationskoeffizienten zu berechnen, die mit jeweiligen verschobenen Positionen korrespondieren, und zur Herstellung der Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt, wobei der Autokorrelationskoeffizient als eine Skala behandelt wird, die den Grad von Unschärfe des Bilds darstellt.
Die vorliegende Erfindung stellt auch ein Bildwandlungs- bzw. Bildumformungsverfahren zur Umwandlung bzw. Umformung eines ersten Bildsignals, das aus mehreren Pixeldaten zusammengesetzt ist, in zweite Bilddaten, die aus mehreren Pixeldaten zusammengesetzt sind, bereit, wobei das Verfahren die Schritte aufweist: Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Klassenabgriff, Klassifizieren des Klassenabgriffs zum Erzeugen eines eine Klasse von Pixeln darstellenden Klassencodes durch Kombinieren der binären Beschreibungen mit einem reduzierten Dynamikbereich der Pixel des Klassenabgriffs zu einem Datenwort und Kombinieren des einen Datenworts mit einer Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, Ableiten des zweiten Bildsignals für das erste Signal entsprechend Prädiktionsdaten, Erzeugen der Prädiktionsdaten entsprechend dem Klassencode, Herstellen der Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, durch Verschieben der Pixeldaten im Bildsignal, um Autokorrelationskoeffizienten zu berechnen, die mit jeweiligen verschobenen Positionen korrespondieren, und Detektieren der Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt, und Behandeln des Autokorrelationskoeffizienten als eine Skala, die den Grad von Unschärfe des Bilds darstellt, und Steuern der Pixelextrahierungsoperation des Pixelextrahierungsschritts entsprechend der Unschärfegröße.
Deshalb ist es gemäß dem Bildumformer und dem Bildumformungsverfahren der vorliegenden Erfindung, selbst wenn die Bildqualität der eingegebenen Bilddaten schlecht ist, möglich, den optimalen Klassenabgriff zu extrahieren und die optimale Prädiktionsverarbeitung auszuführen, da der Klassenabgriff in Reaktion auf die Merkmalsgröße, welche die Größe von Unschärfe der eingegebenen Bilddaten darstellt, gesteuert wird.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Bildumformers gemäß der Erfindung zeigt;
2 ist ein Diagramm, das einen Ausschneideprozess in einem Gebietsausschneideabschnitt 1 von 1 darstellt;
3 ist ein Diagramm, das den Ausschneideprozess im Gebietsabschneideabschnitt 1 von 1 darstellt;
4 ist ein Flussdiagramm, das einen Merkmalsgrößenextrahierungsprozess in einem Merkmalsgrößenextrahierungsabschnitt 3 von 1 darstellt;
5 ist ein Diagramm, das einen Prozess zur Berechnung eines Autokorrelationskoeffizienten eines Schritts S1 von 4 darstellt;
6 ist ein Diagramm, das den beim Schritt S1 von 4 berechneten Autokorrelationskoeffizienten darstellt;
7 ist ein Diagramm, das den anderen Prozess einer Merkmalsgrößendetektion im Merkmalsgrößenextrahierungsabschnitt 3 von 1 darstellt;
8 ist ein Diagramm, welches das andere Beispiel einer Merkmalsgrößendetektion im Merkmalsgrößenextrahierungsabschnitt 3 von 1 zeigt;
9 ist ein Diagramm, welches das andere Beispiel einer Merkmalsgrößendetektion im Merkmalsgrößenextrahierungsabschnitt 3 von 1 zeigt;
10 ist ein Diagramm, das den Ausschneideprozess im Bereichsausschneideabschnitt 1 von 1 zeigt;
11 ist ein Diagramm, das den Ausschneideprozess im Bereichsausschneideabschnitt 1 von 1 darstellt;
12 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration zur Ausführung des Prädiktivkoeffizientenlernprozesses einer ROM-Tabelle 6 von 1 zeigt.
Beschreibung der bevorzugten Ausführungsform
Eine Ausführungsform der vorliegenden Erfindung wird unten erläutert. 1 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Bildumformers gemäß der Erfindung zeigt. Bei diesem Konfigurationsbeispiel ist eine Konfiguration beispielsweise zur Umwandlung bzw. Umformung von SD-Bilddaten (oder HD-Bilddaten), deren Bildqualität schlecht ist (unscharfes Bild), in SD-Bilddaten (oder HD-Bilddaten), deren Bildqualität verbessert worden ist, gezeigt. Nachfolgend wird eine Erläuterung bezüglich des Falls gegeben, dass die eingegebenen Bilddaten SD-Bilddaten sind.
Beispielsweise werden Bilddaten, deren Bildqualität schlecht ist (unscharfes Bild), über einen Eingangsanschluss in einen Bildumformer eingegeben. Die eingegebenen Bilddaten werden einem Bereichsausschneideabschnitt (Bereichsextrahierungsabschnitt) 1, einem Bereichsausschneideabschnitt (Bereichsextrahierungsabschnitt) 2 und einem Merkmalsgrößenextrahierungsabschnitt 3 zugeführt. Der Merkmalsgrößenextrahierungsabschnitt 3 detektiert eine Merkmalsgröße, welche die Größe von Unschärfe der eingegebenen SD-Bilddaten darstellt, und gibt die detektierte Merkmalsgröße an den Bereichsausschneideabschnitt 1, den Bereichsausschneideabschnitt 2 und einen Klassencodeerzeugungsabschnitt 5 aus. Der Bereichsausschneideabschnitt 1 schneidet (extrahiert) einen Satz von Klassenabgriffen des spezifizierten Bereichs aus den eingegebenen Pixeldaten aus und gibt diesen an einen ADRC-Musterextrahierungsabschnitt 4 (ADRC = Adaptive Dynamics Range Coding (adaptive Dynamikbereichscodierung)) aus. Der beim Bereichsausschneideabschnitt 1 ausgeschnittene Klassenabgriff wird entsprechend der Merkmalsgröße, die vom Merkmalsgrößenextrahierungsabschnitt 3 ausgegeben wird, gesteuert. Der ADRC-Musterextrahierungsabschnitt 4 würde zum Zweck einer Wellenformdarstellung im Raum eine Klassifizierung ausführen.
Der Klassencodeerzeugungsabschnitt 5 erzeugt einen Klassencode, der mit der Klasse, die vom ADRC-Musterextrahierungsabschnitt 4 ausgegeben worden ist, und mit der Merkmalsgröße, die vom Merkmalsgrößenextrahierungsabschnitt 3 ausgegeben worden ist, korrespondiert, und gibt diesen an eine ROM-Tabelle 6 aus. Der spezifizierte (stated) Prädiktivkoeffizientensatz, der mit jeder Klasse (Klassencode) korrespondiert, ist vorher in der ROM-Tabelle 6 gespeichert worden, und sie gibt den Prädiktivkoeffizientensatz, der mit dem Klassencode korrespondiert, an einen Prädiktivoperationsabschnitt 7 aus.
Der Bereichsausschneideabschnitt 2 schneidet (extrahiert) die Pixeldaten des spezifizierten Bereichs aus den eingegebenen Bilddaten als einen Prädiktivabgriffssatz aus und gibt die Pixeldaten, die den Prädiktivabgriff zusammensetzen, an einen Prädiktivoperationsabschnitt 7 aus. Der Prädiktivabgriffssatz, der vom Bereichsausschneideabschnitt 2 ausgeschnitten ist, wird entsprechend der Merkmalsgröße, die vom Merksmalgrößenextrahierungsabschnitt 3 ausgegeben wird und die Größe von Unschärfe darstellt, gesteuert. Der Prädiktivoperationsabschnitt 7 führt auf Basis des Prädiktivabgriffssatzes, der vom Bereichsausschneideabschnitt 2 eingegeben worden ist, und des Prädiktivkoeffizientensatzes, der von der ROM-Tabelle 6 eingegeben worden ist, eine Prädiktivoperation aus und gibt das Resultat der Operation als Bilddaten aus, deren Bildqualität korrigiert worden ist. Infolgedessen werden die ausgegebenen Bilddaten mit einer nicht gezeigten Anzeigeeinrichtung angezeigt, in einer Aufzeichnungseinrichtung aufgezeichnet oder mit einer Übertragungseinrichtung übertragen.
Als Nächstes wird die Operation erläutert. Wenn Bilddaten eingegeben worden sind, schneidet der Bereichsausschnittsabschnitt 1 die spezifizierten Bilddaten aus den eingegebenen Bilddaten als einen Klassenabgriff aus. Beispielsweise schneidet er, wie in 2 gezeigt, eine Menge von fünf Pixeldaten, das heißt Pixeldaten, denen Aufmerksamkeit gegeben ist (attentional Pixel data), und die in der Richtung nach oben, unten, links und rechts benachbarten Pixeldaten als einen Klassenabgriff aus Oder er extrahiert, wie in 3 gezeigt, Pixeldaten, denen Aufmerksamkeit gegeben ist, und die in Richtung nach oben, unten, links und rechts benachbarten Pixeldaten, die von den Pixeldaten, denen Aufmerksamkeit gegeben ist, in einem mit drei Pixeln korrespondierenden Abstand distanziert sind, als einen Klassenabgriff. Welche Pixeldaten als Klassenabgriff ausgeschnitten werden, wird entsprechend der Merkmalsgröße, welche die Größe von Unscharfe darstellt, bestimmt, und diese werden vom Merkmalsgrößenextrahierungsabschnitt 3 ausgegeben.
Als Nächstes wird der Merkmalsgrößenextrahierungsprozess des Merkmalsgrößenextrahierungsabschnitts 3 anhand des Flussdiagramms von 4 erläutert. Zuerst berechnet der Merkmalsgrößenextrahierungsabschnitt 3 beim Schritt S1 den Autokorrelationskoeffizienten jedes Rahmens (z. B. Vollbilds) in Bezug auf alle Pixeldaten der eingegebenen Bilddaten. Dieser Autokorrelationskoeffizient wird als eine Skala der Merkmalsgröße benutzt, welche die Größe von Unschärfe der Pixeldaten darstellt. Das heißt unter der Annahme, dass, wie in 5 gezeigt, die Bilddaten eines einzelnen Rahmens aus Pixeldaten von 720 Pixeln×480 Pixeln zusammengesetzt sind, dann ein Block (den Umständen entsprechend als der Referenzblock bezeichnet) gebildet wird, der aus Pixeldaten von 512 Pixeln×256 Pixeln aus den Pixeldaten von 720 Pixeln×480 Pixeln zusammengesetzt und bei den spezifizierten Pixeldaten, denen Aufmerksamkeit gegeben ist, zentriert ist. Die Position des Referenzblocks wird innerhalb des spezifizierten Bereichs in Pixeleinheiten in Richtung nach oben, unten, links und rechts bewegt, und die Autokorrelationskoeffizienten, die mit den jeweiligen bewegten Positionen korrespondieren, werden berechnet. Der Autokorrelationskoeffizient, der mit der Position der Zeit, zu welcher der Referenzblock bewegt worden ist, korrespondiert, wird durch die folgende Gleichung dargestellt AUTOKORRELATIONSKOEFFIZIENT =
wobei der Wert jedes Pixels in einem Referenzblock, der bei den spezifizierten Pixeldaten, denen Aufmerksamkeit gegeben ist, zentriert worden ist, mit X_ij (i = 0, 1, 2, ..., n; j = 0, 1, 2, ..., m) bezeichnet ist, ein Mittelwert von Pixelwerten im Referenzblock mit X - bezeichnet ist, ein Wert jedes Pixels in einem Block, der mit der Position korrespondiert, zu welcher der Referenzblock bewegt worden ist, mit Y_ij (i =0, 1, 2, ..., n; j = 0, 1, 2..., m) bezeichnet ist, und ein Mittelwert von Pixelwerten im Block mit Y - bezeichnet ist.
Wie oben dargelegt ist der Referenzblock dieser Ausführungsform aus den Pixeldaten von 512 Pixeln×256 Pixeln zusammengesetzt, so dass der Wert von n gleich 511 ist und der Wert von m gleich 255 ist. Auf diese Weise wird der Referenzblock im spezifizierten Bereich verschoben, und die Autokorrelationskoeffizienten, die mit den jeweiligen Positionen korrespondieren, können erhalten werden.
6 zeigt Beispiele des Autokorrelationskoeffizienten, die auf diese Weise berechnet worden sind. Wenn der Block (Referenzblock) nicht verschoben ist, ist der Autokorrelationskoeffizient gleich 1. Während im Fall eines Rahmens F1, wenn der Block (Referenzblock) um eine Größe, die mit drei Pixeln korrespondiert, nach rechts verschoben worden ist, der Autokorrelationskoeffizient auf 0,85 abnimmt, gilt nebenbei bemerkt, je mehr die verschobene Größe zunimmt, desto mehr nimmt der Autokorrelationskoeffizient auf den kleineren Wert ab. Dies ist zu dem Fall analog, bei dem der Block (Referenzblock) nach links verschoben wird.
Andererseits nimmt im Fall eines Rahmens F2, wenn der Block (Referenzblock) um eine Größe, die mit einem einzelnen Pixel korrespondiert, nach rechts oder links verschoben worden ist, der Autokorrelationskoeffizient auf 0,85 ab, und wenn er weiter verschoben wird, nimmt der Autokorrelationskoeffizient weiter ab. Dies bedeutet, dass die Autokorrelation des Rahmens F1 stärker als die des Rahmens F2 ist, das heißt, die Größe von Unschärfe des Rahmens F1 ist größer als die des Rahmens F2.
Der Merkmalsgrößenextrahierungsabschnitt 3 findet beim Schritt S2 eine Größe von Pixelverschiebung derart, dass der Autokorrelationskoeffizient der spezifizierte Referenzwert (beispielsweise 0,85) wird, und gibt dann beim Schritt S3 die Pixelverschiebungsgröße als eine Merkmalsgröße, welche die Unschärfegröße darstellt, aus. Das heißt, durch Vergleichen der Autokorrelationskoeffizienten, die mit den jeweiligen Positionen, zu denen der Referenzblock im spezifizierten Bereich verschoben worden ist, korrespondieren, mit dem Referenzwert wird die Pixelverschiebungsgröße gefunden, durch die der Autokorrelationskoeffizient der Referenzwert wird. Beim Beispiel von 6 erscheint in dem Fall, bei dem die eingegebenen Pixeldaten die Pixeldaten des Rahmens F1 sind, die Merkmalsgröße als 3, während in dem Fall, bei dem die eingegebenen Pixeldaten die Pixeldaten des Rahmens F2 sind, die Merkmalsgröße als 1 erscheint.
Wenn vom Merkmalsgrößenextrahierungsabschnitt 3 die Merkmalsgröße 1 eingegeben worden ist, schneidet (extrahiert) der Bereichsausschneideabschnitt 1, wie in 2 gezeigt, die Pixeldaten, die im engen Raum lokalisiert worden sind, als den Klassenabgriff aus. Wenn andererseits die Merkmalsgröße 3 eingegeben worden ist, schneidet (extrahiert) der Bereichsausschneideabschnitt 1, wie in 3 gezeigt, die Pixeldaten, die mit den weiteren Räumen lokalisiert worden sind, als den Klassenabgriff aus.
Wie in 6 gezeigt ist im Fall des Bilds, dessen Merkmalsgröße 1 ist (Rahmen F2), der Bereich von Pixeldaten, der einen starken Korrelationskoeffizienten aufweist, schmal. So werden, wie in 2 gezeigt, die Pixeldaten, die im schmalen Bereich lokalisiert worden sind, als die Pixeldaten zum Zusammensetzen des Klassenabgriffs ausgewählt. Andererseits ist im Fall des Bilds, dessen Merkmalsgröße 3 ist (Rahmen F1), der Bereich, der den starken Autokorrelationskoeffizienten aufweist, weiter. So werden, wie in 3 gezeigt, die Pixeldaten zum Zusammensetzen des Klassenabgriffs aus dem weiteren Bereich ausgeschnitten. In diesem Fall wird es durch dynamische Änderungen der Pixeldaten, die als der Klassenabgriff ausgeschnitten werden, in Reaktion auf die Merkmalsgröße, welche die Größe von Unschärfe darstellt, möglich, einen Klassenabgriff adäquater auszuschneiden (zu extrahieren).
Die Pixeldaten, die beim Bereichsausschneideabschnitt 2 ausgeschnitten (extrahiert) werden, werden, wo es nicht dargestellt ist, in Reaktion auf die Merkmalsgröße, welche die Unschärfegröße darstellt und die vom Merkmalsgrößenextrahierungsabschnitt 3 ausgegeben wird, in der gleichen Weise wie beim Ausschneiden des Klassenabgriffs beim Bereichsausschneideabschnitt 1 dynamisch geändert. Die Art und Weise des Ausschneiden des Prädiktivabgriffs beim Bereichsausschneideabschnitt 2 kann identisch zu oder verschieden von der des Klassenabgriffs beim Bereichsausschneideabschnitt 1 sein.
Der ADRC-Musterextrahierungsabschnitt 4 führt eine ADRC-Verarbeitung in Richtung zum Klassenabgriff, der beim Bereichsausschneideabschnitt 1 ausgeschnitten worden ist, aus und führt eine Klassifikation aus (bestimmt die Klasse). Das heißt, es wird durch Bezeichnen eines Dynamikbereichs in fünf Pixeldaten, die als ein Klassenabgriff extrahiert worden sind, mit DR, einer Bitzuteilung mit n, eines Pegels aller Pixeldaten als einen Klassenabgriff mit L und eines Requantisierungscodes mit Q die folgende Gleichung berechnet. Q = {(L – MIN + 0,5) × 2n/DR} DR = MAX – MIN + 1wobei {} eine Abrundungsoperation bedeutet, wie sie hier benutzt wird, MAX und MIN den Maximumwert bzw. den Minimumwert von fünf Pixeldaten, die einen Klassenabgriff zusammensetzen, darstellen. Dadurch werden unter der Annahme, dass fünf Pixeldaten, die einen Klassenabgriff zusammensetzen, der beim Bereichsausschneideabschnitt 1 ausgeschnitten wird, jeweils aus beispielsweise 8 Bits (n = 8) bestehen, diese jeweils auf 2 Bits komprimiert. Deshalb werden dem Klassencodeerzeugungsabschnitt 5 die Daten, die eine räumliche Klasse darstellen, die durch insgesamt 10 Bits dargestellt wird, zugeführt.
Der Klassencodeerzeugungsabschnitt 5 addiert die Bits, welche die Merkmalsgröße darstellen, welche die vom Merkmalsgrößenextrahierungsabschnitt 3 zugeführte Unschärfegröße darstellt, zu den die räumliche Klasse darstellenden Daten, die vom ADRC-Musterextrahierungsabschnitt 4 eingegeben worden sind, um einen Klassencode zu erzeugen. Unter der Annahme, dass die Merkmalsgröße, welche die Unschärfegröße darstellt, durch zwei Bits dargestellt wird, wird ein Klassencode aus 12 Bits erzeugt und der ROM-Tabelle 6 zugeführt. Dieser Klassencode korrespondiert mit einer Adresse der ROM-Tabelle 6.
Der Prädiktivkoeffizientensatz, der mit jeder Klasse (jedem Klassencode) korrespondiert, wird in der mit dem Klassencode korrespondierenden Adresse der ROM-Tabelle 6 gespeichert, und auf der Basis des Klassencodes, der vom Klassencodeerzeugungsabschnitt 5 zugeführt worden ist, wird der Prädiktivkoeffizientensatz ω1 bis ωn, der bei der mit dem wahren Klassencode korrespondierenden Adresse gespeichert ist, wird gelesen und dem Prädiktivoperationsabschnitt 7 zugeführt.
Um ein Prädiktionsresultat Y zu finden, führt der Prädiktivoperationsabschnitt 7 eine in der folgenden Gleichung gezeigte Produktsummenoperation aus. y = ω1 x1 + ω2 x2 + ... + ωn xn,wobei x1 bis xn Pixeldaten bezeichnen, die den Prädiktivabgriff zusammensetzen, der vom Bereichsausschneideabschnitt 2 zugeführt worden ist, und ω1 bis ωn den Prädiktivabgriffssatz bezeichnen.
Dieser Prädiktivwert y wird die Pixeldaten, deren Bildqualität (Unschärfe) korrigiert worden ist.
7 zeigt das andere Beispiel des Merkmalsgrößenextrahierungsprozesses im Merkmalsgrößenextrahierungsabschnitt 3. Bei diesem Beispiel wird beim Schritt S11 ein Rand der Nachbarschaft des spezifizierten Pixels, dem Aufmerksamkeit gegeben wird, detektiert. Beim Schritt S12 wird ein Randcode, der mit dem detektierten Rand korrespondiert, als Merkmalsgröße ausgegeben. Beispielsweise gibt der Merkmalsgrößenextrahierungsabschnitt 3 in dem Fall, bei dem wie in 8 gezeigt ein schräger Rand, der von oben rechts nach unten links liegt, detektiert worden ist, den Randcode 0 aus, und gibt in dem Fall, bei dem wie in 9 gezeigt ein horizontaler Rand detektiert worden ist, den Randcode 1 aus.
Wenn vom Merkmalsgrößenextrahierungsabschnitt 3 der in 8 gezeigte Randcode 0 eingegeben worden ist, schneidet (extrahiert) der Bereichsausschneideabschnitt 1 solche Pixeldaten aus, die in 10 als ein Klassenabgriff gezeigt sind. Dieser Klassenabgriff ist aus Pixeldaten zusammengesetzt, die zum Detektieren dieses Rands, der von oben rechts nach unten links liegt, optimal sind. Wenn andererseits der in 9 gezeigte Randcode 1 eingegeben worden ist, schneidet (extrahiert) der Bereichsausschneideabschnitt 1 solche Pixeldaten aus, die in 11 als ein Klassenabgriff gezeigt sind. Dieser Klassenabgriff ist aus Pixeln zusammengesetzt, die zum Detektieren des horizontalen Rands optimal sind. Im Bereichsausschneideabschnitt 2 wird in ähnlicher Weise auch der Prozess zum Ausschneiden (Extrahieren) von Pixeldaten, die den Prädiktivabgriff aufweisen, in Reaktion auf den Randcode ausgeführt.
Auf diese Weise ist es möglich, die Pixeldaten, die als der Klassenabgriff oder der Prädiktivabgriff ausgeschnitten (extrahiert) werden, in Reaktion auf die Merkmalsgröße wie beispielsweise Autokorrelation und einen Rand der eingegebenen Pixeldaten dynamisch zu ändern, und deshalb wird es möglich, ein adäquates Prädiktivoperationsresultat zu erhalten.
12 zeigt ein Beispiel einer Konfiguration zum Erhalten des Prädiktivkoeffizientensatzes jeder Klasse (jedes Klassencodes) durch Lernen, der in der ROM-Tabelle 6 gespeichert wird. Bei diesem Konfigurationsbeispiel ist eine Konfiguration zur Herstellung eines Prädiktivkoeffizientensatzes für jede Klasse (jeden Klassencode) unter Benutzung von eine vorteilhafte Bildqualität aufweisenden SD-Bilddaten (oder HD-Bilddaten), die als Lehrersignal (Lernsignal) behandelt werden, gezeigt. Ein unten erläutertes Beispiel einer Konfiguration ist ein Beispiel zur Herstellung eines Prädiktivkoeffizientensatzes jeder Klasse, der mit dem Bildumformer von 1 dieser Ausführungsform korrespondiert.
Beispielsweise werden eine vorteilhafte Bildqualität aufweisende Bilddaten, die als Lehrersignal (Lernsignal) fungieren, in einen Normalgleichungsarbeitsabschnitt 27 und auch in ein Tiefpassfilter (TPF) 21 eingegeben. Das TPF 21 eliminiert die niedrigeren Frequenzkomponenten der eingegebenen Bilddaten, die als Lehrersignal (Lernsignal) fungieren, um die Bilddaten (Lernsignal), deren Bildqualität verschlechtert worden ist, herzustellen. Die Bilddaten (Lernsignal), deren Bildqualität verschlechtert worden ist, die aus dem TPF 21 ausgegeben werden, werden in den Bereichsausschneideabschnitt 22 zum Ausschneiden (Extrahieren) der Bilddaten des spezifizeirten Bereichs als einen Klassencode, einen Bereichsausschneideabschnitt 23 zum Ausschneiden (Extrahieren) der Bilddaten des spezifizierten Bereichs als einen Prädiktivabgriff und einen Merkmalsgrößenextrahierungsabschnitt 24 zum Extrahieren der Merkmalsgröße, welche die Unschärfegröße darstellt, eingegeben. Der Merkmalsgrößenextrahierungsabschnitt 24 extrahiert die Merkmalsgröße, welche die Unschärfegröße der Pixeldaten der eingegebenen Bilddaten (Lernsignal), deren Bildqualität verschlechtert worden ist, darstellt, und führt die extrahierte Merkmalsgröße dem Bereichsausschneideabschnitt 22, dem Bereichsausschneideabschnitt 23 und einem Klassencodeerzeugungsabschnitt 26 zu. Der Bereichsausschneideabschnitt 22 und der Bereichsausschneideabschnitt 23 ändern die Pixeldaten, die als ein Klassenabgriff oder ein Prädiktivabgriff ausgeschnitten werden, in Reaktion auf die eingegebene Merkmalsgröße, welche die Unschärfegröße darstellt, dynamisch.
Ein ADRC-Musterextrahierungsabschnitt 25 führt eine Klassifizierung (bestimmt die Klasse) der Pixeldaten, die als ein Klassenabgriff fungieren und die vom Bereichsausschneideabschnitt 22 eingegeben worden sind, aus und gibt das Resultat der Klassifizierung an einen Klassencodeerzeugungsabschnitt 26 aus. Der Klassencodeerzeugungsabschnitt 26 erzeugt den Klassencode aus der klassifizierten Klasse und der Merkmalsgröße, welche die Unschärfegröße darstellt, und gibt ihn an den Normalgleichungsabschnittabschnitt 27 aus. Die jeweiligen Konfigurationen und Operationen des Bereichsausschneideabschnitts 22, des Bereichsausschneideabschnitts 23, des Merkmalsgrößenextrahierungsabschnitts 24, des ADRC-Musterextrahierungsabschnitts 25 und des Klassencodeerzeugungsabschnitts 26, die oben erwähnt worden sind, sind zu denen des Bereichsausschneideabschnitts 1, des Bereichsausschneideabschnitts 2, des Merkmalsgrößenextrahierungsabschnitts 3, des ADRC-Musterextrahierungsabschnitts 4 und des Klassencodeerzeugungsabschnitts 6, die in 1 gezeigt sind, identisch, so dass ihre Erläuterung fortgelassen wird.
Der Normalgleichungsarbeitsabschnitt 27 stellt auf der Basis des eingegebenen Lehrersignals (Lernsignals) und der Pixeldaten, die als ein Prädiktivabgriff fungieren und die vom Bereichsausschneideabschnitt 23 zugeführt werden, für jede Klasse (jeden Klassencode) eine Normalgleichung her und führt dann die Normalgleichung einem Klassenprädiktivkoeffizientenbestimmungsabschnitt 28 zu. Wenn die notwendige Anzahl von Normalgleichungen für jede Klasse erhalten worden ist, werden die Normalgleichungen für jede Klasse unter Benutzung beispielsweise des Verfahrens der kleinsten Quadrate gelöst und wird der Prädiktivkoeffizientensatz jeder Klasse berechnet. Der gefundene Prädiktivkoeffizientensatz jeder Klasse wird vom Prädiktivkoeffizientenbestimmungsabschnitt 28 einem Speicher 29 zugeführt und im Speicher 29 gespeichert. Dieser Prädiktivkoeffizientensatz jeder Klasse, der im Speicher 29 gespeichert worden ist, würde in die ROM-Tabelle 6 von 1 geschrieben.
Bei der oben erwähnten Erläuterung wird der Prädiktivkoeffizientensatz für jede Klasse durch die in 12 gezeigte Konfiguration bearbeitet, jedoch kann er in der Praxis alternativ dazu durch Simulation unter Benutzung eines Computers bearbeitet werden.
Bei dieser Ausführungsform werden aus dem Prädiktivkoeffizientensatz jeder Klasse, der durch das in 12 gezeigte Verfahren berechnet worden ist und der in der in 1 gezeigten ROM-Tabelle 6 gespeichert worden ist, die Pixeldaten, deren Bildqualität verbessert worden ist (Unschärfe ist verringert worden) hergestellt, jedoch ist von uns nicht beabsichtigt, die vorliegende Erfindung darauf zu beschränken. Alternativ dazu kann ein Prädiktivwert der Pixeldaten jeder Klasse (jedes Klassencodes) selbst, der durch Lernen bearbeitet worden ist, in der ROM-Tabelle 6 gespeichert werden, und der Prädiktivwert kann durch den Klassencode gelesen werden. In diesem Fall ist es möglich, den in 1 gezeigten Bereichsausschneideabschnitt 2 und den in 12 gezeigten Bereichsausschneideabschnitt 23 fortzulassen, und der in 1 gezeigte Prädiktivoperationsabschnitt 7 wird so ausgebildet, dass er die Pixeldaten, die aus der ROM-Tabelle 6 ausgegeben worden sind, in das Format umformt, das mit der Ausgabeeinrichtung korrespondiert, und sie dann ausgibt. Nebenbei bemerkt wird in diesem Fall unter Benutzung eines Zwangsplatzierungsverfahrens (force placement method) anstelle des Normalgleichungsarbeitsabschnitts 27 und des Prädiktivkoefzientenbestimmungsabschnitts 28, die in 12 gezeigt sind, der Prädiktivwert jeder Klasse hergestellt und dann dieser Prädiktivwert jeder Klasse im Speicher 29 gespeichert. In diesem Fall wird bei dem in 1 gezeigten Prädiktivoperationsabschnitt 7 der Prädiktivwert vom Prädiktivwert, der auf Basis des Referenzwerts normiert worden ist, bearbeitet.
Nebenbei bemerkt ist bei dieser Ausführungsform die Anzahl der Pixeldaten, die als der Klassenabgriff oder der Prädiktivabgriff ausgeschnitten werden, in dem Fall, bei dem der Autokorrelationskoeffizient benutzt worden ist, gleich 5 oder in dem Fall, bei dem der Randcode gefunden wird, gleich 13, jedoch ist von uns nicht beabsichtigt, dass die vorliegende Erfindung darauf beschränkt ist. Die Anzahl der Pixeldaten, die als der Klassenabgriff oder der Prädiktivabgriff ausgeschnitten werden, kann jede beliebige Zahl sein. Je größer die Zahl ist, die als der Klassenabgriff oder der Prädiktivabgriff ausgeschnitten wird, desto höher wird der Grad von Verbesserung der Bildqualität, jedoch nimmt die Operationsmenge zu und wird ein großer Speicher erforderlich, und so wird zusätzliche Operationsmenge und zusätzliche Hardware groß. Deshalb ist es notwendig, die optimale Zahl einzustellen.
Nebenbei bemerkt sind bei dieser Ausführungsform eine Umformung eines SD-Bildsignals in ein SD-Bildsignal (SD-SD-Umformung) und eine Umformung eines HD-Bildsignals in eine HD-Bildsignal (HD-HD-Umformung) beschrieben worden, jedoch ist von uns nicht beabsichtigt, die vorliegende Erfindung darauf zu beschränken. Natürlich ist es möglich, die vorliegende Erfindung auf eine Umformung der Signale des anderen Formats (wie beispielsweise ein Verschachtelungssignal oder ein Nichtverschachtelungssignal) anzuwenden. Nebenbei bemerkt ist es möglich, die vorliegende Erfindung auf eine Umformung der Signale, deren Formate unterschiedlich sind, wie beispielsweise eine Umformung eines SD-Bildsignals in ein HD-Bildsignal (SD-HD-Umformung) und eine Umformung eines Verschachtelungssignals in eine Nichtverschachtelungssignal (Verschachtelungs-Nichtverschachtelungs-Umformung) anzuwenden. Jedoch existiert in diesem Fall in der Praxis zum Zeitpunkt eines Ausschneiden der Bilddaten als einen Klassenabgriff oder einen Prädiktivabgriff ein Pixel, welches das Pixel wird, dem Aufmerksamkeit gegeben wird, nicht, so dass es nicht die Objektpixeldaten zum Ausschneiden wird.
Wie oben dargelegt wird entsprechend dem Bildumformer und dem Bildumformungsverfahren der vorliegenden Erfindung ein Ausschneiden eines Klassenabgriffs oder eines Prädiktivabgriffs in Reaktion auf die Merkmalgröße, welche die Unschärfegröße der eingegebenen Bilddaten darstellt, gesteuert, und deshalb ist es, selbst wenn die Bildqualität der eingegebenen Bilddaten schlecht ist, möglich, die optimalen Pixeldaten als einen Klassenabgriff oder einen Prädiktivabgriff zu extrahieren und eine adäquate Prädiktionsverarbeitung auszuführen.
Industrielle Anwendbarkeit
Die vorliegende Erfindung kann zum Zuführen eines die korrigierte oder verbesserte Bildqualität aufweisenden Bildsignals zum Zeitpunkt, bei dem das eingegebene Bildsignal in ein Bildsignal des gleichen Formats oder des anderen Formats umzuformen ist, und die Qualität eines Bilds der eingegebenen Bilddaten schlecht ist, angewendet werden.

1, 2: Bereichsausschneideabschnitt
3: Merkmalsgroßenextrahierungsabschnitt
4: ADRC-Musterextrahierungsabschnitt
5: Klassencodeerzeugungsabschnitt
6: ROM-Tabelle
7: Prädiktivoperationsabschnitt

Claims

Bildumformer zur Umformung eines ersten Bildsignals, das aus mehreren Pixeldaten zusammengesetzt ist, in zweite Bilddaten, die aus mehreren Pixeldaten zusammengesetzt sind, aufweisend: eine Pixelextrahierungsschaltung (1, 2) zum Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Klassenabgriff, eine Klassifikationsschaltung (4, 5) zum Klassifizieren des Klassenabgriffs zur Erzeugung eines Klassencodes, der die Klasse des Klassenabgriffs darstellt, wobei die Klassifikationsschaltung (4, 5) zur Erzeugung des Klassencodes eine Schaltung (4) zum Kombinieren der binären Beschreibungen mit einem reduzierten Dynamikbereich der Pixel des Klassenabgriffs zu einem Datenwort und eine Schaltung (5) zum Kombinieren des einen Datenworts mit einer Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, aufweist, eine Herstellungsschaltung (7) zur Ableitung des zweiten Bildsignals vom ersten Bildsignal entsprechend Prädiktionsdaten, eine Erzeugungsschaltung (6) zur Erzeugung der Prädiktionsdaten entsprechend dem Klassencode und eine Schaltung (3) zur Herstellung der Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, und zur Steuerung der Pixelextrahierungsoperation der Pixelextrahierungsschaltung entsprechend der Unschärfegröße, wobei die Schaltung zur Herstellung der Unschärfegröße (3) betriebsfähig ist zu einer Verschiebung der Pixeldaten im Bildsignal, um Autokorrelationskoeffizienten zu berechnen, die mit jeweiligen verschobenen Positionen korrespondieren, und zur Herstellung der Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt, wobei der Autokorrelationskoeffizient als eine Skala behandelt wird, die den Grad von Unschärfe des Bilds darstellt.
Bildumformer nach Anspruch 1, wobei das zweite Bildsignal ein Signal ist, das im Vergleich mit dem ersten Bildsignal eine verbesserte Bildqualität aufweist.
Bildumformer nach Anspruch 1, wobei das erste Bildsignal und das zweite Bildsignal Bildsignale des gleichen Formats sind.
Bildumformer nach Anspruch 1, wobei die Erzeugungseinrichtung (6) einen Speicher zum Speichern von Prädiktionsdaten aufweist, die für jede Klasse vorher durch Lernen durch die Benutzung des Lernsignals, dessen Bildqualität günstig ist, hergestellt worden sind, und wobei der Speicher (6) betriebsfähig ist zum Ausgeben der Prädiktionsdaten entsprechend dem Klassencode, wobei der Speicher zum Empfang des Klassencodes als eine Adresse eingerichtet ist.
Bildumformer nach Anspruch 1, außerdem aufweisend: eine Prädiktivabgriffs-Extrahierungsschaltung (2) zum Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Prädiktivabgriff, wobei die Erzeugungsschaltung (6) betriebsfähig ist zur Erzeugung eines Satzes der Prädiktionskoeffizienten, die mit den Klassencodes korrespondieren, und die Herstellungsschaltung (7) betriebsfähig ist zur Ausführung einer Prädiktivoperation, die den von der Prädiktivabgriffs-Extrahierungsschaltung (2) extrahierten Prädiktivabgriff und den von der Erzeugungsschaltung (6) ausgegebenen Prädiktionskoeffizientensatz benutzt und dadurch das zweite Bildsignal ausgibt.
Bildumformer nach Anspruch 5, wobei die Erzeugungsschaltung (6) einen Speicher zum Speichern eines Satzes der Prädiktionskoeffizienten, die für jede Klasse vorher durch Lernen durch die Benutzung des Lernsignals, dessen Bildqualität günstig ist, hergestellt worden sind, aufweist, und wobei der Speicher betriebsfähig ist zur Ausgabe des Satzes der Prädiktionskoeffizienten entsprechend den Klassencodes, wobei der Speicher zum Empfang der Klassencodes als Adressen eingerichtet ist.
Bildumformer nach Anspruch 1, wobei die Klassifikationsschaltung (4, 5) betriebsfähig ist zum Klassifizieren des Klassenabgriffs und dadurch Erzeugen des Klassencodes, der aus einem ersten Klassencode, der die Klasse darstellt, und einem zweiten Klassencode, der die den Grad von Unschärfe des Bilds darstellende Unschärfegröße darstellt, zusammengesetzt ist.
Bildumformer nach Anspruch 1, wobei die Schaltung zur Herstellung der Unschärfegröße (3) betriebsfähig ist zur Bestimmung des Autokorrelationskoeffizienten, der mit einem Referenzwert korrespondiert, und zur Ausgabe der mit dem bestimmten Autokorrelationskoeffizienten korrespondierenden Verschiebungsgröße der Pixeldaten als die Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt.
Bildumformungsverfahren zur Umformung eines ersten Bildsignals, das aus mehreren Pixeldaten zusammengesetzt ist, in zweite Bilddaten, die aus mehreren Pixeldaten zusammengesetzt sind, wobei das Verfahren die Schritte aufweist: Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Klassenabgriff, Klassifizieren des Klassenabgriffs zum Erzeugen eines eine Klasse von Pixeln darstellenden Klassencodes durch Kombinieren der binären Beschreibungen mit einem reduzierten Dynamikbereich der Pixel des Klassenabgriffs zu einem Datenwort und Kombinieren des einen Datenworts mit einer Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, Ableiten des zweiten Bildsignals für das erste Signal entsprechend Prädiktionsdaten, Erzeugen der Prädiktionsdaten entsprechend dem Klassencode, Herstellen der Unschärfegröße, die den Grad von Unschärfe des Bilds des ersten Bildsignals darstellt, durch Verschieben der Pixeldaten im Bildsignal, um Autokorrelationskoeffizienten zu berechnen, die mit jeweiligen verschobenen Positionen korrespondieren, und Detektieren der Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt, und Behandeln des Autokorrelationskoeffizienten als eine Skala, die den Grad von Unschärfe des Bilds darstellt, und Steuern der Pixelextrahierungsoperation des Pixelextrahierungsschritts entsprechend der Unschärfegröße.
Bildumformungsverfahren nach Anspruch 9, wobei das zweite Bildsignal ein Signal ist, das im Vergleich mit dem ersten Bildsignal eine verbesserte Bildqualität aufweist.
Bildumformungsverfahren nach Anspruch 9, wobei das erste Bildsignal und das zweite Bildsignal Bildsignale des gleichen Formats sind.
Bildumformungsverfahren nach Anspruch 9, wobei der Prädiktionsdatenerzeugungsschritt Prädiktionsdaten ausgibt, die für jede Klasse vorher durch Lernen durch die Benutzung eines eine günstige Bildqualität aufweisenden Lernsignals erzeugt worden sind und die in einem Speicher (6) gespeichert worden sind, wobei die Klassencodes den Speicher (6) adressieren.
Bildumformungsverfahren nach Anspruch 9, außerdem aufweisend einen Schritt zum Extrahieren einer Gruppe von Pixeln aus den ersten Bilddaten als einen Prädiktionsabgriff, wobei der Prädiktionsdatenerzeugungsschritt einen Satz der Prädiktionskoeffizienten, die mit den Klassencodes korrespondieren, erzeugt, und der zweite Bildsignalausgabeschritt eine Prädiktivoperation unter Benutzung des Prädiktivabgriffs und des Prädiktionskoeffizientensatzes ausführt und dadurch das zweite Bildsignal ausgibt.
Bildumformungsverfahren nach Anspruch 13, wobei der Prädiktionskoeffizientensatzerzeugungsschritt den Prädiktionskoeffizientensatz, der für jede Klasse vorher durch Lernen durch die Benutzung eines eine günstige Bildqualität aufweisenden Lernsignals erzeugt worden ist und der in einem Speicher (6) gespeichert worden ist, ausgibt, wobei der Klassencode den Speicher adressiert.
Bildumformungsverfahren nach Anspruch 9, wobei der Klassencodeerzeugungsschritt den Klassenabgriff klassifiziert und dadurch einen Klassencode erzeugt, der aus einem ersten Klassencode, der die Klasse darstellt, und einem zweiten Klassencode, der die den Grad von Unschärfe des Bilds darstellende Unschärfegröße darstellt, zusammengesetzt ist.
Bildumformungsverfahren nach Anspruch 9, wobei der Unschärfegrößendetektierungsschritt den Autokorrelationskoeffizienten, der mit einem Referenzwert korrespondiert, bestimmt und die Verschiebegröße der Pixeldaten, die mit dem bestimmten Autokorrelationskoeffizienten korrespondiert, als die Unschärfegröße, die den Grad von Unschärfe des Bilds darstellt, ausgibt.