Connect public, paid and private patent data with Google Patents Public Datasets

Verfahren zur mischung von bildern und vorrichtung hierzu.

Info

Publication number
DE69333846T2
DE69333846T2 DE1993633846 DE69333846T DE69333846T2 DE 69333846 T2 DE69333846 T2 DE 69333846T2 DE 1993633846 DE1993633846 DE 1993633846 DE 69333846 T DE69333846 T DE 69333846T DE 69333846 T2 DE69333846 T2 DE 69333846T2
Authority
DE
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1993633846
Other languages
English (en)
Other versions
DE69333846D1 (de )
Inventor
Jeffrey Peter BURT
Rajesh Hingorani
Raymond Kolcynski
DER WAL Siemem Gooitzen VAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sarnoff Corp
Original Assignee
Sarnoff Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/50Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image by the use of more than one image, e.g. averaging, subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Description

  • [0001]
    Die Erfindung betrifft ein Verfahren zum Verschmelzen von zwei oder mehreren Quellbildern, um ein zusammengesetztes Bild mit erweitertem Informationsinhalt zu bilden, und eine Vorrichtung für das Bilden des zusammengesetzten Bildes aus den Quellbildern.
  • Technischer Hintergrund der Erfindung
  • [0002]
    Die Bildverschmelzung ist ein Prozeß, der zwei oder mehrere Quellbilder kombiniert, um ein einzelnes zusammengesetztes Bild mit erweitertem Informationsinhalt zu bilden. Typischerweise werden Bilder von unterschiedlichen Sensoren, wie zum Beispiel Infrarotkameras und Kameras für sichtbares Licht, computerunterstützte Tomographie (CAT) und Magnetresonanzabbildungssysteme (MRI), kombiniert, um das zusammengesetzte Bild zu bilden. Mehrere Bilder einer gegebenen Szene, aufgenommen mit unterschiedlichen Sensortypen, wie zum Beispiel Infrarotkameras und Kameras für sichtbares Licht, oder Bilder, die mit einem gegebenen Sensortyp aufgenommen sind, und Szenen mit unterschiedlichen Abbildungsbedingungen, zum Beispiel mit einer anderen Szenenbeleuchtung oder mit einem anderem Kamerafokus, können kombiniert werden. Die Bildverschmelzung ist erfolgreich in dem Ausmaß, daß: (1) das zusammengesetzte Bild alle nützlichen Informationen von den Quellbildern beibehält, (2) das zusammengesetzte Bild keinerlei Artefakte, die durch den Verschmelzungsprozeß erzeugt werden, enthält, und (3) das zusammensetzte Bild natürlich aussieht, so daß es leicht über die normale visuelle Aufnahme durch Menschen oder Maschinen interpretiert werden kann. Der Term nützliche Information, wie er durch den Benutzer des zusammengesetzten Bildes bestimmt wird, festgelegt, welche Merkmale der unterschiedlichen Quellbilder für die Aufnahme in dem zusammengesetzten Bild ausgewählt werden.
  • [0003]
    Der direkteste Ansatz der Verschmelzung, der im Stand der Technik bekannt ist, ist es, die Quellbilder zueinander auszurichten, dann die Bilder an jeder Pixelposition zu summieren oder zu mitteln. Dieser und andere pixelbasierte Ansätze führen häufig zu nicht zufriedenstellenden Ergebnissen, da einzelne Quellmerkmale in der Zusammensetzung mit reduziertem Kontrast erscheinen oder sie erscheinen ungeordnet wie in einer fotografischen Doppelbelichtung.
  • [0004]
    Die bekannte musterselektive Bildverschmelzung versucht, diese Nachteile durch Identifizieren von herausragenden Merkmalen in den Quellbildern und Beibehalten dieser Merkmale in dem zusammengesetzten Bild bei vollem Kontrast zu überwinden. Jedes Quellbild wird als erstes in einen Satz von primitiven Musterelementen zerlegt. Ein Satz von Musterelementen für das zusammengesetzte Bild wird dann zusammengesetzt durch Auswählen von herausragenden Mustern aus den primitiven Musterelementen der Quellbilder. Schließlich wird das zusammengesetzte Bild konstruiert aus seinem Satz von primitiven Musterelementen.
  • [0005]
    Burt in Multiresolution Image Processing And Analysis, Band 16, Seiten 20–51, 1981 (im folgenden „Burt" genannt) und Anderson et al. in US-Patent Nr. 4,692,806, die hier durch Bezug nahme für ihre Lehren über Bildzerlegungstechniken aufgenommen werden, haben eine Bildzerlegungstechnik beschrieben, in der ein ursprünglich vergleichsweise hochauflösendes Bild, das eine erste Anzahl von Pixeln aufweist, verarbeitet wird, um ein niedrig auflösendes Bild mit breitem Ansichtsfeld, das eine zweite Anzahl von Pixeln, die kleiner als die erstgegebene Anzahl ist, abzuleiten. Der Prozeß für die Zerlegung des Bildes, um Bilder niedriger Auflösung zu erzeugen, wird typischerweise durchgeführt unter Verwendung einer Mehrzahl von Tiefpaßfiltern von unterschiedlicher Bandbreite mit einer Gaußdämptung. Das US-Patent Nr. 4,703,514, das hier durch Bezugnahme aufgenommen wird, hat eine Einrichtung für das Implementieren des Pyramidenprozesses für die Analyse von Bildern beschrieben.
  • [0006]
    Der Laplace-Pyramidenansatz für die Bildverschmelzung ist vielleicht das bekannteste musterselektive Verfahren. Burt beschrieb als erster die Verwendung von Bildverschmelzungstechniken, basierend auf der Laplace-Pyramide für die binokulare Fusion im menschlichen Sehvermögen. Das US-Patent Nr. 4,661,986 beschreibt die Verwendung der Laplace-Technik für die Konstruktion eines Bildes mit einer erweiterten Feldtiefe aus einem Satz von Bildern, die mit fester Kamera, jedoch mit unterschiedlicher Fokuseinstellung aufgenommen wurden. A. Toet in Machine Vision and Applications, Band 3, Seiten 1–11 (1990) hat eine modifizierte Laplace-Pyramide beschrieben, die verwendet wurde, um sichtbare und IR-Bilder für Überwachungsanwendungen zu kombinieren. Kürzlich hat M. Pavel et al. in Proceedings of the AIAA Conference on Computing in Aerospace, Band 8, Baltimore, Oktober 1991 eine Laplace-Pyramide für das Kombinieren eines Kamerabildes mit grafisch erzeugten Bildern als eine Hilfe für die Flugzeuglandung beschrieben. Burt et al. haben in ACM Trans. on Graphics, Band 2, Seiten 217–236 (1983) und in den Proceeding of SPIE, Band 575, Seiten 173–181 (1985) in Bezug stehende Laplace-Pyramidentechniken entwickelt, um Bilder in Mosaiken für eine Vielzahl von Anwendungen zu mischen.
  • [0007]
    Im Ergebnis wird eine Laplace-Transformation verwendet, um jedes Quellbild in regelmäßiger Anordnung von gaußartigen Basisfunktionen vielerlei Größe zu zerlegen. Diese Muster werden manchmal als Basisfunktionen der Pyramidentransformation oder als Wavelets bezeichnet. Die Mehrfachauflösungspyramide der Quellbilder erlaubt es, daß grobe Merkmale mit niedriger Auflösung analysiert werden und feine Merkmale mit hoher Auflösung analysiert werden. Jeder Abfragewert einer Pyramide stellt die Amplitude dar, die mit einer entsprechenden Basisfunktion verknüpft ist. In dem Laplace-Pyramidenansatz für die Verschmelzung, der oben zitiert ist, wählt der Kombinationsprozeß das hervorstechendste der Muster aus den Quellbildern für die Aufnahme in dem verschmolzenen Bild aus. Die Quellpyramiden werden kombiniert durch die Auswahl auf einer Abfrage per Abfrage Basis, um eine zusammengesetzte Pyramide zu bilden. Die gegenwärtige Praxis ist es, eine „wähle-Maximum-Regel" in dieser Auswahl zu verwenden, d.h. an jedem Abfrageort in dem Pyramidenquellbild wird die Quellbildabfrage mit dem größten Wert kopiert, um die entsprechende Abfrage in der zusammengesetzten Pyramide zu werden. Falls an einem gegebenen Abfrageort, falls es andere Quellbildabfragen gibt, die gerade denselben Wert wie die Abfrage mit den größten Werten hat, können diese gemittelt werden, um die entsprechende Abfrage der zusammengesetzten Pyramide zu erhalten. Schließlich wird das zusammengesetzte Bild aus der zusammengesetzten Pyramide über eine inverse Laplace-Transformation erhalten. Als Beispiel entsprechen in dem Ansatz, der im US-Patent Nr. 4,661,986 beschrieben ist, die jeweiligen Quellbildabfragen mit dem größten Wert, die auf jeder Pyramidenebene kopiert werden, den Abfragen der Quellbilder, die näher im Fokus sind.
  • [0008]
    In dem Fall der Laplace-Transformation nehmen die Komponentenmuster die Form von kreisförmigen, symmetrischen, gaußartigen Intensitätsfunktionen an. Komponentenmuster einer gegebenen Skalierung neigen dazu, eine große Amplitude zu haben, wo es deutliche Merkmale in dem Bild von etwa dieser Skalierung gibt. Die meisten Bildmuster können als aufgebaut aus kantenartigen Grundelementen beschrieben werden. Die Kanten werden wiederum innerhalb der Pyramide durch eine Sammlung von Komponentenmustern dargestellt.
  • [0009]
    Während die Laplace-Pyramidentechnik als gute Ergebnisse liefernd angesehen wird, werden manchmal sichtbare Artefakte in das zusammengesetzte Bild eingeführt. Dies kann beispielsweise entlang ausgedehnter Konturen in der Szene aufgrund der Tatsache erfolgen, daß solche Muster höheren Grades in der Laplace-Pyramide eher indirekt dargestellt werden. Eine Intensitätskante wird in der Laplace-Pyramide durch Gaußmuster in allen Skalierungen mit positiven Werten auf der helleren Seite der Kante, negativen Werten auf der dunkleren Seite und Null an dem Ort der Kante selbst dargestellt. Wenn nicht alle dieser Grundelemente den Auswahlprozeß überleben, wird die Kontur nicht vollständig in dem zusammengesetzten Bild dargestellt. Ein zusätzlicher Nachteil liegt in der Tatsache, daß die gaußartigen Komponentenmuster Mittelwerte ungleich Null haben. Fehler in dem Auswahlprozeß führen zu Veränderungen in der durchschnittlichen Bildintensität innerhalb lokaler Bereiche einer Szene. Diese Artefakte sind insbesondere bemerkbar, wenn Abfolgen von zusammengesetzten oder verschmolzenen Bildern angezeigt werden. Der Auswahlprozeß ist intrinsisch binär, die Basisfunktion wird von dem einen oder dem anderen Quellbild ausgewählt. Falls die Größen der Basisfunktionen variieren, beispielsweise aufgrund von Rauschen in dem Bild oder aufgrund Sensorbewegung, kann der Auswahlprozeß alternativ die Basisfunktionen von anderen Quellbildern auswählen. Dies führt zu übermäßig bemerkbaren Artefakten, wie zum Beispiel Flackern und Raupen.
  • [0010]
    Weiterhin, da der Stand der Technik Farbe in der Ableitung des verschmolzenen, zusammengesetzten Bildes selbst einsetzen kann, gibt es keine Möglichkeit im Stand der Technik die Identität der Quellbilder, die zu einer bestimmten angezeigten Information in einem verschmolzenen, zusammengesetzten Bild beigetragen hat, beizubehalten. Beispielsweise kann ein Beobachter in einer Überwachungsanwendung wissen wollen, ob die Quelle eines hellen Merkmals, das er in dem zusammengesetzten Bild sieht, von einem Infrarotkameraquellbild kommt, somit ein heißes Objekt darstellt, oder von einer Kameraquelle für sichtbares Bild stammt, somit ein hellfarbiges oder stark beleuchtetes Objekt darstellt.
  • [0011]
    Es besteht somit eine Notwendigkeit für verbesserte Verfahren der Bildverschmelzung (zusätzlich zu den Verfahren des Standes der Technik entweder des Mittelns oder der „wähle-Maximum-Regel"-Auswahl und die Verwendung von Farbe), welche die Nachteile des Standes der Technik überwindet und eine bessere Bildqualität und/oder Ausprägung für den Benutzer in einem zu sammengesetzten Bild, das durch den Bildverschmelzungsprozeß gebildet wird, insbesondere, dann, wenn Abfolgen von zusammengesetzten Bildern angezeigt werden, bereitstellt.
  • [0012]
    Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bilden eines zusammengesetzten Bildes Ixc aus N Quellbildern In zur Verfügung gestellt, wobei n = 1 bis N und N größer als eins ist, wobei das Verfahren die Schritte aufweist:
    • (a) Zerlegen jedes Quellbildes In in eine Mehrzahl L von Sätzen aus orientierten Komponentenmustern Pn(m,l) unter Verwendung einer Mehrzahl von orientierten Funktionen, wobei m die Anzahl von Mustern in jedem der L Sätze für das n-te Quellbild ist und l = 1 bis L und die Orientierung der orientierten Muster anzeigt,
    • (b) Berechnen eines Ausprägungsmaßes Sn(m, l) für jedes orientierte Muster Pn(m,l),
    • (c) Berechnen eines Satzes von orientierten Komponentenmustern Pn(m, l) des zusammengesetzten Bildes Ic aus den orientierten Komponentenmustersätzen Pn(m,l) und den Ausprägungsmaßen Sn(m,l) für jedes der orientierten Komponentenmuster, und
    • (d) Erstellen des zusammengesetzten Bildes Ic aus dem Satz von berechneten, orientierten Komponentenmustern Pc(m,l).
  • [0013]
    Gemäß einem anderen Aspekt der vorliegenden Erfindung wird eine Vorrichtung für das Bilden eines zusammengesetzten Bildes Ic aus einer Mehrzahl von N Quellbildern In bereitgestellt, wobei n = 1 bis N und N größer als eins ist, wobei die Vorrichtung aufweist:
    eine Einrichtung für das Zerlegen jedes Quellbildes In in eine Mehrzahl von L Sätzen von orientierten Komponentenmustern Pn(m,l) unter Verwendung einer Mehrzahl von orientierten Funktionen, wobei m die Anzahl von Mustern in jedem der l Sätze für das n-te Quellbild ist und 1 = 1 bis L und die Orientierung der orientierten Muster anzeigt,
    eine Einrichtung für das Berechnen eines Ausprägungsmaßes Sn(m,l) für jedes orientierte Komponentenmuster Pn(m,l), das mit der Zerlegungseinrichtung verbunden ist,
    eine Einrichtung für das Berechnen aus den orientierten Komponentenmustersätzen Pn(m,l) und den Ausprägungsmaßen Sn(m,l) für jedes der orientierten Komponentenmuster eines Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic und
    eine Einrichtung für das Konstruieren des zusammengesetzten Bildes Ic aus dem Satz von berechneten orientierten Komponentenmustern Pc(m,l).
  • [0014]
    1 ist ein Flußdiagramm, das ein Verfahren des Standes der Technik für die musterbasierte Bildverschmelzung zeigt.
  • [0015]
    2 stellt schematisch ein Verfahren für das Bilden der Gauß- und Laplace-Pyramiden dar.
  • [0016]
    3 stellt schematisch ein Verfahren zum Rekonstruieren des ursprünglichen Bildes aus der Laplace-Pyramide dar.
  • [0017]
    4 stellt schematisch ein Verfahren für die musterbasierte Bildverschmelzung der Erfindung dar.
  • [0018]
    4(a) stellt schematisch ein Verfahren für die musterbasierte Bildverschmelzung unter Verwendung sowohl der Ausprägung als auch der Übereinstimmung dar.
  • [0019]
    5 stellt die Implementierung des Verfahrens der Erfindung in Echtzeit-Digitalbildverarbeitungshardware dar.
  • [0020]
    6 ist ein schematisches Schaltdiagramm der Schaltkreise P5 und P6.
  • [0021]
    7 ist ein schematisches Schaltdiagramm des Schaltkreises P7.
  • [0022]
    8(a), (c), (d) und (e) sind schematische Diagramme von unterschiedlichen Schaltkreisen, welche die Gewichtungsfunktion implementieren.
  • [0023]
    8(b) ist eine grafische Darstellung einer bestimmten Gewichtungsfunktion.
  • [0024]
    9 ist ein Taktdiagramm, das anzeigt, wann die verschiedenen Bilder und Pyramidenniveaus in einem System mit I/O-Framespeichem unter Annahme einer Interlace I/O berechnet werden können.
  • [0025]
    10(a) ist eine Fotografie eines Quellbildes von einer Standardkamera für sichtbares Licht.
  • [0026]
    10(b) ist eine Fotografie eines Quellbildes von einer Infrarotkamera.
  • [0027]
    10(c) ist eine Fotografie des verschmolzenen Bildes, das unter Verwendung des Verfahrens der Erfindung erhalten wurde.
  • [0028]
    11 ist ein Blockdiagramm einer anschaulichen Ausführungsform, die zwei getrennte monochromatische Quellbilder in ein verschmolzenes, zusammengesetztes Farbbild umwandelt.
  • [0029]
    12 ist ein Blockdiagramm, das schematisch ein Beispiel des Verschmelzungsprozesses, der in 11 gezeigt ist, darstellt.
  • Detaillierte Beschreibung
  • [0030]
    Ein Flußdiagramm für eine musterbasierte Bildverschmelzung des Standes der Technik ist in 1 gezeigt. Es wird angenommen, daß die Quellbilder vor der Vornahme der Verschmelzungsschritte ausgerichtet werden. Das Verschmelzungsverfahren weist die Schritte des Transformierens jedes Quellbildes In in eine merkmalsbasierte Darstellung auf, wobei jedes Bild In in einen Satz von Komponentenmustern Pn (m) zerlegt wird, wobei n = 1, 2,..., N die Anzahl der Quellbilder ist und m = 1, 2,..., M die Anzahl von Mustern in dem Satz für das n-te Quellbild ist. Merkmale von den Quellbildern werden kombiniert, um einen Satz von Komponentenmustern Pc(m) zu bilden, die das zusammengesetzte Bild repräsentieren, das aus Mustern in den Quellbildmustersätzen zusammengesetzt ist. Das zusammengesetzte Bild Ic wird dann aus seinen Komponentenmustern Pc(m) konstruiert.
  • [0031]
    Das Laplace-Pyramidenverfahren für die Bildverschmelzung kann in diesem Rahmen beschrieben werden. Das Durchführen der Laplace-Transformation dient dazu, jedes Quellbild in einen Satz von näherungsweise zirkularen, symmetrischen, gaußartigen Komponentenmustern zu zerlegen. Die Pyramide ist eine regelmäßige Zerlegung in einen festen Satz von Komponenten. Dieser Satz besteht aus Mustern bei unterschiedlichen Skalierungen, die durch die Pyramidenniveaus dargestellt werden, und unterschiedlichen Positionen in den Bildern, die durch die Abfragepositionen innerhalb der Pyramidenniveaus dargestellt werden. Es sei Ln(i, j. k) der Laplace-Wert an dem Ort (i, j) in dem Pyramidenniveau K für das Bild n. Dieser Wert stellt die Amplitude eines entsprechenden Komponentenmusters Pn(i, j. k) dar, die eine gaußartige Funktion ist.
  • [0032]
    Ein Flußdiagramm für das Erzeugen der Gauß- und Laplace-Pyramiden eines Quellbildes ist in 2 gezeigt. Die Gaußfunktion G(0) ist das Quellbild. Die Gaußfunktion G(0) wird dann durch F1 gefiltert, einen Tiefpaßfilter mit einem Gauß-Rolloff und subgesampelt durch F2, um jedes zweite Pixel in jeder Reihe und jede zweite Reihe zu entfernen, um die Gaußfunktion G(1) des ersten Grades zu bilden. Die unteren Niveaus bzw. Grade der Gaußfunktionen G(n) werden sukzessiv in der gleichen Art und Weise gebildet. Die Laplace-Funktion Ln. die der Gaußfunktion an jedem Niveau der Pyramide entspricht, wird durch Rückspeichern der untergesampelten Daten auf das nächsttiefere Niveau der Gauß-Pyramide (durch Einfügen von nullwertigen Abfragen zwischen den gegebenen Abfragen F2' und dann Anlegen eines Interpolationsfilters F1') und Abziehen von der Gaußfunktion des gegebenen Niveaus gebildet. Die Laplace-Funktion, die auf diese Art und Weise gebildet wird, ist als Reduzier-Erweiterungs-Laplace-Funktion (RE) bekannt. Alternativ dazu kann die Laplace-Funktion ohne das Subsampling und die Re-Interpolation gebildet werden, wie durch die gepunktete Linie in 2 gezeigt. Dies wird Filtersubtraktionsdezimierungs-Laplace (FSD) genannt. In 3 ist ein Verfahren für das Rekonstruieren eines Bildes aus der Laplace-Pyramide dargestellt. In diesem Verfahren werden die Laplace-Werte interpoliert und summiert, um das ursprüngliche Bild (d.h. die inverse RE-Laplace-Pyramidentransformation) zu reproduzieren.
  • [0033]
    Der Schritt des Kombinierens der Komponentenmuster (1) verwendet die wähle-Maximum-Regel, d.h., die Pyramide, die für das zusammengesetzte Bild konstruiert wurde, wird auf eine Abfrage per Abfrage Basis aus den Quellbild Laplace-Werten gebildet: Lc(i, j. k) = max [L1(l, j. k), L2(l, j, k),...,LN(i. j. k)]wobei die Funktion max [] den Wert desjenigen Arguments, das den größeren Absolutwert hat, auswählt. Das zusammengesetzte Bild Ic wird aus seiner Laplace-Pyramidendarstellung Pc über eine inverse Pyramidentransformation, wie zum Beispiel diejenige die von Burt und in US-Patent Nr. 4,692,806 beschrieben wurde, wiederhergestellt.
  • [0034]
    Eine Ausführungsform eines Verfahrens in Übereinstimmung mit der Erfindung für das Bilden eines zusammengesetzten Bildes aus einer Mehrzahl von Quellbildern, wie in 4 gezeigt ist, weist die Schritte des Transformierens der Quellbilder in eine merkmalsbasierte Darstellung durch Zerlegen jedes Quellbildes In in einen Satz von Komponentenmustern Pn(m) unter Verwendung einer Mehrzahl von orientierten Funktionen, Berechnen eines Ausprägungsmaßes für jedes Komponentenmuster, Kombinieren der Ausprägungsmuster von den Quellbildern durch Zusammensetzen von Mustern von den Quellbildmustersätren Pn(m), geführt durch Ausprägungsmaße Sn(m), die mit den verschiedenen Quellbildern verknüpft sind und Konstruieren des zusammengesetzten Bildes Ic über eine inverse Transformation aus ihren Komponentenmustern Pc(m) auf. Ein Ausprägungsabschätzungsprozeß wird individuell an jeden Satz von Komponentenmustern Pn(m) angelegt, um ein Ausprägungsmaß Sn(m) für jedes Muster zu bestimmen. Im allgemeinen kann die Ausprägung direkt auf Bilddaten In und/oder auf der Komponentenmusterdarstellung Pn(m) basieren und/oder kann die Informationen von anderen Quellen in Betracht ziehen. Die Ausprägungsmaße kön nen wahrnehmbare Unterscheidbarkeit von Merkmalen in den Quellbildern betreffen oder andere Kriterien, die spezifisch für die Anwendung sind, für welche die Verschmelzung durchgeführt wird (zum Beispiel interessierende Ziele in der Überwachung).
  • [0035]
    Die Erfindung ist ein musterselektives Verfahren der Bildfusion, basierend auf der Verwendung von orientierten Funktionen (Komponentenmustern), um das Bild darzustellen, und vorzugsweise einen orientierter Pyramidenansatz, der die Nachteile im Stand der Technik überwindet und eine signifikant verbesserte Leistung bereitstellt. Jedes Quellbild wird vorzugsweise in eine Mehrzahl von Bildern I unterschiedlicher Auflösung (die Pyramide aus Bildern) zerlegt und dann wird jedes dieser Bilder in eine Mehrzahl von Sätzen von orientierten Komponentenmustern zerlegt. Die orientierten Komponentenmuster sind vorzugsweise kantenartige Musterelemente vieler Skalierungen und Onentierungen unter Verwendung der orientierten Pyramide. Die Verwendung der orientierten Pyramide verbessert die Beibehaltung der kantenartigen Quellbildmuster in dem zusammengesetzten Bild. Eine Pyramide wird verwendet, die Komponentenmuster mit einem Durchschnittswert von Null (oder nahe Null) hat. Dies stellt sicher, daß Artefakte aufgrund von falschem Einschluß oder Ausschluß von Komponentenmustern nicht übermäßig sichtbar sind. Komponentenmuster werden vorzugsweise über einen gewichteten Durchschnitt kombiniert, anstatt durch einen einfachen Auswahlprozeß. Das herausragendste dieser Muster wird für den Einschluß in das zusammengesetzte Bild bei jeder Skalierung und Orientierung ausgewählt. Eine lokale Ausprägungsanalyse, bei der Ausprägung auf der lokalen Kantenenergie (oder einem anderen aufgabenspezifischen Maß) in den Quellbildern basiert werden kann, wird auf jedem Quellbild durchgeführt, um die Gewichte, die in der Komponentenkombination verwendet werden, zu bestimmen. Die Auswahl basiert auf den Ausprägungsmaßen Sn(m) das fusionierte Bild Ic wird aus Pc über eine inverse Pyramidentransformation wiedererlangt.
  • [0036]
    Dieser Ansatz vermeidet Artefakte, die bei der pixelbasierten Fusion und bei der musterselektiven Fusion innerhalb einer Laplace-Pyramide beobachtet wurden. Die Gewichte werden als eine nicht-lineare Sigmoidalfunktion der Ausprägungsmaße erhalten. Die Bildfusion unter Verwendung der Gradientenpyramide wurde als ausgezeichnete Ergebnisse liefernd erkannt, selbst dort, wo die Bildfusion, basierend auf der Laplace-Pyramide, Artefakte einfügte.
  • [0037]
    Ein alternatives Verfahren der Erfindung berechnet ein Übereinstimmungsmaß Mn1, n2 (m. l) zwischen jedem Paar aus Bildern, das durch deren Komponentenmuster Pn1(m,l) und Pn2(m,l) dargestellt wird. Diese Übereinstimmungsmaße werden zusätzlich zu den Ausprägungsmaßen Sn(m,l) bei der Bildung des Satzes von Komponentenmustern Pc(m,l) des zusammengesetzten Bildes verwendet. Dieses Verfahren kann genauso verwendet werden, wenn die Quellbilder in Laplace-Komponentenmuster, die nicht orientiert sind (L = 1), zerlegt werden.
  • [0038]
    Verschiedene bekannte orientierte Bildtransformationen erfüllen die Anforderung, daß die Komponentenmuster orientiert sind und im Durchschnitt Null sind. Die Gradientenpyramide hat Basisfunktionen von vielerlei Größen, jedoch anders als die Laplace-Pyramide sind diese orientiert und haben einen Nulldurchschnitt. Der Satz von Komponentenmustern Pn(m) der Gradientenpyramide kann dargestellt werden als Pn(i, j, k, l), wobei k das Pyramidenniveau (oder die Skalierung) anzeigt, l die Orientierung anzeigt und i, j die Indexposition in der k, 1 Anordnung angibt. Der Gradientenpyramidenwert Dn(i, j, k, l) ist die Amplitude, die mit dem Muster Pn)e, j, k, l) verknüpft ist. Es kann gezeigt werden, daß die Gradientenpyramidenbilder Bilder als Gaußgradientenbasisfunktionen vieler Skalierungen und Orientierungen darstellt. Eine solche Basisfunktion ist mit jeder Abfrage in der Pyramide verknüpft. Wenn diese in der Amplitude durch den Abfragewert skaliert und summiert werden, wird das ursprüngliche Bild exakt wiederhergestellt. Die Skalierung und Summierung sind in der inversen Pyramidentransformation implizit enthalten. Es versteht sich, daß orientierte Operatoren außer dem Gradienten verwendet werden können, einschließlich Operatoren mit höheren Ableitungen, und daß der Operator angewendet werden kann, um andere Merkmale außer der Amplitude abzubilden.
  • [0039]
    Ein alternativer Weg der Analyse von Bildern ist es, Wavelet-Bilddarstellungen zu verwenden. Wavelet-Bilddarstellungen, wie beispielsweise beschrieben durch Rioul et al. in dem IEEE Signal Processing Magazine, Oktober 1991, Seiten 14–38, sind orientierte Ortsfunktionen, wobei lineare Kombinationen hiervon verwendet werden können, um ein Bild festzulegen. In dem Fall einer Wavelet-Darstellung gibt es zumindest zwei Sätze von Wavelets unterschiedlicher Orientierung. Typischerweise gibt es drei Sätze von Wavelet-Basisfunktionen, einen Satz horizontal orientierter Funktionen, einen Satz vertikal orientierter Funktionen und eine Linearkombinationsfunktion, die von Wavelets mit Rechts- und Linksdiagonalorientierung abgeleitet wurden. Sobald die Sätze von orientierten Basisfunktionen, welche die Quellbilder festlegten, erhalten wurden, wird ein Satz von orientierten Basisfunktionen für das zusammengesetzte Bild in derselben Art und Weise wie für die Basisfunktion ausgewählt, die erzeugt wurden unter Verwendung der Gradientenoperatoren, und das zusammengesetzte Bild wird hieraus rekonstruiert.
  • [0040]
    Die Gradientenpyramide für das Bild 1 wird erhalten durch Anwenden von Gradientenoperatoren auf jedes Niveau seiner Gauß-Pyramide G(n), wie in Anhang 1 beschrieben. Vier solcher Gradienten werden für die horizontalen, vertikalen und orthogonal-diagonalen Richtungen in den Bildern verwendet. Die vier Gradienten werden dann unter Verwendung eines Auswahlkriteriums verschmolzen, wie zum Beispiel die Ausprägung, um die Komponenten, die verwendet werden, um die Gradientenpyramidendarstellung des zusammengesetzten Bildes zu bilden, auszuwählen. Um das zusammengesetzte Bild aus seiner Gradientenpyramidendarstellung zu rekonstruieren, werden die Gradientenoperatoren ein zweites Mal angewendet, um vier orientierte Pyramiden der zweiten Ableitung zu bilden. Diese werden auf jedem Niveau der Pyramide summiert, um eine Standard Laplace-Pyramide zu bilden, von der das zusammengesetzte Bild durch die Verwendung von üblicher Erweiterung und Addition inverser Laplace-Pyramidentransformation rekonstruiert wird.
  • [0041]
    Ein Muster ist ausgeprägt, wenn es Informationen trägt, die für die Interpretation des Bildes nützlich sind. Im allgemeinen wird die Ausprägung auf dem Zweck für die Konstruierung des zusammengesetzten Bildes beruhen und jedes Ausprägungsmaß wird aufgabenabhängig sein. Die Ausprägung erhöht sich jedoch im allgemeinen mit der Amplitude des elementaren Musters. Es sei Sn(i, j, k, l) der Ausprägungswert entsprechend Pn(i, j, k, l). Ein Ausprägungsmaß, das sich mit der Erhöhung eines Komponentenmusters erhöht, kann durch seine Amplitude angezeigt werden Sn(i, j, k) = |Dn(i, j. k, l)|
  • [0042]
    Hier ist Dn(i, j, k.l) die Amplitude, die mit dem Muster Pn(i, j, k, l) an der Position (i, j) des Gradientenpyramidengrades k und der Orientierung I verknüpft ist. Alternativ kann sie durch die Erhöhung dieser Komponente und anderer Komponenten innerhalb einer lokalen Umgebung angezeigt werden. Diese Umgebung wird angezeigt durch eine Wichtungsfunktion w (i', j',): Sn=(i, j, k, l) = |∑i',j'w(i',j')Dn(i-i', j-j', k, l)2]1/2
  • [0043]
    Typischerweise besteht die verwendete Umgebung aus den Komponentenmustern für die 3 × 3 Anordnung der nächsten Komponenten zu der bestimmten Komponente von Interesse oder die 3 × 3 Anordnung von Bildelementen, die das Bildelement von Interesse umgeben, abhängig von der Art und Weise, wie die Komponenten indexiert sind. Beispielsweise kann eine 3 × 3 Anordnung w(i', j') gleichgesetzt werden zu:
  • [0044]
    Ein anderes alternatives Maß basiert die Ausprägung auf dem Erscheinen von spezifischen Mustern, wie zum Beispiel Zielen, in dem Bild. Beispielsweise kann S mit der Korrelation des Quellbildes in Bezug stehen, das mit einem Zielmuster an jeder Abfrageposition abgestimmt wird.
  • [0045]
    Die Gradientenpyramide für das zusammengesetzte Bild Ic wird durch Auswählen von Komponenten aus der Quellpyramidenbasisfunktion Pn für jeden Satz von orientierten Funktionen erhalten. Die Auswahl wird an jeder Abfrageposition wiederholt, basierend auf dem Ausprägungsmaß. Die Auswahlregel, die in der gegenwärtigen Praxis gemeinhin verwendet wird, ist „wähle-Maximum", d.h. es wird die Quellbildabfrage ausgewählt, welche die größte Amplitude hat. Ein „weicher Schalter" ist jedoch gegenüber der strikten Auswahl vorzuziehen, d.h., wenn die Auswahl zwischen zwei Komponentenmustern besteht, die sehr unterschiedliche Ausprägung haben, dann wird der mit der größeren Ausprägung gewählt, wenn jedoch die Auswahl zwischen Komponenten erfolgt, die eine vergleichbare Ausprägung haben, dann wird der zusammengesetzte Abfragewert ausgewählt als der gewichtete Durchschnitt der Quellabfragen.
  • [0046]
    Der Kombinationsprozeß ist dann einer, in dem die Amplitude des kombinierten Musterelements berechnet wird als ein gewichteter Durchschnitt der Amplituden der Quellmusterelemente für jede Orientierung I. Dc(i, j.k.l) = {∑nWn(i, j, k, l)Dn(i, j, k, l)}
  • [0047]
    Die in diesem Durchschnitt verwendeten Gewichte basieren auf relativen Ausprägungsmaßen über dem Quellbild. Die Gewichte werden festgelegt, so daß Bildkomponenten mit höherer Ausprägung ein disproportional höheres Gewicht bekommen. Als ein Beispiel sei A die Gesamtausprägung bei einer gegebenen Position A(i, j, k, l) = ∑nSn(i, j, k, l)wobei N die Anzahl von Quellbildern ist.
  • [0048]
    Für geeignet ausgewählte Konstanten a und b, 0 > a > b < 1, sei wobei Tn = {Sn(i, j, k, l)/(A(i, j, k, l)}die normalisierte Ausprägung an der (i, j) Position ist, und zwar die I-te Orientierung des k-ten Pyramidenniveaus für das n-te Quellbild.
  • [0049]
    Die S-Form akzentuiert den Unterschied zwischen den Gewichten der Elemente, die nahezu eine durchschnittliche Ausprägung haben, während die Gewichte für ein gegebenes Element nahe Null oder nahe Eins fixiert werden, wenn deren Ausprägung signifikant unterhalb oder oberhalb des Durchschnitts ist.
  • [0050]
    Der letzte Schritt beim Bilden des zusammengesetzten Bildes Ic ist dessen Rekonstruktion aus der Gradientenpyramidendarstellung Pc. Die Details der Berechnung der inversen Gradientenpyramidentransformation sind in Anhang 1 gegeben.
  • [0051]
    Eine alternative Ausführungsform eines Verfahrens gemäß der Erfindung für das Bilden eines zusammengesetzten Bildes aus einer Mehrzahl von Quellbildern ist in 4(a) gezeigt. In diesem Fall ist die Fusion für zwei Quellbilder gezeigt, das Verfahren kann aber verallgemeinert werden auf mehr als zwei Quellbilder. In diesem Verfahren wird ein Übereinstimmungsmaß M12(i, j, k, l) zwischen den Quellbildern innerhalb einer lokalen Umgebung w(i', j') berechnet. Typischerweise ist diese Umgebungsgewichtungsfunktion dieselbe, wie die, die bei der Berechnung der Ausprägungsmaße Sn(i, j, k, l) verwendet wurde. Das Übereinstimmungsmaß kann beispielsweise auf einer lokalen Korrelierung C12(i, j, k, l) basiert sein: C12(i, j, k, l) = ∑i'j {w(i', j') D1 (i-i', j-j', k, l) × D2(i-i', j-j', k, l)}
  • [0052]
    Ein Übereinstimmungsmaß, das zwischen –1 und +1 normalisiert ist, wird gegeben durch M12(i, j, k, l) = 2C12(i, j, k, i)/{S1(i, j, k, l) + S2(l, j, k, l)
  • [0053]
    Die zusammengesetzten Bildmusterelemente werden erneut als ein gewichteter Durchschnitt weitergeben. Für den Fall von zwei Quellbildern Dc(i, j, k, l) = w1(i, j, k, l)D1(i, j, k, l) + w2D2(i, j, k, l)
  • [0054]
    In der vorliegenden Implementierung basieren beide Gewichte w1 und w2 auf den Übereinstimmungs- und Ausprägungsmaßen. Man nehme beispielsweise an, daß S1(i, j, k, l) > S2(l, j, k, l)für ein gegebenes Musterelement. Falls M12(i, j, k, l) < a, dann b1 = 1 und b2 = 0. Sonst, falls M12(i, j, k, l) > als a, dann W1 = ½ + ½ [(1 – M)/(1 – a)] und W2 = 1 – W1.
  • [0055]
    Hier ist „a" ein Parameter des Fusionsprozesses, der eingestellt werden kann zwischen –1 und +1. Falls S1(i, j, k, l) < S2(l, j, k, l) im obigen Beispiel, dann werden die Werte, die W1 und W2 zugewiesen sind, ausgetauscht. Diese alternative Implementierung der Erfindung kann mit nicht-orientierten Komponentenmustern verwendet werden, wie zum Beispiel denjenigen der Laplace-Pyramide, sowie mit orientierten Mustern, wie zum Beispiel denen der Gradientenpyramide.
  • [0056]
    Die Erfindung stellt ebenso eine Vorrichtung für das Bilden eines zusammengesetzten Bildes aus einer Mehrzahl von Quellbildern bereit, die eine Einrichtung für das Transformieren der Quellbilder in eine merkmalsbasierte Darstellung aufweist, und zwar durch Zerlegen jedes Quellbildes In in einen Satz von Komponentenmustern Pn(m) unter Verwendung einer Mehrzahl von orientierten Funktionen, die Einrichtungen für das Berechnen eines Ausprägungsmaßes für jedes Komponentenmuster, Einrichtungen für das Bilden der Komponentenmuster Pc(m) des zusammengesetzten Bildes durch Zusammensetzen von Mustern von den Quellbildmustersätzen Pn(m), geleitet durch die Ausprägungsmaße Sn(m), die mit den verschiedenen Quellbildern verknüpft sind, und Einrichtungen für das Konstruieren des zusammengesetzten Bildes über eine inverse Transformation aus ihren Komponentenmustern Pc(m).
  • [0057]
    Eine Vorrichtung für das Implementieren des Verfahrens der Erfindung ist in den 5 bis 8 gezeigt. Die Vorrichtung wird in Bezug auf zwei Quellbilder gezeigt, es versteht sich aber, daß jede andere Anzahl von Quellbildern mit geeigneter Modifikation der Vorrichtung verwendet werden kann.
  • [0058]
    Die Einzelbildspeicher FS1 und FS2 werden, falls notwendig, verwendet, um die Eingangsquellbilder, die in einem Interlace-Format erzeugt wurden, in ein fortschreitendes Abtastformat (progressive scan) für die nachfolgende Bearbeitung und um die Taktung einzustellen, umgewandelt. Ein Fernsehkameraausgang ist typischerweise im Interlace-Format (Zwischenzeilenformat).
  • [0059]
    Die Kombination des Pyramidenschaltkreises P1 und des Einzelbildspeichers FS3 wird verwendet, um die Gaußpyramidendarstellung der k-Ebene Ga(k) des Eingangsquellbildes Ia zu berechnen, und die Kombination aus dem Schaltkreis P2 und dem Einzelbildspeicher FS4 wird verwendet, um die Gaußpyramidendarstellung der n-Ebene Gb(k) des Eingangquellbildes 1b zu berechnen. Die Schaltkreise P1 und P2 stellen den Tiefpaßfilter mit einem Gauß-Rolloff und das Pixelsubsampling (die Entfernung/Dezimierung jedes zweiten Pixels in jeder Reihe und von jeder zweiten Reihe des gefilterten Bildes) bereit.
  • [0060]
    Die nächste Operation auf jeder Ebene der Gaußpyramide G(k) ist ein Filter (1 + w'), der durch den Schaltkreis P3 und den Schaltkreis P4 verwirklicht wird, um Ga f(k) bzw. G(k)b f zu bilden. Der Zweck dieses Vorfilters P3 und des Nachfilters P8 ist es, die Gesamtfiltercharakteristiken einzustellen, um eine exakte Korrespondenz zwischen den Zwischenergebnissen in der Gradientenpyramidentransformation und der Laplace-Transformation bereitzustellen. Alternativ dazu kann dieser Filter an anderen Punkten in der Sequenz von Transformationsschritten angewendet werden. Andere ähnliche Filter können verwendet werden, um Näherungsergebnisse zu erhalten. w' ist ein drei mal drei Binominalfilter:
  • [0061]
    Der Filter P3 hat die Form:
  • [0062]
    Als nächstes wird jede der gefilterten Gaußpyramiden Ga f(k) und Gb f(k) mit vier orientierten Gradientenfiltern gefiltert, die den horizontalen Filter dh, den vertikalen Filter dv den rechtsdiagonalen Filter drd und den links-diagonalen Filter dld repräsentieren.
  • [0063]
    Diese Operationen werden durch Schaltkreise P5 und P6 durchgeführt, welche die acht orentieren Gradientenpyramiden Da(k, h), Da(k, ld), Da(k, v), Da(k, rd), Db(k, h), Db(k, rd), Db(k, v), Db(k, ld) produzieren. Es versteht sich, daß während die hier gezeigten Gradientenoperatoren nur die zwei nächsten Nachbarabfragen in der bestimmten Richtung benutzen, daß eine größere Anzahl von Nachbarn in der Gradientenberechnung genutzt werden können.
  • [0064]
    In 6 weisen die Schaltkreise P5 und P6 vier Subtraktoren 61, 62, 63 und 64 auf. Das Eingangssignal wird direkt mit einem Eingang des Subtraktors 61 über eine einzelne Pixelverzögerung 65 mit dem zweiten Eingang des Subtraktors 61 verbunden. Der Ausgang des Subtraktors 62 ist dv. Das Eingangssignal ist über die Pixelverzögerung 65 mit einem Eingang des Subtraktors 63 und über eine Leitungsverzögerung 66 mit dem zweiten Eingang des Subtraktors 63 verbunden. Der Ausgang des Subtraktors 61 ist drd. Das Eingangssignal ist direkt mit einem Eingang des Subtraktors 64 und über die Leitungsverzögerung 66 und die Pixelverzögerung 65 mit dem zweiten Eingang des Subtraktors 64 verbunden. Der Ausgang des Subtraktors 61 ist dld P5 und P6 können unter Verwendung eines kommerziellen feldprogrammierbaren Gate-Array-Schaltkreises (FPGA), wie zum Beispiel dem XC3042, der von Xilinx, Inc., San Jose, CA 95124 hergestellt wird, implementiert sein.
  • [0065]
    Die Verschmelzungsfunktion kombiniert zwei oder mehrere Bilder in ein zusammengesetztes Bild, wie schematisch in 8(a) gezeigt ist. Hier wird die Fusionsfunktion auf den vier orientierten Gradientenpyramiden der Quellbilder berechnet. Sie kann ebenso direkt an die Laplace-Pyramide angewendet werden, jedoch mit geringerer Effektivität.
  • [0066]
    Die funktionale Abhängigkeit von Wn von der Gesamtausprägung A für das Quellbild In a ist in 8(b) für den Fall von zwei Eingangsbildern gezeigt. Die Funktionen: können mit einer einzigen Nachschlagtabelle (LUT) der Größe 64K × 8 implementiert werden, falls das Eingangs- und Ausgangsbild 8 Bit sind, wie in 8(c) gezeigt ist.
  • [0067]
    Als Beispiel kann die Ausprägung auf einem absoluten Abfragewert oder auf einem lokalen mittleren quadratischen Durchschnitt basieren, wobei Sn(i, j, k, l) [∑i'j'w(i', j',)Dn(i-i', j-j', k, l)2]1/2
  • [0068]
    In 8(d) ist eine Implementierung des lokalen Durchschnittsverfahrens dargestellt, wie in 4(a) gezeigt ist. Ein Übereinstimmungsmaß M12(i, j, k, l) wird zwischen den Quellbildern D1(i, j, k, l) und D2(i, j, k, l) innerhalb einer lokalen Umgebung w(i', j') berechnet. Typischerweise ist die Umgebungsgewichtungsfunktion dieselbe, die bei der Berechnung des Ausprägungsmaßes Sn(i, j, k, l) verwendet wird. Die zusammengesetzten Bildmusterelemente werden erneut als ein gewichteter Durchschnitt weitergeleitet. Für den Fall von zwei Quellbildern ist Dc(i, j, k, l) = w1(i, j, k, l)D1(i, j, k, l) + w2(i, j, k, l)}
  • [0069]
    Die lokale Korrelation C12(i, j, k, l) beträgt C12(i, j, k, l) = ∑i'j'{w(i', j')D1(i-i', j-j', k, l) × D2(i, j, k, l)und das Übereinstimmungsmaß ist: M12(i, j, k, l) = 2C12(i, j, k, l)/S1(i, j, k, l) + S2(i, j, k, l)}
  • [0070]
    Die geeignete Gewichtungsfunktion wird dann aus einer Nachschlagtabelle in der IF-Funktion ausgewählt. Die Gewichte werden vorzugsweise wie folgt ausgewählt.
  • [0071]
    Falls S1(i, j, k, l) > S2(i, j, k, l) für ein gegebenes Musterelement und falls M12(i, j, k, l) < a, dann w1 = 1 und w2 = 0. Sonst, falls M12(i, j, k, l) > a, dann W1 = ½ + 1/2 [(1 – M12)/(1 – a)] und W'2 = 1 – W1
  • [0072]
    Hier ist „a" der Parameter des Verschmelzungsprozesses, der zwischen –1 und +1 eingestellt werden kann. Falls S1(i, j, k, l) < S2(i, j, k, l) in dem obigen Beispiel, dann werden die Werte, die W1 und W2 zugewiesen werden, ausgetauscht.
  • [0073]
    Danach wird eine gewichtete Summe der orientierten Gradientenpyramiden in jeder der Orientierungen getrennt berechnet, was zu den vier zusammengesetzten orientierten Gradientenpyramiden Dc(k, h), Dc(h, rd), Dc(k, v), Dc(k, rd) führt.
  • [0074]
    Die zusammengesetzten, orientierten Gradientenpyramiden Dc(k, h), Dc(k, rd), Dc(k, v), Dc(k, rd) werden dann erneut mit denselben vier orientierten Gradientenfiltern dh, dv, drd und dld gefiltert und aufaddiert, was zu der zusammengesetzten Laplace-Pyramide Lc(k) führt. Diese Berechnung wird durch den Schaltkreis P7 durchgeführt. In 7 weist der Schaltkreis P7 vier Subtraktoren 71, 72, 73 und 74 und drei Addierer 75, 76 und 77 auf. Das Eingangssignal dh wird direkt mit einem Eingang des Subtraktors 81 über eine einzelne Pixelverzögerung 78 mit dem zweiten Eingang des Subtraktors 71 verbunden. Das Eingangssignal dv wird direkt mit einem Eingang des Subtraktors 72 und über eine einzelne Zeilenverzögerung 79 mit dem zweiten Eingang des Subtraktors 72 verbunden. Das Eingangssignal drd wird über eine einzelne Pixelverzögerung 80 mit einem Eingang des Subtraktors 73 und über eine einzelne Zeilenverzögerung 81 mit dem zweiten Eingang des Subtraktors 73 verbunden. Das Eingangssignal dld wird direkt mit einem Eingang des Subtraktors 74 und über eine einzelne Zeilenverzögerung 82 und eine einzelne Pixelverzögerung 83 mit dem zweiten Eingang des Subtraktors 84 verbunden. Die Ausgänge der Subtraktoren 71, und 72 werden mit den Eingängen des Addierers 75 verbunden. Die Ausgänge der Subtraktoren 73 und 74 werden mit den Eingängen des Addierers 86 verbunden. Der Ausgang des Addierers 75 und der Ausgang des Addierers 76 werden durch zwei (2) dividiert und mit den Eingängen des Addierers 75 verbunden. Der Ausgang des Addierers 77 geht zu dem Framespeicher FS5. P7 kann implementiert werden unter Verwendung eines kommerziellen feldprogrammierbaren Gate-Array-Schaltkreises (FPGA), wie zum Beispiel der SC3042, hergestellt von Xilinx, Inc., San Jose, CA 95124 Die zusammengesetzte Laplace-Pyramide Lc(k) ist äquivalent zu der FSD Laplace-Pyramide, die in dem US-Patent Nr. 4,692,806 beschrieben ist, und in FS5 gespeichert ist. Die Pyramide Lc(k) wird dann von dem Schaltkreis P8 gefiltert, um LFc(k) zu erzeugen. Der Filter P8 hat die Form (1 – w), wobei w ein fünf mal fünf Binominalfilter ist:
  • [0075]
    Man bemerke, daß der (1/√2) Faktor in den diagonalen Gradientenfiltern in einen einzelnen (1/2) Faktor in den diagonalen Komponenten in der P7 Verarbeitungsfunktion kombiniert werden kann, wie in 5 gezeigt ist.
  • [0076]
    Das zusammengesetzte Bild Ic wird dann aus der zusammengesetzten RE Laplace-Pyramide LFc(k) unter Verwendung der Kombination des Schaltkreises P9 und des Framespeichers FS6 rekonstruiert, und zwar unter Verwendung des Verfahrens, das von Burt beschrieben wurde, beginnend mit dem niedrigsten Niveau der Pyramide. In 6 ist der Schaltkreis des Schaltkreises P8 derselbe wie P1 und P2. Der Prozeß startet mit dem Rest Gc(k) und berechnet das nächsthöhere Auflösungsniveau Gc(k – 1) unter Verwendung der folgenden Funktion: Gc(k – 1) = LFc(k – 1) + w * Gc(k),wie in 4 gezeigt ist, wo Gc e(k) Gc(k) auf den nächsten Pyramidenauflösungslevel erweitert ist durch Einfügen von nullwertigen Abfragen zwischen den gegebenen Abfragen und durch Filtern mit w. Das Ergebnis Gc(k – 1) wird in FS6 gespeichert. Der nächsthöhere Auflösungslevel Gc(k – 2) wird dann in der gleichen Art und Weise berechet und Gc e–1(k – 1) und Lc(k – 2) kombiniert. Dieser Prozeß wird wiederholt, bis Gc(0) in FS7 berechnet und gespeichert wurde. FS7 wird verwendet, um die Taktung einzustellen und das zusammengesetzte Bild vom Progressive-Scanformat in ein Interlace-Scanformat umzuwandeln, falls dies von der zu verwendenden Bildanzeigeeinrichtung erfordert wird.
  • [0077]
    Im Detail werden in dem ersten Verarbeitungslauf (Level 0) die Quellbilder Ga(0) und Gb(0) aus den Eingangsframespeichern FS1 und FS2 durch die P1- und P2-Funktionen gefiltert und in untergesampelter Form Ga(1) und Gb(1) in FS3 und FS4 gespeichert. Zur gleichen Zeit werden Ga(0) und Gb(0) durch die Schaltkreise P3 bis P7 und die vier Verschmelzungsschaltkreise verarbeitet, was Lc(0) erzeugt, was in FS5 gespeichert wird. Wenn diese Operation ausgeführt ist, wird der zweite Verarbeitungslauf (Level 1) gestartet, wo die Bilder Ga(1) und Gb(1) (von FS3 und FS4) von den Schaltkreisen P1 und P2 gefiltert und in untergesampelter Form Ga(2) und Gb(2) gespeichert werden. Zur gleichen Zeit werden Ga(1) und Gb(1) durch die Schaltkreise P3 bis P7 und die vier Fusionsschaltkreise verarbeitet, was Lc(1) erzeugt, was in FS5 gespeichert wird. Diese Prozedur wird wiederholt, bis die erforderliche Anzahl von Pyramidenlevels berechnet ist. Während des letzten Laufs (zum Beispiel Level k) ist die Verarbeitung anders. Dann beinhaltet die Verarbeitung nur das Lesen von Ga(k) und Gb(k) von FS3 und FS4, was die Bilder mit anderer Funktion verschmilzt und beinhaltet das Speichern des Ergebnisses Gc(k) in FS5. Dies ist die Rest- oder DC-Komponente der Laplace-Pyramide Lc(n). In 5 wird dies schematisch als Bypasspfad um P3 bis P7 und den Fusionsschaltkreis gezeigt. Die Fusion der Reste (DC-Fusionin 5) kann so einfach sein wie das Berechnen des Durchschnitts.
  • [0078]
    Viele der Verarbeitungsfunktionen beinhalten 2D-Filter. Mit 2D-Filtern kann die Verarbeitung an der Kante des Bildes unbestimmt sein. Für große Bilder muß dies kein Problem sein, da das Streichen der Kantendaten nur geringen Effekt auf das Gesamtbild hat. Wenn jedoch Pyramiden konstruiert und rekonstruiert werden, beeinflußt die Verarbeitung an den Kanten der Levels niedriger Auflösung der Pyramide das endgültig rekonstruierte Bild in signifikantem Ausmaß. Beispielsweise, falls fünf Levels der Pyramide verwendet werden, kann eine Grenze von 64 Pixeln um das Bild nicht korrekt rekonstruiert werden, falls die Berechnungen an den Kanten des Bildes nicht korrekt durchgeführt werden. Die Rekonstruktion eines Pixels beinhaltet Information von den vier Pixeln neben dem Pixel von Interesse in einer Reihe. Für ein Kantenpixel fehlen zwei dieser benachbarten Pixel und für das nächstbenachbarte Pixel in der Reihe fehlt eines der benachbarten Pixel. Der einfachste Weg, um dies zu korrigieren ist es, einen konstanten Wert in die Matrix von Pixelwerten einzufügen. Alternativ dazu wird der Wert der fehlenden Pixel gleich dem Wert des Pixels von Interesse gesetzt. Eine bevorzugte Art, die Kantenverarbeitung zu implementieren wäre es, die Pixeldaten an den Kanten des Bildes zu reflektieren oder zu extrapolieren. Beispielsweise werden an der linken Kante eines Bildes die zwei Pixel rechts von der Kante des Pixels von Interesse für die fehlenden Pixel substituiert.
  • [0079]
    Die Konstruktion und Verarbeitung wie hier beschrieben, kann einen Prozessor pro Funktion und pro Pyramidenlevel verwenden, wobei die Prozessoren bei jeder nachfolgenden niedrigeren Auflösung mit der halben Taktrate arbeiten. Eine signifikant effizientere Implementierung ist die Verwendung eines Prozessors pro Funktion, wobei jeder Prozessor alle Pyramidenlevel nacheinander berechnet oder verarbeitet, wie in der US-Patentanmeldung Nr. 07/805,149 beschrieben, auf die oben Bezug genommen wurde und die durch Bezugnahme aufgenommen wurde. Dies kann verwirklicht werden durch Verwendung von flexiblen Framespeichern (FS3, FS4 und FS5) für das Speichern von Zwischenergebnissen und durch Einstellen des Taktes und/oder des Verarbeitungstaktes, um die zusätzliche Prozeßzeit, die erforderlich ist, anzupassen. Die Verarbeitung aller Pyramidenlevel durch einen einzelnen Prozessor erfordert typischerweise 4/3 mal die Anzahl von Operationen, die für die Verarbeitung von einem Vollauflösungsbild erforderlich sind. Durch Verwenden der Austastreit des Eingangsbildes in einer effizienten Art muß die tatsächliche Taktrate nicht sehr erhöht werden, sofern überhaupt, um die Erhöhung in der erforderten Verarbeitung anzupassen.
  • [0080]
    Für jede Eingabe und Ausgabe des Systems ist ein Schnittstellen-Framespeicher in 5 gezeigt. Dies sind FS1, FS2 und FS7. Diese werden verwendet, um Unterschiede in der Zeit zwischen dem Fusionsverarbeitungsformat und dem Eingabe-/Ausgabebildformat einzustellen. Ein solcher Unterschied liegt in der Zeit, die für die Verarbeitung der Pyramidenlevel nacheinander erforderlich ist. Eine andere Differenz kann die sein, daß die Bild-I/O im Interlaceformat ist, während die Bilder während des Fusionsprozesses unter Verwendung eines Progressive-Scanformats berechnet werden können.
  • [0081]
    9 ist ein Zeitdiagramm, das zeigt, wenn die verschiedenen Bilder und Pyramidenlevel in einem System mit I/O-Framespeicher unter der Annahme einer Interlace-I/O für eine Abfolge von Bildern berechnet werden. Die erste Zeitreihe ist für aufeinanderfolgend verzahnte Einzelbilder mit geraden und ungeraden Feldern (zum Beispiel 3e und 3o), die durch vertikale Austastintervalle voneinander getrennt sind. Die zweite Zeitlinie zeigt die Pyramidenkonstruktion des 0-ten-Levels der-Gaußfunktion der Pyramide für das dritte Einzelbild, das beginnen kann, sobald das ungerade Feld des Frames empfangen wird. Die Berechnung aller Level der dritten Frame-Pyramide muß vollendet sein, bevor die Pyramidenkonstruktion des 0-Level-Gauß des vierten Einzelbildes startet. Die dritte Zeitlinie zeigt die zusammengesetzte Pyramidenbildrekonstruktion für den dritten Frame, die zur gleichen Zeit beginnt wie die Pyramidenkonstruktion des vierten Frames. Die formatierte Ausgabe des dritten Frames beginnt zur gleichen Zeit wie der fünfte Frame empfangen wird. Somit kann der gesamte Zyklus für ein gegebenes Einzelbild in zwei Framezeiten verwirklicht werden. Wenn die Taktrate der Verarbeitung etwas höher als die Taktrate des I/O sein muß, dann können FIFO-Puffer in Kombination mit den I/O-Framespeichem FS1, FS2 und FS7 verwendet werden. Eine Alternative zum Erhöhen des Takts für die Fusionsverarbeitung ist es, die Bildgröße, auf der die Fusionsverarbeitung durchgeführt wird, zu reduzieren.
  • [0082]
    Viele der Verarbeitungsfunktionen in der Implementierung (P1, P2, P3, P4, P8 und P9) sind 2D-Filter mit 5 × 5 Abgriffen (P1, P2, P8, P9) oder 3 × 3 Abgriffen (P3, P4). „Spread tap" Versionen dieser Filter, die in Pyramidenkonstruktionen doppelter Intensität verwendet werden, können ebenso verwendet werden. Alle diese werden effizient implementiert unter Verwendung des PYR-1 Schaltkreises, der in der US-Patentanmeldung Nr. 07/805,149, eingereicht am 11. Dezember 1991, die hier durch Bezugnahme aufgenommen wird, und in dem Workshop For Machine Vision, Paris, Dezember 1991 und allgemein im US-Patent Nr. 4,703,514 beschrieben wurde und der von dem David Sarnoff Research Center, Inc., Princeton, NJ 08540 verkauft wird. Der PYR-1 Schaltkreis kann alle erforderlichen Filter implementieren und beinhaltet die notwendigen horizontalen Zeilenverzögerungen, die geeigneten Addierer und die Multiplexing-Funktionen und die automatische Grenzsteuerung der Bilder. Andere 2D-Filterschaltkreise sind kommerziell verfügbar, erfordern jedoch signifikant zusätzlichen Schaltkreis, um all die Funktionen aufzunehmen, um die hier beschriebenen Verfahren zu implementieren.
  • [0083]
    Ein Beispiel eines zusammengesetzten Bildes, das aus sichtbaren und Infrarotquellbildem gebildet wird, ist in 10 gezeigt. Das Quellbild von einer Standardkamera für sichtbares Licht ist in 10(a) gezeigt, und das Quellbild von einer Infrarotkamera ist in 10(b) gezeigt. Das verschmolzene Bild, gezeigt in 10(c), wurde unter Verwendung der Gradientenpyramide und Ausprägungs- und Kombinationsregeln, die oben beschrieben wurden, erhalten.
  • [0084]
    Die Gradientenbildpyramide stellt einen effektiven Rahmen für die musterselektive Bildfusion bereit. Vorteile der Pyramidentransformation für die Fusion beinhalten die Tatsache, daß sie Bilder in reguläre Anordnungen von kantenartigen Komponentenmustern (Basisfunktionen) über einfache Filteroperationen zerlegt, und die Tatsache, daß die Rekonstruktion Musterelemente über Skalierungen, Orientierung und Positionen in einer nahtlosen Art und Weise vermischt unter Vermeidung von Artefakten. Diese Vorteile stellen eine signifikant verbesserte Bildfusion, verglichen mit einem Prozeß, basierend auf der Laplace-Pyramide, zur Verfügung.
  • [0085]
    Unsere Ergebnisse haben gezeigt, daß die Fusion mit einer Gradientenpyramide über einen großen Bereich von Betrachtungsbedingungen beachtenswert effektiv ist. Ein aufschlußreicher Satz von Tests beinhaltete die Fusion von erweiterten Videosequenzen, die Objekte in Bewegung enthalten. In diesen Tests verglichen wir die Gradientenpyramide mit der Laplace-Pyramidenbildfusion. Ergebnisse mit der Laplace basierten Fusion neigten dazu, sichtbare, sich dynamisch verändernde Artefakte zusammen mit Konturen hohen Kontrasts zu haben. Ergebnisse mit der Gradientenpyramide waren weitgehend frei von solchen Artefakten.
  • [0086]
    Die beobachtete Differenz in der Leistung kann verschiedenen Faktoren zugeschrieben weiden. Am wichtigsten ist die Tatsache, daß die Gradientendarstellung ein lokales Maximum im Wert an dem Ort einer Kante in der Szene hat, während die Laplace-Darstellung einen Nullwert an der Kante und große Werte auf beiden Seiten der Kante hat. Da die Amplitude des Abfragewerts als Maß der Ausprägung in den vorliegenden Beispielen verwendet wurde, sind Kantenmerkmale zuverlässiger mit der Gradientenpyramide aufgenommen als mit der Laplace-Funktion. Weiterhin verursacht das Rauschen in dem Video, daß die Auswahl an einigen Punkten in der Szene von einem Quellbild zu dem anderen, von Einzelbild von Einzelbild umschaltet. Das resultierende Flackern ist in der Laplace-Fusion sichtbarer als in der gradientenbasierten Fusion. Die menschliche Wahrnehmung ist am empfindlichsten gegenüber zeitlichem Flackern von Mustern mit niedrigem Ortsfrequenzinhalt. Die Gauß-Gradientenbasisfunktionen der Gradientenpyramide haben eine Hochbandpaßcharakteristik mit signifikant geringer Signalenergie bei niedrigen Raumfrequenzen als die gaußartigen Basisfunktionen der Laplace-Pyramide.
  • [0087]
    Anwendungen der Bildfusionstechniken, die hier beschrieben wurden, beinhalten die Überwachung unter Verwendung von Bildern von mehreren Sensortypen oder spektralen Bändern, wie zum Beispiel Kameras für sichtbares Licht und Infrarotkameras, die Fahrzeugführung unter Verwendung von mehreren Sensortypen (sichtbar, infrarot,...) als eine Hilfe für einen Fahrer oder Piloten nachts oder bei schlechtem Wetten, Kombinieren von Bildern, die mit einer Kamera aufgenommen wurden, deren Fokus sich von Bild zu Bild ändert, um ein zusammengesetztes Bild mit einer erweiterten Feldtiefe zu erzielen, Videospezialeffekte unter Verwendung von mehreren Bildern unterschiedlicher Szenen, um artistische oder andere Spezialeffekte zu erhalten, industrielle Untersuchung, wo Bilder unterschiedlicher Beleuchtung und Kameraeinstellungen (Geschwindigkeit, Iris, usw.) kombiniert werden, um Schatten und helle Stellen zu eliminieren, und die dynamische Be reichskomprimierung für die Bildanzeige, wo ein Bild mit großem dynamischen Bereich (zum Beispiel ein medizinisches 12-Bit-Bild) und eine Anzeige, die nur einen begrenzten dynamischen Bereich darstellen kann (zum Beispiel CRT oder LCD) als erstes einen Satz von Bildern erzeugen, die begrenzte Bereiche des Originals repräsentieren, und dann diese Bilder über eine Fusion für die endgültige Anzeige kombinieren.
  • [0088]
    Ein verschmolzenes, zusammengesetztes Bild, das Farbe aufweist, ist im Stand der Technik bekannt. Insbesondere kann jedes separate Quellbild im Stand der Technik einer anderen Farbe zugewiesen werden, wie zum Beispiel rot R, grün G und blau B, und das verschmolzene, zusammengesetzte Bild selbst kann von diesen getrennten gefärbten Quellbildern abgeleitet werden. Die vorliegende Erfindung schlägt eine andere Art der Verwendung von Farbe vor, um zusätzliche Information zu der Anzeige eines verschmolzenen, zusammengesetzten Bildes hinzuzufügen, wobei die zusätzliche Information das relative Gewicht der Beiträge von jedem Quellbild zu dem verschmolzenen, zusammengesetzten Bild anzeigt.
  • [0089]
    Genauer gesagt gibt es Fälle, in denen es sehr wünschenswerte wäre, die Identität und/oder den relativen Beitrag jedes Quellbildes zu einem nicht gefärbten, verschmolzenen, zusammengesetzten Bild beizubehalten. Beispielsweise kann in einer Überwachungsanwendung ein Beobachter es wünschen, zu wissen, ob die Quelle eines hellen Merkmals, was er in dem verschmolzenen, zusammengesetzten Bild sieht, von einer Infrarotkamera kommt, so daß es ein heißes Objekt darstellt, oder von einer Kamera für sichtbares Licht kommt, so daß es eine helle Farbe oder ein intensiv beleuchtetes Objekt darstellt. Die vorliegende Erfindung verwendet Farbinformation für solch einen Zweck durch Einsetzen von nur Helligkeit, um den Helligkeitswert (d.h. den Wert in dem Y-Kanal in dem Fall eines NTSC-Videobildes) von jedem Pixel des angezeigten, verschmolzenen, zusammengesetzten Bildes (welches vorzugsweise in der oben beschriebenen Art und Weise abgeleitet wird) festzulegen, und dann nur Farbe einzusetzen, um den relativen Beitrag jedes Quellbildes (d.h. die jeweiligen Werte in den I- und Q-Gegenfarbkanälen in dem Fall eines NTSC-Videobildes) von jedem Pixel des angezeigten, verschmolzenen, zusammengesetzten Bildes festzulegen. Als ein erstes Beispiel können Quellbilder, die zu dem angezeigten, verschmolzenen, zusammengesetzten Bild beitragen, ein erstes Quellbild (zum Beispiel ein Infrarotkamerabild) bei seiner ursprünglichen hohen Auflösung und ein zweites Quellbild (zum Beispiel einer Kamera für sichtbares Licht) bei ihrer ursprünglichen hohen Auflösung sein. Alternativ können als ein zweites Beispiel die entsprechenden Quellbilder, die zu dem angezeigten, verschmolzenen, zusammengesetzten Bild beitragen, ein erstes Bild, das pyramidenabgeleitete Hochauflösungskomponenten eines gegebenen ursprünglichen Quellbildes festlegt, und ein zweites Bild, das pyramidenabgeleitete Niedrigauflösungskomponenten desselben gegebenen ursprünglichen Quellbildes festlegt, sein.
  • [0090]
    In 11 wird ein Verschmelzungsprozeß, der auf ein getrenntes Quellbild A und ein Quellbild B, die hier als Eingänge angewendet werden, reagiert für das Ableiten eines monochromen, zusammengesetzten, verschmolzenen Bildes C, eines ersten Gewichtungsbildes W1 und eines zweiten Gewichtungsbildes W2 als entsprechende Ausgänge hiervon gezeigt. Jede Pixelabfrage des ersten Gewichtungsbildes W1 und des zweiten Gewichtungsbildes W2 hat einen bestimmten Wert zwischen 0 und 1. Um den I-Farbkanal eines NTSC-Videobildes bereitzustellen, wird von jedem der jeweiligen Pixelabfragewerte des ersten Gewichtungsbildes W1 als erstes ein Wert ½ abgezogen und er wird dann mit einem skalaren Koeffizienten cA multipliziert. In gleicher Weise, um den Q-Farbkanal eines NTSC-Videobildes bereitzustellen, wird von jedem der jeweiligen Pixelabfragewerte des zweiten Gewichtungsbildes W2 als erstes der Wert ½ abgezogen und er wird dann mit einem skalaren Koeffizienten cB multipliziert. Die jeweiligen Pixelabfragewerte des monochromen, verschmolzenen, zusammengesetzten Bildes C weisen den Y-Farbkanal eines NTSC-Videobildes auf.
  • [0091]
    In einer Laplace-Pyramidenimplementierung des Fusionsprozesses, der in 11 gezeigt ist, ist jeder Pixelabfragewert für eine kombinierte Bildpyramide LCi, j, k) ein gewichtetes Mittel der Pixelabfragewerte der Quellbildpyramiden LA(i, j, k) und LB(i, j, k), wobei i, j, und k jeweils die Pixelabfragehorizontalposition, die Pixelabfragevertikalposition und die Pyramidenlevelindices für eine k-Level Pyramide sind, so daß Lc(i, j, k) = wA(i, j, k)LA(i, j, k) + wB(i, j, k)LB(i, j, k)
  • [0092]
    Die Gewichte wA und wB werden für jede Pixelabfrageposition aus Ausprägungsmaßen bestimmt, die in der Umgebung der Position berechnet werden. Diese Gewichte werden üblicherweise normalisiert, so daß wA(i, j, k) + wB(i, j, k) = 1
  • [0093]
    In einer Gradientenpyramidenimplementierung des Fusionsprozesses, der in 11 gezeigt ist, ist jeder Pixelabfragewert für eine kombinierte Bildpyramide DC(i, j, k, l) ein gewichtetes Mittel der Pixelabfragewerte der Quellbildpyramiden DA(i, j, k, l) und DB(i, h, k, l), wobei L der Giadientenorientierungsindex dieser Pixelabfrage ist, so daß DC(i, j, k, l) = wA(i, j, k, l)DA(i, j, k, l) + wB(i, j, k, l)DB(i, jh, k, l)
  • [0094]
    In 12 ist ein Beispiel des Fusionsprozesses von 11 gezeigt, der eine Laplace-Pyramide LA einsetzt, die drei Pyramidenlevel LA(0), LA(1) und LA(2) mit geringer werdender Abfragedichte aufweist, die aus den angelegten Pixelabfragewerten des Quellbildes A abgeleitet werden. Eine ähnliche 3-Level Laplace-Pyramide LB wird aus den angelegten Pixelabfragewerten des Quellbildes B abgeleitet. Ein monochromes, verschmolzenes, zusammengesetztes Bild C wird aus den Laplace-Pyramiden LA und LB in einer im Stand der Technik bekannten Art und Weise abgeleitet. Genauer gesagt, werden relative Wichtungsfaktoren wA und wB für die jeweiligen Pixelabfragen der Laplace-Pyramiden LA und LB in Übereinstimmung mit Ausprägungsmaßen berechnet, der Wert jeder Pixelabfrage der Laplace-Pyramide LA wird mit deren Wichtungsfaktor wA multipliziert; der Wert von jeder Pixelabfrage der Laplace-Pyramide LB wird mit deren Wichtungsfaktor wB multipliziert und die jeweiligen Werte der entsprechenden positionierten gewichteten Pixelabfragen von jedem Level der Pyramiden LA und LB werden summiert und danach werden sie als eine Eingabe zu einer Laplace-Rekonstruktionspyramide LC angelegt, die drei Pyramidenniveaus LC(2), LC(1) und LC(0) mit ansteigender Abfragedichte aufweist. Die Laplace-Rekonstruktionspyramide LC kann entweder als eine RE Laplace-Pyramide oder als eine FSD Laplace-Pyramide implementiert sein. Die Ausgabe der Laplace-Rekonstruktionspyramide LC ist das monochrome, verschmolzene, zusammengesetzte Bild C von 11, das ein Hochauflösungsbild aufweist, das aus Pixelabfragen auf der hohen L(0) Dichte zusammengesetzt ist.
  • [0095]
    Für den Fall einer Laplace-Pyramidenimplementierung des Fusionsprozesses zeigt 12 ebenso einen Fusionsprozeß für das Einsetzen der berechneten Wichtungsfaktoren wA und wB (die in der oben beschriebenen Ableitung des monochromen, verschmolzenen, zusammengesetzten Bildes C verwendet werden) für das Ableiten der Wichtungsbilder W1 und W2 von 11. Wie oben erläutert, hat jede Pixelabfrage der Bildwichtungsfunktionen W1 und W2 einen Wert zwischen 0 und 1. Diese Pixelabfragewerte können die relativen Beiträge der Quellbilder A und B zu dem zusammengesetzten Bild C über alle Level der Laplace-Pyramide repräsentieren oder können alternativ dazu die relativen Beiträge von zwei unterschiedlichen Laplace-Pyramidenlevel eines ausgewählten Bildes der Quellbilder A und B zu dem zusammengesetzten Bild C repräsentieren, wie unten detaillierter beschrieben wird. Weiterhin trägt das Gewicht w(i, j, k) an jeder Pixelabfrageposition (i, j, k) in der Laplace-Pyramide zu den Bildwichtungsfunktionen W1 und W2 über einen Bereich bei, der mit der Größe der Basisfunktion an den Pyramidenabfragen L(i, j, k) kommensurabel ist.
  • [0096]
    In 12 beinhaltet der Fusionsprozeß eine erste Komponentengewichtungsrekonstruktionspyramide HW1 und eine zweite Komponentengewichtungsrekonstruktionspyramide HW2. In dem Laplace-Pyramidenfall von 12 ist jede Komponentenwichtungspyramide HW1 und HW2 eine Gauß-Rekonstruktionspyramide (unten detaillierter beschrieben), die aus Pyramidenleveln Hn(2), Hn(1) und Hn(0) zusammengesetzt ist. Eine Kombination aus berechneten Gewichten wA und wB ist verfügbar für jede der komponentengewichteten Pyramiden HW1 und HW2, wobei die Kombination auswählbar ist. In einem ersten Fall, in dem Abfragewerte die relativen Beiträge der Quellbilder A und B zu dem zusammengesetzten Bild C über alle Level der Laplace-Pyramide repräsentieren, werden die Gewichte wA (oder alternativ der Gewichte wB) über alle diese Level zu der ersten komponentengewichteten Rekonstruktionspyramide HW1 weitergeleitet und HW2 wird das Gewicht 0 zugewiesen oder ignoriert. In einem zweiten Fall, in dem die Abfragewerte die relativen Beiträge von zwei unterschiedlichen Laplace-Pyramidenleveln eines ausgewählten Quellbildes der Quellbilder A und B zu dem zusammengesetzten Bild C repräsentieren, wird eine erste Kombination der Gewichte wA (oder alternativ der Gewichte wB), die bei der Rekonstruktion eines ersten dieser beiden unterschiedlichen Level des zusammengesetzten Bildes C verwendet werden, wobei das ausgewählte Quellbild A (oder alternativ B) ist und zu der ersten komponentenwichtenden Rekonstruktionspyramide HW1 weitergeleitet wird und eine zweite Kombination dieser Gewichte des ausgewählten Quellbildes, die bei der Rekonstruktion eines zweiten der zwei unterschiedlichen Level des zusammengesetzten Bildes C verwendet werden, zu der zweiten komponentenwichtenden Rekonstruktionspyramide HW2 weitergeleitet wird.
  • [0097]
    Im allgemeinen reflektiert in dem ersten Fall die Funktion W1 den relativen Beitrag des Quellbildes A zu dem zusammengesetzten Bild C über einen Satz von Pyramidenleveln k = 0, 1,...,K, so daß HW1(i, j, k) = wA(i, j, k) ist. Da die Pyramide HW1 eine Gaußpyramide G1 ist, die über dieselbe Erweiterungs- und Hinzufügungsprozedur rekonstruiert wird, die bei der Rekonstruktion eines Bildes aus seiner Laplyce-Pyramidendarstellung rekonstruiert wird (d.h. rekursiv „von oben nach unten" erzeugt wird), wird G1(K) = WW1(K) und G1(k) = G1(k + l : 1) (k), wobei G1(k + l : 1) anzeigt, das G1(k + 1) einmal expandiert oder interpoliert wurde, so daß es mit der Größe von G1(k) übereinstimmt. Wenn jedes Niveau von HW1 einen Wert z wischen 0 und 1, wird das Basisniveau von G1 Werte zwischen 0 und K + I haben, die auf ein Einheitsintervall normalisiert werden können, um W1 zu bilden. Somit ist W1 = G1(0)/(K + 1).
  • [0098]
    In dem zweiten Fall, in dem W1 die relativen Beiträge des ausgewählten Quellbildes A über seine Niedrigauflösungspyramideniveaus darstellt und W2 die relativen Beiträge des ausgewählten Quellbildes A über seine Hochauflösungspyramidenniveaus darstellt, ist HW1(k) = k wA(k) und HW2(k) = (K – k) wA(k) Die rekonstruierten Gaußpyramiden W1 und W2 werden erhalten aus HW1 und HW2, wie in der Beschreibung des ersten Falles ausgeführt ist. Somit ist nach der Normalisierung W1= 2G1(0)/(K(K + 1)) und W2 = 2G2(0)/(K(K + 1)).
  • [0099]
    Mit einer kleinen Modifikation kann die oben beschriebene Lapace-Pyramidenimplementierung des Fusionsprozesses auf eine Gradientenpyramidenimplementierung angewendet werden. Wie oben gelehrt, wird ein Bild aus seiner Gradientenpyramidendarstellung über eine Sequenz von vier Schritten wiederhergestellt. Als erstes wird für jede Orientierung l der Level k der Gradientenpyramide D(k, l) mit einem entsprechenden Gradientenfilter g(l) gefaltet, um eine entsprechende orientierte Pyramide der zweiten Ableitung L(k, l) zu erhalten. Als zweites werden die orientierten zweite Ableitungspyramiden addiert, um einen FSE Laplace zu erhalten. Drittens wird der RE Laplace wiederhergestellt aus dem FSD durch die Anwendung eines Umwandlungsfilters. Schließlich wird das Bild wiederhergestellt aus dem RE Laplace durch das Standarderweiterungs-Additionsverfahren.
  • [0100]
    Dieses Verfahren kann modifiziert werden, um die Gewichtungsbilder W1 und W2 aus den Gewichten wA und wB wiederherzustellen. Beispielsweise, um W1 zu erhalten, das den relativen Beitrag des Bildes A zu dem zusammengesetzten Bild C über alle Level und Orientierungen darstellt (analog zu der ersten Prozedur, die oben für die Laplace-Pyramide ausgeführt wurde), wird die orientierte komponentenwichtende Pyramide HW1 festgelegt als HW1(i, j, k, l) = wA(i, j, k, l). Ein rekonstruierter Gauß G1 wird konstruiert aus HW1 über die oben ausgeführte vier Schritt Prozedur, abgesehen davon, daß die Ableitungsfilter d(1) durch die entsprechenden zwei Abgriffsmittelungsfilter b(l) in dem ersten Schritt der Prozedur ersetzt werden, so daß für den horizontalen Fall d(0) = [1, –1] ersetzt wird durch b(0) = [1, 1]. Diese Modifikation wandelt die Gradientenbasisfunktionen implizit in die Rekonstruktion der Bilder aus den Gradientenpyramiden D in orientierten Gaußbasisfunktionen derselben Größe um. Das Basisniveau des rekonstruierten Gauß GW1,(0) wird dann normalisiert, um die Wichtungsfunktion W1 zu bilden.
  • [0101]
    Eine Modifikation dieser Prozedur analog zu der, die im Fall der Laplace-Pyramide beschrieben wurde, kann verwendet werden, um ein W1 zu bilden, das relative Beiträge der Quellbilder auf Niedrigauflösungspyramidenleveln repräsentiert, und um ein W2 zu bilden, das relative Beiträge der Quellbilder bei Hochaufläsungspyramidenniveaus repräsentiert.
  • [0102]
    Obgleich die oben beschriebenen bevorzugten Ausführungsformen des Verfahrens für das Erweitern eines monochromen, zusammengesetzten Bildes von zwei verschmolzenen Quellbildern mit zwei Gegenfarben die Pyramidentechniken für das Ableiten der Y-, I- und Q-Videokanäle eines NTSC-Bildes einsetzen, können auch andere Techniken außer den Pyramidentechniken für diesen Zweck eingesetzt werden und es können mehr als zwei Gegenfarben eingesetzt werden. Beispiels weise kann ein monochromes, zusammengesetztes Bild von drei verschmolzenen Quellbildern mit Farbe erweitert werden unter Verwendung der drei Gegenfarben rot, grün und blau.
  • [0103]
    Das hier beschriebene Verfahren verwendet kantenartige Musterelemente vieler Skalierungen und Orientierungen als die lokalen Szenenmerkmale, die in einem zusammengesetzten Bild verwendet werden. Andere richtungssensitive Techniken für das Messen von Merkmalen in einem Bild können ebenso in dem Verfahren der Erfindung verwendet werden. Es versteht sich ebenso, daß andere als Pyramiden verarbeitende Verfahren und Einrichtungen für das Bereitstellen von Bildern anderer Skalierungen verwendet werden können.
  • [0104]
    Eine Gradientenpyramide für das Bild I kann erhalten werden durch Anwenden eines Gradientenoperators an jedem Level seiner Gaußpyramidendarstellung. Das Bild kann vollständig dargestellt werden durch einen Satz vier solcher Gradientenpyramiden, einer jeweils für die Ableitungen in horizontaler Richtung, vertikaler Richtung und in den beiden Diagonalrichtungen.
  • [0105]
    Es sei Gk der k-te Level für die Gaußpyramide für I. Dann ist G0(i, j) = I(i, j) und für k > 0 ist Gk = [w * Gk-l]: Hier ist w der erzeugende Kernel und die Notation [ ... ]2 zeigt an, daß die Bildanordnung in Klammem um Zwei sowohl in der horizontalen als auch der vertikalen Richtung subgesampelt wird (down sampled).
  • [0106]
    Dkl wird aus Gk durch Faltung mit einem Gradientenfilter dl erhalten; Dkl = d1 * [Gk + w' * Gk],wobei Dkl der k-te Level der Pyramide und die l-te Orientierung ist und w ein fünf mal fünf Binominalfilter, wie oben beschrieben, ist.
  • [0107]
    Ein Verfahren für die Rekonstruktion eines Bildes aus seiner Gradientenpyramidendarstellung weist die Schritte auf:
    • (a) Umwandeln jedes Gradientenpyramidenlevels Dkl in eine entsprechende zweite Ableitungspyramiden- (oder orientiertes Laplace)Niveau Lkl über eine zweite Anwendung des Gradientenfilters Lk = –[d1 * Dkl][1/8],
    • (b) Summieren der orientierten Laplace-Pyramiden, um einen FSD (Filter-Subtraktions-Dezimierungs)-Laplace-Pyramide Lk = S1 4 Lk] zu bilden,
    • (c) Umwandeln des FSD Laplace Lk in einen Reduzier-Expandier-(RE) Laplace Lk = Lk + w * Lk über eine Filterfaltung, wie beschrieben wurde von Burt und
    • (d) Erhalten des rekonstruierten Gauß G aus dem Reduzier-Expandier-Laplace über eine Interpolations- und Additionsprozedur unter Verwendung aller Niveaus des Reduzier-Expandier-Laplace sowie das oberste Niveau der Gaußfunktion GN = GN und für k < N, Gk = Lk + 4w * [Gk+1] ≠ 2. Wobei die Notation [ ... ] ≠ 2 anzeigt, daß die Bildanordnung in Klammern upgesampelt wird durch Einfügen von n – 1 nullwertigen Reihen und Spalten zwischen jeder Reihe und Spalte des Bildes.
  • [0108]
    Die iterative Anwendung dieser Prozedur führt zu G(0), die rekonstruierte Version des Ursprungsbildes G(0).

Claims (36)

  1. Verfahren zum Bilden eines zusammengesetzten Bildes Ic aus N Quellbildern In, wobei n = 1 bis N und N größer als Eins ist, wobei das Verfahren die Schritte aufweist: (a) Zerlegen jedes Quellbildes In in eine Mehrzahl L von Gruppen aus orientierten Komponentenmustern Pn(m,l) unter Verwendung einer Mehrzahl von orientierten bzw. gerichteten Funktionen, wobei m die Anzahl von Mustern in jedem der L Sätze für das n-te Quellbild ist und l = 1 bis L und die Orientierung der orientierten Muster anzeigt, (b) Berechnen eines Herausragungs- bzw. Ausprägungsmaßes Sn(m,l) für jedes orientierte Komponentenmuster Pn(m,l), (c) Berechnen eines Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic aus den orientierten Komponentenmustersätren Pn(m,l) und den Ausprägungsmaßen Sn(m,l) für jedes der orientierten Komponentenmuster, und (d) Erstellen des zusammengesetzten Bildes Ic aus dem Satz von berechneten, orientierten Komponentenmustern Pc(m,l).
  2. Verfahren nach Anspruch 1, das weiterhin den Schritt aufweist des Ausrichtens der Quellbilder In vor Schritt (a).
  3. Verfahren nach Anspruch 1 oder 2, bei dem der Schritt (a) des Zerlegens jedes Quellbildes In in eine Mehrzahl L von Sätzen von orientierten Komponentenmustern Pn(m,l) das Anwenden orientierter Funktionen an ein Quellbild In an jedem Bildelement von jedem Quellbild In aufweist.
  4. Verfahren nach Anspruch 3, wobei die orientierten Funktionen Gradientenfunktionen sind.
  5. Verfahren nach Anspruch 1, 2, 3 oder 4, wobei in Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic das Auswählen der orientierten Komponentenmuster Pn(m,l) mit der größten Ausprägung für jeden Wert von m und l aufweist.
  6. Verfahren nach Anspruch 5, bei dem der Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic das Auswählen des orientierten Komponentenmusters Pn(m,l) mit dem größten Absolutwert aufweist.
  7. Verfahren nach Anspruch 1, 2, 3 oder 4, wobei Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic das Berechnen einer Linearkombination abhängig von den Ausprägungsmaßen der Amplituden der orientierten Komponentenmuster der Quellbilder In aufweist.
  8. Verfahren nach Anspruch 7, bei dem die Linearkombination der Amplituden der orientierten Komponentenmuster für jedes Quellbild In ein gewichteter Durchschnitt der Amplituden der orientierten Komponentenmuster der Quellbilder In ist, wobei die Gewichte von den Ausprägungsmaßen abhängen.
  9. Verfahren nach einem der vorherigen Ansprüche, das weiterhin aufweist den Schritt des Berechnens eines Übereinstimmungsmaßes Mn1,n2(m,l) für jedes Paar aus orientierten Komponentenmustersätzen Pn1(m,l), Pn2(m,l) entsprechend den Quellbildern In1 und In2, die miteinander abgestimmt werden und wobei der Schritt (c) des Bildens des Satzes von orientierten Komponentenmustern Pc(m,l) die Übereinstimmungsmaße Mn1,n2(m,l) und die Ausprägungsmaße Sn(m,l) verwendet, um den Satz von orientierten Komponentenmustern Pc(m,l), aus denen das zusammengesetzte Bild Ic erstellt wird, zu bilden.
  10. Verfahren nach Anspruch 1, bei dem: Schritt (a) das Zerlegen jedes Quellbildes (In) in eine Hierarchie einer Mehrzahl K von Bildern In(k) mit jeweils unterschiedlicher Auflösung, wobei k = 1 bis K ist, und dann das Zerlegen jedes der Bilder In(k) in eine Mehrzahl L von Sätzen von orientierten Komponentenmustern Pn(m,k,l) aufweist, Schritt (b) das Berechnen eines Ausprägungsmaßes Sn(m,k,l) für jedes orientierte Komponentenmuster Pn(m,k,l) aufweist, Schritt (c) das Berechnen aus den orientierten Komponentenmustersätren Pn(m,k,l) und den Ausprägungsmaßen Sn(m,k,l) eines Satzes von orientierten Komponentenmustem Pc(m,k,l) des zusammengesetzten Bildes Ic aufweist, und Schritt (d) das Erstellen des zusammengesetzten Bildes Ic aus dem Satz von orientierten Komponentenmustern Pc(m,k,l) aufweist.
  11. Verfahren nach Anspruch 10, wobei der Schritt (a) des Zerlegens jedes Bildes In(k) in eine Mehrzahl L von Sätzen von orientierten Komponentenmustern Pn(m,k,l) das Anwenden orientierter Funktionen an ein Merkmal von jedem Element von jedem Quellbild In aufweist.
  12. Verfahren nach Anspruch 12, wobei die orientierten Funktionen Gradientenfunktionen sind.
  13. Verfahren nach Anspruch 10, 11 oder 12, wobei der Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern aus den Quellbildmustersätren Pn(m,k,l) für jeden Wert von m, k und l das Auswählen des orientierten Komponentenmusters mit der größten Ausprägung aufweist.
  14. Verfahren nach Anspruch 13, wobei der Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern aus den orientierten Komponentenmustersätzen Pn(m,k,l) für jeden Wert von m, k und l das Auswählen des orientierten Komponentenmusters mit der Amplitude mit dem größten Absolutwert aufweist.
  15. Verfahren nach Anspruch 10, 11 oder 12, wobei der Schritt (c) des Berechnens des Satzes von orientierten Komponentenmustern aus den orientierten Komponentenmustersätzen Pn(m,k,l) für jeden Wert von m, k und l das Berechnen einer Linearkombination abhängig von den Ausprägungswerten der Amplituden der orientierten Komponentenmustern des Quellbildes In aufweist.
  16. Verfahren nach Anspruch 15, bei dem die Linearkombination von Amplituden der orientierten Komponentenmuster für jedes Quellbild In ein gewichteter Durchschnitt der Amplituden der orientierten Komponentenmuster der Quellbilder In ist, wobei die Gewichte von den Ausprägungsmaßen abhängen.
  17. Verfahren nach Anspruch 4 oder 12, wobei der Gradient die erste Ableitung der Intensität des Quellbildes In bei jedem Bildelement in einer ersten und zweiten orthogonalen Richtung in jedem Quellbild In ist.
  18. Verfahren nach Anspruch 17, bei dem der Gradient ebenso die erste Ableitung der Intensität des Quellbildes In in der dritten und vierten Richtung in jedem Quellbild In ist, die orthogonal zueinander sind und in einem 45°-Winkel zu der ersten Richtung verlaufen.
  19. Verfahren nach Anspruch 8 oder 16, wobei das Gewicht, das einem bestimmten orientierten Komponentenmuster zugewiesen wird, in jedem der Quellbilder In der gewichtete quadratische Mittelwert der Amplitude des bestimmten orientierten Komponentenmusters und eines anderen orientierten Komponentenmusters innerhalb einer lokalen Umgebung ist.
  20. Verfahren nach Anspruch 8 oder 16, bei dem das Gewicht, das in jedem der Quellbilder In einem bestimmten orientierten Komponentenmuster zugewiesen ist, von der normalisierten Ausprägung des bestimmten orientierten Komponentenmusters abhängt.
  21. Verfahren nach Anspruch 8 oder 16, wobei der gewichtete Durchschnitt der Amplitude der orientierten Komponentenmuster der gewichtete quadratische Mittelwert der Amplituden des bestimmten orientierten Komponentenmusters und anderer orientierter Komponentenmuster innerhalb einer lokalen Umgebung ist.
  22. Verfahren nach Anspruch 1, bei dem der Schritt des Zerlegens jedes Quellbildes In das Bilden von zwei oder mehreren Sätzen von Wavelets, die in unterschiedlichen Richtungen in jedem Quellbild In orientiert sind, aufweist.
  23. Verfahren nach Anspruch 22, das erste und zweite Waveletsätze in einer ersten und zweiten orthogonalen Richtung aufweist.
  24. Verfahren nach Anspruch 23, bei dem der Schritt (c) des Berechnens orientierter Komponentenmuster Pc(m,l) für jeden Wert von m und l das Auswählen des orientierten Komponentenmusters Pc(m,l) mit der größten Ausprägung aufweist.
  25. Verfahren nach Anspruch 1, wobei der Schritt (c) des Berechnens orientierter Komponentenmuster Pc(m,l) des zusammengesetzten Bildes Ic von den Quellbildmustersätren Pn(m,l) für jeden Wert von m und l das Berechnen eines gewichteten Durchschnitts der Amplituden der orientierten Komponentenmuster der Quellbilder aufweist, wobei die Gewichte von den Ausprägungsmaßen abhängen und wobei der Schritt (d) das zusammengesetzte Bild Ic hierdurch erstellt und weiterhin die Schritte aufweist: Zuweisen von Amplituden einer ersten von Gegenfarben zu ersten Komponentenmustern in Übereinstimmung mit ihrem normalisierten Wichtungsbeitrag zu dem gewichteten Durchschnitt der Amplituden der Komponentenmuster der Quellbilder und Zuweisen von Amplituden einer zweiten der Gegenfarben zu zweiten Komponentenmustern in Übereinstimmung mit ihren normalisierten Wichtungsbeiträgen zu dem gewichteten Durchschnitt der Amplituden der Komponentenmuster der Quellbilder und Hinzufügen der ersten und zweiten Gegenfarben zu dem zusammengesetzten Bild In.
  26. Verfahren nach Anspruch 25, wobei das zusammengesetzte Bild ein NTSC-Videobild ist, in dem der Y-Helligkeitskanal hiervon festgelegt ist durch den gewichteten Durchschnitt der Amplituden der orientieren Komponentenmuster der Quellbilder In, wobei der I-Farbkanal festgelegt ist durch die Amplituden der ersten der Gegenfarben und wobei der Q-Farbkanal festgelegt ist durch die Amplituden der zweiten der Gegenfarben.
  27. Vorrichtung für das Bilden eines zusammengesetzten Bildes In aus einer Mehrzahl von N Quellbildern In, wobei n = 1 bis N und N größer als Eins ist, wobei die Vorrichtung aufweist: eine Einrichtung für das Zerlegen jedes Quellbildes In in eine Mehrzahl von L Sätzen von orientierten Komponentenmustern Pn(m,l) unter Verwendung einer Mehrzahl von orientierten Funktionen, wobei m die Anzahl von Mustern in jedem der l Sätze für das n-te Quellbild ist und l = 1 bis L und die Orientierung der orientierten Muster anzeigt, eine Einrichtung für das Berechnen eines Ausprägungsmaßes Sn(m,l) für jedes orientierte Komponentenmuster Pn(m,l), das mit der Zerlegungseinrichtung verbunden ist, eine Einrichtung für das Berechnen aus den orientierten Komponentenmustersätzen Pn(m,l) und den Ausprägungsmaßen Sn(m, l) für jedes der orientierten Komponentenmuster eines Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic und eine Einrichtung für das Konstruieren des zusammengesetzten Bildes Ic aus dem Satz von berechneten orientierten Komponentenmustern Pc(m,l).
  28. Vorrichtung nach Anspruch 27, bei der: die Zerlegungseinrichtung jedes Quellbild In in eine Hierarchie einer Mehrzahl K von Bildern In(k) mit jeweils unterschiedlichen Auflösungen zerlegt, wobei k = 1 bis K und dann jedes der Bilder In(k) in eine Mehrzahl L von Sätzen von orientierten Komponentenmustern Pn(m,k,l) zerlegt, die Ausprägungsberechnungseinrichtung ein Ausprägungsmaß Sn(m,k,l) für jedes orientierte Komponentenmuster Pn(m,k,l) berechnet, die Mustersatzberechnungseinrichtung einen Satz von orientierten Komponentenmustern Pc(m,k,l) aus den orientierten Komponentenmustersätren Pn(m,k,l) und den Ausprägungsmaßen Sn(m,k,l) bildet und die Konstruktionseinrichtung das zusammengesetzte Bild aus dem Satz von orientierten Komponentenmustern Pc(m,k,l) konstruiert.
  29. Vorrichtung nach Anspruch 27 oder 28, bei der die Einrichtung für das Zerlegen jedes Quellbildes In eine Einrichtung für das Durchführen einer Mehrzahl von unterschiedlichen Gradientenoperationen auf jedem der Quellbilder In aufweist.
  30. Vorrichtung nach Anspruch 29, bei der die Einrichtung für das Konstruieren des zusammengesetzten Bildes In dieselben Gradientenoperationen auf jedem Satz von orientierten Komponentenmustern durchführt, wie durch die Zerlegungseinrichtung durchgeführt wurden.
  31. Vorrichtung nach Anspruch 27, bei der die Einrichtung für das Berechnen eines Ausprägungsmaßes Sn(m,l) eines Komponentenmusters Pn(m,l) eine gewichtete Funktion der Amplitude Dn(m,l) des Komponentenmusters berechnet.
  32. Vorrichtung nach Anspruch 29, wobei die Einrichtung für das Berechnen eines Ausprägungsmaßes Sn(m,l) für jedes Komponentenmuster Pn(m,l) eine Einrichtung für das Berechnen eines gewichteten quadratischen Mittels der Amplitude Dn(m,l) von jedem orientierten Komponentenmuster aufweist.
  33. Vorrichtung nach Anspruch 31 oder 32, wobei die Mustersatzberechnungseinrichtung die Amplitude Dc(m,l) eines kombinierten orientierten Komponentenmusters (Pc(m,l) als ein gewichtetes Mittel des Musters für jede Orientierung berechnet, wobei die Gewichte von den Ausprägungsmaßen (Sn(m,l) abhängen.
  34. Vorrichtung nach Anspruch 27 für das Bilden eines zusammengesetzten Bildes Ic von zumindest einem ersten und einem zweiten Monochromquellbild In1 und In2, wobei die Einrichtung für das Berechnen eines Satzes von orientierten Komponentenmustern Pc(m,l) des zusammengesetzten Bildes Ic ein gewichtetes Mittel der Amplituden der orientierten Komponentenmuster der Quellbilder berechnet, wobei die Wichtungen von den Ausprägungsmaßen abhängen, und die Konstruktionseinrichtung ein zusammengesetztes Bild hieraus bildet und weiterhin aufweist erste Einrichtungen für das Zuweisen von Amplituden einer ersten von Gegenfarben zu ersten Komponentenmustern in Übereinstimmung mit deren normalisiertem Gewichtsbeitrag zu dem gewichteten Mittel der Amplituden der Komponentenmuster der Quellbilder und zweite Einrichtungen für das Zuweisen von Amplituden einer zweiten der Gegenfarben zu zweiten Komponentenmustern in Übereinstimmung mit ihren normalisierten Wichtungsbeiträgen zu dem gewichteten Mittel der Amplituden der Komponentenmuster der Quellbilder und Hinzufügen der ersten und zweiten Gegenfarben zu dem zusammengesetzten Bild Ic.
  35. Vorrichtung nach Anspruch 34, bei der das zusammengesetzte Farbbild ein NTSC-Videobild ist, in dem die Hinzufügungseinrichtung den Y-Helligkeitskanal hiervon aus dem monochromen zusammengesetzten Bild ableitet, den I-Farbkanal aus dem Ausgang der ersten Einrichtung ableitet und den Q-Farbkanal aus dem Ausgang der zweiten Einrichtung ableitet.
  36. Vorrichtung nach Anspruch 34 oder 35, bei der: die erste Einrichtung eine Einrichtung beinhaltet, die auf die normalisierten Gewichte einer ersten ausgewählten Gruppe der gegebenen Komponentenmuster unterschiedlicher Auflösung der Quellbilder reagiert für das Ableiten eines ersten gewichteten Bildes für die erste der Gegenfarben und die zweite Einrichtung eine Einrichtung beinhaltet, die auf die normalisierten Gewichte einer zweiten ausgewählten Gruppe der Quellbilder reagiert für das Ableiten eines zweiten gewichteten Bildes für die zweite der Gegenfarben.
DE1993633846 1992-05-15 1993-05-12 Verfahren zur mischung von bildern und vorrichtung hierzu. Expired - Lifetime DE69333846T2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US07884098 US5325449A (en) 1992-05-15 1992-05-15 Method for fusing images and apparatus therefor
US884098 1992-05-15
PCT/US1993/004315 WO1993023823A1 (en) 1992-05-15 1993-05-12 Method for fusing images and apparatus therefor

Publications (1)

Publication Number Publication Date
DE69333846T2 true DE69333846T2 (de) 2006-05-24

Family

ID=25383948

Family Applications (2)

Application Number Title Priority Date Filing Date
DE1993633846 Expired - Lifetime DE69333846T2 (de) 1992-05-15 1993-05-12 Verfahren zur mischung von bildern und vorrichtung hierzu.
DE1993633846 Expired - Fee Related DE69333846D1 (de) 1992-05-15 1993-05-12 Verfahren zur mischung von bildern und vorrichtung hierzu.

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE1993633846 Expired - Fee Related DE69333846D1 (de) 1992-05-15 1993-05-12 Verfahren zur mischung von bildern und vorrichtung hierzu.

Country Status (5)

Country Link
US (2) US5325449A (de)
JP (1) JP3328934B2 (de)
DE (2) DE69333846T2 (de)
EP (1) EP0640232B1 (de)
WO (1) WO1993023823A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010047675A1 (de) * 2010-10-06 2012-04-12 Testo Ag Verfahren zum Aufbereiten eines IR-Bildes und korrespondierende Wärmebildkamera

Families Citing this family (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP3184639B2 (ja) * 1992-11-16 2001-07-09 キヤノン株式会社 画像処理装置及び方法
EP0610602B2 (de) * 1993-02-11 2010-11-24 Agfa HealthCare N.V. Verfahren zur Darstellung von Strahlungsbildern
JP3499254B2 (ja) * 1993-06-04 2004-02-23 富士写真フイルム株式会社 画像データ圧縮処理方法
EP0664525B1 (de) * 1993-07-31 2002-11-27 Sony Corporation Vorrichtung und verfahren zur automatischen bildentzerrung
DE69422871D1 (de) * 1993-09-17 2000-03-09 Eastman Kodak Co Digitaler integrierter Abtastratenumwandlungsschaltkreis und Anwendung bei einer schnellen Grössenänderung eines Bildes
JPH07115534A (ja) * 1993-10-15 1995-05-02 Minolta Co Ltd 画像読取装置
DE69425416D1 (de) * 1993-11-26 2000-09-07 Koninkl Philips Electronics Nv Verfahren zur Bildzusammensetzung und Bilderzeugungsvorrichtung zur Durchführung dieses Verfahrens
JPH07200833A (ja) * 1993-12-08 1995-08-04 Nec Corp 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法
US5489782A (en) * 1994-03-24 1996-02-06 Imaging Laboratory, Inc. Method and apparatus for quantum-limited data acquisition
DE69533117T2 (de) * 1994-03-31 2005-10-20 Fuji Photo Film Co. Ltd., Minamiashigara Verfahren zur Bearbeitung von Überlagerungsbildern
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5767987A (en) * 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
GB2295936B (en) * 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
US5594853A (en) * 1995-01-03 1997-01-14 University Of Washington Method and system for editing the general sweep and detail of a figure with a curve
US5666475A (en) * 1995-01-03 1997-09-09 University Of Washington Method and system for editing multiresolution images at fractional-levels of resolution using a wavelet representation
JP3361643B2 (ja) * 1995-02-14 2003-01-07 富士通株式会社 画像処理システム
DE19517028A1 (de) * 1995-05-10 1996-11-14 Bosch Gmbh Robert Verfahren zur Erstellung einer Objektmaske für Videoüberwachungsanlagen
US5854856A (en) * 1995-07-19 1998-12-29 Carnegie Mellon University Content based video compression system
US5710835A (en) * 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
US6201879B1 (en) * 1996-02-09 2001-03-13 Massachusetts Institute Of Technology Method and apparatus for logo hiding in images
US5917934A (en) * 1996-03-15 1999-06-29 Sony Corporation Automated visual inspection apparatus for detecting defects and for measuring defect size
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US5963675A (en) * 1996-04-17 1999-10-05 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US6567564B1 (en) 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6081606A (en) * 1996-06-17 2000-06-27 Sarnoff Corporation Apparatus and a method for detecting motion within an image sequence
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5999679A (en) 1997-07-14 1999-12-07 Corning Incorporated Dispersion compensating single mode waveguide
US6175655B1 (en) * 1996-09-19 2001-01-16 Integrated Medical Systems, Inc. Medical imaging system for displaying, manipulating and analyzing three-dimensional images
US5917961A (en) * 1996-10-30 1999-06-29 Hewlett-Packard Co. Image convolution using pre-calculated lookup tables
KR20000064963A (ko) * 1997-02-21 2000-11-06 엠. 제이. 엠. 반 캄 비디오 이미지를 기록 및 재생하는 방법 및 장치
US6137919A (en) * 1997-04-04 2000-10-24 Avid Technology, Inc. Apparatus and methods for feathering a composite image
US6128001A (en) * 1997-04-04 2000-10-03 Avid Technology, Inc. Methods and apparatus for changing a color of an image
US6269195B1 (en) 1997-04-04 2001-07-31 Avid Technology, Inc. Apparatus and methods for selectively feathering a composite image
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
US6160907A (en) * 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
US6084590A (en) * 1997-04-07 2000-07-04 Synapix, Inc. Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
JP3695084B2 (ja) * 1997-09-19 2005-09-14 コニカミノルタビジネステクノロジーズ株式会社 類似画像検索装置および類似画像の検索方法およびプログラム記憶媒体
US6141459A (en) * 1997-09-24 2000-10-31 Sarnoff Corporation Method and apparatus for processing image pyramid borders
WO1999017553A1 (en) * 1997-09-30 1999-04-08 Koninklijke Philips Electronics N.V. Method for mixing pictures and a display apparatus
US6928187B2 (en) * 2000-04-07 2005-08-09 Avid Technology, Inc. Secondary color modification of a digital image
US6088470A (en) * 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
EP0938231B1 (de) * 1998-02-06 2003-12-17 Österreichisches Forschungszentrum Seibersdorf Ges.M.B.H. Verfahren und Anordnung zur Aufnahme und Auswertung von Bildern eines Gegenstandes
JPH11296666A (ja) * 1998-02-16 1999-10-29 Sony Corp 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
JP2004502321A (ja) 1998-04-02 2004-01-22 ケワジンガ・コーポレーション カメラのアレーを利用した操作可能な遠隔臨場方法およびシステム
US6266053B1 (en) 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
US6351557B1 (en) 1998-04-03 2002-02-26 Avid Technology, Inc. Method and apparatus for color manipulation
US6249285B1 (en) 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
US6297825B1 (en) 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
US6404431B1 (en) 1998-04-13 2002-06-11 Northrop Grumman Corporation Virtual map store/cartographic processor
US6584235B1 (en) * 1998-04-23 2003-06-24 Micron Technology, Inc. Wide dynamic range fusion using memory look-up
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
US6633685B1 (en) * 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
US6782132B1 (en) 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
WO2000013407A1 (en) * 1998-08-28 2000-03-09 Sarnoff Corporation Method and apparatus for electronically enhancing images
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
DE19848765C2 (de) * 1998-10-22 2000-12-21 Brainlab Med Computersyst Gmbh Positionsverifizierung in Kamerabildern
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US8085342B2 (en) * 1998-12-22 2011-12-27 California Institute Of Technology Highly miniaturized, battery operated, digital wireless camera using programmable single chip active pixel sensor (APS) digital camera chip
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
US6950139B2 (en) * 1999-01-22 2005-09-27 Nikon Corporation Image reading device and storage medium storing control procedure for image reading device
US6535639B1 (en) * 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US6417891B1 (en) 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
US6571255B1 (en) 1999-04-16 2003-05-27 Robert Gonsalves Modification of media with common attributes on a digital nonlinear editing system
US6847373B1 (en) 1999-04-16 2005-01-25 Avid Technology, Inc. Natural color matching in a video editing system
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
US6396940B1 (en) 1999-05-27 2002-05-28 Litton Systems, Inc. Optical correlator based automated pathologic region of interest selector for integrated 3D ultrasound and digital mammography
US6633657B1 (en) * 1999-07-15 2003-10-14 General Electric Company Method and apparatus for controlling a dynamic range of a digital diagnostic image
US6647151B1 (en) 1999-08-18 2003-11-11 Hewlett-Packard Development Company, L.P. Coalescence of device independent bitmaps for artifact avoidance
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
WO2001028405A3 (en) 1999-10-20 2001-09-13 Univ Pennsylvania Enhancement of images for ophthalmic disgnosis
US6694064B1 (en) 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
FR2802653B1 (fr) * 1999-12-21 2003-01-24 Poseidon Procede et systeme pour detecter un objet devant un fond
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6516087B1 (en) 2000-01-10 2003-02-04 Sensar, Inc. Method for real time correlation of stereo images
US20010013895A1 (en) * 2000-02-04 2001-08-16 Kiyoharu Aizawa Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein
JP4209061B2 (ja) * 2000-02-09 2009-01-14 富士フイルム株式会社 画像処理符号復号化方法および画像処理符号復号化システム、画像処理符号化装置および画像処理復号化装置、並びに記録媒体
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
US6993719B1 (en) 2000-02-11 2006-01-31 Sony Corporation System and method for animated character photo-editing interface and cross-platform education icon
WO2001069919B1 (en) * 2000-03-10 2002-03-14 Datacube Inc Image processing system using an array processor
US6477271B1 (en) 2000-04-07 2002-11-05 Avid Technology, Inc. Secondary color modification of a digital image
WO2001084828A1 (en) * 2000-04-27 2001-11-08 Litton Systems, Inc. Method and system for fusing images
EP1150252A3 (de) * 2000-04-28 2004-05-19 Matsushita Electric Industrial Co., Ltd. Erzeugung eines Bildes aus einer Vielzahl von Kamerabildern
JP2002027393A (ja) * 2000-07-04 2002-01-25 Teac Corp 画像処理装置、画像記録装置および画像再生装置
US6731825B1 (en) 2000-07-11 2004-05-04 Sarnoff Corporation Apparatus and method for producing images using digitally stored dynamic background sets
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
WO2002045003A1 (en) * 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
JP2002224982A (ja) * 2000-12-01 2002-08-13 Yaskawa Electric Corp 薄型基板搬送用ロボットおよび薄型基板検出方法
EP1348148B2 (de) 2000-12-22 2015-06-24 Jon Kristian Hagene Kamera
DE60212343T2 (de) * 2001-02-02 2007-06-14 Cellomics, Inc. Verfahren zur schätzung der besten anfangsfokussierung
US20020118301A1 (en) * 2001-02-27 2002-08-29 Michael Persiantsev Digital video effects created from spatial frequency banded frames
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US7240285B2 (en) * 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US6816627B2 (en) 2001-04-12 2004-11-09 Lockheed Martin Corporation System for morphological image fusion and change detection
US6996287B1 (en) * 2001-04-20 2006-02-07 Adobe Systems, Inc. Method and apparatus for texture cloning
JP2002345800A (ja) * 2001-05-23 2002-12-03 Konica Corp 医用画像処理装置及び医用ネットワークシステム
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
US20020181739A1 (en) * 2001-06-04 2002-12-05 Massachusetts Institute Of Technology Video system for monitoring and reporting weather conditions
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
FR2828054B1 (fr) * 2001-07-27 2003-11-28 Thomson Licensing Sa Procede et dispositif de codage d'une scene
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
CN1650622B (zh) * 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
WO2003087929A1 (en) * 2002-04-10 2003-10-23 Pan-X Imaging, Inc. A digital imaging system
US7218332B2 (en) * 2002-04-30 2007-05-15 Xerox Corporation Method and apparatus for windowing and image rendition
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
US7671871B2 (en) * 2002-06-21 2010-03-02 Avid Technology, Inc. Graphical user interface for color correction using curves
US7226426B2 (en) * 2002-07-25 2007-06-05 Thomson Paul E Apparatus and method for the detection and quantification of joint and tissue inflammation
US6898331B2 (en) * 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
US7171057B1 (en) 2002-10-16 2007-01-30 Adobe Systems Incorporated Image blending using non-affine interpolation
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
JP2004334843A (ja) * 2003-04-15 2004-11-25 Seiko Epson Corp 複数の画像から画像を合成する方法
JP2005039785A (ja) * 2003-06-30 2005-02-10 Seiko Epson Corp 画像処理装置、方法及びプログラム
US7312725B2 (en) * 2003-07-08 2007-12-25 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
DE102004003323A1 (de) * 2004-01-22 2005-08-18 Infineon Technologies Ag Halbleiterspeichervorrichtung und Schaltungsanordnung
US20050190990A1 (en) * 2004-01-27 2005-09-01 Burt Peter J. Method and apparatus for combining a plurality of images
JP4127537B2 (ja) * 2004-02-04 2008-07-30 富士フイルム株式会社 画像処理方法および装置並びにプログラム
WO2005088572A1 (en) * 2004-03-11 2005-09-22 Ultrawaves Design Holding B.V. Transmitter and receiver for a surveillance system
US7620265B1 (en) 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
US20050265633A1 (en) * 2004-05-25 2005-12-01 Sarnoff Corporation Low latency pyramid processor for image processing systems
WO2006003612A1 (en) * 2004-07-02 2006-01-12 Koninklijke Philips Electronics N.V. Face detection and/or recognition
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
US7961216B2 (en) * 2004-08-04 2011-06-14 Intergraph Software Technologies Company Real-time composite image comparator
JP2008511080A (ja) * 2004-08-23 2008-04-10 サーノフ コーポレーション 融合画像を形成するための方法および装置
US8265354B2 (en) * 2004-08-24 2012-09-11 Siemens Medical Solutions Usa, Inc. Feature-based composing for 3D MR angiography images
JP3918854B2 (ja) * 2004-09-06 2007-05-23 オムロン株式会社 基板検査方法および基板検査装置
EP1831657A4 (de) * 2004-12-03 2012-11-21 Fluke Corp Kombinierte bildkamera für sichtbares licht und ir mit einem laserpointer
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
US8531562B2 (en) 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US20080152251A1 (en) * 2005-01-31 2008-06-26 Koninklijke Philips Electronics, N.V. Pyramidal Decomposition for Multi-Resolution Image Filtering
US7471417B1 (en) 2005-03-17 2008-12-30 Adobe Systems Incorporated Method and apparatus for locating a source point for an image-retouching tool
US7760962B2 (en) * 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
US7733961B2 (en) * 2005-04-15 2010-06-08 Mississippi State University Research And Technology Corporation Remote sensing imagery accuracy analysis method and apparatus
US7978925B1 (en) 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US20060239579A1 (en) * 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
US20070031063A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a composite image from a set of images
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
US7903850B2 (en) * 2005-10-14 2011-03-08 Siemens Medical Solutions Usa, Inc. Method and apparatus for pre-processing scans by combining enhancement and denoising as a preparation for segmenting the same
US7539349B2 (en) * 2005-10-25 2009-05-26 Hewlett-Packard Development Company, L.P. Clear image using pixel voting
WO2007049323A1 (en) * 2005-10-28 2007-05-03 Sintesi S.C.P.A. Apparatus for moving surgical instruments
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
CN101375315B (zh) * 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
JP4085337B2 (ja) * 2006-02-13 2008-05-14 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP2007221282A (ja) * 2006-02-15 2007-08-30 Konica Minolta Business Technologies Inc 画像処理装置
EP2022008A4 (de) * 2006-05-09 2012-02-01 Technion Res & Dev Foundation Abbildungssysteme und verfahren zur wiederherstellung der objektsichtbarkeit
US7885469B2 (en) * 2006-05-22 2011-02-08 Microsoft Corporation Encoded high dynamic range textures
CN102685533B (zh) * 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US7636098B2 (en) * 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
KR100801088B1 (ko) * 2006-10-02 2008-02-05 삼성전자주식회사 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
US8049685B2 (en) * 2006-11-09 2011-11-01 Global Oled Technology Llc Passive matrix thin-film electro-luminescent display
US8155462B2 (en) * 2006-12-29 2012-04-10 Fastvdo, Llc System of master reconstruction schemes for pyramid decomposition
KR20100024406A (ko) * 2007-06-08 2010-03-05 톰슨 라이센싱 다수-격자 성김-기반 필터링 방법 및 장치
WO2008153856A1 (en) * 2007-06-08 2008-12-18 Thomson Licensing Methods and apparatus for in-loop de-artifacting filtering based on multi-lattice sparsity-based filtering
US7953275B1 (en) 2007-08-20 2011-05-31 Adobe Systems Incorporated Image shader for digital image modification
US8019182B1 (en) 2007-08-20 2011-09-13 Adobe Systems Incorporated Digital image modification using pyramid vignettes
US8212929B2 (en) * 2007-09-12 2012-07-03 Quanta Computer Inc. Image processing method and computer readable medium
US8270691B2 (en) * 2007-10-09 2012-09-18 Siemens Aktiengesellschaft Method for fusing images acquired from a plurality of different image acquiring modalities
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
US20090160936A1 (en) * 2007-12-21 2009-06-25 Mccormack Kenneth Methods and apparatus for operating a video camera assembly
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
US7941004B2 (en) * 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US20090306520A1 (en) * 2008-06-02 2009-12-10 Lightlab Imaging, Inc. Quantitative methods for obtaining tissue characteristics from optical coherence tomography images
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US20100091127A1 (en) * 2008-09-30 2010-04-15 University Of Victoria Innovation And Development Corporation Image reconstruction method for a gradient camera
EP2344020A1 (de) * 2008-10-14 2011-07-20 Lightlab Imaging, Inc. Verfahren zum nachweis von stentstreben und relevante messung und darstellung mit optischer kohärenztomographie
EP2417560B1 (de) * 2009-04-07 2017-11-29 Nextvision Stabilized Systems Ltd Kardanbildgebungssystem mit videobewegungskompensation und -stabilisierung
US8321422B1 (en) 2009-04-23 2012-11-27 Google Inc. Fast covariance matrix generation
US8396325B1 (en) * 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8611695B1 (en) 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8391634B1 (en) 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9138147B2 (en) 2009-09-23 2015-09-22 Lightlab Imaging, Inc. Lumen morphology image reconstruction based on the scan line data of OCT
EP2480122B1 (de) 2009-09-23 2018-01-10 Lightlab Imaging, Inc. Systeme zur in-vivo-blutreinigung in einem lumen
US8884989B2 (en) * 2009-12-23 2014-11-11 Indian Institute Of Technology Bombay System and method for fusing images
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US9105115B2 (en) * 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
US8340415B2 (en) * 2010-04-05 2012-12-25 Microsoft Corporation Generation of multi-resolution image pyramids
US8520970B2 (en) * 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9171361B2 (en) 2010-04-23 2015-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US9070182B1 (en) 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
US8363984B1 (en) 2010-07-13 2013-01-29 Google Inc. Method and system for automatically cropping images
US8830360B1 (en) 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
US20120076403A1 (en) * 2010-09-23 2012-03-29 Oscar Nestares System and method for all-in-focus imaging from multiple images acquired with hand-held camera
US9599461B2 (en) 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
EP2509044A3 (de) 2011-04-08 2012-11-21 Dolby Laboratories Licensing Corporation Lokale Definition von globalen Bildtransformationen
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP6076981B2 (ja) * 2011-08-19 2017-02-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 異なるモダリティのx線画像の周波数依存複合
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
CN107230236A (zh) 2011-09-28 2017-10-03 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
US8831321B1 (en) 2011-11-07 2014-09-09 Lightlab Imaging, Inc. Side branch detection methods, systems and devices
US9060117B2 (en) 2011-12-23 2015-06-16 Mitutoyo Corporation Points from focus operations using multiple light settings in a machine vision system
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US8938119B1 (en) 2012-05-01 2015-01-20 Google Inc. Facade illumination removal
EP2670130A1 (de) * 2012-06-01 2013-12-04 Alcatel Lucent Verfahren und Vorrichtung zum mischen eines ersten Videosignals und eines zweiten Videosignals
CN104508681A (zh) 2012-06-28 2015-04-08 派力肯影像公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A3 (en) 2012-08-23 2014-05-08 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
KR101429365B1 (ko) * 2012-12-26 2014-08-13 중앙대학교 산학협력단 라플라시안 피라미드를 이용한 다중 해상도 예제 기반 인페인팅 방법 및 장치
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US9173591B2 (en) 2013-03-08 2015-11-03 Lightlab Imaging, Inc. Stent visualization and malapposition detection systems, devices, and methods
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9299130B2 (en) * 2013-03-15 2016-03-29 Trustees Of Tufts College Methods and apparatus for image processing and analysis
US9681066B2 (en) * 2013-07-08 2017-06-13 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
US9633433B1 (en) 2013-08-08 2017-04-25 Intellimed Systems, Llc Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images
US9245365B2 (en) * 2013-11-08 2016-01-26 Adobe Systems Incorporated Dynamic digital image compositing using image templates
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US9807372B2 (en) * 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
CN104268847B (zh) * 2014-09-23 2017-04-05 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
US9396394B1 (en) * 2014-09-25 2016-07-19 Amazon Technologies, Inc. Iris image data processing for template iris pattern generation
WO2016182607A1 (en) * 2015-05-14 2016-11-17 Sri International Selecting optimal image from mobile device captures
US9792485B2 (en) 2015-06-30 2017-10-17 Synaptics Incorporated Systems and methods for coarse-to-fine ridge-based biometric image alignment
US9785819B1 (en) 2016-06-30 2017-10-10 Synaptics Incorporated Systems and methods for biometric image alignment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
JPH038633B2 (de) * 1983-10-03 1991-02-06 Sharp Kk
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US4703514A (en) * 1985-09-16 1987-10-27 Rca Corporation Programmed implementation of real-time multiresolution signal processing apparatus
US4849746A (en) * 1986-04-07 1989-07-18 Dubner Computer Systems, Inc. Digital video generator
US5140416A (en) * 1990-09-18 1992-08-18 Texas Instruments Incorporated System and method for fusing video imagery from multiple sources in real time
US5210799A (en) * 1991-03-28 1993-05-11 Texas Instruments Incorporated System and method for ranking and extracting salient contours for target recognition
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010047675A1 (de) * 2010-10-06 2012-04-12 Testo Ag Verfahren zum Aufbereiten eines IR-Bildes und korrespondierende Wärmebildkamera

Also Published As

Publication number Publication date Type
US5325449A (en) 1994-06-28 grant
EP0640232A4 (de) 1995-01-05 application
DE69333846D1 (de) 2005-09-01 grant
WO1993023823A1 (en) 1993-11-25 application
EP0640232A1 (de) 1995-03-01 application
EP0640232B1 (de) 2005-07-27 grant
JP3328934B2 (ja) 2002-09-30 grant
US5488674A (en) 1996-01-30 grant
JPH07508111A (de) 1995-09-07 application

Similar Documents

Publication Publication Date Title
Yocky Image merging and data fusion by means of the discrete two-dimensional wavelet transform
US5488674A (en) Method for fusing images and apparatus therefor
van Hateren et al. Independent component analysis of natural image sequences yields spatio-temporal filters similar to simple cells in primary visual cortex
Rockinger Image sequence fusion using a shift-invariant wavelet transform
DE4143074A1 (de) Verfahren und einrichtung zum umformatieren verschachtelter videodaten zur darstellung auf einem computer-ausgabedisplay
DE10305221A1 (de) Verfahren zur Reduktion von Rauschstrukturen in Arrays von Pixelwerten
EP0996090A2 (de) Verfahren zur Verarbeitung eines Eingangsbildes
Petrović et al. Computationally efficient pixel-level image fusion
Ming et al. A new image fusion algorithm based on wavelet transform
DE102008015535A1 (de) Verfahren zur Bildverarbeitung von Stereobildern
Fales et al. Image gathering and digital restoration
EP0990992A2 (de) Diskreter/invers-diskreter Cosinus-Transformationsvorrichtung und Anordnung
DE3733038A1 (de) Verfahren und schaltungsanordnung zur bilddatenreduktion fuer digitale fernsehsignale
DE4137210A1 (de) Doppelbild-fernsehempfaenger
DE4208932C1 (en) Automatic recognition of TV signal sequences e.g. for detecting broadcast of particular TV advertisement - stripping unnecessary signals from composite colour signal, integrating, digitising, and comparing sequence with previously stored values
DE4407101A1 (de) Verfahren zur Formatkonversion von in einem ersten Bildpunktraster vorliegenden Bildsequenzen in ein zweites Bildpunktraster
WO1990015503A1 (de) Schaltungsanordnung zum verringern des zeilen- und kantenflimmerns bei fernsehbildern
DE10236207A1 (de) Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge
DE19531004A1 (de) Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten
Berbar et al. Image fusion using multi-decomposition levels of discrete wavelet transform
DE3913758A1 (de) Optische bildverarbeitung
EP1227437A2 (de) Mehrfachauflösungssverfahren zur Rauschunterdrückung bei numerischen Bildern
WO2001045421A1 (de) Bewegungsschätzung in videobildern
DE10239801A1 (de) Verfahren zum Extrahieren von Texturmerkmalen aus einem mehrkanaligen Bild
DE3446926C2 (de)