DE112017007815T5

DE112017007815T5 - Bildverarbeitungsvorrichtung, Bildvergrbeitungsverfahren und Bildverarbeitungsprogramm

Info

Publication number: DE112017007815T5
Application number: DE112017007815.6T
Authority: DE
Inventors: Masafumi Higashi; Chen Haifeng; Reo AOKI
Original assignee: Eizo Corp
Current assignee: Eizo Corp
Priority date: 2017-08-03
Filing date: 2017-08-03
Publication date: 2020-04-16
Also published as: WO2019026263A1; JP6797306B2; US11132776B2; US20200184615A1; JPWO2019026263A1; CN110959284A; CN110959284B

Abstract

Die vorliegende Erfindung stellt eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm bereit, die in der Lage sind, ein Bild mit angemessener Schärfe für ein Eingangsbild auszugeben, das sowohl einen dynamischen als auch einen statischen Bereich umfassen kann. Gemäß der vorliegenden Erfindung wird eine Bildverarbeitungsvorrichtung bereitgestellt, die eine statische und dynamische Informationsberechnungsvorrichtung umfasst, die ausgebildet ist, um statische und dynamische Informationen eines Eingangsbildes zu berechnen; eine Mischungsverhältnis-Einstelleinheit, die so ausgebildet ist, um ein Mischungsverhältnis zu bestimmen, indem sie eine vorbestimmte Operation an den statischen und dynamischen Informationen des Eingangsbildes ausführt; und eine Bildverarbeitungseinheit, die ausgebildet ist, um ein Ausgangsbild zu erzeugen, das für statische und dynamische Änderungen optimiert ist, indem eine Bildverarbeitung an dem Eingangsbild auf der Grundlage des Mischungsverhältnisses durchgeführt wird, wobei ein Bereich als Teil eines Bildes, das wenigstens ein Pixel enthält, als „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Bild zu einem gegenwärtigen Bild in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind.

Description

Technischer Bereich
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren sowie ein Bildverarbeitungsprogramm.
In einem System mit einem Vision-Sensor (Kamera) wird häufig eine systemspezifische Bildverarbeitung durchgeführt. Einige Endoskopsysteme verfügen z.B. über eine 3D-Rauschreduktionsfunktion (siehe Patentliteratur 1). Diese Funktion ermöglicht es, das Rauschen zu extrahieren, indem nicht jedes einzelne Bild, sondern zwei aufeinanderfolgende Bilder eines Eingangsbildes (Bewegtbild) verglichen und eine Differenz zwischen diesen Bildern aufgenommen wird. Diese Funktion hat eine höhere Genauigkeit als die 2D-Rauschreduktion, bei der das Rauschen aus einem Einzelbild extrahiert wird. Das auf diese Weise korrigierte Bild wird in Echtzeit auf einem Monitor, z.B. einem LCD-Bildschirm, angezeigt, wobei ein Arzt o.ä. den Zustand des korrigierten Bildes beobachten kann.
Zitatliste
Patentdokument
Patentliteratur 1: JP-A-2013-089205
Zusammenfassung der Erfindung
Technisches Problem
Ein solches Endoskopsystem hat in der Regel die Funktion, die Echtzeitdarstellung des Bewegtbildes vorübergehend zu stoppen. Da es sich bei den während einer Pause angezeigten Bildern jedoch um das gleiche Bild (Standbild) handelt, besteht das Problem, dass die 3D-Rauschreduktion, bei der das Rauschen durch Differenzbildung zwischen den Bildern extrahiert wird, nicht effektiv ist und das Bild unklar wird.
Darüber hinaus ist der Umriss eines Bewegtbildes im Allgemeinen im Vergleich zu einem Standbild eher verschwommen. Wenn sich beispielsweise ein Teil des Eingangsbildes bewegt, tritt in einem Standbereich ein Rauschen auf, das durch den Versuch, einen Bewegtbereich schärfer zu machen, entsteht, während der Bewegtbereich durch die Erhöhung des Grades der Rauschreduktion zur Reduzierung des Rauschens im Standbereich undeutlich wird.
Die vorliegende Erfindung wurde im Hinblick auf solche Umstände gemacht, wobei es das Ziel ist, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm bereitzustellen, die in der Lage sind, ein Bild mit angemessener Schärfe für ein Eingangsbild auszugeben, das sowohl einen dynamischen als auch einen statischen Bereich umfassen kann.
Nach einem Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung vorgesehen, die Folgendes umfasst: einen Statische-und-dynamische-Information-Berechner, der so ausgebildet ist, dass er statische und dynamische Informationen eines Eingangsbildes berechnet; eine Mischungsverhältnis-Einstelleinheit, die so ausgebildet ist, dass sie ein Mischungsverhältnis bestimmt, indem sie eine vorbestimmte Operation an den statischen und dynamischen Informationen des Eingangsbildes durchführt, und eine Bildverarbeitungseinheit, die so ausgebildet ist, dass sie ein Ausgangsbild erzeugt, das für statische und dynamische Änderungen optimiert ist, indem sie eine Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses durchführt, wobei ein Bereich als ein Teil eines Bildes, das wenigstens ein Pixel enthält, als ein „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind.
In der Bildverarbeitungsvorrichtung nach diesem Aspekt bestimmt die Mischungsverhältnis-Einstelleinheit das Mischungsverhältnis, indem sie die vorbestimmte Operation auf die statischen und dynamischen Informationen ausführt, die vom Statische-und-dynamische-Information-Berechner berechnet werden. Das Ausgangsbild, das durch Ausführen von Bildverarbeitung am Eingangsbild auf der Grundlage des Mischungsverhältnisses erhalten wird, wird sowohl für den statischen als auch für den dynamischen Bereich optimiert. Daher ist es möglich, das Ausgangsbild als Ganzes für die visuelle Erkennung optimiert zu erhalten.
Im Folgenden sind verschiedene Ausführungsformen der vorliegenden Erfindung beispielhaft dargestellt. Die folgenden Ausführungsformen können miteinander kombiniert werden.
Vorzugsweise ist die statische und dynamische Information ein Bild mit zu Binärwerten von 0 oder 1 binarisierten Pixeldaten, wobei ein Anteil jedes der Binärwerte in einem ersten kleinen Bereich und in einem zweiten kleinen Bereich um den ersten kleinen Bereich der statischen und dynamischen Information in der vorbestimmten Operation verwendet wird.
Vorzugsweise umfasst die Bildverarbeitungseinheit: eine erste Bildverarbeitungseinheit, die ausgebildet ist, um ein erstes Zwischenbild entsprechend dem statischen Zustand zu erzeugen, indem sie eine Bildverarbeitung an dem Eingangsbild durchführt; eine zweite Bildverarbeitungseinheit, die ausgebildet ist, um ein zweites Zwischenbild entsprechend dem dynamischen Zustand zu erzeugen, indem sie eine Bildverarbeitung an dem Eingangsbild durchführt; und eine dritte Bildverarbeitungseinheit, die ausgebildet ist, um das Ausgangsbild durch Überlagerung des ersten und des zweiten Zwischenbildes auf der Grundlage des Mischungsverhältnisses zu erzeugen, wobei ein Zustand ohne die statische und dynamische Änderung als statischer Zustand definiert ist, während ein Zustand mit der statischen und dynamischen Änderung als dynamischer Zustand definiert ist.
Vorzugsweise umfasst die Bildverarbeitungsvorrichtung weiterhin einen Parameterberechner, wobei ein Zustand ohne die statische und dynamische Änderung als ein statischer Zustand definiert ist, während ein Zustand mit der statischen und dynamischen Änderung als ein dynamischer Zustand definiert ist, wobei der Parameterberechner ausgebildet ist, um einen statischen und dynamischen Parameter durch Überlagerung eines statischen Zustandsparameters, der dem statischen Zustand entspricht, und eines dynamischen Zustandsparameters, der dem dynamischen Zustand entspricht, auf der Basis des Mischungsverhältnisses zu berechnen, wobei die Bildverarbeitungseinheit den statischen und dynamischen Parameter verwendet, um das Ausgangsbild zu erzeugen.
Vorzugsweise ist der zweite kleine Bereich ein kleiner Bereich, der an den ersten kleinen Bereich auf einer oberen Seite, einer oberen linken Seite und einer linken Seite des ersten kleinen Bereichs angrenzt.
Vorzugsweise ist die Bildverarbeitungseinheit ausgebildet, um wenigstens eine Rauschreduktionsverarbeitung oder eine Schärfeverarbeitung auf der Grundlage des Mischungsverhältnisses durchzuführen, um das Ausgangsbild zu erzeugen.
Vorzugsweise ist die Bildverarbeitungseinheit ausgebildet, um eine Super-Resolution-Verarbeitung auf der Grundlage des Mischungsverhältnisses durchzuführen, um das Ausgangsbild zu erzeugen.
Vorzugsweise ist das Eingangsbild ein Bild, an dem zuvor eine dreidimensionale Rauschreduktionsverarbeitung durchgeführt wurde.
Nach einem weiteren Aspekt umfasst die vorliegende Erfindung, vorausgesetzt es handelt sich um ein Bildverarbeitungsverfahren, Folgendes: einen Statische-und-dynamische-Information-Berechnungsschritt zum Berechnen statischer und dynamischer Informationen eines Eingangsbildes; einen Mischungsverhältnis-Einstellschritt zum Bestimmen eines Mischungsverhältnisses durch Ausführen einer vorbestimmten Operation an den statischen und dynamischen Informationen des Eingangsbildes; und einen Bildverarbeitungsschritt zum Erzeugen eines Ausgangsbildes, das für die statische und dynamische Änderung optimiert ist, durch Ausführen einer Bildverarbeitung an dem Eingangsbild auf der Grundlage des Mischungsverhältnisses, wobei ein Bereich als Teil eines Bildes, das wenigstens ein Pixel enthält, als „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind.
Bei dem Bildverarbeitungsverfahren nach diesem Aspekt wird das Mischungsverhältnis im Mischungsverhältnis-Einstellschritt bestimmt, indem die vorbestimmte Operation auf die im Schritt der Berechnung der statischen und dynamischen Informationen berechneten statischen und dynamischen Informationen durchgeführt wird. Das Ausgangsbild, das durch Ausführen einer Bildverarbeitung am Eingangsbild auf der Grundlage des Mischungsverhältnisses erhalten wird, wird sowohl für den statischen als auch für den dynamischen Bereich optimiert. Daher ist es möglich, das Ausgangsbild als Ganzes für die visuelle Erkennung optimiert zu erhalten.
Nach einem weiteren Aspekt der vorliegenden Erfindung ist ein Bildverarbeitungsprogramm vorgesehen, das einen Computer veranlasst, eine vorbestimmte Funktion auszuführen, wobei die vorbestimmte Funktion umfasst: eine Statische-und-dynamische-Information-Berechnungsfunktion zum Berechnen statischer und dynamischer Informationen eines Eingangsbildes; eine Mischungsverhältnis-Einstellfunktion zum Bestimmen eines Mischungsverhältnisses durch Ausführen einer vorbestimmten Operation an den statischen und dynamischen Informationen des Eingangsbildes; und eine Bildverarbeitungsfunktion zur Erzeugung eines auf statische und dynamische Änderungen optimierten Ausgangsbildes, indem eine Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses durchgeführt wird, wobei ein Bereich als ein Teil eines Bildes, das wenigstens ein Pixel enthält, als ein „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind.
Im Bildverarbeitungsprogramm nach diesem Aspekt bestimmt die Funktion zur Einstellung des Mischungsverhältnisses das Mischungsverhältnis, indem sie die vorbestimmte Operation auf die statischen und dynamischen Informationen ausführt, die von der Funktion zur Berechnung der statischen und dynamischen Informationen berechnet werden. Das Ausgangsbild, das durch Ausführen der Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses erhalten wird, wird sowohl für den statischen als auch für den dynamischen Bereich optimiert. Daher ist es möglich, das Ausgangsbild als Ganzes für die visuelle Erkennung optimiert zu erhalten.
Figurenliste

1 ist ein Funktionsblockschaltbild, das den schematischen Aufbau eines Systems 1 mit einer Bildverarbeitungsvorrichtung 3 nach einer Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Flussdiagramm, das ein Berechnungsverfahren für statische und dynamische Informationen durch einen Statische-und-dynamische-Information-Berechner 35 entsprechend der Ausführungsform der vorliegenden Erfindung zeigt.
3 ist ein schematisches Diagramm, das die Erzeugung eines reduzierten Bildes J(f) aus einem Eingangsbild I(f) zeigt.
4A und 4B sind schematische Diagramme, die das aus dem Eingangsbild I(f) in 3 und einem Referenzbild R, das ein vergangenes reduziertes Bild J(f-Δf) ist, erzeugte reduzierte Bild J(f) zeigen. Insbesondere zeigt 4A das reduzierte Bild J(f) und 4B das Referenzbild R. Die Bilder sind in 3 und 4B schematisch dargestellt.
5A und 5B sind schematische Darstellungen, die ein aus dem reduzierten Bild J(f) und dem Referenzbild R in 4A und 4B erzeugtes Differenzbild S(f) und ein durch Binarisierung des Differenzbildes S(f) erhaltenes Binärbild B(f) zeigen. Insbesondere zeigt 5A das Differenzbild S(f) und 5B das Binärbild B(f).
6 zeigt ein Beispiel für das Eingangsbild I(f). 6 bezieht sich nicht auf ein mediales Bild, das von einem Endoskopsystem 2 übertragen wird, sondern dient als einfaches Beispiel.
7A bis 7C sind schematische Darstellungen, die ein Beispiel für das reduzierte Bild J(f), das Referenzbild R und das Binärbild B(f) für das Eingangsbild I(f) in 6 zeigen. Insbesondere zeigt 7A das reduzierte Bild J(f), 7B das Referenzbild R und 7C das Binärbild B(f).
8 ist ein Flussdiagramm, das ein Verfahren zur Bestimmung eines Mischungsverhältnisses mit einer Mischungsverhältnis-Einstelleinheit 36 nach der Ausführungsform der vorliegenden Erfindung zeigt.
9A und 9B sind Beispiele, in denen das in 8 dargestellte Bestimmungsverfahren des Mischungsverhältnisses angewendet wird. 9A zeigt einen Teilbereich des Binärbildes B(f), und 9B zeigt ein diesem Bereich entsprechendes reduziertes Mischungsverhältnis X(f), der sich in der Mitte der Berechnung befindet.
10 ist ein Beispiel, bei dem das in 8 gezeigte Bestimmungsverfahren des Mischungsverhältnisses angewendet wird und zeigt das ermittelte reduzierte Mischungsverhältnis X(f).
11A bis 11F sind Diagramme, die verschiedene Bildverarbeitungsergebnisse zeigen. Im Einzelnen sind die 11A bis 11D Vergleichsbeispiele und die 11E und 11F Beispiele nach der vorliegenden Erfindung.
12 ist eine schematische Darstellung, die die Erzeugung eines reduzierten Bildes J(f) aus einem Eingangsbild I(f) nach einem modifizierten Beispiel zeigt.

Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung anhand der Zeichnungen ausführlich beschrieben. Insbesondere kann sich der Begriff „Einheit“ in dieser Beschreibung z.B. auf eine Kombination von Hardware-Ressourcen, die durch eine Schaltung im weitesten Sinne implementiert sind, und der Informationsverarbeitung durch Software, die durch diese Hardware-Ressourcen insbesondere umgesetzt werden kann, beziehen.
Die Schaltung im weitesten Sinne ist eine Schaltung, die durch eine wenigstens geeignete Kombination einer Schaltung, eines Schaltkreises, eines Prozessors, eines Speichers und dergleichen realisiert ist. Das heißt, dies kann eine anwendungsspezifische integrierte Schaltung (ASIC), ein programmierbares Logikbauteil (z.B. ein einfaches programmierbares Logikbauteil (SPLD), ein komplexes programmierbares Logikbauteil (CLPD) und ein feldprogrammierbares Gate-Array (FPGA)) und ähnliches umfassen.
In der vorliegenden Ausführungsform werden verschiedene Informationen und Konzepte einschließlich dieser behandelt. Diese können mit Signalwerten als eine binäre Bit-Gesamtheit ausgedrückt werden, das aus 0 oder 1 zusammengesetzt ist, wobei die Kommunikation und der Betrieb davon auf der Schaltung in einem weiten Sinne durchgeführt werden kann. Insbesondere können solche Informationen und Konzepte einen „kleinen Bereich“, der ein Teil eines Bildes (zweidimensionales Array) und einen aus wenigstens einem Pixel zusammengesetzten Bereich ist, eine „statische und dynamische Information“, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen zu einem gegenwärtigen Bild anzeigt, und ein „Mischungsverhältnis“, das durch Ausführen einer algebraischen Operation an der statischen und dynamischen Information für jeden kleinen Bereich erhalten wird, umfassen. Diese werden bei Bedarf noch einmal detailliert beschrieben.
System 1 (Gesamtkonfiguration)
1 ist ein Funktionsblockschaltbild, das den schematischen Aufbau eines Systems 1 mit einer Bildverarbeitungsvorrichtung 3 nach einer Ausführungsform der vorliegenden Erfindung zeigt. Das System 1 besteht aus einem Endoskopsystem 2, der Bildverarbeitungsvorrichtung 3 und einer Anzeigeeinrichtung 4.
Endoskopsystem 2
Das Endoskopsystem 2 besteht aus einem Endoskop 21 und einer Bildverarbeitungseinheit 22. Das Endoskop 21 verfügt über einen Vision-Sensor (Kamera) (nicht abgebildet) und ist so ausgebildet, dass es ein Bild des abdominalen Teils eines Probanden aufnehmen kann, z.B. durch Einführen des Vision-Sensors von der Mundhöhle des Probanden in Richtung des abdominalen Teils. Dabei sind die erfassten Bilddaten aus Sicht der Informationsverarbeitung eine zweidimensionale Pixelgesamtheit (Pixel-Array). Weiterhin führt die Bildverarbeitungseinheit 22 eine vorbestimmte Bildverarbeitung der vom Endoskop 21 erfassten Bilddaten durch. Die Bildverarbeitung ist hier die 3D-Rauschreduktion am Beispiel der oben beschriebenen Problemstellung. D.h. es wird das dem Bild überlagerte Rauschen reduziert, indem zwei zeitlich benachbarte Bilder aus den vom Endoskop 21 erfassten Bilddaten verwendet werden.
Bildverarbeitungsvorrichtung 3
Die Bildverarbeitungsvorrichtung 3 ist ein Gerät, das so ausgebildet ist, dass es eine vorbestimmte Bildverarbeitung der vom Endoskopsystem 2 übertragenen Bilddaten (an denen eine 3D-Rauschreduktion, wie oben beschrieben, durchgeführt wurde) durchführt. Die Bildverarbeitungsvorrichtung 3 besteht aus einer Steuereinheit 31, einer Speichereinheit 32, einer Eingabeeinheit 33, einer Sende- und Empfangseinheit 34, einem Statische-und-dynamische-Information-Berechner 35, einer Mischungsverhältnis-Einstelleinheit 36 und einer Bildverarbeitungseinheit 37, wobei diese über einen Kommunikationsbus 3B verbunden sind. Die Komponenten 31 bis 37 werden im Folgenden jeweils detailliert beschrieben.
<Steuereinheit 31>
Die Steuereinheit 31 ist so ausgebildet, dass sie die Verarbeitung und Steuerung der gesamten Operationen in Verbindung mit der Bildverarbeitungsvorrichtung 3 durchführt. Die Steuereinheit 31 ist z.B. eine Zentraleinheit (CPU) (nicht abgebildet). Die Steuereinheit 31 realisiert verschiedene Funktionen in Bezug auf die Bildverarbeitungsvorrichtung 3 oder das System 1, indem sie ein vorbestimmtes Programm, das in der Speichereinheit 32 gespeichert ist, ausliest. Dazu gehört z.B. das Auslesen des vorbestimmten Programms und das Veranlassen der Anzeigeeinrichtung 4, einen Bildschirm der grafischen Benutzeroberfläche (GUI) mit dem Echtzeit-Anzeigebild des Endoskops 21 anzuzeigen.
Insofern ist die einzelne Steuereinheit 31 zwar in 1 dargestellt, die Konfiguration ist jedoch nicht darauf beschränkt. Für jede Funktion können mehrere Steuereinheiten 31 vorgesehen sein, oder es kann auch eine Kombination davon eingesetzt werden.
<Speichereinheit 32>
Wie oben beschrieben, ist die Speichereinheit 32 so ausgebildet, dass sie verschiedene Programme speichert, die von der Steuereinheit 31 ausgeführt werden sollen. Dies kann als Speichergerät, wie z.B. eine Festplatte (HDD) oder ein Solid State Drive (SSD), realisiert sein. Die Speichereinheit 32 kann auch als ein Speicher, wie z.B. ein Direktzugriffsspeicher (RAM), implementiert sein, der vorübergehend notwendige Informationen (Argumente, Arrays und ähnliches) in Bezug auf Programmoperationen speichert, und sie kann eine Kombination daraus sein.
<Eingabeeinheit 33>
Die Eingabeeinheit 33 kann z.B. eine Einheit sein, die in der Bildverarbeitungsvorrichtung 3 selbst enthalten ist oder extern angeschlossen sein kann. Die Eingabeeinheit 33 kann z.B. als Touchpanel ausgeführt sein. Alternativ kann auch eine Bedienoberfläche, wie z.B. ein Schalter, eine Maus und eine Tastatur, verwendet werden. Über die Eingabeeinheit 33 wird eine Anweisung (Befehl) von einem Bediener (z.B. Arzt) empfangen. Der Befehl wird über den Kommunikationsbus 3B an die Steuereinheit 31 übertragen, und die Steuereinheit 31 kann bei Bedarf vorbestimmte Steuerungen und Operationen durchführen. Als Beispiel für die Anweisung kann der Bediener über die Eingabeeinheit 33 ein Bild, das vom Endoskop 21 aufgenommen und auf der Anzeigeeinrichtung 4 angezeigt wird, vorübergehend stoppen. Das heißt, im Endoskopsystem 2 kann das Endoskop 21 die Bildaufnahme vorübergehend stoppen (unterbrechen), während die Bildverarbeitungseinheit 22 eine 3D-Rauschreduktion durchführen kann. Folglich wird im System 1 ein Bild, an dem keine 3D-Rauschreduktion durchgeführt wird, an die Sende- und Empfangseinheit 34 übertragen, wenn es vorübergehend gestoppt wird.
< Sende- und Empfangseinheit 34 >
Die Sende- und Empfangseinheit 34 ist eine Einheit zur Kommunikation zwischen der Bildverarbeitungsvorrichtung 3 und einem externen Gerät, das nicht die Bildverarbeitungsvorrichtung 3 ist. Das heißt, über die Sende- und Empfangseinheit 34 können Bilddaten als Eingangsbild vom Endoskopsystem 2 empfangen und nach der Bildverarbeitung als Ausgangsbild an die Anzeigeeinrichtung 4 übertragen werden. Dabei ist die Kommunikation der Sende- und Empfangseinheit 34 nicht auf die Übertragung der Bilddaten beschränkt. Vorzugsweise wird die Einheit als eine Gesamtheit aus mehreren Kommunikationsmitteln, wie z.B. drahtgebundene LAN-Netzwerkkommunikation, Bluetooth-Kommunikation und drahtlose LAN-Netzwerkkommunikation, implementiert, um einen geeigneten Kommunikationsstandard für ein Kommunikationsziel aufzunehmen.
< Statische-und-dynamische-Information-Berechner 35>
Der Statische-und-dynamische-Information-Berechner 35 ist so ausgebildet, dass er aus dem vom Endoskopsystem 2 über die Sende- und Empfangseinheit 34 empfangenen Eingangsbild statische und dynamische Informationen berechnet. Die statischen und dynamischen Informationen sind ein Pixelarray, das eine statische und dynamische Änderung anzeigt, wenn das Eingangsbild mit einem in der Vergangenheit aufgenommenen Referenzbild verglichen wird (Änderung der Pixeldaten von einem vorbestimmten Bild in der Vergangenheit zu einem aktuellen Bild). Details zur Berechnung der statischen und dynamischen Informationen werden in Abschnitt 2 beschrieben.
<Mischungsverhältnis-Einstelleinheit 36 >
Die Mischungsverhältnis-Einstelleinheit 36 ist so ausgebildet, dass sie ein Mischungsverhältnis für das Eingangsbild bestimmt, indem sie eine vorbestimmte algebraische Operation mit den statischen und dynamischen Informationen durchführt, die vom Statische-und-dynamische-Information-Berechner 35 berechnet werden. Das Mischungsverhältnis ist ein Pixelarray zur Gewichtung der Bildverarbeitung entsprechend (vorzugsweise optimiert für) einen statischen Zustand (Verarbeitung für Standbilder) und der Bildverarbeitung entsprechend (vorzugsweise optimiert für) einen dynamischen Zustand (Verarbeitung für bewegte Bilder). Beispielsweise wird das Mischungsverhältnis auf Basis der statischen und dynamischen Informationen berechnet. Wenn ein Anteil des dynamischen Bereichs in einem Zielbereich (ein Beispiel für einen „ersten kleinen Bereich“ in den Ansprüchen) und einem Randbereich (ein Beispiel für einen „zweiten kleinen Bereich“ in den Ansprüchen) groß ist, wird die Gewichtung der Verarbeitung für die Bewegtbilder gegenüber der Verarbeitung für die Standbilder erhöht. Wenn andererseits ein großer Anteil des statischen Bereichs in dem Zielbereich und dem peripheren Bereich liegt, wird die Gewichtung der Verarbeitung für die Standbilder im Vergleich zur Verarbeitung für die Bewegtbilder erhöht. In diesem Zusammenhang werden Details zur Bestimmung des Mischungsverhältnisses in Abschnitt 3 beschrieben.
<Bildverarbeitungseinheit 37>
Die Bildverarbeitungseinheit 37 ist so ausgebildet, dass sie ein sowohl für den statischen als auch für den dynamischen Zustand optimiertes Ausgangsbild erzeugt, indem sie eine vorbestimmte Bildverarbeitung auf der Basis des Mischungsverhältnisses durchführt. Das Ausgangsbild wird über den Kommunikationsbus 3B und die Sende- und Empfangseinheit 34 an die Anzeigeeinrichtung 4 übertragen, wobei die Anzeigeeinrichtung 4 das Ausgangsbild anzeigt. Details zur Bildverarbeitungsverfahren werden in Abschnitt 2 beschrieben.
Anzeigeeinrichtung 4
Die Anzeigeeinrichtung 4 ist ein Medium zur Darstellung der Bilddaten als Bild auf der Basis der einzelnen Pixeldaten (Informationen, wie z.B. ein Leuchtdichtewert jedes Pixels), wenn die Bilddaten nach der Bildverarbeitung durch die Bildverarbeitungsvorrichtung 3 eingegeben werden. Die Anzeigeeinrichtung 4 kann z. B. ein LCD-Monitor, ein CRT-Monitor und ein organischer EL-Monitor sein. In diesem Zusammenhang kann die Bildverarbeitungsvorrichtung 3 die Anzeigeeinrichtung 4 enthalten.
Statische und dynamische Informationen
Als nächstes werden die statischen und dynamischen Informationen detailliert beschrieben.
Berechnungsverfahren für statische und dynamische Informationen
2 ist ein Flussdiagramm, das ein Berechnungsverfahren der statischen und dynamischen Informationen durch den Statische-und-dynamische-Information-Berechner 35 entsprechend der Ausführungsform der vorliegenden Erfindung zeigt. Im Folgenden wird der Ablauf anhand der einzelnen Schritte in 2 beschrieben.
[Start]
(Schritt S1-1)
Für ein Eingangsbild I(f) (ein Beispiel für ein „gegenwärtiges Bild“ in den Ansprüchen) wird ein durch Reduktion des Eingangsbildes I(1) erhaltenes reduziertes Bild J(1) als Referenzbild R registriert, wobei dann der Prozess zu Schritt S1-2 übergeht.
(Schritt S1-2)
Anschließend wird festgestellt, ob das Referenzbild R (ein Beispiel für ein „vergangenes Bild“ in den Ansprüchen) ein Rahmen ist, der Δf Rahmen vor einem gegenwärtigen (d.h. aktuellen) Eingangsbild I(f) aufgenommen ist. Dabei wird der Wert von Δf vorzugsweise entsprechend einer Bildfrequenz der Originalbilddaten entsprechend eingestellt. Der Wert ist nicht besonders begrenzt und kann z.B. Δf=1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15 sein. Wenn die Bilddaten mit einer niedrigen Bildfrequenz hochkonvertiert werden (z. B. von 24 fps auf 60 fps) und als Eingangsbild I(f) verwendet werden, um einer Anzeige-Bildfrequenz der Anzeigeeinrichtung 4 zu entsprechen, können die in Zeitreihen benachbarten Eingangsbilder I(k), I(k+1) das gleiche Bild sein. Daher ist es notwendig, eine entsprechendes Δf einzustellen, um einen solchen Fall auszuschließen. Alternativ kann ein Schritt zur Bestimmung der Bildfrequenz des Eingangsbildes I(f) hinzugefügt werden, um das entsprechende Δf einzustellen. Wenn das Referenzbild R ein Bild ist, das in Δf Rahmen vor dem aktuellen Eingangsbild I(f) aufgenommen wurde, geht der Prozess zum nächsten Schritt S1-3 über. Ist dies nicht der Fall, fährt der Prozess mit Schritt S1-2a fort. In diesem Zusammenhang wird der Wert von f im Schritt S1-2a um +1 erhöht, und dann wird der Schritt S1-2 erneut durchgeführt.
(Schritt S1-3)
Anschließend wird das Eingangsbild I(f) reduziert, um ein reduziertes Bild J(f) zu erzeugen, und dann geht der Prozess zum nächsten Schritt S1-4 über. Der Reduktionsvorgang wird in Abschnitt 2.2 beschrieben.
(Schritt S1-4)
Anschließend wird ein Differenzbild S(f) erzeugt, indem das im Schritt S1-3 erzeugte reduzierte Bild J(f) und das Referenzbild R einer Differenzoperation unterzogen werden, und dann geht der Prozess zum nächsten Schritt S1-5 über. Die Differenzoperationsverarbeitung wird in diesem Zusammenhang in Abschnitt 2.2 ausführlich beschrieben.
(Schritt S1-5)
Anschließend wird ein Binärbild B(f) erzeugt, indem das im Schritt S1-4 erzeugte Differenzbild S(f) binarisiert wird, und dann geht der Prozess zum nächsten Schritt S1-6 über. Die Binarisierungsverarbeitung wird in diesem Zusammenhang in Abschnitt 2.2 ausführlich beschrieben. Das Binärbild B(f) ist in der vorliegenden Ausführungsform die statische und dynamische Information.
(Schritt S1-6)
Schließlich wird das Referenzbild R überschrieben und auf das aktuelle reduzierte Bild J(f) aktualisiert. Danach kehrt der Vorgang zum Schritt S1-2a zurück, und die oben beschriebenen Schritte S1-2 bis S1-6 werden wiederholt. Im Falle des letzten Bildes endet der Vorgang mit diesem Bild.
[Ende]
Jede Operationsverarbeitung
Hier wird jede Operation, die in dem oben beschriebenen Berechnungsverfahren der statischen und dynamischen Informationen verarbeitet wird, beschrieben. 3 ist ein schematisches Diagramm, das die Erzeugung des reduzierten Bildes J(f) aus dem Eingangsbild I(f) zeigt. 4A und 4B sind schematische Diagramme, die das aus dem Eingangsbild I(f) in 3 erzeugte reduzierte Bild J(f) und das Referenzbild R, das ein vergangenes reduziertes Bild J(f-Δf) ist, zeigen. Insbesondere zeigt 4A das reduzierte Bild J(f) und 4B das Referenzbild R. 5A und 5B sind schematische Diagramme, die das aus dem reduzierten Bild J(f) und dem Referenzbild R in 4A und 4B erzeugte Differenzbild S(f) und das durch Binarisierung des Differenzbildes S(f) erhaltene Binärbild B(f) zeigen. Insbesondere zeigt 5A das Differenzbild S(f) und 5B das Binärbild B(f). 6 zeigt ein Beispiel für das Eingangsbild I(f). 6 bezieht sich nicht auf ein vom Endoskopsystem 2 übertragenes mediales Bild, sondern dient als einfaches Beispiel. 7A bis 7C sind schematische Darstellungen, die ein Beispiel für das reduzierte Bild J(f), das Referenzbild R und das Binärbild B(f) für das Eingangsbild I(f) in 6 zeigen. Insbesondere zeigt 7A das reduzierte Bild J(f), 7B das Referenzbild R und 7C das Binärbild B(f).
<Reduktionsbearbeitung>
Das Eingangsbild I(f) ist ein Bild mit einem M×N-Pixel-Array (Matrix) wie in 3 dargestellt. Das Eingangsbild I(f) wird bei dieser Reduktionsverarbeitung um den Faktor 1/4 reduziert, wobei ein Mittelwert der Pixeldaten von 16 Pixeln i_m.n, die in einem 4×4 kleinen Bereich enthalten sind, als Pixeldaten für ein Pixel des reduzierten Bildes J(f) übernommen wird. Zum Beispiel wird der Mittelwert der Pixeldaten der Pixel i_1.1 bis i_4.4 für einen kleinen Bereich A1 im Eingangsbild I(f) berechnet, und der Mittelwert der Pixeldaten der Pixel i_5.5 bis i_8.8 wird für einen kleinen Bereich A2 im Eingangsbild I(f) berechnet. Ein Bild, das durch Wiederholung für jeden kleinen Bereich erhalten wird, ist das in 4A gezeigte reduzierte Bild J(f).
Das reduzierte Bild J(f) ist ein Bild mit einem Pixelarray (Matrix) von [M/4]x[N/4] ([] ist ein Gauß-Symbol), das jedem kleinen Bereich im Eingangsbild I(f) entspricht, wie oben beschrieben. Das Pixel in der m-ten Zeile und der n-ten Spalte in Bezug auf die obere linke Seite wird als Pixel j_m.n angegeben. Die Pixeldaten des Pixels j_1.1 sind beispielsweise der Mittelwert der Pixeldaten der Pixel i_1.1 bis i_4.4, die Pixeldaten des Pixels j_1.2 sind der Mittelwert der Pixeldaten der Pixel i_1.5 bis i_4.8, und die Pixeldaten des Pixels j_2.2 sind der Mittelwert der Pixeldaten der Pixel i_5.5 bis i_8.8. Die statischen und dynamischen Informationen werden auf der Grundlage des reduzierten Bildes J (f) berechnet, so dass die Menge des reservierten Speichers (die Speichereinheit 32) reduziert werden kann, im Vergleich zu dem Fall, in dem die statischen und dynamischen Informationen durch direkte Verwendung des Eingangsbildes I(f) berechnet werden. In diesem Beispiel wird die Menge des reservierten Speichers um etwa 1/16 reduziert.
<Differenzoperation Verarbeitung>
Das Referenzbild R ist das reduzierte Bild J(f-Δf), aufgenommen Δf Rahmen vor dem aktuellen reduzierten Bild J(f), wie oben beschrieben. Hier wird das Pixel des Referenzbildes R als Pixel r_m.n bezeichnet. Jedes Pixel r_m.n entspricht dem kleinen Bereich im Eingangsbild I(f). In der Differenzoperationsverarbeitung wird die Differenzoperation zwischen den Matrizen des reduzierten Bildes J(f) und des Referenzbildes R durchgeführt, um das Differenzbild S(f) zu erzeugen (siehe Gleichung (1)). $S (f) = | J (f) - R |$
Mit anderen Worten, die Pixeldaten jedes Pixels s_m.n im Differenzbild S(f) sind durch die Differenz zwischen den Pixeldaten jedes Pixels j_m.n im reduzierten Bild J(f) und den Pixeldaten jedes Pixels r_m.n im Referenzbild R dargestellt.
<Binarisierungsverarbeitung>
Bei der Binarisierungsverarbeitung wird ermittelt, ob die Pixeldaten jedes Pixels s_m.n im Differenzbild S(f) einen vorbestimmten Schwellenwert überschreiten, wobei das Binärbild B(f) so erzeugt wird, dass die Pixeldaten jedes Pixels b_m.n im Binärbild B(f) 0 (kleiner als der Schwellenwert) oder 1 (größer oder gleich dem Schwellenwert) aufweisen können (siehe Gleichung (2)). $B (f) = bin (S (f))$
Wie oben beschrieben, wird in dieser Ausführungsform das Binärbild B(f) als statische und dynamische Information übernommen. Wie in 7A bis 7C gezeigt, erfolgt bei Bewegung zwischen dem reduzierten Bild J(f), das durch Reduktion des Eingangsbildes I(f) in 6 erhalten wird, und dem Referenzbild R, das das reduzierte Bild J(f-Δf) ist, aufgenommen Δf Rahmen vor J(f), eine Änderung zwischen den Pixeldaten des entsprechenden Pixels j_m.n und den Pixeldaten des entsprechenden Pixels r_m.n. Daher weist jedes Pixel b_m.n des Binärbildes B(f) als Ergebnis der nachfolgenden Differenzoperationsverarbeitung und Binarisierungsverarbeitung 0 (schwarz: keine Bewegung) oder 1 (weiß: mit Bewegung) als Pixeldaten auf. Aus diesem Grund kann das Binärbild B(f) als statische und dynamische Information verwendet werden, die die statische und dynamische Änderung jedes kleinen Bereichs im Eingangsbild I(f) anzeigt.
Mischungsverhältnis
Als nächstes wird das Mischungsverhältnis detailliert beschrieben. Das Mischungsverhältnis kann durch ein Verfahren bestimmt werden, die eine Fehleinschätzungsreduktionsverarbeitung mit einem Medianfilter oder eine Expansions-/Reduktionsverarbeitung und eine Fluktuationskontrolle mit statisch-dynamischer Randglättung mit Hilfe eines Glättungsfilters oder mit den Pixeldaten benachbarter Pixel kombiniert. Als Beispiel wird im Folgenden ein Verfahren zur Kombination von Fluktuationssteuerung mit drei Pixeln in der Nähe eines interessierenden Pixels (entsprechend dem kleinen Bereich für das Eingangsbild I(f)) und linearer Vergrößerung beschrieben.
Bestimmungsverfahren des Mischungsverhältnisses
8 ist ein Flussdiagramm, das ein Verfahren zur Bestimmung des Mischungsverhältnisses mit der Mischungsverhältnis-Einstelleinheit 36 nach der Ausführungsform der vorliegenden Erfindung zeigt. Bei diesem Verfahren wird zunächst aus jedem Pixel b_m.n des Binärbildes B(f) ein reduziertes Mischungsverhältnis X(f) bestimmt, wie in den Schritten S2-1 bis S2-6 gezeigt. Das reduzierte Mischungsverhältnis X(f) ist ein Bild mit einem Pixelarray (Matrix) von [M/4]x[N/4], wobei das Pixel in der m-ten Zeile und der n-ten Spalte in Bezug auf die obere linke Seite als ein Pixel x_m.n angezeigt wird. Schließlich wird ein Mischungsverhältnis Y(f) durch Ausführen einer linearen Vergrößerungsverarbeitung in einem Schritt S2-7 bestimmt. Der Ablauf wird nachfolgend anhand der einzelnen Schritte in 8 beschrieben.
[Start]
(Schritt S2-1)
Es wird bestimmt, ob jedes Pixel b_m.n ein Pixel b_m.n am linken oberen Ende ist. Wenn das Pixel b_m.n das Pixel b_m.n am oberen linken Ende ist, werden die Pixeldaten des entsprechenden Pixels x_m.n durch die Pixeldaten des Pixels b_m.n (0 oder 1) ersetzt, wie in einem Schritt S2-1a gezeigt, und der Prozess fährt mit dem nächsten Pixel b_m.n+1 (oder dem Pixel b_m+1.1) fort, wie in einem Schritt S2-1b gezeigt. Wenn das Pixel b_m.n nicht das Pixel b_m.n am oberen linken Ende ist, fährt der Prozess mit dem nächsten Schritt S2-2 fort.
(Schritt S2-2)
Es wird bestimmt, ob die Pixeldaten des Pixels b_m.n 0 oder 1 sind. D.h. es wird ermittelt, ob der entsprechende kleine Bereich im Eingangsbild I(f) der statische Bereich (0) oder der dynamische Bereich (1) ist. Wenn die Pixeldaten des Pixels b_m.n 0 sind, geht der Prozess zu den Schritten S2-3 und S2-4 über, und wenn die Pixeldaten des Pixels b_m.n 1 sind, geht der Prozess zu den Schritten S2-5 und S2-6 über.
(Schritt S2-3)
Es werden die Pixeldaten von drei Pixeln oben, oben links und links des Pixels x_m.n (ein interessierendes Pixel, für das Pixeldaten ermittelt werden sollen) beachtet, die dem diesmal zu verarbeitenden Pixel b_m.n entsprechen. Es handelt sich jeweils um ein Pixel x_m-1.n, ein Pixel x_m-1.n-1 und ein Pixel x_m.n-1. Dann wird der Minimalwert der Pixeldaten dieser drei als α extrahiert und der Prozess geht zum nächsten Schritt S2-4 über.
(Schritt S2-4)
Der größere Wert zwischen einem Wert, der sich durch Subtraktion eines im Schritt S2-3 ermittelten Wertes eines vorbestimmten Parameters d von α ergibt, und 0 wird als die Pixeldaten des Pixels x_m.n ermittelt. Der Parameter d ist dabei ein frei einstellbarer Parameter. Anschließend wird zum nächsten Pixel b_m.n +1 ( oder einem Pixel b_m+1.1) übergegangen. Der Vorgang endet, wenn kein nächstes Pixel mehr vorhanden ist.
(Schritt S2-5)
Dabei werden die Pixeldaten von drei Pixeln oben, oben links und links des Pixels x_m.n (ein interessierendes Pixel, für das Pixeldaten ermittelt werden sollen) beachtet, die dem diesmal zu verarbeitenden Pixel b_m.n entsprechen. Es handelt sich um ein Pixel x_m-1.n, ein Pixel x_m-1.n-1 und ein Pixel x_m.n-1. Dann wird der Maximalwert der Pixeldaten dieser drei als β extrahiert und der Prozess geht zum nächsten Schritt S2-6 über.
(Schritt S2-6)
Der kleinere Wert zwischen einem Wert, der sich durch Addition des im Schritt S2-5 ermittelten Wertes des vorbestimmten Parameters d zu β ergibt, und 1 wird als Pixeldaten des Pixels x_m.n ermittelt. Der Parameter d ist dabei ein frei einstellbarer Parameter. Anschließend wird zum nächsten Pixel b_m.n +1 (oder einem Pixel b_m+1.1) übergegangen. Der Vorgang endet, wenn kein nächstes Pixel mehr vorhanden ist.
[Ende]
Anwendungsbeispiel
9A und 9B sind Beispiele, bei denen das in 8 gezeigte Bestimmungsverfahren des Mischungsverhältnisses angewendet wird. 9A zeigt einen Teilbereich des Binärbildes B(f), und 9B zeigt das reduzierte Mischungsverhältnis X(f) entsprechend diesem Bereich, der sich in der Mitte der Berechnung befindet. Weiterhin ist 10 ein Beispiel, in dem das in 8 gezeigte Bestimmungsverfahren des Mischungsverhältnisses angewendet wird und das ermittelte reduzierte Mischungsverhältnis X(f) zeigt.
Hier wird die Bestimmung der Pixeldaten eines interessierenden Pixels x1 in 9B (ein Beispiel für einen „ersten kleinen Bereich“ in den Ansprüchen) beschrieben. Da zunächst das interessierende Pixel x1 keinen Endteil darstellt und die Pixeldaten eines dem interessierenden Pixel x1 entsprechenden Pixels b1 des Binärbildes B(f) 1 sind, wird der Vorgang in dem in 8 gezeigten Flussdiagramm in der Reihenfolge der Schritte S2-1, S2-2, S2-5 und S2-6 durchgeführt. Im Schritt S2-5 sind die Pixeldaten von drei Pixeln (ein Beispiel für einen „zweiten kleinen Bereich“ in den Ansprüchen) am oberen, oberen linken und linken Rand des Pixels x1 jeweils 0,5, 0,2 und 0,3. Der maximale Wert β beträgt daher 0,5. Wenn der Parameter d = 0,3, dann ist β + d = 0,5 + 0,3 = 0,8 im Schritt S2-6, was kleiner als 1 ist. Daher werden die Pixeldaten des Pixels x1 zu 0,8 bestimmt.
In ähnlicher Weise wird die gleiche Operation nacheinander für andere Pixel durchgeführt, um das in 10 gezeigte reduzierte Mischungsverhältnis X(f) zu bestimmen. Mit anderen Worten, in einer Einheit des kleinen Bereichs wird das reduzierte Mischungsverhältnis X(f) bestimmt, indem das Verhältnis des dynamischen und des statischen Bereichs unter benachbarten kleinen Bereichen verwendet wird. Das reduzierte Mischungsverhältnis X(f) wird weiter linear vergrößert, um als Mischungsverhältnis Y(f) bestimmt zu werden.
Bildverarbeitungsverfahren
Als nächstes wird ein Bildverarbeitungsverfahren beschrieben. Der Einfachheit halber wird hier ein Fall betrachtet, bei dem ein Ausgangsbild O(f) durch Multiplikation des Eingangsbildes I(f) mit einem Bildverarbeitungsfilter F von links (siehe Gleichung (3)) erhalten wird. Insbesondere erhält man z.B. das Ausgangsbild O(f) für jeden kleinen Bereich durch Multiplikation des Eingangsbildes I(f) für jeden kleinen Bereich mit dem Bildverarbeitungsfilter F von links. Diese Multiplikation kann von der oben beschriebenen Bildverarbeitungseinheit 37 durchgeführt werden. $O (f) = F \times I (f)$
Als Bildverarbeitungsfilter F wird ein für den statischen Bereich (bzw. den statischen Zustand) optimiertes Bildverarbeitungsfilter F0 und ein für den dynamischen Bereich (bzw. den dynamischen Zustand) optimiertes Bildverarbeitungsfilter F1 vorbereitet. Beispielsweise kann der Bildverarbeitungsfilter F (einschließlich F0 und F1) eine Schärfeverarbeitung und Rauschreduktion für das Eingangsbild I(f) durchführen. Die Filter F0 und F1 können unterschiedliche Verarbeitungen durchführen, so dass der Filter F0 (oder F1) ein Schärfeverarbeitungsfilter ist, während der Filter F1 (oder F0) ein Rauschreduktions-Verarbeitungsfilter ist. Im Folgenden werden mehrere Bildverarbeitungsverfahren beschrieben.
Erstes Bildverarbeitungsverfahren
In einem ersten Bildverarbeitungsverfahren werden ein erstes Zwischenbild M0(f), das als Ergebnis der Optimierung für den statischen Bereich erhalten wird, und ein zweites Zwischenbild M1(f), das als Ergebnis der Optimierung für den dynamischen Bereich erhalten wird, auf der Basis des Mischungsverhältnisses Y(f) überlagert, um das Ausgangsbild O(f) zu erzeugen, das sowohl für den statischen Bereich als auch für den dynamischen Bereich optimiert ist (siehe Gleichungen (4) bis (6)). $M0 (f) = F0 \times I (f)$
$M1 (f) = F 1 \times I (f)$
$O (f) = Y (f) \times M0 (f) + {1 - Y (f)} \times M1 \times (f)$
Diese Operation ist hierbei nur ein Beispiel. Die Gewichtung kann weiter betrachtet werden, oder die Operation kann mit Hilfe einer Vielzahl von Parametern durchgeführt werden, die je nach den statischen und den dynamischen Zuständen geändert werden können. Beispielsweise können bei der Super-Resolution-Verarbeitung mit spärlicher Kodierung ein Koeffizient zur Rauschreduktion und ein Koeffizient zur Schärfeverbesserung verwendet werden. So ist z.B. der Koeffizient zur Rauschreduktion F0 ein Koeffizient, der für die Rauschreduktion im statischen Bereich optimiert ist, und F1 ein Koeffizient, der für die Rauschreduktion im dynamischen Bereich optimiert ist. Weiterhin ist F0 ein Koeffizient, der für die Schärfeverbesserung im statischen Bereich optimiert ist, und F1 ist ein Koeffizient, der für die Schärfeverbesserung im dynamischen Bereich optimiert ist. Durch die Verwendung eines solchen Mischungsverhältnisses Y(f) können diese Koeffizienten jeweils optimiert werden. Die Bildverarbeitungseinheit 37 fungiert hier als Beispiel für die erste bis dritte Bildverarbeitungseinheit in den Ansprüchen.
Zweite Bildverarbeitungsverfahren
In einem zweiten Bildverarbeitungsverfahren werden ein für den statischen Bereich optimierter Bildverarbeitungsfilter F0 (Beispiel für einen „statischen Zustandsparameter“ in den Ansprüchen) und ein für den dynamischen Bereich optimierter Bildverarbeitungsfilter F1 (Beispiel für einen „dynamischen Zustandsparameter“ in den Ansprüchen) auf der Basis des Mischungsverhältnisses Y(f) überlagert, um einen Optimierungsfilter F2 (Beispiel für einen „statischen und dynamischen Parameter“ in den Ansprüchen) zu erzeugen. Weiterhin wird das Eingangsbild I(f) mit dem Optimierungsfilter F2 von links multipliziert, so dass das sowohl für den statischen als auch für den dynamischen Bereich optimierte Ausgangsbild O(f) erzeugt wird (siehe Gleichungen (7) und (8)). $F2 = Y (f) \times F 0 + {1 - Y (f)} \times F 1$
$O (f) = F2 \times I (f)$
Insbesondere muss im Gegensatz zum ersten Bildverarbeitungsverfahren die Bildverarbeitung selbst nur einmal durchgeführt werden, wie in Gleichung (8) gezeigtist. Die Schaltungskonfiguration der Bildverarbeitungseinheit 37 ist daher einfacher als die des ersten Bildverarbeitungsverfahrens. Diese Operation ist hier nur ein Beispiel. Die Gewichtung kann weiter betrachtet werden, oder die Operation kann mit Hilfe einer Vielzahl von Parametern durchgeführt werden, die je nach den statischen und den dynamischen Zuständen geändert werden müssen. Die Bildverarbeitungseinheit 37 fungiert in diesem Zusammenhang als Beispiel für die Parameterberechnungseinheit in den Ansprüchen.
Beispiele
11A bis 11F sind Diagramme, die verschiedene Bildverarbeitungsergebnisse zeigen. Im Einzelnen sind die Bilder 11A bis 11D Vergleichsbeispiele und die Bilder 11E und 11F Beispiele nach der vorliegenden Erfindung. In diesen Beispielen wird eine Super-Resolution-Verarbeitung mit Hilfe von spärlicher Kodierung durchgeführt. So erhält man beispielsweise, wie in 11A gezeigt, ein Bild mit extrem geringer Schärfe, wenn man den für den statischen Bereich optimierten Bildverarbeitungsfilter F0 auf den dynamischen Bereich anwendet. Wie in 11D gezeigt, erhält man ein Bild mit hoher Schärfe und verstärktem Rauschen, wenn man den für den dynamische Bereich optimierten Bildverarbeitungsfilter F1 auf den statische Bereich anwendet. Wird dagegen das Bildverarbeitungsverfahren gemäß der vorliegenden Ausführungsform (hier wird als Beispiel das zweite Bildverarbeitungsverfahren angewendet) implementiert, so wird durch das Bildverarbeitungsfilter F2 ein Bild mit entsprechender Schärfe sowohl in dem statischen als auch in dem dynamischen Bereich ausgegeben. Insbesondere wird das Mischungsverhältnis Y(f) so ausgebildet, dass es die Pixeldaten für die Ausgabe eines Bildes besitzt, bei dem eine Grenze zwischen dem dynamischen und dem statischen Bereich natürlich ist. Wenn also der dynamische und der statische Bereich in einem Bild gemischt werden, bietet die Verarbeitung einen größeren Effekt bei der Optimierung.
Modifiziertes Beispiel
Das oben beschriebene Bildverarbeitungsverfahren nach der vorliegenden Ausführungsform kann auch im folgenden Aspekt implementiert sein.
Zum einen wird zwar die Reduktionsverarbeitung um den Faktor 1/4 in der vorliegenden Ausführungsform übernommen, aber das Reduktionsverhältnis ist nicht besonders begrenzt. So kann z.B. die Reduktionsverarbeitung um den Faktor 1/2 oder 1/8 durchgeführt werden. Alternativ können aus dem Eingangsbild I(f) das Differenzbild S(f) und das Binärbild B(f) ohne eine solche Verarbeitung erzeugt werden.
Zweitens kann bei der Reduktionsverarbeitung, die in der vorliegenden Ausführungsform eingesetzt wird, ein anderer Wert, wie z.B. ein Medianwert, als repräsentativer Wert der Pixeldaten des in dem kleinen Bereich enthaltenen Pixel i_m.n angenommen werden, anstatt den Durchschnittswert zu verwenden. Alternativ kann auch nur das Pixel i_m.n an einer bestimmten Position in dem kleinen Bereich, z.B. das Pixel i_4k-3.4I-3 (wobei 1≦k≦[M/4], 1≦l≦[N/4] und [] ein Gauss-Symbol ist) als repräsentatives Pixel ausgewählt werden, wie in 12 dargestellt. Insbesondere ist in 12 das Pixel i_1.1 als repräsentatives Pixel des kleinen Bereichs A1 im Eingangsbild I(f) ausgewählt.
Drittens, während die vorbestimmte Operation unter Verwendung der Pixeldaten der oben, oben links und links des interessierenden Pixels angrenzenden Pixel in dem Bestimmungsverfahren des Mischungsverhältnisses gemäß der vorliegenden Ausführungsform durchgeführt wird, ist das Verfahren nicht darauf beschränkt. Da die Verarbeitung der Pixel in einer Rasterform erfolgt, ist es vorzuziehen, den Fokus auf die obere, obere linke und linke Seite zu setzen, während acht im Randbereich des interessierenden Pixels benachbarte Pixel übernommen werden können.
Viertens kann die Bildbearbeitung durch direkte Verwendung des reduzierten Mischungsverhältnisses X(f) erfolgen, ohne das Mischungsverhältnis Y(f) zu erzeugen. In einem solchen Fall entspricht nicht jedes Pixel i_m.n des Eingangsbildes I(f) und jedes Pixel x_m.n des reduzierten Mischungsverhältnisses X(f) eins zu eins zueinander. Daher ist eine Bildverarbeitungsoperation erforderlich, damit mehrere Pixel i_m.n einem Pixel x_m.n entsprechen können.
Fünftens, wenn das Mischungsverhältnis (z.B. das reduzierte Mischungsverhältnis X(f)) aus den statischen und dynamischen Informationen (z.B. dem Binärbild B(f)) berechnet wird, können diese in der Größe des zweidimensionalen Arrays unterschiedlich sein.
Sechstens, die oben beschriebenen verschiedenen zweidimensionalen Arrays können während des Betriebs als eindimensionales Array gespeichert werden, solange ein gewünschtes Bild schließlich auf der Anzeigeeinrichtung 4 dargestellt werden kann. Weiterhin können statt des eindimensionalen Arrays oder des zweidimensionalen Arrays auch sequentielle Operationen durchgeführt werden.
Siebtens, obwohl das Endoskopsystem 2 in das System 1 gemäß der vorliegenden Ausführungsform übernommen ist, ist die Konfiguration nicht darauf beschränkt, und jede Signalquelle, die in der Lage ist, ein Eingangsbild zu übertragen, das sowohl einen dynamischen als auch einen statischen Bereich umfassen kann, kann verwendet werden. Das heißt, selbst wenn die vorliegende Erfindung auf ein anderes Objekt als das Endoskopsystem 2 angewendet wird, kann für ein Eingangsbild, das sowohl einen dynamischen als auch einen statischen Bereich umfassen kann, ein Bild mit angemessener Schärfe ausgegeben werden.
Achtens, es kann ein Bildbearbeitungsprogramm bereitgestellt werden, das einen Computer veranlasst, eine vorbestimmte Funktion zu realisieren. Die vorbestimmte Funktion umfasst eine Statische-und-dynamische-Information-Berechnungsfunktion zum Berechnen statischer und dynamischer Informationen eines Eingangsbildes; eine Mischungsverhältnis-Einstellfunktion zum Bestimmen eines Mischungsverhältnisses durch Ausführen einer vorbestimmten Operation an den statischen und dynamischen Informationen des Eingangsbildes; und eine Bildverarbeitungsfunktion zum Erzeugen eines Ausgangsbildes, das für eine statische und dynamische Änderung optimiert ist, durch Ausführen einer Bildverarbeitung an dem Eingangsbild auf der Grundlage des Mischungsverhältnisses, wobei ein Bereich als Teil eines Bildes, das wenigstens ein Pixel enthält, als „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Bild zu einem gegenwärtigen (aktuellen) Bild in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind. Weiterhin kann ein computerlesbares, nichtflüchtiges Aufzeichnungsmedium, das die Funktionen des Programms umsetzt, bereitgestellt werden. Darüber hinaus kann ein solches Programm über das Internet o.ä. verbreitet werden. Darüber hinaus kann jeder Teil des Systems 1 im gleichen Gehäuse untergebracht sein oder in mehreren Gehäusen verteilt und angeordnet sein.
Schlussfolgerung
Wie oben beschrieben worden ist, kann die vorliegende Ausführungsform eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm bereitstellen, die in der Lage sind, ein Bild mit angemessener Schärfe für ein Eingangsbild auszugeben, das sowohl einen dynamischen als auch einen statischen Bereich umfassen kann.
Es wurden zwar verschiedene Ausführungsformen nach der vorliegenden Erfindung beschrieben, diese sind jedoch nur beispielhaft dargestellt und sollen den Umfang der Erfindung nicht einschränken. Die neuartige Ausführungsform kann in verschiedenen anderen Ausführungsformen umgesetzt sein, und es können verschiedene Auslassungen, Ersetzungen und Änderungen vorgenommen werden, ohne den Umfang der Erfindung zu verlassen. Die Ausführungsformen und deren Änderungen sind im Umfang und im Kern der Erfindung enthalten und sind in der in den Ansprüchen beschriebenen Erfindung und deren Äquivalenten enthalten.
Bezugszeichenliste

1: System
2: Endoskopsystem
21: Endoskop
22: Bildverarbeitungseinheit
3: Bildverarbeitungsvorrichtung
3B: Kommunikationsbus
31: Steuereinheit
32: Speichereinheit
33: Eingabeeinheit
34: Sende- und Empfangseinheit
35: Statische-und-dynamische-Information-Berechner
36: Einheit zur Einstellung des Mischungsverhältnisses
37: Bildverarbeitungseinheit
4: Anzeigeeinrichtung
A1: kleiner Bereich
A2: kleiner Bereich
B: Binärbild
B2: Binärbild
F: Bildverarbeitungsfilter
F0: Bildverarbeitungsfilter
F1: Bildverarbeitungsfilter
F2: Optimierungsfilter
I: Eingangsbild
J: reduziertes Bild
M0: erstes Zwischenbild
M1: zweites Zwischenbild
O: Ausgangsbild
R: Referenzbild
S: Differenzbild
X: reduziertes Mischungsverhältnis,
Y: Mischungsverhältnis

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013089205 A [0003]

Claims

Bildverarbeitungsvorrichtung, umfassend: einen Statische-und-dynamische-Information-Berechner, der so ausgebildet ist, dass er statische und dynamische Informationen eines Eingangsbildes berechnet; eine Mischungsverhältnis-Einstelleinheit, die so ausgebildet ist, dass sie ein Mischungsverhältnis bestimmt, indem sie eine vorbestimmte Operation an den statischen und dynamischen Informationen des Eingangsbildes durchführt, und eine Bildverarbeitungseinheit, die so ausgebildet ist, dass sie ein Ausgangsbild erzeugt, das für statische und dynamische Änderungen optimiert ist, indem sie eine Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses durchführt, wobei ein Bereich als ein Teil eines Bildes, das wenigstens ein Pixel enthält, als ein „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind, wobei ein Zustand ohne die statische und dynamische Änderung als statischer Zustand definiert ist, während ein Zustand mit der statischen und dynamischen Änderung als dynamischer Zustand definiert ist, und wobei das Mischungsverhältnis zur Gewichtung der für den statischen Zustand optimierten Bildverarbeitung und der für den dynamischen Zustand optimierten Bildverarbeitung verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die statische und dynamische Information ein Bild mit zu binären Werten von 0 oder 1 binarisierten Pixeldaten ist, und ein Anteil jedes der Binärwerte in einem ersten kleinen Bereich und in einem zweiten kleinen Bereich um den ersten kleinen Bereich der statischen und dynamischen Information in der vorbestimmten Operation verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei die Bildverarbeitungseinheit umfasst: eine erste Bildverarbeitungseinheit, die ausgebildet ist, um ein erstes Zwischenbild zu erzeugen, das dem statischen Zustand entspricht, indem eine Bildverarbeitung an dem Eingangsbild durchgeführt wird; eine zweite Bildverarbeitungseinheit, die ausgebildet ist, um ein zweites Zwischenbild zu erzeugen, das dem dynamischen Zustand entspricht, indem eine Bildverarbeitung an dem Eingangsbild durchgeführt wird; und eine dritte Bildverarbeitungseinheit, die ausgebildet ist, um das Ausgangsbild durch Überlagerung des ersten und zweiten Zwischenbildes auf der Grundlage des Mischungsverhältnisses zu erzeugen.
Bildverarbeitungseinheit nach Anspruch 1 oder 2, weiterhin umfassend einen Parameterberechner umfasst, wobei der Parameterberechner ausgebildet ist, um einen statischen und dynamischen Parameter durch Überlagerung eines statischen Zustandsparameters, der dem statischen Zustand entspricht, und eines dynamischen Zustandsparameters, der dem dynamischen Zustand entspricht, auf der Basis des Mischungsverhältnisses zu berechnen, und wobei die Bildverarbeitungseinheit die statischen und dynamischen Parameter zur Erzeugung des Ausgangsbildes verwendet.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei der zweite kleine Bereich ein kleiner Bereich ist, der an den ersten kleinen Bereich auf einer oberen Seite, oberen linken Seite und linken Seite des ersten kleinen Bereichs angrenzt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Bildverarbeitungseinheit ausgebildet ist, um wenigstens eine Rauschreduktionsverarbeitung oder eine Schärfeverarbeitung auf der Basis des Mischungsverhältnisses durchzuführen, um das Ausgangsbild zu erzeugen.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Bildverarbeitungseinheit ausgebildet ist, um eine Super-Resolution-Verarbeitung auf der Basis des Mischungsverhältnisses durchzuführen, um das Ausgangsbild zu erzeugen.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei das Eingangsbild ein Bild ist, an dem eine dreidimensionale Rauschreduktionsverarbeitung im Voraus durchgeführt wurde.
Bildverarbeitungsverfahren, umfassend: einen statischen und dynamischen Informationsberechnungsschritt zum Berechnen statischer und dynamischer Informationen eines Eingangsbildes; einen Mischungsverhältnis-Einstellschritt zum Bestimmen eines Mischungsverhältnisses durch Ausführen einer vorbestimmten Operation an den statischen und dynamischen Informationen des Eingangsbildes; und einen Bildverarbeitungsschritt zur Erzeugung eines für die statische und dynamische Änderung optimierten Ausgangsbildes, indem eine Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses durchgeführt wird, wobei ein Bereich als ein Teil eines Bildes, das wenigstens ein Pixel enthält, als ein „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind, wobei ein Zustand ohne die statische und dynamische Änderung als statischer Zustand definiert ist, während ein Zustand mit der statischen und dynamischen Änderung als dynamischer Zustand definiert ist, und wobei das Mischungsverhältnis zur Gewichtung der für den statischen Zustand optimierten Bildverarbeitung und der für den dynamischen Zustand optimierten Bildverarbeitung verwendet wird.
Bildverarbeitungsprogramm, das einen Computer veranlasst, eine vorbestimmte Funktion zu realisieren, wobei die vorbestimmte Funktion umfasst: eine Statische-und-dynamische-Information-Berechnungsfunktion zum Berechnen statischer und dynamischer Informationen eines Eingangsbildes; eine Mischungsverhältnis-Einstellfunktion zum Bestimmen eines Mischungsverhältnisses durch Ausführen einer vorbestimmten Operation an den statischen und dynamischen Informationen des Eingangsbildes; und eine Bildverarbeitungsfunktion zur Erzeugung eines auf statische und dynamische Änderungen optimierten Ausgangsbildes, indem eine Bildverarbeitung des Eingangsbildes auf der Grundlage des Mischungsverhältnisses durchgeführt wird, wobei ein Bereich als ein Teil eines Bildes, das wenigstens ein Pixel enthält, als ein „kleiner Bereich“ definiert ist, und Informationen, die für jeden kleinen Bereich eine statische und dynamische Änderung von einem vergangenen Rahmen zu einem gegenwärtigen Rahmen in einem Bewegtbild anzeigen, als „statische und dynamische Informationen“ definiert sind, wobei ein Zustand ohne die statische und dynamische Änderung als statischer Zustand definiert ist, während ein Zustand mit der statischen und dynamischen Änderung als dynamischer Zustand definiert ist, und wobei das Mischungsverhältnis zur Gewichtung der für den statischen Zustand optimierten Bildverarbeitung und der für den dynamischen Zustand optimierten Bildverarbeitung verwendet wird.