DE112014007051T5

DE112014007051T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung

Info

Publication number: DE112014007051T5
Application number: DE112014007051.3T
Authority: DE
Inventors: Hiroshi Sasaki
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-11-19
Filing date: 2014-11-19
Publication date: 2017-06-22
Also published as: WO2016079831A1; CN106999019B; CN106999019A; US10867367B2; JPWO2016079831A1; JP6471173B2; US20170243325A1

Abstract

Eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung zum Erzeugen eines Bildsignals aufgrund eines elektrischen Signals, das von einem Bildsensor erzeugt wird, wobei erste Pixel zum Erzeugen eines elektrischen Signals einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht und zweite Pixel zum Erzeugen elektrischer Signale von Farbkomponenten, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen in einer Matrix angeordnet sind, und die Dichte der ersten Pixel höher als die Dichte von jeder Farbkomponente der zweiten Pixel ist. Die Bildverarbeitungsvorrichtung umfasst: eine Einheit zur Berechnung der interpolierten Farbdifferenz, die ein elektrisches Signal der ersten Leuchtdichtekomponente an einer Position der zweiten Pixel interpoliert und ein Farbdifferenzsignal aufgrund einer Differenz zwischen dem elektrischen Signal der Leuchtdichtekomponente, das durch die Interpolation erzeugt wird, und dem elektrischen Signal der Farbkomponente erzeugt, das unter Verwendung des zweiten Pixels erzeugt wird; eine Farbdifferenz-Interpolationseinheit, die eine Interpolationsrichtung aufgrund des Farbdifferenzsignals unterscheidet, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird, und ein fehlendes Farbdifferenzsignal an jeder Pixelposition interpoliert; und eine Bildsignal-Erzeugungseinheit, die ein elektrisches Signal der Farbkomponente, das anhand des zweiten Pixels erzeugt wird, aufgrund eines interpolierten Farbdifferenzsignals und eines elektrischen Signals der Leuchtdichtekomponente erzeugt, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm zum Durchführen von Signalverarbeitung an einem von einem Bildsensor erzeugten Bildgebungssignal, um ein Bildsignal zu erzeugen. Die vorliegende Erfindung betrifft auch eine Endoskopvorrichtung, die die Bildverarbeitungsvorrichtung umfasst.
Hintergrund
Herkömmlicherweise wurden Endoskopvorrichtungen weithin für verschiedene Untersuchungen im medizinischen Bereich und im industriellem Bereich eingesetzt. Unter solchen Endoskopvorrichtungen ist eine medizinische Endoskopvorrichtung dazu in der Lage, ein in-vivo Bild im Inneren einer Körperhöhle aufzunehmen, ohne dass ein Einschnitt an der Person vorgenommen werden muss, indem ein flexibler Einführabschnitt, der mit einem mehrere Pixel umfassenden Bildsensor an dessen distalen Ende vorgesehen und in einer langgestreckten Form ausgebildet ist, in die Körperhöhle einer Person, etwa eines Patienten, eingeführt wird. Daher belastet die medizinische Endoskopvorrichtung den Betroffenen nur leicht und wurde weit verbreitet eingesetzt.
Als Beobachtungsverfahren einer solchen Endoskopvorrichtung waren Weißlicht-Bildgebung unter Verwendung von weißem Beleuchtungslicht von weißer Farbe (weißes Beleuchtungslicht) und Schmalband-Bildgebung unter Verwendung von Beleuchtungslicht mit einem Schmalband, nämlich einem Wellenlängenband, das schmaler als ein weißes Wellenlängenband ist, (Schmalband-Beleuchtungslicht) bereits weithin bekannt. Unter diesen kann beispielsweise die Schmalband-Bildgebung ein Bild erzielen, in dem Kapillaren, feine Schleimhautmuster und dergleichen in einem Schleimhautoberflächenabschnitt eines lebenden Körpers (Oberflächenschicht eines lebenden Körpers) hervorgehoben werden. Gemäß der Schmalband-Bildgebung kann ein Läsionsbereich im Schleimhautoberflächenabschnitt des lebenden Körpers genauer festgestellt werden. Bezüglich dieser Beobachtungsverfahren der Endoskopvorrichtung besteht ein Bedarf nach Beobachtung, die durch Umschalten zwischen der Weißlicht-Bildgebung und der Schmalband-Bildgebung durchgeführt werden kann.
Als ein Verfahren zum Durchführen von Beobachtung durch Umschalten zwischen der Weißlicht-Bildgebung und der Schmalband-Bildgebung wurden Endoskopvorrichtungen vorgeschlagen, die zwischen einem Weißlicht-Bildgebungsmodus, in dem ein Gewebe in einer Körperhöhle nacheinander mit Beleuchtungslicht der drei Primärfarben R, G und B beleuchtet wird, um anhand des reflektierten Lichts ein Beobachtungsbild aus weißem Beleuchtungslicht zu erzeugen, und einem Schmalband-Bildgebungsmodus umgeschaltet werden können, in dem das Gewebe in der Körperhöhle nacheinander mit Lichtstrahlen beleuchtet wird, die jeweils zwei Schmalbänder in Wellenlängenbändern von blauem Licht und grünem Licht umfassen, um ein Beobachtungsbild aus Schmalbandlicht aus dem reflektierten Licht zu erzeugen (siehe beispielsweise Patentliteratur 1). Lichtstrahlen, die jeweils zwei Schmalbänder in Wellenlängenbändern von blauem Licht und grünem Licht umfassen, unterscheiden sich voneinander bezüglich der Absorptionseigenschaften von Hämoglobin in Blutgefäßen und des Abschwächungsbetrags in Tiefenrichtung des lebenden Körpers abhängig von der Wellenlänge. In einem bestimmten Lichtbeobachtungsbild kann die Kapillarität einer Oberflächenschicht und eine Schleimhautstruktur der Oberflächenschicht anhand des Schmalbandlichts, das im Wellenlängenband des blauen Lichts enthalten ist, und ein dickeres Blutgefäß einer tiefen Schicht anhand des Schmalbandlichts, das in dem Wellenlängenband des grünen Lichts enthalten ist, erfasst werden.
Um anhand des oben beschriebenen Beobachtungsverfahrens ein Farbbild zu erzeugen und anzuzeigen, ist ein Farbfilter, der durch Anordnen von Filtern konfiguriert ist, die Licht von roten (R), grünen (G), grünen (G) bzw. blauen (B) Wellenlängenbändern hindurchtreten lassen, als eine einzelne Filtereinheit (Einheit), die gewöhnlich als Bayer-Array bezeichnet wird, für jedes Pixel auf einer lichtempfangenden Oberfläche eines Bildsensors vorgesehen, um ein erfasstes Bild mittels eines Einscheiben-Bildsensors zu gewinnen. In diesem Fall empfängt jedes Pixel Licht von einem Wellenlängenband, das durch den Filter getreten ist, und erzeugt ein elektrisches Signal einer Farbkomponente, die dem Licht des Wellenlängenbands entspricht. So wird Interpolationsverarbeitung zum Interpolieren eines Signalwerts einer Farbkomponente, der ohne Hindurchtreten durch den Filter fehlt, im Prozess des Erzeugens des Farbbilds in jedem Pixel durchgeführt. Eine solche Interpolationsverarbeitung wird Demosaicing-Verarbeitung genannt. Nachstehend wird ein Signal, das von einem G-Pixel (einem Pixel, in dem ein G-Filter angeordnet ist; ähnliche Definitionen werden für R-Pixel und B-Pixel verwendet) gewonnen wurde, als G-Signal bezeichnet (als R-Signal im Fall der R-Pixel und als B-Signal im Fall der B-Pixel).
Als Beispiel für die Demosaicing-Verarbeitung wird eine Methode des Interpolierens von G-Signalen in R- und B-Pixeln offenbart, wenn die G-Signale fehlen, Verwendens von Korrelationen mit diese umgebenden G-Pixeln, und Interpolieren eines Farbdifferenzsignals durch Durchführen von Interpolationsverarbeitung an Farbdifferenzsignalen (einem R-G-Signal und einem B-G-Signal), die anhand eines R-Signals des R-Pixels oder eines B-Signals an der B-Pixelposition berechnet werden, an einer Pixelposition, an der das Farbdifferenzsignal fehlt, wobei die Korrelationen mit den umgebenden G-Pixeln verwendet werden, die beim Interpolieren des G-Signals verwendet wurden (siehe beispielsweise Patentliteratur 2).
Liste der Bezugsverweise
Patentliteratur

Patentliteratur 1: JP 2006-68113 A
Patentliteratur 2: JP 2005-333418 A

Zusammenfassung
Technisches Problem
Wenn die Demosaicing-Verarbeitung aufgrund des elektrischen Signals durchgeführt wird, das aus dem Bayer-Array erzielt wird, kann hohe Auflösung gewährleistet werden, indem die Interpolationsverarbeitung anhand des Signalwerts des G-Pixels in der Weißlicht-Bildgebung durchgeführt wird. Bei der Schmalband-Bildgebung, kann es jedoch schwierig sein, ein Bild mit hoher Auflösung zu erzielen, selbst wenn die oben beschriebene Interpolationsverarbeitung durchgeführt wird, da die Farbkorrelation zwischen dem G-Pixel und dem B-Pixel gering ist.
Die vorliegende Erfindung wurde in Anbetracht des Vorstehenden gemacht, und eine Aufgabe der Erfindung ist das Bereitstellen einer Bildverarbeitungsvorrichtung, eines Bildverarbeitungsverfahrens und eines Bildverarbeitungsprogramms, sowie einer Endoskopvorrichtung, die dazu in der Lage sind, mit sowohl der Weißlicht-Bildgebung als auch der Schmalband-Bildgebung ein Bild mit hoher Auflösung zu erzielen.
Problemlösung
Um das oben beschriebenen Problem zu lösen und die Aufgabe zu erfüllen, ist eine erfindungsgemäße Bildverarbeitungsvorrichtung so konfiguriert, dass sie aufgrund elektrischer Signale, die von einem Bildsensor ausgegeben werden, ein Bildsignal erzeugt, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und die Dichte der ersten Pixel höher als die Dichte von jeder der Farbkomponenten der zweiten Pixel ist. Die Bildverarbeitungsvorrichtung umfasst: eine Einheit zur Berechnung der interpolierten Farbdifferenz, die zu Folgendem konfiguriert ist: Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal der ersten Leuchtdichtekomponente zu erzeugen; und Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixel erzeugt werden, um ein Farbdifferenzsignal zu erzeugen; eine Farbdifferenz-Interpolationseinheit, die so konfiguriert ist, dass sie eine Interpolationsrichtung aufgrund des Farbdifferenzsignals unterscheidet, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und eine Bildsignal-Erzeugungseinheit, die so konfiguriert ist, dass sie die elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, aufgrund des interpolierten Farbdifferenzsignals, das von der Farbdifferenz-Interpolationseinheit erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente erzeugt, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird.
Um das oben beschriebenen Problem zu lösen und die Aufgabe zu erfüllen, ist ein erfindungsgemäßes Bildverarbeitungsverfahren ein Verfahren zum Erzeugen eines Bildsignals aufgrund elektrischer Signale, die von einem Bildsensor ausgegeben werden, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und die Dichte der ersten Pixel höher als die Dichte von jeder der Farbkomponenten der zweiten Pixel ist. Das Bildverarbeitungsverfahren umfasst: einen Schritt des Berechnens einer interpolierten Farbdifferenz zum Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal des ersten Leuchtdichtekomponente zu erzeugen, und zum Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixeln erzeugt werden, um eine Farbdifferenzsignal zu erzeugen; einen Schritt des Interpolierens der Farbdifferenz, um eine Interpolationsrichtung aufgrund des Farbdifferenzsignals zu unterscheiden, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und einen Schritt des Erzeugens eines Bildsignals, zum Erzeugen der elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, aufgrund des interpolierten Farbdifferenzsignals, das im Schritt des Interpolierens der Farbdifferenz erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird.
Um das oben beschriebenen Problem zu lösen und die Aufgabe zu erfüllen, ist ein erfindungsgemäßes Bildverarbeitungsprogramm ein Programm zum Erzeugen eines Bildsignals aufgrund elektrischer Signale, die von einem Bildsensor ausgegeben werden, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und die Dichte der ersten Pixel höher als die Dichte von jeder der Farbkomponenten der zweiten Pixel ist. Das Bildverarbeitungsprogramm veranlasst einen Computer, Folgendes auszuführen: einen Schritt des Berechnens einer interpolierten Farbdifferenz zum Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal des ersten Leuchtdichtekomponente zu erzeugen, und zum Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixeln erzeugt werden, um eine Farbdifferenzsignal zu erzeugen; einen Schritt des Interpolierens der Farbdifferenz, um eine Interpolationsrichtung aufgrund des Farbdifferenzsignals zu unterscheiden, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und einen Schritt des Erzeugens eines Bildsignals, zum Erzeugen der elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, aufgrund des interpolierten Farbdifferenzsignals, das im Schritt des Interpolierens der Farbdifferenz erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird.
Um das oben beschriebene Problem zu lösen und die Aufgabe zu erfüllen umfasst eine erfindungsgemäße Endoskopvorrichtung: eine Lichtquelleneinheit, die zum Abgeben von weißem Beleuchtungslicht oder Schmalband-Beleuchtungslicht konfiguriert ist, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, und das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als Wellenlängenbänder des weißen Beleuchtungslichts aufweist; einen Bildsensor, der erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, und die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente des Schmalband-Beleuchtungslichts umfasst, und die Dichte der ersten Pixel größer als die Dichte von jeder der Farbkomponenten der zweiten Pixel ist; und die Bildverarbeitungsvorrichtung gemäß der oben beschriebenen Erfindung.
Vorteilhafte Auswirkungen der Erfindung
Erfindungsgemäß kann ein Bild mit hoher Auflösung mit sowohl Weißlicht-Bildgebung als auch Schmalband-Bildgebung erzielt werden. Kurze Beschreibung der Zeichnungen
1 ein Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
2 ein schematisches Diagramm, das eine schematische Konfiguration der Endoskopvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
3 ein schematisches Diagramm, das eine Konfiguration eines Pixels eines Bildsensors gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
4 ein schematisches Diagramm, das eine beispielhafte Konfiguration eines Farbfilters gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
5 ein Schaubild, das eine Beziehung zwischen der Wellenlänge und der Lichtmenge von Beleuchtungslicht darstellt, das von einer Beleuchtungseinheit der Endoskopvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung abgegeben wird.
6 ein Schaubild, das eine Beziehung zwischen der Wellenlänge und der Durchlässigkeit von Beleuchtungslicht von einem Umschaltfilter darstellt, der in der Beleuchtungseinheit der Endoskopvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung enthalten ist.
7 ein Blockdiagramm zum Beschreiben einer Konfiguration einer Vorverarbeitungseinheit gemäß der ersten Ausführungsform der vorliegenden Erfindung.
8 ein Blockdiagramm zum Beschreiben einer Konfiguration einer Interpolationsverarbeitungseinheit gemäß der ersten Ausführungsform der vorliegenden Erfindung.
9 ein schematisches Diagramm zum Beschreiben von Demosaicing-Verarbeitung, die von einem Prozessor gemäß der ersten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
10 ein schematisches Diagramm zum Beschreiben von Demosaicing-Verarbeitung, die von einem Prozessor gemäß der ersten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
11 ein Flussdiagramm zum Beschreiben von Signalverarbeitung, die von einem Prozessor gemäß der ersten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
12 ein schematisches Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß einem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung darstellt.
13 ein schematisches Diagramm, das eine Konfiguration eines Rotationsfilters einer Lichtquelleneinheit gemäß dem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung darstellt.
14 ein Schaubild, das eine Beziehung zwischen einer Wellenlänge und Durchlässigkeit für Beleuchtungslicht gemäß einem Filter darstellt, der in der Beleuchtungseinheit der Endoskopvorrichtung gemäß dem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung enthalten ist.
15 ein schematisches Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung darstellt.
16 ein Blockdiagramm zum Beschreiben einer Konfiguration einer Vorverarbeitungseinheit gemäß der zweiten Ausführungsform der vorliegenden Erfindung.
17 ein Diagramm zum schematischen Beschreiben einer Bewegung zwischen Bildern, die zu verschiedenen Zeitpunkten der Bildgebung erzielt werden, die von einer Bewegungsvektordetektions-Verarbeitungseinheit der Endoskopvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
18 ein Blockdiagramm zum Beschreiben einer Konfiguration einer Interpolationsverarbeitungseinheit eines Prozessors gemäß der zweiten Ausführungsform der vorliegenden Erfindung.
19 ein schematisches Diagramm zum Beschreiben von Demosaicing-Verarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
20 ein schematisches Diagramm zum Beschreiben der Demosaicing-Verarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
21 ein schematisches Diagramm zum Beschreiben von Demosaicing-Verarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
22 ein schematisches Diagramm zum Beschreiben eines anderen Beispiels der Demosaicing-Verarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
23 ein Flussdiagramm zum Beschreiben von Signalverarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
Beschreibung der Ausführungsformen
Nachstehend werden Formen der Ausführung der vorliegenden Erfindung (nachstehend als „Ausführungsform(en)” bezeichnet) beschrieben. In den Ausführungsformen wird auf eine medizinische Endoskopvorrichtung Bezug genommen, die eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung umfasst und ein Bild in einer Körperhöhle einer Person, etwa eines Patienten, erfasst und anzeigt. Die Erfindung ist nicht durch die Ausführungsformen beschränkt. In allen Zeichnungen werden die gleichen Bezugszeichen verwendet, um gleiche Elemente zu bezeichnen.
Obwohl in den folgenden Ausführungsformen ein Teil eines Wellenlängenbands von weißem Licht als „Schmalband” bezeichnet wird, kann das Schmalband ein Wellenlängenband in einem schmaleren Bereich als das Wellenlängenband des weißen Lichts sein. Alternativ kann das Schmalband ein Wellenlängenband (beispielsweise Infrarot, Ultraviolett und dergleichen) außerhalb des Bereichs des Wellenlängenbands des weißen Lichts (sichtbaren Lichts) umfassen.
(Erste Ausführungsform)
1 ist ein Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt. 2 ist ein schematisches Diagramm, das eine schematische Konfiguration der Endoskopvorrichtung gemäß der ersten Ausführungsform darstellt. Eine in 1 und 2 dargestellte Endoskopvorrichtung 1 umfasst: ein Endoskop 2, das ein in-vivo-Bild eines beobachteten Bereichs durch Einführen eines Einführabschnitts 21 in eine Körperhöhle einer Person erfasst und ein elektrisches Signal erzeugt; eine Lichtquelleneinheit 3, die Beleuchtungslicht erzeugt, das von einem distalen Ende des Endoskops 2 abgegeben wird; einen Prozessor 4, der vorgegebene Bildverarbeitung an dem elektrischen Signal ausführt, das von dem Endoskop 2 gewonnen wird, und den Gesamtbetrieb der Endoskopvorrichtung 1 ganzheitlich steuert; und eine Anzeigeeinheit 5, die das in-vivo-Bild anzeigt, das der Bildverarbeitung durch den Prozessor 4 unterzogen wurde. Der Einführabschnitt 21 der Endoskopvorrichtung 1 ist so konfiguriert, dass er in die Körperhöhle der Person, etwas eines Patienten, eingeführt wird, um das in-vivo-Bild der Körperhöhle zu gewinnen. Ein Benutzer, etwa ein Arzt, beobachtet das gewonnene in-vivo-Bild, um es auf Vorhandensein oder Fehlen von blutenden Stellen oder Tumoren (Läsionsstelle S) zu untersuchen, die einen Detektionszielbereich darstellen.
Das Endoskop 2 umfasst: den Einführabschnitt 21, der Flexibilität und eine langgestreckte Form aufweist; eine Betätigungseinheit 22, die mit einer proximalen Endseite des Einführabschnitts 21 verbunden ist und Eingaben von verschiedenartigen Betriebssignalen empfängt; und ein Universalkabel 23, das sich von der Betätigungseinheit 22 in eine Richtung erstreckt, die sich von einer Erstreckungsrichtung des Einführabschnitts 21 unterscheidet, und verschiedenartige integrierter Kabel umfasst, die mit der Lichtquelleneinheit 3 und dem Prozessor 4 verbunden sind.
Der Einführabschnitt 21 umfasst: einen distalen Endabschnitt 24, der einen integrierten Bildsensor 202 umfasst, in dem Pixel (Photodioden) zum Empfangen von Licht in einer Gitterform (in einer Matrix) angeordnet sind, und der ein Bildsignal erzeugt, indem er photoelektrische Umwandlung an dem von den Pixeln empfangenen Licht durchführt; einen biegsamen Abschnitt 25, der biegbar ist und mehrere Biegeteile aufweist; und einen langgestreckten flexiblen Röhrenabschnitt 26, der mit einer proximalen Endseite des biegsamer Abschnitts 25 verbunden ist und Flexibilität aufweist.
Die Betätigungseinheit 22 umfasst: einen Biegeknopf 221 zum Biegen des biegsamen Abschnitts 25 in einer Richtung nach oben und unten und in einer Richtung nach rechts und links; einen Behandlungsinstrument-Einführabschnitt 222 durch ein Behandlungsinstrument, etwa eine Biopsiezange, ein elektrisches Skalpell oder eine Prüfsonde, in die Körperhöhle der Person eingeführt wird; und mehrere Schalter 223 zum Empfangen eines Befehlssignals, um die Lichtquelleneinheit 3 dazu zu veranlassen, einen Umschaltbetrieb für Beleuchtungslicht durchzuführen, eines Betriebsbefehlssignals für eine externe Vorrichtung, die mit dem Behandlungsinstrument und dem Prozessor 4 verbunden ist, eines Wasserzufuhrbefehlssignals, um Wasser zuzuführen, eines Saugbefehlssignals, um Absaugen durchzuführen und dergleichen. Das Behandlungsinstrument ist so konfiguriert, dass es aus dem Behandlungsinstrument-Einführabschnitt 222 eingeführt wird und aus einer Öffnung (nicht gezeigt) über den Behandlungsinstrumentkanal (nicht gezeigt) vorgeschoben wird, der an einem distalen Ende des distalen Endabschnitts 24 vorgesehen ist.
In das Universalkabel 23 sind mindestens ein Lichtleiter 203 und eine Kabelanordnung integriert, die durch Anordnen einer oder mehrerer Signalleitungen ausgebildet ist. Die Kabelanordnung ist die Signalleitung zum Senden und Empfangen von Signalen zwischen dem Endoskop 2, der Lichtquelleneinheit 3, und dem Prozessor 4, und umfasst eine Signalleitung zum Senden und Empfangen von Einstellungsdaten, eine Signalleitung zum Senden und Empfangen eines Bildsignals, eine Signalleitung zum Senden und Empfangen eines Treiberzeitsteuerungssignals zum Antreiben des Bildsensors 202 und dergleichen.
Außerdem umfasst das Endoskop 2 ein optisches Bildgebungssystem 201, einen Bildsensor 202, einen Lichtleiter 203, eine Beleuchtungslinse 204, einen A/D-Wandler 205 und eine Speichereinheit für Bildgebungsinformationen 206.
Das optische Bildgebungssystem 201 ist am distalen Endabschnitt 24 vorgesehen und sammelt Licht von zumindest einem beobachten Bereich. Das optische Bildgebungssystem 201 ist so konfiguriert, dass es eine oder mehrere Linsen benutzt. Das optisches Bildgebungssystem 201 kann einen optischen Zoom-Mechanismus zum Ändern eines Blickwinkels und eine Fokussiermechanismus zum Ändern des Brennpunkts umfassen.
Der Bildsensor 202 ist rechtwinklig zu einer optischen Achse des optischen Bildgebungssystems 201 vorgesehen, führt photoelektrische Umwandlung an einem Bild von Licht aus, das von dem optisches Bildgebungssystem 201 ausgebildet wird, und erzeugt ein elektrisches Signal (Bildsignal). Der Bildsensor 202 ist mittels eines CCD-Bildsensors (Bildsensor mit ladungsgekoppeltem Speicher), eines (Bildsensor mit komplementärem Metalloxide-Halbleiter) und dergleichen ausgeführt.
3 ist ein schematisches Diagramm, das eine Konfiguration eines Pixels des Bildsensors gemäß der ersten Ausführungsform darstellt. Der Bildsensor 202 umfasst mehrere in einer Gitterform (in einer Matrix) angeordnete Pixel, die Licht vom optischen Bildgebungssystem 201 empfangen. Außerdem erzeugt der Bildsensor 202 ein elektrisches Signal (auch als Bildgebungssignal oder dergleichen bezeichnet), das anhand photoelektrischer Umwandlung an dem von jedem Pixel empfangenen Licht ausgebildet wird. Dieses elektrische Signal umfasst einen Pixelwert (Leuchtdichtewert) für jedes Pixel und Positionsinformationen von Pixeln und dergleichen. In 3 wird ein Pixel, das in der i-ten Zeile und der j-ten Spalte angeordnet ist, als Pixel P_ij bezeichnet.
Der Bildsensor 202 umfasst einen Farbfilter 202a, der zwischen dem optischen Bildgebungssystem 201 und dem Bildsensor 202 vorgesehen ist und mehrere Filter umfasst, von denen jeder so konfiguriert ist, dass er Licht mit einem jeweils individuell eingestellten Wellenlängenband hindurchtreten lässt. Der Farbfilter 202a ist auf einer lichtempfangenden Oberfläche des Bildsensors 202 vorgesehen.
4 ist ein schematisches Diagramm, das eine beispielhafte Konfiguration eines Farbfilters gemäß der ersten Ausführungsform darstellt. Der Farbfilter 202a ist durch Anordnen der Filtereinheiten U1 konfiguriert, die unter Verwendung von vier Filtern ausgebildet ist, die in einer 2×2-Matrix angeordnet sind, um in einer Matrix gemäß der Anordnung der Pixels P_ij angeordnet zu werden. Mit anderen Worten ist der Farbfilter 202a durch wiederholtes Anordnen von Grundmuster unter Verwendung eines Filter-Arrays der Filtereinheiten U1 als das Grundmuster konfiguriert. Der Einzelfilter, der Licht eines vorgegebenen Wellenlängenbands hindurchtreten lässt, ist auf jeder lichtempfangenden Oberfläche der jeweiligen Pixel angeordnet. Somit empfängt das mit dem Filter versehene Pixel P_ij Licht von einem Wellenlängenband, das durch den entsprechenden Filter tritt. Beispielsweise empfängt das Pixel P_ij, das mit dem Filter versehen ist, der Licht eines grünen Wellenlängenbands hindurchtreten lässt, Licht vom grünen Wellenlängenband. Nachstehend wird das Pixel P_ij, das Licht vom grünen Wellenlängenband empfängt, als G-Pixel bezeichnet. Ähnlich wird ein Pixel, das Licht von einem blauen Wellenlängenband empfängt, als B-Pixel bezeichnet, und ein Pixel, das Licht von einem roten Wellenlängenband empfängt wird als R-Pixel bezeichnet.
Hierin lässt die Filtereinheit U1 Licht eines blauen (B) Wellenlängenbands H_B, eines grünen (G) Wellenlängenbands H_G und eines roten (R) Wellenlängenbands H_R hindurchtreten. Außerdem ist die Filtereinheit U1 so konfiguriert, dass sie einen Blaufilter (B-Filter), der Licht des Wellenlängenbands H_B hindurchtreten lässt, Grünfilter (G-Filter), die Licht des Wellenlängenbands H_G hindurchtreten lassen, und einen Rotfilter (R-Filter), der Licht des Wellenlängenbands H_R hindurchtreten lässt, verwendet und einen sogenannten Bayer-Array ausbildet, in dem zwei G-Filter diagonal angeordnet sind und der B-Filter und der R-Filter diagonal angeordnet sind. In der Filtereinheit U1 ist die Dichte des G-Filters höher als jede Dichte des B-Filters und des R-Filters. Mit anderen Worten ist die Dichte des G-Pixel höher als jede Dichte des B-Pixels und des R-Pixels im Bildsensor 202. Beispielsweise sind das blaue, grüne und rote Wellenlängenband H_B, H_G und H_R so gegeben, dass beispielsweise das Wellenlängenband H_B 380 nm bis 500 nm aufweist, das Wellenlängenband H_G 480 nm bis 600 nm aufweist und das Wellenlängenband H_R 580 nm bis 650 nm aufweist.
Zurückkehrend zur Beschreibung von 1 und 2 ist der Lichtleiter 203 unter Verwendung einer Glasfaser oder dergleichen konfiguriert und bildet eine Lichtleiterstrecke von Licht aus, das von der Lichtquelleneinheit 3 ausgegeben wird.
Die Beleuchtungslinse 204 ist an einem distalen Ende des Lichtleiters 203 vorgesehen, streut vom Lichtleiter 203 geleitetes Licht, und gibt das Licht an das Äußere des distalen Endabschnitts 24 ab.
Der A/D-Wandler 205 führt A/D-Umwandlung an dem elektrischen Signal durch, das vom Bildsensor 202 erzeugt wird, und gibt das umgewandelte elektrische Signal an den Prozessor 4 aus. Der A/D-Wandler 205 wandelt das elektrische Signal, das vom Bildsensor 202 erzeugt wird, beispielsweise in digitale 12-Bit-Daten (Bildsignal) um.
Die Speichereinheit für Bildgebungsinformationen 206 speichert verschiedene Programme, die zum Betreiben des Endoskop 2 konfiguriert sind, und Daten, die verschiedene Parameter umfassen, die für den Betrieb des Endoskops 2 erforderlich sind, Kennungsinformationen für das Endoskop 2 und dergleichen. Außerdem umfasst die Speichereinheit für Bildgebungsinformationen 206 eine Speichereinheit für Kennungsinformationen 261, die die Kennungsinformationen speichert. Die Kennungsinformationen enthalten eindeutige Informationen (ID) über das Endoskop 2, ein Modelljahr, Informationen zu den Spezifikationen, ein Sendeverfahren, Informationen zum Filter-Array bezüglich des Farbfilters 202a und dergleichen. Die Speichereinheit für Bildgebungsinformationen 206 wird mittels eines Flash-Speichers oder dergleichen ausgeführt.
Nachfolgend wird eine Konfiguration der Lichtquelleneinheit 3 beschrieben. Die Lichtquelleneinheit 3 umfasst eine Beleuchtungseinheit 31 und einen Beleuchtungssteuerung 32.
Gesteuert von der Beleuchtungssteuerung 32 schaltet die Beleuchtungseinheit 31 mehrere Strahlen von Beleuchtungslicht um, deren Wellenlängenbänder sich voneinander unterscheiden, und gibt diese ab. Die Beleuchtungseinheit 31 umfasst eine Lichtquelle 31a, einen Lichtquellentreiber 31b, einen Umschaltfilter 31c, eine Treibereinheit 31d, einen Treiber 31e und eine Kondensorlinse 31f.
Gesteuert von der Beleuchtungssteuerung 32 gibt die Lichtquelle 31a weißes Beleuchtungslicht ab, das Licht von roten, grünen und blauen Wellenlängenbändern H_R, H_G und H_B umfasst. Das weiße Beleuchtungslicht, das von der Lichtquelle 31a erzeugt wird, tritt durch den Umschaltfilter 31c, die Kondensorlinse 31f und den Lichtleiter 203 und wird dann vom distalen Endabschnitt 24 nach außen abgegeben. Die Lichtquelle 31a wird mittels einer Lichtquelle wie einer weißen LED und einer Xenonlampe ausgeführt, die weißes Licht abgibt.
Gesteuert von der Beleuchtungssteuerung 32 veranlasst der Lichtquellentreiber 31b veranlasst die Lichtquelle 31a dazu, das weiße Beleuchtungslicht abzugeben, indem er einen Strom an die Lichtquelle 31a liefert.
Der Umschaltfilter 31c lässt nur blaues Schmalbandlicht und grünes Schmalbandlicht aus dem weißen Beleuchtungslicht hindurchtreten, das von der Lichtquelle 31a abgegeben wird. Der Umschaltfilter 31c ist so in einem Strahlengang des weißen Beleuchtungslichts angeordnet, das von der Lichtquelle 31a abgegeben wird, dass er gesteuert von der Beleuchtungssteuerung 32 entfernt werden kann. Der Umschaltfilter 31c ist im Strahlengang des weißen Beleuchtungslichts so angeordnet, dass nur Lichtstrahlen hindurchgelassen werden, die zwei Schmalbänder aufweisen. Um genau zu sein, lässt der Umschaltfilter 31c Schmalband-Beleuchtungslicht hindurchtreten, das Licht eines Schmalbands T_B (beispielsweise 400 nm bis 445 nm), das im Wellenlängenband H_B enthalten ist, und Licht eines Schmalbands T_G (beispielsweise 530 nm bis 550 nm) umfasst, das im Wellenlängenband H_G enthalten ist. Die Schmalbänder T_B und T_G sind Wellenlängenbänder von blauem Licht bzw. grünem Licht, die von Hämoglobin im Blut leicht absorbiert werden können. Das Schmalband T_B kann mindestens ein Wellenlängenband von 405 nm bis 425 nm umfassen. Das Licht, das in dem Zustand abgegeben wird, in dem es auf ein solches Band eingegrenzt ist, wird als Schmalband-Beleuchtungslicht bezeichnet, und das Beobachten eines Bilds unter Verwendung dieses Schmalband-Beleuchtungslichts wird als Schmalband-Bildgebung (NBI) bezeichnet.
Die Treibereinheit 31d ist mittels eines Schrittmotors, eines Gleichspannungsmotors oder dergleichen konfiguriert und veranlasst, dass der Umschaltfilter 31c in den Strahlengang der Lichtquelle 31a eingeführt oder aus diesem entfernt wird.
Gesteuert von der Beleuchtungssteuerung 32 liefert der Treiber 31e einen vorgegebenen Strom an die Treibereinheit 31d.
Die Kondensorlinse 31f sammelt das weiße Beleuchtungslicht, das von der Lichtquelle 31a abgegeben wird, oder das Schmalband-Beleuchtungslicht, das durch den Umschaltfilter 31c getreten ist, und gibt das gesammelte Licht nach außen (Lichtleiter 203) der Lichtquelleneinheit 3 ab.
Die Beleuchtungssteuerung 32 steuert den Lichtquellentreiber 31b, um den Ein-/Aus-Betrieb der Lichtquelle 31a auszulösen, und steuert den Treiber 31e, um zu veranlassen, dass der Umschaltfilter 31c in den Strahlengang der Lichtquelle 31a eingeführt oder aus diesem entfernt wird, wodurch gesteuert wird, welche Arten (Bänder) von Beleuchtungslicht von der Beleuchtungseinheit 31 abgegeben werden.
Genau gesagt, veranlasst die Beleuchtungssteuerung 32, dass der Umschaltfilter 31c in den Strahlengang der Lichtquelle 31a eingeführt oder aus diesem entfernt wird, um das Umschalten des von der Beleuchtungseinheit 31 abgegebenen Beleuchtungslichts, auf ein beliebiges Licht unter dem weißen Beleuchtungslicht und dem Schmalband-Beleuchtungslicht zu steuern. Mit anderen Worten führt die Beleuchtungssteuerung 32 ein Umschalten zwischen der Weißlicht-Bildgebung (WLI) mittels des weißen Beleuchtungslichts, das Licht der Wellenlängenbänder H_B, H_G und H_R umfasst, und der Schmalband-Bildgebung (NBI) mittels des Schmalband-Beleuchtungslichts durch, das Licht der Schmalbänder T_B und T_G umfasst.
Hier wird eine grüne Komponente (das Wellenlängenband H_G) eine Leuchtdichtekomponente (erste Leuchtdichtekomponente) in der Weißlicht-Bildgebung (WLI), und eine blaue Komponente (das Schmalband T_B) wird eine Leuchtdichtekomponente (zweite Leuchtdichtekomponente) in der Schmalband-Bildgebung (NBI). Folglich entspricht das G-Pixel einem ersten Pixel, und das B-Pixel und das R-Pixel entsprechen zweiten Pixeln im Bildsensor 202 gemäß der ersten Ausführungsform.
5 ist ein Schaubild, das eine Beziehung zwischen einer Wellenlänge und der Lichtmenge des Beleuchtungslichts darstellt, das von der Beleuchtungseinheit der Endoskopvorrichtung gemäß der ersten Ausführungsform abgegeben wird. 6 ist ein Schaubild, das eine Beziehung zwischen einer Wellenlänge und der Durchlässigkeit von Beleuchtungslicht von dem Umschaltfilter darstellt, der in der Beleuchtungseinheit der Endoskopvorrichtung gemäß der ersten Ausführungsform enthalten ist. Wird der Umschaltfilter 31c, gesteuert von der Beleuchtungssteuerung 32, aus dem Strahlengang der Lichtquelle 31a entfernt, gibt die Beleuchtungseinheit 31 das weiße Beleuchtungslicht ab, das Licht der Wellenlängenbänder H_B, H_G und H_R umfasst, wie in einem in 5 dargestellten Spektrum weißen Lichts. Im Gegensatz dazu gibt die Beleuchtungseinheit 31 das Schmalband-Beleuchtungslicht ab, das Licht der Schmalbänder T_B und T_G umfasst, wenn der Umschaltfilter 31c, gesteuert von der Beleuchtungssteuerung 32, in den Strahlengang der Lichtquelle 31a eingeführt wird (siehe 6).
Nachfolgend wird eine Konfiguration des Prozessors 4 beschrieben. Der Prozessor 4 umfasst eine Bildverarbeitungseinheit 41, eine Eingabeeinheit 42, eine Speichereinheit 43 und eine Steuereinheit 44.
Die Bildverarbeitungseinheit 41 führt vorgegebene Bildverarbeitung aufgrund des elektrischen Signals vom Endoskop 2 (A/D-Wandler 205) durch, um Bildinformationen zum Anzeigen auf der Anzeigeeinheit 5 zu erzeugen. Die Bildverarbeitungseinheit 41 umfasst eine Vorverarbeitungseinheit 411, eine Interpolationsverarbeitungseinheit 412 und eine Anzeigebilderzeugungsverarbeitungseinheit 413.
Die Vorverarbeitungseinheit 411 führt Klemmverarbeitung für optisches Schwarz (OS), Verarbeitung zur Rauschunterdrückung (RU), und Verarbeitung zum Weißabgleich (WA) bezüglich des elektrischen Signals vom A/D-Wandler 205 durch, um das signalverarbeite Bildsignal an die Interpolationsverarbeitungseinheit 412 auszugeben.
7 ist ein Blockdiagramm zum Beschreiben einer Konfiguration der Vorverarbeitungseinheit gemäß der ersten Ausführungsform. Die Vorverarbeitungseinheit 411 umfasst eine OS-Verarbeitungseinheit 4111, eine RU-Verarbeitungseinheit 4112 und eine WA-Verarbeitungseinheit 4113.
Die OS-Verarbeitungseinheit 4111 führt die OS-Klemmverarbeitung bezüglich jedem aus dem R-Signal, dem G-Signal und dem B-Signal des Bildsignals durch, das vom A/D-Wandler 205 eingegeben wird. Bei der OS-Klemmverarbeitung wird ein Durchschnittswert eines vorgegebenen Bereichs, der einem optischen Schwarzbereich entspricht, aufgrund der elektrischen Signaleingabe vom Endoskop 2 (A/D-Wandler 205) berechnet, und ein Schwarzwert wird auf einen Nullwert korrigiert, indem der Durchschnittswert von dem elektrischen Signal abgezogen wird.
Die RU-Verarbeitungseinheit 4112 gewinnt Informationen zum Beobachtungsverfahren bezüglich dessen, ob das aktuelle Beobachtungsverfahren die WLI oder die NBI ist, von der Steuereinheit 44, und ändert den Betrag der Rauschunterdrückung gemäß der Informationen zum Beobachtungsverfahren, um die Verarbeitung zur Rauschunterdrückung an dem Bildsignal vorzunehmen, das der OS-Klemmverarbeitung unterzogen wurde.
Die WA-Verarbeitungseinheit 4113 führt die Verarbeitung zum Weißabgleich an dem Bildsignal, das der Verarbeitung zur Rauschunterdrückung unterzogen wurde, aufgrund der Informationen zum Beobachtungsverfahren durch, und gibt das Bildsignal an die Interpolationsverarbeitungseinheit 412 aus, nachdem es der Weißabgleichverarbeitung unterzogen wurde. Wenn zwei Signale (das G-Signal und das B-Signal) von Kanälen (Farbkomponenten) mittels der Schmalband-Bildgebung (NBI) erhalten werden, führt die WA-Verarbeitungseinheit 4113 zur Signalabgleichkorrekturverarbeitung zwischen zwei Kanälen durch, und führt an dem anderen verbleibenden Kanal (dem R-Signal in der ersten Ausführungsform) Nullmultiplikation durch.
Die Interpolationsverarbeitungseinheit 412 erzeugt ein Farbbildsignal, das mindestens Signale von zwei Farbkomponenten umfasst, indem aus der Korrelation von Farbinformationen (Pixelwerten) der mehreren Pixel aufgrund der Bildsignaleingabe von der Vorverarbeitungseinheit 411 eine Interpolationsrichtung unterschieden und Interpolation aufgrund der Farbinformationen der Pixel durchgeführt wird, die in der unterschiedenen Interpolationsrichtung angeordnet sind. Die Interpolationsverarbeitungseinheit 412 umfasst eine Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a (Einheit zur Berechnung der interpolierten Farbdifferenz), eine Farbdifferenz-Interpolationseinheit 412b und eine Farbbildsignal-Erzeugungseinheit 412c (Bildsignal-Erzeugungseinheit).
Die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a erzeugt ein G-Signal (nachstehend als interpoliertes G-Signal bezeichnet), das aufgrund eines umgebenden Pixels an dem Pixel (dem R-Pixel oder dem B-Pixel), an dem das G-Signal fehlt, interpoliert wurde, bezüglich der Bildsignaleingabe von der Vorverarbeitungseinheit 411, und gibt ein G-Signalbild aus, das das G-Signal oder das interpolierte G-Signal an der gesamten Pixelposition aufweist. Das heißt, dass ein Bildsignal, das ein einzelnes Bild mit dem Pixelwert oder dem interpolierten Wert der G-Komponente an dem jeweiligen Pixel ausbildet, durch die Interpolationsverarbeitung der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a erzeugt wird.
Außerdem, erzeugt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a ein R-G-Signal oder ein B-G-Signal als Farbdifferenzsignal, das aufgrund einer Farbdifferenz zwischen dem Signal von jeder Farbkomponente und dem interpolierten G-Signal gemäß einer Position des R-Pixels oder des B-Pixels erhalten wird, und gibt das erzeugte Signal als Farbdifferenz-Bildsignal aus. Die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a gibt das erzeugte G-Signalbild an die Farbbildsignal-Erzeugungseinheit 412c aus, und gibt das Farbdifferenz-Bildsignal an die Farbdifferenz-Interpolationseinheit 412b aus.
Die Farbdifferenz-Interpolationseinheit 412b interpoliert ein fehlendes Farbdifferenzsignal an jeder Pixelposition bezüglich des Farbdifferenz-Bildsignals, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a eingegeben wird, und gibt ein Farbdifferenz-Bildsignal, das das Farbdifferenzsignal an der gesamten Pixelposition aufweist, an die Farbbildsignal-Erzeugungseinheit 412c aus. Das heißt, ein Bildsignal, das ein einzelnes Bild mit dem Wert des Farbdifferenzsignals R – G oder B – G an den jeweiligen Pixeln durch Interpolationsverarbeitung der Farbdifferenz-Interpolationseinheit 412b ausbildet.
Die Farbbildsignal-Erzeugungseinheit 412c erzeugt ein RGB-Signal oder ein GB-Signal durch Hinzufügen des G-Signals oder des interpolierten G-Signal zu dem Farbdifferenzsignal (dem B-G-Signal oder dem R-G-Signal) an jeder Pixelposition, und gibt das erzeugte Signal an die Anzeigebilderzeugungsverarbeitungseinheit 413 das Farbbildsignal aus. Genau gesagt gewinnt, wenn das Beobachtungsverfahren die WLI ist, die Farbbildsignal-Erzeugungseinheit 412c das Farbdifferenz-Bildsignal, das das B-G-Signal umfasst, und das Farbdifferenz-Bildsignal, das das R-G-Signal umfasst, von der Farbdifferenz-Interpolationseinheit 412b und erzeugt das Signal (RGB-Signal), das die R-Komponente, eine G-Komponente und die B-Komponente umfasst. Wenn das Beobachtungsverfahren die NBI ist, gewinnt andererseits die Farbbildsignal-Erzeugungseinheit 412c nur das Farbdifferenz-Bildsignal, das das B-G-Signal umfasst, von einer B-G-Interpolationseinheit 4124, da es kein Licht gibt, das die R-Komponente aufweist, und erzeugt das Signal (GB-Signal), das die G-Komponente und die B-Komponente umfasst.
Die Anzeigebilderzeugungsverarbeitungseinheit 413 führt Gradationsumwandlung, Vergrößerungsverarbeitung, Strukturhervorhebungsverarbeitung für Strukturen wie Kapillaren eines Schleimhautoberflächenabschnitts und feinen Schleimhautmustern und dergleichen bezüglich des Farbbildsignals durch, das von der Farbbildsignal-Erzeugungseinheit 412c erzeugt wurde. Nach Ausführen der vorgegebenen Verarbeitung gibt die Anzeigebilderzeugungsverarbeitungseinheit 413 das verarbeite Signal an die Anzeigeeinheit 5 als ein Anzeigebildsignal für die Anzeige aus.
Die Eingabeeinheit 42 ist eine Schnittstelle, die zum Ausführen von Eingaben oder dergleichen durch einen Benutzer bezüglich des Prozessors 4 konfiguriert ist, und einen Stromschalter, der zum Ein- und Ausschalten einer Stromversorgung konfiguriert ist, einen Modusschaltknopf, der zum Umschalten eines Aufnahmemodus und verschiedener anderer Modi konfiguriert ist, einen Beleuchtungslicht-Schaltknopf, der zum Umschalten des Beleuchtungslichts der Lichtquelleneinheit 3 konfiguriert ist, und dergleichen umfasst.
Die Speichereinheit 43 zeichnet Daten auf, die verschiedene Programme zum Betreiben der Endoskopvorrichtung 1 und verschiedene Parameter umfassen, die für den Betrieb der Endoskopvorrichtung 1 erforderlich sind, Daten, die für die Bildverarbeitung notwendig sind, etwa einen Weißabgleichkoeffizienten, abhängig von dem Beobachtungsverfahren, ein Programm zum Ausführen der Bildverarbeitung gemäß der vorliegenden Erfindung und dergleichen. Außerdem kann die Speichereinheit 43 Informationen bezüglich des Endoskops 2 speichern, beispielsweise eine Beziehungstabelle zwischen den eindeutigen Informationen (ID) für das Endoskops 2 und Informationen bezüglich der Filteranordnung des Farbfilters 202a. Die Speichereinheit 43 wird mittels eines Halbleiterspeichers, etwa eines Flash-Speichers und eines dynamischen Direktzugriffspeichers (DRAM) ausgeführt.
Die Steuereinheit 44 ist mittels einer CPU und dergleichen konfiguriert, und führt Treibersteuerung der jeweiligen Elemente, die das Endoskop 2 und die Lichtquelleneinheit 3 umfassen, und Eingabe- und Ausgabesteuerung von Informationen bezüglich der jeweiligen Elemente und dergleichen durch. Die Steuereinheit 44 sendet Einstellungsdaten (beispielsweise auszulesende Pixel und dergleichen) für die Bildgebungsteuerung, die in der Speichereinheit 43 aufgezeichnet sind, ein Zeitsteuerungssignal bezüglich der Bildgebungszeitsteuerung und dergleichen über eine vorgegebene Signalleitung an das Endoskop 2. Die Steuereinheit 44 gibt Farbfilterinformationen (Kennungsinformationen), die über die Speichereinheit für Bildgebungsinformationen 206 gewonnen wurden, an die Bildverarbeitungseinheit 41 aus, und gibt Informationen über einen Einführ- oder Entfernungsbetrieb (Anordnung) des Umschaltfilters 31c an die Lichtquelleneinheit 3 aus.
Nachfolgend wird die Anzeigeeinheit 5 beschrieben. Die Anzeigeeinheit 5 empfängt das vom Prozessor 4 erzeugte Anzeigebildsignal über ein Videokabel, und zeigt ein in-vivo-Bild an, das dem Anzeigebildsignal entspricht. Die Anzeigeeinheit 5 ist so konfiguriert, dass sie Flüssigkeitskristall oder Elektrolumineszenz (EL) verwendet.
Nachfolgend wird eine Konfiguration der Farbdifferenz-Interpolationseinheit 412b der Interpolationsverarbeitungseinheit 412 unter Bezugnahme auf die Zeichnungen beschrieben. 8 ist ein Blockdiagramm zum Beschreiben einer Konfiguration der Interpolationsverarbeitungseinheit gemäß der ersten Ausführungsform. Die Farbdifferenz-Interpolationseinheit 412b umfasst eine Farbdifferenz-Trennungseinheit 4121, eine B-G-Korrelations-Unterscheidungseinheit 4122, eine B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123, eine B-G-Interpolationseinheit 4124, eine R-G-Korrelations-Unterscheidungseinheit 4125, eine R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 und eine R-G-Interpolationseinheit 4127.
Die Farbdifferenz-Trennungseinheit 4121 trennt die Farbdifferenz-Bildsignalausgabe von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a in das B-G-Signal und das R-G-Signal und gibt das B-G-Signal an die B-G-Korrelations-Unterscheidungseinheit 4122 und die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus, und gibt das R-G-Signal an die R-G-Korrelations-Unterscheidungseinheit 4125 und die R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 aus.
9 ist ein schematisches Diagramm zum Beschreiben von Demosaicing-Verarbeitung, die vom Prozessor gemäß der ersten Ausführungsform durchgeführt wird. Das getrennte B-G-Signal und R-G-Signal werden so angeordnet, dass sie der B-Pixelposition bzw. der R-Pixelposition entsprechen, wie im schematischen Diagramm in 9 dargestellt.
Die B-G-Korrelations-Unterscheidungseinheit 4122 stellt das R-Pixel mit dem R-G-Signal als Pixel von Interesse bezüglich der B-G-Signalausgabe von der Farbdifferenz-Trennungseinheit 4121 ein und berechnet eine Korrelation des B-G-Signals an einem dem Pixel von Interesse benachbarten Pixel. 10 ist ein schematisches Diagramm zum Beschreiben der Demosaicing-Verarbeitung, die von dem Prozessor gemäß der ersten Ausführungsform durchgeführt wird. Genau gesagt stellt die B-G-Korrelations-Unterscheidungseinheit 4122 eine Koordinate des Pixels (Pixel P_ij) von Interesse als (k, l) ein und berechnet einen Korrelationswert Ss in einer Richtung schräg nach oben aufgrund der nachstehenden Formel (1) ein, wenn Farbdifferenzsignalwerte des B-G-Signals an vier benachbarten Pixelpositionen als B – G(k – 1, I – 1), B – G(k + 1, 1 – 1), B – G(k – 1, 1 + 1) und B – G(k + 1, 1 + 1) eingestellt sind, wie in 10 dargestellt. Nachstehend bezeichnet die Richtung schräg nach oben eine Richtung nach oben rechts von unten links in der in 3 dargestellten Pixelanordnung, und die Richtung schräg nach unten bezeichnet eine Richtung nach unten rechts von oben links in der in 3 dargestellten Pixelanordnung. Wenn ein Pixel keine benachbarten Pixel aufweist, wenn etwa ein Pixel an einer Außenkante angeordnet ist, wird außerdem ein Signalwert eines Pixels verwendet, das sich beispielsweise an einer gefalteten Position befindet. Ss = |B – G(k – 1, l + 1) – B – G(k + 1, l – 1)| (1)
Außerdem berechnet die B-G-Korrelations-Unterscheidungseinheit 4122 einen Korrelationswert Sb in der Richtung schräg nach unten aufgrund der nachstehenden Formel (2). Sb = |B – G(k – 1, l – 1) – B – G(k + 1, l + 1)| (2)
Obwohl die Berechnung anhand von Signalwerten von zwei Pixeln durchgeführt wird, die in den oben beschriebenen Formeln (1) und (2) in der schrägen Richtung verlaufen, ist die Erfindung nicht auf diese beschränkt. Die Zuverlässigkeit des Korrelationswerts kann verbessert werden, der unter Verwendung des B-G-Signals an den Pixeln berechnet wird, die um das Pixel von Interesse in der gleichen Richtung getrennt sind.
Wenn ein absoluter Wert |Ss – Sb| einer Differenz zwischen den Korrelationswerten Ss und Sb größer als ein zuvor festgelegter Schwellenwert ist, bestimmt die B-G-Korrelations-Unterscheidungseinheit 4122 eine Richtung des Korrelationswerts als Richtung mit der höheren Korrelation, der der kleinere Wert aus den Korrelationswerten Ss und Sb ist. Im Gegensatz dazu bestimmt die B-G-Korrelations-Unterscheidungseinheit 4122, dass keine Korrelation in eine bestimmte Richtung vorliegt, wenn der absolute Differenzwert |Ss – Sb| kleiner als der Schwellenwert ist. Die B-G-Korrelations-Unterscheidungseinheit 4122 gibt Bestimmungsinformationen an die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus, die eine aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten” und „keine Korrelation in eine bestimmte Richtung” bezeichnet. Der Schwellenwert wird als ein Wert eingestellt, der in Hinblick auf im Signal enthaltenes Rauschen gewonnen wird.
Die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 berechnet einen interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund einer beliebigen aus den nachstehenden Formeln (3) bis (5) anhand der Bestimmungsinformationen von der B-G-Korrelations-Unterscheidungseinheit 4122 und des Farbdifferenzsignalwerts des B-G-Signals.
[Bestimmungsinformationen sind „Richtung schräg nach oben”]
Falls die Bestimmungsinformationen „Richtung schräg nach oben” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (3). B – G(k, l) = {B – G(k – 1, l + 1) + B – G(k + 1, l – 1)}/2 (3)
[Bestimmungsinformationen sind „Richtung schräg nach unten”]
Falls die Bestimmungsinformationen „Richtung schräg nach unten” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (4). B – G(k, l) = {B – G(k – 1, l – 1) + B – G(k + 1, l + 1)}/2 (4)
[Bestimmungsinformationen sind „keine Korrelation in einer bestimmten Richtung”]
Falls die Bestimmungsinformationen „keine Korrelation in eine bestimmte Richtung” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (5). B – G(k, l) = {B – G(k – 1, l + 1) + B – G(k + 1, l – 1) + B – G(k – 1, l – 1) + B – G(k + 1, l + 1)}/4 (5)
Obwohl die Interpolation in der oben beschriebenen Formel (5) mittels eines Durchschnittswerts des B-G-Signals von vier umgebenden Pixeln durchgeführt wird, kann die Interpolation unter Verwendung des B-G-Signals von sechzehn oder mehr umgebenden Pixeln durchgeführt werden, mit denen eine hohe räumliche Frequenz aufrechterhalten werden kann.
Die B – G Interpolationsrichtungs-Unterscheidungseinheit 4123 gibt ein Farbdifferenzsignal bezüglich einer Farbdifferenz B – G an die B-G-Interpolationseinheit 4124 aus, in der die B-G-Signale, die das interpolierte Farbdifferenzsignal umfassen, das durch Berechnen des interpolierten Farbdifferenzsignalwerts B – G(k, l) bezüglich des Pixels (k, l) von Interesse gewonnen wird, in einem Schachbrettmuster angeordnet sind.
Die B-G-Interpolationseinheit 4124 berechnet den interpolierten Farbdifferenzsignalwert des B-G-Signals an einer Pixelposition, an der ein Farbdifferenzsignal bezüglich des Farbdifferenzsignals (B-G-Signals) von der B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 fehlt. Die B – G Interpolationseinheit 4124 berechnet einen interpolierten Wert B – G(k, l – 1) an einer Pixelposition (k, l – 1), an der das Farbdifferenzsignal in der beispielsweise in 10 dargestellten Pixelanordnung fehlt, aufgrund der nachstehenden Formel (6). B – G(k, l – 1) = {B – G(k – 1, l – 1) + B – G(k, l – 2) + B – G(k + 1, l – 1) + B – G(k, l)}/4 (6)
Obwohl die Interpolation in der oben beschriebenen Formel (6) mittels eines Durchschnittswerts des B-G-Signals von vier umgebenden Pixeln durchgeführt wird, kann die Interpolation unter Verwendung des B-G-Signals von sechzehn oder mehr umgebenden Pixeln durchgeführt werden, mit denen eine hohe räumliche Frequenz aufrechterhalten werden kann.
Die B-G-Interpolationseinheit 4124 gibt ein Farbdifferenz-Bildsignal an die Farbbildsignal-Erzeugungseinheit 412c aus, das das B-G-Signal an der gesamten Pixelposition aufweist, die durch Berechnen des interpolierten Farbdifferenzsignalwerts an der Pixelposition gewonnen wird, an der das B-G-Signal fehlt. Das heißt, ein Farbdifferenzsignal, das ein einzelnes Bild mit dem Farbdifferenzsignalwert oder dem interpolierten Farbdifferenzsignalwert bezüglich des Farbdifferenzsignals B – G an den jeweiligen Pixeln durch Interpolationsverarbeitung der B-G-Interpolationseinheit 4124 ausbildet.
Die R-G-Korrelations-Unterscheidungseinheit 4125 stellt das B-Pixel mit dem B-G-Signal als Pixel von Interesse bezüglich der R-G-Signalausgabe von der Farbdifferenz-Trennungseinheit 4121 ein und berechnet eine Korrelation des R-G-Signals an einem dem Pixel von Interesse benachbarten Pixel, ähnlich wie die B – G-Korrelations-Unterscheidungseinheit 4122. Die R – G Korrelations-Unterscheidungseinheit 4125 berechnet die Korrelationswerte Ss und Sb durch Ersetzen von B durch R in Formel (1) und (2). Die R-G-Korrelations-Unterscheidungseinheit 4125 bestimmt eine aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten” und „keine Korrelation in eine bestimmte Richtung” aufgrund des Korrelationswerts Ss, des Korrelationswerts Sb, des absoluten Differenzwerts |Ss – Sb| und des Schwellenwerts, und gibt Bestimmungsinformationen aus, die ein Ergebnis der Bestimmung der R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 bezeichnet.
Die R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 berechnet einen interpolierten Farbdifferenzsignalwert R – G(k, l) des R-G-Signals am Pixel (k, l) von Interesse aufgrund einer beliebigen Formel aus den Formeln (3) bis (5) oben anhand der Bestimmungsinformationen von der R-G-Korrelations-Unterscheidungseinheit 4125 und des Farbdifferenzsignalwerts des R-G-Signals, ähnlich wie die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123. Die R – G Interpolationsrichtungs-Unterscheidungseinheit 4126 berechnet den interpolierten Farbdifferenzsignalwert R – G(k, l) durch Ersetzen von B durch R in Formel (3) und (5). Die R – G Interpolationsrichtungs-Unterscheidungseinheit 4126 gibt ein Farbdifferenzsignal bezüglich einer Farbdifferenz R – G an die R-G-Interpolationseinheit 4127 aus, in der die R-G-Signale, die das interpolierte Farbdifferenzsignal umfassen, das durch Berechnen des interpolierten Farbdifferenzsignalwerts R – G(k, l) bezüglich des Pixels (k, l) von Interesse gewonnen wird, in einem Schachbrettmuster angeordnet sind.
Die R-G-Interpolationseinheit 4127 berechnet den interpolierten Farbdifferenzsignalwert des R-G-Signals an einer Pixelposition, an der ein Farbdifferenzsignal bezüglich des Farbdifferenzsignals (R-G-Signals) von der R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 fehlt, ähnlich der B-G-Interpolationseinheit 4124. Die R-G-Interpolationseinheit 4127 gibt ein Farbdifferenz-Bildsignal an die Farbbildsignal-Erzeugungseinheit 412c aus, das das R-G-Signal an der gesamten Pixelposition aufweist, die durch Berechnen des interpolierten Farbdifferenzsignalwerts an der Pixelposition gewonnen wird, an der das R-G-Signal fehlt. Das heißt, ein Farbdifferenzsignal, das ein einzelnes Bild mit dem Farbdifferenzsignalwert oder dem interpolierten Farbdifferenzsignalwert bezüglich des Farbdifferenzsignals R – G an den jeweiligen Pixeln durch Interpolationsverarbeitung der R-G-Interpolationseinheit 4127 ausbildet.
Die Farbdifferenz-Interpolationseinheit 412b gibt das Farbdifferenzsignal an die Farbbildsignal-Erzeugungseinheit 412c aus, das von der oben beschriebenen Interpolationsverarbeitung erhalten wird. Hier werden das Farbdifferenz-Bildsignal, das das B-G-Signal umfasst, und das Farbdifferenz-Bildsignal, das das R-G-Signal umfasst, von der B-G-Interpolationseinheit 4124 bzw. der R-G-Interpolationseinheit 4127 ausgegeben, wenn das Beobachtungsverfahren die WLI ist. Wenn das Beobachtungsverfahren die NBI ist, wird andererseits nur das Farbdifferenz-Bildsignal, das das B-G-Signal umfasst, von der B – G-Interpolationseinheit 4124 in die Farbbildsignal-Erzeugungseinheit 412c eingegeben, da es kein Licht gibt, das die R-Komponente aufweist.
Nachfolgend wird die Signalverarbeitung (ein Bildverarbeitungsverfahren), die vom Prozessor 4 durchgeführt wird, mit Bezug auf die Zeichnungen beschrieben. 11 ist ein Flussdiagramm zum Beschreiben von Signalverarbeitung, die vom Prozessor gemäß der ersten Ausführungsform durchgeführt wird. Wenn ein elektrisches Signal vom Endoskop 2 (dem distalen Endabschnitt 24) gewonnen wird, gibt der Prozessor 4 das elektrische Signal an die Vorverarbeitungseinheit 411 aus (Schritt S101). Das elektrische Signal vom Endoskop 2 ist ein Signal, das vom Bildsensor 202 erzeugt wird, und umfasst RAW-Bilddaten, die vom A/D-Wandler 205 in ein digitales Signal umgewandelt wurden.
Wenn das elektrische Signal in die Vorverarbeitungseinheit 411 eingegeben wird, führt die Vorverarbeitungseinheit 411 die oben beschriebenen OS-Klemmverarbeitung, Verarbeitung zur Rauschunterdrückung und Verarbeitung zum Weißabgleich durch, und gibt das signalverarbeite Bildsignal an die Interpolationsverarbeitungseinheit 412 aus (Schritt S102).
Wenn das elektrische Signal, das der Signalverarbeitung durch die Vorverarbeitungseinheit 411 unterzogen wurde, in die Interpolationsverarbeitungseinheit 412 eingegeben wird, erzeugt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a das interpolierte G-Signal an dem Pixel (dem R-Pixel oder dem B-Pixel), an dem das G-Signal fehlt, und gibt das G-Signalbild, das das G-Signal (Pixelwert) oder das interpolierte G-Signal (interpolierter Wert) aufweist, an allen Pixelpositionen an die Farbbildsignal-Erzeugungseinheit 412c aus. (Schritt S103).
Danach bestimmt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a, welche aus der Weißlicht-Bildgebung und der Schmalband-Bildgebung verwendet wird, um das elektrische Eingabesignal zu erzeugen (Schritt S104). Genau gesagt bestimmt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a, welches Bildgebungsverfahren verwendet wird, um das elektrische Eingabesignal aufgrund eines Steuersignals (beispielsweise Informationen zum Beleuchtungslicht oder Informationen, die das Bildgebungsverfahren anzeigen) von beispielsweise der Steuereinheit 44 zu erzeugen.
Wird das elektrische Eingabesignal unter Verwendung der Weißlicht-Bildgebung (Schritt S104; WLI) erzeugt, erzeugt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a das R-G-Signal und das B-G-Signal, die die Farbdifferenzsignale sind, die aufgrund der Farbdifferenz zwischen dem Signal von jeder Farbkomponente und dem interpolierten G-Signal gemäß Positionen der R-Pixel und der B-B-Pixel gewonnen wurden, und gibt die erzeugten Signale an die Farbdifferenz-Interpolationseinheit 412b als die Farbdifferenz-Bildsignale aus (Schritt S105).
Wird andererseits das elektrische Eingabesignal unter Verwendung der Schmalband-Bildgebung (Schritt S104; NBI) erzeugt, erzeugt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a das B-G-Signal, das das Farbdifferenzsignal ist, das aufgrund der Farbdifferenz zwischen dem Signal der B-Komponente und dem interpolierten G-Signal gemäß der B-Pixelposition gewonnen wurde, und gibt das erzeugte Signal an die Farbdifferenz-Interpolationseinheit 412b als das Farbdifferenz-Bildsignal aus (Schritt S106). Die Verarbeitung der Schritte S103 bis S106 entspricht dem Schritt des Berechnens einer interpolierten Farbdifferenz (Berechnungsverfahren für die interpolierte Farbdifferenz) gemäß der vorliegenden Erfindung.
Die Farbdifferenz-Interpolationseinheit 412b führt Farbdifferenz-Interpolationsverarbeitung aufgrund des Farbdifferenz-Bildsignals durch, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a gewonnen wird (Schritt S107). Genau gesagt interpoliert die Farbdifferenz-Interpolationseinheit 412b ein fehlendes Farbdifferenzsignal an jeder Pixelposition bezüglich des Farbdifferenz-Bildsignals, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a eingegeben wird, und gibt das Farbdifferenz-Bildsignal, das das Farbdifferenzsignal an der gesamten Pixelposition aufweist, an die Farbbildsignal-Erzeugungseinheit 412c aus. Das heißt, dass durch die Interpolationsverarbeitung der Farbdifferenz-Interpolationseinheit 412b das Bildsignal, das das einzelne Bild ausbildet, das die Werte der Farbdifferenzsignale R – G und B – G an den jeweiligen Pixeln aufweist, in der Weißlicht-Bildgebung erzeugt wird, und das Bildsignal, das das einzelne Bild ausbildet, das den Wert des Farbdifferenzsignals B – G an den jeweiligen Pixeln aufweist, in der Schmalband-Bildgebung erzeugt wird. Die Verarbeitung von Schritt S107 entspricht einem Schritt des Interpolierens der Farbdifferenz (Farbdifferenzinterpolationsverfahren) gemäß der vorliegenden Erfindung.
Die Farbbildsignal-Erzeugungseinheit 412c erzeugt ein Farbbildsignal, das ein Farbbild unter Verwendung des Pixelwerts und des interpolierten Werts der G-Komponente, der von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412c erzeugt wird, und eines Signalwerts des Farbdifferenz-Bildsignals ausbildet, das von der Farbdifferenz-Interpolationseinheit 412b erzeugt wird (Schritt S108). Genau gesagt erzeugt die Farbbildsignal-Erzeugungseinheit 412c ein RGB-Signal oder ein GB-Signal durch Hinzufügen des G-Signals oder des interpolierten G-Signals und des Farbdifferenzsignals (des B-G-Signals oder des R-G-Signals) an jeder Pixelposition, und gibt das erzeugte Signal an die Anzeigebilderzeugungsverarbeitungseinheit 413 als das Farbbildsignal aus. Die Verarbeitung von Schritt S108 entspricht einem Schritt des Erzeugens eines Bildsignals (Bildsignalerzeugungsverfahren) gemäß der vorliegenden Erfindung.
Die Anzeigebilderzeugungsverarbeitungseinheit 413 führt die Gradationsumwandlung, die Vergrößerungsverarbeitung, die Strukturhervorhebungsverarbeitung für die Strukturen wie Kapillaren des Schleimhautoberflächenabschnitts und der feinen Schleimhautmuster und dergleichen bezüglich des Farbbildsignals durch, das von der Farbbildsignal-Erzeugungseinheit 412c erzeugt wird, um das Anzeigebildsignal zur Anzeige zu erzeugen (Schritt S109). Nach Ausführen der vorgegebenen Verarbeitung gibt die Anzeigebilderzeugungsverarbeitungseinheit 413 das verarbeite Signal an die Anzeigeeinheit 5 als das Anzeigebildsignal aus.
Gemäß der oben beschriebenen ersten Ausführungsform ist die Endoskopvorrichtung, die zwischen der WLI und der NBI umgeschaltet werden kann, so konfiguriert, dass sie eine Richtung mit höherer Korrelation bestimmt, wobei nur das umgebende B-G-Signal der Position des Pixels von Interesse bezüglich des B – G-Signals verwendet wird, und die Interpolation unter Verwendung des B-G-Signals in der bestimmten Richtung mit höherer Korrelation durchführt. Auf diese Weise kann die Interpolation auch bezüglich der Kapillaren des Schleimhautoberflächenabschnitts, der Blutgefäße in einer Schleimhautmittelschicht und der Blutgefäße in einer Schleimhauttiefschicht in einer Richtung entlang eines Blutgefäßverlaufs durchgeführt und insbesondere das Auflösungsvermögen des B – G-Signals in der NBI aufrechterhalten werden. Wenn das Auflösungsvermögen des B-G-Signals aufrechterhalten werden kann, kann auch das Auflösungsvermögen des B-Signals aufrechterhalten werden, das durch Hinzufügen des G-Signals zum B – G-Signal mittels der Farbbildsignal-Erzeugungseinheit 412c berechnet wird. Das heißt, dass das Auflösungsvermögen des B-Signals, das die Sichtbarmachung der Kapillaren des Schleimhautoberflächenabschnitts ermöglicht, durch die oben beschriebene Interpolationsverarbeitung aufrechterhalten werden kann. Gemäß der ersten Ausführungsform wird die Bildsignalerzeugungsverarbeitung aufgrund des elektrischen Signals durchgeführt, das anhand des Bayer-Arrays erzeugt wird, wenn die Dichte der G-Pixel in der WLI hoch ist, und so kann ein Bild mit hoher Auflösung in sowohl der Weißlicht-Bildgebung als auch der Schmalband-Bildgebung erzielt werden.
(Abgewandeltes Beispiel der ersten Ausführungsform)
12 ist ein schematisches Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß einem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung darstellt. In der ersten Ausführungsform umfasst die Lichtquelleneinheit 3 den Umschaltfilter 31c, und das Umschalten zwischen der Weißlicht-Bildgebung und der Schmalband-Bildgebung anhand des Schmalband-Beleuchtungslichts, das Licht der Schmalbänder T_B und T_G umfasst, wird durch Einführen und Entfernen des Umschaltfilters 31c durchgeführt. In diesem abgewandelten Beispiel ist jedoch ein Lichtquelleneinheit 3a anstelle der Lichtquelleneinheit 3 vorgesehen, und das Bildgebungsverfahren wird anhand eines Rotationsfilters 31g umgeschaltet.
Die Endoskopvorrichtung 1a gemäß dem vorliegenden abgewandelten Beispiel umfasst das Endoskop 2, den Prozessor 4 und die Anzeigeeinheit 5, die oben beschrieben wurden, sowie die Lichtquelleneinheit 3a, die Beleuchtungslicht erzeugt, das von einem distalen Ende des Endoskops 2 abgegeben wird. Die Lichtquelleneinheit 3a umfasst die Beleuchtungseinheit 31 und die Beleuchtungssteuerung 32. Gesteuert von der Beleuchtungssteuerung 32 schaltet die Beleuchtungseinheit 31 mehrere Strahlen von Beleuchtungslicht um, deren Wellenlängenbänder sich voneinander unterscheiden, und gibt diese ab. Die Beleuchtungseinheit 31 umfasst die Lichtquelle 31a, den Lichtquellentreiber 31b, die Treibereinheit 31d, den Treiber 31e und die Kondensorlinse 31f, die oben beschrieben wurden, sowie den Rotationsfilter 31g.
13 ist ein schematisches Diagramm, das eine Konfiguration eines Rotationsfilters der Lichtquelleneinheit gemäß dem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung darstellt. Der Rotationsfilter 31g umfasst eine Rotationswelle 310 und eine scheibenförmige Rotationseinheit 311, die von der Rotationswelle 310 getragen wird. Die Rotationseinheit 311 umfasst drei Filter (Filter 312 bis 314), die jeweils in drei Bereichen angeordnet sind, die durch Trennen einer Hauptoberfläche erzielt werden.
Die Lichtquelle 312 lässt weißes Beleuchtungslicht hindurchtreten, das Licht von roten, grünen und blauen Wellenlängenbändern H_R, H_G und H_B umfasst.
Der Filter 313 lässt Schmalband-Beleuchtungslicht (im vorliegenden abgewandelten Beispiel als erstes Schmalband-Beleuchtungslicht bezeichnet) hindurchtreten, das Licht des Schmalbands T_B (beispielsweise 400 nm bis 445 nm), das im Wellenlängenband H_B enthalten ist, und Licht des Schmalbands T_G (beispielsweise 530 nm bis 550 nm) umfasst, das im Wellenlängenband H_G enthalten ist. Das Licht, das dazu veranlasst wird, durch den Filter 313 zu treten, entspricht dem Schmalband-Beleuchtungslicht in der oben beschriebenen Schmalband-Bildgebung (NBI).
14 ist ein Schaubild, das eine Beziehung zwischen einer Wellenlänge und Durchlässigkeit für Beleuchtungslicht gemäß dem Filter darstellt, der in der Beleuchtungseinheit der Endoskopvorrichtung gemäß dem abgewandelten Beispiel der ersten Ausführungsform der vorliegenden Erfindung enthalten ist. Der Filter 314 lässt Schmalband-Beleuchtungslicht (im vorliegenden abgewandelten Beispiel als zweites Schmalband-Beleuchtungslicht bezeichnet) hindurchtreten, das Licht des Schmalbands T_R, das im Wellenlängenband H_R enthalten ist, und Licht des Schmalbands T_G umfasst, das im Wellenlängenband H_G enthalten ist. Das Licht des Schmalbands T_G, das dazu veranlasst wird, durch den Filter 314 zu treten, kann das gleiche Licht des Schmalbands T_G wie in der oben beschriebenen Schmalband-Bildgebung (NBI) sein, oder kann Licht eines anderen Bands sein. Im zweiten Schmalband-Beleuchtungslicht wird beispielsweise eine Farbkomponente, die sich stark ändert, als Leuchtdichtekomponente zwischen der roten Farbkomponente (dem Schmalband T_R) und der grünen Komponente (dem Schmalband T_G) gewählt.
Die Beleuchtungssteuerung 32 steuert den Lichtquellentreiber 31b, um den Ein-/Aus-Betrieb der Lichtquelle 31a auszulösen, und steuert den Treiben 31e, um einen Filter der Filter 312 bis 314 durch Drehen des Rotationsfilters 31g (Rotationswelle 310) im Strahlengang der Lichtquelle 31a anzuordnen, wodurch die Art (das Band) des von der Beleuchtungseinheit 31 abzugebende Beleuchtungslichts gesteuert wird.
Selbst in dem vorliegenden modifizierten Beispiel führt die Bildverarbeitungseinheit 41 die Signalverarbeitung aus, um das Anzeigebildsignal zu erzeugen. Bei der Beobachtung unter Verwendung des zweiten Schmalband-Beleuchtungslichts ist kein Licht der B-Komponente vorhanden, und daher wird nur das Farbdifferenz-Bildsignal, das das R-G-Signal umfasst, aus der R-G-Interpolationseinheit 4127 in die Farbbildsignal-Erzeugungseinheit 412c eingegeben, und das Signal (RG-Signal), das die R-Komponente und die G-Komponente umfasst, wird von der Farbbildsignal-Erzeugungseinheit 412c erzeugt.
(Zweite Ausführungsform)
Nachfolgend wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. 15 ist ein schematisches Diagramm, das eine schematische Konfiguration einer Endoskopvorrichtung gemäß der zweiten Ausführungsform darstellt. Die gleichen Elemente wie die in der ersten Ausführungsform werden durch die gleichen Bezugszeichen gekennzeichnet. Obwohl der Fall des Durchführens der Interpolationsverarbeitung in der oben beschriebenen ersten Ausführungsform mittels eines einzelnen Einzelbilds beschrieben wurde, wird Interpolationsverarbeitung mittels mehrerer Einzelbilder durchgeführt, die in der zweiten Ausführungsform das vergangene Einzelbild umfasst.
Eine Endoskopvorrichtung 1b gemäß der zweiten Ausführungsform umfasst das Endoskop 2, die Lichtquelleneinheit 3 und die Anzeigeeinheit 5, die oben beschrieben wurden, sowie einen Prozessor 4a, der vorgegebene Bildverarbeitung an einem elektrischen Signal durchführt, das von dem Endoskops 2 gewonnen wird und den gesamten Betrieb der Endoskopvorrichtung 1b umfassend steuert. Der Prozessor 4 umfasst die Bildverarbeitungseinheit 41, die Eingabeeinheit 42, die Speichereinheit 43 und die Steuereinheit 44.
Die Bildverarbeitungseinheit 41 führt vorgegebene Bildverarbeitung aufgrund des elektrischen Signals vom Endoskop 2 (A/D-Wandler 205) durch, um Bildinformationen zum Anzeigen auf der Anzeigeeinheit 5 zu erzeugen. Die Bildverarbeitungseinheit 41 umfasst die oben beschriebene Anzeigebilderzeugungsverarbeitungseinheit 413, eine Vorverarbeitungseinheit 411a und eine Interpolationsverarbeitungseinheit 412d.
Ähnlich wie die oben beschriebene Vorverarbeitungseinheit 411 führt die Vorverarbeitungseinheit 411a OS-Klemmverarbeitung, Verarbeitung zur Rauschunterdrückung, und Verarbeitung zum Weißabgleich bezüglich des elektrischen Signals vom A/D-Wandler 205 durch, und gibt das signalverarbeite Bildsignal an die Interpolationsverarbeitungseinheit 412d aus.
16 ist ein Blockdiagramm zum Beschreiben einer Konfiguration der Vorverarbeitungseinheit gemäß der zweiten Ausführungsform. Die Vorverarbeitungseinheit 411a umfasst die OS-Verarbeitungseinheit 4111, die RU-Verarbeitungseinheit 4112 und die WA-Verarbeitungseinheit 4113, die oben beschrieben wurden, sowie einen Einzelbildspeicher 4114 und eine Bewegungskompensationseinheit 4115.
Der Einzelbildspeicher 4114 speichert ein Bildsignal, das einem Einzelbild entspricht, der von der RU-Verarbeitungseinheit 4112 der Verarbeitung zur Rauschunterdrückung unterzogen wurde und gibt das Bildsignal an die Bewegungskompensationseinheit 4115 aus.
Die Bewegungskompensationseinheit 4115 stellt eine Bewegung eines Bilds zwischen ersten und zweiten Bewegungsdetektionsbildern als einen Bewegungsvektor mit einem bekannten Block-Matching-Verfahren fest, wobei das erste Bewegungsdetektionsbild aufgrund eines Bildsignals des vergangenen Einzelbilds und das zweite Bewegungsdetektionsbild aufgrund eines Bildsignals des aktuellen Einzelbilds verwendet wird.
17 ein Diagramm zum schematischen Beschreiben einer Bewegung zwischen Bildern, die zu verschiedenen Zeitpunkten der Bildgebung erzielt werden, die von einer Bewegungsvektordetektions-Verarbeitungseinheit der Endoskopvorrichtung gemäß der zweiten Ausführungsform durchgeführt wird. Die Bewegungskompensationseinheit 4115 addiert R-Signale, G-Signale (zwei G-Signale) und B-Signale der in 4 dargestellten Filtereinheit U1 und erzielt jeden Durchschnitt von diesen, um ein Pseudo-Durchlässigkeitssignal bezüglich eines ersten Bewegungsdetektionsbilds F1 aufgrund des Bildsignals des vergangenen Einzelbilds (des Einzelbilds unmittelbar bevor dem aktuellen Einzelbild) zu einer unterschiedlichen Zeit t, das vom Einzelbildspeicher 4114 ausgegeben wird, und eines zweiten Bewegungsdetektionsbild F2 aufgrund des Bildsignals des aktuellen Einzelbilds zu erzeugen, das von der OS-Verarbeitungseinheit 4111 ausgegeben wird. Die Detektion wird beispielsweise durch allgemeine Block-Matching-Verarbeitung als Verfahren zum Feststellen der Bewegung durchgeführt. Genau gesagt wird die Detektion an einer beliebigen Position im ersten Bewegungsdetektionsbild F1 durchgeführt, an die ein Pixel M1 des zweiten Bewegungsdetektionsbilds F2 bewegt wurde. Die Bewegungskompensationseinheit 4115 verwendet einen Block B1 (kleiner Bereich) um das Pixel M1 als Maske und tastet das erste Bewegungsdetektionsbild F1 in der Maske des Blocks B1 um ein Pixel f₁ des erstem Bewegungsdetektionsbilds F₁ ab, das sich an der gleichen Position wie eine Position des Pixels M1 des zweiten Bewegungsdetektionsbildes F2 befindet, und stellt ein zentrales Pixel an einer Position mit der kleinsten Summe der absoluten Differenzen zwischen den Masken als Pixel M1' ein. Die Bewegungskompensationseinheit 4115 stellt einen Bewegungsbetrag Y1 vom Pixel M1 (Pixel f₁) zum Pixel M1' im erste Bewegungsdetektionsbild F1 als den Bewegungsvektor fest, und führt diesen Prozess an allen Pixel als Bildverarbeitungsziele durch. Nachstehend werden Koordinaten der Pixel M1 durch (x, y) gekennzeichnet und eine x-Komponente des Bewegungsvektors in den Koordinaten (x, y) wird durch Vx(x, y) gekennzeichnet und eine y-Komponente wird durch Vy(x, y) gekennzeichnet. Eine x-Richtung entspricht einer Richtung nach rechts und links (horizontal) von Pixeln, dargestellt in 3, und eine y-Richtung entspricht einer Richtung nach oben und unten (vertikal). Werden Koordinaten des Pixels M1' im erste Bewegungsdetektionsbild F1 durch (x', y') gekennzeichnet sind, werden x' und y' außerdem anhand der folgenden Formeln (7) bzw. (8) definiert. Die Bewegungskompensationseinheit 4115 gibt Informationen an den festgestellten Bewegungsvektor (einschließlich Positionen der Pixel M1 und M1') an die Interpolationsverarbeitungseinheit 412d aus. x' = x + Vx(x, y) (7) y' = y + Vy(x, y) (8)
Die Bewegungskompensationseinheit 4115 führt außerdem Positionierung zwischen dem Bildsignal des unmittelbar vorhergehenden Einzelbilds, das vom Einzelbildspeicher 4114 ausgegeben wird, und dem Bildsignal des aktuellen Einzelbilds (Positionierung zwischen dem ersten Bewegungsdetektionsbild F1 und dem zweiten Bewegungsdetektionsbild F2) aufgrund des festgestellten Bewegungsvektors für jedes Pixel durch, und erzeugt dadurch ein bewegungskompensiertes Bildsignal. Das erzeugte bewegungskompensierte Bildsignal wird an die RU-Verarbeitungseinheit 4112 ausgegeben.
Die RU-Verarbeitungseinheit 4112 führt eine Gewichtung und Mittelwertbildung zwischen dem Bildsignal des aktuellen Einzelbilds, das von der OS-Verarbeitungseinheit 4111 ausgegeben wird, und dem bewegungskompensierten Bildsignal aus, das von der Bewegungskompensationseinheit 4115 ausgegeben wird, wobei eine vorgegebene Gewichtung für jedes Pixel verwendet wird, um Rauschen des Bildsignals des aktuellen Einzelbilds zu unterdrücken, und gibt das rauschunterdrückte Bildsignal an die WA-Verarbeitungseinheit 4113 und den Einzelbildspeicher 4114 aus. Nachstehend wird der Betrag der vorgegebenen Gewichtung zum Gewichten und Addieren aufgrund der Informationen zum Beobachtungsverfahren von der Steuereinheit 44 ermittelt.
Die Interpolationsverarbeitungseinheit 412 erzeugt ein Farbbildsignal, das mindestens Signale von zwei Farbkomponenten umfasst, indem eine Interpolationsrichtung von der Korrelation von Farbinformationen (Pixelwerten) der mehreren Pixel aufgrund des Bildsignals und der Bewegungsvektorinformationen unterschieden werden, die von der Vorverarbeitungseinheit 411a eingegeben werden, und eine Interpolation aufgrund der Farbinformationen der Pixel durchgeführt wird, die in der unterschiedenen Interpolationsrichtung angeordnet sind. Die Interpolationsverarbeitungseinheit 412 umfasst die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a und die Farbbildsignal-Erzeugungseinheit 412c, die oben beschrieben wurden, eine Farbdifferenz-Interpolationseinheit 412e und eine Speichereinheit vergangener Farbdifferenzen 412f.
Die Farbdifferenz-Interpolationseinheit 412e interpoliert durch Bezug auf die Bewegungsvektorinformationen ein fehlendes Farbdifferenzsignal an jeder Pixelposition bezüglich des Farbdifferenz-Bildsignals, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a eingegeben wird, und gibt das Farbdifferenz-Bildsignal, das das Farbdifferenzsignal an der gesamten Pixelposition aufweist, an die Farbbildsignal-Erzeugungseinheit 412c aus. Das heißt, ein Bildsignal, das ein einzelnes Bild mit dem Wert des Farbdifferenzsignals R – G oder B – G an den jeweiligen Pixeln durch Interpolationsverarbeitung der Farbdifferenz-Interpolationseinheit 412e ausbildet.
Die Speichereinheit vergangener Farbdifferenzen 412f ist so konfiguriert, dass sie mehrere Einzelbildspeicher als Ringpuffer verwendet, und speichert das Farbdifferenz-Bildsignal, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a ausgegeben wird, in den Bildspeichern. Der hierin aufzuzeichnende Einzelbildspeicher ist ein Farbdifferenz-Bildsignal in einer Periode, die mindestens eine Einzelbildperiode vor dem aktuellen Einzelbild liegt. Selbstverständlich ist es von Belang, dass Farbdifferenzsignalbilder gespeichert werden können, die mehreren Einzelbildperioden entsprechen.
Nachfolgend wird eine Konfiguration der Farbdifferenz-Interpolationseinheit 412e der Interpolationsverarbeitungseinheit 412 unter Bezugnahme auf die Zeichnungen beschrieben. 18 ist ein Blockdiagramm zum Beschreiben einer Konfiguration einer Interpolationsverarbeitungseinheit eines Prozessors gemäß der zweiten Ausführungsform. Die Farbdifferenz-Interpolationseinheit 412e umfasst eine Farbdifferenz-Trennungseinheit 4121, die B-G-Korrelation-Unterscheidungseinheit 4122, die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123, die B – G Interpolationseinheit 4124, die R-G-Korrelations-Unterscheidungseinheit 4125, die R-G-Interpolationsrichtungs-Unterscheidungseinheit 4126 und die R-G-Interpolationseinheit 4127, die oben beschrieben wurden, eine Trennungseinheit vergangener Farbdifferenzen 4128 und eine Farbdifferenz-Bewegungskompensationseinheit 4129.
Die Trennungseinheit vergangener Farbdifferenzen 4128 gewinnt ein Farbdifferenz-Bildsignal eines unmittelbar vorhergehenden Einzelbilds mit Bezug auf die Speichereinheit vergangener Farbdifferenzen 412f. In der zweiten Ausführungsform, extrahiert die Trennungseinheit vergangener Farbdifferenzen 4128 und gibt nur das B-G-Signal an die Farbdifferenz-Bewegungskompensationseinheit 4129 aus.
Die Farbdifferenz-Bewegungskompensationseinheit 4129 korrigiert das B-G-Signal aufgrund der Bewegungsvektorinformationen, die von der Vorverarbeitungseinheit 411a ausgegeben werden, ein B-G-Signal als Farbdifferenzsignal des vergangenen Einzelbilds, das von der Trennungseinheit vergangener Farbdifferenzen 4128 ausgegeben wird, und ein B-G-Signal des aktuellen Einzelbilds, das von der Farbdifferenz-Trennungseinheit 4121 ausgegeben wird. Die Farbdifferenz-Bewegungskompensationseinheit 4129 gibt ein Farbdifferenz-Bildsignal, das das korrigierte B-G-Signal umfasst, an die B – G-Korrelations-Unterscheidungseinheit 4122 und die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus. Die Genauigkeit des Bewegungsvektors ist auf ein Pixel eingestellt.
Genau gesagt führt die Farbdifferenz-Bewegungskompensationseinheit 4129 ein Verarbeiten des Einbettens eines Farbdifferenzsignals des vergangenen Einzelbilds in eine Pixelposition, an der ein Farbdifferenzsignal des aktuellen Einzelbilds fehlt, aufgrund der Bewegungsvektorinformationen, wie in 19 bis 21 gezeigt, bezüglich der Korrektur des B-G-Signals durch. 19 bis 21 sind schematische Diagramme zum Beschreiben von Demosaicing-Verarbeitung, die von dem Prozessor gemäß der zweiten Ausführungsform durchgeführt wird. Hier wird das Farbdifferenzsignal des vergangenen Einzelbilds durch (B – G)p in 19 bis 21 dargestellt.
[Vx(x, y) des Bewegungsvektors ist eine ungerade Zahl und Vy(x, y) ist eine gerade Zahl einschließlich Null]
In diesem Fall werden Farbdifferenzsignale (B – G)p(k – 1, l) und (B – G)p(k + 1, l) des vergangenen Einzelbilds eingefügt, die anhand jedes Bewegungsvektors kompensiert werden, der jeder Pixelposition zwischen B – G(k – 1, l – 1) und B – G(k – 1, l + 1) und zwischen B – G(k + 1, l – 1) und B – G(k + 1, l + 1) entspricht, wie in 19 dargestellt.
[Vx(x, y) des Bewegungsvektors ist eine gerade Zahl einschließlich Null und Vy(x, y) ist eine ungerade Zahl]
In diesem Fall werden Farbdifferenzsignale (B – G)p(k, l – 1) und (B – G)p(k, l + 1) des vergangenen Einzelbilds eingefügt, die anhand jedes Bewegungsvektors kompensiert werden, der jeder Pixelposition zwischen B – G(k – 1, l – 1) und B – G(k + 1, l – 1) und zwischen B – G(k – 1, l + 1) und B – G(k + 1, l + 1) entspricht, wie in 20 dargestellt.
[Der Bewegungsvektor Vx(x, y) ist eine ungerade Zahl und Vy(x, y) ist eine ungerade Zahl]
In diesem Fall wird ein Farbdifferenzsignal (B – G)p(k, l) des vergangenen Einzelbilds eingefügt, das anhand eines Bewegungsvektors kompensiert wird, der dem Pixel (k, l) von Interesse entspricht, wie in 21 dargestellt.
[Vx(x, y) und Vy(x, y) des Bewegungsvektors sind Werte, die sich von den oben beschriebenen Werten unterscheiden]
Vertikale und horizontale Komponenten des Bewegungsvektors sind andere Werte als die oben beschriebenen Werte, die Anordnung des Farbdifferenzsignals des vergangenen Einzelbilds wird die gleiche wie die Anordnung des in 10 dargestellten Farbdifferenzsignals, und das Farbdifferenzsignal (B – G)p des vergangenen Einzelbilds wird nicht in die umgebenden Pixel eingefügt, die das Pixel (k, l) von Interesse umfassen.
Bezüglich eines Signals eines Einzelbilds, das zwei Einzelbilder vor dem aktuellen Einzelbild liegt, können viel mehr fehlende Farbdifferenzsignale an Positionen des Pixels (k, l) von Interesse und dieses umgebenden Pixel eingefügt werden, wenn der Bewegungsvektor des unmittelbar vorhergehenden Einzelbilds, der Bewegungsvektor des aktuellen Einzelbilds und ein Farbdifferenzsignal des Einzelbilds verwendet wird, der zwei Einzelbilder vor dem aktuellen Einzelbild liegt, das in der Speichereinheit vergangener Farbdifferenzen 412f gespeichert wurde. Ein Einfügemuster des Farbdifferenzsignals ist eine Kombination aus mindestens zwei der Einfügemuster, die in 19 bis 21 dargestellt sind.
22 ist ein schematisches Diagramm zum Beschreiben eines anderen Beispiels der Demosaicing-Verarbeitung, die vom Prozessor gemäß der zweiten Ausführungsform durchgeführt wird. Selbstverständlich kann auch das gesamte fehlende Farbdifferenzsignal an Positionen des Pixels (k, l) von Interesse und dieses umgebenden Pixel eingebettet werden, wie in 21 gezeigt, wenn ein Farbdifferenzsignal eines Einzelbilds, das N Einzelbilder vor dem aktuellen Einzelbild liegt (N ist ein ganzer Wert von zwei oder darüber) und Bewegungsvektoren der entsprechenden Einzelbilder bis zu dem Einzelbild verwendet werden können, das N Einzelbilder vor dem aktuellen Einzelbild liegt. Wenn die Bewegungskompensation anhand des Bewegungsvektors der entsprechenden Einzelbilder bis zu dem Einzelbild durchgeführt wird, das N Einzelbilder vor dem aktuellen Einzelbild liegt, ist ein Farbdifferenzsignal, das an der gleichen Position eingefügt werden soll, vorzugsweise das Farbdifferenzsignal (B – G)p, das bezüglich der Zeitreihe nahe am aktuellen Einzelbild liegt.
Wie oben beschrieben gibt die Farbdifferenz-Bewegungskompensationseinheit 4129 das Farbdifferenz-Bildsignal, das das bewegungskompensierte B-G-Signal umfasst, in das das Farbdifferenzsignal (B – G)p des vergangenen Einzelbilds eingefügt wurde, an die B-G-Korrelations-Unterscheidungseinheit 4122 und die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus, und gibt Einfügepositions-Feststellungsinformationen (Index zum Unterscheiden des in 19 bis 21 dargestellten Musters oder dergleichen), die eine beliebige Pixelposition anzeigen, in die das Farbdifferenzsignal (B – G)p eingefügt wurde, an die Korrelations-Unterscheidungseinheit 4122 aus.
Wenn das Farbdifferenz-Bildsignal und die Einfügepositions-Feststellungsinformationen von der Farbdifferenz-Bewegungskompensationseinheit 4129 gewonnen werden, führt die B-G-Korrelations-Unterscheidungseinheit 4122 wie oben beschrieben den Prozess des Bestimmens der Richtung mit der höchsten Korrelation durch.
[Vx(x, y) des Bewegungsvektors ist eine ungerade Zahl und Vy(x, y) ist eine gerade Zahl, einschließlich Null]
Die B-G-Korrelations-Unterscheidungseinheit 4122 berechnet einen Korrelationswert Sh in der horizontalen Richtung aufgrund der nachstehenden Formel (9) zusätzlich zu den Korrelationswerten Ss und Sb, die beispielsweise in der ersten Ausführungsform beschrieben wurden. Die horizontale Richtung bezeichnet die Richtung nach rechts und links in der in 3 dargestellten Pixelanordnung. Sh = |(B – G)p(k –1, l) – (B – G)p(k + 1, l)|(9)
Die B – G Korrelations-Unterscheidungseinheit 4122 wählt einen kleinsten Korrelationswert und einen zweitkleinsten Korrelationswert aus den Korrelationswerten Ss, Sb und Sh aus. Die B-G-Korrelations-Unterscheidungseinheit 4122 bestimmt eine Richtung, die dem kleinsten Korrelationswert entspricht, als die Richtung mit der höchsten Korrelation, wenn ein absoluter Wert einer Differenz zwischen den beiden gewählten Korrelationswerten größer als ein Schwellenwert ist, und bestimmt, dass keine Korrelation in eine bestimmte Richtung vorliegt, wenn der absolute Wert der Differenz kleiner als der Schwellenwert ist. Die B-G-Korrelations-Unterscheidungseinheit 4122 gibt Bestimmungsinformationen, die ein beliebiges Bestimmungsergebnis aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten”, der „horizontalen Richtung” und „keine Korrelation in eine bestimmte Richtung” bezeichnen, an die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus.
[Vx(x, y) des Bewegungsvektors ist eine gerade Zahl einschließlich Null und Vy(x, y) ist eine ungerade Zahl]
Die B-G-Korrelations-Unterscheidungseinheit 4122 berechnet einen Korrelationswert Sv in der vertikalen Richtung aufgrund der nachstehenden Formel (10) zusätzlich zu den Korrelationswerten Ss und Sb, die beispielsweise in der ersten Ausführungsform beschrieben wurden. Die vertikale Richtung bezeichnet die Richtung nach oben und unten in der in 3 dargestellten Pixelanordnung. Sv = |(B – G)p(k, l – 1) – (B – G)p(k, l + 1)| (10)
Die B – G Korrelations-Unterscheidungseinheit 4122 wählt einen kleinsten Korrelationswert und einen zweitkleinsten Korrelationswert aus den Korrelationswerten Ss, Sb und Sv aus. Die B-G-Korrelations-Unterscheidungseinheit 4122 bestimmt eine Richtung, die dem kleinsten Korrelationswert entspricht, als die Richtung mit der höchsten Korrelation, wenn ein absoluter Wert einer Differenz zwischen den beiden gewählten Korrelationswerten größer als ein vorgegebener Schwellenwert ist, und bestimmt, dass keine Korrelation in eine bestimmte Richtung vorliegt, wenn der absolute Wert der Differenz kleiner als der Schwellenwert ist. Die B-G-Korrelations-Unterscheidungseinheit 4122 gibt Bestimmungsinformationen, die ein beliebiges Bestimmungsergebnis aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten”, der „vertikalen Richtung” und „keine Korrelation in eine bestimmte Richtung” bezeichnen, an die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus.
[Der Bewegungsvektor Vx(x, y) ist eine ungerade Zahl und Vy(x, y) ist eine ungerade Zahl]
Die B – G Korrelations-Unterscheidungseinheit 4122 berechnet jeden Korrelationswert in der Richtung schräg nach oben und der Richtung schräg nach unten anhand beispielsweise des Farbdifferenzsignals des aktuellen Einzelbilds und des Farbdifferenzsignals des vergangenen Einzelbilds. Genau gesagt berechnet die B-G-Korrelations-Unterscheidungseinheit 4122 einen Korrelationswert Ssp in der Richtung schräg nach oben aufgrund der nachstehenden Formel (11). Ssp = |B – G(k – 1, l + 1) – (B – G)p(k, l)| + |B – G(k + 1, l – 1) – (B – G)p(k, l)| (11)
Außerdem berechnet die B-G-Korrelations-Unterscheidungseinheit 4122 einen Korrelationswert Sbp in der Richtung schräg nach unten aufgrund der nachstehenden Formel (12). Ssp = |B – G(k – 1, l + 1) – (B – G)p(k, l)| + |B – G(k + 1, l + 1) – (B – G)p(k, l)| (12)
Die B-G-Korrelations-Unterscheidungseinheit 4122 bestimmt eine Richtung, die einem kleineren Korrelationswert entspricht, als die Richtung mit der höchsten Korrelation, wenn ein absoluter Wert |Ssp – Sbp| einer Differenz zwischen den Korrelationswerten Ssp und Sbp größer als ein Schwellenwert ist, und bestimmt, dass keine Korrelation in eine bestimmte Richtung vorliegt, wenn der absolute Wert der Differenz |Ssp – Sbp| kleiner als der Schwellenwert ist. Die B-G-Korrelations-Unterscheidungseinheit 4122 gibt Bestimmungsinformationen, die ein beliebiges Bestimmungsergebnis aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten” und „keine Korrelation in eine bestimmte Richtung” bezeichnen, an die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus.
Ähnlich berechnet die B-G-Korrelations-Unterscheidungseinheit 4122 jeden Korrelationswert von vier Richtungen (der „Richtung schräg nach oben”, der „Richtung schräg nach unten”, der „horizontalen Richtung” und der „vertikalen Richtung”), wenn Farbdifferenzsignale an allen Pixelpositionen anhand der vergangenen Farbdifferenzsignale eingebettet wurden, wie in 22 gezeigt. Wenn diese absolute Differenzwert größer als ein Schwellenwert ist, bestimmt die B – G-Korrelations-Unterscheidungseinheit 4122, dass die Richtung mit dem kleinsten Korrelationswert die Richtung mit der höchsten Korrelation ist. Wenn der absolute Differenzwert kleiner als der Schwellenwert ist, bestimmt die B-G-Korrelations-Unterscheidungseinheit 4122 außerdem, dass keine Korrelation in eine bestimmte Richtung vorliegt. In diesem Fall gibt die B-G-Korrelations-Unterscheidungseinheit 4122 gibt Bestimmungsinformationen, die ein beliebiges Bestimmungsergebnis aus der „Richtung schräg nach oben”, der „Richtung schräg nach unten”, der „vertikalen Richtung” und „keine Korrelation in eine bestimmte Richtung” bezeichnen, an die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus.
Die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 berechnet einen interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund einer beliebigen aus den nachstehenden Formeln (13) bis (17), wobei die Bestimmungsinformationen von der B-G-Korrelations-Unterscheidungseinheit 4122 und der Farbdifferenzsignalwert des B-G-Signals verwendet werden, das das Farbdifferenzsignal des vergangenen Einzelbilds umfasst.
[Bestimmungsinformationen sind „Richtung schräg nach oben”]
Falls die Bestimmungsinformationen „Richtung schräg nach oben” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (13). B – G(k, l) = {B – G(k – 1, l + 1) + B – G(k + 1, l – 1)}/2 (13)
[Bestimmungsinformationen sind „Richtung schräg nach unten”]
Falls die Bestimmungsinformationen „Richtung schräg nach unten” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (14). B – G(k, l) = {B – G(k – 1, l – 1) + B – G(k + 1, l + 1)}/2 (14)
[Bestimmungsinformationen sind „Vertikale Richtung”]
Falls die Bestimmungsinformationen „vertikale Richtung” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (15). B – G(k, l) = {(B – G)p(k, l – 1) + (B – G)p(k, l + 1)}/2 (15)
[Bestimmungsinformationen sind „Horizontale Richtung”]
Falls die Bestimmungsinformationen „horizontale Richtung” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (16). B – G(k, l) = {(B – G)p(k – 1, l) + (B – G)p(k + 1, l)}/2 (16)
[Bestimmungsinformationen sind „Keine Korrelation in einer bestimmten Richtung”]
Falls die Bestimmungsinformationen „keine Korrelation in eine bestimmte Richtung” sind, berechnet die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 den interpolierten Farbdifferenzsignalwert B – G(k, l) des B-G-Signals am Pixel (k, l) von Interesse aufgrund der nachstehenden Formel (17). B – G(k, l) = {B – G(k – 1, l + 1) + B – G(k + 1, l – 1) + B – G(k – 1, l – 1) + B – G(k + 1, l + 1)}/4 (17)
Obwohl die Interpolation in der oben beschriebenen Formel (17) mittels eines Durchschnittswerts des B-G-Signals von vier umgebenden Pixeln durchgeführt wird, kann die Interpolation unter Verwendung des B-G-Signals von sechzehn oder mehr umgebenden Pixeln durchgeführt werden, mit denen eine hohe räumliche Frequenz aufrechterhalten werden kann.
Die B – G Interpolationsrichtungs-Unterscheidungseinheit 4123 gibt ein Farbdifferenzsignal bezüglich einer Farbdifferenz B – G an die B-G-Interpolationseinheit 4124 aus, in der die B-G-Signale, die das interpolierte Farbdifferenzsignal umfassen, das durch Berechnen des interpolierten Farbdifferenzsignalwerts B – G(k, l) bezüglich des Pixels (k, l) von Interesse gewonnen wird, in einem Schachbrettmuster angeordnet sind. Nachstehend wird das Anzeigebildsignal in der Bildverarbeitungseinheit 41 auf die gleiche Weise wie in der oben beschriebenen ersten Ausführungsform erzeugt.
Außerdem kann die richtungsunterscheidende Interpolationsverarbeitung, die Informationen des vergangenen Einzelbilds verwendet, für das R-G-Signal auf ähnliche Weise wie für das B-G-Signal durchgeführt werden.
In der Interpolationsverarbeitung wird die Bewegungsdetektion für jedes Pixel an einer Eingabestufe (der Vorverarbeitungseinheit 411a) der Interpolationsverarbeitungseinheit 412d durchgeführt, wodurch die Ergebnisse der Bewegungsdetektion dazu verwendet werden können, die richtungsunterscheidende Interpolation des Farbdifferenzsignals zu bestimmen, die von der Interpolationsverarbeitungseinheit 412d durchgeführt wird. Es muss nicht erwähnt werden, dass die Bewegungsdetektionsverarbeitung für jedes Pixel in der Interpolationsverarbeitungseinheit 412d durchgeführt werden kann.
Nachfolgend wird die Signalverarbeitung, die vom Prozessor 4a durchgeführt wird, mit Bezug auf die Zeichnungen beschrieben. 23 ist ein Flussdiagramm zum Beschreiben von Signalverarbeitung, die vom Prozessor gemäß der zweiten Ausführungsform durchgeführt wird. Wenn ein elektrisches Signal vom Endoskop 2 (distalen Endabschnitt 24) gewonnen wird, führt der Prozessor 4a die gleichen Prozesse wie die Prozesse von Schritt S101 bis S106 in der oben beschriebenen ersten Ausführungsform durch, um einen Pixelwert und einen interpolierten Wert einer G-Komponente und einen Signalwert eines Farbdifferenz-Bildsignals zu erzeugen (Schritt S201 bis S206). In der Vorbehandlung in Schritt S202, wird der Prozess des Bestimmens des Bewegungsvektors für jedes Pixel von der Bewegungskompensationseinheit 4115 durchgeführt.
Die Farbdifferenz-Interpolationseinheit 412e führt Farbdifferenz-Bewegungskompensationsverarbeitung aufgrund des Farbdifferenz-Bildsignals durch, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a gewonnen wird (Schritt S207). Genau gesagt gewinnt die Trennungseinheit vergangener Farbdifferenzen 4128 das Farbdifferenz-Bildsignal des unmittelbar vorhergehenden Einzelbilds durch Beziehen auf die Speichereinheit vergangener Farbdifferenzen 412f und extrahiert nur das B-G-Signal und gibt es an die Farbdifferenz-Bewegungskompensationseinheit 4129 aus. Die Farbdifferenz-Bewegungskompensationseinheit 4129 führt die Korrektur (Farbdifferenz-Bewegungskompensationverarbeitung) des B-G-Signals aufgrund der Bewegungsvektorinformationen, die von der Vorverarbeitungseinheit 411a ausgegeben werden, eines B-G-Signals als Farbdifferenzsignal des vergangen Einzelbilds, das von der Trennungseinheit vergangener Farbdifferenzen 4128 ausgegeben wird, und eines B-G-Signals des aktuellen Einzelbilds durch, das von der Farbdifferenz-Trennungseinheit 4121 ausgegeben wird. Die Farbdifferenz-Bewegungskompensationseinheit 4129 gibt ein Farbdifferenz-Bildsignal, das das korrigierte B-G-Signal umfasst, an die B-G-Korrelations-Unterscheidungseinheit 4122 und die B-G-Interpolationsrichtungs-Unterscheidungseinheit 4123 aus.
Wenn das B-G-Signal von der Farbdifferenz-Bewegungskompensationseinheit 4129 korrigiert wird, führt die Farbdifferenz-Interpolationseinheit 412e die Farbdifferenz-Interpolationsverarbeitung aufgrund des Farbdifferenz-Bildsignals, das von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a gewonnen wurde, und des B-G-Signals durch, das von der Farbdifferenz-Bewegungskompensationseinheit 4129 korrigiert wurde (Schritt S208).
Die Farbbildsignal-Erzeugungseinheit 412c erzeugt ein Farbbildsignal, das ein Farbbild unter Verwendung des Pixelwerts und des interpolierten Werts der G-Komponente, der von der Einheit zur Berechnung der G-interpolierten Farbdifferenz 412c erzeugt wird, und eines Signalwerts des Farbdifferenz-Bildsignals ausbildet, das von der Farbdifferenz-Interpolationseinheit 412e erzeugt wird (Schritt S209). Genau gesagt erzeugt die Farbbildsignal-Erzeugungseinheit 412c ein RGB-Signal oder ein GB-Signal durch Hinzufügen des G-Signals oder des interpolierten G-Signals und des Farbdifferenzsignals (des B-G-Signals oder des R-G-Signals) an jeder Pixelposition, und gibt das erzeugte Signal an die Anzeigebilderzeugungsverarbeitungseinheit 413 als das Farbbildsignal aus.
Die Anzeigebilderzeugungsverarbeitungseinheit 413 führt die Gradationsumwandlung, die Vergrößerungsverarbeitung, die Strukturhervorhebungsverarbeitung für die Strukturen wie Kapillaren des Schleimhautoberflächenabschnitts und der feinen Schleimhautmuster und dergleichen bezüglich des Farbbildsignals durch, das von der Farbbildsignal-Erzeugungseinheit 412c erzeugt wird, um das Anzeigebildsignal zur Anzeige zu erzeugen (Schritt S210). Nach Ausführen der vorgegebenen Verarbeitung gibt die Anzeigebilderzeugungsverarbeitungseinheit 413 das verarbeite Signal an die Anzeigeeinheit 5 als das Anzeigebildsignal aus.
Gemäß der oben beschriebenen Ausführungsformen können die gleichen Auswirkungen wie die der ersten Ausführungsform erzielt werden. Außerdem ist die Endoskopvorrichtung, die zwischen der WLI und der NBI umgeschaltet werden kann, so konfiguriert, dass sie eine Richtung mit einer höheren Korrelation bestimmt, wobei die B-G-Signale verwendet werden, die dem aktuellen Einzelbild und dem zeitlich vergangenen Einzelbild bezüglich des B-G-Signals an der Pixelposition von Interesse entsprechen, und die Interpolation unter Verwendung des B-G-Signals in der bestimmten Richtung mit höherer Korrelation durchführt. Auf diese Weise kann die Interpolation auch bezüglich der Kapillaren des Schleimhautoberflächenabschnitts, der Blutgefäße in einer Schleimhautmittelschicht und der Blutgefäße in einer Schleimhauttiefschicht in einer Richtung entlang eines Blutgefäßverlaufs durchgeführt und insbesondere das Auflösungsvermögen des B – G-Signals in der NBI zuverlässiger aufrechterhalten werden.
In der ersten und zweiten Ausführungsform ist der Farbfilter 202a, der die mehreren Filter umfasst, von denen jeder Licht des vorgegebenen Wellenlängenbands hindurchtreten lässt, auf der Licht empfangenden Oberfläche des Bildsensors 202 vorgesehen. Die Filter können jedoch einzeln für jedes Pixel des Bildsensors 202 vorgesehen sein.
Die Endoskopvorrichtungen 1 und 1b gemäß der ersten und zweiten Ausführungsform führen Umschalten des Beleuchtungslichts, das von der Beleuchtungseinheit 31 abgegeben wird, abhängig von dem Einsetzen oder Entfernen des Umschaltfilters 31c oder der Drehung des Rotationsfilters 31g auf ein beliebiges Licht aus dem weißen Beleuchtungslicht und dem Schmalband-Beleuchtungslicht bezüglich des weißen Beleuchtungslichts durch, das von der einzelnen Lichtquelle 31a abgegeben wird. Es können jedoch zwei Lichtquellen, die das weiße Beleuchtungslicht bzw. das Schmalband-Beleuchtungslicht ausgeben, umgeschaltet werden, um eines aus dem weißen Beleuchtungslicht und dem Schmalband-Beleuchtungslicht abzugeben. Wenn die beiden Lichtquellen umgeschaltet werden, um eines aus dem weißen Beleuchtungslicht und dem Schmalband-Beleuchtungslicht abzugeben, kann die Erfindung auch auf ein Kapselendoskop angewendet werden, das beispielsweise eine Lichtquelleneinheit, einen Farbfilter und einen Bildsensor umfasst und in eine Person eingeführt wird.
In der ersten und zweite Ausführungsform und dem abgewandelten Beispiel, ist der A/D-Wandler 205 in den Endoskopvorrichtungen 1 bis 1b am distalen Endabschnitt 24 vorgesehen. Der A/D-Wandler 205 kann jedoch im Prozessor 4 oder 4a vorgesehen werden. Außerdem können die Konfiguration bezüglich der Bildverarbeitung, ein Anschluss, der das Endoskop 2 mit dem Prozessor 4 verbindet, die Betätigungseinheit 22 und dergleichen im Endoskop 2 vorgesehen sein. In den oben beschriebenen Endoskopvorrichtungen 1 bis 1b wird das Endoskop 2, das an den Prozessor 4 oder 4a angeschlossen wird, anhand der in der Speichereinheit für Bildgebungsinformationen 206 gespeicherten Kennungsinformationen oder dergleichen erkannt. Jedoch kann eine Kennungseinheit in einem Verbindungsteil (Anschluss) zwischen dem Prozessor 4 oder 4a und dem Endoskop 2 vorgesehen sein. Beispielsweise ist ein Stift zur Identifizierung (die Kennungseinheit) auf der Seite des Endoskops 2 vorgesehen, um das Endoskop 2, das mit dem Prozessor 4 verbunden ist, zu identifizieren.
In der ersten und zweiten Ausführungsform führt die Einheit zur Berechnung der G-interpolierten Farbdifferenz 412a die Interpolation an dem Pixel (dem R-Pixel oder dem B-Pixel), an dem das G-Signal fehlt, aufgrund der umgebenden Pixel durch, um das G-interpolierte Signal zu erzeugen. Es kann jedoch lineare Interpolation verwendet werden, bei der Interpolationsverarbeitung durch Unterscheiden einer Interpolationsrichtung durchgeführt wird, oder Interpolationsverarbeitung kann mittels kubischer Interpolation oder einer anderen nicht-linearen Interpolation durchgeführt werden.
In der ersten und zweiten Ausführungsform ist der Farbfilter 202a durch Anordnen der Filtereinheiten U1 konfiguriert, die das Bayer-Array in einer Matrix aufweisen, das Array ist jedoch nicht auf das Bayer-Array beschränkt. Beispielsweise kann beim Umschalten zwischen der WLI und der oben beschriebenen NBI eine Filtereinheit mit einem Filter-Array verwendet werden, in dem die Dichte der G-Komponenten höher als die der B-Komponenten ist. Es kann ein beliebiges Filter-Array verwendet werden, solange es das Filter-Array ist, in dem die Dichte der Pixel zum Erzeugen eines elektrischen Signals einer Leuchtdichtekomponente des weißen Beleuchtungslichts höher als die Dichte der Pixel zum Erzeugen eines elektrischen Signals einer Leuchtdichtekomponente des Schmalband-Beleuchtungslichts ist.
Obwohl in der ersten und zweiten Ausführungsform die beispielhafte Endoskopvorrichtung verwendet wird, die die Bildverarbeitungsvorrichtung umfasst, kann eine Bildgebungsvorrichtung zum Durchführen von Bildverarbeitung, wie eine Mikroskopvorrichtung eingesetzt werden.
Gewerbliche Anwendbarkeit
Wie oben beschrieben sind die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren, das Bildverarbeitungsprogramm und die Endoskopvorrichtung gemäß der vorliegenden Erfindung zum Gewinnen des Bilds mit hoher Auflösung bei sowohl der Weißlicht-Bildgebung als auch der Schmalband-Bildgebung von Nutzen.
Bezugszeichenliste

1: ENDOSKOPVORRICHTUNG
2: ENDOSKOP
3: LICHTQUELLENEINHEIT
4: PROZESSOR
5: ANZEIGEEINHEIT
21: EINFÜHRABSCHNITT
22: BETÄTIGUNGSEINHEIT
23: UNIVERSALKABEL
24: DISTALER ENDABSCHNITT
31: BELEUCHTUNGSEINHEIT
31a: LICHTQUELLE
31b: LICHTQUELLENTREIBER
31c: UMSCHALTFILTER
31d: TREIBEREINHEIT
31e: TREIBER
31f: KONDENSORLINSE
31g: ROTATIONSFILTER
32: BELEUCHTUNGSSTEUERUNG
41: BILDVERARBEITUNGSEINHEIT
42: EINGABEEINHEIT
43: SPEICHEREINHEIT
44: STEUEREINHEIT
201: OPTISCHES BILDGEBUNGSSYSTEM
202: BILDSENSOR
202a: FARBFILTER
203: LICHTLEITER
204: BELEUCHTUNGSLINSE
205: A/D-WANDLER
206: SPEICHEREINHEIT FÜR BILDGEBUNGSINFORMATIONEN
261: SPEICHEREINHEIT FÜR KENNUNGSINFORMATIONEN
411: VORVERARBEITUNGSEINHEIT
412, 412d: INTERPOLATIONSVERARBEITUNGSEINHEIT
412a: EINHEIT ZUR BERECHNUNG DER G-INTERPOLIERTEN FARBDIFFERENZ
412b, 412e: FARBDIFFERENZ-INTERPOLATIONSEINHEIT
412c: FARBBILDSIGNAL-ERZEUGUNGSEINHEIT
413: ANZEIGEBILDERZEUGUNGSVERARBEITUNGSEINHEIT
412f: SPEICHEREINHEIT VERGANGENER FARBDIFFERENZEN
4111: OS-VERARBEITUNGSEINHEIT
4112: RU-VERARBEITUNGSEINHEIT
4113: WA-VERARBEITUNGSEINHEIT
4114: EINZELBILDSPEICHER
4115: BEWEGUNGSKOMPENSATIONSEINHEIT
4121: FARBDIFFERENZ-TRENNUNGSEINHEIT
4122: B-G-KORRELATIONS-UNTERSCHEIDUNGSEINHEIT
4123: B-G-INTERPOLATIONSRICHTUNGS-UNTERSCHEIDUNGSEINHEIT
4124: B-G-INTERPOLATIONSEINHEIT
4125: R-G-KORRELATIONS-UNTERSCHEIDUNGSEINHEIT
4126: R-G-INTERPOLATIONSRICHTUNGS-UNTERSCHEIDUNGSEINHEIT
4127: R-G-INTERPOLATIONSEINHEIT
4128: TRENNUNGSEINHEIT VERGANGENER FARBDIFFERENZEN
4129: FARBDIFFERENZ-BEWEGUNGSKOMPENSATIONSEINHEIT
U1: FILTEREINHEIT

Claims

Bildverarbeitungsvorrichtung zum Erzeugen eines Bildsignals aufgrund elektrischer Signale, die von einem Bildsensor ausgegeben werden, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und eine Dichte der ersten Pixel höher als eine Dichte von jeder der Farbkomponenten der zweiten Pixel ist, wobei die Bildverarbeitungsvorrichtung umfasst: eine Einheit zur Berechnung der interpolierten Farbdifferenz, die konfiguriert ist zum: Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal der ersten Leuchtdichtekomponente zu erzeugen; Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixeln erzeugt werden, um ein Farbdifferenzsignal zu erzeugen; eine Farbdifferenz-Interpolationseinheit, die so konfiguriert ist, dass sie eine Interpolationsrichtung aufgrund des Farbdifferenzsignals unterscheidet, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und eine Bildsignal-Erzeugungseinheit, die so konfiguriert ist, dass sie die elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, auf Basis des interpolierten Farbdifferenzsignals, das von der Farbdifferenz-Interpolationseinheit erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente erzeugt, das von der Einheit zur Berechnung der interpolierten Farbdifferenz erzeugt wird, erzeugt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die ersten Pixel so konfiguriert sind, dass sie das grüne Wellenlängenbandlicht empfangen, um das elektrisches Signal einer grünen Komponente zu erzeugen, und die zweiten Pixel umfassen: ein Pixel, das so konfiguriert ist, dass es das blaue Wellenlängenbandlicht empfängt, um das elektrisches Signal einer blauen Komponente zu erzeugen; und ein Pixel, das so konfiguriert ist, dass es das rote Wellenlängenbandlicht empfängt, um das elektrisches Signal einer roten Komponente zu erzeugen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Farbdifferenz-Interpolationseinheit so konfiguriert ist, dass sie: Korrelationswerte für mehrere Interpolationsrichtungskandidaten berechnet; und als Interpolationsrichtung eine der mehreren Interpolationsrichtungskandidaten aufgrund der Korrelationswerte unterscheidet.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner umfasst: eine Bewegungskompensationseinheit, die so konfiguriert ist, dass sie als Bewegungsvektor eine Bewegung zwischen einem ersten Bewegungsdetektionsbild und einem zweiten Bewegungsdetektionsbildern feststellt, indem sie das erste Bewegungsdetektionsbild und das zweite Bewegungsdetektionsbild verwendet, wobei das erste Bewegungsdetektionsbild auf einem Bildsignal eines vergangenen Einzelbilds beruht, das zeitlich vor einem zu interpolierenden Einzelbild liegt, das zweite Bewegungsdetektionsbild auf einem Bildsignal des zu interpolierenden Einzelbilds beruht, wobei die Farbdifferenz-Interpolationseinheit so konfiguriert ist, dass sie: ein Farbdifferenzsignal eines vergangen-Einzelbilds für das vergangene Einzelbild in das Bildsignal des zu interpolierenden Einzelbild aufgrund des Bewegungsvektors einbettet; und das fehlende Farbdifferenzsignal an jeder Pixelposition anhand des Farbdifferenzsignals interpoliert, das das Farbdifferenzsignal des vergangenen Einzelbilds umfasst.
Bildverarbeitungsverfahren zum Erzeugen eines Bildsignals auf der Basis von elektrischen Signalen, die von einem Bildsensor ausgegeben werden, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und eine Dichte der ersten Pixel höher als eine Dichte von jeder der Farbkomponenten der zweiten Pixel ist, wobei das Bildverarbeitungsverfahren umfasst: einen Schritt des Berechnens einer interpolierten Farbdifferenz zum Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal des ersten Leuchtdichtekomponente zu erzeugen, und zum Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixeln erzeugt werden, um eine Farbdifferenzsignal zu erzeugen; einen Schritt des Interpolierens der Farbdifferenz, um eine Interpolationsrichtung aufgrund des Farbdifferenzsignals zu unterscheiden, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und einen Schritt des Erzeugens eines Bildsignals, zum Erzeugen der elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, aufgrund des interpolierten Farbdifferenzsignals, das im Schritt des Interpolierens der Farbdifferenz erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird.
Bildverarbeitungsprogramm zum Erzeugen eines Bildsignals aufgrund elektrischer Signale, die von einem Bildsensor ausgegeben werden, wobei der Bildsensor erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente von Schmalband-Beleuchtungslicht umfassen, wobei das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als die Wellenlängenbänder des weißen Beleuchtungslichts aufweist, und eine Dichte der ersten Pixel höher als eine Dichte von jeder der Farbkomponenten der zweiten Pixel ist, wobei das Bildverarbeitungsprogramm einen Computer dazu veranlasst, auszuführen: einen Schritt des Berechnens einer interpolierten Farbdifferenz zum Interpolieren des elektrischen Signals der ersten Leuchtdichtekomponente aufgrund des elektrischen Signals der ersten Pixel, die die zweiten Pixel an Positionen der zweiten Pixel umgeben, um ein interpoliertes elektrisches Signal des ersten Leuchtdichtekomponente zu erzeugen, und zum Berechnen einer Differenz zwischen dem interpolierten elektrischen Signal der ersten Leuchtdichtekomponente und den elektrischen Signalen der Farbkomponenten, die von den zweiten Pixeln erzeugt werden, um eine Farbdifferenzsignal zu erzeugen; einen Schritt des Interpolierens der Farbdifferenz, um eine Interpolationsrichtung aufgrund des Farbdifferenzsignals zu unterscheiden, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird, um ein fehlendes Farbdifferenzsignal an jeder Pixelposition zu interpolieren und dadurch ein interpoliertes Farbdifferenzsignal zu erzeugen; und einen Schritt des Erzeugens eines Bildsignals, zum Erzeugen der elektrischen Signale der Farbkomponenten, die von den zweiten Pixeln erzeugt werden sollen, aufgrund des interpolierten Farbdifferenzsignals, das im Schritt des Interpolierens der Farbdifferenz erzeugt wird, und des interpolierten elektrischen Signals der ersten Leuchtdichtekomponente, das im Schritt des Berechnens einer interpolierten Farbdifferenz erzeugt wird.
Endoskopvorrichtung, die umfasst: eine Lichtquelleneinheit, die zum Abgeben von weißem Beleuchtungslicht oder Schmalband-Beleuchtungslicht konfiguriert ist, wobei das weiße Beleuchtungslicht rotes Wellenlängenbandlicht, grünes Wellenlängenbandlicht und blaues Wellenlängenbandlicht umfasst, und das Schmalband-Beleuchtungslicht ein schmaleres Wellenlängenband als Wellenlängenbänder des weißen Beleuchtungslichts aufweist; einen Bildsensor, der erste Pixel und zweite Pixel umfasst, wobei die ersten Pixel und die zweiten Pixel in einer Matrix angeordnet sind, wobei die ersten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um ein elektrisches Signal einer ersten Leuchtdichtekomponente als eine Leuchtdichtekomponente von weißem Beleuchtungslicht zu erzeugen, und die zweiten Pixel so konfiguriert sind, dass sie photoelektrische Umwandlung an empfangenem Licht durchführen, um elektrische Signale von Farbkomponenten zu erzeugen, die eine zweite Leuchtdichtekomponente als eine Leuchtdichtekomponente des Schmalband-Beleuchtungslichts umfassen, und die Dichte der ersten Pixel größer als die Dichte von jeder der Farbkomponenten der zweiten Pixel ist; und die Bildverarbeitungsvorrichtung nach Anspruch 1.