DE69419006T2

DE69419006T2 - Videobilderzeugungssystem und verfahren mit einem einzelnen sensor für progressive zwischenzeilenabtastung und farbsequentieller objektbeleuchtung

Info

Publication number: DE69419006T2
Application number: DE69419006T
Authority: DE
Inventors: John Shipp
Original assignee: Apollo Camera LLC
Current assignee: Apollo Camera LLC
Priority date: 1993-11-22
Filing date: 1994-11-21
Publication date: 2000-03-23
Anticipated expiration: 2014-11-22
Also published as: US5394187A; DE69419006D1; AU691227B2; ES2133713T3; EP0682844B1; CA2153149A1; AU1185095A; JPH08506233A; WO1995015061A1; EP0682844A1; EP0682844A4

Description

Videobilderzeugungssystem und Verfahren mit einem einzelnen Sensor für progressive Zwischenzeilenabtastung und farbsequentieller Objektbeleuchtung

Technisches Gebiet

Die vorliegende Erfindung bezieht sich auf ein verbessertes System und ein Verfahren, welche zum Verarbeiten von Farbbildern von einem sequentiell beleuchteten Objekt verwendet werden, um hochauflösende Farb-Videosignale zu bilden, die zur Verwendung beim Betrachten des Objekts an einem Video-Bildschirm geeignet sind.

Stand der Technik

Es wird dem Fachmann bekannt sein, daß die Verwendung von ladungsgekoppelten Vorrichtungen (CCD) als Sensoren bei Video-Bildgebungssystemen ziemlich beliebt geworden ist, wie z. B. dort, wo eine kleine Größe und ein geringer Stromverbrauch gewünscht sind. Bei der Verarbeitung von Farbvideobildern ist es aus mehreren Gründen bevorzugt, einen einzelnen CCD-Sensor zu verwenden.
Es gibt drei Grundarten von Festkörper-Vorrichtungen, welche als sequentielle Videosensoren verwendet werden können. Bei Vollrahmen-CCD-Sensoren wird eine Anordnung von Integrations-CCD-Vorrichtungen verwendet, welche als photosensitive Kondensatoren wirken. Die Bilder werden auf die parallele Anordnung projiziert, welche als die Bildebene wirkt. Die Vorrichtung unterteilt die Szeneninformationen in diskrete Sensorelemente, die durch die Anzahl an Pixeln definiert sind. Die Ladung, die sich in jedem Pixel während der Integrationsperiode ansammelt und Reihen von Szeneninformationen darstellt, wird parallel entlang Reihen und Spalten (Parallelregister) der photosensitiven CCDs zu einem Ausgangs-Reihenregister geschoben. Die Bilddaten werden dann in Reihe an einen Signalabtast-Ausgangsverstärker während des Datenlesezyklus geschoben. Dieser Vorgang wiederholt sich, bis alle Reihen von der Vorrichtung weg übertragen sind. Das Ausgangssignal von dem Verstärker kann dann zum Rekonstruieren des Bildes verwendet werden. Da das parallele Register von Vollrahmen-CCDs sowohl zur Szenendetektion als auch zum Datenauslesen verwendet wird, muß entweder ein Verschluß oder eine synchronisierte stroboskopische Beleuchtung verwendet werden, um die Integrität des Bildes beizubehalten.
Einige Vollrahmen-CCD-Sensoren haben in der Nähe der Anordnung von Sensorelementen eine separate, jedoch identische parallele Anordnung von nicht photosensitiven CCD-Elementen zum Speichern von Bilddaten während ungeraden oder geraden Feldern. Somit kann ein Lesen der Speicher-CCD-Anordnung stattfinden, während die Bild-CCD-Anordnung den nächsten Bildrahmen integriert. Diese "Rahmentransfer"-Detektoren erfordern keine Verschlüsse oder stroboskopische Beleuchtung. Jedoch wird die Leistung durch die Tatsache beeinträchtigt, daß Rahmentransfer-CCD-Sensoren die Hälfte der Anzahl an vertikalen Auflösungslinien der äquivalenten Vollrahmen-Vorrichtung haben. Auch deshalb, weil eine Integration immer noch während des Transfers von Bilddaten von der Bildanordnung an die Speicheranordnung stattfindet, kann ein "Schmieren" des rekonstruierten Bildes stattfinden.
Zwischenzeilen-CCD-Sensoren verwenden eine Anordnung von Photodioden als Integrations-Sensorelemente. Jedes Sensorelement ist elektrisch mit einem benachbarten, nicht photosensitiven oder von Licht abgeschirmten CCD-Speicherelement verbunden, welche in einer Zeile zwischen jeder Zeile der Bildsensorelemente angeordnet sind. Nach Integration einer Szene, wird das Signal oder die Ladung, die in jedem Sensorelement oder Pixel gesammelt wurden, auf einmal in die vom Licht abgeschirmte parallele CCD-Anordnung verschoben. Ein Lesen von dieser Speicher-CCD-Anordnung kann dann während der nächsten Integrationsperiode erfolgen, wodurch sich ein kontinuierlicher Betrieb ergibt. Zwischenzeilen-CCD-Sensoren werden sowohl in überlappenden als auch progressiven Abtastformaten hergestellt. Überlappende Sensorvorrichtungen werden in Verbindung mit NTSC- oder PAL-Videoformaten verwendet. Es gibt mehr Flexibilität bei progressiven Abtastvorrichtungen in bezug auf Integration und Lesezeitgebung. Andere Vorteile der Zwischenzeilen-Vorrichtungen bestehen darin, daß die Photodioden, die als Bildsensorelemente verwendet werden, eine viel höhere Empfindlichkeit im blauen Spektrum haben, wo Beleuchtungs-LEDs weniger effektiv sind.
Der Vorteil eines Vollrahmens oder progressiven Zwischenzeilenabtast-CCD-Sensor besteht darin, daß sie das vollständige Komplement von vertikalen Zeilen enthalten. Deshalb können Bilder von höherer Auflösung mit weniger "Verschmieren" erhalten werden. Die Rahmentransfer- und überlappende Zwischenzeilensensoren werden manchmal Videovorrichtungen genannt, weil sie mit herkömmlicher NTSC- oder PAL- Videofeld-Zeitgebung kompatibel sind und überlappende Ausgangssignale mit einer Auflösung von 480 Pseudozeilen erzeugen (jede zweite Zeile wird vorübergehend um eine Feldperiode verschoben). Der Vorteil der Rahmentransferart besteht darin, daß während des Lesens eine Integration fortgeführt werden kann. Vollrahmen-Vorrichtungen ergeben 480 ganze Zeilen von echter Auflösung, sie müssen jedoch abgeblendet werden oder die Lichtquelle muß während des Lesens ausgetastet werden. Sowohl überlappende als auch progressive Abtast-Zwischenzeilen-Vorrichtungen können jedoch während der Integration gelesen werden, da die Speicher-CCD-Anordnungen nicht photosensitiv sind.
Bekannte sequentielle Beleuchtungs- und Verarbeitungsverfahren sind jedoch entweder in bezug auf das Maß an erreichbarer Auflösung, ihre Anforderung für eine höhere Abtastrate von Daten von dem Sensor oder auf ihre relative Empfindlichkeit mit Mängeln behaftet. Das US-Patent Nr. 4,253,447 z. B. macht ein sequentielles Beleuchtungsverfahren bekannt, welches das Lesen von nur der Hälfte der Feldzeilen (entsprechend entweder den geraden oder ungeraden Feldern) erfordert, was eine Reduzierung der vertikalen Auflösung von 50% zur Folge hat. Das '447 Patent macht auch ein zweites Verfahren bekannt, bei welchem das Objekt sequentiell mit allen drei Primärfarben während jeder der ungeraden und geraden Feldperioden beleuchtet wird. Leider ist es bei diesem Verfahren erforderlich, daß die CCD-Daten bei einer Geschwindigkeit gelesen werden müssen, die drei mal so schnell ist wie die Standard- Geschwindigkeit, was nicht immer möglich ist. Außerdem erfordert dieses Verfahren sechs Feldspeicher und bei einem gegebenen Signal-Rausch-Verhältnis ist es drei mal weniger empfindlich als die vorliegende Erfindung.
Bekannte Lichtquellen, die in Verbindung mit einer sequentiellen Farbvideokamera verwendet werden, beinhalten: sequentielles Beleuchten des Objektfeldes mit jeder Primärfarbe durch Drehen eines dreifarbigen segmentierten Filters in dem Pfad einer Weißlicht-Quelle; sequentielles Beleuchten des Objekts mit einer Mehrzahl von Licht emittierenden Festkörper-Chips, die in einem einzelnen transparenten Paket befestigt sind, was im US-Patent Nr. 4,074,306 bekanntgemacht ist; oder sequentielles Beleuchten des Objekts mit drei weißen Strobeskoplichtern mit einem unterschiedlichen Primärfarbfilter in jedem der Strobeskop-Lichtpfade, was im US-Patent Nr. 4,253,447 gezeigt ist. Alle dieser Verfahren sind aufwendig.
Die ebenfalls anhängige US-Patentanmeldung des vorliegenden Anmelders, Nr. 905,278, eingereicht am 26.06.1992, deren Zeichnungen und Beschreibung, wie geändert, hiermit durch Bezugnahme inkorporiert werden, beschreibt ein neuartiges Verfahren zum Herstellen von Videobildern, welche einen einzelnen Sensor, sequentielle Primärfarb- Beleuchtung und nicht farbspezifische RGB-Videodatenspeicher verwenden.
Bei diesem bekannten Stand der Technik zeigen sich zwei Hauptprobleme. Die Wirksamkeit der grünen und blauen LEDs ist geringer als die der roten LEDs (Rotlicht- LEDs). Die Wirksamkeit der roten LEDs beträgt normalerweise 4%, der grünen 0,4% und der blauen 0,04%. Der Wirkungsgradunterschied zwischen grün und rot kann durch Verwendung von mehreren grünen LEDs gelöst werden. Der sehr geringe Wirkungsgrad der blauen LEDs macht die Verwendung einer angemessenen Anzahl an blauen LEDs unpraktisch. Gemäß dem Stand der Technik war es erforderlich, daß ein Videoverstärker mit großer Verstärkung in das Videosignal während des blauen Teils der Beleuchtungssequenz geschaltet wurde, um einen richtigen Weißabgleich sicherzustellen. Die Notwendigkeit einer großen Blausignalverstärkung bewirkt eine Instabilität der Schaltung und schränkt den Dynamikbereich der Kamera ein.
Traditionelle Verfahren zum Kompensieren der geringen Signalstärken hatten eine reduzierte zeitliche oder räumliche Auflösung zur Folge bis zu dem Punkt, wo die Bildqualität nicht zufriedenstellend ist. Außerdem werden Video-Einzelbilder, die durch bekannte Videobildsysteme erhalten werden, aufgrund der zeitlichen Unterschiede zwischen den zwei Feldbildern und der Farbrandeffekte bei sich bewegenden Objekten verzerrt.

Offenbarung der Erfindung

Die vorliegende Erfindung macht ein sequentielles Farbvideo-Bildgebungssystem, wie in Anspruch 1 definiert, und ein Verfahren zum Verarbeiten von Videodaten in einer sequentiellen Farbvideokamera bekannt, wie in Anspruch 6 definiert ist.
Das menschliche Auge nimmt räumliche und zeitliche Auflösung in erster Linie eher durch Luminanz als durch Chrominanz auf. Das System einer Ausführungsform der vorliegenden Erfindung lehrt ein Verfahren zum Erhöhen des Signalpegels und des Signal-Rausch-Verhältnisses von z. B. dem blauen Signal in einer Farb-Sequenzkamera durch Erzeugen von Luminanz- und Chrominanzsignalen aus Bilddaten, die in einem CCD-Sensor gesammelt sind. Die Chrominanzsignale werden räumlich und zeitlich komprimiert, um höhere Signal- und Signal-Rausch-Verhältnisse mit sehr geringem resultierenden Verlust der wahrgenommenen Auflösung, räumlich oder zeitlich, zu ergeben. Dies wird durch Verwendung einer progressiven Zwischenzeilen-Abtast-Video- Detektorvorrichtung erreicht. Ein Luminanzsignal wird durch gleichzeitiges Beleuchten des Objekts mit Rotlicht- und Grünlicht-LEDs über eine halbe Rahmenperiode hinweg erzeugt, welche zwischen Vollrahmen-Beleuchtungsperioden von Rotlicht- und Blaulicht- LEDs wechselt. Die Rotlicht- und Blaulicht-Signalstärken werden durch Addieren von Ladung von benachbarten Pixeln zusammen in dem Sensor erhöht. Dieses Verfahren hat eine Reduzierung der Verstärkungsanforderungen für das Blaulicht-Signal mit wenig Verlust der wahrgenommenen zeitlichen oder räumlichen Auflösung zur Folge, da das Luminanzsignal die vollständige zeitliche und räumliche Auflösung enthält. Die Anzahl der addierten Pixel kann variiert werden gemäß einer Ausführungsform der vorliegenden Erfindung in Abhängigkeit der Blaulicht-Signalstärke. Video-Einzelbilder, die von der verbesserten Kamera gewonnen werden, sind auch schärfer. Außerdem kann das resultierende Ausgangssignal entweder in NTSC oder PAL Formate konvertiert werden, ohne daß die Sensoren gewechselt werden müssen.
Eine Aufgabe der vorliegenden Erfindung besteht somit darin, ein Flackern in einem vereinfachten sequentiellen Farbvideosystem zu eliminieren, während eine gute räumliche und zeitliche Auflösung beibehalten wird.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein vereinfachtes sequentielles Farbvideo-Bildgebungssystem mit verbesserten Signalstärken und Signal- Rausch-Verhältnissen bereitzustellen, während der geringere Wirkungsgrad der grünen und blauen LED-Beleuchtungsquellen kompensiert wird.
Fig. 1 ist ein Blockdiagramm, welches den Kopfteil der Videokamera des verbesserten Systems der vorliegenden Erfindung darstellt;
Fig. 2 ist ein Blockdiagramm, welches die Basiseinheit des verbesserten Systems der vorliegenden Erfindung darstellt;
Fig. 3 ist ein Zeitdiagramm, welches das zeitliche Verhältnis zwischen der Aktivierung der Rot-, Grün- und Blaulicht-LED-Beleuchtungsquellen und Auslesen der Videodaten zeigt, die in dem CCD-Detektor integriert wurden;
Fig. 4 ist ein Blockdiagramm einer Ausführungsform der Basiseinheit einer Ausführungsform des Systems der Fig. 2, welches synchrone Feldzeitgebung verwendet;
Fig. 5 ist eine Tabelle, die das zeitliche Verhältnis zwischen den Signalen darstellt, welche an den verschiedenen Signalknoten der Ausführungsform der Fig. 4 auftauchen;
Fig. 6 ist ein Blockdiagramm, welches einen typischen CCD-Sensor mit Zwischenzeilenarchitektur darstellt.

Bestes Verfahren zum Ausführen der Erfindung

In bezug nun auf Fig. 1 und 2 ist die generelle Anordnung der funktionellen Blöcke des verbesserten sequentiellen Videokamerasystems gezeigt. Der Kamerakopfteil der Fig. 1 wäre in der bevorzugten Ausführungsform ein Teil einer endoskopischen Kamera, die verwendet wird, um Objekte, die sich in einer Körperhöhlung befinden, anzusehen. Dementsprechend wäre die Beleuchtungsquelle des Systems, einschließlich Rotlicht-, Grünlicht- und Blaulicht-LEDs 11, 12 und 13 vorzugsweise an oder nahe des distalen Endes des Endoskops zum Richten von farbigem Licht an das zu beobachtende Objekt in sequentieller, unten beschriebener Weise angeordnet. Der LED Treiber 14 ist funktionsmäßig mit jeder LED 11, 12, 13 verbunden, wodurch eine steuerbare Aktivierungs-Spannung und -Strom in Reaktion auf Hauptzeitsignale, erzeugt durch den Zeitgeber 31, bereitgestellt wird.
Von den Objekten reflektiertes Licht wird auf den CCD-Sensor 15 fokussiert, welcher eine Zwischenzeilen-Rahmentransfer-Architektur wie in Fig. 6 hat, wie das Modell CCB/M27 von Sony Corporation of America. Der Sensortreiber/zeitgeber 32 liefert horizontale und vertikale Zeitsignale an den Sensor 15 auch in Reaktion auf Zeitsignale von dem Hauptzeitgeber 31. Serielle-Videobilddaten von dem Sensor 15 werden an den Videoverstärker 16 übertragen, welcher eine schaltbare Verstärkung hat, welche mit einer automatischen Verstärkungssteuerung gekoppelt ist, um zu ermöglichen, daß der Verstärker 16 einen unterschiedlichen Verstärkungspegel für jede unterschiedliche Farbe anwendet. Der Verstärker 16 hat auch ein Dunkelheits-Klemm-Merkmal (dark clamping) und kann auch einen Analog-Digital-Wandler aufweisen, wenn eine Übertragung von digitalisierten und nicht von analogen Videodaten von dem Kamerakopf erwünscht ist.
Das das System und das Verfahren der vorliegenden Erfindung auf die Erzeugung und Verwendung von Chrominanz- ("C") und Luminanz ("Y")-Videosignalen beruht, wird eine Luminanz-ID-Schaltung 23, die auch mit dem Hauptzeitgeber 31 synchronisiert ist, verwendet, um ein Identifikationssignal hinzuzufügen, um der Kamerabasiseinheit (Fig. 2) mitzuteilen, welche Signale in der Sequenz von digitalisierten durch die Basiseinheit empfangenen Daten ein Y-Signal sind. Die Videodaten mit hinzugefügtem Luminanz- Identifikator, welche weiterhin Synchronisations- und vertikale Treiberzeitsignale beinhalten, werden dann von dem Kamerakopf der Fig. 1 an die Basiseinheit der Fig. 2 durch den Sender 24 übertragen. Vorzugsweise werden drahtlose Funkverbindungen als Verbindung zwischen dem Kamerakopf und der Basiseinheit verwendet, jedoch kann jede herkömmliche Fernverbindung mit oder ohne Kabel verwendet werden.
In Fig. 2 werden die übertragenen analogen (oder digitalen) Videodaten an dem Empfänger 25 angenommen, wo sie dann gleichzeitig an den Synchronseparator 26 und den Digital-Signal-Prozessor (DSP) 35 geschickt werden. Der Synchronseparator 26 trennt die Synchronisations-Vertikaltreiber- und Luminanz-ID-Signale von dem Videosignal in herkömmlicher Weise, welche dem Fachmann wohlbekannt ist. Der DSP 35 ist ein Mikroprozessor mit der weiteren Fähigkeit, eine Analog-Digital-Wandlung sowie Puffern (Speichern), Mitteln und Filtern von digitalen Daten in Echtzeit bei Videoraten durchzuführen.
Nach und während der Verarbeitung von Videobilddaten, Luminanz-ID-Signalen und Vertikaltreibersignalen durch den DSP 35, wie unten beschrieben, wird ein digitalisiertes Luminanz- (Y) Signal erzeugt und dem Digital-Anaog-Wandler (DAC) 32 zugeführt. Erste und zweite Chrominanz- (C1 und C2) Signale werden ebenfalls erzeugt und an die DACs 33 und 34 gerichtet. Die resultierenden analogen Ausgangssignale der DACs 32, 33 und 34 sind dann auf herkömmliche Weise durch einen YC-Videomonitor verwendbar, welcher in Verbindung mit einem Synchronsignal von dem DAC 31 das Bild des zu betrachtenden Objekts rekonstruiert und anzeigt.
Das Verarbeitungsverfahren, welches bei dem vorliegenden System verwendet wird, baut auf das in der US-Patentanmeldung Nr. 905,278 (US-A-5,264,925) beschriebene Verfahren auf und stellt eine Verbesserung gegenüber diesem dar, welches sequentielle Beleuchtung des Objekts durch separat aktivierte Rotlicht-, Grünlicht- und Blaulicht-LEDs und farbunspezifische Speicher verwendet. Das verbesserte Verfahren verwendet sequentielle Beleuchtung durch Y (Luminanz, rot und grün gemeinsam), Rot-, und Blaulicht, mit Speichern und Mitteln der sensierten Daten und der Videodaten.
Herkömmlicherweise ist Luminanz definiert als:
Y = 0,3R + 0,6G + 0,1B (1)
wobei R, G und B Rot-, Grün- und Blaulicht (RGB) -Videosignalpegel sind. Zum Maximieren der Blausignalstärke gemäß einer Aufgabe des Systems ist Y hier definiert als:
Y = aR + bG (2)
wobei a und b relativ willkürliche Konstanten sind, so daß a + b = 1. Aufgrund der räumlichen Auflösung sollte der Wert von b vorzugsweise zwischen 0,3 und 0,7 liegen. Die Wahl der Werte innerhalb dieses Bereichs basiert in gewisser Weise auf subjektiven Wahrnehmungen der entsprechenden Bildqualität. Ansonsten werden die Werte b (und somit a) auf der Basis von Wärmebetrachtungen gewählt. Die mangelnde Wirksamkeit der grünen LEDs würde niedrigere Werte für b vorschlagen, vorausgesetzt, daß die Qualität des resultierenden Bildes angemessen ist. Mit a = b = 0,5 kann z. B. auf einfache Weise ein Bild von hoher Qualität erhalten werden.
Das erste und zweite Chrominanz-Signal ist definiert durch:
C1 = Y - R (3)
C2 = Y - B (4)
In bezug auf das Zeitdiagramm in Fig. 3 ist die Sequenz der Beleuchtungs und Ausleseereignisse in dem System gezeigt. Die Sequenz beginnt, wenn der LED-Treiber 14, welcher auf Signale vom Hauptzeitgeber 31 reagiert, Rotlicht- und Grünlicht-LEDs 11 und 12 zusammen aktiviert gemäß der Gleichung (2) für eine halbe Rahmenperiode (erste und zweite Zeilen der Fig. 3). Somit werden gemäß Gleichung (2) die Rotlicht- LEDS 11 und die Grünlicht-LEDs 12 für gleiche Zeitspannen aktiviert, wobei die Treibersignale, die durch den Treiber 14 angelegt werden, so gesteuert werden, daß die gesamte Licht-Ausgabe der Rotlicht-LEDs 11 und Grünlicht-LEDs 12 während der Beleuchtungsperiode gleich sind. Wenn natürlich die Konstanten a und b der Gleichung (2) so gewählt sind, daß sie unterschiedliche Werte haben, müssen die Treibersignale von dem Treiber 14, welche an die Rotlicht- und Grünlicht-LEDs 11 und 12 angelegt werden, angepaßt werden, so daß die entsprechenden Lichtausgaben während der Beleuchtungsperiode das Verhältnis der a und b-Konstanten reflektieren.
Vorzugsweise hat eine volle Rahmenperiode eine Dauer von 1/30 Sekunden. Während dieser ersten Halbrahmen-Beleuchtungsperiode wird das kombinierte rote und grüne Licht, welches von dem zu beobachtenden Objekt reflektiert wird, auf den CCD-Sensor 15 fokussiert, wo es durch die photosensitive CCD-Bildanordnung integriert wird. Dann werden Rotlicht-LEDs 11 allein für eine volle Rahmenperiode angeschaltet und in Reaktion auf den Hauptzeitgeber 31 und den CCD-Treiber 32 werden die integrierten Luminanz-Y-Daten, die während der ersten Y-Beleuchtungsperiode integriert werden, an die vom Licht abgeschirmte (oder nicht photosensitive) parallele CCD-Leseanordnung verschoben. Somit wird während dieser Rotlicht-Beleuchtungsperiode das Luminanzsignal Y aus dem Sensor 15 ausgelesen und an den Videoverstärker 16 geliefert.
Eine zweite Y- (Rotlicht plus Grünlicht) Beleuchtungsperiode folgt. Zu Beginn dieser zweiten Y-Beleuchtungsperiode werden die reflektierten Rotlichtdaten, welche in der photosensitiven CCD-Bildanordnung des Sensors 15 integriert waren, zu der CCD- Leseanordnung verschoben und einem Videoverstärker 16 zugeführt. Danach werden Blaulicht-LEDs 12 durch den Hauptzeitgeber 31 und Treiber 14 über eine volle Rahmenperiode hinweg aktiviert, während das zweite Y-Signal an die CCD- Leseanordnung verschoben wird und an den Verstärker 16 ausgelesen wird. Danach wird Y wiederum für eine Halb-Rahmenperiode leuchtend geschaltet, während das Blausignal verschoben und ausgelesen wird. Während des Blausignal-Auslesens bewirkt ein Zeitsignal von dem Hauptzeitgeber 31 und CCD-Treiber 32, daß der Videoverstärker 16 seine Verstärkung um einen vorprogrammierten Betrag erhöht, um den geringeren Blausignalpegel zu kompensieren.
Das Verhältnis der Dauer der Y-Luminanz-Signal-Beleuchtungsperioden zur Dauer der Rotlicht- und Blaulicht-(Chrominanz)-Signal-Beleuchtungsperioden kann variiert werden in Abhängigkeit der Auslesezeit, die für die Rot- und Blaulichtsignale erforderlich oder bevorzugt ist.
Während der Perioden des Rot- und Blau-Lichtsignal-Auslesens werden modifizierte Zeitsignale von dem Hauptzeitgeber 31 an den CCD-Treiber 32 geschickt, so daß mindestens zwei vertikale Zeilen von Daten von der Bildanordnung des Sensors 15 in das parallele (horizontale) Register des Sensors summiert werden, wohingegen mindestens zwei horizontale Sensorelemente (Pixel) in die Ausgabe summiert werden. Diese "Binning"-Technik hat die Wirkung, mindestens eine 2 · 2 Matrix von Pixeln (Bildsensorelemente) zu summieren, was einen durchschnittlichen Signalstärkeanstieg eines Faktors von vier für sowohl die Rotlicht- und Blaulicht-Signale zur Folge hat. Die Rotlicht- und Blaulicht-Signalpegel können, falls erforderlich, um einen Faktor neun durch Binnen von 3 · 3 Pixel-Matrixen oder um einen Faktor von n² für eine Matrix von n · n erhöht werden. Das Signal-Rausch-Verhältnis steigt um einen Faktor von zwei für 2 · 2 Binning und um einen Faktor von drei für 3 · 3 Binning.
Wie in Fig. 1 gezeigt ist, können Blausignal-Stärkedaten dem CCD-Treiber 32 zugeführt werden, um eine 2 · 2, 3 · 3 (oder höhere) Binning-Matrix zu wählen, um den Blausignalpegel zu erhöhen.
Die sequentiellen Y, Rotlicht- und Blaulicht-Signale werden dann an die Basiseinheit übertragen, was in Fig. 2 gezeigt ist, entweder durch Kabel oder ohne Kabel, in entweder digitalem oder analogem Format. Die synchronen, vertikalen Treiber- und Y ID-Signale werden getrennt, und die Signale werden dem DSP 35 zugeführt. Der DSP 35 beinhaltet eine herkömmliche Verarbeitungseinrichtung zum Mitteln des Y-Signals über der gewählten n · n Pixelmatrix, so daß das Y-Signal zeitweise den gebinnten Rotlicht- und Blaulicht-Signalen angepaßt ist. Der DSP 35 erzeugt weiterhin die ersten und zweiten Chrominanz-Signale wie in Gleichungen (3) und (4) oben und gibt diese digitalisierten Signale an die DACs 32, 33 und 34 aus, um analoge YC-Signale zu bilden, welche an einem YC-Monitor angezeigt werden können. Der DSP 35 kann auch RGB, NTSC oder PAL-Format-Ausgangssignale erzeugen.
Es sollte beachtet werden, daß es nicht erforderlich ist, daß die Rahmenrate des Kamerakopfes an die Zeitgebung der NTSC- oder PAL-Formate angepaßt ist. Der DSP 35 enthält ausreichend Datenpuffer und Zeitschaltungen, welche dem Fachmann wohlbekannt sind, so daß langsamere Rahmenraten in dem Kamerakopf verwendet werden können, um die Signalstärken durch Verwendung längerer Integrationszeiten weiter zu erhöhen. Wenn z. B. die Kamerakopf-Rahmenrate um 10% gesenkt werden muß, um sie entweder mit der NTSC- oder PAL-Zeitgebung zu synchronisieren, würde der DSP 35 programmiert werden, um einen Wiederholungsrahmen in den Videodatenstrom bei jedem zehnten Rahmen einzufügen.
In bezug nun auf Fig. 4 ist ein weiteres Detail einer bevorzugten Ausführungsform des Systems gezeigt, zusammen mit Signalknoten D0, D1, D2 und D3 entsprechend der Fig. 5. Die Ausführungsform der Fig. 4 und 5 verwirklicht zwar die Grundmethode des verbesserten Kamerasystems, verwendet aber auch Merkmale des neuartigen Verfahrens der ebenfalls anhängigen US-Patentanmeldung Nr. 905,278 (US-A-5,264,925) des vorliegenden Anmelders. Bei dieser Ausführungsform des verbesserten Kamerasystems müssen der Kamerakopf (Fig. 2) und die Basiseinheiten synchron betrieben werden.
Luminanz-ID und vertikale Treibersignale, die von den von dem Kamerakopf erhaltenen Videodaten getrennt wurden, werden von dem Sync-Separator 36 an den Schaltertreiber 41 gesandt. Das Ausgangssignal des Schalttreibers 41 wird verwendet, um den Betrieb des Datenspeicherschalters 45 zu steuern, welcher gemäß dem Zeitschema der Fig. 5 abwechselnd den Videodateneingangsknoten D0 von dem Empfänger 25 entweder mit dem Y-Signalspeicher 42, dem ersten Chrominanzsignal-(C1)-Speicher 43 oder dem zweiten Chrominanzsignal-(C2)-Speicher 44 verbindet. Der Y-Speicher 42 ist eine Speichervorrichtung oder ein Schieberegister, welches einen Voll-Datenrahmen speichern kann. Der erste und der zweite Chrominanzspeicher 43 und 44 sollten eine Viertel- Rahmen-Kapazität für 2 · 2 Binning haben. Die 2 · 2 Mittelungsfunktionen werden in der Mittelungsschaltung 46 ausgeführt, wobei nach Bedarf eine Subtraktion für die Gleichungen (3) und (4) oben, angewandt in Summierschaltungen 47 und 48 ausgeführt wird.
Die Tabelle von Fig. 5 zeigt die Sequenz der Beleuchtungsperioden, Ausleseperioden und Verzögerungen der Chrominanz- und Luminanzsignale zu jeder Zeit einer Sequenz einer Halbrahmenzeit T.
Bilder mit Tiefenwahrnehmung können durch das verbesserte Kamerasystem durch Schalten eines synchronisierten Verschlusses von einer linken optischen Zone in dem Endoskop zu der rechten Zone in jeder kompletten Sequenz Y-Rot-Y-Blau erzeugt werden.
Obwohl bestimmte Ausführungsformen der vorliegenden Erfindung eines verbesserten sequentiellen LED-Videokamerasystems beschrieben wurden, ist es hiermit nicht vorgesehen, daß solche Referenzen den Rahmen dieser Erfindung einschränken, außer als in den folgenden Ansprüchen angegeben ist.

Claims

1. Sequentielles Farbvideo-Bildgebungssystem, welches aufweist:

a. einen Zwischenzeilen-Videosensor (15) mit einem Bildfeld von horizontalen und vertikalen photosensitiven Elementen und einem entsprechenden Speicherfeld von Videodaten-Speicherelementen;

b. eine Objekt-Beleuchtungseinrichtung (11-13) mit separat betätigbaren Rot-, Grün- und Blau-Lichtquellen;

c. eine Zeitgebungs- und Treibereinrichtung (14, 31) zum Aktivieren der Rot-, Grün- und Blau-Lichtquellen in einer vorbestimmten Wiederholungssequenz von Rot- und Grün-, Rot-, und Blau-Licht-Beleuchtungsperioden;

d. eine Sensor-Treibereinrichtung (32), um Videodaten in Reaktion auf den Pegel des von dem Objekt reflektierten Lichts während jeder Beleuchtungsperiode von dem Bildfeld zu dem Speicherfeld zu verschieben; und

e. eine Prozessoreinrichtung (35) zum Lesen und Transformieren von in das Speicherfeld verschobenen Videodaten in eine entsprechende Sequenz von Chrominanz- und Luminanz-Videosignalen, welche das durch das Kamerasystem betrachtete Objekt darstellen.

2. System nach Anspruch 1, welches weiterhin eine Video- Verstärkungseinrichtung (16) aufweist, um die Videodaten aus dem Speicherfeld vor dem Verarbeiten in dem Prozessor zu verstärken, wobei die Verstärkungseinrichtung eine Signalverstärkung hat, welche in Reaktion auf ein externes Signal schaltbar ist, wodurch unterschiedliche Verstärker-Verstärkungen an Videodaten entsprechend unterschiedlichen Beleuchtungsfarben angelegt werden können.

3. System nach Anspruch 2, wobei der Videosensor weiterhin ein paralleles Videodaten-Schieberegister, ein serielles Videodaten-Schieberegister und eine Einrichtung aufweist, die auf Speichersignale (Binning-Signale) von der Sensor-Treibereinrichtung reagiert, wodurch mindestens zwei vertikale Zeilen von Videodaten entsprechend einer einzigen Beleuchtungsfarbe aus dem Speicherfeld in dem parallelen Schieberegister summiert werden und wodurch mindestens zwei horizontale Zeilen von Videodaten aus dem parallelen Schieberegister in das serielle Schieberegister summiert werden, und die Sensor-Treibereinrichtung eine Einrichtung zum Erzeugen der Speichersignale beinhaltet, wodurch eine Matrix von mindestens einem 2 · 2-Feld der photosensitiven Sensorelemente mit roten oder blauen Videodaten in dem Sensor vor der weiteren Verarbeitung summiert wird.

4. System nach Anspruch 2 oder 3, wobei die Prozessoreinheit Videodaten-Mittelungs- und Videodaten-Subtraktionsschaltungen aufweist.

5. System nach Anspruch 2, 3 oder 4, welches weiterhin eine Einrichtung für drahtlose Übertragung der Videodaten an eine entfernte Stelle aufweist.

6. Verfahren zur Verarbeitung von Videodaten in einer sequentiellen Farb-Videokamera mit den folgenden Schritten:

a. Beleuchten eines zu betrachtenden Objekts mit sich wiederholenden Sequenzen von Rot- und Grün-, Rot-, Rot- und Grün-, und Blau-Licht während den entsprechenden Beleuchtungsperioden des Luminanzsignals, ersten Chrominanzsignals, Luminanzsignals und zweiten Chrominanzsignals;

b. Sensieren und Integrieren des Pegels des von dem Objekt während jeder Luminanz- und Chrominanzsignal-Beleuchtungsperiode reflektierten Lichts in einem Videodaten-Sensorfeld;

c. Verschieben von Videodaten von dem Sensorfeld in ein Video-Datenspeicherfeld am Ende jeder Luminanz- und ersten und zweiten Chrominanzsignal-Beleuchtungsperiode;

d. Einlesen der in dem Datenspeicher-Sensorfeld gespeicherten Videodaten in einen Videoverstärker;

e. Verarbeiten der in dem Speicherfeld gespeicherten Videodaten entsprechend den Luminanzsignal-Beleuchtungsperioden, um ein Luminanz-Videosignal zu erzeugen; und

f. Verarbeiten der in dem Speicherfeld gespeicherten Video daten entsprechend der ersten und zweiten Chrominanz-Beleuchtungsperiode, um erste und zweite Chrominanz-Videosignale zu erzeugen.

7. Verfahren nach Anspruch 6, wobei weiterhin die Luminanzsignal-Beleuchtungsperioden einen Bruchteil der Dauer der ersten und zweiten Chrominanzsignal-Beleuchtungsperioden dauern, wobei der Bruchteil durch die Auslese-Zeit des ersten und zweiten Chrominanzsignals bestimmt wird.

8. Verfahren nach Anspruch 7, welches weiterhin den Schritt des Speicherns in dem Sensor von mindestens zwei vertikalen Zeilen von Videodaten aufweist, die in dem Bildfeld während der ersten und zweiten Chrominanzsignal-Beleuchtungsperiode integriert werden, wodurch gespeicherte rote und blaue Videosignale erzeugt werden, wodurch Video-Bild-Signalstärken entsprechend der Beleuchtung des Objekts mit Rot- und Blau-Licht vergrößert werden.

9. Verfahren nach Anspruch 8, wobei die Verarbeitung der Videodaten von dem Speicherfeld ein Mitteln der Luminanzsignale beinhaltet, wodurch das gemittelte Luminanzsignal vorübergehend mit den roten und blauen Videosignalen übereinstimmt, und wobei das erste Chrominanz-Videosignal erhalten wird durch Subtrahieren des gespeicherten roten Signals von dem gemittelten Luminanzsignal und das zweite Chrominanzsignal erhalten wird durch Subtrahieren des gespeicherten blauen Signals von dem gemittelten Luminanzsignal.

10. Verfahren nach Anspruch 6, welches weiterhin den Schritt des Schaltens in einer vorbestimmten sequentiellen Weise der in dem Speicherfeld gespeicherten Videodaten zwischen einem Y-Speicher und einer ersten und einer zweiten Chrominanz-Speichereinheit aufweist.