DE102019118751A1

DE102019118751A1 - Verfahren zur Synthese von Standbildern aus einem mit einem medizinischen Bildaufnahmesystem aufgezeichneten Videobilddatenstrom

Info

Publication number: DE102019118751A1
Application number: DE102019118751.6A
Authority: DE
Inventors: Daniel Härter; Alexander Köhler; Stefan Schröer; Joachim Jauss; Volker Grimmig; Niels Lemke
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2021-01-14

Abstract

Ausgehend von einem fortlaufend von einem medizinischen Bildaufnahmesystem (1) bereitgestellten Videobilddatenstrom (10), wird zum sicheren Aufzeichnen von qualitativ hochwertigen Standbildern (6) vorgeschlagen, eine Reihe von Standbildern (5) aus einer Datensequenz (11) zu erzeugen, welche einen zeitlichen Ausschnitt des Videobilddatenstroms (10) codiert, sowie ein synthetisches Standbild (6) aus mindestens zwei der aus der codierten Datensequenz (11) erzeugten Standbilder (5) zu berechnen. Hierbei kann die Auswahl der für diese Bildsynthese genutzten Standbilder (5) durch das Bildaufnahmesystem (1) unterstützt oder von dem Bildaufnahmesystem (1) selbsttätig vorgenommen werden (vgl. Figur 4).

Description

Die Erfindung betrifft ein Verfahren zum Aufzeichnen von Standbildern, bei dem mit einem Bildsensor eines medizinischen Bildaufnahmesystems, insbesondere eines Videoendoskopiesystems, fortlaufend ein Videobilddatenstrom aufgenommen wird. Ein solches Bildaufnahmesystem kann beispielsweise als ein Endoskopiesystem mit einem Endoskop, das den besagten Bildsensor trägt, oder beispielsweise in Form eines Exoskops oder eines Digitalmikroskops ausgestaltet sein.
Die Erfindung betrifft ferner ein zugehöriges medizinisches Bildaufnahmesystem, insbesondere in Form eines Videoendoskopiesystems oder in Form eines Exoskops oder eines Digitalmikroskops, welches einen Bildsensor und einen Controller zum Aufzeichnen von Standbildern, die aus einem mit dem Bildsensor fortlaufend aufgenommenen Videobilddatenstrom gewonnen werden, umfasst.
Schließlich betrifft die Erfindung ein zugehöriges Computerprogrammprodukt.
Während endoskopischer Eingriffe, insbesondere medizinischer Untersuchungen, werden häufig einzelne Standbilder (engl. still images), die mit einem Videoendoskopiesystem aufgenommen worden sind oder gerade aufgenommen werden, zur Dokumentation des Eingriffs, zur Abrechnung der Untersuchung, für eine nachgelagerte Diagnostik oder für wissenschaftliche Zwecke, abgespeichert.
Ein solches Abspeichern erfolgt üblicherweise durch Betätigen einer Bildaufnahmetaste an einem Kamerakopf des Videoendoskopiesystems. Beim Betätigen der Bildaufnahmetaste wird der Kamerakopf jedoch ausgelenkt, sodass ein zum Zeitpunkt der Betätigung mit dem Kamerakopf aufgenommenes Bild eine Bewegungsunschärfe, etwa eine Verwackelung, aufweisen kann. Entsprechend kann das abgespeicherte Bild im schlimmsten Fall unbrauchbar sein, was besonders störend ist, wenn die Unbrauchbarkeit erst nach Abschluss des medizinischen Eingriffs festgestellt wird, wenn keine erneute bessere Aufnahme mehr vorgenommen werden kann.
Ferner kann es vorkommen, dass aufgrund eines Zeitverzugs das abgespeicherte Standbild nicht mit einer Live-Szene übereinstimmt, die der Benutzer des Videoendoskopiesystems, etwa ein Operateur, gerade mit dem Videoendoskopiesystem beobachtet hat und tatsächlich zu Dokumentationszwecken abspeichern wollte.
Aus EP 2 733 924 B1 ist ein Verfahren zum Erfassen von Standbildern bekannt, bei dem zunächst eine Vielzahl von Standbildern mit einem Videosystem erfasst wird, die erfassten Standbilder in einem Bildpuffer zwischengespeichert werden und in Reaktion auf eine Anweisung eines der in dem Bildpuffer hinterlegten Standbilder entnommen wird, welches zeitlich vor einem Zeitpunkt der Anweisung erfasst wurde. Dabei erfolgt die Anweisung durch einen Benutzer durch Betätigen eines Bilderfassungstasters. Vorteilhaft an diesem Verfahren ist, dass sich Erschütterungen, die beim Betätigen des Bilderfassungstasters entstehen, nicht mehr auf das aus dem Bildpuffer entnommene Standbild auswirken können, da dieses bereits vor dem Betätigen des Tasters aufgenommen wurde. Somit können Standbilder ohne Bildverzerrungen wie beispielsweise Bildwackler sicher aufgezeichnet werden.
Der Erfindung liegt die Aufgabe zugrunde, ausgehend von einem Videobilddatenstrom, welcher fortlaufend von einem medizinischen Bildaufnahmesystem, insbesondere einem Videoendoskopiesystem, bereitgestellt wird, die Leistungsfähigkeit des Bildaufnahmesystems für das Aufzeichnen von Standbildern auszunutzen. Insbesondere soll eine verbesserte Möglichkeit zum sicheren Aufzeichnen von Standbildern, die mit einem wie eingangs beschriebenen medizinischen Bildaufnahmesystem aufgenommen worden sind, geschaffen werden.
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem Verfahren zum Aufzeichnen von Standbildern auf Basis eines Videobilddatenstroms die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Verfahren der eingangs genannten Art vorgeschlagen, dass in Reaktion auf eine Eingabe, die während der Aufnahme des Videobilddatenstroms erfolgt, ein Standbild, insbesondere nach einem Zeitpunkt der Eingabe, synthetisiert wird.
Wie noch genauer anhand spezifischer Ausgestaltungen des erfindungsgemäßen Verfahrens erläutert werden wird, können dadurch hochqualitative Standbilder mit hoher Sicherheit aufgezeichnet werden.
Die obige Bildsynthese kann erfindungsgemäß gerade so ausgestaltet sein, dass Informationen aus mindestens zwei frames des Videobilddatenstroms in die Bildsynthese einfließen. Dies ist beispielsweise der Fall, wenn der Videobilddatenstrom zunächst verlustbehaftet komprimiert wird und das Standbild anschließend nach einer Dekomprimierung aus dem Videobilddatenstrom gewonnen wird.
Ferner ist dies der Fall, wenn das Standbild durch eine Berechnung aus mehreren Standbildern, die jeweils aus dem Videobilddatenstrom gewonnen werden, synthetisiert wird.
Darüber hinaus kann die Bildsynthese so charakterisiert sein, dass kein direkter Bezug zwischen dem Standbild und einem frame des Videobilddatenstroms, der zu dem Bildaufnahmezeitpunkt aufgenommen wurde, welcher durch das Standbild wiedergegeben wird, besteht. Dies ist beispielsweise der Fall, wenn das Standbild und dieser zugehörige frame unterschiedliche Bildinformation bieten und/oder wenn das Standbild einen fiktiven Bildaufnahmezeitpunkt darstellt, zu dem kein zugehöriger frame existiert.
Gemäß der Erfindung kann also das Standbild aus dem aufgenommenen Videobilddatenstrom gewonnen werden. Dies hat den Vorteil, dass die hohe Bildrate des Videobilddatenstroms ausgenutzt werden kann, um Standbilder von hoher zeitlicher Auflösung zu generieren. Dadurch kann ähnlich wie bei einer Zeitlupenaufnahme zeitlich sehr fein selektiert werden, welcher konkrete Bildaufnahmezeitpunkt des Videobilddatenstroms durch ein Standbild dokumentiert werden soll.
Mit anderen Worten gibt das synthetisierte Standbild somit einen, insbesondere fiktiven, Bildaufnahmezeitpunkt des Videobilddatenstroms wieder, wobei das Standbild erst nach diesem Bildaufnahmezeitpunkt synthetisiert wird. Wie noch genauer zu erläutern sein wird, kann dieser Bildaufnahmezeitpunkt vor oder nach dem Zeitpunkt der Eingabe liegen oder auch mit dem Zeitpunkt der Eingabe zusammenfallen.
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
So ist es gemäß einer Ausgestaltung vorgesehen, dass zur Synthese des Standbilds auf eine codierte Datensequenz zurückgegriffen wird, die durch Codierung des Videobilddatenstroms erzeugt worden ist. Bei einer solchen Ausgestaltung ist es für ein kompaktes Bildaufnahmesystem von Vorteil, wenn diese codierte Datensequenz in einem Zwischenspeicher des Bildaufnahmesystems abgelegt wird.
Dieses Verfahren lässt sich noch genauer charakterisieren. Es kann nämlich insbesondere vorgesehen sein, dass die codierte Datensequenz aus dem Videobilddatenstrom mittels eines Encoders erzeugt wird, eine codierte Teilsequenz der codierten Datensequenz ausgelesen wird, mittels eines Decoders in eine Datensequenz decodiert wird und aus dieser decodierten Datensequenz mindestens ein Standbild synthetisiert wird. Hierbei kann die decodierte Datensequenz insbesondere in Form eines Videobilddatenstroms oder einer spezifischen Videobilddatenserie vorliegen, wie noch genauer zu erläutern sein wird.
Um ein kompaktes Bildaufnahmesystem zu erhalten ist es dabei vorzuziehen, wenn sowohl der Encoder als auch der Decoder von dem Bildaufnahmesystem bereitgestellt werden.
Die Datensequenz als auch die Teilsequenz können somit Videobilddaten codieren, die mit dem Bildaufnahmesystem, genauer mit dem Bildsensor, aufgenommen worden sind.
Die Teilsequenz kann dabei identisch sein mit der Datensequenz. Oder aber, sie kann nicht identisch sein mit der Datensequenz, d.h. etwa nur einen Ausschnitt der Datensequenz wiedergeben.
Demnach kann die Teilsequenz einen Teil oder mehrere Teile der Datensequenz betreffen. Insbesondere kann die Teilsequenz somit einen oder mehrere zeitliche Abschnitte eines Ausschnitts des fortlaufend aufgenommenen Videobilddatenstroms betreffen, welcher durch die Datensequenz codiert wird beziehungsweise codiert ist.
Mit dem obigen Verfahren können insbesondere mehrere Standbilder nach einem Zeitpunkt der Eingabe synthetisiert werden, die unterschiedliche Bildaufnahmezeitpunkte des Videobilddatenstroms wiedergeben. Ferner gilt für dieses Verfahren, dass die mehreren Standbilder, welche aus der decodierten Teilsequenz synthetisiert werden, jeweils nach einem Bildaufnahmezeitpunkt erzeugt werden, welcher durch das jeweilige Standbild wiedergegeben wird.
Von primärem Vorteil ist bei diesem erfindungsgemäßen Verfahren, dass nicht mehr wie bislang üblich eine Vielzahl an Standbildern mit entsprechend großem Speicherbedarf vorab in einem entsprechend großen Speicher abgelegt werden müssen, um wenigsten ein qualitativ hochwertiges Standbild zur Aufzeichnung auswählen zu können. Vielmehr kann, dank der Nutzung einer Datensequenz, die einen bestimmten zeitlichen Ausschnitt des Videobilddatenstroms codiert, nur eine vergleichsweise geringe Anzahl an Standbildern erstellt werden.
Anders als bei vorbekannten Verfahren üblich, können die Standbilder dabei erst nachträglich, also insbesondere nach der besagten Eingabe, erzeugt werden. Denn die Erzeugung der mehreren Standbilder aus der codierten Teilsequenz beziehungsweise aus der decodierten Datensequenz erfolgt in Reaktion auf die Eingabe.
Ein weiterer Vorteil des Verfahrens besteht darin, dass die Standbilder bedarfsgerecht anhand der Eingabe erzeugt werden können. Damit kann das Erzeugen von Standbildern geringer Qualität, die lediglich Speicherplatz belegen, vermieden werden, beispielsweise indem ein Benutzer den Teil des aufgezeichneten Videobilddatenstroms selektiert, aus dem er Standbilder nachträglich generieren möchte.
Wie noch genauer zu erläutern sein wird, kann die eingangs beschriebene Eingabe erfindungsgemäß eine Benutzereingabe sein oder aber von dem Bildaufnahmesystem selbst erzeugt werden. Zu diesem Zweck kann das Bildaufnahmesystem mit einer entsprechenden künstlichen Intelligenz ausgestattet sein.
Die Erzeugung der Standbilder aus einer codierten Teilsequenz der codierten Datensequenz, also insbesondere aus einer durch Decodierung der Teilsequenz gewonnenen decodierten Datensequenz, ermöglicht es ferner, die hohe Bildrate des Bildaufnahmesystems zur Steigerung der Bildqualität eines aufzuzeichnenden Standbilds nutzbar zu machen, da in sehr hoher zeitlicher Auflösung entsprechende Standbilder aus der Teilsequenz gewonnen werden können. Dadurch kann insbesondere die Handhabung einer Selektion eines jeweiligen Standbildes aus dem Videobilddatenstrom verbessert werden.
Um die Bildqualität des synthetisierten Standbilds weiter zu erhöhen kann aus mindestens zwei auf die oben beschriebene Weise synthetisierten Standbildern ein Standbild berechnet werden, welches mehr Bildinformation enthält, als jedes einzelne der mindestens zwei zu seiner Berechnung verwendeten Standbilder.
Die Standbilder, die zur Berechnung herangezogen werden müssen jedoch nicht synthetisiert sein. Es können vielmehr auch gemäß der Erfindung reale Standbilder herangezogen werden. Somit kann also insbesondere vorgesehen sein, dass das Standbild durch Berechnung aus mindestens zwei Standbildern synthetisiert wird, sodass das berechnete Standbild mehr Bildinformation enthält, als jedes einzelne der mindestens zwei zu seiner Berechnung verwendeten Standbilder. Auch bei diesem Verfahren erfolgen die Berechnung und damit die Bildsynthese in Reaktion auf die Eingabe und damit nach einem Zeitpunkt der Eingabe.
Insbesondere schlägt die Erfindung somit ein Verfahren zum Aufzeichnen von Standbildern auf Basis eines Videobilddatenstroms, der mit einem Bildsensor eines medizinischen Bildaufnahmesystems fortlaufend aufgenommen wird, vor, bei dem in Reaktion auf eine Eingabe, die während der Aufnahme des Videobilddatenstroms erfolgt, mehrere Standbilder erzeugt werden, die unterschiedliche Bildaufnahmezeitpunkte des Videobilddatenstroms wiedergeben und wobei aus mindestens zwei der mehreren Standbilder ein synthetisches Standbild berechnet wird, welches mehr Bildinformation enthält, als jedes einzelne der mindestens zwei der mehreren Standbilder.
Im Extremfall kann bei diesem Verfahren somit das synthetisierte Standbild aus allen der mehreren Standbilder berechnet werden; ferner können auch beispielsweise nur lediglich zwei Standbilder in Reaktion auf die Eingabe erzeugt werden, aus denen das synthetisierte Standbild dann berechnet wird.
Mit anderen Worten schlägt die Erfindung gemäß diesem Verfahren vor, nicht wie bisher üblich nur real aufgenommene Einzelbilder zu erfassen, sondern vielmehr synthetische Standbilder aufzuzeichnen, die aus einer Bildsynthese von mehreren aus dem Videobilddatenstrom gewonnenen Standbildern entstanden sind. Es versteht sich, dass bei diesem erfindungsgemäßen Verfahren das synthetische Standbild, welches letztendlich gesichert werden soll, erst nach der Eingabe entsteht, da bereits die Standbilder aus welchen das synthetische Standbild berechnet beziehungsweise synthetisiert wird, erst in Reaktion auf die Eingabe erzeugt werden.
Es werden somit die Standbilder, die zur Synthese des synthetischen Standbilds verwendet werden, jeweils nach einem Bildaufnahmezeitpunkt erzeugt, welcher durch das jeweilige Standbild wiedergegeben wird.
Die zuvor erläuterten Verfahren haben den Vorteil, dass die Vielfalt an Bildinformation, die von dem Videobilddatenstrom aufgezeichnet wird, voll ausgenutzt werden kann, um die Bildqualität des synthetisierten Standbilds zu erhöhen. Hierfür ist entscheidend, dass der Videobilddatenstrom im Vergleich zu einer photographischen Serienaufnahme eine vergleichsweise hohe Bildrate liefert, sodass um einen bestimmten Zeitpunkt herum, der von Interesse etwa für Dokumentationszwecke ist, eine Vielzahl an Frames zur Verfügung stehen, die zur Steigerung der Bildqualität herangezogen werden können. Ferner können mittels des erfindungsgemäßen Verfahrens qualitativ hochwertige Standbilder auch dann gewonnen werden, wenn jedes einzelne der aus dem Videobilddatenstrom synthetisierten Standbilder jeweils nur eine unzureichende Bildqualität aufweist.
Die zuvor erläuterten erfindungsgemäßen Verfahren können in vorteilhafter Weise bei medizinischen Untersuchungen eingesetzt werden. Sie sind jedoch gleichermaßen im industriellen Umfeld, also zum Beispiel bei endoskopischen Inspektionen von Bauteilen, einsetzbar und können in solchen Anwendungen Vorteile für eine nachgelagerte messtechnische Auswertung der endoskopischen Aufnahmen bieten, da die Qualität der aufgenommenen Standbilder gesteigert werden kann und damit die messtechnische Auswertung genauer wird.
In allen erfindungsgemäßen Verfahren kann der Videobilddatenstrom aus Rohdatensignalen des Bildsensors durch entsprechende Signalverarbeitung gewonnen werden und somit aus einer zeitlichen Abfolge von Standbildern bestehen.
Der Videobilddatenstrom kann zudem mit einer bestimmen Bildfrequenz, typischerweise gemessen in fps (frames per second), mit dem Bildsensor erzeugt werden. Diese Bildfrequenz kann im Bereich von 15 bis 240 fps liegen. Dadurch können sehr fein zeitlich aufgelöste Standbilder zur Berechnung des synthetischen Standbildes verwendet werden.
Jedes der einzelnen Standbilder des Videobilddatenstroms kann somit einen bestimmten Zeitpunkt einer bestimmten Aufnahmeszene aufzeichnen, die mit dem Bildsensor beobachtet wird. Die Einzelbilder können ferner auch räumliche Unterschiede aufweisen, etwa wenn der Bildsensor bei der Aufnahme bewegt wird oder wenn sich Objekte in der beobachteten Szene bewegen.
Mittels des Encoders kann der Videobilddatenstrom insbesondere verlustbehaftet komprimiert werden. Dabei wird aus dem Videobilddatenstrom mit Hilfe eines Algorithmus ein komprimierter Datenstrom erzeugt, der dann als codierte Datensequenz gespeichert werden kann. Zur Wiedergabe der komprimierten Daten muss diese Kompression wieder rückgängig gemacht werden, was mit Hilfe eines geeigneten Decoders geschehen kann. Zur Komprimierung können wie im Stand der Technik üblich bestimmte Videocodecs, also Algorithmenpaare zur Codierung und Decodierung von digitalen Videos, eingesetzt werden.
Durch eine solche Komprimierung kann der Zwischenspeicher, in dem die codierte Datensequenz abgelegt wird, klein ausgelegt werden im Vergleich zu vorbekannten Verfahren, bei welchen einzelne Standbilder in einem Ringspeicher abgelegt werden.
Die Eingabe, die die Synthese des Standbilds triggert, kann beispielsweise durch einen Benutzer erfolgen. Dies kann insbesondere durch Bedienen eines Bedienelements erfolgen.
Ist das Bildaufnahmesystem beispielsweise als Videoendoskopiesystem ausgestaltet, so kann das Bedienelement beispielsweise durch eine Standbildaufnahmetaste an einem Kamerakopf eines Endoskops des Videoendoskopiesystems realisiert sein, wodurch eine besonders intuitive Bedienung möglich wird.
Ferner ist es auch möglich, dass die besagte Eingabe durch einen Zuruf oder eine Gestik des Benutzers geschieht.
In allen diesen Fällen kann somit ein Benutzer selbst anhand eines Live-Videobilds entscheiden, zu welchem Zeitpunkt er Standbilder aufzeichnen möchte.
Alternativ oder ergänzend kann die Eingabe durch das Bildaufnahmesystem erfolgen. Dies kann insbesondere in Reaktion auf ein Signal geschehen, beispielsweise ein Einschaltsignal eines OP-Instruments.
Ein solches Signal kann auch ein Sensorsignal, beispielsweise eines optischen oder akustischen Sensors, sein. Durch eine derartige Ausgestaltung kann beispielsweise in medizinischen Anwendungen der Operateur und Benutzer eines erfindungsgemäßen Videoendoskopiesystems entlastet werden, da das Videoendoskopiesystem selbsttätig das Aufzeichnen von Standbildern auslösen kann.
Eine Eingabe durch das Bildaufnahmesystem, die die Erzeugung der mehreren Standbilder auslöst, kann ferner alternativ oder ergänzend auch in Reaktion auf eine Bildauswertung des Videobilddatenstroms erfolgen. Eine solche Bildauswertung kann auf einer künstlichen Intelligenz oder einem Merkmalsalgorithmus beruhen. Durch diesen Ansatz wird es beispielsweise möglich, dass das Bildaufnahmesystem auf bestimmte immer wiederkehrende OP-Szenen trainiert wird, in denen standardmäßig Standbilder zu Dokumentationszwecken aufgenommen werden müssen. Dadurch kann diese Dokumentation automatisiert werden, was gerade in medizinischen Anwendungen den Benutzer entlastet.
Eine Eingabe wie oben beschrieben kann die Erzeugung der codierten Datensequenz und/oder das Auslesen der codierten Teilsequenz auslösen. In diesem Fall kann die Datensequenz und insbesondere die Teilsequenz nur solche Videobilddaten codieren, die zum Zeitpunkt der Eingabe und/oder nach dem Zeitpunkt der Eingabe von dem Bildsensor aufgezeichnet worden sind.
In wiederum anderen Ausgestaltungen des Verfahrens kann die codierte Datensequenz hingegen bereits erzeugt werden oder gar erzeugt worden sein, bevor die Eingabe erfolgt. In diesem Fall kann die Datensequenz und insbesondere die Teilsequenz Videobilddaten aus einem zeitlichen Fenster codieren und der Zeitpunkt der Eingabe kann innerhalb dieses zeitlichen Fensters liegen.
Die Datensequenz, insbesondere die Teilsequenz, kann somit insbesondere Videobilddaten codieren, die vor dem Zeitpunkt der Eingabe von dem Bildsensor aufgezeichnet worden sind. In einem solchen Fall kann bei der Synthese, insbesondere bei der Berechnung, des Standbildes auf frames oder Standbilder zurückgegriffen werden, die jeweils Aufnahmezeitpunkte wiedergeben, die vor dem Zeitpunkt der Eingabe liegen.
Derartige Standbilder können aber, anders als bei dem in EP 2 733 924 B1 beschriebenen Verfahren, mit dem erfindungsgemäßen Verfahren erst nach dem Zeitpunkt der Eingabe erzeugt werden. Trotzdem kann der in EP 2 733 924 B1 beschriebene Vorteil, nämlich die Vermeidung von Bildwacklern durch Berücksichtigung von Aufnahmezeitpunkten die zeitlich vor der Eingabe liegen, voll ausgenutzt werden. Hierbei besteht der Unterschied zwischen dem in EP 2 733 924 B1 beschriebenen und dem erfindungsgemäßen Verfahren bereits darin, dass das Standbild, welches zur Dokumentation schlussendlich abgespeichert wird, erfindungsgemäß erst nach einem Zeitpunkt der Eingabe synthetisiert, also erzeugt, wird, während bei dem Verfahren gemäß EP 2 733 924 B1 ein bereits vor der Eingabe erzeugtes Standbild, welches einen vor dem Zeitpunkt der Eingabe liegenden Aufnahmezeitpunkt wiedergibt, lediglich durch eine Benutzereingabe zur Abspeicherung ausgewählt wird.
Ein wesentlicher Vorteil des zu Beginn erläuterten erfindungsgemäßen Verfahrens besteht darin, dass das synthetisierte beziehungsweise berechnete Standbild aufgrund der Berechnung aus mindestens zwei Standbildern eine verbesserte Bildqualität im Vergleich zu diesen mindestens zwei Standbildern aufweisen kann. Die Verbesserung der Bildqualität kann dabei je nach verwendetem Synthese-Algorithmus auf einen oder mehrere Bildaufnahmeparameter bezogen sein. Derartige Bildaufnahmeparameter können beispielsweise ein Dynamikumfang und/oder ein Maximalwert einer Bildhelligkeit, eines Bildkontrasts, einer Schärfentiefe, einer Bildauflösung, eines Bildwinkels, oder einer Bildschärfe sein. Die Verbesserung der Bildschärfe kann dabei durch eine Abwesenheit einer Bewegungsunschärfe begründet sein.
Zur Berechnung des synthetischen Standbildes kann somit ein Synthese-Algorithmus eingesetzt werden, der einen oder mehrere Bildaufnahmeparameter verbessert. Ein solcher Synthese-Algorithmus kann ein an sich vorbekannter Superresolution-/ Schärfentiefe- /high dynamic range (HDR)- oder Stitching-Algorithmus sein. Im Ergebnis kann somit das synthetische Standbild eine verbesserte Bildqualität im Vergleich zu jedem der zu seiner Berechnung verwendeten Standbilder aufweisen.
Gemäß einer bevorzugten Ausgestaltung des Verfahrens kann in Reaktion auf die Eingabe ein Videobilddatenstrom von vorgegebener Länge aufgezeichnet werden.
Dieser verhältnismäßig kurze Videobilddatenstrom kann vorzugsweise in Form einer Videobilddatenserie aufgezeichnet werden, bei der das Bildaufnahmesystem mindestens einen Bildaufnahmeparameter automatisiert variiert. Ein solcher Bildaufnahmeparameter kann beispielsweise eine Bildhelligkeit, eine Verschlusszeit, eine Bildfokuslage, eine Sensorsensitivität, eine Beleuchtung, eine Schärfentiefe, ein Bildwinkel oder ein Bildversatz sein.
Bei einer solchen Ausgestaltung ist es vorteilhaft, wenn der Videobilddatenstrom von vorgegebener Länge in die besagte Datensequenz codiert wird. Denn in diesem Fall kann insbesondere bei der Berechnung des synthetischen Standbilds auf den in Reaktion auf die Eingabe erzeugten Videobilddatenstrom zurückgegriffen werden.
Wie bereits angerissen wurde, kann sich das synthetische Standbild von jedem der zu seiner Berechnung verwendeten Standbilder unterscheiden. Dieser Unterschied kann sich insbesondere auf einen der obigen Bildaufnahmeparameter beziehen, also beispielsweise auf einen Dynamikumfang und/oder auf Maximalwerte einer Bildhelligkeit, eines Bildkontrasts, einer Schärfentiefe, einer Bildauflösung, eines Bildwinkels, oder einer Bewegungsunschärfe.
Es kann ferner vorgesehen sein, dass ein Benutzer des Bildaufnahmesystems die zur Berechnung des Standbilds zu verwendenden mindestens zwei Standbilder auswählt. Dies kann insbesondere durch eine zeitliche Festlegung der Teilsequenz innerhalb der codierten Datensequenz geschehen. Dies ist beispielsweise möglich, indem der Benutzer mittels einer graphischen Benutzeroberfläche und einem entsprechenden Auswahl-Werkzeug einen zeitlichen Ausschnitt der codierten Datensequenz bestimmt, der die Teilsequenz ausmachen soll. Ferner kann der Benutzer anschließend aus den mehreren Standbildern, die aus der codierten Teilsequenz (beziehungsweise der daraus durch Decodierung gewonnenen decodierten Datensequenz) erzeugt werden, diejenigen aussuchen, die zur Berechnung des synthetischen Standbilds verwendet werden sollen.
Mit anderen Worten kann ein Benutzer beispielsweise einen Ausschnitt des mit dem Bildsensor aufgezeichneten Videobilddatenstroms durch eine entsprechende Auswahlanweisung auswählen. Aus dem ausgewählten Ausschnitt des Videobilddatenstroms, der als Teilsequenz der Datensequenz codiert sein kann, können dann die mehreren Standbilder oder aber bereits die mindestens zwei Standbilder gewonnen werden, aus denen das synthetische Standbild berechnet wird.
Es kann darüber hinaus auch ergänzend oder alternativ vorgesehen sein, dass das Bildaufnahmesystem anhand einer Bildanalyse des Videobilddatenstroms und/oder der mehreren Standbilder, die insbesondere auf einer Bildverarbeitung basieren kann, die zur Berechnung des Standbilds zu verwendenden mindestens zwei Standbilder auswählt.
Gemäß einer besonders bevorzugten Ausgestaltung basiert dabei die Bildanalyse / die Bildverarbeitung auf einer künstlichen Intelligenz. Durch eine solche Ausgestaltung des Verfahrens wird es möglich, dass das Bildaufnahmesystem selbsttätig und intelligent entscheidet, wann ein Standbild aufgezeichnet werden soll, etwa anhand einer in dem Videobilddatenstrom erkannten OP-Aufnahmeszene, die standardmäßig mittels Standbildern dokumentiert werden muss.
Wie bereits eingangs erwähnt, kann bei der Erzeugung der codierten Datensequenz der Videobilddatenstrom, vorzugsweise verlustbehaftet, komprimiert werden. Dies kann insbesondere derart geschehen, dass ein für die codierte Datensequenz benötigter Speicherplatz reduziert wird. Ferner kann durch die Decodierung der Teilsequenz in eine decodierte Datensequenz diese Kompression wieder rückgängig gemacht werden.
Gemäß einer bevorzugten Variante des Verfahrens kann die codierte Datensequenz und/oder die mehreren Standbilder während der Aufnahme des Videobilddatenstroms fortlaufend erzeugt werden.
Es kann ferner vorgesehen sein, dass die codierte Datensequenz durch eine jüngere codierte Datensequenz, die aus dem Videobilddatenstrom gewonnen wird, überschrieben wird. Ferner können auch die mehreren Standbilder durch jüngere Standbilder, die jeweils aus dem Videobilddatenstrom gewonnen werden, überschrieben werden.
Hierzu kann das Bildaufnahmesystem einen Ringspeicher zum fortlaufenden Ablegen und/oder Überschreiben der codierten Datensequenz aufweisen. Ein vergleichbarer Ringspeicher kann auch für ein fortlaufendes Ablegen und/oder Überschreiben der mehreren Standbilder vorgesehen sein.
Die Benutzerfreundlichkeit des Verfahrens lässt sich weiter steigern, wenn das Bildaufnahmesystem einem Benutzer auf einer Anzeigeeinheit eine Auswahl an synthetisierten Standbildern präsentiert, die mittels einem der vorhergehenden Verfahren gewonnen wurden. In diesem Fall kann vorgesehen sein, dass der Benutzer einzelne der präsentierten Standbilder mittels eines Bedienelements, beispielsweise mittels einer auf der Anzeigeeinheit angezeigten graphischen Benutzeroberfläche oder mittels Bedientasten oder dergleichen, zum Abspeichern auf einem Speichermedium des Bildaufnahmesystems auswählen kann.
Zur Lösung der eingangs genannten Aufgabe sind erfindungsgemäß die Merkmale des unabhängigen Vorrichtungsanspruchs vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmesystem der eingangs beschriebenen Art vorgeschlagen, dass das Bildaufnahmesystem, vorzugsweise eine Kamerasteuerungseinheit des Bildaufnahmesystem, einen Encoder, eingerichtet zur Erzeugung einer codierten Datensequenz aus dem Videobilddatenstrom, einen Decoder, eingerichtet zur Erzeugung einer decodierten Datensequenz aus einer codierten Teilsequenz der codierten Datensequenz, sowie eine Bildverarbeitungseinheit, eingerichtet zur Erzeugung von Standbildern aus der decodierten Datensequenz, aufweist.
Gemäß einer bevorzugten Ausgestaltung kann ferner die Bildverarbeitungseinheit zur Berechnung eines synthetischen Standbilds aus mindestens zwei der aus der Teilsequenz erzeugten Standbilder eingerichtet sein.
Der Controller kann hierbei vorzugsweise in einer Kamerasteuerungseinheit des Bildaufnahmesystems angeordnet sein.
Die Bildverarbeitungseinheit / der Encoder / der Decoder kann jeweils beispielsweise lokal ebenfalls in der Kamerasteuerungseinheit oder etwa in einer externen lokalen Recheneinheit realisiert sein. Die Bildverarbeitungseinheit / der Encoder / der Decoder kann aber jeweils auch ausgelagert sein. Somit kann die Bildverarbeitungseinheit / der Encoder / der Decoder jeweils beispielsweise auch mittels eines lokalen Servernetzwerks oder mittels einer „Cloud-Lösung“, also mittels einer IT-Infrastruktur, die über das Internet verfügbar ist, realisiert sein.
Ferner ist es - um die Vorteile der Erfindung voll ausnutzen zu können, von großem Vorteil, wenn der Controller dazu eingerichtet ist, eines der weiter oben beschriebenen erfindungsgemäßen Verfahren, also insbesondere ein Verfahren gemäß einem der auf ein Verfahren gerichteten Ansprüche, auszuführen. Beispielsweise kann der Controller die Codierung des Videobilddatenstroms, die Dekodierung der codierten Datensequenz, die Berechnung des synthetischen Standbilds als auch die Eingabe gemäß einem der zuvor beschriebenen Verfahren steuern.
Schließlich wird ergänzend zur Lösung der Aufgabe ein Computerprogrammprodukt vorgeschlagen, welches in ein Speichermedium eines Bildaufnahmesystems, welches insbesondere wie zuvor erläutert ausgestaltet sein kann, geladen werden kann und einen Softwarecode umfasst. Der Softwarecode ist nun gerade so ausgestaltet, dass mit seiner Hilfe ein erfindungsgemäßes Verfahren, wie zuvor beschrieben oder nach einem der auf ein Verfahren gerichteten Ansprüche, ausgeführt werden kann, wenn der Softwarecode von einem Controller des Bildaufnahmesystem ausgeführt wird.
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
Es zeigt

1 eine schematische Darstellung eines erfindungsgemäßen Bildaufnahmesystems in Form eines Videoendoskopiesystems,
2 eine Serie von Standbildern, die mit dem Videoendoskopiesystem gewonnen wurden,
3 ein synthetisches Standbild, welches aus zwei Standbildern gewonnen wurde,
4 ein Signalflussdiagramm, welches das erfindungsgemäße Verfahren erläutert,
5 ein weiteres Signalflussdiagramm, und
6 ebenfalls ein Signalflussdiagramm.

Die 1 zeigt ein erfindungsgemäßes Bildaufnahmesystem 1 in Form eines Videoendoskopiesystems 1, welches ein Endoskop 2 mit einem in einem Kamerakopf 4 angeordneten Bildsensor 3 sowie eine über ein Kabel 26 mit dem Kamerakopf 4 verbundene Kamerasteuerungseinheit 14 umfasst. Ein mit dem Bildsensor 3 fortlaufend aufgenommener Videobilddatenstrom 10 wird dabei in Form eines Live-Videobilds mittels einer externen Anzeigeeinheit 20 angezeigt.
Die Kamerasteuerungseinheit 14, weist einen Controller 22 auf, der zum Aufzeichnen von Standbildern 5 eingerichtet ist, wobei die Standbilder 5 aus dem fortlaufend aufgenommenen Videobilddatenstrom 10 gewonnen werden, wie nun im Detail anhand der schematischen Darstellung der 4 erläutert werden soll.
Wie 4 zeigt, weist das Videoendoskopiesystem 1 einen ersten Videoprozessor 15 auf (linke Seite des Diagramms in 4), der ein von dem Bildsensor 3 des Endoskops 2 ausgegebenes Rohdatensignal 16 zunächst in einen Videobilddatenstrom 10 wandelt. Ein zeitlicher Abschnitt des Videobilddatenstroms 10 wird anschließend von einem Encoder 8 in eine Datensequenz 11 codiert und diese wird in einem Zwischenspeicher 7 abgelegt, der durch ein internes Speichermedium 21 der Kamerasteuerungseinheit 14 realisiert ist. Bei dieser Erzeugung der codierten Datensequenz 11 wird der Videobilddatenstrom 10 verlustbehaftet komprimiert, wodurch der Speicherplatzbedarf auf dem Speichermedium 21 minimiert wird.
Wie in 1 zu erkennen, weist der Kamerakopf 4 ein Bedienelement 13 in Form einer Standbildaufnahmetaste auf. Wird diese Taste während der Aufnahme des Videobilddatenstroms 10 betätigt, so werden in Reaktion auf diese manuelle Eingabe 17 mehrere Standbilder 5 synthetisiert und zwar zeitlich nach dem Zeitpunkt der Eingabe 17.
Hierzu liest der Controller 22 zunächst die codierte Teilsequenz 12 aus dem Zwischenspeicher 7 aus, die einen Teilbereich der zuvor abgelegten codierten Datensequenz 11 betrifft. Die codierte Teilsequenz 12 wird dann von einem Decoder 9 in eine Datensequenz 25 decodiert (Vgl. 4). Dadurch stehen Videobilddaten, die durch die Teilsequenz 12 codiert waren, wieder zur Weiterverarbeitung zur Verfügung. Durch die Decodierung wird dabei die bei der Codierung erfolgte Kompression rückgängig gemacht, wobei ein gewisser Informationsverlust an Daten bestehen bleiben kann.
Die decodierte Datensequenz 25 wird anschließend von einer Bildverarbeitungseinheit 19 eines zweiten Videoprozessors 15' weiter verarbeitet (rechte Seite des Diagramms in 4). Die Bildverarbeitungseinheit 19 synthetisiert dabei mehrere Standbilder 5 aus der decodierten Datensequenz 25. Da die ursprüngliche codierte Datensequenz 11 insbesondere komprimiert in dem Zwischenspeicher 7 abgelegt werden kann, kann es sich bei den mehreren Standbildern 5 insbesondere um künstliche Standbilder 5 handeln, also beispielsweise um Standbilder 5, die in dieser Form vom Bildsensor 3 nicht aufgezeichnet worden sind.
Die Bildverarbeitungseinheit 19 berechnet anschließend aus mindestens zwei der mehreren aus der codierten Teilsequenz 12 beziehungsweise aus der decodierten Datensequenz 25 gewonnenen Standbilder 5 ein synthetisches Standbild 6. Da bei der Bildsynthese Informationen von jedem der zur Synthese verwendeten Standbilder 5 einfließen, weist das synthetisierte Standbild 6 folglich mehr Bildinformation auf, als jedes einzelne der mindestens zwei zu seiner Synthese verwendeten Standbilder 5.
Dies wird anschaulich an dem in 2 gezeigten Beispiel deutlich, welches die Synthese eines high dynamic range (HDR)-Standbildes 6 aus insgesamt fünf Standbildern 5 mit Hilfe eines HDR-Synthese-Algorithmus illustriert. Jedes der fünf Standbilder 5 gibt dabei eine identische Szene, nämlich die des HDR-Standbildes 6, jedoch aufgenommen in unterschiedlichen Helligkeitsstufen, wieder. Ferner wurde jedes der fünf zur Synthese verwendeten Standbilder 5 jeweils aus der decodierten Datensequenz 25 erzeugt.
Dies ist möglich, da in Reaktion auf eine manuelle Eingabe 17, nämlich durch Betätigung des Bedienelements 13 am Kamerakopf 4, ein vergleichsweise kurzer Videobilddatenstrom 10 von vorgegebener Länge aufgezeichnet wurde und zwar in Form einer Videobilddatenserie 23, bei der das Videoendoskopiesystem 1 die Bildhelligkeit durch Variation der Verschlusszeit des Bildsensors 3 kontinuierlich und automatisiert variiert hatte. Diese Videobilddatenserie 23 wurde als Datensequenz 11 codiert im Zwischenspeicher 7 abgelegt und als codierte Teilsequenz 12 ausgelesen (in diesem Fall war somit die Teilsequenz 12 identisch zur Datensequenz 11). Nach Decodierung der Teilsequenz 12 in eine decodierte Datensequenz 25 (Vgl. 4), die die Videobilddatenserie 23 wiedergibt, wurden dann aus dieser die fünf in 2 links dargestellten Standbilder 5 erzeugt.
Wie in 2 illustriert, weist im Ergebnis das synthetische Standbild 6 im Vergleich zu jedem der zu seiner Synthese verwendeten fünf Standbilder 5 einen vergrößerten Dynamikumfang (high dynamic range - HDR) in Bezug auf die Bildhelligkeit auf und damit eine verbesserte Bildqualität.
In einer Weiterbildung dieses erfindungsgemäßen Verfahrens werden mehrere solcher synthetischer HDR-Bilder erzeugt und diese werden einem Benutzer auf der Anzeigeeinheit 20 angezeigt. Der Benutzer kann dann einzelne der präsentierten synthetisierten HDR-Standbilder 6 mittels des Bedienelements 13 am Kamerakopf 4 zum Abspeichern auf dem internen Speichermedium 21 auswählen. Somit bestimmt der Benutzer letztendlich, welche der vom Videoendoskopiesystem 1 synthetisierten Standbilder 6 tatsächlich dokumentiert werden sollen.
3 zeigt ein weiteres mögliches Anwendungsszenario des erfindungsgemäßen Verfahrens: Hier wurde ein synthetisches Standbild 6 mit vergrößertem Bildwinkel durch rechnerische Synthese von zwei ausgewählten Standbildern 5 gewonnen, die in der oberen Hälfte von 3 zu sehen sind. Die beiden Standbilder 5 geben dabei jeweils Bildausschnitte des synthetischen Standbilds 6 wieder und somit nur einen Teil der Bildinformation des berechneten Standbilds 6. Auch hier wurde zuvor eine Videobilddatenserie 23 aufgenommen, wobei diesmal nicht die Bildhelligkeit, sondern der Bildwinkel während der Aufzeichnung der Videobilddatenserie 23 variiert wurde.
Die beiden in 3 gezeigten Standbilder 5 wurden ferner ebenfalls aus einer decodierten Datensequenz 25 und damit aus Videobilddaten in Reaktion auf eine manuelle Eingabe 17 erzeugt. Somit wurden die Standbilder 5 erst nach den jeweiligen zugehörigen Bildaufnahmezeitpunkten des Videobilddatenstroms 10 erzeugt, welche sie jeweils wiedergeben.
Erfindungsgemäß ist es auch möglich, dass ein Benutzer gezielt diejenigen Standbilder 5 auswählt, die zur Synthese etwa des synthetischen Standbilds 6 der 3 verwendet werden sollen. Dadurch kann der Benutzer die Synthese des Standbilds 6 gezielt beeinflussen und beispielsweise den Bildwinkelbereich festlegen, der von dem synthetischen Standbild 6 wiedergegeben werden soll.
Bei dem Beispiel der 2, also einer automatisierten Videobilddatenserie 23, kann insbesondere vorgesehen sein, dass das Videoendoskopiesystem 1 selbsttätig diejenigen der auf Basis der Videobilddatenserie 23 gewonnenen Standbilder 5 auswählt, aus denen das synthetische Standbild 6, hier ein HDR-Bild, berechnet wird. Dazu kann eine künstliche Intelligenz die einzelnen erzeugten Standbilder 5 zum Beispiel auf erkennbare Strukturen hin untersuchen und entsprechend Standbilder 5 von unzureichender Bildqualität von der BildSynthese ausnehmen. Dadurch kann die Qualität des synthetischen Standbilds 6 automatisch sichergestellt werden.
Wie in 4 angedeutet, ist das Videoendoskopiesystem 1 zudem in der Lage, die Generation von Standbildern 5 aus einer im Zwischenspeicher 7 abgelegten Datensequenz 11 selbsttätig anzustoßen. Hierzu wertet das Videoendoskopiesystem 1 den von dem Videoprozessor 15 generierten Videobilddatenstrom 10 mit Hilfe einer künstlichen Intelligenz aus. In Reaktion auf diese Bildauswertung, die von einer weiteren Bildverarbeitungseinheit 24 übernommen wird (Vgl. 1 und 4), erzeugt der Controller 22 eine automatisch generierte Eingabe 18, die die Erzeugung der mehreren Standbilder 5 aus der Teilsequenz 12 in Gang setzt. Genauer wird durch die automatisch generierte Eingabe 18 das Auslesen der codierten Teilsequenz 12 ausgelöst, aus welcher dann die decodierte Datensequenz 25 und daraus die mehreren Standbilder 5 erzeugt werden und aus diesen schlussendlich das synthetische Standbild 6.
Beispielsweise kann die künstliche Intelligenz so ausgestaltet sein, dass durch die mit Ihrer Hilfe realisierte Bildauswertung eine vordefinierte Bildaufnahmesituation, etwa eine bestimmte OP-Situation, in dem Videobilddatenstrom 10 von dem Videoendoskopiesystem 1 erkannt wird, insbesondere anhand charakteristischer Bildinhalte. In Reaktion auf die erkannte Bildaufnahmesituation führt die automatisch von dem Videoendoskopiesystem 1 generierte Eingabe 18 dann dazu, dass automatisch Standbilder 5 zur Dokumentation der erkannten OP-Situation erzeugt werden.
Alternativ könnte der in 4 dargestellte Signalweg von dem Videoprozessor 15 zum Funktionsblock „automatisch generierte Eingabe 18“ auch von einem Sensor herrühren. Denn erfindungsgemäß kann die Eingabe auch in Reaktion auf ein Sensorsignal erfolgen. So kann etwa eine typische OP-Situation daran erkannt werden, dass ein bestimmtes Operationsinstrument eingeschalten wird und dieses Einschalten kann mit Hilfe eines Sensorsignals an das Videoendoskopiesystem 1 kommuniziert werden, um das Aufnehmen von Standbildern 5 zu triggern.
Bei dem bisher gemäß 4 dargestellten Verfahren erfolgt das Aufzeichnen der Datensequenz 11 fortlaufend, zusammen mit dem Videobilddatenstrom 10. Hierzu wird der Zwischenspeicher 7 als Ringspeicher verwendet, der fortlaufend mit neuen codierten Datensequenzen 11 beschrieben wird, sodass eine einmal erzeugte Datensequenz 11 nach kurzer Zeit mit einer jüngeren Datensequenz 11 überschrieben wird. In diesem Fall kann die Datensequenz 11 beispielsweise Videobilddaten aus einem zeitlichen Fenster codieren, welches den Zeitpunkt der Eingabe umfasst aber auch Zeitpunkte, die vor und/oder nach dem Zeitpunkt der Eingabe liegen. Damit kann bei der Erstellung der Standbilder 5 aus der Teilsequenz 12 also insbesondere auf Videobilddaten zurückgegriffen werden, die noch vor der Eingabe mit dem Videoendoskopiesystem 1 aufgezeichnet wurden. In diesem Fall geben die Standbilder 5 demnach Aufnahmezeitpunkte wieder, die vor dem Zeitpunkt der Eingabe liegen.
Alternativ hierzu kann die Erzeugung der codierten Datensequenz 11 aber auch erst zeitlich nach der Eingabe erfolgen (nicht dargestellt in 4). Mit anderen Worten kann also die jeweilige Eingabe 17 oder 18 die Erzeugung der codierten Datensequenz 11 erst auslösen. In diesem Fall wird die Teilsequenz 12, die eine Untermenge der Datensequenz 11 darstellt, nur solche Videodaten in kodierter Form aufweisen, die nach dem Zeitpunkt der Eingabe 17 oder 18, allenfalls zum Zeitpunkt der Eingabe 17 oder 18, vom Bildsensor 3 aufgezeichnet wurden. Ein solches Vorgehen macht beispielsweise Sinn, wenn eine Bewegung, die ein Benutzer erzeugt, etwa die Bewegung eines Gewebes mit Hilfe eines OP-Instruments, gezielt durch Standbilder dokumentiert werden soll. Denn der Benutzer kann hierzu bereits vor der Bewegung die Erzeugung der codierten Datensequenz 11 durch eine manuelle Eingabe 17 in Gang setzen und anschließend Videobilddaten der Bewegung als codierte Datensequenz 11 abspeichern. Aus der codierten Datensequenz 11 können dann wie zuvor beschrieben nachträglich Standbilder 5 erzeugt werden.
Die 5 und 6 erläutern zwei mögliche praktische Umsetzungen von erfindungsgemäßen Verfahren anhand eines jeweiligen Signalflussdiagramms. Die mit Buchstaben gekennzeichneten einzelnen Verfahrensschritte sind mit Bezug auf 5:

A. Aufnehmen von Bilddaten mit dem Bildsensor 3 des Videoendoskopiesystems 1;
B. Wandeln der Rohdatensignale 16 des Bildsensors 3 in einen Videobilddatenstrom 10;
C. Abspeichern des Videobilddatenstroms 10 als codierte Datensequenz 11 im Zwischenspeicher 7;
D. manuelle Eingabe 17 / automatische generierte Eingabe 18;
E. Auslesen der codierten Teilsequenz 12 aus dem Zwischenspeicher 7;
F. Dekodieren der Teilsequenz 12 in eine decodierte Datensequenz 25, Synthese von mehreren Standbildern 5 aus der decodierten Datensequenz 25, Berechnung eines Standbilds 6 aus mindestens zwei der mehreren Standbilder 5;
G. Abspeichern des berechneten Standbilds 6 / Weitergabe des berechneten Standbilds 6 an eine Applikation;

6

M. manuelle Eingabe 17 / automatische generierte Eingabe 18;
N. Berechnen von Bildaufnahmeparametern;
O. Aufnehmen einer Videobilddatenserie 23 mit dem Bildsensor 3 des Videoendoskopiesystems 1;
P. Wandeln der Videobilddatenserie 23 in einen Videobilddatenstrom 10;
Q. Abspeichern des Videobilddatenstroms 10 als codierte Datensequenz 11 im Zwischenspeicher 7;
R. Auslesen der vollständigen Datensequenz 11 als Teilsequenz 12 aus dem Zwischenspeicher 7;
S. Dekodieren der Teilsequenz 12 in eine decodierte Datensequenz 25; Synthese von Standbildern 5 aus der decodierten Datensequenz 25; Berechnung eines Standbilds 6 aus den Standbildern 5, welches Bildinformation aus der Videobilddatenserie 23 enthält;
T. Abspeichern des berechneten Standbilds 6 / Weitergabe des berechneten Standbilds 6 an eine Applikation;

Während bei dem ersten Verfahren gemäß 5, die Eingabe 17/18 also lediglich das Auslesen der codierten Teilsequenz 12 anstößt, wird bei dem zweiten Verfahren gemäß 6 mit der Eingabe 17/18 bereits die Videobilddatenserie 23 und damit die Aufzeichnung des Videobilddatenstroms 10 und der daraus erzeugten codierten Datensequenz 11 angestoßen.
Zusammenfassend wird zum sicheren Aufzeichnen von qualitativ hochwertigen Standbildern 6, ausgehend von einem fortlaufend von einem Bildaufnahmesystem 1 bereitgestellten Videobilddatenstrom 10, vorgeschlagen, eine Reihe von Standbildern 5 aus einer Datensequenz 11 zu erzeugen, welche einen zeitlichen Ausschnitt des Videobilddatenstroms 10 codiert, sowie ein synthetisches Standbild 6 aus mindestens zwei der aus der codierten Datensequenz 11 erzeugten Standbilder 5 zu berechnen. Hierbei kann die Auswahl der für diese Bildsynthese genutzten Standbilder 5 durch das Bildaufnahmesystem 1 unterstützt oder von dem Bildaufnahmesystem 1 selbsttätig vorgenommen werden.
Bezugszeichenliste

1: Videoendoskopiesystem
2: Endoskop
3: Bildsensor
4: Kamerakopf
5: Standbild
6: aus mehreren Standbildern berechnetes Standbild
7: Zwischenspeicher
8: Encoder
9: Decoder
10: Videobilddatenstrom
11: codierte Datensequenz
12: codierte Teilsequenz
13: Bedienelement
14: Kamerasteuerungseinheit
15: Videoprozessor
16: Rohdatensignal
17: manuelle Eingabe
18: automatisch generierte Eingabe
19: Bildverarbeitungseinheit
20: Anzeigeeinheit
21: Speichermedium
22: Controller
23: Videobilddatenserie
24: weitere Bildverarbeitungseinheit
25: decodierte Datensequenz
26: Kabel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2733924 B1 [0007, 0052]

Claims

Verfahren zum Aufzeichnen von Standbildern (5, 6), bei dem mit einem Bildsensor (3) eines Bildaufnahmesystems (1) fortlaufend ein Videobilddatenstrom (10) aufgenommen wird, dadurch gekennzeichnet, dass in Reaktion auf eine Eingabe (17, 18), die während der Aufnahme des Videobilddatenstroms (10) erfolgt, ein Standbild (5,6) synthetisiert wird.
Verfahren nach Anspruch 1, wobei zur Synthese des Standbilds (5,6) auf eine codierte Datensequenz (11) zurückgegriffen wird, die durch Codierung des Videobilddatenstroms (10) erzeugt worden ist, - vorzugsweise wobei die codierte Datensequenz (11) in einem Zwischenspeicher (7) des Bildaufnahmesystems (1) abgelegt wird.
Verfahren nach Anspruch 2, wobei die codierte Datensequenz (11) aus dem Videobilddatenstrom (10) mittels eines Encoders (8) erzeugt wird, - eine Teilsequenz (12) der codierten Datensequenz (11) ausgelesen und mittels eines Decoders (9) in eine Datensequenz (25) decodiert wird und - aus der decodierten Datensequenz (25) mindestens ein Standbild (5) synthetisiert wird, - vorzugsweise wobei aus mindestens zwei auf diese Weise synthetisierten Standbildern (5) ein synthetisches Standbild (6) berechnet wird, welches mehr Bildinformation enthält, als jedes einzelne der mindestens zwei zu seiner Berechnung verwendeten Standbilder (5).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Standbild (6) durch Berechnung aus mindestens zwei, insbesondere synthetisierten, Standbildern (5) synthetisiert wird, sodass das berechnete Standbild (6) mehr Bildinformation enthält, als jedes einzelne der mindestens zwei zu seiner Berechnung verwendeten Standbilder (5).
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingabe (17) durch einen Benutzer erfolgt, insbesondere durch Bedienen eines Bedienelements (13), beispielsweise einer Standbildaufnahmetaste an einem Kamerakopf (4) eines Endoskops (2) eines erfindungsgemäßen Bildaufnahmesystems (1) in Form eines Videoendoskopiesystems (1), oder durch einen Zuruf oder eine Gestik des Benutzers.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Eingabe (18) durch das Bildaufnahmesystem (1) erfolgt, insbesondere in Reaktion auf ein Signal, insbesondere ein Sensorsignal, beispielsweise eines optischen oder akustischen Sensors, und/oder - in Reaktion auf eine Bildauswertung des Videobilddatenstroms (10), insbesondere wobei die Bildauswertung auf einer künstlichen Intelligenz oder einem Merkmalsalgorithmus beruht.
Verfahren nach einem der Ansprüche 2 bis 6, wobei die Eingabe (17, 18) die Erzeugung der Datensequenz (11) und/oder das Auslesen der Teilsequenz (12) auslöst, sodass die Datensequenz (11), insbesondere die Teilsequenz (12), nur solche Videobilddaten codiert, die zum Zeitpunkt der Eingabe und/oder nach dem Zeitpunkt der Eingabe von dem Bildsensor (3) aufgezeichnet worden sind oder - dass die Datensequenz (11), insbesondere die Teilsequenz (12), Videobilddaten aus einem zeitlichen Fenster codiert, wobei der Zeitpunkt der Eingabe innerhalb des zeitlichen Fensters liegt.
Verfahren nach einem der Ansprüche 2 bis 7, wobei die Datensequenz (11), insbesondere die Teilsequenz (12), Videobilddaten codiert, die vor dem Zeitpunkt der Eingabe von dem Bildsensor (3) aufgezeichnet worden sind, insbesondere wobei bei der Berechnung des synthetischen Standbildes (6) auf Standbilder (5) zurückgegriffen wird, die Aufnahmezeitpunkte wiedergeben, die vor dem Zeitpunkt der Eingabe liegen.
Verfahren nach einem der Ansprüche 3 bis 8, wobei das berechnete Standbild (6) aufgrund der Berechnung eine verbesserte Bildqualität im Vergleich zu den mindestens zwei Standbildern (5) aufweist, insbesondere bezogen auf einen oder mehrere Bildaufnahmeparameter, beispielsweise einen Dynamikumfang und/oder einen Maximalwert einer Bildhelligkeit, eines Bildkontrasts, einer Schärfentiefe, einer Bildauflösung, eines Bildwinkels, oder einer Bildschärfe, oder in Bezug auf eine Abwesenheit einer Bewegungsunschärfe.
Verfahren nach einem der Ansprüche 3 bis 9, wobei zur Berechnung des Standbildes (6) ein Synthese-Algorithmus eingesetzt wird, der einen oder mehrere Bildaufnahmeparameter verbessert, insbesondere ein Superresolution-/ Schärfentiefe- /HDR- oder Stitching-Algorithmus, und/oder wobei das berechnete Standbild (6) eine verbesserte Bildqualität im Vergleich zu jedem der zu seiner Berechnung verwendeten Standbilder (5) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in Reaktion auf die Eingabe ein Videobilddatenstrom (10) von vorgegebener Länge aufgezeichnet wird, - vorzugsweise in Form einer Videobilddatenserie (23) bei der das Bildaufnahmesystem (1) mindestens einen Bildaufnahmeparameter, beispielsweise eine Bildhelligkeit / Verschlusszeit / Bildfokuslage / Sensorsentivität / Beleuchtung / Schärfentiefe oder einen Bildwinkel / Bildversatz, automatisiert variiert, - insbesondere wobei die Datensequenz (11) den in Reaktion auf die Eingabe aufgezeichneten Videobilddatenstrom (10) codiert, - vorzugsweise wobei bei der Berechnung des Standbilds (6) auf den aufgezeichneten Videobilddatenstrom (10) zurückgegriffen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Benutzer des Bildaufnahmesystems (1) die zur Berechnung des Standbilds (6) zu verwendenden mindestens zwei Standbilder (5) auswählt, insbesondere durch eine zeitliche Festlegung der Teilsequenz (12) innerhalb der codierten Datensequenz (11).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bildaufnahmesystem (1) anhand einer Bildanalyse des Videobilddatenstroms und/oder der mehreren Standbilder (5), insbesondere basierend auf einer Bildverarbeitung, vorzugsweise basierend auf einer künstlichen Intelligenz, die zur Berechnung des Standbilds (6) zu verwendenden mindestens zwei Standbilder (5) auswählt, insbesondere derart, dass das Bildaufnahmesystem (1) selbsttätig und intelligent entscheidet, wann ein Standbild (5) aufgezeichnet werden soll.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Erzeugung der codierten Datensequenz (11) der Videobilddatenstrom (10), vorzugsweise verlustbehaftet, komprimiert wird, insbesondere derart, dass ein für die codierte Datensequenz (11) benötigter Speicherplatz reduziert wird, und/oder wobei durch die Decodierung der Teilsequenz (12) diese Kompression wieder rückgängig gemacht wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Datensequenz (11) während der Aufnahme des Videobilddatenstroms (10) fortlaufend erzeugt und/oder durch eine jüngere aus dem Videobilddatenstrom (10) gewonnene Datensequenz (11) überschrieben wird, insbesondere wobei das Bildaufnahmesystem (1) hierzu einen Ringspeicher zum fortlaufenden Ablegen und/oder Überschreiben der codierten Datensequenz (11) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bildaufnahmesystem (1) einem Benutzer auf einer Anzeigeeinheit (20) eine Auswahl an mittels einem der vorhergehenden Verfahren gewonnenen synthetisierten Standbildern (5,6) präsentiert, vorzugsweise wobei der Benutzer einzelne der präsentierten Standbilder (5,6) mittels eines Bedienelements (13), beispielsweise mittels einer auf der Anzeigeeinheit (20) angezeigten graphischen Benutzeroberfläche oder mittels Bedientasten oder dergleichen, zum Abspeichern auf einem Speichermedium (21) des Bildaufnahmesystems (1) auswählt.
Bildaufnahmesystem (1), umfassend einen Bildsensor (3) und einen Controller (22) zum Aufzeichnen von Standbildern (5), die aus einem mit dem Bildsensor (3) fortlaufend aufgenommenen Videobilddatenstrom (10) gewonnen werden, dadurch gekennzeichnet, dass das Bildaufnahmesystem (1), - einen Encoder, (8) eingerichtet zur Erzeugung einer codierten Datensequenz (11) aus dem Videobilddatenstrom (10), - einen Decoder (9), eingerichtet zur Erzeugung einer decodierten Datensequenz (25) aus einer codierten Teilsequenz (12) der codierten Datensequenz (11), sowie - eine Bildverarbeitungseinheit (19), eingerichtet zur Erzeugung von Standbildern (5) aus der decodierten Datensequenz (25) aufweist, - vorzugsweise wobei die Bildverarbeitungseinheit (19) zur Berechnung eines synthetischen Standbilds (6) aus mindestens zwei der aus der decodierten Datensequenz (25) erzeugten Standbilder (5) eingerichtet ist, - insbesondere wobei der Controller (22) dazu eingerichtet ist, ein Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
Computerprogrammprodukt, welches in ein Speichermedium (21) eines Bildaufnahmesystems (1), insbesondere gemäß Anspruch 17, geladen werden kann und einen Softwarecode umfasst, mit dessen Hilfe ein Verfahren gemäß einem der Ansprüche 1 bis 16 ausgeführt werden kann, wenn der Softwarecode von einem Controller (22) des Bildaufnahmesystems (1) ausgeführt wird.