EP4720980A1

EP4720980A1 - Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen

Info

Publication number: EP4720980A1
Application number: EP24730315.9A
Authority: EP
Inventors: Simon Haag; Bernd Steinke
Original assignee: Karl Storz SE and Co KG
Current assignee: Karl Storz SE and Co KG
Priority date: 2023-06-05
Filing date: 2024-05-29
Publication date: 2026-04-08
Also published as: WO2024251593A1; DE102023114677B3

Abstract

Computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz, mit den Schritten: Bereitstellen einer oder mehrerer Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung; Erzeugen, basierend auf den bereitgesteIlten Bildaufnahmen der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; Generieren, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, einer Bildaufnahme mit einer zweiten Bildauflösung mittels Super-Resolutions-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und Komprimieren der generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.

Description

Computerimplementiertes Verfahren und System zur Reduzierung einer Datenmenge von Bildaufnahmen

Technisches Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Reduzierung der Datenmenge von Bildaufnahmen, die insbesondere von einem Endoskop oder Exoskop stammen, mittels Superresolution. Ferner bezieht sich die vorliegende Erfindung auf ein System zur Reduzierung der Datenmenge von Bildaufnahmen mittels Superresolution.

Hintergrund der Erfindung

Zu Dokumentationszwecken bei medizinischer Tätigkeiten und chirurgischer Eingriffe ist es hilfreich, Bildaufnahmen (wie etwa Fotos oder Videoaufnahmen) zu drehen und gedreht aufzubewahren. Falls Zwischenfälle während oder nach einer medizinischen Tätigkeit auftreten, kann die Ursache dafür auf diese Weise besonders genau ermittelt werden und zur Absicherung von Ärzten, Patienten und Krankenhäusern dienen.

Um Videoaufnahmen von medizinischen Tätigkeiten mit einer befriedigenden Auflösung und Aufnahmequalität zu generieren, entstehen aktuell große Datenmengen. Das fuhrt zu einem hohen Speicherplatzbedarf, der nicht immer verfügbar ist.

Eine bloße Komprimierung der Daten ist häufig nicht zufriedenstellend. Insbesondere bei Videoaufnahmen von Endoskopen, wo der Bildkontrast zwischen hellen und dunklen Bereichen stark sein kann, ist die Aufnahmequalität besonders entscheidend. Insbesondere können unerwünschte Artefakte wie beispielsweise Luminanz- und Chrominanzrauschen von Hardwarebeschränkungen und bekannten physikalischen Effekten der Aufnahmetechnik verursacht werden. Bei der Komprimierung von Daten werden nicht nur das Nutzsignal, sondern auch ein Störsignal (von Artefakten verursacht) verarbeitet. Je mehr Artefakte vorhanden sind, desto schlechter ist das Ergebnis der Kompression. Da die Artefakte somit einer starken Datenkompression entgegenstehen, führt ihre Anwesenheit entweder zu erheblich geringeren Kompressionsfaktoren oder, im Falle von verlustbehafteten Verfahren, zu erheblichen Verlusten am Nutzsignal.

Herkömmliche Verfahren zum Speichern von Videoaufnahmen in der medizinischen und der chirurgischen Umgebung habeneinen hohen Speicherplatzbedarf. Weiterhin ist die Aufnahmequalität teilweise schlecht, d.h. manche feine körperliche Strukturen wie Adern oder Nerven, deren Identifizierung wichtig für chirurgische Eingriffe ist, sind in den Videoaufnahmen nicht deutlich zu erkennen.

Es besteht dementsprechend die Notwendigkeit, verbesserte Methoden bereitzustellen, um Bildaufnahmen mit den Auflösungsanforderungen insbesondere von endoskopischen Videoaufnahmen zu visualisieren und mit einem reduzierten Speicherplatzbedarf speichern zu können.

Zusammenfassung der Erfindung

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein System und ein Verfahren einzuführen, die eine Reduzierung der Datenmenge von zu speichernden Bildaufnahmen bereitstellen.

Die Aufgabe der vorliegenden Erfindung wird durch ein computerimplementiertes Verfahren mit den Merkmalen des Anspruchs 1 und durch ein System mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausführungsformen der Erfindung mit vorteilhaften Merkmalen sind in den abhängigen Ansprüchen angegeben. Die Erfindung umfasst gemäß einem ersten Aspekt ein computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten, mit den Schritten:

Bereitstellen einer oder mehrerer Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung;

Erzeugen, basierend auf den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen;

Generieren, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, einer Bildaufnahme mit einer zweiten Bildauflösung mittels Super-Resoluti- ons-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und

Komprimieren der generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.

Bildaufnahmen einer Bildaufnahmesequenz sind Bilder von körperlichen Strukturen, die von einer Fotokamera und/oder einer Videokamera aufgenommen wurden. Solche Bildaufnahmen besitzen eine Bildauflösung, die mit einer Pixelanzahl der Aufnahmeeinrichtung (Fotokamera und/oder Videokamera) verbunden ist. Die Bildaufnahmen weisen Bildrauschen und anderen Bildartefakte und im Allgemeinen Qualitätseinschränkungen auf. Diese sind mit der Aufnahmetechnik (Leistung der Kamera und/oder der Videokamera) verbunden und werden auch als Störsignale bezeichnet. Zu Bildartefakten gehören unter anderem: Bildrauschen, Körnigkeit, Farbstiche, Ringing, Überstrahlungen, Farbverfälschungen, Unschärfe oder Säume.

Ein Bereitstellen umfasst ein Erfassen und/oder ein Einlesen von Bildaufnahmen.

Die Erfindung bezieht sich insbesondere auf Echtzeitdaten von medizinischen Tätigkeiten und/oder chirurgischen Eingriffen sowie auf Daten von früheren Tätigkeiten und/oder Engriffen. In beiden Fällen können die Bildaufnahmen der Bildaufnahmesequenz entweder von einer Fotokamera und/oder einer Videokamera (beispielsweise die Videokamera am distalen Ende eines Endoskops) stammen.

Die Reduzierung einer Datenmenge betrifft eine Verringerung der Datenmenge der Bildaufnahmen, die durch die Entfernung oder Ausfilterung von Bildartefakten und/oder die Komprimierung der Datenmenge erfolgt. Mit anderen Worten betrifft die Reduzierung einer Datenmenge insbesondere oder ausschließlich eine Störsignalreduzierung der Datenmenge.

Eine Burst-Bildverarbeitung betrifft im Wesentlichen Methoden für die Bildverarbeitung, mit welchen in einer Bildaufnahme eine Vielzahl von Details rekonstruiert werden kann, üblicherweise auf Basis einer Kombination von Signalinformationen aus mehreren verschobenen Bildern, d.h. aus einer Reihenfolge von zeitlich nacheinander angeordneten Bildaufnahmen innerhalb einer Bildaufnahmesequenz.

Super-Resolution oder Super-Auflösung betrifft im Wesentlichen Methoden für die Bildverarbeitung, welche die Auflösung einer Bildaufnahme erhöhen. Bei einer Super-Resolutions-Bildverarbeitung handelt es sich im Wesentlichen um eine Steigerung der Pixelanzahl einer Bildaufnahme durch eine Interpolation, durch die neue Pixel erzeugt werden. Der Steigerungsfaktor der Auflösung kann mindestens 2 sein, vorzugsweise mindestens 4.

Ein Komprimieren betrifft eine Verringerung einer Datenmenge mittels eines herkömmlichen Verfahrens (z.B. durch mp4/jpeg).

Die Erfindung schafft gemäß einem zweiten Aspekt ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz, umfassend: eine Bereitstellungseinrichtung, welche dazu eingerichtet ist, eine oder mehrere Bildaufnahmen in einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung bereitzustellen; eine Burst-Bildverarbeitungseinrichtung, welche dazu eingerichtet ist, basierend auf den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz, entsprechende vorverarbeitete Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung zu erzeugen, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; eine Super-Resolutions-Bildverarbeitungseinrichtung, welche dazu eingerichtet ist, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, eine Bildaufnahme mit einer zweiten Bildauflösung mittels Superresolutions-Bildverarbeitung zu generieren, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und eine Bildkompressionseinrichtung, die dazu eingerichtet ist, die generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz zu komprimieren.

Die verschiedenen Einrichtungen können jeweils als eine Vorrichtung realisiert werden, die mindestens eine zentrale Verarbeitungseinheit (CPU) und/oder mindestens eine Grafikverarbeitungseinheit (GPU) und/oder mindestens ein feldprogrammierbares Gate-Array (FPGA) und/oder mindestens eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder eine beliebige Kombination der vorgenannten Elemente aufweist oder daraus besteht. Weiterhin können die Einrichtungen eine Programmierschnittstelle (API) umfassen, über die kabelgebunden und/oder drahtlos miteinander Signale und Informationen austauschen können.

Jedes Element des Systems der Erfindung kann ferner einen Arbeitsspeicher umfassen, der operativ mit der mindestens einen CPU verbunden ist, und/oder einen nichtflüchtigen Speicher, der operativ mit der mindestens einen CPU und/oder dem Arbeitsspeicher verbunden ist. Jedes Element kann teilweise und/oder vollständig in einem lokalen Gerät und/oder teilweise und/oder vollständig in einem entfernten System, wie etwa einer Cloud-Computing-Plattform, implementiert sein.

Die Burst-Bildverarbeitungseinrichtung, die Super-Resolutions-Bildverarbeitungs- einrichtung und die Bildkompressionseinrichtung können eine Software, eine App oder einen Algorithmus mit unterschiedlichen Fähigkeiten zur Datenverarbeitung ausführen oder als solche ausgebildet sein. Diese Einrichtungen können in Hardware und/oder Software, kabelgebunden und/oder drahtlos und in jeder Kombination davon realisiert sein. Sie können ferner eine Schnittstelle zu einem Intranet oder dem Internet, zu einem Cloud-Computing-Dienst, zu einem entfernten Server und/oder dergleichen umfassen.

Die Bereitstellungseinrichtung kann verschiedenen Sensoren aufweisen, die Bilder erfassen (oder: aufnehmen) können. Weiterhin kann die Bereitstellungseinrichtung Sensordaten empfangen, verarbeiten und auswerten.

Insbesondere kann das computerimplementierte Verfahren gemäß dem ersten Aspekt der Erfindung mit dem System gemäß dem zweiten Aspekt der Erfindung durchgeführt werden. Die hierin im Zusammenhang mit dem System beschriebenen Merkmale und Vorteile sind daher auch für das Verfahren anwendbar und umgekehrt.

Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt zur Verfügung, das einen ausführbaren Programmcode umfasst, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen.

Gemäß einem vierten Aspekt stellt die Erfindung ein nicht-flüchtiges computerlesbares Datenspeichermedium bereit, das einen ausführbaren Programmcode umfasst, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen. Das nicht-flüchtige, computerlesbare Datenspeichermedium kann jede Art von Computerspeicher, insbesondere einen Halbleiterspeicher, wie z. B. einen Festkörperspeicher umfassen oder daraus bestehen. Das Datenspeichermedium kann auch eine CD, eine DVD, eine Blu-Ray-Disc, einen USB-Speicherstick oder dergleichen umfassen oder daraus bestehen.

Gemäß einem fünften Aspekt stellt die Erfindung einen Datenstrom zur Verfügung, der einen ausführbaren Programmcode umfasst oder dazu eingerichtet ist, einen solchen zu erzeugen, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen.

Eine der Erfindung zugrundeliegende Idee besteht darin, ein computerimplementiertes Verfahren einzuführen, mit welchem Bildaufnahmen und insbesondere Videoaufnahmen mit einem reduzierten Datenspeicherplatz gespeichert (oder übertragen) werden könnten. Erfindungsgemäß wird die Reduzierung durch die Kombination von zwei Effekten erreicht: Einerseits werden Artefakte (z.B. von Hardwarebeschränkungen verursachte) von den Bildaufnahmen entfernt, um die Aufnahmequalität zu steigern. Dies erfolgt beispielsweise durch den Einsatz einer Burst-Bildverarbeitung.

Dadurch werden aus von einer Kamera erfassten Bildaufnahmen, vorverarbeitete, entrauschte Bildaufnahmen erzeugt. Andererseits wird die Auflösung der vorverarbeiteten Bildaufnahmen durch eine Super-Resolutions-Bildverarbeitung erhöht.

Das Verfahren kann in zwei Modi eingesetzt werden. In einem ersten Modus werden die vorverarbeiteten Bildaufnahmen komprimiert und danach mittels Superresolution verarbeitet. Die Superauflösung erfolgt dann als eine Nachverarbeitung, die beispielsweise während der Visualisierung der Videoaufnahme durchgeführt werden kann. In einem zweiten Modus werden die vorverarbeiteten Bildaufnahmen mit Super-Resolution verarbeitet und danach komprimiert. Das komprimierte Dateipaket umfasst in diesem Fall superaufgelösten Bildaufnahmen und keine Nachverarbeitung wird benötigt. Das vorstehend beschriebene computerimplementiertes Verfahren ermöglicht vorteilhafterweise eine Implementierung eines Systems zur Reduzierung der Datenmenge von zu speichernden Bildaufnahmen. Das System umfasst eine Bereitstellungseinheit, durch welche Bildaufnahmen einer medizinischen Tätigkeit oder Szenerie erfasst (beispielsweise wenn die Bereitstellungseinrichtung die Kamera eines Endoskops umfasst) oder einliest (beispielsweise wenn die aufgenommenen Bildaufnahmen von der Kamera eines Endoskops empfangen wurden). Eine Burst-Bildverarbei- tungseinrichtung dient dazu, eine Bildverarbeitung durchzuführen, die basierend auf Kombinationen der Bildaufnahmen entrauschte (oder störungsfreie) Bilraufnahmen (Bildaufnahmen mit reduzierten Bildartefakten) erzeugt. Eine Super-Resolutions- Bildverarbeitungseinrichtung dient dazu, superaufgelöste Bildaufnahmen mit Hilfe einer Super-Resolution zu generieren. Eine Bildkompressionseinrichtung ist dazu eingerichtet, die von der Burst-Bildverarbeitungseinrichtung erzeugten Bildaufnahmen oder die von der Super-Resolutions-Bildverarbeitungseinrichtung generierten Bildaufnahmen zu komprimieren.

Ein Vorteil der vorliegenden Erfindung besteht darin, dass durch die Kombination einer Burst-Bildverarbeitung und einer Super-Resolutions-Bildverarbeitung die Datenmenge der Bildaufnahmen deutlich verringert wird, und zwar ohne Verlust im Nutzsignal. Mit anderen Worten, die Entfernung des Bildrauschens und/oder verschiedener Bildartefakte sorgt dafür, dass die Komprimierung im Wesentlichen nur das Nutzsignal betrifft, was dazu dient, höhere Kompressionsfaktoren erreichen zu können. Die Super-Resolution sorgt dafür, dass die Auflösung der entrauschten Bildaufnahmen erhöht wird. Das Ergebnis ist eine hochauflösende Videoaufnahme mit guter Bildqualität und mit einem niedrigen Speicherplatzbedarf.

Ein anderer Vorteil der Erfindung besteht darin, dass eine bessere Schwachlicht- Leistung (oder Low-Light Performance) erreicht werden kann. Dies ermöglicht insbesondere eine Schonung der Patienten, indem dünnere Endoskope mit kleineren Kameraobjektiven für die medizinischen/chirurgischen Tätigkeiten eingesetzt werden können.

Ein weiterer Vorteil der Erfindung besteht darin, dass die Erhöhung der Bildqualität und Bildauflösung der verarbeiteten Videoaufnahmen nicht mit der Hardware eines Endoskops verbunden ist. Die Erfindung erfolgt durch eine Optimierung der Datenverarbeitung und erfordert keine Verbesserung der Hardware.

Vorteilhafte Ausführungsformen und Weiterentwicklungen ergeben sich aus den abhängigen Ansprüchen sowie aus der Beschreibung der verschiedenen bevorzugten Ausführungsformen, die in den beigefügten Figuren dargestellt sind.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass zum Erzeugen der vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz mehrere unterbelichtete Roh-Bildaufnah- men verwendet werden. Um die Bildverarbeitungen durchführen zu können braucht man Informationen aus den Roh-Bildaufnahmen. Somit kann das erfindungsgemäße System in einem Verfahren zur Bildverarbeitung verwendet werden, welches von Roh-Bildaufnahmen (beispielsweise von der Kamera eines Endoskops) bis zu fertigen Bildern oder Videos führt.

Bei endoskopischen Bildaufnahmen ist der Hell-Dunkel-Kontrast besonders stark. Daher ist es vorteilhaft, mit unterbelichteten Roh-Bildaufnahmen arbeiten zu können. Unerwünschte Effekte wie Bildrauschen oder Unschärfe durch die Bewegung (engl. „motion blur“) können dadurch minimiert werden und durch die Burst-Bildverarbeitung gefiltert und entfernt werden. Dies trägt dazu bei, dass die Schwachlicht-Leistung (Low-Light Performance) verbessert wird.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das computerimplementierte Verfahren ferner ein Speichern der komprimierten generierten hochauflösenden und/oder der komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst. Erfindungsgemäß können die Daten nach einer Kompression gespeichert und in einem Computer, in einem Server oder in einer Cloud-Rechenplattform aufbewahrt werden. Die komprimierten Dateien können zumindest eine Kennzeichnung aufweisen, die indiziert, ob die Datei komprimierte erzeugte vorarbeitete Bildaufnahmen oder komprimierte generierte hochauflösende Bildaufnahmen enthält.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das Generieren ein Einlesen der gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst. Das Einlesen kann mit einer Schnittstelle erfolgen, welche beispielsweise die Super-Resolutions-Bildverarbeitungseinrichtung aufweist. Damit kann das gespeicherte File abgerufen werden und für eine Visualisierung mit erhöhter Auflösung verarbeitet werden.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das Erzeugen der vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung die folgenden Schritte umfasst:

Gruppieren der bereitgestellten Bildaufnahmen der Bildaufnahmesequenz zu Bildaufnahmegruppen, in Abhängigkeit einer Bildaufnahmerate;

Segmentieren jeder bereitgestellten Bildaufnahme der Bildaufnahmegruppe in Bildsegmente; und

Kombinieren entsprechender örtlich korrelierter Bildsegmente der verschiedenen Bildaufnahmen der Bildaufnahmegruppe zu einer vorverarbeiteten Bildaufnahme.

Eine Burst-Bildverarbeitung erzeugt Bildaufnahmen mit einer Vielfalt von Details der aufgenommenen körperlichen Strukturen. Die erzeugten Bildaufnahmen basieren auf einer Kombination von Signalinformationen aus einer Reihenfolge von zeitlich nacheinander angeordneten Bildaufnahmen. Die Burst-Bildverarbeitung kann durch einen Burst-Algorithmus ausgeführt werden. Demzufolge werden zuerst die Bildaufnahmen gruppiert, gebündelt, oder geclustert. Die Anzahl der Bildaufnahmen in jeder Gruppe hängt von der Bildaufnahmerate (die aufgenommenen Bildframes pro Sekunde) ab, die wiederum von der Kamera abhängt. In der Regel kann eine Gruppe zwischen 3 und 20 Bildaufnahmen enthalten. Daraufhin werden in jeder Gruppe die verschiedenen Bildaufnahmen segmentiert. Die Größe der Bildsegmente kann variieren. Ein Bildsegment kann ein Pixel beinhalten, aber auch einen großen Bereich einer Bildaufnahme. Die Segmente einer Bildaufnahme müssen nicht gleich sein. Wichtig ist, dass örtlich korrelierte Segmente der verschiedenen Bildaufnahmen einer Gruppe vergleichbar sind, damit sie in einem verarbeiteten Bildsegment kombiniert werden können. Die verarbeiteten Bildsegmente erzeugen eine verarbeitete Bildaufnahme.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass die Anzahl der entsprechenden örtlich korrelierten Bildsegmente, die zu einer vorverarbeiteten Bildaufnahme kombiniert werden, von der Helligkeit der entsprechenden Bildsegmente abhängt.

Ein Ziel der Kombination von verschiedenen Bildaufnahmen ist es, die unterbelichteten Roh-Bildaufnahmen zu überlappen, um eine normal belichtete Bildaufnahme zu erzeugen. In manchen Ausführungsformen kann die verarbeitete Bildaufnahme schneller erzeugt werden, indem die Überlappung der Bildsegmente von der Helligkeit der Bildsegmente abhängt. Je heller ein Bildsegment ist, desto weniger Bildaufnahmen der Bildaufnahmegruppe müssen verwendet werden, um das entsprechend verarbeitete Bildsegment zu erzeugen. Somit kann das hellste Bildsegment nur die letzte Bildaufnahme (in einer zeitlichen Ordnung der Bildaufnahmen) der Bildaufnahmegruppe verwenden, während das dunkelste Bildsegment sämtliche Bildaufnahmen der Bildaufnahmegruppe in Anspruch nehmen kann. Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausfuhrungsformen ist vorgesehen, dass das Kombinieren entsprechender örtlich korrelierter Bildsegmente umfasst:

Ausrichten der bereitgestellten Bildaufnahmen der Bildaufnahmegruppe zueinander;

Überlagern der Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe; und

Farbton-Mapping der überlagerten Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe.

Die Überlappung der verschiedenen Bildsegmente einer Bildaufnahmegruppe kann mindestens drei Schritte aufweisen: Zuerst eine Ausrichtung der Bildsegmente, die beispielsweise hinsichtlich einer Pixel-Identifizierung durchgeführt werden kann. Darauffolgend werden die Bildsegmente zusammengeführt oder überlagert. Dies kann adaptiv erfolgen, indem das Überlagern schrittweise ausgeführt wird. Beispielsweise kann in einer Bildaufnahmegruppe mit 20 Bildaufnahmen das Überlagern mit nur 4 Bildaufnahmen gleichzeitig erfolgen. Wenn die fünfte Bildaufnahme genommen wurde, dann wird die erste Bildaufnahme nicht mehr berücksichtigt, damit der Algorithmus immer mit 4 Bildaufnahmen gleichzeitig arbeitet. Das Überlagern dient dazu, Bildrauschen auszufiltern.

Daraufhin kann ein Farbton-Mapping ausgeführt werden. Unter Farbton-Mapping sind verschiedene Fertigungsmethoden der Bi Id Verarbeitung zu verstehen, beispielsweise Schwarzwert-Subtraktion, Weißabgleich, Bayer-Entmosaikung, bilineare Chroma-Entrauschung, sRGB-Farbkorrektur, Tone-Mapping, Gammakorrektur, globale Kontrastanpassung und Unschärfemaskenschärfung, und/oder eine Korrektur chromatischer Aberrationen.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausfuhrungsformen ist vorgesehen, dass das Generieren einer hochauflösenden Bildaufnahme mittels Super-Resolutions-Bildverarbeitung mit Hilfe eines trainierten Künstliche-Intelligenz-Modells erfolgt, wobei das trainierte Künstliche-Intelligenz- Modell einem Convolutional Neural Network, CNN, oder einer Deep-Learning- Architektur, insbesondere einer Transformer-basierten Architektur, entspricht oder dergleichen aufweist.

Bei der Super-Resolutions-Bildverarbeitung handelt es sich im Wesentlichen um eine Steigerung der Pixelanzahl einer Bildaufnahme durch einen Interpolierungs-Algorithmus, der neue Pixel erzeugt. Dieser Interpolierungs-Algorithmus kann mit einem Künstliche-Intelligenz-Modell implementiert oder zumindest damit teilweise unterstützt werden. Besonders geeignete Modellen sind Künstliche-Intelligenz-Modelle, die für Mustererkennung angepasst wurden. Darunter fallen insbesondere CNNs. Zunehmend wichtig sind Modelle mit Vision-Transformer (ViT)-basierten Architekturen, wie zum Beispiel ein Swin-Transformer. Damit kann man beispielsweise die generierten Bildaufnahmen mit einer vervierfachen Auflösung im Vergleich zu der Auflösung der Roh-Bildaufnahmen erzeugen.

Gemäß einigen bevorzugten Ausfiihrungsformen, Varianten oder Weiterbildungen von Ausfiihrungsformen ist vorgesehen, dass die Burst-Bildverarbeitungseinrichtung eine Berechnungseinheit umfasst, welche einen Burst-Algorithmus implementiert, welcher dazu ausgelegt ist, feine körperliche Strukturen wie Adern und Nerven in den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz des Patienten zu erkennen. Insbesondere bei endoskopischen Bildaufnahmen ist es wichtig, dass die Burst-Bildverarbeitungseinrichtung daran angepasst ist, eine Erkennung von feinen Strukturen zu erreichen. Dies ist umgesetzt, indem diese Strukturen über die Bildaufnahmesequenz einer Bildaufnahmegruppe bei deren Bewegungen erkannt und mit einem Farbkontrast verstärkt werden, so dass die erzeugten verarbeiteten Bildaufnahmen diese feinen Strukturen mit zufriedenstellender Bildqualität darstellen.

Gemäß einigen bevorzugten Ausfiihrungsformen, Varianten oder Weiterbildungen von Ausfiihrungsformen ist vorgesehen, dass die Bereitstellungseinrichtung des Systems in einem Endoskop oder in einem Exoskop integriert ist. Die Bereitstellungseinrichtung kann die Videokamera eines Endoskops oder Exoskops und/oder andere Bildsensoren, die in einem Endoskop oder in einem Exoskop vorhanden sind, aufweisen. Die Burst-Bildverarbeitungseinrichtung und/oder die Super- Resolutions-Bildverarbeitungseinrichtung können in der Datenverarbeitungseinrichtung eines Endoskops oder eines Exoskops, welche die Signale der Kamera des En- doskops/Exoskops zu visualisierbaren Bildaufnahmen verarbeitet, implementiert sein.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das System ferner eine Datenspeichereinrichtung umfasst, in welcher die von der Bildkompressionseinrichtung komprimierten Bildaufnahmen der Bildaufnahmesequenz gespeichert sind und von wo aus diese auslesbar sind. Die Datenspeichereinrichtung kann die komprimierten erzeugten verarbeiteten Bildaufnahmen und/oder die komprimierten generierten hochauflösenden Bildaufnahmen speichern.

Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen umfasst das System ferner eine Videoschnittstelle, die dazu ausgelegt ist, die erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz und/oder die generierten hochauflösenden Bildaufnahmen der Bildaufnahmesequenz zu einer Anzeigeeinheit des Systems zu übertragen. In manchen Ausführungsformen kann das System die verarbeiteten Bildaufnahmen, entweder nach der Burst-Bildverarbeitung oder nach der Super-Resolutions-Bildverarbeitung in einem Display von einem Nutzer visualisieren lassen. Wenn die Bildaufnahmen verarbeitete Echtzeitbildaufnahmen sind, die direkt aus der Videokamera eines Endoskops stammen, können vorteilhaft zumindest die Burst-Bildverarbeitungseinrichtung und die Super-Resolutions-Bildverarbeitungseinrichtung in der Anzeigeeinheit des Endoskops implementiert sein.

Obwohl hier und auch im Folgenden einige Funktionen als von Einrichtungen ausgeführt beschrieben werden, bedeutet dies nicht zwangsläufig, dass diese Einrichtungen als voneinander getrennte Einheiten bereitgestellt werden. In Fällen, in denen eine oder mehrere Einrichtungen oder auch ein Teil davon als Software bereitgestellt werden, können die Einrichtungen durch Programmcodeabschnitte oder Programmcodeschnipsel implementiert werden, die voneinander getrennt sein können, aber auch miteinander verwoben oder integriert sein können.

Ebenso können in Fällen, in denen eine oder mehrere Einrichtungen als Hardware bereitgestellt werden, die Funktionen einer oder mehrerer Einrichtungen durch ein und dieselbe Hardwarekomponente bereitgestellt werden oder die Funktionen mehrerer Einrichtungen können auf mehrere Hardwarekomponenten verteilt sein, die nicht notwendigerweise den Einrichtungen entsprechen müssen. Es ist daher davon auszugehen, dass jede Anwendung, jedes System, jedes Verfahren usw., das alle einer bestimmten Einrichtung zugeschriebenen Merkmale und Funktionen aufweist, diese Einrichtung umfasst oder implementiert. Insbesondere ist es möglich, dass alle Einrichtungen durch Programmcode implementiert werden, der von z.B. einem Server oder einer Cloud-Computing-Plattform, ausgeführt wird.

Alle genannten Ausfuhrungsformen und Implementierungen können beliebig miteinander kombiniert werden, soweit dies sinnvoll ist.

Der weitere Umfang der Anwendbarkeit des vorliegenden Verfahrens und des Systems wird aus den folgenden Figuren, der detaillierten Beschreibung und den Ansprüchen ersichtlich. Es versteht sich jedoch, dass die detaillierte Beschreibung und die spezifischen Beispiele, zwar bevorzugte Ausfuhrungsformen der Erfindung angeben, jedoch in erster Linie zur Veranschaulichung dienen und verschiedene Änderungen und Modifikationen innerhalb des grundlegenden Gedankens und des Umfangs der Erfindung für Fachleute erkennbar sind.

Kurze Beschreibung der Zeichnungen

Nachstehend wird die Erfindung mit Bezug auf ihre vorteilhaften Ausführungsformen anhand der folgenden Zeichnungen beschrieben. In den Zeichnungen werden identische oder funktionell ähnliche Elemente in den einzelnen Ansichten mit den gleichen Bezugszeichen bezeichnet. Die Zeichnungen dienen dazu, Ausführungsformen von Konzepten, die die beanspruchte Erfindung beinhalten, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erläutern. Elementen, die in den Zeichnungen geschildert sind, sind nicht unbedingt maßgetreu dargestellt. Dies dient dazu, die Grundlagen und Prinzipien der Erfindung klar und deutlich zu offenbaren.

In den Zeichnungen zeigt:

Fig. 1 ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung;

Fig. 2 ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 3 ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung;

Fig. 4 ein Endoskop, in dem ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung implementiert ist; Fig. 5 ein schematisches Blockdiagramm, das ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der vorliegenden Erfindung darstellt; und

Fig. 6 ein schematisches Blockdiagramm, das ein Datenspeichermedium gemäß einer Ausführungsform des vierten Aspekts der vorliegenden Erfindung zeigt.

In einigen Fällen werden bekannte Strukturen und Geräte in Form von Blockdiagrammen dargestellt, um die Konzepte der vorliegenden Erfindung zu illustrieren. Auch die Nummerierung der Schritte in den Verfahren soll deren Beschreibung erleichtern. Sie implizieren nicht unbedingt eine bestimmte Reihenfolge der Schritte. Insbesondere können mehrere Schritte gleichzeitig oder zeitlich überlappend durchgeführt werden.

Beschreibung der Zeichnungen

Die ausführliche Beschreibung der anliegenden Zeichnungen enthält spezifische Details, um ein umfassendes Verständnis der vorliegenden Erfindung zu ermöglichen. Dem Fachmann wird jedoch klar sein, dass die vorliegende Erfindung auch ohne diese spezifischen Details ausgeführt werden kann.

Fig. 1 zeigt ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung.

In einem Schritt S1 werden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Auflösung bereitgestellt. Die Bildaufnahmen könnten von einer Videokamera stammen, beispielsweise von einer Videokamera, die an dem distalen Ende eines Endoskops angebracht wurde. Die Bildaufnahmen werden in diesem Fall eingelesen oder erfasst. Die Bildaufnahmesequenz umfasst vorteilhaft unterbelichtete Roh-Bildaufnahmen.

In einem Schritt S2 werden die bereitgestellten Bildaufnahmen durch eine Burst- Bildverarbeitung vorverarbeitet, um entsprechende Bildaufnahmen der Bildaufnahmesequenz mit einem reduzierten Bildrauschen und/oder reduzierten Bildartefakte zu erzeugen. Nach der Ausführungsform der Fig. 1 umfasst der Schritt S2 die Schritte S20, S21 und S22.

In dem Schritt S20 werden die bereitgestellten Bildaufnahmen der Bildaufnahmesequenz zu Bildaufnahmegruppen gruppiert. Die Anzahl der Bildaufnahmen pro Bildaufnahmegruppe hängt vorteilhaft von der Bildaufnahmerate (die aufgenommenen Bildrahmen pro Sekunde) ab. Die Bildaufnahmerate kann mit der Videokamera in Abhängigkeit von den aufzunehmenden körperlichen Strukturen eingestellt werden, etwa durch einen Benutzer. Beispielsweise kann eine Bildaufnahmegruppe zwischen 3 und 20 Bildaufnahmen enthalten.

In dem Schritt S21 werden in jeder Bildaufnahmegruppe die verschiedenen Bildaufnahmen segmentiert. Die Größe der Bildsegmente kann variabel sein. Ein Bildsegment kann nur ein Pixel beinhalten, oder einen wesentlichen Bereich der Bildaufnahme (d.h. mehrere Pixel, beispielsweise über 30% oder sogar über 50% der Pixel der Bildaufnahme). Die Bildsegmente einer Bildaufnahme müssen nicht gleich groß sein. In der Regel sollen die Bildsegmente dafür sorgen, dass alle Details und Eigenschaften einer Bildaufnahme optimal identifiziert sind. Bereiche einer Bildaufnahme, die homogen aussehen, können beispielsweise mit einem Bildsegment assoziiert oder dargestellt werden. Bereiche einer Bildaufnahme mit verschiedenen Details benötigen in der Regel mehr als ein Bildsegment. Vorteilhaft ist es, wenn örtlich korrelierte Bildsegmente der verschiedenen Bildaufnahmen einer Bildaufnahmegruppe vergleichbar groß sind. Die Anzahl der örtlich korrelierten Bildsegmente kann in manchen Ausführungsformen der Erfindung von der Helligkeit der entsprechenden Bildsegmente abhängen. In dem Schrit S22 werden die örtlich korrelierten Bildsegmente zu einer entsprechenden vorverarbeiteten Bildaufnahme kombiniert. Nach der Ausftihrungsform der Fig. 1 umfasst der Schritt S22 die Schrite S221, S222 und S223.

In dem Schritt S221 wird eine Ausrichtung der Bildsegmente ausgeführt, die beispielsweise hinsichtlich einer Pixel-Identifizierung durchgeführt werden kann.

In dem Schritt S222 werden die Bildsegmente zusammengeführt und/oder überlagert Dies kann adaptiv erfolgen, indem das Überlagern schrittweise ausgeführt wird. Beispielsweise kann in einer Bildaufnahmegruppe mit 20 Bildaufnahmen das Überlagern mit nur 4 Bildaufnahmen gleichzeitig erfolgen. Wenn die fünfte Bildaufnahme genommen wurde, wird die erste Bildaufnahme nicht mehr berücksichtigt, damit immer 4 Bildaufnahmen gleichzeitig bearbeitet werden. Das Überlagern dient meistens dazu, Bildrauschen auszufiltern.

In dem Schritt S223 wird ein Farbton-Mapping ausgeführt. Unter Farbton-Mapping sind verschiedene Methoden der Bildverarbeitung zu verstehen, beispielsweise Schwarzwert-Subtraktion, Weißabgleich, Bayer-Entmosaikung, bilineare Chroma- Entrauschung, sRGB-Farbkorrektur, Tone-Mapping, Gammakorrektur, globale Kontrastanpassung und Unschärfemaskenschärfung, und/oder eine Korrektur chromatischer Aberrationen.

In einem Schritt S3 wird, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, eine Bildaufnahme mittels Super-Resolutions-Bildverarbeitung generiert. Die generierten Bildaufnahmen besitzen aufgrund derSuper-Resolution eine höhere Bildauflösung (beispielsweise eine vervierfachte Auflösung) als die bereitgestellten Bildaufnahmen. In einem Schritt S4 werden die generierten hochauflösenden Bildaufnahmen der Bildaufnahmesequenz komprimiert. Die Kompression kann mittels herkömmlichen Methoden (mp4/jpeg) ausgeführt werden.

In einem Schritt S5 werden die komprimierten Bildaufnahmen gespeichert. Die Bildaufnahmen können als komprimierte Videodateien in einem Computer, in einem Server oder in einer Cloud-Rechenplattform gespeichert und aufbewahrt werden.

Fig. 2 zeigt ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer weiteren Ausführungsform der Erfindung.

In dem Schritt S 1 werden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten, die beispielsweise von einer Videokamera eines Endoskops stammen, mit einer ersten Auflösung bereitgestellt.

In einem Schritt S2 werden die bereitgestellten Bildaufnahmen durch eine Burst- Bildverarbeitung vorverarbeitet, um entsprechende Bildaufnahmen der Bildaufnahmesequenz mit einem reduzierten Bildrauschen und/oder reduzierten Bildartefakte zu erzeugen. Der Schritt S2 kann beispielsweise die Schritte S20, S21 und/oder S22, die in Zusammenhang mit Fig. 1 beschreiben wurden, umfassen (nicht in Fig. 2 gezeigt). Weiterhin kann der Schritt S22, wenn vorhanden, die Schritte S221 , S222 und/oder S223, die in Zusammenhang mit Fig. 1 beschreiben wurden, umfassen (nicht in Fig. 2 gezeigt).

In Fig. 2 werden in einem Schritt S4 die im Schritt S2 erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz komprimiert.

Die komprimierten Bildaufnahmen werden in einem Schritt S5 gespeichert. Die Bildaufnahmen können als komprimierte Videodateien in einem Computer, in einem Server oder in einer Cloud-Rechenplattform gespeichert und aufbewahrt werden. In einem Schrit S3 werden die erzeugten vorverarbeiteten Bildaufnahmen mittels Superresolution verarbeitet und entsprechende Bildaufnahmen generiert. Die generierten Bildaufnahmen besitzen aufgrund der Super-Resolution eine höhere Bildauflösung (beispielsweise eine vervierfachte Auflösung) als die bereitgestellten Bildaufnahmen und die erzeugten vorverarbeiteten Bildaufnahmen. Der Schritt S3 umfasst einen Schritt S31. In dem Schritt S31 werden die gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen eingelesen.

Eine Super-Resolutions-Bildverarbeitung kann komprimierte sowie unkomprimierte Bildaufnahmen verarbeiten. Eine vorherige Dekomprimierung der im Schritt S4 komprimierten Bildaufnahmen ist daher nicht erforderlich. In manchen Ausführungsformen kann jedoch vorgesehen sein, dass vor dem Schrit S3 ein Schrit des Dekomprimierens durchgeführt wird.

Die in Fig. 2 dargestellte Ausführungsform der Erfindung kann vorteilhaft sein, um den Speicherplatzbedarf weiter zu verringern. Die Super-Resolution erfolgt in diesem Fall als eine Nachverarbeitung der Bildaufnahmen während der Visualisierung der Videodatei.

Bei dem Verfahren gemäß Fig. 1 werden die superaufgelösten Bildaufnahmen komprimiert und dann gespeichert. Nach der Super-Resolutions-Bildverarbeitung wird die Pixelanzahl größer und dementsprechend benötigen die generierten hochauflösenden Bildaufnahmen mehr Speicherplatz als die erzeugten mit Burst-Bildverarbeitung vorverarbeiteten Bildaufnahmen. Die generierten hochauflösenden Bildaufnahmen benötigen aber immer noch weniger Speicherplatz als herkömmlichen Bildaufnahmen, die z.B. von einer Videokamera eines Endoskops stammen. Der Vorteil der in Fig. 1 dargestellte Ausführungsform besteht darin, dass die gespeicherte Videodatei superaufgelöste Bildaufnahmen umfasst und keine Super-Resolutions-Nachverar- beitung notwendig ist. - TI -

Fig. 3 zeigt ein System 100 zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung. Die verschiedenen Bestandteile und Funktionen sind schemenhaft als Blöcke dargestellt. Die räumliche Anordnung der Blöcke in Fig. 3 dient nur der Illustration der dargestellten Ausführungsform.

Wie in Fig. 3 gezeigt, umfasst das System 100 eine Bereitstellungseinrichtung 10, eine Burst-Bildverarbeitungseinrichtung 20, eine Super-Resolutions-Bildverarbei- tungseinrichtung 30, eine Bildkompressionseinrichtung 40, eine Datenspeichereinrichtung 50 und eine Videoschnittstelle 60.

Die Bereitstellungseinrichtung 10 ist dazu eingerichtet, eine oder mehrere Bildaufnahmen D0 in einer Bildaufnahmesequenz eines Patienten zu erfassen oder einzu lesen. Die Bildaufnahmen D0 können beispielsweise unterbelichteten Roh-Bildaufnah- men sein oder aufweisen, welche mit einer Videokamera aufgenommen werden oder wurden. Beispielsweise kann die Videokamera eine Videokamera sein, die am Ende eines Endoskops oder Exoskops angebracht ist. In manchen Ausführungsformen kann die Bereitstellungseinrichtung 10 die Videokamera eines Endoskops umfassen.

Die Burst-Bildverarbeitungseinrichtung 20 dient dazu, auf Basis der bereitgestellten Bildaufnahmen entsprechende vorverarbeitete Bildaufnahmen Dl mittels einer Burst-Bildverarbeitung zu erzeugen. Die Burst-Bildverarbeitungseinrichtung 20 kann einen Berechnungseinheit 210 umfassen, welche einen Burst-Algorithmus implementiert. Der Burst-Algorithmus sorgt dafür, dass feine körperliche Strukturen, beispielsweise Adern und Nerven, die in den Bildaufnahmen D0 vorhanden sind, nach der Burst-Bildverarbeitung auf den erzeugten vorverarbeiteten Bildaufnahmen Dl zu erkennen sind.

Weiterhin kann die Burst-Bildverarbeitung 20 verschiedenen Einheiten aufweisen, die dazu einrichtet sind, die verschiedenen Schritte der Burst-Bildverarbeitung durchzuführen. Eine Gruppierungseinheit, eine Segmentierungseinheit und eine Kombinierungseinheit (nicht in Fig. 3 gezeigt) können beispielsweise dazu dienen, dass jeweils einer der Schritte S20, S21 und S22, die in Zusammenhang mit Fig. 1 beschrieben wurden, durchgeführt werden. In ähnlicher Weise kann die Burst-Bild- verarbeitungseinrichtung 20 eine Ausrichtungseinheit, eine Überlagerungseinheit und eine Farbton-Mapping-Einheit aufweisen, welche dazu eingerichtet sind, jeweils einen der Schritte S221 , S222 und S223, die in Zusammenhang mit Fig. 1 beschrieben wurden, durchzuführen.

Die Super-Resolutions-Bildverarbeitungseinrichtung 30 ist dazu eingerichtet, für jede erzeugte vorverarbeitete Bildaufnahme Dl der Bildaufnahmesequenz eine entsprechende hochauflösende (oder: hochaufgelöste) Bildaufnahme D2 zu generieren. Die Super-Resolutions-Bildverarbeitungseinrichtung 30 ist in der Lage, komprimierte sowie unkomprimierte Dateien einlesen zu können. Die Super-Resolutions- Bildverarbeitungseinrichtung 30 kann mit Hilfe eines trainierten Künstliche-Intelli- genz-Modells die Erhöhung der Auflösung durchführen. Das Künstliche-Intelligenz- Modell kann ein Modell aufweisen, welches für die Mustererkennung angepasst ist, beispielsweise ein Modell, welches auf Convolutional Neural Networks (CNN) oder Vision-Transformer-Architekturen basiert oder ein solches/eine solche umfasst.

Die Bildkompressionseinrichtung 40 dient dazu, die generierten hochauflösenden Bildaufnahmen D2 und/oder die erzeugten vorverarbeiteten Bildaufnahmen Dl zu komprimieren. Die Kompression kann eine herkömmliche Kompression mittels mp4/jpeg oder dergleichen umfassen.

Die Datenspeichereinrichtung 50 ist dazu eingerichtet, komprimierte Bildaufnahmen als Files zu speichern. Von dort können die Dateien abrufbar und/oder auslesbar sein. Die Datenspeichereinrichtung 50 kann ein Datenspeichermedium eines Computers sein oder umfassen. Alternativ kann die Datenspeichereinrichtung 50 in einem Server oder einer Cloud-Rechenplattform implementiert sein. Die Videoschnitstelle 60 dient dazu, die verarbeiteten Bildaufnahmen, entweder die erzeugten vorverarbeiteten Bildaufnahmen Dl oder die generierten hochauflösenden Bildaufnahmen D2 visualisieren zu lassen. Die Videoschnittstelle 60 kann mindestens einen Monitor umfassen. Die Videoschnitstelle 60 kann in tragbare Benutzergeräte, beispielsweise in einem Handy oder in einem Tablett, oder in nicht-tragbare Geräte, insbesondere in einn Videoprozessor eines Endoskops, implementiert sein.

Fig. 4 zeigt ein Endoskop E, in dem ein System 100 zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung implementiert ist. Das in Fig. 4 dargestellte Endoskop E weist eine Bereitstellungseinrichtung 10 (hier: Videokamera K des Videoendoskops I) und eine Bildverarbeitungseinheit 150 auf, welche die übrigen Elemente des Systems 100 umfasst.

Fig. 5 zeigt ein schematisches Blockdiagramm, das ein Computerprogrammprodukt 300 gemäß einer Ausführungsform des dritten Aspekts der vorliegenden Erfindung illustriert. Das Computerprogrammprodukt 300 umfasst einen ausführbaren Programmcode 350, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß einer beliebigen Ausführungsform des zweiten Aspekts der vorliegenden Erfindung durchführt, insbesondere wie in den vorangegangenen Figuren beschrieben.

Fig. 6 zeigt ein schematisches Blockdiagramm, das ein nicht flüchtiges computerlesbares Datenspeichermedium 400 gemäß einer Ausführungsform des vierten Aspekts der vorliegenden Erfindung illustriert. Das Datenspeichermedium 400 umfasst einen ausführbaren Programmcode 450, der so konfiguriert ist, dass er, wenn er ausgeführt wird, das Verfahren gemäß einer beliebigen Ausführungsform des zweiten Aspekts der vorliegenden Erfindung durchführt, insbesondere so, wie es in Bezug auf die vorangegangenen Figuren beschrieben wurde.

Das nicht-flüchtige, computerlesbare Datenspeichermedium kann jede Art von Computerspeicher, insbesondere einen Halbleiterspeicher wie einen Festkörperspeicher, umfassen oder daraus bestehen. Das Datenspeichermedium kann auch eine CD, eine DVD, eine Blu-Ray-Disc, einen USB-Speicherstick oder ähnliches umfassen oder aus solchen bestehen.

Bezugszeichenliste

10 Bereitstellungseinrichtung

20 Burst-Bildverarbeitungseinrichtung

30 Super-Resolutions-Bildverarbeitungseinrichtung

40 Bildkompressionseinrichtung

50 Datenspeichereinrichtung

60 Videoschnittstelle

100 System

150 Bilderverarbeitungseinheit

210 Berechnungseinheit

300 Computerprogramprodukt

350 Programmcode

400 Datenspeichermedium

450 Programmcode

E Endoskop

I Videoendoskop

K Kamera

D0 Bildaufnahme

Dl vorverarbeitete Bildaufnahme

D2 hochauflösende Bildaufnahme

S1..S223

V erfahren sschritte

Claims

Patentansprüche:

1. Computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen (DO) einer Bildaufnahmesequenz eines Patienten, mit den Schritten:

Bereitstellen (S l) einer oder mehrerer Bildaufnahmen (DO) einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung;

Erzeugen (S2), basierend auf den bereitgestellten Bildaufnahmen (DO) der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen;

Generieren (S3), für jede erzeugte vorverarbeitete Bildaufnahme (Dl) der Bildaufnahmesequenz, einer Bildaufnahme (D2) mit einer zweiten Bildauflösung mittels Super-Resolutions-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und

Komprimieren (S4) der generierten hochauflösenden Bildaufnahmen (D2) und/oder der erzeugten vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.

2. Computerimplementiertes Verfahren nach Anspruch 1, wobei zum Erzeugen (S2) der vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz mehrere unterbelichtete Roh-Bildaufnahmen verwendet werden.

3. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, ferner umfassend ein Speichern (S5) der komprimierten generierten hochauflösenden und/oder der komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz.

4. Computerimplementiertes Verfahren nach Anspruch 3, wobei das Generieren (S3) ein Einlesen (S3 1) der gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst.

5. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Erzeugen (S2) der vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung die folgenden Schritte umfasst:

Gruppieren (S20) der bereitgestellten Bildaufnahmen (DO) der Bildaufnahmesequenz zu Bildaufnahmegruppen, in Abhängigkeit einer Bildaufnahmerate;

Segmentieren (S21) jeder bereitgestellten Bildaufnahme (DO) der Bildaufnahmegruppe in Bildsegmente; und

Kombinieren (S22) entsprechender örtlich korrelierter Bildsegmente der verschiedenen Bildaufnahmen (DO) der Bildaufnahmegruppe zu einer vorverarbeiteten Bildaufnahme (Dl).

6. Computerimplementiertes Verfahren nach Anspruch 5, wobei die Anzahl der entsprechenden örtlich korrelierten Bildsegmente, die zu einer vorverarbeiteten Bildaufnahme (Dl) kombiniert werden, von der Helligkeit der entsprechenden Bildsegmente abhängt.

7. Computerimplementiertes Verfahren nach Anspruch 5 oder 6, wobei das Kombinieren (S22) entsprechender örtlich korrelierter Bildsegmente umfasst:

Ausrichten (S221) der bereitgestellten Bildaufnahmen (DO) der Bildaufnahmegruppe zueinander;

Überlagern (S222) der Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe; und

Farbton-Mapping (S223) der überlagerten Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe.

8. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Generieren (S3) einer hochauflösenden Bildaufnahme (D2) mittels Super-Resolutions-Bildverarbeitung mithilfe eines trainierten künstlichen Intelligenz-Modell erfolgt, wobei das trainierte künstliche Intelligenz-Modell einem Convolutional Neural Network, CNN, oder einer Deep-Learning-Architektur, insbesondere einer Transformer-basierten Architektur, entspricht.

9. System (100) zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen (D0) einer Bildaufnahmesequenz eines Patienten, umfassend: eine Bereitstellungseinrichtung (10), welche dazu eingerichtet ist, eine oder mehrere Bildaufnahmen (D0) in einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung bereitzustellen; eine Burst-Bildverarbeitungseinrichtung (20), welche dazu eingerichtet ist, basierend auf den bereitgestellten Bildaufnahmen (D0) der Bildaufnahmesequenz, entsprechende vorverarbeitete Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung zu erzeugen, wobei die vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; eine Super-Resolutions-Bildverarbeitungseinrichtung (30), welche dazu eingerichtet ist, für jede erzeugte vorverarbeitete Bildaufnahme (Dl) der Bildaufnahmesequenz, eine Bildaufnahme (D2) mit einer zweiten Bildauflösung mittels Superresolutions-Bildverarbeitung zu generieren, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und eine Bildkompressionseinrichtung (40), die dazu eingerichtet ist, die generierten hochauflösenden Bildaufnahmen (D2) und/oder der erzeugten vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz zu komprimieren.

10. System (100) nach Anspruch 9, wobei die Burst-Bildverarbeitungseinrichtung (20) eine Berechnungseinheit (210) umfasst, welche einen Burst-Algorithmus implementiert, welcher dazu ausgelegt ist, feine körperliche Strukturen wie Adern und Nerven in den bereitgestellten Bildaufnahmen (D0) der Bildaufnahmesequenz des Patienten zu erkennen.

1 1 . System (100) nach einem der Ansprüche 9 oder 10, wobei die Bereitstellungseinrichtung (10) in einem Endoskop (E) oder in einem Exoskop integriert ist.

12. System (100) nach einem der Ansprüche 9 bis 1 1 , ferner umfassend eine Datenspeichereinrichtung (50), in welcher die von der Bildkompressionseinrichtung (40) komprimierten Bildaufnahmen der Bildaufnahmesequenz gespeichert und von dort auslesbar sind.

13. System (100) nach einem der Ansprüche 9 bis 12, ferner umfassend eine Videoschnittstelle (60), die dazu ausgelegt ist, die erzeugten vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz und/oder die generierten hochauflösenden Bildaufnahmen (D2) der Bildaufnahmesequenz zu einer Anzeigeeinheit (70) des Systems (100) zu übertragen.

14. Computerprogrammprodukt (300), umfassend ausführbaren Programmcode (350), der dazu ausgelegt ist, wenn er ausgeführt wird, das computerimplementierte Verfahren gemäß Patentansprüche 1 bis 8 durchzuführen.

15. Nicht-flüchtiges computerlesbares Datenspeichermedium (400), umfassend ausführbaren Programmcode (450), der dazu ausgelegt ist, wenn er ausgeführt wird, das computerimplementierte Verfahren gemäß Patentansprüche 1 bis 8 durchzufüh- ren.