DE112019001050T5

DE112019001050T5 - Vorrichtung, verfahren und programm zur superauflösungsverarbeitung

Info

Publication number: DE112019001050T5
Application number: DE112019001050.6T
Authority: DE
Inventors: Makoto Ozeki
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-02-28
Filing date: 2019-02-12
Publication date: 2020-12-03
Also published as: JPWO2019167597A1; US11423512B2; WO2019167597A1; JP7083015B2; US20200364831A1

Abstract

Es ist eine Vorrichtung, ein Verfahren und ein Programm zur Superauflösungsverarbeitung vorgesehen, die in der Lage sind, Bilddaten mit einer Auflösung zu erzeugen, die einem beliebigen anderen Skalierungsfaktor als einem vorbestimmten Skalierungsfaktor bei einer Superauflösungsverarbeitung entspricht. Die Vorrichtung zur Superauflösungsverarbeitung enthält eine Umwandlungseinheit, die eine Superauflösungsverarbeitung von Eingabedaten durchführt, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von der Umwandlungseinheit ausgegebenen Daten zu den in die Umwandlungseinheit eingegebenen Daten festgelegt ist, eine Downsampling-Einheit, die eine Downsampling-Verarbeitung der in die Umwandlungseinheit eingegebenen Daten oder der von der Umwandlungseinheit ausgegebenen Daten durchführt, und eine Verarbeitungseinheit, die die Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis anpasst.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Verfahren und ein Programm zur Superauflösungsverarbeitung und insbesondere eine Vorrichtung, ein Verfahren und ein Programm zur Superauflösungsverarbeitung, die eine Auflösung von Bilddaten bezüglich Zeit und Raum erhöhen.
Beschreibung des Standes der Technik
Ein Verfahren zur Superauflösungsverarbeitung zum Durchführen einer Superauflösungsverarbeitung zum Erhöhen einer Auflösung von Bilddaten verwendet in einigen Fällen Deep Learning (Dong, C. et al., „Image Super-Resolution Using Deep Convolutional Networks", 2014, European Conference on Computer Vision (ECCV), Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network", [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL: https://arxiv.org/abs/1705.05084>, Ren, H. et al., „Image Super Resolution Based on Fusing Multiple Convolution Neural Networks", 2017, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshop und Shi, W. et al., „Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module", 2017, IEEE International Conference on Image Processing (ICIP)). Bei dem Verfahren zur Superauflösungsverarbeitung unter Verwendung von Deep Learning wurde vorgeschlagen, die Superauflösungsleistung durch Verwendung von Eingabebildern oder intermediären Merkmalsmengen mehrerer Auflösungen zu verbessern (Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network", [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL https://arxiv.org/abs/1705.05084>, Ren, H. et al., „Image Super Resolution Based on Fusing Multiple Convolution Neural Networks", 2017, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshop und Shi, W. et al., „Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module", 2017, IEEE International Conference on Image Processing (ICIP)).
ZUSAMMENFASSUNG DER ERFINDUNG
In einem Fall, in dem eine Superauflösungsverarbeitung durchgeführt wird, ist ein Verhältnis der Auflösungen von Bilddaten vor und nach der Superauflösungsverarbeitung oft festgelegt. In der folgenden Beschreibung wird ein Verhältnis einer Auflösung von Bilddaten nach der Superauflösungsverarbeitung zu einer Auflösung von Bilddaten vor der Superauflösungsverarbeitung als ein Skalierungsfaktor für die Superauflösungsverarbeitung bezeichnet. In einem Fall, in dem ein Skalierungsfaktor für die Superauflösungsverarbeitung festgelegt ist, wird eine Auflösung von Bilddaten, die aus Bilddaten mit einer bestimmten Auflösung durch die Superauflösungsverarbeitung erzeugt werden können, eindeutig durch den Skalierungsfaktor bestimmt. Um mehrere Bilddatenstücke mit unterschiedlichen Auflösungen aus Bilddaten mit einer bestimmten Auflösung durch die Superauflösungsverarbeitung zu erzeugen, ist es daher erforderlich, mehrere Engines zur Superauflösungsverarbeitung mit unterschiedlichen Skalierungsfaktoren bereitzustellen. In diesem Fall besteht, da es notwendig ist, einen Datensatz zum Lernen vorzubereiten und Lernen für jede der mehreren Engines zur Superauflösungsverarbeitung durchzuführen, das Problem, dass Kosten, die zum Erstellen der Engine zur Superauflösungsverarbeitung erforderlich sind, zunehmen.
In der Beschreibung von Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network", [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL: https://arxiv.org/abs/1705.05084> wird offenbart, dass Lernen eines Modells (allgemeinen Modells) durchgeführt wird, das mehreren Skalierungsfaktoren (Hochskalierungsfaktoren) entspricht. Gemäß der in Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network", [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL: https://arxiv.org/abs/1705.05084> offenbarten Technik können, obwohl es möglich ist, Bilddaten mit einer Auflösung zu erzeugen, die einem zuvor gelernten Skalierungsfaktor entspricht, Bilddaten mit einer Auflösung, die einem beliebigen anderen Skalierungsfaktor als dem im Voraus gelernten Skalierungsfaktor entspricht, nicht erzeugt werden. Darüber hinaus werden bei der in Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network", [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL: https://arxiv.org/abs/1705.05084> beschriebenen Technik Sätze von Bildern mit niedriger Auflösung (low resolution, LR) und hoher Auflösung (high resolution, HR), die den mehreren Skalierungsfaktoren entsprechen, zu einem einzigen kombiniert und ist es notwendig, für jeden der mehreren Skalierungsfaktoren einen Datensatz zum Lernen vorzubereiten und Lernen durchzuführen.
Die vorliegende Erfindung wurde im Hinblick auf solche Umstände gemacht, und eine Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung, ein Verfahren und ein Programm zur Superauflösungsverarbeitung bereitzustellen, die in der Lage sind, Bilddaten mit einer Auflösung zu erzeugen, die einem beliebigen anderen Skalierungsfaktor als einem vorbestimmten Skalierungsfaktor bei einer Superauflösungsverarbeitung entspricht.
Um das oben erwähnte Problem zu lösen, umfasst eine Vorrichtung zur Superauflösungsverarbeitung nach einem ersten Aspekt der vorliegenden Erfindung: eine Umwandlungseinheit, die eine Superauflösungsverarbeitung von Eingabedaten durchführt, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von der Umwandlungseinheit ausgegebenen Daten zu den in die Umwandlungseinheit eingegebenen Daten festgelegt ist; eine Downsampling-Einheit, die eine Downsampling-Verarbeitung der in die Umwandlungseinheit eingegebenen Daten oder der von der Umwandlungseinheit ausgegebenen Daten durchführt; und eine Verarbeitungseinheit, die die Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis anpasst.
Nach dem ersten Aspekt wird es durch Durchführen eines Downsamplings vor oder nach einer Superauflösungsverarbeitung möglich, Bilddaten mit einer Auflösung zu erzeugen, die einem beliebigen anderen Skalierungsfaktor als einem im Voraus gelernten Skalierungsfaktor entspricht.
Nach dem ersten Aspekt umfasst die Vorrichtung zur Superauflösungsverarbeitung nach einem zweiten Aspekt der vorliegenden Erfindung ferner: eine Einstelleinheit, die eine erforderliche Auflösung der Ausgabedaten einstellt, wobei die Verarbeitungseinheit die Abtastrate basierend auf dem Auflösungsverhältnis so anpasst, dass die Auflösung der Ausgabedaten mit der erforderlichen Auflösung übereinstimmt.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem dritten Aspekt der vorliegenden Erfindung besteht nach dem ersten oder zweiten Aspekt die Umwandlungseinheit aus mehreren Umwandlungseinheiten, die sich bezüglich dem Auflösungsverhältnis voneinander unterscheiden, und erzeugt die Verarbeitungseinheit die Ausgabedaten durch Kombinieren von Datenstücken, die von den Umwandlungseinheiten ausgegeben werden.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem vierten Aspekt der vorliegenden Erfindung bestimmt nach dem dritten Aspekt die Verarbeitungseinheit ein Verfahren zum Kombinieren der von den Umwandlungseinheiten ausgegebenen Datenstücke basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem fünften Aspekt der vorliegenden Erfindung passt nach einem der ersten bis vierten Aspekte die Verarbeitungseinheit die Abtastrate basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen, an.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem sechsten Aspekt der vorliegenden Erfindung führt nach einem der ersten bis fünften Aspekte die Umwandlungseinheit die Superauflösungsverarbeitung basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen, durch.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem siebten Aspekt der vorliegenden Erfindung führt nach einem der ersten bis sechsten Aspekte die Umwandlungseinheit eine Verarbeitung des Erhöhens einer räumlichen Auflösung der in die Umwandlungseinheit eingegebenen Daten durch.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem achten Aspekt der vorliegenden Erfindung führt nach dem siebten Aspekt in einem Fall, in dem die in die Umwandlungseinheit eingegebenen Daten zweidimensionale oder dreidimensionale Bilddaten sind, die Umwandlungseinheit eine Verarbeitung des Erhöhens einer Auflösung der Bilddaten in mindestens einer Richtung durch.
In der Vorrichtung zur Superauflösungsverarbeitung nach einem neunten Aspekt der vorliegenden Erfindung führt nach einem der ersten bis achten Aspekte in einem Fall, in dem die in die Umwandlungseinheit eingegebenen Daten Bewegtbilddaten sind, die Umwandlungseinheit eine Verarbeitung des Erhöhens einer Bildrate der Bewegtbilddaten durch.
Ein Verfahren zur Superauflösungsverarbeitung nach einem zehnten Aspekt der vorliegenden Erfindung umfasst: einen Umwandlungsschritt des Durchführens einer Superauflösungsverarbeitung von Eingabedaten durch eine Umwandlungseinheit, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von der Umwandlungseinheit ausgegebenen Daten zu den in die Umwandlungseinheit eingegebenen Daten festgelegt ist; einen Downsampling-Schritt des Durchführens einer Downsampling-Verarbeitung der in die Umwandlungseinheit eingegebenen Daten oder der von der Umwandlungseinheit ausgegebenen Daten; und einen Verarbeitungsschritt des Anpassens der Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis.
Ein Programm zur Superauflösungsverarbeitung nach einem elften Aspekt der vorliegenden Erfindung veranlasst einen Computer, zu realisieren: eine Umwandlungsfunktion des Durchführens einer Superauflösungsverarbeitung von Eingabedaten, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der Ausgabedaten zu den Eingabedaten festgelegt ist; eine Downsampling-Funktion des Durchführens einer Downsampling-Verarbeitung der Daten vor einer Umwandlung durch die Umwandlungsfunktion oder der Daten nach einer Umwandlung durch die Umwandlungseinheit; und eine Verarbeitungsfunktion des Anpassens der Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis.
Nach der vorliegenden Erfindung wird es durch Durchführen eines Downsamplings vor oder nach einer Superauflösungsverarbeitung möglich, Bilddaten mit einer Auflösung zu erzeugen, die einem beliebigen anderen Skalierungsfaktor als einem festgelegten Skalierungsfaktor für die Superauflösungsverarbeitung in einer Umwandlungseinheit entspricht.
Figurenliste

1 ist ein Blockdiagramm, das eine Vorrichtung zur Superauflösungsverarbeitung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Blockdiagramm, das eine Konfiguration extrahiert und zeigt, die sich auf ein Lernen in der Vorrichtung zur Superauflösungsverarbeitung gemäß der ersten Ausführungsform der vorliegenden Erfindung bezieht.
3 ist ein Flussdiagramm, das ein Verfahren zur Superauflösungsverarbeitung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
4 ist ein Flussdiagramm, das einen Schritt zur Superauflösungsverarbeitung zeigt.
5 ist ein Diagramm zum Veranschaulichen eines Bildgebungsverfahrens von Tomographiebilddaten.
6 ist ein Blockdiagramm, das eine Vorrichtung zur Superauflösungsverarbeitung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
7 ist ein Blockdiagramm, das eine Konfiguration extrahiert und zeigt, die sich auf Lernen in der Vorrichtung zur Superauflösungsverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung bezieht.
8 ist ein Flussdiagramm, das ein Verfahren zur Superauflösungsverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend werden Ausführungsformen einer Vorrichtung, eines Verfahrens und eines Programms zur Superauflösungsverarbeitung gemäß einem Aspekt der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
[Erste Ausführungsform]
1 ist ein Blockdiagramm, das eine Vorrichtung zur Superauflösungsverarbeitung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
Eine Vorrichtung 10 zur Superauflösungsverarbeitung gemäß der vorliegenden Ausführungsform erfasst Eingabedaten P1, einschließlich Bilddaten, die von einer Bildgebungsvorrichtung 100 abgebildet wurden, und führt eine Superauflösungsverarbeitung der Eingabedaten P1 durch. Die Bildgebungsvorrichtung 100 ist eine Vorrichtung, die ein Standbild oder ein Bewegtbild aufnimmt, und enthält beispielsweise eine in einer medizinischen Einrichtung installierte Inspektionsvorrichtung.
In der folgenden Beschreibung bezieht sich die Superauflösungsverarbeitung auf eine Verarbeitung des Erhöhens einer Auflösung von Bilddaten bezüglich Zeit und Raum. Die Superauflösungsverarbeitung enthält eine Verarbeitung des Erhöhens der Anzahl von Pixeln der Bilddaten, die in den Eingabedaten P1 enthalten sind, um eine räumliche Auflösung zu erhöhen. Beispielsweise enthält in einem Fall, in dem die in den Eingabedaten P1 enthaltenen Bilddaten dreidimensionale Bilddaten sind, die Superauflösungsverarbeitung eine Verarbeitung des Erhöhens der Anzahl von Pixeln in mindestens einer Richtung in den dreidimensionalen Bilddaten, um eine Auflösung entlang der Richtung zu erhöhen. Insbesondere enthält in einem Fall, in dem die in den Eingabedaten P1 enthaltenen Bilddaten Tomographiebilddaten wie aus Computertomographie (CT) oder Magnetresonanztomographie (MRT) sind, die Superauflösungsverarbeitung eine Verarbeitung des Erhöhens der Anzahl von Pixeln in einer Richtung senkrecht zu einem Querschnitt des Tomographiebildes, das heißt einer Schichtdickenrichtung, um eine Auflösung entlang der Richtung zu erhöhen. In einem Fall, in dem die in den Eingabedaten P1 enthaltenen Bilddaten Bewegtbilddaten sind, enthält die Superauflösungsverarbeitung eine Verarbeitung des Erhöhens einer Bildrate der Bewegtbilddaten.
Wie in 1 gezeigt, enthält die Vorrichtung 10 zur Superauflösungsverarbeitung gemäß der vorliegenden Ausführungsform eine Steuereinheit 12, eine Bedienungseinheit 14, einen Speicher 16, eine Aufzeichnungseinheit 18, eine Anzeigeeinheit 20, eine Datenerfassungseinheit 22, eine Einheit 24 zur Superauflösungsverarbeitung, eine Kommunikationsschnittstelle 26 und eine Lerneinheit 28.
Die Steuereinheit 12 enthält eine Zentraleinheit (central processing unit, CPU), die einen Betrieb jeder Einheit der Vorrichtung 10 zur Superauflösungsverarbeitung steuert. Die Steuereinheit 12 kann ein Steuersignal und Daten zu und von jeder Einheit der Vorrichtung 10 zur Superauflösungsverarbeitung über einen Bus übertragen und empfangen. Die Steuereinheit 12 empfängt eine Bedienungseingabe von einem Bediener über die Bedienungseinheit 14 und überträgt über einen Bus ein Steuersignal, das der Bedienungseingabe entspricht, an jede Einheit der Vorrichtung 10 zur Superauflösungsverarbeitung, um den Betrieb jeder Einheit zu steuern.
Die Bedienungseinheit 14 ist eine Eingabevorrichtung, die die Bedienungseingabe von dem Bediener empfängt, und enthält eine Tastatur zum Eingeben von Zeichen und eine Zeigevorrichtung (zum Beispiel eine Maus, einen Trackball oder dergleichen) zum Bedienen eines Zeigers, eines Symbols und dergleichen, die auf der Anzeigeeinheit 20 angezeigt werden. Darüber hinaus kann als die Bedienungseinheit 14 anstelle oder zusätzlich zu der Tastatur und der Zeigevorrichtung ein Touch-Panel auf einer Oberfläche der Anzeigeeinheit 20 bereitgestellt werden.
Der Speicher 16 enthält einen Arbeitsspeicher (random access memory, RAM), der als ein Arbeitsbereich für verschiedene Vorgänge verwendet wird, die von der Steuereinheit 12 und dergleichen durchgeführt werden, und einen Video Random Access Memory (VRAM), der als ein Bereich zum vorübergehenden Speichern von Bilddaten, die an die Anzeigeeinheit 20 ausgegeben werden, verwendet wird.
Die Aufzeichnungseinheit 18 ist eine Speichervorrichtung, die ein von der Steuereinheit 12 verwendetes Steuerprogramm, von der Vorrichtung 10 zur Superauflösungsverarbeitung empfangene Daten und dergleichen speichert. Als die Aufzeichnungseinheit 18 kann beispielsweise eine Vorrichtung, die eine Magnetplatte wie ein Festplattenlaufwerk (hard disk drive, HDD) enthält, eine Vorrichtung, die einen Flash-Speicher wie eine embedded Multi Media Card (eMMC) oder ein Solid-State-Laufwerk (solid state drive, SSD) enthält, oder dergleichen verwendet werden.
Die Anzeigeeinheit 20 ist eine Vorrichtung zum Anzeigen eines Bildes. Als die Anzeigeeinheit 20 kann beispielsweise ein Flüssigkristallmonitor verwendet werden.
Die Kommunikationsschnittstelle 26 ist ein Mittel zum Kommunizieren mit einer anderen Vorrichtung über ein Netzwerk und führt eine Umwandlungsverarbeitung von Daten durch, die gemäß einem Kommunikationsverfahren übertragen und empfangen werden sollen. Als ein Verfahren des Übertragens und Empfangens von Daten zwischen der Vorrichtung 10 zur Superauflösungsverarbeitung und einer anderen Vorrichtung kann eine drahtgebundene Kommunikation oder eine drahtlose Kommunikation (zum Beispiel ein lokales Netzwerk (local area network, LAN), ein Wide Area Network (WAN), eine Internetverbindung oder dergleichen) verwendet werden.
Die Datenerfassungseinheit 22 erfasst über die Kommunikationsschnittstelle 26 die Eingabedaten P1, die von der Bildgebungsvorrichtung 100 abgebildete Bilddaten enthalten.
Die Einheit 24 zur Superauflösungsverarbeitung führt eine Superauflösungsverarbeitung der Bilddaten durch, die in den von der Datenerfassungseinheit 22 erfassten Eingabedaten P1 enthalten sind. Die Einheit 24 zur Superauflösungsverarbeitung enthält eine Umwandlungseinheit 30, eine Downsampling-Einheit 32 und eine Verarbeitungseinheit 34.
Die Umwandlungseinheit 30 ist eine Engine zur Superauflösungsverarbeitung, die eine Superauflösungsverarbeitung der eingegebenen Bilddaten durchführt und die Bilddaten in Bilddaten mit einer höheren Auflösung umwandelt. Als die Umwandlungseinheit 30 kann beispielsweise eine Einheit verwendet werden, die Deep Learning und ein neuronales Netzwerk verwendet.
Die Downsampling-Einheit 32 führt eine Downsampling-Verarbeitung der eingegebenen Bilddaten durch und wandelt die Bilddaten in Bilddaten mit einer niedrigeren Auflösung um.
In einem Fall, in dem eine Superauflösungsverarbeitung des Erhöhens einer räumlichen Auflösung durchgeführt wird, führt die Umwandlungseinheit 30 eine Verarbeitung des Erhöhens der Anzahl von Pixeln der eingegebenen Bilddaten durch und führt die Downsampling-Einheit 32 eine Verarbeitung des Verringerns der Anzahl von Pixeln der eingegebenen Bilddaten durch. In einem Fall, in dem die eingegebenen Bilddaten zweidimensionale oder dreidimensionale Bilddaten sind, führt die Umwandlungseinheit 30 eine Verarbeitung des Erhöhens der Anzahl von Pixeln in mindestens einer Richtung in den Bilddaten durch, und führt die Downsampling-Einheit 32 eine Verarbeitung des Verringerns der Anzahl von Pixeln in mindestens einer Richtung in den Bilddaten. In einem Fall, in dem die eingegebenen Bilddaten Tomographiebilddaten sind, führt die Umwandlungseinheit 30 eine Verarbeitung des Erhöhens der Anzahl von Pixeln in einer Schichtdickenrichtung senkrecht zu einem Querschnitt des Tomographiebildes durch und führt die Downsampling-Einheit 32 führt eine Verarbeitung des Verringerns der Anzahl von Pixeln in einer Schichtdickenrichtung senkrecht zu dem Querschnitt des Tomographiebildes durch. In einem Fall, in dem eine Superauflösungsverarbeitung des Erhöhens einer zeitlichen Auflösung von Bewegtbilddaten durchgeführt wird, führt die Umwandlungseinheit 30 eine Verarbeitung des Erhöhens einer Bildrate der Bewegtbilddaten durch und führt die Downsampling-Einheit 32 eine Verarbeitung zum Verringern der Bildrate der Bewegtbilddaten durch.
In der vorliegenden Ausführungsform ist ein Auflösungsverhältnis der Bilddaten nach einer Umwandlung zu den in die Umwandlungseinheit 30 eingegebenen Bilddaten, das heißt ein Skalierungsfaktor für die Superauflösungsverarbeitung, festgelegt. Hier ist in einem Fall der Superauflösungsverarbeitung des Erhöhens der räumlichen Auflösung der Skalierungsfaktor für die Superauflösungsverarbeitung ein Verhältnis der Anzahl von Pixeln der Bilddaten nach einer Umwandlung zu der Anzahl von Pixeln der eingegebenen Bilddaten, das heißt (Anzahl von Pixeln von Bilddaten nach Umwandlung) ÷ (Anzahl von Pixeln eingegebener Bilddaten). In einem Fall der Superauflösungsverarbeitung des Erhöhens der zeitlichen Auflösung der Bewegtbilddaten ist der Skalierungsfaktor für die Superauflösungsverarbeitung ein Verhältnis der Bildrate der umgewandelten Bewegtbilddaten zu der Bildrate der eingegebenen Bewegtbilddaten, das heißt (Bildrate von Bewegtbilddaten nach Umwandlung) ÷ (Bildrate von eingegebenen Bewegtbilddaten).
In einem Fall, in dem der Skalierungsfaktor für die Superauflösungsverarbeitung festgelegt ist, wird die Auflösung der Bilddaten nach einer Umwandlung eindeutig durch die Auflösung der in die Umwandlungseinheit 30 eingegebenen Bilddaten bestimmt, so dass Bilddaten mit einer beliebigen Auflösung nicht erzeugt werden können. Daher führt in der vorliegenden Ausführungsform vor oder nach einer Umwandlung durch die Umwandlungseinheit 30 die Downsampling-Einheit 32 eine Downsampling-Verarbeitung durch, um die Auflösung der ausgegebenen Bilddaten anzupassen.
Die Verarbeitungseinheit 34 empfängt über die Bedienungseinheit 14 eine Eingabe zum Einstellen einer erforderlichen Ausgabe von Ausgabedaten, die von der Einheit 24 zur Superauflösungsverarbeitung ausgegeben werden. Hier ist die erforderliche Ausgabe eine Auflösung der Ausgabedaten nach der Superauflösungsverarbeitung. Insbesondere ist die erforderliche Ausgabe eine räumliche Auflösung oder die Anzahl von Pixeln in einem Fall von zweidimensionalen oder dreidimensionalen Daten, die erforderliche Ausgabe ist eine räumliche Auflösung oder die Anzahl von Pixeln in einer Richtung parallel zu einem Querschnitt des Tomographiebildes oder eine Schichtdicke in einer Richtung senkrecht zu dem Querschnitt des Tomographiebildes bei einem Fall von Tomographiebilddaten, und die erforderliche Ausgabe ist eine Bildrate in einem Fall von Bewegtbilddaten. Diese Werte der erforderlichen Ausgabe können von dem Bediener über die Bedienungseinheit 14 eingestellt werden. Die Verarbeitungseinheit 34 führt eine Downsampling-Verarbeitung der Bilddaten vor oder nach einer Umwandlung durch die Umwandlungseinheit 30 unter Verwendung der Downsampling-Einheit 32 durch, so dass die Auflösung der ausgegebenen Bilddaten mit der eingestellten erforderlichen Ausgabe übereinstimmt. Insbesondere bestimmt die Verarbeitungseinheit 34 einen Ausführungszeitpunkt und eine Abtastrate der Downsampling-Verarbeitung basierend auf der Auflösung der Eingabedaten, der erforderlichen Ausgabe und dem Skalierungsfaktor der Umwandlungseinheit 30.
Hier wird als ein Beispiel ein Fall beschrieben, in dem die Superauflösungsverarbeitung von zweidimensionalen Bilddaten durchgeführt wird. Es wird angenommen, dass die räumliche Auflösung der in den Eingabedaten P1 enthaltenen Bilddaten 1200 Pixel pro Zoll (pixels per inch, ppi) beträgt, die erforderliche Ausgabe 2400 ppi beträgt und der Skalierungsfaktor in der Umwandlungseinheit 30 4 beträgt. In diesem Fall werden in einem Fall, in dem die Bilddaten mit 1200 ppi durch die Umwandlungseinheit 30 umgewandelt werden, Bilddaten mit 4800 ppi erzeugt. Daher können Bilddaten mit 2400 ppi durch Downsampling der Bilddaten nach einer Umwandlung durch die Umwandlungseinheit 30 mit einer Downsampling-Rate von 1/2 erzeugt werden.
In diesem Fall ist es auch möglich, dass die in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Bilddaten mit einer Downsampling-Rate von 1/2 vor einer Umwandlung durch die Umwandlungseinheit 30 einem Downsampling unterzogen werden, um Bilddaten mit 600 ppi zu erzeugen, und die Bilddaten mit 600 ppi werden in die Umwandlungseinheit 30 eingegeben und in Bilddaten mit 2400 ppi umgewandelt.
Als nächstes wird ein Fall beschrieben, in dem die Superauflösungsverarbeitung des Erhöhens der Bildrate der Bewegtbilddaten durchgeführt wird. Es wird angenommen, dass die Bildrate der in den Eingabedaten P1 enthaltenen Bewegtbilddaten 30 Bilder pro Sekunde (frames per second, fps) beträgt, die erforderliche Bildrate 40 fps beträgt und der Skalierungsfaktor in der Umwandlungseinheit 30 4 beträgt. In diesem Fall werden in einem Fall, in dem die Umwandlungseinheit 30 die Bewegtbilddaten mit 30 fps umwandelt, Bewegtbilddaten mit 120 fps erzeugt. Daher können Bewegtbilddaten mit 40 fps durch Downsampling der Bewegtbilddaten nach einer Umwandlung durch die Umwandlungseinheit 30 mit einer Downsampling-Rate von 1/3 und Ausdünnen von Bildern erzeugt werden.
In diesem Fall ist es auch möglich, dass die in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Bewegtbilddaten mit einer Downsampling-Rate von 1/3 vor einer Umwandlung durch die Umwandlungseinheit 30 einem Downsampling unterzogen werden, um Bewegtbilddaten mit 10 fps zu erzeugen, und die Bilddaten mit 10 fps werden in die Umwandlungseinheit 30 eingegeben und in Bewegtbilddaten mit 40 fps umgewandelt.
Dies ermöglicht es, eine Superauflösungsverarbeitung durchzuführen, die einem anderen Skalierungsfaktor als dem im Voraus gelernten Skalierungsfaktor entspricht.
Die Einheit 24 zur Superauflösungsverarbeitung gemäß der vorliegenden Ausführungsform kann sowohl eine Umwandlungseinheit als auch eine Downsampling-Einheit zum Durchführen einer Superauflösungsverarbeitung in Bezug auf eine räumliche Auflösung (Anzahl von Pixeln) und eine zeitlichen Auflösung (Bildrate) umfassen. Dies ermöglicht es, sowohl Pixelinterpolation als auch Bildrateninterpolation von Bewegtbilddaten durchzuführen.
In der vorliegenden Ausführungsform kann bei zweidimensionalen Bilddaten durch Ändern einer Downsampling-Rate in jeweils einer x-Achsenrichtung und einer y-Achsenrichtung senkrecht zu der x-Achse ein Skalierungsfaktor für die Superauflösungsverarbeitung für jede Achsenrichtung geändert werden. Selbst bei dreidimensionalen Bilddaten kann durch Ändern einer Downsampling-Rate in jeder Achsenrichtung eines rechtwinkligen xyz-Koordinatensystems ein Skalierungsfaktor für die Superauflösungsverarbeitung für jede Achsenrichtung geändert werden.
Die Lerneinheit 28 veranlasst die Umwandlungseinheit 30 Lernen unter Verwendung eines Datensatzes zum Lernen durchführen. Die Lerneinheit 28 aktualisiert die Umwandlungseinheit 30 als die Engine zur Superauflösungsverarbeitung, indem sie die Umwandlungseinheit 30 nach Lernen auf die Einheit zur Superauflösungsverarbeitung 24 überträgt.
Wie in 2 gezeigt, erfasst die Lerneinheit 28 in einem Fall eines Durchführens eines Lernens der Umwandlungseinheit 30 einen Datensatz zum Lernen TD1, der einen Satz von Bilddaten PL mit einer ersten Auflösung und Bilddaten PH mit einer zweiten Auflösung, die höher als die erste Auflösung ist, enthält. Hierbei sind die Bilddaten PL mit einer ersten Auflösung und die Bilddaten PH mit einer zweiten Auflösung ein Satz von Bilddatenstücken mit einer Auflösung, die dem Skalierungsfaktor für die Superauflösungsverarbeitung in der Umwandlungseinheit 30 entspricht. Die Bilddaten PL mit einer ersten Auflösung können beispielsweise Daten sein, die durch Downsampling der Bilddaten PH mit einer zweiten Auflösung mit einer Downsampling-Rate erhalten werden, die ein Kehrwert des Skalierungsfaktors für die Superauflösungsverarbeitung ist. In einem Fall, in dem die Bilddaten PL mit einer ersten Auflösung und die Bilddaten PH mit einer zweiten Auflösung jeweils Tomographiebilddaten sind, können die Bilddaten PL mit einer ersten Auflösung beispielsweise Daten sein, die durch Ausdünnen der Bilddaten PH mit einer zweiten Auflösung, die eine kleinere Schichtdicke als die Bilddaten PL mit einer ersten Auflösung aufweisen, mit einer Downsampling-Rate erhalten werden, die ein Kehrwert des Skalierungsfaktors für die Superauflösungsverarbeitung ist.
Die Lerneinheit 28 empfängt die Bilddaten PL mit einer ersten Auflösung und gibt die Bilddaten PH mit einer zweiten Auflösung aus, das heißt, veranlasst die Umwandlungseinheit 30 Lernen von korrekten Antwortdaten durchzuführen. Beispielsweise vergleicht die Lerneinheit 28 eine Ausgabe in einem Fall, in dem die Bilddaten PL mit einer ersten Auflösung in die Umwandlungseinheit 30 eingegeben werden, mit den Bilddaten PH mit einer zweiten Auflösung, die die korrekten Antwortdaten sind, und führt Lernen der Umwandlungseinheit 30 durch, so dass eine Merkmalsmenge der Ausgabe der Umwandlungseinheit 30 im Wesentlichen gleich einer Merkmalsmenge der korrekten Antwortdaten ist oder eine Differenz zwischen den beiden Merkmalsmengen gleich oder kleiner als ein zulässiger Schwellenwert ist. Dies ermöglicht es, die Umwandlungseinheit 30 zu erzeugen und zu aktualisieren, in der der Skalierungsfaktor für die Superauflösungsverarbeitung festgelegt ist.
Die Lerneinheit 28 kann in einer externen Vorrichtung bereitgestellt werden, die sich von der Vorrichtung 10 zur Superauflösungsverarbeitung unterscheidet. In diesem Fall kann die Einheit 24 zur Superauflösungsverarbeitung, die die Engine zur Superauflösungsverarbeitung der Vorrichtung 10 zur Superauflösungsverarbeitung ist, unter Verwendung eines Lernergebnisses der externen Vorrichtung aktualisiert werden.
Ferner führt die Lerneinheit 28 Lernen, das sich auf eine Downsampling-Rate bezieht, basierend auf einer Korrespondenzbeziehung zwischen Bilddaten mit einer im Voraus gelernten ersten Auflösung und Bilddaten mit einer zweiten Auflösung, die höher als die erste Auflösung ist, durch. In einem Fall, in dem die Downsampling-Rate geändert wird, vergleicht die Lerneinheit 28 die Bilddaten, die von der Einheit 24 zur Superauflösungsverarbeitung aus den Bilddaten PL mit einer ersten Auflösung erzeugt wurden, mit den Bilddaten PH mit einer zweiten Auflösung und führt Lernen der Verarbeitungseinheit 34 durch, so dass eine Merkmalsmenge der Ausgabe der Umwandlungseinheit 30 im Wesentlichen gleich einer Merkmalsmenge der korrekten Antwortdaten ist oder eine Differenz zwischen den beiden Merkmalsmengen gleich oder kleiner als ein zulässiger Schwellenwert ist. Dies ermöglicht es, eine geeignetere Downsampling-Rate einzustellen.
Als nächstes wird ein Verfahren zur Superauflösungsverarbeitung gemäß der ersten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 3 und 4 beschrieben. 3 ist ein Flussdiagramm, das das Verfahren zur Superauflösungsverarbeitung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt. 4 ist ein Flussdiagramm, das einen Schritt zur Superauflösungsverarbeitung zeigt.
Die Datenerfassungseinheit 22 erfasst die Eingabedaten P1 einschließlich Bilddaten, die von einer Bildgebungsvorrichtung abgebildet wurden, und speichert die Eingabedaten P1 in der Aufzeichnungseinheit 18.
In einem Fall, in dem ein Befehl zum Starten der Superauflösungsverarbeitung über die Bedienungseinheit 14 eingegeben wird, erfasst die Datenerfassungseinheit 22 Bilddaten, die der Superauflösungsverarbeitung unterzogen werden sollen, von der Aufzeichnungseinheit 18 und gibt die Bilddaten in die Einheit 24 zur Superauflösungsverarbeitung ein (Schritt S10).
Als nächstes stellt die Verarbeitungseinheit 34 in einem Fall, in dem die Eingabe zum Einstellen der erforderlichen Ausgabe der Ausgabedaten nach der Superauflösungsverarbeitung über die Bedienungseinheit 14 empfangen wird, die erforderliche Ausgabe der Ausgabedaten ein (Schritt S12). Dann bestimmt die Verarbeitungseinheit 34 den Ausführungszeitpunkt und die Abtastrate der Downsampling-Verarbeitung basierend auf der Auflösung der Eingabedaten, der erforderlichen Ausgabe und dem Skalierungsfaktor der Umwandlungseinheit 30 (Schritt S14: Verarbeitungsschritt) und führt die Superauflösungsverarbeitung unter Verwendung der Umwandlungseinheit 30 und der Downsampling-Einheit 32 durch (Schritt S16).
Wie in 4 gezeigt, führt die Verarbeitungseinheit 34 in einem Fall, in dem der Ausführungszeitpunkt der Downsampling-Verarbeitung vor einer Umwandlung liegt (Schritt S160), die Downsampling-Verarbeitung der Eingabedaten vor einer Umwandlung, die in die Einheit 24 zur Superauflösungsverarbeitung eingegeben werden, durch die Downsampling-Einheit 32 durch (Schritt S162: Downsampling-Schritt). Dann führt die Verarbeitungseinheit 34 die Superauflösungsverarbeitung der Daten durch, die der Downsampling-Verarbeitung durch die Umwandlungseinheit 30 unterzogen werden, und wandelt die Daten in die Bilddaten der erforderlichen Ausgabe um (Schritt S164: Umwandlungsschritt).
Andererseits führt die Verarbeitungseinheit 34 in einem Fall, in dem der Ausführungszeitpunkt der Downsampling-Verarbeitung nach einer Umwandlung liegt (Schritt S160), die Superauflösungsverarbeitung der Eingabedaten, die in die Einheit 24 zur Superauflösungsverarbeitung eingegeben werden, durch die Umwandlungseinheit 30 durch (Schritt S166: Umwandlungsschritt). Dann führt die Verarbeitungseinheit die Downsampling-Verarbeitung durch die Downsampling-Einheit 32 der Daten durch, die von der Umwandlungseinheit 30 umgewandelt werden, um die Bilddaten der erforderlichen Ausgabe zu erzeugen (Schritt S168: Downsampling-Schritt).
Als nächstes werden, wie in 3 gezeigt, die Bilddaten der erforderlichen Ausgabe, die durch die Superauflösungsverarbeitung erzeugt wurden, von der Einheit 24 zur Superauflösungsverarbeitung an die Anzeigeeinheit 20 ausgegeben und angezeigt (Schritt S18).
[Anwendungsbeispiel der ersten Ausführungsform zur Superauflösungsverarbeitung von Tomographiebilddaten]
Nachstehend wird eine Superauflösungsverarbeitung in einer Richtung senkrecht zu einem Querschnitt von Tomographiebilddaten (CT-Bilddaten) beschrieben. 5 ist ein Diagramm zum Veranschaulichen eines Bildgebungsverfahrens der Tomographiebilddaten. Eine Beschreibung wird nachstehend unter Verwendung eines dreidimensionalen rechtwinkligen Koordinatensystems gegeben, in dem eine z-Achse eine Richtung senkrecht zu dem Querschnitt der Tomographiebilddaten ist.
Wie in 5 gezeigt, nimmt die Bildgebungsvorrichtung 100 in einem Fall, in dem die Tomographiebilddaten abgebildet werden, ein Tomographiebild in regelmäßigen Abständen W1 auf, während sie ein Bett ST, auf dem eine Untersuchungsperson OBJ liegt, relativ in eine +z-Richtung bewegt. In der folgenden Beschreibung wird der Abstand W1 der Bildgebung als eine Schichtdicke bezeichnet.
In der vorliegenden Ausführungsform ist es unter Verwendung der Umwandlungseinheit 30 und der Downsampling-Einheit 32 in Kombination möglich, Tomographiebilddaten mit einer gewünschten Schichtdicke unabhängig von einer Schichtdicke der eingegebenen Tomographiebilddaten zu erzeugen.

Tabelle 1 zeigt ein Beispiel einer Verarbeitung eines Falls, in dem der Skalierungsfaktor der Umwandlungseinheit 30 4 beträgt, das heißt, die Umwandlungseinheit 30 ein Tomographiebild mit einer Schichtdicke von 1 mm aus einem Tomographiebild mit einer Schichtdicke von 4 mm erzeugen kann. [0063] [Tabelle 1]

Beispiel	Eingabe/erforderliche Ausgabe	Vorverarbeitung	Nachverarbeitung
A	Eingabe: 4 mm Erforderliche Ausgabe: 1 mm	Nicht durchgeführt	Nicht durchgeführt
B	Eingabe: 4 mm Erforderliche Ausgabe. 2 mm	Downsampling auf 8 mm	Nicht durchgeführt
C	Eingabe: 4 mm Erforderliche Ausgabe. 2 mm	Nicht durchgeführt	Downsampling auf 2 mm
D	Eingabe: 3 mm Erforderliche Ausgabe. 1 mm	Downsampling auf 4 mm	Nicht durchgeführt
E	Eingabe: 3 mm Erforderliche Ausgabe. 1 mm	Nicht durchgeführt	Downsampling auf 1 mm

In Beispiel A von Tabelle 1 wird eine Schichtdicke einer erforderlichen Ausgabe auf 1 mm eingestellt, während eine Schichtdicke der in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Tomographiebilddaten 4 mm beträgt. In diesem Beispiel beträgt der Skalierungsfaktor der Superauflösungsverarbeitung in der Umwandlungseinheit 30 4, und die Umwandlungseinheit 30 führt die Superauflösungsverarbeitung der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 4 mm durch, so dass Tomographiebilddaten mit einer Schichtdicke von 1 mm, die die erforderliche Ausgabe sind, erzeugt werden. Daher wird ein Downsampling durch die Downsampling-Einheit 32 nicht vor oder nach einer Umwandlung durch die Umwandlungseinheit 30 durchgeführt oder wird die Verarbeitung durch die Downsampling-Einheit 32 wird als Identitätsumwandlung angesehen.
In Beispiel B und Beispiel C von Tabelle 1 wird eine Schichtdicke einer erforderlichen Ausgabe auf 2 mm eingestellt, während eine Schichtdicke der in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Tomographiebilddaten 4 mm beträgt.
In Beispiel B führt die Downsampling-Einheit 32 als Vorverarbeitung einer Umwandlung durch die Umwandlungseinheit 30 die Downsampling-Verarbeitung mit einer Downsampling-Rate von 1/2 der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 4 mm durch und werden Tomographiebilddaten mit einer Schichtdicke von 8 mm erzeugt. Als nächstes führt die Umwandlungseinheit 30 die Superauflösungsverarbeitung der Tomographiebilddaten mit einer Schichtdicke von 8 mm durch, so dass Tomographiebilddaten mit einer Schichtdicke von 2 mm, die die erforderliche Ausgabe sind, erzeugt werden.
In Beispiel C führt die Umwandlungseinheit 30 die Superauflösungsverarbeitung der eingegeben Tomographiebilddaten mit einer Schichtdicke von 4 mm durch, so dass Tomographiebilddaten mit einer Schichtdicke von 1 mm erzeugt werden. Als nächstes führt die Downsampling-Einheit 32 als Nachverarbeitung einer Umwandlung durch die Umwandlungseinheit 30 die Downsampling-Verarbeitung mit einer Downsampling-Rate von 1/2 der Tomographiebilddaten mit einer Schichtdicke von 1 mm durch und werden Tomographiebilddaten mit einer Schichtdicke von 2 mm, die die erforderliche Ausgabe sind, erzeugt.
In Beispiel D und Beispiel E von Tabelle 1 wird eine Schichtdicke einer erforderlichen Ausgabe auf 1 mm eingestellt, während eine Schichtdicke der in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Tomographiebilddaten 3 mm beträgt.
In Beispiel D führt die Downsampling-Einheit 32 als Vorverarbeitung einer Umwandlung durch die Umwandlungseinheit 30 die Downsampling-Verarbeitung mit einer Downsampling-Rate von 3/4 der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 3 mm durch und werden Tomographiebilddaten mit einer Schichtdicke von 4 mm erzeugt. Dann führt die Umwandlungseinheit 30 die Superauflösungsverarbeitung der Tomographiebilddaten mit einer Schichtdicke von 4 mm durch, so dass Tomographiebilddaten mit einer Schichtdicke von 1 mm, die die erforderliche Ausgabe sind, erzeugt werden.
In Beispiel E führt die Umwandlungseinheit 30 die Superauflösungsverarbeitung der eingegeben Tomographiebilddaten mit einer Schichtdicke von 3 mm durch, so dass Tomographiebilddaten mit einer Schichtdicke von 0,75 mm erzeugt werden. Als nächstes führt die Downsampling-Einheit 32 als Nachverarbeitung einer Umwandlung durch die Umwandlungseinheit 30 die Downsampling-Verarbeitung mit einer Downsampling-Rate von 3/4 der Tomographiebilddaten mit einer Schichtdicke von 0,75 mm durch und werden Tomographiebilddaten mit einer Schichtdicke von 1 mm, die die erforderliche Ausgabe sind, erzeugt.
Downsampling als Nachverarbeitung der Superauflösungsverarbeitung ist bevorzugter, da die Auflösung der Bilddaten, die für die Superauflösungsverarbeitung in der Umwandlungseinheit 30 verwendet werden, hoch und die Informationsmenge groß ist.
Eine Schichtdicke des CT-Bildes ist verschieden, und ein Erscheinungsbild beim Anzeigen des CT-Bildes ist abhängig von einer Schichtdicke unterschiedlich. Im Allgemeinen sind in einem Fall, in dem eine Schichtdicke dick ist, Ungleichmäßigkeiten auffällig und kann in einem Fall, in dem eine Schichtdicke dünn ist, ein Organ und dergleichen detailliert erfasst werden. Gemäß der vorliegenden Ausführungsform ist es möglich, dass Tomographiebilddaten unabhängig von der Schichtdicke der eingegebenen Tomographiebilddaten in Tomographiebilddaten mit einer beliebigen Schichtdicke umgewandelt werden, die einem anderen Skalierungsfaktor als dem im Voraus gelernten Skalierungsfaktor entspricht. Infolgedessen kann eine Visualisierung unter Verwendung von Stücken von Tomographiebilddaten mit unterschiedlichen Schichtdicken gemäß einem Zweck und einem Ziel einer Bilddiagnose durchgeführt werden, und wird Komfort für einen Arzt, der die Bilddiagnose unter Verwendung der Tomographiebilddaten durchführt, verbessert.
Im Allgemeinen nimmt in einem Fall, in dem die Tomographiebilddaten abgebildet werden, ein Rauschen der Tomographiebilddaten zu, wenn eine Schichtdicke abnimmt. Aus diesem Grund wird eine Bestrahlungsdosis von Strahlung erhöht, um das Rauschen der Tomographiebilddaten zu verringern. Gemäß der vorliegenden Ausführungsform kann, da Tomographiebilddaten mit einer beliebigen Schichtdicke aus einer Schichtdicke der eingegebenen Tomographiebilddaten erzeugt werden können, die Bestrahlungsdosis von Strahlung während einer Bildgebung verringert werden.
[Zweite Ausführungsform]
Als nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben.
6 ist ein Blockdiagramm, das eine Vorrichtung zur Superauflösungsverarbeitung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. In der folgenden Beschreibung werden die gleichen Komponenten wie die in der ersten Ausführungsform mit den gleichen Bezugszeichen bezeichnet und wird eine Beschreibung davon weggelassen.
Die Einheit 24 zur Superauflösungsverarbeitung einer Vorrichtung 10A zur Superauflösungsverarbeitung gemäß der vorliegenden Ausführungsform umfasst eine erste Umwandlungseinheit 30A und eine zweite Umwandlungseinheit 30B. In der ersten Umwandlungseinheit 30A und der zweiten Umwandlungseinheit 30B ist jeweils ein Skalierungsfaktor für die Superauflösungsverarbeitung festgelegt, und die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B haben unterschiedliche Skalierungsfaktoren.
In der vorliegenden Ausführungsform werden die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B mit unterschiedlichen Skalierungsfaktoren für eine Superauflösungsverarbeitung in Kombination verwendet. Insbesondere bestimmt die Verarbeitungseinheit 34 basierend auf der Auflösung der Eingabedaten, der erforderlichen Ausgabe und dem Skalierungsfaktor der Umwandlungseinheit 30 eine Umwandlungseinheit, die für die Superauflösungsverarbeitung verwendet wird, und ein Datenverarbeitungsverfahren sowie einen Ausführungszeitpunkt und eine Abtastrate der Downsampling-Verarbeitung. Dann wird die Downsampling-Verarbeitung vor und nach der Superauflösungsverarbeitung durch die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B durchgeführt und werden Bilddatenstücke, die unter Verwendung der ersten Umwandlungseinheit 30A und der zweiten Umwandlungseinheit 30B erzeugt wurden, miteinander verbunden. Dadurch werden Bilddaten mit einer beliebigen Auflösung erzeugt. Hier gibt es als ein Verfahren zum miteinander Verbinden der Bilddatenstücke ein Verfahren zum Berechnen eines zusätzlichen Wertes oder eines Durchschnittswerts von Pixelwerten der Bilddaten oder ein Verfahren zum Durchführen einer gewichteten Addition gemäß der Auflösung jeweiliger Bilddaten. In einem Fall, in dem eine gewichtete Addition durchgeführt wird, ist es bevorzugt, einen Gewichtswert von Bilddaten mit einer höheren Auflösung unter zu kombinierenden Bilddatenstücken zu erhöhen.
Das Verfahren des miteinander Verbindens der Bilddatenstücke kann basierend auf einer Korrespondenzbeziehung zwischen Bilddaten mit einer im Voraus gelernten ersten Auflösung und den Bilddaten mit einer zweiten Auflösung, die höher als die erste Auflösung ist, bestimmt werden.
Als nächstes wird Lernen des Verfahrens zum miteinander Verbinden der Bilddatenstücke beschrieben. 7 ist ein Blockdiagramm, das eine Konfiguration extrahiert und zeigt, die sich auf Lernen in der Vorrichtung zur Superauflösungsverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung bezieht.
Wie in 7 gezeigt, erfasst die Lerneinheit 28 in einem Fall eines Durchführens eines Lernens der Umwandlungseinheit 30 den Datensatz zum Lernen TD1, der den Satz der Bilddaten PL mit einer ersten Auflösung und der Bilddaten PH mit einer zweiten Auflösung, die höher als die erste Auflösung ist, enthält.
Die Lerneinheit 28 vergleicht die Bilddaten PH mit einer zweiten Auflösung mit den Bilddaten, die in einem Fall eines Änderns der Bilddaten PL mit einer ersten Auflösung, eines Zeitpunkts eines Downsamplings, einer Downsampling-Rate und des Datenverarbeitungsverfahrens in einem Fall, in dem die von der ersten Umwandlungseinheit 30A und der zweiten Umwandlungseinheit 30B erzeugten Bilddatenstücke miteinander verbunden sind, erzeugt wurden, und führt Lernen der Umwandlungseinheit 30 durch, so dass eine Merkmalsmenge der Ausgabe der Umwandlungseinheit 30 im Wesentlichen gleich einer Merkmalsmenge der korrekten Antwortdaten ist oder eine Differenz zwischen den beiden Merkmalsmengen gleich oder kleiner als ein zulässiger Schwellenwert ist.
Als nächstes wird ein Verfahren zur Superauflösungsverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 8 beschrieben. 8 ist ein Flussdiagramm, das das Verfahren zur Superauflösungsverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
Die Datenerfassungseinheit 22 erfasst die Eingabedaten P1 einschließlich Bilddaten, die von einer Bildgebungsvorrichtung abgebildet wurden, und speichert die Eingabedaten P1 in der Aufzeichnungseinheit 18.
In einem Fall, in dem ein Befehl zum Starten der Superauflösungsverarbeitung über die Bedienungseinheit 14 eingegeben wird, erfasst die Datenerfassungseinheit 22 Bilddaten, die der Superauflösungsverarbeitung unterzogen werden sollen, von der Aufzeichnungseinheit 18 und gibt die Bilddaten in die Einheit 24 zur Superauflösungsverarbeitung ein (Schritt S20).
Als nächstes stellt die Verarbeitungseinheit 34 in einem Fall, in dem die Eingabe zum Einstellen der erforderlichen Ausgabe der Ausgabedaten nach der Superauflösungsverarbeitung über die Bedienungseinheit 14 empfangen wird, die erforderliche Ausgabe der Ausgabedaten ein (Schritt S22). Dann bestimmt die Verarbeitungseinheit 34 eine Umwandlungseinheit, die für die Superauflösungsverarbeitung verwendet wird, den Ausführungszeitpunkt und die Abtastrate der Downsampling-Verarbeitung und das Datenverarbeitungsverfahren basierend auf der Auflösung der Eingabedaten, der erforderlichen Ausgabe und den Skalierungsfaktoren der Umwandlungseinheit 30A und der zweiten Umwandlungseinheit 30B (Schritt S24: Verarbeitungsschritt) und führt die Superauflösungsverarbeitung unter Verwendung der Umwandlungseinheit 30 und der Downsampling-Einheit 32 durch (Schritt S26). Die Bilddaten der erforderlichen Ausgabe, die durch die Superauflösungsverarbeitung erzeugt wurden, werden von der Einheit 24 zur Superauflösungsverarbeitung an die Anzeigeeinheit 20 ausgegeben und angezeigt (Schritt S28: Umwandlungsschritt und Downsampling-Schritt).
[Anwendungsbeispiel der zweiten Ausführungsform zur Superauflösungsverarbeitung von Tomographiebilddaten]
Nachstehend wird eine Superauflösungsverarbeitung in einer Richtung senkrecht zu einem Querschnitt von Tomographiebilddaten (CT-Bilddaten) beschrieben.

Tabelle 2 zeigt ein Beispiel einer Verarbeitung eines Falls, in dem die Skalierungsfaktoren der ersten Umwandlungseinheit 30A und der zweiten Umwandlungseinheit 30B jeweils 4 und 2 betragen. In Tabelle 2 sind die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B als Modelle 1 bzw. 2 beschrieben. [0088] [Tabelle 2]

Beispiel	Eingabe/erforderliche Ausgabe	Vorverarbeitung	Modell	Nachverarbeitung
F	Eingabe: 2 mm Erforderliche Ausgabe: 1 mm	Nicht durchgeführt	Nur Modell 2	Nicht durchgeführt
G	Eingabe: 2 mm Erforderliche Ausgabe: 1 mm	Nicht durchgeführt	Modell 1 und Modell 2	Ausgabe von Modell 1 wird einem Downsampling auf 1 mm unterzogen und Durchschnittswert wird berechnet
H	Eingabe: 3 mm Erforderliche Ausgabe. 1 mm	Nicht durchgeführt	Modell 1 und Modell 2	Ausgaben von Modell 1 und Modell 2 werden einem Downsampling unterzogen und gewichtete Summe wird berechnet
I	Eingabe: 3 mm Erforderliche Ausgabe. 1 mm	Nicht durchgeführt	Modell 1 und Modell 2	Ausgabedaten werden aus jedem Ergebnis gemäß durch Lernen bestimmtem Verbindungsverfahren erzeugt

In Beispiel F und Beispiel G von Tabelle 2 wird eine Schichtdicke einer erforderlichen Ausgabe auf 1 mm eingestellt, während eine Schichtdicke der in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Tomographiebilddaten 2 mm beträgt.
In Beispiel F beträgt der Skalierungsfaktor für die Superauflösungsverarbeitung in der zweiten Umwandlungseinheit 30B 2. Daher führt die Verarbeitungseinheit 34 die Superauflösungsverarbeitung der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 2 mm durch die zweite Umwandlungseinheit 30B durch, wodurch sie Tomographiebilddaten mit einer Schichtdicke von 1 mm, die die erforderliche Ausgabe sind, erzeugt. Daher wird ein Downsampling durch die Downsampling-Einheit 32 nicht vor oder nach einer Umwandlung durchgeführt oder wird die Verarbeitung durch die Downsampling-Einheit 32 wird als Identitätsumwandlung angesehen.
In Bezug darauf führt die Verarbeitungseinheit 34 in Beispiel G die Superauflösungsverarbeitung der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 2 mm durch die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B durch, wodurch sie Tomographiebilddaten mit einer Schichtdicke von 0,5 mm und Tomographiebilddaten mit einer Schichtdicke von 1 mm erzeugt. Dann führt die Verarbeitungseinheit 34 die Downsampling-Verarbeitung mit einer Downsampling-Rate von 1/2 der Tomographiebilddaten mit einer Schichtdicke von 0,5 mm durch, die von der ersten Umwandlungseinheit 30A erzeugt wurden, und erzeugt Tomographiebilddaten mit einer Schichtdicke von 1 mm. Als nächstes erzeugt die Verarbeitungseinheit 34 ein Durchschnittsbild der Tomographiebilddaten, die durch Durchführen der Downsampling-Verarbeitung nach einer Umwandlung durch die erste Umwandlungseinheit 30A erzeugt wurden, und der Tomographiebilddaten, die durch die zweite Umwandlungseinheit 30B erzeugt wurden. Hier kann das Durchschnittsbild zum Beispiel erzeugt werden, indem ein Durchschnittswert von Pixelwerten der Tomographiebilddaten, die durch Durchführen der Downsampling-Verarbeitung nach einer Umwandlung durch die erste Umwandlungseinheit 30A erzeugt wurden, und der Tomographiebilddaten, die durch der zweiten Umwandlungseinheit 30B erzeugt wurden, berechnet wird, oder kann erzeugt werden, indem ein gewichteter Durchschnitt berechnet wird. Auch in Beispiel G ist es möglich, Tomographiebilddaten mit einer Schichtdicke von 1 mm zu erzeugen, die die erforderliche Ausgabe sind.
In Beispiel H und Beispiel I von Tabelle 2 wird eine Schichtdicke einer erforderlichen Ausgabe auf 1 mm eingestellt, während eine Schichtdicke der in die Einheit 24 zur Superauflösungsverarbeitung eingegebenen Tomographiebilddaten 3 mm beträgt.
Die Verarbeitungseinheit 34 führt in Beispiel H und Beispiel I die Superauflösungsverarbeitung der eingegebenen Tomographiebilddaten mit einer Schichtdicke von 3 mm durch die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B durch, wodurch sie Tomographiebilddaten mit einer Schichtdicke von 0,75 mm und Tomographiebilddaten mit einer Schichtdicke von 1,5 mm erzeugt.
Als nächstes führt die Verarbeitungseinheit 34 in Beispiel H die Downsampling-Verarbeitung mit einer Downsampling-Rate von 1/2 der Tomographiebilddaten mit einer Schichtdicke von 0,5 mm durch, die von der ersten Umwandlungseinheit 30A erzeugt wurden, und erzeugt Tomographiebilddaten mit einer Schichtdicke von 1 mm. Als nächstes erzeugt die Verarbeitungseinheit 34 ein zusammengesetztes Bild, indem sie eine gewichtete Addition entsprechend jeder Schichtdicke der Tomographiebilddaten, die durch Durchführen der Downsampling-Verarbeitung nach einer Umwandlung durch die erste Umwandlungseinheit 30A erzeugt wurden, und der Tomographiebilddaten, die durch die zweite Umwandlungseinheit 30B erzeugt wurden, durchführt. Das zusammengesetzte Bild kann erzeugt werden, indem ein gewichteter Additionswert oder ein gewichteter Durchschnittswert von Pixelwerten der Tomographiebilddaten, die durch Durchführen der Downsampling-Verarbeitung nach einer Umwandlung durch die erste Umwandlungseinheit 30A erzeugt wurden, und der Tomographiebilddaten, die durch die zweite Umwandlungseinheit 30B erzeugt wurden, berechnet wird.
In Beispiel H kann das zusammengesetzte Bild erzeugt werden, indem eine gewichtete Addition gemäß jeder Schichtdicke durchgeführt wird, ohne die Downsampling-Verarbeitung der Tomographiebilddaten mit einer Schichtdicke von 0,75 mm und der Tomographiebilddaten mit einer Schichtdicke von 1,5 mm durchzuführen, die durch die erste Umwandlungseinheit 30A bzw. die zweite Umwandlungseinheit 30B erzeugt wurden.
Andererseits wird in Beispiel I das zusammengesetzte Bild gemäß einem Verbindungsverfahren erzeugt, das durch Lernen unter Verwendung der Tomographiebilddaten mit einer Schichtdicke von 0,75 mm und der Tomographiebilddaten mit einer Schichtdicke von 1,5 mm bestimmt wird, die durch die erste Umwandlungseinheit 30A bzw. die zweite Umwandlungseinheit 30B erzeugt wurden.
Gemäß diesen Beispielen ist es unter Verwendung der zwei Umwandlungseinheiten und der Downsampling-Einheit 32 in Kombination möglich, Tomographiebilddaten mit einer gewünschten Schichtdicke unabhängig von einer Schichtdicke der eingegebenen Tomographiebilddaten zu erzeugen.
In der zweiten Ausführungsform beträgt die Anzahl der Umwandlungseinheiten zwei, aber die Anzahl der Umwandlungseinheiten ist nicht darauf beschränkt und kann drei oder mehr betragen. Ferner können in der zweiten Ausführungsform beispielsweise die erste Umwandlungseinheit 30A und die zweite Umwandlungseinheit 30B in Reihe miteinander verbunden sein und können die durch die erste Umwandlungseinheit 30A umgewandelten Bilddaten durch die zweite Umwandlungseinheit 30B weiter umgewandelt werden.
In der vorliegenden Ausführungsform kann bei zweidimensionalen Bilddaten durch Ändern von mindestens einer Umwandlungseinheit, die für Superauflösungsverarbeitung verwendet wird, oder einer Downsampling-Rate in jeweils einer x-Achsenrichtung und einer y-Achsenrichtung senkrecht zu der x-Achse ein Skalierungsfaktor für die Superauflösungsverarbeitung für jede Achsenrichtung geändert werden. Selbst bei dreidimensionalen Bilddaten kann durch Ändern von mindestens einer Umwandlungseinheit, die für die Superauflösungsverarbeitung verwendet wird, oder einer Downsampling-Rate in jeder Achsenrichtung eines rechtwinkligen xyz-Koordinatensystems ein Skalierungsfaktor für die Superauflösungsverarbeitung für jede Achsenrichtung geändert werden.
[Bezüglich Erfindung des Programms]
Die vorliegende Erfindung kann auch als ein Programm (Programm zur Superauflösungsverarbeitung), das einen Computer veranlasst, die oben beschriebenen Arten von Verarbeitungen (Umwandlungsfunktion, Downsampling-Funktion und Verarbeitungsfunktion) zu realisieren, oder ein nicht vorübergehendes Aufzeichnungsmedium oder ein Programmprodukt, das ein solches Programm speichert, realisiert werden. Durch Anwenden eines solchen Programms auf einen Computer wird es für Berechnungsmittel, Aufzeichnungsmittel und dergleichen des Computers möglich, eine Funktion zu realisieren, die jedem Schritt des Verfahrens zur Superauflösungsverarbeitung gemäß der vorliegenden Ausführungsform entspricht.
In jeder Ausführungsform kann eine Hardwarestruktur einer Verarbeitungseinheit, die verschiedene Arten von Verarbeitungen ausführt, als verschiedene nachstehend beschriebene Prozessoren realisiert werden. Die verschiedenen Prozessoren beinhalten eine Zentraleinheit (central processing unit, CPU), die ein Allzweckprozessor ist, der Software (Programme) ausführt, um als verschiedene Verarbeitungseinheiten zu fungieren, eine programmierbare logische Schaltung (programmable logic device, PLD), die ein Prozessor ist, der in der Lage ist, eine Schaltungskonfiguration nach Herstellung zu ändern, wie beispielsweise ein Field Programmable Gate Array (FPGA), und eine exklusive elektrische Schaltung, die ein Prozessor mit einer Schaltungskonfiguration ist, die ausschließlich zum Ausführen eines bestimmten Prozesses entworfen wurde, wie beispielsweise eine anwendungsspezifische integrierte Schaltung (application specific integrated circuit, ASIC).
Eine Verarbeitungseinheit kann mit einem dieser verschiedenen Prozessoren konfiguriert werden oder kann mit zwei oder mehr gleichen oder verschiedenen Prozessoren (zum Beispiel mehrere FPGAs oder eine Kombination aus einer CPU und einem FPGA) konfiguriert werden. Darüber hinaus können mehreren Verarbeitungseinheiten mit einem Prozessor konfiguriert werden. Ein erstes Beispiel eines Konfigurierens mehrerer Verarbeitungseinheiten mit einem Prozessor ist derart, dass ein Prozessor mit einer Kombination aus einer oder mehreren CPUs und einer Software konfiguriert ist und der Prozessor als die mehreren Verarbeitungseinheiten fungiert, wie durch einen Computer, wie beispielweise einen Client oder einen Server, dargestellt. Ein zweites Beispiel davon ist derart, dass ein Prozessor verwendet wird, der die Funktion des gesamten Systems einschließlich der mehreren Verarbeitungseinheiten unter Verwendung eines Chips mit integrierter Schaltung (integrated circuit, IC) realisiert, wie durch ein System-on-Chip (SoC) oder dergleichen dargestellt. Wie oben beschrieben werden die verschiedenen Verarbeitungseinheiten unter Verwendung einer oder mehrerer der obigen verschiedenen Prozessoren als die Hardwarestruktur konfiguriert.
Darüber hinaus ist die Hardwarestruktur der verschiedenen Prozessoren genauer gesagt eine elektrische Schaltung, in der Schaltungselemente wie Halbleiterelemente kombiniert sind. Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Superauflösungsverarbeitung, in der ein Prozessor eine Superauflösungsverarbeitung von Eingabedaten durchführt, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von dem Prozessor ausgegebenen Daten zu den in den Prozessor eingegebenen Daten festgelegt ist, eine Downsampling-Verarbeitung der in den Prozessor eingegebenen Daten oder der von dem Prozessor ausgegebenen Daten durchführt und die Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis anpasst.
Bezugszeichenliste

10, 10A: Vorrichtung zur Superauflösungsverarbeitung
12: Steuereinheit
14: Bedienungseinheit
16: Speicher
18: Aufzeichnungseinheit
20: Anzeigeeinheit
22: Datenerfassungseinheit
24: Einheit zur Superauflösungsverarbeitung
26: Kommunikationsschnittstelle
28: Lerneinheit
30: Umwandlungseinheit
30A: erste Umwandlungseinheit
30B: zweite Umwandlungseinheit
32: Downsampling-Einheit
34: Verarbeitungseinheit
100: Bildgebungsvorrichtung
S10 bis S28, S160 bis S168: jeweiliger Schritt des Verfahrens zur Superauflösungsverarbeitung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Dong, C. et al., „Image Super-Resolution Using Deep Convolutional Networks“, 2014 [0002]
Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network“, [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL: https://arxiv.org/abs/1705.05084> [0002, 0004]
Ren, H. et al., „Image Super Resolution Based on Fusing Multiple Convolution Neural Networks“, 2017 [0002]
Shi, W. et al., „Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module“, 2017 [0002]
Jia, X. et al., „Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network“, [online], 2017, arXiv, [Suche vom 19. Februar 2018], Internet <URL https://arxiv.org/abs/1705.05084> [0002]

Claims

Vorrichtung zur Superauflösungsverarbeitung, umfassend: eine Umwandlungseinheit, die eine Superauflösungsverarbeitung von Eingabedaten durchführt, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von der Umwandlungseinheit ausgegebenen Daten zu den in die Umwandlungseinheit eingegebenen Daten festgelegt ist; eine Downsampling-Einheit, die eine Downsampling-Verarbeitung der in die Umwandlungseinheit eingegebenen Daten oder der von der Umwandlungseinheit ausgegebenen Daten durchführt; und eine Verarbeitungseinheit, die die Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis anpasst.
Vorrichtung zur Superauflösungsverarbeitung nach Anspruch 1, ferner umfassend: eine Einstelleinheit, die eine erforderliche Auflösung der Ausgabedaten einstellt, wobei die Verarbeitungseinheit die Abtastrate basierend auf dem Auflösungsverhältnis so anpasst, dass die Auflösung der Ausgabedaten mit der erforderlichen Auflösung übereinstimmt.
Vorrichtung zur Superauflösungsverarbeitung nach Anspruch 1 oder 2, wobei die Umwandlungseinheit aus mehreren Umwandlungseinheiten besteht, die sich bezüglich dem Auflösungsverhältnis voneinander unterscheiden, und die Verarbeitungseinheit die Ausgabedaten durch Kombinieren von Datenstücken, die von den Umwandlungseinheiten ausgegeben werden, erzeugt.
Vorrichtung zur Superauflösungsverarbeitung nach Anspruch 3, wobei die Verarbeitungseinheit ein Verfahren des Kombinierens der von den Umwandlungseinheiten ausgegebenen Datenstücke basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen, bestimmt.
Vorrichtung zur Superauflösungsverarbeitung nach einem der Ansprüche 1 bis 4, wobei die Verarbeitungseinheit die Abtastrate basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen, anpasst.
Vorrichtung zur Superauflösungsverarbeitung nach einem der Ansprüche 1 bis 5, wobei die Umwandlungseinheit die Superauflösungsverarbeitung basierend auf einer Korrespondenzbeziehung zwischen Daten mit einer im Voraus gelernten ersten Auflösung und Daten mit einer zweiten Auflösung, die eine höhere Auflösung als die Daten mit einer ersten Auflösung aufweisen, durchführt.
Vorrichtung zur Superauflösungsverarbeitung nach einem der Ansprüche 1 bis 6, wobei die Umwandlungseinheit eine Verarbeitung des Erhöhens einer räumlichen Auflösung der in die Umwandlungseinheit eingegebenen Daten durchführt.
Vorrichtung zur Superauflösungsverarbeitung nach Anspruch 7, wobei in einem Fall, in dem die in die Umwandlungseinheit eingegebenen Daten zweidimensionale oder dreidimensionale Bilddaten sind, die Umwandlungseinheit eine Verarbeitung des Erhöhens einer Auflösung der Bilddaten in mindestens einer Richtung durchführt.
Vorrichtung zur Superauflösungsverarbeitung nach einem der Ansprüche 1 bis 8, wobei in einem Fall, in dem die in die Umwandlungseinheit eingegebenen Daten Bewegtbilddaten sind, die Umwandlungseinheit eine Verarbeitung des Erhöhens einer Bildrate der Bewegtbilddaten durchführt.
Verfahren zur Superauflösungsverarbeitung, umfassend: einen Umwandlungsschritt zum Durchführen einer Superauflösungsverarbeitung von Eingabedaten durch eine Umwandlungseinheit, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der von der Umwandlungseinheit ausgegebenen Daten zu den in die Umwandlungseinheit eingegebenen Daten festgelegt ist; einen Downsampling-Schritt zum Durchführen einer Downsampling-Verarbeitung der in die Umwandlungseinheit eingegebenen Daten oder der von der Umwandlungseinheit ausgegebenen Daten; und einen Verarbeitungsschritt zum Anpassen der Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis.
Programm zur Superauflösungsverarbeitung, das einen Computer veranlasst, zu realisieren: eine Umwandlungsfunktion des Durchführens einer Superauflösungsverarbeitung von Eingabedaten, um Daten mit einer höheren Auflösung als die Eingabedaten auszugeben, wobei ein Auflösungsverhältnis der Ausgabedaten zu den Eingabedaten festgelegt ist; eine Downsampling-Funktion des Durchführens einer Downsampling-Verarbeitung der Daten vor einer Umwandlung durch die Umwandlungsfunktion oder der Daten nach einer Umwandlung durch die Umwandlungseinheit; und eine Verarbeitungsfunktion des Anpassens der Auflösung der Ausgabedaten durch Anpassen einer Abtastrate bei der Downsampling-Verarbeitung basierend auf dem Auflösungsverhältnis.