DE112021004549T5 - Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren - Google Patents

Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren Download PDF

Info

Publication number
DE112021004549T5
DE112021004549T5 DE112021004549.0T DE112021004549T DE112021004549T5 DE 112021004549 T5 DE112021004549 T5 DE 112021004549T5 DE 112021004549 T DE112021004549 T DE 112021004549T DE 112021004549 T5 DE112021004549 T5 DE 112021004549T5
Authority
DE
Germany
Prior art keywords
light
image
imaging element
image signal
medical imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021004549.0T
Other languages
English (en)
Inventor
Yasuaki Takahashi
Takeshi Miyai
Satoshi Nagae
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of DE112021004549T5 publication Critical patent/DE112021004549T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/12Beam splitting or combining systems operating by refraction only
    • G02B27/126The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/117Adjustment of the optical path length
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/14Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein medizinisches Bildgebungssystem, eine medizinische Bildgebungsvorrichtung und ein Operationsverfahren, die es ermöglichen, ein medizinisches Bild zu erfassen, in dem ein Operationsgebiet besser beobachtet werden kann.Das medizinische Bildgebungssystem weist Folgendes auf: ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt; ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt; ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt. Dann wird die optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement so eingestellt, dass sie kürzer als die optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist. Die vorliegende Technologie kann auf z. B. ein medizinisches Bildgebungssystem angewandt werden, das zum Erfassen eines EDOF-Bildes in der Lage ist.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft ein medizinisches Bildgebungssystem, eine medizinische Bildgebungsvorrichtung und ein Operationsverfahren und insbesondere ein medizinisches Bildgebungssystem, eine medizinische Bildgebungsvorrichtung und ein Operationsverfahren, die es ermöglichen, ein medizinisches Bild zu erfassen, in dem ein Operationsgebiet besser beobachtet werden kann.
  • HINTERGRUND
  • Üblicherweise erlangt eine medizinische Beobachtungsvorrichtung, wie etwa ein Endoskop oder ein Mikroskop, ein Bild mit einer geringen Schärfentiefe. Andererseits ist es erforderlich, ein medizinisches Bild mit einer tiefen Schärfentiefe zu erlangen, weil das Operationsgebiet bei einer Operation unter Verwendung eines Endoskops, eines Mikroskops oder dergleichen oft tief ist.
  • In Anbetracht davon wurde ein Endoskop, ein Mikroskop oder dergleichen, das eine Schärfentiefe unter Verwendung eines optischen EDOF-Systems (EDOF: Extended Depth Of Field - erweiterte Schärfentiefe) mit einer Phasenmaske erweitert, um die Schärfentiefe zu erhöhen, vorgeschlagen, wie in Patentdokument 1 offenbart.
  • ZITATLISTE
  • PATENTDOKUMENT
  • Patentdokument 1: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2017-158764
  • KURZDARSTELLUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
  • Indessen werden die Auflösung und die Schärfentiefe durch die Blendenzahl eines optischen Systems bestimmt und sie weisen eine Kompromissbeziehung auf. Das heißt, dass, wenn die Blendenzahl für Helligkeit eingestellt wird und die Auflösung erhöht wird, ein Bild mit einer geringen Schärfentiefe erhalten wird, so dass es nicht möglich ist, eine Bildqualität zu erhalten, die in der Praxis zum Beobachten des Operationsgebiets ausreicht. Daher ist es erforderlich, ein medizinisches Bild zu erfassen, das sowohl eine hohe Auflösung als auch eine tiefe Schärfentiefe aufweist und in dem ein Operationsgebiet besser beobachtet werden kann.
  • Die vorliegende Offenbarung erfolgte in Anbetracht des obigen Umstands und sie soll es ermöglichen, ein medizinisches Bild zu erfassen, in dem ein Operationsgebiet besser beobachtet werden kann.
  • LÖSUNG DER PROBLEME
  • Ein medizinisches Bildgebungssystem und eine medizinische Bildgebungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung weisen Folgendes auf: ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt; ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt; ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt, wobei eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • Ein Operationsverfahren gemäß einem Aspekt der vorliegenden Offenbarung ist ein Operationsverfahren für ein medizinisches Bildgebungssystem, wobei das Verfahren Folgendes aufweist: Empfangen von Licht, das durch Teilen von einfallendem Licht, das von einer Halterungsoberfläche einfällt, und Ausgeben eines ersten Bildsignals durch ein erstes Bildgebungselement erhalten wird; Empfangen von Licht, das separat von dem Licht geteilt wurde, und Ausgeben eines zweiten Bildsignals durch ein zweites Bildgebungselement; und Durchführen einer Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei das medizinische Bildgebungselement derart konfiguriert ist, dass eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • Gemäß einem Aspekt der vorliegenden Offenbarung wird Licht, das durch Teilen von einfallendem Licht erhalten wird, das von einer Halterungsoberfläche einfällt empfangen und wird ein erstes Bildsignal von dem ersten Bildgebungselement ausgegeben. Ferner wird Licht, das separat von dem Licht geteilt wurde, empfangen und wird ein zweites Bildsignal von dem zweiten Bildgebungselement ausgegeben. Ferner wird eine Schärfentiefenerweiterungsverarbeitung zum Erzeugen eines Bildes mit erweiterter Schärfentiefe, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt. Dann wird die optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement so eingestellt, dass sie kürzer als die optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems, auf das die vorliegende Technologie angewandt wird, gemäß einer ersten Ausführungsform veranschaulicht.
    • 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems gemäß einer zweiten Ausführungsform veranschaulicht.
    • 3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems gemäß einer dritten Ausführungsform veranschaulicht.
    • 4 ist ein Flussdiagramm zum Beschreiben eines Verfahrens zum Erfassen eines medizinischen Bildes.
    • 5 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung veranschaulicht.
    • 6 ist ein Diagramm, das ein Verwendungsbeispiel eines Bildsensors veranschaulicht.
    • 7 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines Endoskopsystems veranschaulicht.
    • 8 ist ein Blockdiagramm, das ein Beispiel für eine funktionale Konfiguration eines Kamerakopfes und einer Kamerasteuereinheit (CCU), die in 7 veranschaulicht sind, veranschaulicht.
    • 9 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines mikroskopischen Chirurgiesystems veranschaulicht.
  • WEISE ZUM AUSFÜHREN DER ERFINDUNG
  • Spezielle Ausführungsformen, auf die die vorliegende Technologie angewandt wird, werden nachfolgend ausführlich unter Bezugnahme auf die Zeichnungen beschrieben.
  • <Erstes Konfigurationsbeispiel des medizinischen Bildgebungssystems>
  • 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems, auf das die vorliegende Technologie angewandt wird, gemäß einer ersten Ausführungsform veranschaulicht.
  • Es wird angenommen, dass ein medizinisches Bildgebungssystem 11, das in 1 veranschaulicht ist, für zum Beispiel ein Endoskop oder ein chirurgisches Mikroskop verwendet wird, und es weist eine medizinische Bildgebungsvorrichtung 12 und eine Signalverarbeitungsvorrichtung 13 auf. Zum Beispiel tritt bei dem medizinischen Bildgebungssystem 11 Licht von einem (nicht veranschaulichten) Operationsgebiet in die medizinische Bildgebungsvorrichtung 12 entlang einer optischen Achse ein, die durch eine gestrichpunktete Linie angegeben ist, und ein Bild, das durch Bildgebung des Operationsgebiets erhalten wird, wird von der medizinischen Bildgebungsvorrichtung 12 an die Signalverarbeitungsvorrichtung 13 geliefert. Dann wird ein EDoF-4K-Bild, das als Ergebnis des Durchführens einer Schärfentiefenerweiterungsverarbeitung in der Signalverarbeitungsvorrichtung 13 erhalten wird, von dem medizinischen Bildgebungssystem 11 ausgegeben.
  • Die medizinische Bildgebungsvorrichtung 12 weist eine Halterung 21, ein optisches Teilungssystem 22 und Bildgebungsmodule 23-1 und 23-2 auf.
  • Die Halterung 21 ist zum Beispiel ein Verbindungsteil zum Verbinden eines Abbildungsobjektivs, das eine Fokussierungsfunktion zum Fokussieren auf einen gewissen betroffenen Teil in dem Operationsgebiet aufweist, mit der medizinischen Bildgebungsvorrichtung 12.
  • Das optische Teilungssystem 22 teilt Licht, das über die Halterung 21 auf die medizinische Bildgebungsvorrichtung 12 einfällt, in Licht, das auf das Bildgebungsmodul 23-1 einfallen soll, und Licht, das auf das Bildgebungsmodul 23-2 einfallen soll.
  • Das optische Teilungssystem 22 weist ein erstes Prisma 31, ein zweites Prisma 32 und einen Halbspiegel 33 auf. Zum Beispiel ist in dem optischen Teilungssystem 22 der Halbspiegel 33 zwischen dem ersten Prisma 31 und dem zweiten Prisma 32 angeordnet, wodurch Licht, das durch den Halbspiegel 33 reflektiert wird, durch das erste Prisma 31 auf das Bildgebungsmodul 23-2 einfällt, und Licht, das durch den Halbspiegel 33 transmittiert wird, durch das zweite Prisma 32 auf das Bildgebungsmodul 23-1 einfällt.
  • Der Halbspiegel 33 kann so eingestellt sein, dass der Reflexionsgrad und der Transmissionsgrad gleich sind (50:50). Der Halbspiegel 33 kann auch so eingestellt sein, dass zum Beispiel der Reflexionsgrad höher als der Transmissionsgrad ist oder der Reflexionsgrad niedriger als der Transmissionsgrad ist. Durch Verwenden des Halbspiegels 33, in dem der Reflexionsgrad höher als der Transmissionsgrad eingestellt ist, kann eine Menge an Licht, das in das Bildgebungsmodul 23-2 eintritt, größer als eine Menge an Licht sein, das in das Bildgebungsmodul 23-1 eintritt. Durch Verwenden des Halbspiegels 33, in dem der Reflexionsgrad niedriger als der Transmissionsgrad eingestellt ist, kann eine Menge an Licht, das in das Bildgebungsmodul 23-1 eintritt, größer als eine Menge an Licht sein, das in das Bildgebungsmodul 23-2 eintritt. Es wird angemerkt, dass es grundsätzlich schwierig ist, den Reflexionsgrad und den Transmissionsgrad des Halbspiegels 35 variabel zu machen, und daher ist das Einstellen des Reflexionsgrades und des Transmissionsgrades ein Parameteranpassungsgegenstand in der Gestaltungsphase.
  • Das Bildgebungsmodul 23-1 weist ein Bildgebungselement 43-1 und ein Filter 44-1 auf, die in einem in einem Raum untergebracht sind, der durch ein Gehäuse 41-1 und ein Deckglas 42-1 abgeschlossen ist. Außerdem weist das Bildgebungsmodul 23-2 eine ähnliche Konfiguration auf.
  • Das Filter 44-1 des Bildgebungsmoduls 23-1 ist ein transparentes Filter (oder das Filter ist möglicherweise nicht bereitgestellt), das Licht in allen Wellenlängenbändern transmittiert, und das Bildgebungselement 43-1 erfasst ein Leuchtdichtenbild (Monochrombild) über das Filter 44-1. Ein Filter 44-2 des Bildgebungsmoduls 23-2 ist ein RGB-Filter mit einer Bayer-Anordnung, wie veranschaulicht, und ein Bildgebungselement 43-2 erfasst ein Farbbild über das RGB-Filter.
  • Außerdem ist die medizinische Bildgebungsvorrichtung 12 derart konfiguriert, dass eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23-2 kürzer als eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23-1 ist. Mit dieser Konfiguration wird, wenn die Brennweite so angepasst wird, dass die nahe Umgebung des gewünschten betroffenen Teils in dem Leuchtdichtenbild fokussiert wird, das durch das Bildgebungsmodul 23-1 erfasst wird, der Brennpunkt in dem Bild verschoben, das durch das Bildgebungsmodul 23-2 erfasst wird. Das heißt, die fokussierte Position befindet sich an einem näheren Punkt mit Bezug auf den gewünschten betroffenen Teil in dem Farbbild, das durch das Bildgebungsmodul 23-2 erfasst wird.
  • Nachfolgend wird gegebenenfalls ein Leuchtdichtenbild, das durch das Bildgebungsmodul 23-1 erfasst wird, als ein Mittel-Leuchtdichtenbild bezeichnet, und wird ein Farbbild, das durch das Bildgebungsmodul 23-2 erfasst wird, als ein Nahfarbbild bezeichnet. Daher werden bei dem medizinischen Bildgebungssystem 11 das Mittel-Leuchtdichtenbild, das von dem Bildgebungsmodul 23-1 ausgegeben wird, und das Nah-Farbbild, das von dem Bildgebungsmodul 23-2 ausgegeben wird, von der medizinischen Bildgebungsvorrichtung 12 an die Signalverarbeitungsvorrichtung 13 geliefert.
  • Die Signalverarbeitungsvorrichtung 13 führt eine Schärfentiefenerweiterungsverarbeitung zum Erzeugen eines EDOF-Bildes, in dem die Schärfentiefe erweitert wird, unter Verwendung des Mittel-Leuchtdichtenbildes und des Nah-Farbbildes durch.
  • Zuerst detektiert die Signalverarbeitungsvorrichtung 13 die Stationarität aus dem Mittel-Leuchtdichtenbild und führt ein Demosaicing (Entwicklungsverarbeitung) an dem Nah-Farbbild unter Verwendung des Ergebnisses durch. Die Signalverarbeitungsvorrichtung 13 führt die Stationaritätsdetektion wie folgt durch. Speziell berechnet die Signalverarbeitungsvorrichtung 13 einen Unterschied zwischen angrenzenden Pixeln in horizontaler, vertikaler und schräger Richtung und bestimmt, dass eine Stationarität (Kantenrichtung) in der Richtung erscheint, in der der Unterschied zwischen den Pixeln minimiert wird. Zum Beispiel ist im Fall einer horizontalen Kante der Unterschied zwischen Pixeln in der horizontalen Richtung am kleinsten. Die Signalverarbeitungsvorrichtung 13 kann die Genauigkeit durch Verwenden des Mittel-Leuchtdichtenbildes mit allen Pixeln in einer schrägen Linie oder dergleichen an dem Punkt, an dem die Leistungsfähigkeit eines Demosaicing bestimmt wird, im Vergleich zu einem Fall des Verwendens eines grünen Schachbrettmusters in der Bayer-Anordnung verbessern.
  • Als Nächstes wandelt die Signalverarbeitungsvorrichtung 13 das Nah-Farbbild von RGB in YCbCr um und wandelt das Mittel-Leuchtdichtenbild in Y (≈ MONO) um. Dann stellt die Signalverarbeitungsvorrichtung 13 das Bild mit einem höheren Kontrast unter dem Nah-Farbbild und dem Mittel-Leuchtdichtenbild als Y des auszugebenden Bildes ein. Zum Beispiel detektiert die Signalverarbeitungsvorrichtung 13 eine Kante in jedem des Nah-Farbbildes und des Mittel-Leuchtdichtenbildes und bestimmt, dass das Bild mit einer größeren Kante einen höheren Kontrast aufweist.
  • Anschließend gibt die Signalverarbeitungsvorrichtung 13 CbCr aus. Zum Beispiel wird im Fall eines Nah-Farbbildes jeder CbCr als auszugebender CbCr eingestellt. Andererseits wird im Fall des Mittel-Leuchtdichtenbildes ein Prozess (Syntheseprozess) des Berechnens eines Unterschieds des Kontrasts zwischen dem Nah-Farbbild und dem Mittel-Leuchtdichtenbild und des Reduzierens und Beseitigens des berechneten Unterschieds des Kontrasts an CbCr des zweiten Signals durchgeführt, um einen auszugebenden CbCr zu erhalten. Dann führt die Signalverarbeitungsvorrichtung 13 eine Unschärfeverarbeitung des Subtrahierens von Y des Nah-Farbbildes von Y des Mittel-Leuchtdichtenbildes (Y(Mittel) - Y(Nah)) und Addieren des Ergebnisses zu CbCr durch.
  • Die Signalverarbeitungsvorrichtung 13 kann ein EDOF-Bild durch Durchführen der zuvor beschriebenen Schärfentiefenerweiterungsverarbeitung erzeugen.
  • Es wird angemerkt, dass das Verfahren zum Detektieren einer Stationarität aus dem Mittel-Leuchtdichtenbild durch die Signalverarbeitungsvorrichtung 13 oder Parameter in Abhängigkeit von einem durch den Benutzer ausgewählten Modus oder der durch Bilderkennung erhaltenen chirurgischen Situation geändert werden können. Zum Beispiel kann in einem Otolaryngologiemodus die Signalverarbeitungsvorrichtung 13 eine Stationarität basierend auf nur dem Zentrum des Bildes detektieren, weil in diesem Modus oft das Innere einer dünnen Röhren betrachtet wird und der Brennpunkt wahrscheinlich unterschiedlich zwischen der Peripherie des Bildes und dem Zentrum des Bildes ist. Des Weiteren kann die Signalverarbeitungsvorrichtung 13 mit Bilderkennung erkennen, dass das Bild ein chirurgisches Werkzeug, wie etwa eine Zange, in dem Zentrum aufweist, und die Stationarität basierend auf der Peripherie des distalen Endes des chirurgischen Werkzeugs detektieren.
  • Bei dem medizinischen Bildgebungssystem 11 kann das Mittel-Leuchtdichtenbild heller gemacht werden, indem der Reflexionsgrad und Transmissionsgrad des Halbspiegels 33 so eingestellt werden, dass eine Menge an Licht, das in das Bildgebungsmodul 23-1 eintritt, größer als eine Menge an Licht ist, das in das Bildgebungsmodul 23-2 eintritt. Bei dem medizinischen Bildgebungssystem 11 kann das Nah-Farbbild heller gemacht werden, indem der Reflexionsgrad und Transmissionsgrad des Halbspiegels 33 so eingestellt werden, dass eine Menge an Licht, das in das Bildgebungsmodul 23-2 eintritt, größer als eine Menge an Licht ist, das in das Bildgebungsmodul 23-1 eintritt. Wie zuvor beschrieben, kann bei dem medizinischen Bildgebungssystem 11 Rauschen reduziert werden, indem der Reflexionsgrad und der Transmissionsgrad des Halbspiegels 33 gemäß zum Beispiel dem Unterschied der Empfindlichkeit zwischen den Bildgebungsmodulen 23-1 und 23-2 eingestellt werden.
  • <Zweites Konfigurationsbeispiel des medizinischen Bildgebungssystems>
  • 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems, auf das die vorliegende Technologie angewandt wird, gemäß einer zweiten Ausführungsform veranschaulicht. Es wird angemerkt, dass bei einem medizinischen Bildgebungssystem 11A, das in 2 veranschaulicht ist, Komponenten, die gleich jenen bei dem medizinischen Bildgebungssystem 11 in 1 sind, durch die gleichen Bezugsziffern identifiziert werden, und die ausführliche Beschreibung davon wird ausgelassen.
  • Wie in 2 veranschaulicht, weist das medizinische Bildgebungssystem 11A eine medizinische Bildgebungsvorrichtung 12A und eine Signalverarbeitungsvorrichtung 13 auf. Die medizinische Bildgebungsvorrichtung 12A unterscheidet sich von der medizinischen Bildgebungsvorrichtung 12 in 1 darin, dass ein optisches Teilungssystem 22A ein erstes Prisma 31, ein zweites Prisma 32A, einen Halbspiegel 33, ein drittes Prisma 34 und einen Halbspiegel 35 aufweist. Das heißt, dass das optische Teilungssystem 22A Licht, das über die Halterung 21 auf die medizinische Bildgebungsvorrichtung 12 einfällt, in drei Richtungen teilt.
  • Des Weiteren unterscheidet sich die medizinische Bildgebungsvorrichtung 12A von der medizinischen Bildgebungsvorrichtung 12 in 1 darin, dass sie ein Bildgebungsmodul 23-3 zusätzlich zu den Bildgebungsmodulen 23-1 und 23-2 aufweist. Ähnlich dem Bildgebungsmodul 23-2 kann das Bildgebungsmodul 23-3 ein Farbbild erfassen.
  • Bei dem optischen Teilungssystem 22A ist der Halbspiegel 33 zwischen dem ersten Prisma 31 und dem zweiten Prisma 32A angeordnet, so dass durch den Halbspiegel 33 reflektiertes Licht durch das erste Prisma 31 auf das Bildgebungsmodul 23-2 einfällt. Außerdem ist in dem optischen Teilungssystem 22 der Halbspiegel 35 zwischen dem zweiten Prisma 32A und dem dritten Prisma 34 angeordnet, wodurch Licht, das durch den Halbspiegel 35 reflektiert wird, durch das zweite Prisma 32 auf das Bildgebungsmodul 23-3 einfällt, und Licht, das durch den Halbspiegel 35 transmittiert wird, durch das dritte Prisma 34 auf das Bildgebungsmodul 23-1 einfällt.
  • Ähnlich der medizinischen Bildgebungsvorrichtung 12 in 1 kann die medizinische Bildgebungsvorrichtung 12A den Reflexionsgrad und den Transmissionsgrad der Halbspiegel 33 und 35 gemäß einem Unterschied der Empfindlichkeit zwischen den Bildgebungsmodulen 23-1 und 23-3 einstellen.
  • Außerdem ist die medizinische Bildgebungsvorrichtung 12A derart konfiguriert, dass eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23-3 länger als eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23-1 ist. Mit dieser Konfiguration wird, wenn die Brennweite so angepasst wird, dass die nahe Umgebung des gewünschten betroffenen Teils in dem Leuchtdichtenbild fokussiert wird, das durch das Bildgebungsmodul 23-1 erfasst wird, der Brennpunkt in dem Bild verschoben, das durch das Bildgebungsmodul 23-3 erfasst wird. Das heißt, die fokussierte Position befindet sich an einem Punkt weiter von dem gewünschten betroffenen Teil in dem Farbbild entfernt, das durch das Bildgebungsmodul 23-3 erfasst wird.
  • Nachfolgend wird das durch das Bildgebungsmodul 23-3 erfasste Farbbild geeignet als ein Fern-Farbbild bezeichnet. Daher werden bei dem medizinischen Bildgebungssystem 11A das Mittel-Leuchtdichtenbild, das von dem Bildgebungsmodul 23-1 ausgegeben wird, das Nah-Farbbild, das von dem Bildgebungsmodul 23-2 ausgegeben wird, und das Fern-Farbbild, das von dem Bildgebungsmodul 23-3 ausgegeben wird, von der medizinischen Bildgebungsvorrichtung 12A an die Signalverarbeitungsvorrichtung 13 geliefert.
  • Die Signalverarbeitungsvorrichtung 13 führt eine Schärfentiefenerweiterungsverarbeitung zum Erzeugen eines EDOF-Bildes, in dem die Schärfentiefe erweitert wird, unter Verwendung des Mittel-Leuchtdichtenbildes, des Nah-Farbbildes und des Fern-Farbbildes durch, wie bei der Signalverarbeitungsvorrichtung 13 in 1.
  • Es wird angemerkt, dass die medizinische Bildgebungsvorrichtung 12A vier Bildgebungsmodule 23 aufweisen kann, indem ein IR-Bildgebungsmodul (Bildsensor für Lichtquelle mit langer Wellenlänge) hinzugefügt wird. Bei dieser Konfiguration ist das IR-Bildgebungsmodul bevorzugt zwischen dem Bildgebungsmodul 23-1 für ein Mittel-Leuchtdichtenbild und dem Bildgebungsmodul 23-3 für ein Fern-Farbbild angeordnet. Außerdem kann die medizinische Bildgebungsvorrichtung 12A vier Bildgebungsmodule 23 aufweisen, indem ein V-Bildgebungsmodul (Bildsensor für Lichtquelle mit kurzer Wellenlänge) hinzugefügt wird. Bei dieser Konfiguration ist das V-Bildgebungsmodul bevorzugt zwischen dem Bildgebungsmodul 23-1 für ein Fern-Leuchtdichtenbild und dem Bildgebungsmodul 23-2 für ein Fern-Farbbild angeordnet.
  • Außerdem weist die medizinische Bildgebungsvorrichtung 12A bevorzugt eine Beziehung von (B - C) > (C - A) zwischen einer Entfernung A von der Halterungsoberfläche zu dem Bildgebungsmodul 23-2 für ein Nah-Farbbild, einer Entfernung B von der Halterungsoberfläche zu dem Bildgebungsmodul 23-1 für ein Mittel-Leuchtdichtenbild und einer Entfernung C von der Halterungsoberfläche zu dem Bildgebungsmodul 23-3 für ein Fern-Farbbild auf. Das heißt, diese Beziehung gibt an, dass das Bildgebungsmodul 23-1 für ein Mittel-Leuchtdichtenbild auf der fernen Seite mit Bezug auf das Zentrum zwischen dem Bildgebungsmodul 23-2 für ein Nah-Farbbild und dem Bildgebungsmodul 23-3 für ein Fern-Farbbild angeordnet ist. Dies liegt darin begründet, dass ein Fern-Farbbild in den meisten Fällen wichtig ist.
  • <Drittes Konfigurationsbeispiel des medizinischen Bildgebungssystems>
  • 3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines medizinischen Bildgebungssystems, auf das die vorliegende Technologie angewandt wird, gemäß einer dritten Ausführungsform veranschaulicht. Es wird angemerkt, dass bei einem medizinischen Bildgebungssystem 11B, das in 3 veranschaulicht ist, Komponenten, die gleich jenen bei dem medizinischen Bildgebungssystem 11 in 1 sind, durch die gleichen Bezugsziffern identifiziert werden, und die ausführliche Beschreibung davon wird ausgelassen.
  • Wie in 3 veranschaulicht, weist das medizinische Bildgebungssystem 11B eine medizinische Bildgebungsvorrichtung 12B und eine Signalverarbeitungsvorrichtung 13 auf. Die medizinische Bildgebungsvorrichtung 12B unterscheidet sich von der medizinischen Bildgebungsvorrichtung 12 in 1 darin, dass ein optisches Teilungssystem 22 ein erstes Prisma 31, ein zweites Prisma 32B, einen Halbspiegel 33, ein drittes Prisma 34 und einen Halbspiegel 35 aufweist. Das heißt, dass das optische Teilungssystem 22B Licht, das über die Halterung 21 auf die medizinische Bildgebungsvorrichtung 12 einfällt, in drei Richtungen teilt, wie bei dem optischen Teilungssystem 22A in 2.
  • Des Weiteren unterscheidet sich die medizinische Bildgebungsvorrichtung 12B von der medizinischen Bildgebungsvorrichtung 12 in 1 darin, dass sie ein Bildgebungsmodul 23-3 zusätzlich zu den Bildgebungsmodulen 23B-1 und 23-2 aufweist. Ähnlich dem Bildgebungsmodul 23-2 kann das Bildgebungsmodul 23-3 ein Farbbild erfassen. Dann unterscheidet sich das Bildgebungsmodul 23B-1 von dem Bildgebungsmodul 23-1 in 1 darin, dass ein Filter 44B-1 des Bildgebungsmoduls 23B-1 ein RGB-Filter mit einer Bayeranordnung, wie veranschaulicht, ist und ein Bildgebungselement 43-1 ein Farbbild durch das Filter 44B-1 erfasst.
  • Außerdem ist die medizinische Bildgebungsvorrichtung 12B derart konfiguriert, dass eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23-3 länger als eine optische Entfernung von der Halterung 21 zu dem Bildgebungsmodul 23B-1 ist. Mit dieser Konfiguration wird, wenn die Brennweite so angepasst wird, dass die nahe Umgebung des gewünschten betroffenen Teils in dem Farbbild fokussiert wird, das durch das Bildgebungsmodul 23B-1 erfasst wird, der Brennpunkt in dem Bild verschoben, das durch das Bildgebungsmodul 23-3 erfasst wird. Das heißt, die fokussierte Position befindet sich an einem Punkt weiter von dem gewünschten betroffenen Teil in dem Farbbild entfernt, das durch das Bildgebungsmodul 23-3 erfasst wird.
  • Nachfolgend wird gegebenenfalls das Farbbild, das durch das Bildgebungsmodul 23B-1 erfasst wird, als ein Mittel-Farbbild bezeichnet, und wird das Farbbild, das durch das Bildgebungsmodul 23-3 erfasst wird, als ein Fern-Farbbild bezeichnet. Daher werden bei dem medizinischen Bildgebungssystem 11 das Mittel-Farbbild, das von dem Bildgebungsmodul 23B-1 ausgegeben wird, das Nah-Farbbild, das von dem Bildgebungsmodul 23-2 ausgegeben wird, und das Fern-Farbbild, das von dem Bildgebungsmodul 23-3 ausgegeben wird, von dem Bildgebungsmodul 23-2 an die Signalverarbeitungsvorrichtung 13 geliefert.
  • Des Weiteren sind bei der medizinischen Bildgebungsvorrichtung 12B das Bildgebungsmodul 23-3 für ein Fern-Farbbild und das Bildgebungsmodul 23-2 für ein Nah-Farbbild so angeordnet, dass sie um ein Pixel in einer Richtung einer horizontalen Ebene (vertikalen Richtung oder horizontalen Richtung) orthogonal zu der optischen Achse mit Bezug auf das Bildgebungsmodul 23B-1 für ein Mittel-Farbbild angeordnet sind.
  • Die Signalverarbeitungsvorrichtung 13 führt eine Schärfentiefenerweiterungsverarbeitung zum Erzeugen eines EDOF-Bildes, in dem die Schärfentiefe erweitert wird, unter Verwendung des Mittel-Farbbildes, des Nahfarbbildes und des Fern-Farbbildes durch.
  • Zuerst verwendet die Signalverarbeitungsvorrichtung 13 Grün (Gr, Gb) in der Bayer-in dem Mittel-Farbbild, dem Nah-Farbbild und dem Fern-Farbbild, um ein Bild mit dem höchsten Kontrast und ein Bild mit dem zweithöchsten Kontrast auszuwählen. Die hier ausgewählten zwei Bilder sind entweder eine Kombination des Nah-Farbbildes und des Mittel-Farbbildes oder eine Kombination des Mittel-Farbbildes und des Fern-Farbbildes.
  • Als Nächstes detektiert die Signalverarbeitungsvorrichtung 13 eine Stationarität unter Verwendung keines Schachbrettmusters, sondern Bilder aller Pixel, einschließlich Grünpixelwerten, durch Kombinieren von Grün (Gr, Gb) in der Bayer-Anordnung der zwei ausgewählten Bilder.
  • Dann führt die Signalverarbeitungsvorrichtung 13 ein Demosaicing an dem Bild mit dem höchsten Kontrast unter Verwendung des Ergebnisses der Stationaritätsdetektion durch und erzeugt dann RGB und gibt dies aus.
  • Bei dem medizinischen Bildgebungssystem 11B werden der Reflexionsgrad und der Transmissionsgrad des Halbspiegels 33 bevorzugt so eingestellt, dass eine Menge an Licht, das auf das Bildgebungsmodul 23B-1 für ein Mittel-Farbbild einfällt, zunimmt, weil das Mittel-Farbbild immer ausgewählt wird.
  • Ein Verfahren zum Erfassen eines medizinischen Bildes durch das medizinische Bildgebungssystem 11B wird unter Bezugnahme auf ein Flussdiagramm aus 4 beschrieben.
  • In Schritt S11 erlangt das Bildgebungsmodul 23B-1 das Mittel-Farbbild und gibt dasselbe an die Signalverarbeitungsvorrichtung 13 aus.
  • In Schritt S12 erlangt das Bildgebungsmodul 23-2 das Nah-Farbbild und gibt dasselbe an die Signalverarbeitungsvorrichtung 13 aus.
  • In Schritt S13 erlangt das Bildgebungsmodul 23-3 das Fern-Farbbild und gibt dasselbe an die Signalverarbeitungsvorrichtung 13 aus.
  • In Schritt S14 führt die Signalverarbeitungsvorrichtung 13 eine Schärfentiefenerweiterungsverarbeitung zum Erzeugen eines EDOF-Bildes, in dem die Schärfentiefe erweitert wird, unter Verwendung des Mittel-Farbbildes, des Nahfarbbildes und des Fern-Farbbildes durch und gibt das erzeugte EDOF-Bild aus.
  • Wie zuvor beschrieben, kann das medizinische Bildgebungssystem 11 gemäß jeder der zuvor beschriebenen Ausführungsformen drei Bilder mit unterschiedlichen Brennpunkten gleichzeitig erfassen, die ein Mittel-Leuchtdichtenbild (Mittel-Farbbild), ein Nah-Farbbild und ein Fern-Farbbild sind. Aus diesen drei Bildern kann das medizinische Bildgebungssystem 11 ein Bild mit hoher Auflösung und einer Schärfentiefe erzeugen und eine zufriedenstellende Beobachtung ist mit dem erzeugten Bild möglich.
  • Es wird angemerkt, dass zum Beispiel die japanische Patentanmeldung mit der Offenlegungs-Nr. 2012-169989 eine Technik zum Erhalten eines guten Interpolationsbildes ohne eine falsche Farbe durch Verwenden eines Leuchtdichtensignals eines Monochrombildgebungselements offenbart, wenn Demosaicing an einem Signal durchgeführt wird, das von einem RGB-Bildgebungselement einer Bayer-Anordnung erhalten wird, aber keine Erweiterung einer Schärfentiefe offenbart. Andererseits kann das medizinische Bildgebungssystem 11 ein Hochauflösungsbild und ein Bild mit erweiterter Schärfentiefe erlangen.
  • <Konfigurationsbeispiel einer elektronischen Einrichtung>
  • Die zuvor beschriebene medizinische Bildgebungsvorrichtung 12 ist auf verschiedene elektronische Einrichtungen anwendbar, einschließlich eines Bildgebungssystems, wie etwa einer digitalen Fotokamera und einer digitalen Videokamera, eines Mobiltelefons mit einer Bildgebungsfunktion und einer anderen Vorrichtung mit einer Bildgebungsfunktion.
  • 5 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung veranschaulicht, die auf einer elektronischen Einrichtung montiert ist.
  • Wie in 5 veranschaulicht, weist eine Bildgebungsvorrichtung 101 ein optisches System 102, ein Bildgebungselement 103, einen Signalverarbeitungsschaltkreis 104, einen Monitor 105 und einen Speicher 106 auf und kann ein Standbild und ein Bewegtbild erfassen.
  • Das optische System 102 weist eine oder mehrere Linsen auf und leitet Bildlicht (Einfallslicht) von einem Motiv zu dem Bildgebungselement 103 und bildet ein Bild auf einer Lichtempfangsoberfläche (Sensoreinheit) des Bildgebungselements 103.
  • Als das Bildgebungselement 103 wird die zuvor beschriebene medizinische Bildgebungsvorrichtung 12 angewandt. Elektronen werden in dem Bildgebungselement 103 für eine gewisse Periode gemäß einem Bild akkumuliert, das über das optische System 102 auf der Lichtempfangsoberfläche gebildet wird. Dann wird ein Signal, das den in dem Bildgebungselement 103 akkumulierten Elektronen entspricht, an den Signalverarbeitungsschaltkreis 104 geliefert.
  • Der Signalverarbeitungsschaltkreis 104 führt verschiedene Arten von Signalverarbeitung an dem Pixelsignal durch, das von dem Bildgebungselement 103 ausgegeben wird. Ein Bild (Bilddaten), das durch Durchführen einer Signalverarbeitung durch den Signalverarbeitungsschaltkreis 104 erhalten wird, wird an den Monitor 105 geliefert und auf diesem angezeigt oder wird an den Speicher 106 geliefert und in diesem gespeichert (aufgezeichnet).
  • Die Bildgebungsvorrichtung 101, die wie zuvor beschrieben konfiguriert ist, kann zum Beispiel ein medizinisches Bild erfassen, in dem das Operationsgebiet besser beobachtet werden kann, indem die zuvor beschriebene medizinische Bildgebungsvorrichtung 12 angewandt wird.
  • <Verwendungsbeispiel eines Bildsensors>
  • 6 ist ein Diagramm, das ein Verwendungsbeispiel des zuvor genannten Bildsensors (Bildgebungselements) veranschaulicht.
  • Der Bildsensor kann in verschiedenen Fällen zum Erfassen von Licht, wie etwa zum Beispiel sichtbarem Licht, Infrarotlicht, Ultraviolettlicht und Röntgenstrahlen, wie nachfolgend beschrieben, verwendet werden.
    • • Vorrichtungen, die zur Betrachtung verwendete Bilder erfassen, wie etwa Digitalkameras und Mobilvorrichtungen mit Kamerafunktionen
    • • Vorrichtungen, die für Verkehr verwendet werden, wie etwa: fahrzeuginterne Sensoren, die ein Bild einer Umgebung vor, hinter und um ein Automobil herum, des Inneren des Automobils usw. zum sicheren Fahren, wie etwa automatischen Stoppen, Erkennung des Zustands des Fahrers usw., erfassen; Überwachungskameras, die fahrende Fahrzeuge oder eine Straße überwachen; oder Entfernungsmessungssensoren, die die Entfernung zwischen Fahrzeugen usw. messen
    • • Vorrichtungen, die in Haushaltsgeräten, wie etwa Fernsehern, Kühlschränken und Klimaanlagen, verwendet werden, um ein Bild einer Geste eines Benutzers zu erfassen und Operationen gemäß der Geste durchzuführen
    • • Vorrichtungen, die für Medizin und Gesundheitspflege verwendet werden, wie etwa ein Endoskop und Vorrichtungen, die eine Angiografie durchführen, indem sie Infrarotlicht empfangen
    • • Vorrichtungen, die für Sicherheit verwendet werden, wie etwa Überwachungskameras zur Kriminalitätsbekämpfung und Kameras zur Personenauthentifizierung
    • • Vorrichtungen, die für Schönheit verwendet werden, wie etwa Hautmessungsvorrichtungen, die ein Bild der Haut erfassen, und Mikroskope, die das Bild der Kopfhaut erfassen
    • • Vorrichtungen, die für Sport verwendet werden, wie etwa Action-Kameras und Wearable-Kameras für Sporteinsatz usw.
    • • Vorrichtungen, die für Landwirtschaft verwendet werden, wie etwa Kameras zum Überwachen des Zustands von Feldern und Nutzpflanzen
  • <Anwendungsbeispiel>
  • Die Technologie gemäß der vorliegenden Offenbarung kann auf ein medizinisches Bildgebungssystem angewandt werden. Das medizinische Bildgebungssystem ist ein medizinisches System, das eine Bildgebungstechnologie verwendet, und ist zum Beispiel ein Endoskopsystem oder ein Mikroskopsystem.
  • [Endoskopsystem]
  • Ein Beispiel für das Endoskopsystem wird unter Bezugnahme auf 7 und 8 beschrieben. 7 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines Endoskopsystems 5000 veranschaulicht, auf das die Technologie gemäß der vorliegenden Offenbarung anwendbar ist. 8 ist ein Diagramm, das ein Beispiel für eine Konfiguration eines Endoskops 5001 und einer Kamerasteuereinheit (CCU) 5039 veranschaulicht. 7 veranschaulich eine Situation, in der ein Bediener (zum Beispiel ein Arzt) 5067, der ein Teilnehmer an einer Operation ist, die Operation an einem Patienten 5071 auf einem Patientenbett 5069 unter Verwendung des Endoskopsystems 5000 durchführt. Wie in 7 veranschaulicht, weist das Endoskopsystem 5000 das Endoskop 5001, das eine medizinische Bildgebungsvorrichtung ist, die CCU 5039, eine Lichtquellenvorrichtung 5043, eine Aufzeichnungsvorrichtung 5053, eine Ausgabevorrichtung 5055 und eine Stützvorrichtung 5027 zum Stützen des Endoskops 5001 auf.
  • Bei einer endoskopischen Chirurgie werden Einführungshilfswerkzeuge, die als Trokare 5025 bezeichnet werden, in den Patienten 5071 gestochen. Dann werden ein Endoskop 5003, das mit dem Endoskop 5001 verbunden ist, und chirurgische Werkzeuge 5021 durch die Trokare 5025 in einen Körper des Patienten 5071 eingeführt. Die chirurgischen Werkzeuge 5021 weisen Folgendes auf: zum Beispiel eine Energievorrichtung, wie etwa ein elektrisches Skalpell; und Zangen.
  • Ein chirurgisches Bild, das ein medizinisches Bild ist, in dem das Innere des Körpers des Patienten 5071 durch das Endoskop 5001 erfasst wird, wird auf einer Anzeigevorrichtung 5041 angezeigt. Der Bediener 5067 führt eine Prozedur an einem chirurgischen Ziel unter Verwendung der chirurgischen Werkzeuge 5021 durch, während er das chirurgische Bild betrachtet, das auf der Anzeigevorrichtung 5041 angezeigt wird. Das medizinische Bild ist nicht auf das chirurgische Bild beschränkt und kann ein diagnostisches Bild sein, das während einer Diagnose erfasst wird.
  • [Endoskop]
  • Das Endoskop 5001 ist eine Kamera zum Erfassen des Inneren des Körpers des Patienten 5071 und ist zum Beispiel ein Kamerakopf einschließlich eines optischen Bündelungssystems 50051 zum Bündeln von einfallendem Licht, eines optischen Zoomsystems 50052, das zum optischen Zoomen durch Ändern einer Brennweite der Kamera in der Lage ist, eines optischen Fokussierungssystems 50053, das zur Fokussierungsanpassung durch Ändern der Brennweite der Kamera in der Lage ist, und eines Lichtempfangssensors 50054, wie in 8 veranschaulicht. Das Endoskop 5001 bündelt das Licht durch das verbundene Endoskop 5003 auf den Lichtempfangssensor 50054, um ein Pixelsignal zu erzeugen, und gibt das Pixelsignal durch ein Übertragungssystem an die CCU 5039 aus. Das Endoskop 5003 ist ein Einführungsteil, der eine Objektivlinse an einem distalen Ende aufweist und das Licht von der verbundenen Lichtquellenvorrichtung 5043 in den Körper des Patienten 5071 leitet. Das Endoskop 5003 ist zum Beispiel starr für ein starres Endoskop und flexibel für ein flexibles Endoskop. Das Pixelsignal muss nur ein Signal basierend auf einem Signal sein, das von einem Pixel ausgegeben wird, und ist zum Beispiel ein Raw-Signal oder ein Bildsignal. Das Übertragungssystem, das das Endoskop 5001 mit der CCU 5039 verbindet, kann einen Speicher aufweisen und der Speichern kann Parameter bezüglich des Endoskops 5001 und der CCU 5039 speichern. Der Speicher kann an einem Verbindungsteil des Übertragungssystem oder auf einem Kabel angeordnet sein. Zum Beispiel kann der Speicher des Übertragungssystems die Parameter bevor dem Versand des Endoskops 5001 oder die Parameter, die beim Anlegen eines Stroms geändert werden, speichern und eine Operation des Endoskops kann basierend auf den aus dem Speicher gelesenen Parametern geändert werden. Ein Satz aus der Kamera und dem Übertragungssystem kann als ein Endoskop bezeichnet werden. Der Lichtempfangssensor 50054 ist ein Sensor zum Umwandeln des empfangenen Lichts in das Pixelsignal und ist zum Beispiel ein Komplementärer-Metall-Oxid-Halbleiter(CMOS)-Bildsensor. Der Lichtempfangssensor 50054 ist bevorzugt ein Bildgebungssensor mit einer Bayer-Anordnung, der zur Farbbildgebung in der Lage ist. Der Lichtempfangssensor 50054 ist auch bevorzugt ein Bildgebungssensor mit einer Anzahl an Pixeln, die einer Auflösung von zum Beispiel 4K (3840 Horizontale Pixel × 2160 vertikale Pixel), 8K (7680 horizontale Pixel × 4320 vertikale Pixel) oder quadratisches 4K (3840 oder mehr horizontale Pixel × 3840 oder mehr vertikale Pixel) entsprechen. Der Lichtempfangssensor 50054 kann ein Sensorchip oder mehrere Sensorchips sein. Zum Beispiel kann ein Prisma bereitgestellt werden, um das einfallende Licht in vorbestimmte Wellenlängenbänder zu separieren, und die Wellenlängenbändern können durch unterschiedliche Lichtempfangssensoren bildlich erfasst werden. Mehrere Lichtempfangssensoren können für eine stereoskopische Betrachtung bereitgestellt werden. Der Lichtempfangssensor 50054 kann ein Sensor mit einer Chipstruktur einschließlich eines Arithmetikverarbeitungsschaltkreises zur Bildverarbeitung sein oder kann ein Sensor für Laufzeit (ToF: Time of Flight) sein. Das Übertragungssystem ist zum Beispiel ein Optikfaserkabelsystem oder ein Drahtlosübertragungssystem. Die drahtlose Übertragung muss nur zum Übertragen des Pixelsignals in der Lage sein, das durch das Endoskop 5001 erzeugt wird, und das Endoskop 5001 kann zum Beispiel drahtlos mit der CCU 5039 verbunden sein oder das Endoskop 5001 kann über eine Basisstation in einem Operationssaal mit der CCU 5039 verbunden sein. Zu dieser Zeit überträgt das Endoskop 5001 möglicherweise nicht nur das Pixelsignal, sondern auch gleichzeitig Informationen (zum Beispiel eine Verarbeitungspriorität des Pixelsignals und/oder ein Synchronisationssignal) bezüglich des Pixelsignals. In dem Endoskop kann das Endoskop mit dem Kamerakopf integriert sein und kann der Lichtempfangssensor an dem distalen Ende des Endoskops bereitgestellt sein.
  • [CCU (Kamerasteuereinheit)]
  • Die CCU 5039 ist eine Steuervorrichtung zum Steuern des Endoskops 5001 und der Lichtquellenvorrichtung 5043, die mit der CCU 5039 verbunden sind, auf eine integrierte Weise und ist zum Beispiel, wie in 8 veranschaulicht, eine Bildverarbeitungsvorrichtung einschließlich eines feldprogrammierbaren Gatterarrays (FPGA) 50391, einer Zentralverarbeitungseinheit (CPU) 50392, eines Direktzugriffsspeichers (RAM) 50393, eines Nurlesespeichers (ROM) 50394, einer Grafikverarbeitungseinheit (GPU) 50395 und einer Schnittstelle (SST) 50396. Die CCU 5039 kann die Anzeigevorrichtung 5041, die Aufzeichnungsvorrichtung 5053 und die Ausgabevorrichtung 5055, die mit der CCU 5039 verbunden sind, auf eine integrierte Weise steuern. Die CCU 5039 steuert zum Beispiel ein Bestrahlungstiming, eine Bestrahlungsintensität und eine Art einer Bestrahlungslichtquelle der Lichtquellenvorrichtung 5043. Die CCU 5039 führt auch eine Bildverarbeitung, wie etwa eine Entwicklungsverarbeitung (zum Beispiel Demosaic-Verarbeitung) und Korrekturverarbeitung, an dem Pixelsignal durch, das von dem Endoskop 5001 ausgegeben wird, und gibt das verarbeitete Bildsignal (zum Beispiel ein Bild) an eine externe Vorrichtung, wie etwa die Anzeigevorrichtung 5041, aus. Die CCU 5039 überträgt auch ein Steuersignal an das Endoskop 5001, um einen Antrieb des Endoskops 5001 zu steuern. Das Steuersignal ist Informationen bezüglich einer Bildgebungsbedingung, wie etwa eine Vergrößerung oder die Brennweite der Kamera. Die CCU 5039 kann eine Funktion zum Abwärtswandeln des Bildes, aufweisen und kann so konfiguriert sein, dass sie zum gleichzeitigen Ausgeben eines Bildes mit höherer Auflösung (zum Beispiel 4K) an die Anzeigevorrichtung 5041 und eines Bildes mit niedrigerer Auflösung (zum Beispiel High-Definition (HD)) an die Aufzeichnungsvorrichtung 5053 in der Lage ist.
  • Außerdem kann die CCU 5039 über einen IP-Konverter zum Konvertieren des Signals in ein vorbestimmtes Kommunikationsprotokoll (wie etwa das Internet Protocol (IP)) mit externer Ausrüstung verbunden sein. Die Verbindung zwischen dem IP-Konverter und der externen Ausrüstung kann unter Verwendung eines drahtgebundenen Netzes eingerichtet werden oder ein Teil oder die Gesamtheit des Netzes kann unter Verwendung eines drahtlosen Netzes eingerichtet werden. Zum Beispiel kann der IP-Konverter auf der Seite der CCU 5039 eine Drahtloskommunikationsfunktion aufweisen und kann das empfangene Bild an den IP-Schalter oder einen Ausgabeseite-IP-Konverter über ein Drahtloskommunikationsnetz, wie etwa das Mobilkommunikationssystem der fünften Generation (5G) oder das Mobilkommunikationssystem der sechsten Generation (6G), übertragen.
  • [Lichtquellenvorrichtung]
  • Die Lichtquellenvorrichtung 5043 ist ein Vorrichtung, die zum Emittieren des Lichts mit vorbestimmten Wellenlängenbändern in der Lage ist, und weist zum Beispiel mehrere Lichtquellen und ein optisches Lichtquellensystem zum Leiten des Lichts der Lichtquellen auf. Die Lichtquellen sind zum Beispiel Xenonlampen, Leuchtdioden(LED)-Lichtquellen oder Laserdioden(LD)-Lichtquellen. Die Lichtquellenvorrichtung 5043 weist zum Beispiel die LED-Lichtquellen, die drei jeweiligen Primärfarben von Rot (R), Grün (G) und Blau (B) entsprechen, auf und steuert eine Ausgabeintensität und ein Ausgabetiming jeder der Lichtquellen zum Emittieren von Weißlicht. Die Lichtquellenvorrichtung 5043 kann eine Lichtquelle, die zum Emittieren von Speziallicht in der Lage ist, das für eine Speziallichtbeobachtung verwendet wird, zusätzlich zu den Lichtquellen zum Emittieren von Normallicht für eine Normallichtbeobachtung aufweisen. Das Speziallicht ist Licht mit einem vorbestimmten Wellenlängenband, das von jenem des Normallichts verschiedenen ist, das Licht für die Normallichtbeobachtung ist, und ist zum Beispiel Nahinfrarotlicht (Licht mit einer Wellenlänge von 760 nm oder länger), Infrarotlicht, Blaulicht oder Ultraviolettlicht. Das Normallicht ist zum Beispiel das Weißlicht oder Grünlicht. Bei einer Schmalbandbildgebung, die eine Art von Speziallichtbeobachtung ist, werden Blaulicht und Grünlicht abwechselnd emittiert und dementsprechend kann die Schmalbandbildgebung ein vorbestimmtes Gewebe, wie etwa ein Glutgefäß in einer Schleimhautoberfläche, mit hohem Kontrast unter Verwendung einer Wellenlängenabhängigkeit einer Lichtabsorption in dem Gewebe des Körpers bildlich erfassen. Bei einer Fluoreszenzbeobachtung, die eine Art von Speziallichtbeobachtung ist, wird Anregungslicht zum Anregen eines Reagenzes emittiert, das in das Gewebe des Körpers injiziert ist, und wird eine Fluoreszenz, die durch das Gewebe des Körpers oder das Reagenz emittiert wird, empfangen, um ein Fluoreszenzbild zu erhalten, und dementsprechend kann die Fluoreszenzbeobachtung ermöglichen, dass der Bediener zum Beispiel das Gewebe des Körpers betrachtet, das für den Bediener mit dem Normallicht schwierig zu betrachten ist. Zum Beispiel wird bei einer Fluoreszenzbeobachtung unter Verwendung von Infrarotlicht Nahinfrarotlicht als Anregungslicht emittiert, um ein Reagenz, wie etwa Indocyaningrün (ICG), das in das Gewebe des Körpers injiziert ist, anzuregen, wodurch die Fluoreszenzbeobachtung eine Betrachtung einer tiefen Struktur des Gewebes des Körpers ermöglichen kann. Außerdem kann bei der Fluoreszenzbeobachtung ein Reagenz (wie etwa PDD oder 5-Aminolävulinsäure (5-ALA)) verwendet werden, das Fluoreszenz in einem roten Wellenlängenband emittiert, indem es durch das Speziallicht in einem blauen Wellenlängenband angeregt wird. Der Typ des Bestrahlungslichts der Lichtquellenvorrichtung 5043 wird durch eine Steuerung der CCU 5039 eingestellt. Die CCU 5039 kann einen Modus zum Steuern der Lichtquellenvorrichtung 5043 und des Endoskops 5001 zum abwechselnden Durchführen der Normallichtbeobachtung und der Speziallichtbeobachtung aufweisen. Zu dieser Zeit werden Informationen basierend auf einem Pixelsignal, das durch die Speziallichtbeobachtung erhalten wird, bevorzugt auf ein Pixelsignal überlagert, das durch die Normallichtbeobachtung erhalten wird.
  • [Aufzeichnungsvorrichtung]
  • Die Aufzeichnungsvorrichtung 5053 ist eine Vorrichtung zum Aufzeichnen des Pixels, das von der CCU 5039 erlangt wird, und ist zum Beispiel ein Aufzeichnungsgerät. Die Aufzeichnungsvorrichtung 5053 zeichnet ein von der CCU 5039 erlangtes Bild auf einem Festplattenlaufwerk (HDD), einer Super Density Disc (SDD) und/oder einer optischen Disc auf. Die Aufzeichnungsvorrichtung 5053 kann mit einem Netzwerk in einem Krankenhaus verbunden sein, um von einer Ausrüstung außerhalb des Operationssaals erreichbar zu sein. Die Aufzeichnungsvorrichtung 5053 kann eine Abwärtswandlungsfunktion oder eine Aufwärtswandlungsfunktion aufweisen.
  • [Anzeigevorrichtung]
  • Die Anzeigevorrichtung 5041 ist eine Vorrichtung, die zum Anzeigen des Bildes in der Lage ist und ist zum Beispiel ein Anzeigemonitor. Die Anzeigevorrichtung 5041 zeigt das Anzeigebild basierend auf dem Pixelsignal, das der Bildverarbeitung durch die CCU 5039 unterzogen wurde, unter der Steuerung der CCU 5039 an. Die Anzeigevorrichtung 5041 kann eine Kamera und ein Mikrofon aufweisen, um als eine Eingabevorrichtung zu fungieren, die eine Anweisung ermöglicht, die durch Blickerkennung, Spracherkennung und Gesten eingegeben wird.
  • [Ausgabevorrichtung]
  • Die Ausgabevorrichtung 5055 ist eine Vorrichtung zum Ausgeben der Informationen, die von der CCU 5039 erlangt werden, und ist zum Beispiel ein Drucker. Die Ausgabevorrichtung 5055 druckt zum Beispiel ein Druckbild basierend auf dem Pixelsignal, das von der CCU 5039 erlangt wird, auf einem Blatt Papier.
  • [Stützvorrichtung]
  • Die Stützvorrichtung 5027 ist ein Gelenkarm einschließlich einer Basis 5029 einschließlich einer Armsteuervorrichtung 5045, eines Arms 5031, der sich von der Basis 5029 erstreckt, und eines Halteteils 5032, der an einem fernen Ende des Arms 5031 montiert ist. Die Armsteuervorrichtung 5045 weist einen Prozessor, wie etwa eine CPU, auf und arbeitet gemäß einem vorbestimmten Computerprogramm zum Steuern des Antriebs des Arms 5031. Die Stützvorrichtung 5027 verwendet die Armsteuervorrichtung 5045 zum Steuern von Parametern einschließlich zum Beispiel Längen von Verbindungsstücken 5035, die den Arm 5031 darstellen, und Rotationswinkeln und eines Drehmoments von Gelenken 5033, so dass zum Beispiel die Position und Stellung des Endoskops 5001, das durch den Halteteil 5032 gehalten wird, gesteuert werden. Diese Steuerung kann die Position oder Stellung des Endoskops 5001 zu einer gewünschten Position oder Stellung ändern, ermöglicht es, das Endoskop 5003 in den Patienten 5071 einzuführen, und ändert den Beobachtungsbereich in dem Körper. Die Stützvorrichtung 5027 fungiert als ein Endoskopstützarm zum Stützen des Endoskops 5001 während der Operation. Dementsprechend kann die Stützvorrichtung 5027 eine Rolle eines Endoskopisten spielen, der ein Assistent ist, der das Endoskop 5001 hält. Die Stützvorrichtung 5027 kann eine Vorrichtung zum Halten einer Mikroskopvorrichtung 5301 sein, die später beschrieben wird, und kann als ein medizinischer Stützarm bezeichnet werden. Die Stützvorrichtung 5027 kann unter Verwendung eines autonomen Steuerverfahrens durch die Armsteuervorrichtung 5045 gesteuert werden oder kann unter Verwendung eines Steuerverfahrens gesteuert werden, bei dem die Armsteuervorrichtung 5045 die Steuerung basierend auf einer Eingabe eines Benutzers durchführt. Das Steuerverfahren kann zum Beispiel ein Master-Slave-Verfahren sein, bei dem die Stützvorrichtung 5027, die als eine Slave-Vorrichtung dient, basierend auf einer Bewegung einer Master-Vorrichtung an einer Hand des Benutzers gesteuert wird. Die Stützvorrichtung 5027 kann von außerhalb des Operationssaals fernsteuerbar sein.
  • Das Beispiel des Endoskopsystems 5000, auf das die Technologie gemäß der vorliegenden Offenbarung angewandt werden kann, wurde zuvor beschrieben. Zum Beispiel kann die Technologie gemäß der vorliegenden Offenbarung auf ein Mikroskopsystem angewandt werden.
  • [Mikroskopsystem]
  • 9 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines mikroskopischen Chirurgiesystems veranschaulicht, auf das die Technologie gemäß der vorliegenden Offenbarung anwendbar ist. In der folgenden Beschreibung werden die gleichen Komponenten wie jene des Endoskopsystems 5000 durch die gleichen Bezugsziffern bezeichnet und die Beschreibung davon wird nicht wiederholt.
  • 9 veranschaulicht schematisch eine Situation, in der der Bediener 5067 eine Operation an dem Patienten 5071 auf dem Patientenbett 5069 unter Verwendung eines mikroskopischen Chirurgiesystems 5300 durchführt. Der Einfachheit halber veranschaulicht 9 einen Wagen 5037 unter den Komponenten des mikroskopischen Chirurgiesystems 5300 nicht und veranschaulicht die Mikroskopvorrichtung 5301 anstelle des Endoskops 5001 auf eine vereinfachte Weise. Die Mikroskopvorrichtung 5301 kann auf ein Mikroskop 5303 verweisen, das an dem distalen Ende der Verbindungsstücke 5035 bereitgestellt ist, oder kann auf die Gesamtkonfiguration einschließlich des Mikroskops 5303 und der Stützvorrichtung 5027 verweisen.
  • Wie in 9 veranschaulicht, wird während der Operation das mikroskopische Chirurgiesystem 5300 verwendet, um ein Bild einer chirurgischen Stelle, das durch die Mikroskopvorrichtung 5301 erfasst wird, auf eine vergrößerte Weise auf der Anzeigevorrichtung 5041 anzuzeigen, die in dem Operationssaal installiert ist. Die Anzeigevorrichtung 5041 ist an einer Position installiert, die dem Bediener 5067 zugewandt ist, und der Bediener 5067 führt verschiedene Prozeduren, wie etwa eine Exzision eines betroffenen Teils, an der chirurgischen Stelle durch, während der Zustand der chirurgischen Stelle unter Verwendung des Bildes beobachtet wird, das auf der Anzeigevorrichtung 5041 angezeigt wird.
  • Die jeweiligen Beispiele für das Endoskopsystem 5000 und das mikroskopische Chirurgiesystem 5300, auf die die Technologie gemäß der vorliegenden Offenbarung angewandt werden kann, wurden zuvor beschrieben. Systeme, auf die die Technologie gemäß der vorliegenden Offenbarung anwendbar ist, sind nicht auf solche Beispiele beschränkt. Zum Beispiel kann die Stützvorrichtung 5027 an dem distalen Ende davon eine andere Beobachtungsvorrichtung oder ein anderes chirurgisches Werkzeug anstelle des Endoskops 5001 oder des Mikroskops 5303 halten. Beispiele für die andere anwendbare Beobachtungsvorrichtung weisen Zangen, Pinzetten, einen Pneumoperitoneumschlauch für ein Pneumoperitoneum und ein Energiebehandlungswerkzeug zur Inzision eines Gewebes oder Versiegeln eines Blutgefäßes durch Kauterisation auf. Durch Verwenden der Stützvorrichtung zum Stützen der Beobachtungsvorrichtung oder des chirurgischen Werkzeugs, die/das zuvor beschrieben wurde, kann die Position davon stabiler fixiert werden und kann die Last für das medizinische Personal geringer als in einem Fall sein, in dem das medizinische Personal die Beobachtungsvorrichtung oder das chirurgische Werkzeug manuell hält. Die Technologie gemäß der vorliegenden Offenbarung kann auf eine Stützvorrichtung zum Stützen einer solchen Komponente außer dem Mikroskop angewandt werden.
  • Die Technologie gemäß der vorliegenden Offenbarung kann auf das Endoskop 5001 oder die Mikroskopvorrichtung 5301 in der zuvor beschriebenen Konfigurationen angewandt werden. Dementsprechend ist es möglich, ein medizinisches Bild zu erfassen, in dem das Operationsgebiet besser beobachtet werden kann, und ist es möglich, die Operation sicherer und zuverlässiger durchzuführen.
  • <Beispiel einer Kombination von Konfigurationen>
  • Es ist anzumerken, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.
  • (1)
  • Ein medizinische Bildgebungssystem, das Folgendes aufweist:
    • ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt;
    • ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt;
    • ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und
    • eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt, wobei
    • eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • (2)
  • Das medizinische Bildgebungssystem nach (1), wobei
    das optische Teilungssystem ein optisches Element aufweist, das einen Teil von Licht reflektiert und einen Teil von Licht transmittiert, und
    das optische Element einen Transmissionsgrad aufweist, der gemäß einem Unterschied einer Empfindlichkeit zwischen dem ersten Bildgebungselement und dem zweiten Bildgebungselement eingestellt wird.
  • (3)
  • Das medizinische Bildgebungssystem nach (1) oder (2), wobei
    die Signalverarbeitungseinheit eine Stationaritätsdetektion an dem zweiten Bildsignal durchführt und eine Entwicklungsverarbeitung an dem ersten Bildsignal unter Verwendung eines Ergebnisses der Stationaritätsdetektion durchführt.
  • (4)
  • Das medizinische Bildgebungssystem nach (3), wobei
    die Signalverarbeitungseinheit einen Unterschied zwischen angrenzenden Pixeln in einer horizontalen Richtung, einer vertikalen Richtung und/oder einer schrägen Richtung erlangt und die Stationaritätsdetektion unter der Annahme durchführt, dass eine Stationarität in einer Richtung erscheint, in der der Unterschied zwischen den Pixeln minimiert wird.
  • (5)
  • Das medizinische Bildgebungssystem nach (3), wobei
    die Signalverarbeitungseinheit einen Unterschied eines Kontrasts zwischen dem ersten Bildsignal und dem zweiten Bildsignal berechnet und eine Verarbeitung zum Reduzieren des Unterschiedes des Kontrasts durchführt.
  • (6)
  • Das medizinische Bildgebungssystem nach (3), wobei
    die Signalverarbeitungseinheit einen Parameter und ein Verfahren der Stationaritätsdetektion basierend auf einem durch einen Benutzer ausgewählten Modus oder einer durch Bilderkennung erhaltenen chirurgischen Situation ändert.
  • (7)
  • Das medizinische Bildgebungssystem nach einem von (1) bis (6), das ferner Folgendes aufweist:
    • ein drittes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein drittes Bildsignal ausgibt, wobei
    • eine optische Pfadlänge von der Halterungsoberfläche zu dem dritten Bildgebungselement länger als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • (8)
  • Das medizinische Bildgebungssystem nach (7), wobei
    die Signalverarbeitungseinheit ein Alle-Pixel-Bild unter Verwendung von Pixelwerten von Gr und Gb unter Pixelwerten von R, Gr, Gb und B, welche das zweite Bildsignal und das dritte Bildsignal darstellen, erzeugt und eine Stationaritätsdetektion durchführt.
  • (9)
  • Eine medizinisch Bildgebungsvorrichtung, die Folgendes aufweist:
    • ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt;
    • ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt;
    • ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und
    • eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt, wobei
    • eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • (10)
  • Operationsverfahren für ein medizinisches Bildgebungssystem, wobei das Verfahren Folgendes aufweist:
    • Empfangen von Licht, das durch Teilen von einfallendem Licht, das von einer Halterungsoberfläche einfällt, und Ausgeben eines ersten Bildsignals durch ein erstes Bildgebungselement erhalten wird;
    • Empfangen von Licht, das separat von dem Licht geteilt wurde, und Ausgeben eines zweiten Bildsignals durch ein zweites Bildgebungselement; und
    • Durchführen einer Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei
    • das medizinische Bildgebungselement derart konfiguriert ist, dass eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  • Es ist anzumerken, dass die Ausführungsformen der vorliegenden Offenbarung nicht auf die zuvor genannten Ausführungsformen beschränkt sind und verschiedene Modifikationen vorgenommen werden können, ohne von dem Wesen der vorliegenden Technologie abzuweichen. Außerdem sind die in der vorliegenden Schrift beschriebenen Effekte lediglich veranschaulichend und nicht beschränkend und können zusätzliche Effekte aufweisen.
  • Bezugszeichenliste
  • 11
    Medizinisches Bildgebungssystem
    12
    Medizinische Bildgebungsvorrichtung
    13
    Signalverarbeitungsvorrichtung
    20
    Halterung
    21
    Optisches Teilungssystem
    22
    Bildgebungsmodul
    31
    Erstes Prisma
    32
    Zweites Prisma
    33
    Halbspiegel
    34
    Drittes Prisma
    35
    Halbspiegel
    41
    Gehäuse
    42
    Deckglas
    43
    Bildgebungselement
    44
    Filter
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2017158764 [0004]
    • JP 2012169989 [0056]

Claims (10)

  1. Medizinisches Bildgebungssystem, das Folgendes umfasst: ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt; ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt; ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt, wobei eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  2. Medizinisches Bildgebungssystem nach Anspruch 1, wobei das optische Teilungssystem ein optisches Element aufweist, das einen Teil von Licht reflektiert und einen Teil von Licht transmittiert, und das optische Element einen Transmissionsgrad aufweist, der gemäß einem Unterschied einer Empfindlichkeit zwischen dem ersten Bildgebungselement und dem zweiten Bildgebungselement eingestellt wird.
  3. Medizinisches Bildgebungssystem nach Anspruch 1, wobei die Signalverarbeitungseinheit eine Stationaritätsdetektion an dem zweiten Bildsignal durchführt und eine Entwicklungsverarbeitung an dem ersten Bildsignal unter Verwendung eines Ergebnisses der Stationaritätsdetektion durchführt.
  4. Medizinisches Bildgebungssystem nach Anspruch 3, wobei die Signalverarbeitungseinheit einen Unterschied zwischen angrenzenden Pixeln in einer horizontalen Richtung, einer vertikalen Richtung und/oder einer schrägen Richtung erlangt und die Stationaritätsdetektion unter der Annahme durchführt, dass eine Stationarität in einer Richtung erscheint, in der der Unterschied zwischen den Pixeln minimiert wird.
  5. Medizinisches Bildgebungssystem nach Anspruch 3, wobei die Signalverarbeitungseinheit einen Unterschied eines Kontrasts zwischen dem ersten Bildsignal und dem zweiten Bildsignal berechnet und eine Verarbeitung zum Reduzieren des Unterschiedes des Kontrasts durchführt.
  6. Medizinisches Bildgebungssystem nach Anspruch 3, wobei die Signalverarbeitungseinheit einen Parameter und ein Verfahren der Stationaritätsdetektion basierend auf einem durch einen Benutzer ausgewählten Modus oder einer durch Bilderkennung erhaltenen chirurgischen Situation ändert.
  7. Medizinisches Bildgebungssystem nach Anspruch 1, das ferner Folgendes umfasst: ein drittes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein drittes Bildsignal ausgibt, wobei eine optische Pfadlänge von der Halterungsoberfläche zu dem dritten Bildgebungselement länger als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  8. Medizinisches Bildgebungssystem nach Anspruch 7, wobei die Signalverarbeitungseinheit ein Alle-Pixel-Bild unter Verwendung von Pixelwerten von Gr und Gb unter Pixelwerten von R, Gr, Gb und B, welche das zweite Bildsignal und das dritte Bildsignal darstellen, erzeugt und eine Stationaritätsdetektion durchführt.
  9. Medizinische Bildgebungsvorrichtung, die Folgendes umfasst: ein erstes Bildgebungselement, das Licht durch ein Farbfilter empfängt und ein erstes Bildsignal ausgibt; ein zweites Bildgebungselement, das Licht nicht durch ein Farbfilter empfängt und ein zweites Bildsignal ausgibt; ein optisches Teilungssystem, das einfallendes Licht, das von einer Halterungsoberfläche einfällt, in Licht, das auf das erste Bildgebungselement einfallen soll, und Licht, das auf das zweite Bildgebungselement einfallen soll, teilt; und eine Signalverarbeitungseinheit, die eine Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals durchführt, wobei eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
  10. Operationsverfahren für ein medizinisches Bildgebungssystem, wobei das Verfahren Folgendes umfasst: Empfangen von Licht, das durch Teilen von einfallendem Licht, das von einer Halterungsoberfläche einfällt, und Ausgeben eines ersten Bildsignals durch ein erstes Bildgebungselement erhalten wird; Empfangen von Licht, das separat von dem Licht geteilt wurde, und Ausgeben eines zweiten Bildsignals durch ein zweites Bildgebungselement; und Durchführen einer Schärfentiefenerweiterungsverarbeitung, um ein Bild mit erweiterter Schärfentiefe zu erzeugen, das durch Erweitern einer Schärfentiefe erhalten wird, unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei das medizinische Bildgebungselement derart konfiguriert ist, dass eine optische Pfadlänge von der Halterungsoberfläche zu dem ersten Bildgebungselement kürzer als eine optische Pfadlänge von der Halterungsoberfläche zu dem zweiten Bildgebungselement ist.
DE112021004549.0T 2020-08-31 2021-08-18 Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren Pending DE112021004549T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020146084 2020-08-31
JP2020-146084 2020-08-31
PCT/JP2021/030108 WO2022044898A1 (ja) 2020-08-31 2021-08-18 医療撮像システム、医療撮像装置、および動作方法

Publications (1)

Publication Number Publication Date
DE112021004549T5 true DE112021004549T5 (de) 2023-08-03

Family

ID=80355200

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021004549.0T Pending DE112021004549T5 (de) 2020-08-31 2021-08-18 Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren

Country Status (4)

Country Link
US (1) US20230397801A1 (de)
JP (1) JPWO2022044898A1 (de)
DE (1) DE112021004549T5 (de)
WO (1) WO2022044898A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169989A (ja) 2011-02-16 2012-09-06 Jvc Kenwood Corp 撮像装置及び撮像装置の補間処理方法
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061819A1 (ja) * 2011-10-27 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP6331339B2 (ja) * 2013-11-07 2018-05-30 株式会社リコー 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
US10324300B2 (en) * 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
CN110476103B (zh) * 2017-04-03 2021-08-06 奥林巴斯株式会社 内窥镜系统和内窥镜系统的调整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169989A (ja) 2011-02-16 2012-09-06 Jvc Kenwood Corp 撮像装置及び撮像装置の補間処理方法
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Also Published As

Publication number Publication date
WO2022044898A1 (ja) 2022-03-03
US20230397801A1 (en) 2023-12-14
JPWO2022044898A1 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
DE112017004154T5 (de) Bildgebungssystem
EP2108306B1 (de) Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
DE102014110131B4 (de) Bildaufnahmevorrichtung
US20120016230A1 (en) Imaging apparatus, imaging system, surgical navigation system, and imaging method
EP2786696B1 (de) Dentalkamerasystem
EP2108943A2 (de) Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
JP5358368B2 (ja) 内視鏡システム
DE112019004340T5 (de) Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
DE102010044502A1 (de) Sonderbeleuchtungs-Video-Operations-Stereomikroskop
US20230308628A1 (en) Medical imaging system, medical imaging device, and operation method
DE102010045364A1 (de) Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
DE112010003402T5 (de) Ophthalmologisches Aufnahmegerät und Kamera zur Verwendung bei ophthalmologischer Aufnahme
DE112019003031T5 (de) Chirurgische beobachtungsvorrichtung, chirurgisches beobachtungsverfahren, chirurgische lichtquellenvorrichtung und lichtbestrahlungsverfahren für chirurgie
DE102013108919A1 (de) Elektronisches Endoskopsystem und Lichtquelle für ein Endoskop
DE112017001293T5 (de) Endoskop, vorrichtung zur bildverarbeitung, verfahren zur bildverarbeitung und programm
DE102020105459A1 (de) Medizinische bildgebungsvorrichtung mit mehreren bildgebungsmodi
DE112016006140T5 (de) Abbildungs-/Projektionsgerät mit optischer Abtastung und Endoskopsystem
DE112019001432T5 (de) Endoskop und armsystem
DE112017002653T5 (de) Bildsignalverarbeitungsvorrichtung, Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsprogramm
WO2019029772A1 (de) 3d-video-endoskop
DE112017002547T5 (de) Lebendkörper-Beobachtungssystem
DE112016007230T5 (de) Endoskopsonde, Endoskopprozessor und Endoskopadapter
JP5570352B2 (ja) 画像撮像装置
DE112021004549T5 (de) Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren
DE112018001482T5 (de) Chirurgische steuervorrichtung, steuerverfahren, chirurgisches system und programm