DE112016004455T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Operationssystem und chirurgischer Faden - Google Patents

Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Operationssystem und chirurgischer Faden Download PDF

Info

Publication number
DE112016004455T5
DE112016004455T5 DE112016004455.0T DE112016004455T DE112016004455T5 DE 112016004455 T5 DE112016004455 T5 DE 112016004455T5 DE 112016004455 T DE112016004455 T DE 112016004455T DE 112016004455 T5 DE112016004455 T5 DE 112016004455T5
Authority
DE
Germany
Prior art keywords
image
fluorescent
unit
thread
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112016004455.0T
Other languages
English (en)
Inventor
Yuki Sugie
Yasuaki Takahashi
Yukihiro Nakamura
Tomoyuki Hirayama
Kenta Yamaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112016004455T5 publication Critical patent/DE112016004455T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/06Needles ; Sutures; Needle-suture combinations; Holders or packages for needles or suture materials
    • A61B17/06166Sutures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers

Abstract

Die vorliegende Technologie betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Operationssystem und einen chirurgischen Faden, wodurch die Sichtbarkeit des Fadens weiter verbessert werden kann.
Die Bildverarbeitungsvorrichtung weist Folgendes auf: eine bilderhaltende Einheit, welche ein unter einer Beleuchtungsbedingung, bei der der chirurgische Faden fluoresziert, erzeugtes erstes Bild und ein unter einer Beleuchtungsbedingung, welche zumindest sichtbares Licht aufweist, erzeugtes zweites Bild als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhält, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt. Die vorliegende Technologie ist beispielsweise auf ein Operationssystem und dergleichen anwendbar.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Technologie betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Operationssystem und einen chirurgischen Faden und insbesondere die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren, das Operationssystem und den chirurgischen Faden, wodurch die Sichtbarkeit des Fadens weiter verbessert werden kann.
  • TECHNISCHER HINTERGRUND
  • Die Sichtbarkeit eines Nähfadens bei einer chirurgischen Operation und dergleichen wird beispielsweise verbessert, indem eine Farbe des Nähfadens von jener in einem lebenden Körper (beispielsweise Schwarz oder Violett) verschieden gemacht wird. Es gibt jedoch infolge des kleinen Durchmessers des zu verwendenden Nähfadens und dergleichen eine Grenze für die Verbesserung der Sichtbarkeit lediglich durch Vorgeben der Farbe.
  • Andererseits wird auch eine Technologie zum Verbessern der Sichtbarkeit, indem ermöglicht wird, dass der Faden selbst leuchtet, entwickelt (siehe beispielsweise Patentdokument 1).
  • ZITATLISTE
  • PATENTDOKUMENT
  • Patentdokument 1: offen gelegte japanische Patentanmeldung 2010-95833
  • KURZFASSUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
  • Es gibt jedoch auch eine Grenze für das Verbessern der Sichtbarkeit lediglich durch Ermöglichen, dass der Faden selbst fluoresziert.
  • Die vorliegende Technologie wurde angesichts einer solchen Situation entwickelt, und eine ihrer Aufgaben besteht darin, die Sichtbarkeit des Fadens weiter zu verbessern.
  • LÖSUNGEN VON PROBLEMEN
  • Eine Bildverarbeitungsvorrichtung gemäß einem ersten Aspekt der vorliegenden Technologie weist Folgendes auf: eine bilderhaltende Einheit, welche ein unter einer Beleuchtungsbedingung, bei der ein chirurgischer Faden fluoresziert, erzeugtes erstes Bild und ein unter einer Beleuchtungsbedingung, welche zumindest sichtbares Licht aufweist, erzeugtes zweites Bild als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhält, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
  • Ein Bildverarbeitungsverfahren gemäß dem ersten Aspekt der vorliegenden Technologie weist folgende Schritte auf: Erhalten eines ersten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und eines zweiten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens und Erzeugen eines synthetischen Bilds, das durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhalten wird.
  • Beim ersten Aspekt der vorliegenden Technologie werden ein erstes Bild, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und ein zweites Bild, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhalten und ein synthetisches Bild, das durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhalten wird, erzeugt.
  • Ein Operationssystem gemäß einem zweiten Aspekt der vorliegenden Technologie weist Folgendes auf: eine Bildgebungseinheit, die ein erstes Bild, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und ein zweites Bild, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erzeugt, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
  • Gemäß dem zweiten Aspekt der vorliegenden Technologie werden ein erstes Bild, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und ein zweites Bild, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erzeugt und ein synthetisches Bild, das durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhalten wird, erzeugt.
  • Ein chirurgischer Faden gemäß einem dritten Aspekt der vorliegenden Technologie fluoresziert in einem Muster, das in einem lebenden Körper nicht vorhanden ist.
  • Gemäß dem dritten Aspekt der vorliegenden Technologie fluoresziert dieser in einem Muster, das in einem lebenden Körper nicht vorhanden ist.
  • Die Bildverarbeitungsvorrichtung kann eine unabhängige Vorrichtung sein oder ein innerer Block sein, der eine Vorrichtung bildet.
  • WIRKUNGEN DER ERFINDUNG
  • Gemäß dem ersten bis dritten Aspekt der vorliegenden Technologie kann die Sichtbarkeit des Fadens weiter verbessert werden.
  • Dabei sind die Wirkungen nicht notwendigerweise auf jene beschränkt, die hier beschrieben werden und können beliebige der in der vorliegenden Offenbarung beschriebenen Wirkungen einschließen.
  • Figurenliste
  • Es zeigen:
    • 1 eine Ansicht eines Konfigurationsbeispiels eines endoskopischen Operationssystems, worauf die vorliegende Technologie angewendet wird,
    • 2 ein Blockdiagramm, das sich auf die Bildverarbeitung des endoskopischen Operationssystems bezieht,
    • 3 eine Ansicht zur Erklärung der Bildsyntheseverarbeitung,
    • 4 eine Ansicht zur Erklärung von Bildgebungszeitabläufen für ein Normallichtbild und ein Spezielles-Licht-Bild,
    • 5 ein Blockdiagramm eines detaillierten Konfigurationsbeispiels einer Bildverarbeitungseinheit,
    • 6 ein Blockdiagramm eines detaillierten Konfigurationsbeispiels einer Bewegungsvektor-Erkennungseinheit,
    • 7 ein Flussdiagramm zur Erklärung der Bildsyntheseverarbeitung durch die Bildverarbeitungseinheit,
    • 8 eine Ansicht zur Erklärung eines Verarbeitungsablaufs zum Schätzen eines Bewegungskorrekturbetrags,
    • 9 eine Ansicht eines Bilds zur Korrektur der Variation von Bewegungsvektoren,
    • 10 eine Ansicht zur Erklärung eines anderen Beispiels der Bildgebungszeitabläufe für das Normallichtbild und das Spezielles-Licht-Bild,
    • 11 eine Ansicht zur Erklärung eines Bildsensors einer Bildgebungseinheit gemäß einer zweiten Ausführungsform,
    • 12 eine Ansicht zur Erklärung einer Bildsyntheseverarbeitung gemäß der zweiten Ausführungsform,
    • 13 eine Ansicht eines anderen Konfigurationsbeispiels eines fluoreszierenden Fadens,
    • 14 eine Ansicht eines anderen Konfigurationsbeispiels des fluoreszierenden Fadens,
    • 15 ein Blockdiagramm einer Variation einer Syntheseeinheit einer Bildverarbeitungseinheit,
    • 16 eine Ansicht eines Beispiels eines Bilds nach einer Farbumwandlungsverarbeitung,
    • 17 eine Ansicht zur Erklärung eines anderen Anwendungsbeispiels des Farbumwandlungsprozesses,
    • 18 ein Flussdiagramm zur Erklärung der Farbumwandlungsverarbeitung,
    • 19 ein Flussdiagramm zur Erklärung einer Pixeladditionsverarbeitung in einem Bereich des fluoreszierenden Fadens,
    • 20 eine Ansicht eines Beispiels der Pixeladditionsverarbeitung in einem Bereich des fluoreszierenden Fadens und
    • 21 ein Blockdiagramm eines Konfigurationsbeispiels einer Ausführungsform eines Computers, worauf die vorliegende Technologie angewendet wird.
  • MODUS ZUM AUSFÜHREN DER ERFINDUNG
  • Nachstehend werden Modi für die Ausführung der vorliegenden Technologie (nachstehend als Ausführungsformen bezeichnet) beschrieben. Dabei wird die Beschreibung in der folgenden Reihenfolge gegeben.
    1. 1. Erste Ausführungsform (Beispiel der getrennten Bildgebung eines Spezielles-Licht-Bilds und eines Normallichtbilds)
    2. 2. Zweite Ausführungsform (Beispiel der Erzeugung eines Spezielles-Licht-Bilds und eines Normallichtbilds aus einem Bild)
    3. 3. Anderes Konfigurationsbeispiel des fluoreszierenden Fadens
    4. 4. Variation der Syntheseeinheit
    5. 5. Anderes Anwendungsbeispiel der Farbumwandlungsverarbeitung
    6. 6. Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens
  • <Erste Ausführungsform>
  • <Konfigurationsbeispiel eines endoskopischen Operationssystems>
  • 1 zeigt ein Konfigurationsbeispiel eines endoskopischen Operationssystems, worauf die vorliegende Technologie angewendet wird.
  • Ein endoskopisches Operationssystem 10 ist mit einem Wagen 18 versehen, auf dem eine Anzeigevorrichtung 11, eine Kamerasteuereinheit (CCU) 12, eine Lichtquellenvorrichtung 13, eine Vorrichtung 14 für ein Behandlungswerkzeug, eine Pneumoperitoneum-Vorrichtung 15, eine Aufzeichnungsvorrichtung 16 und ein Drucker 17 angebracht sind. Das endoskopische Operationssystem 10 weist auch ein Endoskop (Laparoskop) 19, ein Energiebehandlungswerkzeug 20, eine Zange 21, Trokare 22 bis 25, einen Fußschalter 26 und ein Patientenbett 27 auf. Das in einem Operationssaal angeordnete endoskopische Operationssystem 10 unterstützt beispielsweise einen Operateur, der eine laparoskopische Operation an einer betroffenen Stelle im Abdomen 31 eines auf dem Patientenbett 27 liegenden Patienten ausführt.
  • Insbesondere weist die Anzeigevorrichtung 11 des endoskopischen Operationssystems 10 eine stationäre 2D-Anzeige, eine am Kopf angebrachte Anzeige und dergleichen auf. Die Anzeigevorrichtung 11 zeigt ein von der CCU 12 zugeführtes Bild einer Operationsstelle und dergleichen an.
  • Die CCU 12 (Bildverarbeitungsvorrichtung) ist über ein Kamerakabel mit dem Endoskop 19 verbunden. Die CCU 12 kann jedoch auch drahtlos mit dem Endoskop 19 verbunden sein. Die CCU 12 empfängt ein Bild einer zu operierenden Stelle (nachstehend auch als Operationsstellenbild bezeichnet), das durch das Endoskop 19 erzeugt und über das Kamerakabel übertragen wird, und führt es der Anzeigevorrichtung 11 zu. Die CCU 12 führt das empfangene Operationsstellenbild der Aufzeichnungsvorrichtung 16 und dem Drucker 17 bei Bedarf zu.
  • Die Lichtquellenvorrichtung 13 ist über ein Lichtleitkabel mit dem Endoskop 19 verbunden. Die Lichtquellenvorrichtung 13 schaltet Licht verschiedener Wellenlängen und überträgt dies zum Endoskop 19.
  • Die Vorrichtung 14 für ein Behandlungswerkzeug, welche eine Hochfrequenz-Ausgabevorrichtung ist, ist durch Kabel mit dem Energiebehandlungswerkzeug 20 und dem Fußschalter 26 verbunden. Die Vorrichtung 14 für ein Behandlungswerkzeug gibt ansprechend auf ein vom Fußschalter 26 zugeführtes Betriebssignal einen Hochfrequenzstrom an das Energiebehandlungswerkzeug 20 aus.
  • Die Pneumoperitoneum-Vorrichtung 15, die mit einer Luftzufuhreinrichtung und einer Luftabsaugeinrichtung versehen ist, führt dem Abdomen 31 durch ein Loch des Trokars 24, welcher ein Lochbildungswerkzeug ist, das an der Abdominalwand des Abdomens 31 angebracht wird, Luft zu.
  • Die Aufzeichnungsvorrichtung 16 zeichnet das von der CCU 12 zugeführte Operationsstellenbild auf. Der Drucker 17 druckt das von der CCU zugeführte Operationsstellenbild.
  • Das Endoskop 19 wird durch ein Loch des Trokars 22, der an der Abdominalwand des Abdomens 31 angebracht ist, in das zu operierende Abdomen 31 eingeführt. Das Endoskop 19 bestrahlt das Innere des Abdomens 31 mit dem von der Lichtquellenvorrichtung 13 emittierten Licht und bildet das Innere des Abdomens 31 als Operationsstellenbild ab. Das Endoskop 19 führt das durch eine Bildgebungseinheit 41 erhaltene Operationsstellenbild der CCU 12 über das Kamerakabel zu.
  • Das Energiebehandlungswerkzeug 20 (die Behandlungsvorrichtung) weist ein elektrisches Skalpell und dergleichen auf. Das Energiebehandlungswerkzeug 20 wird durch ein Loch des Trokars 23, der an der Abdominalwand des Abdomens 31 angebracht ist, in das Abdomen 31 eingeführt. Das Energiebehandlungswerkzeug 20 denaturiert oder schneidet das Innere des Abdomens 31 unter Verwendung elektrischer Wärme.
  • Die Zange 21 wird durch ein Loch des Trokars 25, der an der Abdominalwand des Abdomens 31 angebracht ist, in das Abdomen 31 eingeführt. Die Zange 21 greift in das Innere des Abdomens 31. Das Endoskop 19, das Energiebehandlungswerkzeug 20 und die Zange 21 werden vom Operateur, einem Assistenten, einem Skopisten, einem Roboter oder dergleichen gegriffen.
  • Der Fußschalter 26 akzeptiert eine Betätigung durch einen Fuß des Operateurs, des Assistenten und dergleichen. Der Fußschalter 26 führt das Betriebssignal, das die akzeptierte Betätigung angibt, der CCU 12 und der Vorrichtung 14 für das Behandlungswerkzeug zu.
  • Durch die Verwendung des endoskopischen Operationssystems 10 kann der Operateur eine Exzision an der betroffenen Stelle im Abdomen 31 ausführen, ohne eine Bauchoperation auszuführen, bei der die Abdominalwand aufgeschnitten wird und das Abdomen geöffnet wird.
  • Während er ein verarbeitetes Bild betrachtet, das auf der Grundlage des von der Bildgebungseinheit 41 des Endoskops 19 erzeugten Bilds auf der Anzeigevorrichtung 11 angezeigt wird, behandelt der Operateur die zu operierende betroffene Stelle (Operationsstelle) im Abdomen 31. Zu dieser Zeit wird ein fluoreszierender Faden 32 zum Nähen und Verknoten der betroffenen Stelle verwendet. Der fluoreszierende Faden 32 ist ein Faden, der fluoresziert, wenn die Beleuchtung, welche die betroffene Stelle bestrahlt, eine vorgegebene Bedingung annimmt, wobei beispielsweise ein Seidenfaden verwendet werden kann, der mit einem grün fluoreszierenden Protein leuchtet, wie im vorstehend beschriebenen Patentdokument 1 offenbart ist.
  • Der fluoreszierende Faden 32 fluoresziert, so dass er visuell leicht erkannt werden kann, wobei der Operateur jedoch bei der Beleuchtung, bei der der fluoreszierende Faden 32 fluoresziert, die betroffene Stelle nur schwer sehen kann, beispielsweise dunkel ist, wenn kein sichtbares Licht verwendet wird.
  • Daher steuert die CCU 12 des endoskopischen Operationssystems 10 die Lichtquellenvorrichtung 13 und das Endoskop 19, um eine Bildgebung unter einer Beleuchtungsbedingung auszuführen, bei der der Operateur den fluoreszierenden Faden 32 visuell leicht erkennen kann, und die Bildgebung unter einer Beleuchtungsbedingung auszuführen, bei der der Operateur die betroffene Stelle visuell leicht erkennen kann. Die CCU 12 führt auch eine Bildsyntheseverarbeitung mehrerer unter mehreren Beleuchtungsbedingungen erhaltener Operationsstellenbilder aus, um dadurch ein synthetisches Bild zu erzeugen, bei dem die Sichtbarkeit des fluoreszierenden Fadens 32 verbessert ist, und erlaubt der Anzeigevorrichtung 11, dieses anzuzeigen. Der Operateur kann eine Operation ausführen, während er das auf der Anzeigevorrichtung 11 angezeigte synthetische Bild betrachtet, und dabei problemlos nähen und knoten.
  • <Blockdiagramm, das sich auf die Bildverarbeitung bezieht>
  • 2 ist ein Blockdiagramm, das sich auf einen Block konzentriert, der sich auf die Bildgebung unter der Beleuchtungsbedingung, bei der sich der fluoreszierende Faden 32 visuell leicht erkennen lässt, die Bildgebung unter der Beleuchtungsbedingung, bei der sich die betroffene Stelle visuell leicht erkennen lässt, und die Bildverarbeitung mehrerer unter mehreren Beleuchtungsbedingungen erhaltener Operationsstellenbilder bezieht.
  • Die CCU 12 ist zumindest mit einer Steuereinheit 51, einer bilderhaltenden Einheit 52, einer Bildverarbeitungseinheit 53 und einer Bildausgabeeinheit 54 versehen.
  • Die Steuereinheit 51 führt eine Beleuchtungssteuerung zum Schalten zwischen der Beleuchtung unter der Beleuchtungsbedingung, bei der sich der fluoreszierende Faden 32 visuell leicht erkennen lässt, und der Beleuchtung unter der Beleuchtungsbedingung, bei der sich die betroffene Stelle visuell leicht erkennen lässt, entsprechend dem Zeitablauf der Bildgebung durch die Bildgebungseinheit 41 des Endoskops 19 an der Lichtquellenvorrichtung 13 aus.
  • Die Steuereinheit 51 steuert auch den Bildgebungszeitablauf durch die Bildgebungseinheit 41 des Endoskops 19. Das Endoskop 19 ist mit einem optischen System in der Art einer Beleuchtungslinse und der Bildgebungseinheit 41 versehen. Die Bildgebungseinheit 41 weist einen CMOS-Sensor eines Bayer-Felds auf, wobei beispielsweise vier Pixel, nämlich R-, G-, R- und B-Pixel wiederholt angeordnet sind. Die Bildgebungseinheit 41 führt eine Bildgebung auf der Grundlage des von der Steuereinheit 51 gesteuerten Bildgebungszeitablaufs aus und gibt das als Ergebnis erhaltene Bild der betroffenen Stelle an die bilderhaltende Einheit 52 aus.
  • Dabei wird nachstehend die Beleuchtung unter der Beleuchtungsbedingung, bei der sich der fluoreszierende Faden 32 visuell leicht erkennen lässt, als spezielles Licht bezeichnet und die Beleuchtung unter der Beleuchtungsbedingung, bei der sich die betroffene Stelle visuell leicht erkennen lässt, als normales Licht bezeichnet. Das spezielle Licht ist beispielsweise als so genanntes Schwarzlicht bezeichnetes Ultraviolettlicht, Infrarotlicht (IR-Licht) und dergleichen. Das normale Licht ist beispielsweise weißes Licht (sichtbares Licht).
  • Auch wird ein bei Bestrahlung mit dem speziellen Licht erzeugtes Bild als Spezielles-Licht-Bild bezeichnet und wird ein bei Bestrahlung mit dem normalen Licht erzeugtes Bild als Normallichtbild bezeichnet.
  • Die Steuereinheit 51 steuert das Schalten zwischen dem speziellen Licht und dem normalen Licht, die von der Lichtquellenvorrichtung 13 emittiert werden. Ferner gibt die Steuereinheit 51 ein estrahlungsidentifikationssignal aus, das angibt, welches der durch Bestrahlung mit dem normalen Licht und dem speziellen Licht erhaltenen Bilder von der bilderhaltenden Einheit 52 der Bildverarbeitungseinheit 53 der Bildverarbeitungseinheit 53 zugeführt wird.
  • Zusätzlich zur vorstehend beschriebenen Steuerung steuert die Steuereinheit 51 den Betrieb des gesamten endoskopischen Operationssystems 10 und steuert dabei beispielsweise die Vorrichtung 14 für das Behandlungswerkzeug und die Pneumoperitoneum-Vorrichtung 15 auf der Grundlage des vom Fußschalter 26 zugeführten Betriebssignals und auch die Aufzeichnungsvorrichtung 16 und den Drucker 17.
  • Die bilderhaltende Einheit 52 erhält das Normallichtbild und das Spezielles-Licht-Bild, die von der Bildgebungseinheit 41 zugeführt werden, und führt diese der Bildverarbeitungseinheit 53 zu.
  • Die Bildverarbeitungseinheit 53 führt eine vorgegebene Bildverarbeitung am Normallichtbild und am Spezielles-Licht-Bild, die von der bilderhaltenden Einheit 52 zugeführt werden, aus und führt das verarbeitete Bild der Bildausgabeeinheit 54 zu.
  • Die Bildverarbeitungseinheit 53 erkennt beispielsweise einen Bewegungsvektor unter Verwendung zweier Normallichtbilder zu verschiedenen Bildgebungszeitpunkten. Die Bildverarbeitungseinheit 53 führt auch eine vorgegebene Filterverarbeitung am Spezielles-Licht-Bild aus und erzeugt dadurch ein Bild, das durch Extrahieren eines Teils des fluoreszierenden Fadens 32 im Spezielles-Licht-Bild erhalten wird (nachstehend als extrahiertes Bild des fluoreszierenden Fadens bezeichnet). Ferner führt die Bildverarbeitungseinheit 53 auf der Grundlage des anhand des Normallichtbilds erkannten Bewegungsvektors eine Bewegungskorrektur des extrahierten Bilds des fluoreszierenden Fadens aus, synthetisiert das bewegungskorrigierte extrahierte Bild des fluoreszierenden Fadens und das Normallichtbild und gibt das dadurch erhaltene synthetische Bild an die Bildausgabeeinheit 54 aus.
  • Die Bildausgabeeinheit 54 wandelt das von der Bildverarbeitungseinheit 53 zugeführte synthetische Bild in ein Signal mit einem vorgegebenen Format, das die Anzeigevorrichtung 11 akzeptieren kann, um und gibt es an die Anzeigevorrichtung 11 aus. Auf der Grundlage des von der Bildausgabeeinheit 54 zugeführten Bildsignals zeigt die Anzeigevorrichtung 11 das erzeugte synthetische Bild an, so dass der Bediener die betroffene Stelle und den fluoreszierenden Faden 32 visuell leicht erkennen kann.
  • 3 zeigt konzeptionell die von der Bildverarbeitungseinheit 53 ausgeführte Bildsyntheseverarbeitung.
  • Das Normallichtbild ist beispielsweise das durch Bestrahlung mit dem weißen Licht erzeugte Bild, nämlich das Bild, bei dem sich die betroffene Stelle visuell leicht erkennen lässt, der fluoreszierende Faden 32 jedoch nicht leicht sichtbar ist.
  • Andererseits ist das Spezielles-Licht-Bild beispielsweise das durch Bestrahlung mit dem IR-Licht erzeugte Bild, nämlich das Bild, bei dem sich der fluoreszierende Faden 32 visuell leicht erkennen lässt, die betroffene Stelle jedoch nicht leicht sichtbar ist.
  • Das durch Synthetisieren des Normallichtbilds und des Spezielles-Licht-Bilds erhaltene synthetische Bild ist das Bild, bei dem das Normallichtbild für die betroffene Stelle und das Spezielles-Licht-Bild für den fluoreszierenden Faden 32 verwendet werden. Daher lassen sich sowohl die betroffene Stelle als auch der fluoreszierende Faden 32 in den Bildern visuell leicht erkennen.
  • <Bildgebungszeitablauf beim Normallichtbild und beim Spezielles-Licht-Bild>
  • Als nächstes zeigt 4 ein Beispiel der Bildgebungszeitabläufe beim Normallichtbild und beim Spezielles-Licht-Bild.
  • Die Steuereinheit 51 steuert die kontinuierliche Erzeugung mehrerer Frames der Normallichtbilder und dann die Erzeugung des Spezielles-Licht-Bilds. Das Bilderzeugungsverhältnis für die Normallichtbilder und die Spezielles-Licht-Bilder beträgt beispielsweise 4:1, wie in 4 dargestellt ist. Dieses Verhältnis ist jedoch nicht auf 4:1 begrenzt und kann geändert werden.
  • Die Zeit Ta in 4 gibt den Zeitpunkt an, zu dem das Normallichtbild einen Frame vor dem Spezielles-Licht-Bild erzeugt wird, und die Zeit Tb gibt den Zeitpunkt an, zu dem das Spezielles-Licht-Bild erzeugt wird. Die Zeiten Tc, Td, Te und Tf geben die Zeitpunkte an, zu denen das Normallichtbild einen, zwei, drei bzw. vier Frames nach dem Spezielles-Licht-Bild erzeugt wird.
  • <Detailliertes Konfigurationsbeispiel der Bildverarbeitungseinheit 53>
  • 5 ist ein Blockdiagramm, das ein detailliertes Konfigurationsbeispiel der Bildverarbeitungseinheit 53 zeigt.
  • Die Bildverarbeitungseinheit 53 weist eine Schalteinheit 71, eine Bewegungsvektor-Erkennungseinheit 72, eine Korrekturbetrag-Schätzeinheit 73, einen Frame-Speicher 74, eine Merkmalsextraktionsfilter-Verarbeitungseinheit 75, eine Bewegungskorrektureinheit 76 und eine Syntheseeinheit 77 auf.
  • In der Bildverarbeitungseinheit 53 werden das Normallichtbild und das Spezielles-Licht-Bild, die von der bilderhaltenden Einheit 52 entgegengenommen wurden, in die Schalteinheit 71 eingegeben, und das Bestrahlungsidentifikationssignal von der Steuereinheit 51 wird in die Schalteinheit 71, die Bewegungsvektor-Erkennungseinheit 72 und die Korrekturbetrag-Schätzeinheit 73 eingegeben.
  • Auf der Grundlage des Bestrahlungsidentifikationssignals stellt die Schalteinheit 71 fest, ob die Eingabe der bilderhaltenden Einheit 52 das Spezielles-Licht-Bild ist, und sie gibt, wenn dies nicht der Fall ist (wobei dieses das Normallichtbild ist) dieses an die Bewegungsvektor-Erkennungseinheit 72 und die Syntheseeinheit 77 aus, und sie gibt es, falls es das Spezielles-Licht-Bild ist, an den Frame-Speicher 74 aus.
  • Die Bewegungsvektor-Erkennungseinheit 72 erkennt den Bewegungsvektor unter Verwendung zweier Normallichtbilder mit unterschiedlichen Bildgebungszeiten für jede Frame-Periode und gibt den erkannten Bewegungsvektor an die Korrekturbetrag-Schätzeinheit 73 aus.
  • Auf der Grundlage des von der Bewegungsvektor-Erkennungseinheit 72 erkannten Bewegungsvektors schätzt die Korrekturbetrag-Schätzeinheit 73 den Bewegungskorrekturbetrag des Spezielles-Licht-Bilds und des extrahierten Bilds des fluoreszierenden Fadens und gibt den geschätzten Bewegungskorrekturbetrag an die Bewegungskorrektureinheit 76 aus. Dabei kann die Korrekturbetrag-Schätzeinheit 73 den Bewegungsvektor, der auf der Grundlage der kontinuierlich erkannten Bewegungsvektoren falsch erkannt werden könnte, korrigieren und den Bewegungskorrekturbetrag auf der Grundlage des korrigierten Bewegungsvektors schätzen.
  • Der Frame-Speicher 74 hält das von der Schalteinheit 71 eingegebene Spezielles-Licht-Bild und führt das gehaltene Spezielles-Licht-Bild in jeder Frame-Periode der Merkmalsextraktionsfilter-Verarbeitungseinheit 75 und der Bewegungskorrektureinheit 76 zu. Auch in einem Fall, in dem das nächste Spezielles-Licht-Bild von der Schalteinheit 71 eingegeben wird, aktualisiert der Frame-Speicher 74 das gehaltene Spezielles-Licht-Bild.
  • Die Merkmalsextraktionsfilter-Verarbeitungseinheit 75 extrahiert einen Bereich des fluoreszierenden Fadens 32 auf der Grundlage des Merkmals des fluoreszierenden Fadens 32 im vom Frame-Speicher 74 zugeführten Spezielles-Licht-Bild und erzeugt das extrahierte Bild des fluoreszierenden Fadens, das ein Extraktionsergebnis zeigt. Insbesondere extrahiert die Merkmalsextraktionsfilter-Verarbeitungseinheit 75 beispielsweise einen Bereich innerhalb eines spezifischen Gebiets, worin der Signalpegel eines Pixels einer fluoreszierenden Farbe entspricht, d.h. einen Bereich mit einem spezifischen RGB-Wert, und erzeugt das extrahierte Bild des fluoreszierenden Fadens, welches das extrahierte Ergebnis zeigt.
  • Dabei führt der Frame-Speicher 74 das gehaltene Spezielles-Licht-Bild in jeder Frame-Periode zu, wie vorstehend beschrieben wurde, so dass dieses Spezielles-Licht-Bild kontinuierlich zugeführt wird. In diesem Fall kann die Merkmalsextraktionsfilter-Verarbeitungseinheit 75 ein Ergebnis der vorhergehenden Merkmalsextraktionsfilterverarbeitung unverändert an die Bewegungskorrektureinheit 76 ausgeben, während die Merkmalsextraktionsfilterverarbeitung übergangen wird.
  • Die Merkmalsextraktionsfilter-Verarbeitungseinheit 75 kann eine andere Merkmalsextraktionsfilterverarbeitung als die Extraktion des Bereichs mit dem spezifischen RGB-Wert, wie vorstehend beschrieben, ausführen, beispielsweise eine Differenzfilterverarbeitung (beispielsweise eine Sobel-Filterverarbeitung), eine Konturerkennungsverarbeitung, eine Verarbeitung auf der Grundlage der Varianz, des Dynamikbereichs und dergleichen in jedem kleinen (3 x 3)-Block, der im Bild festgelegt ist. Das heißt, dass die von der Merkmalsextraktionsfilter-Verarbeitungseinheit 75 ausgeführte Merkmalsextraktionsfilterverarbeitung nicht beschränkt ist, solange sie den Bereich des fluoreszierenden Fadens 32 extrahieren kann.
  • Auf der Grundlage des von der Bewegungskorrekturbetrag-Schätzeinheit 73 eingegebenen Bewegungskorrekturbetrags führt die Bewegungskorrektureinheit 76 die Bewegungskorrektur des Spezielles-Licht-Bilds vom Frame-Speicher 74 aus, führt die Bewegungskorrektur des extrahierten Bilds des fluoreszierenden Fadens von der Merkmalsextraktionsfilter-Verarbeitungseinheit 75 aus und gibt das bewegungskorrigierte Spezielles-Licht-Bild und das extrahierte Bild des fluoreszierenden Fadens an die Syntheseeinheit 77 aus.
  • Die Syntheseeinheit 77 führt die Syntheseverarbeitung zum Synthetisieren des Normallichtbilds und des bewegungskorrigierten extrahierten Bilds des fluoreszierenden Fadens aus, um dadurch das synthetische Bild zu erzeugen, und sie gibt dieses an die Bildausgabeeinheit 54 aus. Beispielsweise erzeugt die Syntheseeinheit 77 das synthetische Bild, wobei das Normallichtbild für den Teil der betroffenen Stelle verwendet wird und das Spezielles-Licht-Bild für den fluoreszierenden Faden 32 verwendet wird. Auch erzeugt die Syntheseeinheit 77 beispielsweise das synthetische Bild, indem sie einen Teil des fluoreszierenden Fadens 32 im Spezielles-Licht-Bild dem Normallichtbild überlagert. Auf diese Weise kann das synthetische Bild erzeugt werden, in dem sowohl die betroffene Stelle als auch der fluoreszierende Faden 32 visuell leicht erkannt werden können, wie in 3 dargestellt ist.
  • Dabei wird zusätzlich zum Normallichtbild und zum bewegungskorrigierten extrahierten Bild des fluoreszierenden Fadens auch das bewegungskorrigierte Spezielles-Licht-Bild in die Syntheseeinheit 77 eingegeben, so dass das bewegungskorrigierte Spezielles-Licht-Bild bei Bedarf auch bei der Syntheseverarbeitung verwendet werden kann.
  • <Detailliertes Konfigurationsbeispiel der Bewegungsvektor-Erkennungseinheit 72>
  • 6 ist ein Blockdiagramm, das ein detailliertes Konfigurationsbeispiel der Bewegungsvektor-Erkennungseinheit 72 zeigt.
  • Die Bewegungsvektor-Erkennungseinheit 72 weist Frame-Speicher 91 und 92, eine Frame-Auswahleinheit 93, eine Blockvergleichseinheit 94 und eine Vektorkorrektureinheit 95 auf.
  • In der Bewegungsvektor-Erkennungseinheit 72 wird das in einer vorhergehenden Stufe von der Schalteinheit 71 entgegengenommene Normallichtbild in den Frame-Speicher 91 und die Frame-Auswahleinheit 93 eingegeben.
  • Für jede Frame-Periode gibt der Frame-Speicher 91 das bis dahin gehaltene Normallichtbild an den Frame-Speicher 92 und die Frame-Auswahleinheit 93 aus und aktualisiert die gehaltenen Daten durch das in der vorhergehenden Stufe von der Schalteinheit 71 entgegengenommene Normallichtbild. Ähnlich gibt der Frame-Speicher 92 für jede Frame-Periode das bis dahin gehaltene Normallichtbild an die Frame-Auswahleinheit 93 aus und aktualisiert die gehaltenen Daten durch das vom Frame-Speicher 91 in der vorhergehenden Stufe entgegengenommene Normallichtbild.
  • In der Frame-Periode gibt der Frame-Speicher 91 jedoch zu der Zeit, zu der das Normallichtbild nicht in die Bewegungsvektor-Erkennungseinheit 72 eingegeben wird, das bis dahin gehaltene Normallichtbild an eine folgende Stufe aus und löscht die bis dahin gehaltenen Daten.
  • Zum nächsten Zeitpunkt gibt der Frame-Speicher 91 keine Daten an die folgende Stufe aus, weil es keine gehaltenen Daten gibt. Der Frame-Speicher 92 gibt das bis dahin gehaltene Normallichtbild an die folgende Stufe aus und löscht die bis dahin gehaltenen Daten.
  • Daher werden zwei oder drei Normallichtbilder verschiedener Bildgebungszeitpunkte gleichzeitig in die Frame-Auswahleinheit 93 eingegeben.
  • In einem Fall, in dem die beiden Normallichtbilder gleichzeitig eingegeben werden, gibt die Frame-Auswahleinheit 93 die beiden Normallichtbilder an die Blockvergleichseinheit 94 aus. Auch in einem Fall, in dem drei Normallichtbilder gleichzeitig eingegeben werden, gibt die Frame-Auswahleinheit 93 die beiden von den Frame-Speichern 91 und 92 eingegebenen Normallichtbilder an die Blockvergleichseinheit 94 aus. Die Blockvergleichseinheit 94 erkennt den Bewegungsvektor zwischen den beiden Normallichtbildern durch Blockvergleichsverarbeitung.
  • Auf der Grundlage des Bestrahlungsidentifikationssignals bestimmt die Vektorkorrektureinheit 95 eine Beziehung zwischen den beiden für den Bewegungsvektor verwendeten Normallichtbildern, korrigiert den erkannten Bewegungsvektor auf der Grundlage der Beziehung und gibt den Bewegungsvektor an die Korrekturbetrag-Schätzeinheit 73 aus.
  • Die Korrektur des Bewegungsvektors durch die Vektorkorrektureinheit 95 wird spezifisch beschrieben.
  • Mit Bezug auf die Ausgabe aus dem Frame-Speicher 91 sei bemerkt, dass in einem Fall, in dem die Referenzbildgebungszeit die in 4 dargestellte Zeit Ta ist, das Normallichtbild einen Frame vor der Referenz und das Referenz-Normallichtbild vom Frame-Speicher 92 bzw. vom Frame-Speicher 91 in die Frame-Auswahleinheit 93 eingegeben werden und der Bewegungsvektor anhand der beiden Normallichtbilder erkannt wird. In diesem Fall korrigiert die Vektorkorrektureinheit 95 den Bewegungsvektor nicht.
  • In einem Fall, in dem die Referenzbildgebungszeit die in 4 dargestellte Zeit Tb ist, gibt der Frame-Speicher 91 nichts aus, weil die Zeit Tb die Bildgebungszeit des Spezielles-Licht-Bilds ist. Dann werden das Normallichtbild zur Zeit Ta einen Frame vor der Referenz und das Normallichtbild zur Zeit Tc einen Frame nach der Referenz vom Frame-Speicher 92 bzw. von der Schalteinheit 71 in die Frame-Auswahleinheit 93 eingegeben und wird der Bewegungsvektor anhand der beiden Normallichtbilder erkannt. In diesem Fall multipliziert die Vektorkorrektureinheit 95 sowohl die vertikale als auch die horizontale Komponente des erkannten Bewegungsvektors mit 1/2, weil der erkannte Bewegungsvektor jener zwischen den durch zwei Frames getrennten Normallichtbildern ist.
  • In einem Fall, in dem die Referenzbildgebungszeit die in 4 dargestellte Zeit Tc ist, werden das Referenz-Normallichtbild und das Normallichtbild zur Zeit Td einen Frame nach der Referenz vom Frame-Speicher 91 bzw. von der Schalteinheit 71 in die Frame-Auswahleinheit 93 eingegeben und wird der Bewegungsvektor anhand der beiden Normallichtbilder erkannt. Weil die Richtung des erkannten Bewegungsvektors in diesem Fall entgegengesetzt zu jener in anderen Fällen ist, multipliziert die Vektorkorrektureinheit 95 sowohl die vertikale als auch die horizontale Komponente des erkannten Bewegungsvektors mit -1.
  • In einem Fall, in dem die Referenzbildgebungszeit die in 4 dargestellte Zeit Td ist, werden das Normallichtbild zur Zeit Tc einen Frame vor der Referenz, das Referenz-Normallichtbild und das Normallichtbild zur Zeit Te einen Frame nach der Referenz vom Frame-Speicher 92, vom Frame-Speicher 91 bzw. von der Schalteinheit 71 in die Frame-Auswahleinheit 93 eingegeben und wird der Bewegungsvektor anhand der beiden Normallichtbilder aus den Frame-Speichern 91 und 92 erkannt. In diesem Fall korrigiert die Vektorkorrektureinheit 95 den Bewegungsvektor nicht.
  • In einem Fall, in dem die Referenzbildgebungszeit die in 4 dargestellte Zeit Te ist, werden das Normallichtbild zur Zeit Td einen Frame vor der Referenz, das Referenz-Normallichtbild und das Normallichtbild zur Zeit Tf einen Frame nach der Referenz vom Frame-Speicher 92, vom Frame-Speicher 91 bzw. von der Schalteinheit 71 in die Frame-Auswahleinheit 93 eingegeben und wird der Bewegungsvektor anhand der beiden Normallichtbilder aus den Frame-Speichern 91 und 92 erkannt. In diesem Fall korrigiert die Vektorkorrektureinheit 95 den Bewegungsvektor nicht.
  • Der in der vorstehend beschriebenen Art korrigierte Bewegungsvektor wird von der Vektorkorrektureinheit 95 an die Korrekturbetrag-Schätzeinheit 73 in der folgenden Stufe ausgegeben.
  • <Flussdiagramm der Bildsyntheseverarbeitung>
  • Die Bildsyntheseverarbeitung durch die Bildverarbeitungseinheit 53 wird als nächstes mit Bezug auf ein Flussdiagramm in 7 beschrieben. Diese Bildsyntheseverarbeitung wird in jeder Frame-Periode ausgeführt.
  • In Schritt S1 stellt die Schalteinheit 71 auf der Grundlage des Bestrahlungsidentifikationssignals fest, ob die Eingabe von der bilderhaltenden Einheit 52 das Spezielles-Licht-Bild oder das Normallichtbild ist und schaltet ein Ausgabeziel des eingegebenen Bilds. Das heißt, dass die Schalteinheit 71 in einem Fall, in dem sie feststellt, dass die Eingabe von der bilderhaltenden Einheit 52 das Spezielles-Licht-Bild ist, dieses an den Frame-Speicher 74 ausgibt. Andererseits gibt die Schalteinheit 71 in einem Fall, in dem sie feststellt, dass die Eingabe von der bilderhaltenden Einheit 52 nicht das Spezielles-Licht-Bild (das Normallichtbild) ist, dieses an die Bewegungsvektor-Erkennungseinheit 72 und die Syntheseeinheit 77 aus.
  • In Schritt S2 führt der Frame-Speicher 74 das bis dahin gehaltene Spezielles-Licht-Bild der Merkmalsextraktionsfilter-Verarbeitungseinheit 75 und der Bewegungskorrektureinheit 76 zu. Auch aktualisiert der Frame-Speicher 74 das gehaltene Spezielles-Licht-Bild in einem Fall, in dem das Spezielles-Licht-Bild von der Schalteinheit 71 eingegeben wird.
  • In Schritt S3 führt die Merkmalsextraktionsfilter-Verarbeitungseinheit 75 eine vorgegebene Merkmalsextraktionsfilterverarbeitung am vom Frame-Speicher 74 zugeführten Spezielles-Licht-Bild aus und erzeugt dadurch das extrahierte Bild des fluoreszierenden Fadens durch Extrahieren des Bereichs des fluoreszierenden Fadens 32 im Bild und gibt dieses an die Bewegungskorrektureinheit 76 aus.
  • In Schritt S4 erkennt die Bewegungsvektor-Erkennungseinheit 72 den Bewegungsvektor unter Verwendung zweier Normallichtbilder zu verschiedenen Bildgebungszeiten und gibt ihn an die Korrekturbetrag-Schätzeinheit 73 aus.
  • In Schritt S5 stellt die Korrekturbetrag-Schätzeinheit 73 fest, ob der erkannte Bewegungsvektor kleiner oder gleich einer vorgegebenen Schwelle ist, und falls dies der Fall ist, geht die Prozedur zu Schritt S6, um den Bewegungsvektor für die Bewegungskorrektur zu verwenden. Falls der erkannte Bewegungsvektor dagegen größer als die vorgegebene Schwelle ist, wird er nicht für die Bewegungskorrektur verwendet. In diesem Fall endet die dieser Bildgebungszeit entsprechende Bildsyntheseverarbeitung.
  • In Schritt S6 schätzt die Korrekturbetrag-Schätzeinheit 73 auf der Grundlage des von der Bewegungsvektor-Erkennungseinheit 72 erkannten Bewegungsvektors die Bewegungskorrekturbeträge des Spezielles-Licht-Bilds und des extrahierten Bilds des fluoreszierenden Fadens und gibt die geschätzten Bewegungskorrekturbeträge an die Bewegungskorrektureinheit 76 aus. Insbesondere werden die Bewegungskorrekturbeträge Hx und Hy beispielsweise wie durch die folgende Gleichung (1) repräsentiert berechnet:
    [Gleichung 1] H x = t = 1 N V x ,t H y = t = 1 N V y ,t
    Figure DE112016004455T5_0001
  • In Gleichung (1) repräsentieren Vx und Vy die erkannten und korrigierten Bewegungsvektoren und repräsentiert N die Bildgebungszeit t = N des Normallichtbilds, worin der Bewegungsvektor erkannt wird, in Bezug auf die Bildgebungszeit t = 0 des zu korrigierenden Spezielles-Licht-Bilds.
  • Dabei kann die Korrekturbetrag-Schätzeinheit 73 auch den Bewegungskorrekturbetrag nach dem Korrigieren einer Variation der Bewegungsvektoren auf der Grundlage einer Reihe von Bewegungsvektoren, wie nachstehend beschrieben, als ein anderes Verfahren zum Schätzen des Bewegungskorrekturbetrags schätzen.
  • 8 zeigt einen Verarbeitungsablauf des Schätzens des Bewegungskorrekturbetrags nach der Korrektur der Variation der Bewegungsvektoren auf der Grundlage einer Reihe von Bewegungsvektoren. 9 zeigt ein Bild der Korrektur der Variation in Bewegungsvektoren auf der Grundlage einer Reihe von Bewegungsvektoren.
  • Insbesondere schätzt die Korrekturbetrag-Schätzeinheit 73 den Bewegungsvektor (V'x,t, V'y,t) für die Bildgebungszeit t, wie durch die folgende Gleichung (2) repräsentiert ist:
    [Gleichung 2] V' x ,t = a x t 3 + b x t 2 + c x t + d x V' y ,t = a y t 3 + b y t 2 + c y t + d y
    Figure DE112016004455T5_0002
  • Dann ersetzt die Korrekturbetrag-Schätzeinheit 73 den Bewegungsvektor aus Gleichung (1) durch den geschätzten Bewegungsvektor (V'x,t, V'y,t) und berechnet die Bewegungskorrekturbeträge Hx und Hy durch die folgende Gleichung (3):
    [Gleichung 3] H x = t = 1 N V' x ,t H y = t = 1 N V' y ,t
    Figure DE112016004455T5_0003
  • Dabei können die Koeffizienten (ax, bx, cx, dx) und (ay, by, cy, dy) in Gleichung (2) durch die Methode der kleinsten Quadrate unter Verwendung der erkannten Bewegungsvektoren (Vx,1, Vy,1) , ..., und (Vx,t, Vy,t) berechnet werden.
  • Nachdem der Bewegungskorrekturbetrag wie vorstehend beschrieben geschätzt wurde, geht die Prozedur zu Schritt S7.
  • In Schritt S7 führt die Bewegungskorrektureinheit 76 auf der Grundlage des von der Bewegungskorrekturbetrag-Schätzeinheit 73 eingegebenen Bewegungskorrekturbetrags die Bewegungskorrektur des Spezielles-Licht-Bilds aus dem Frame-Speicher 74 und die Bewegungskorrektur des extrahierten Bilds des fluoreszierenden Fadens von der Merkmalsextraktionsfilter-Verarbeitungseinheit 75 aus und gibt das bewegungskorrigierte Spezielles-Licht-Bild und das extrahierte Bild des fluoreszierenden Fadens an die Syntheseeinheit 77 aus. Im Normallichtbild, im Spezielles-Licht-Bild und im extrahierten Bild des fluoreszierenden Fadens, die in die Syntheseeinheit 77 eingegeben werden, sind Objekte in den jeweiligen Bildern genau ausgerichtet.
  • In Schritt S8 führt die Syntheseeinheit 77 die Syntheseverarbeitung des Normallichtbilds und des bewegungskorrigierten extrahierten Bilds des fluoreszierenden Fadens aus und gibt das dadurch erhaltene synthetische Bild an die Bildausgabeeinheit 54 aus. Beispielsweise sei kurz bemerkt, dass die Syntheseeinheit 77 Pixel, deren Luminanz oder Chrominanz größer oder gleich einer vorgegebenen Schwelle im extrahierten Bild des fluoreszierenden Fadens ist, als Bereich des fluoreszierenden Fadens 32 extrahiert. Dann erzeugt die Syntheseeinheit 77 das synthetische Bild, in dem der Pixelwert des extrahierten Bilds des fluoreszierenden Fadens für den extrahierten Bereich des fluoreszierenden Fadens 32 verwendet wird und der Pixelwert des Normallichtbilds für den anderen Bereich verwendet wird, und erzeugt daraus das synthetische Bild.
  • Zusätzlich kann die Syntheseeinheit 77 beispielsweise auch die folgende Syntheseverarbeitung ausführen.
    [Gleichung 4] O R ( x ,y ) = C 0 × N R ( x ,y ) + C 1 + Merkmal R ( x ,y ) × I R ( x ,y ) O G ( x ,y ) = C 0 × N G ( x ,y ) + C 1 + Merkmal G ( x ,y ) × I G ( x ,y ) O B ( x ,y ) = C 0 × N B ( x ,y ) + C 1 + Merkmal B ( x ,y ) × I B ( x ,y )
    Figure DE112016004455T5_0004
  • In Gleichung (4) repräsentieren O(x, y) den Pixelwert des synthetischen Bilds, N(x, y) den Pixelwert des Normallichtbilds, Merkmal(x, y) den Pixelwert des bewegungskorrigierten extrahierten Bilds des fluoreszierenden Fadens und I(x, y) den Pixelwert des bewegungskorrigierten Spezielles-Licht-Bilds. C0 und C1 sind Koeffizienten zum Steuern des Überlagerungsgrads und können vom Benutzer beliebig festgelegt werden. Bei der Syntheseverarbeitung nach Gleichung (4) wird das Ergebnis der Multiplikation des bewegungskorrigierten extrahierten Bilds des fluoreszierenden Fadens und des Spezielles-Licht-Bilds zum Normallichtbild addiert.
  • Die Syntheseeinheit 77 kann beispielsweise auch die folgende Syntheseverarbeitung ausführen.
    [Gleichung 5] ( O R ( x ,y ) O G ( x ,y ) O B ( x ,y ) ) = ( C 1 R × Merkmal R ( x ,y ) C 1 G × Merkmal G ( x ,y ) C 1 B × Merkmal B ( x ,y ) C 2R × Merkmal R ( x ,y ) C 2G × Merkmal G ( x ,y ) C 1B × Merkmal B ( x ,y ) C 3R × Merkmal R ( x ,y ) C 3G × Merkmal G ( x ,y ) C 1B × Merkmal B ( x ,y ) ) ( N R ( x ,y ) N G ( x ,y ) N B ( x ,y ) )
    Figure DE112016004455T5_0005
  • In Gleichung (5) repräsentieren O(x, y) den Pixelwert des synthetischen Bilds, N(x, y) den Pixelwert des Normallichtbilds, Merkmal(x, y) den Pixelwert des bewegungskorrigierten extrahierten Bilds des fluoreszierenden Fadens und C einen Farbumwandlungskoeffizienten. Bei der Syntheseverarbeitung nach Gleichung (5) wird eine Pseudofarbumwandlung durch Farbmatrixverarbeitung unter Verwendung der mit den Pixelwerten des extrahierten Bilds des fluoreszierenden Fadens multiplizierten Farbumwandlungskoeffizienten C am Normallichtbild ausgeführt.
  • Bei der vorstehend beschriebenen Bildsyntheseverarbeitung kann die Bewegungskorrektur des Spezielles-Licht-Bilds und des extrahierten Bilds des fluoreszierenden Fadens genau ausgeführt werden, weil der Bewegungsvektor nur unter Verwendung des Normallichtbilds erkannt wird und der Bewegungskorrekturbetrag nach der Korrektur des erkannten Bewegungsvektors geschätzt wird. Dadurch können der Bereich des fluoreszierenden Fadens 32 im Spezielles-Licht-Bild in Bezug auf das Normallichtbild genau ausgerichtet werden und das synthetische Bild mit verbesserter Sichtbarkeit erzeugt werden. Weil das erzeugte synthetische Bild auf der Anzeigevorrichtung 11 angezeigt wird, kann dem Operateur das Bild präsentiert werden, in dem sowohl die betroffene Stelle als auch der fluoreszierende Faden 32 visuell leicht erkannt werden können.
  • Wenngleich dabei ein Beispiel beschrieben wurde, bei dem die Lichtquellenvorrichtung 13 so gesteuert wird, dass ein Spezielles-Licht-Bild für vier Normallichtbilder erhalten wird, wie in 4 dargestellt ist, ist das Verhältnis zwischen der Anzahl der erzeugten Normallichtbilder und Spezielles-Licht-Bilder nicht darauf beschränkt. Beispielsweise, wie in 10 dargestellt ist, kann die Steuereinheit 51 eine solche Steuerung vornehmen, dass das Normallichtbild und das Spezielles-Licht-Bild abwechselnd erhalten werden.
  • <Zweite Ausführungsform>
  • Als nächstes wird eine zweite Ausführungsform beschrieben. Dabei wird in der folgenden Beschreibung darauf verzichtet, bisher bereits beschriebene Teile zu beschreiben, und es werden nur verschiedenartige Teile beschrieben.
  • Gemäß der vorstehend beschriebenen ersten Ausführungsform weist die Bildgebungseinheit 41 den CMOS-Sensor mit dem allgemeinen Bayer-Feld und dergleichen auf, werden das durch das spezielle Licht erhaltene Spezielles-Licht-Bild und das durch das normale Licht erhaltene Normallichtbild durch Ändern der Beleuchtungsbedingung der Lichtquellenvorrichtung 13 erzeugt und wird das synthetische Bild unter Verwendung des Spezielles-Licht-Bilds und des Normallichtbilds erzeugt.
  • Gemäß der zweiten Ausführungsform wird als Bildsensor einer Bildgebungseinheit 41 ein Sensor verwendet, der mit einem für Licht eines schmalen Wellenlängenbands empfindlichen Pixel versehen ist, wie in 11 dargestellt ist.
  • Der in 11 dargestellte Bildsensor weist ein Pixel-Feld auf, in dem vier Pixel NB, G, R und B wiederholt angeordnet sind. Gemäß der zweiten Ausführungsform emittiert ein fluoreszierender Faden 32 Licht eines spezifischen schmalen Wellenlängenbands unter Weißlicht. Das NB-Pixel ist für das vom fluoreszierenden Faden 32 emittierte Licht des schmalen Wellenlängenbands empfindlich.
  • In einem Fall, in dem die Bildgebungseinheit 41 mit einem solchen Bildsensor versehen ist, wie in 12 dargestellt ist, können sowohl ein anhand der R-, G- und B-Pixel erhaltener Pixelwert zur Erzeugung eines Bilds, in dem ein Operateur eine betroffene Stelle visuell leicht erkennen kann, als auch ein anhand des NB-Pixels erhaltener Pixelwert zum Erzeugen eines Bilds, in dem der Operateur den fluoreszierenden Faden 32 visuell leicht erkennen kann, durch einmalige Bildgebung erhalten werden.
  • Dann führt eine Bildverarbeitungseinheit 53 eine Demosaikverarbeitung durch die Verwendung der Pixelwerte der R-, G- und B-Pixel aus und erzeugt dadurch ein RGB-Demosaikbild, in dem sich die betroffene Stelle visuell leicht erkennen lässt, und sie erzeugt auch ein interpoliertes NB-Bild, in dem sich der fluoreszierende Faden 32 visuell leicht erkennen lässt, durch Ausführen einer Interpolationsverarbeitung, bei der der NB-Pixelwert interpoliert wird, so dass er die gleiche Auflösung aufweist wie das RGB-Demosaikbild. Anschließend führt die Bildverarbeitungseinheit 53 eine Syntheseverarbeitung aus, bei der das RGB-Demosaikbild und das interpolierte NB-Bild synthetisiert werden, um ein synthetisches Bild zu erzeugen, wie in 12 dargestellt ist, und gibt dies an eine Bildausgabeeinheit 54 aus.
  • <Anderes Konfigurationsbeispiel des fluoreszierenden Fadens>
  • Bei jeder der vorstehend beschriebenen Ausführungsformen wird der fluoreszierende Faden 32 als ein Material beschrieben, das in einem Teil eines gesamten Fadens gleichmäßig in der gleichen Farbe leuchtet.
  • Der fluoreszierende Faden 32 kann jedoch auch so ausgelegt werden, dass er in einem sich wiederholenden Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist, wie beispielsweise in 13 dargestellt ist. Der in 13 dargestellte fluoreszierende Faden 32 weist ein Muster auf, bei dem ein Kombinationsmuster lang, mittel, kurz einer von einer ersten fluoreszierenden Farbe verschiedenen zweiten fluoreszierenden Farbe mit einem vorgegebenen Intervall zwischen der ersten fluoreszierenden Farbe wiederholt wird. Hier geben lang, mittel und kurz Längendifferenzen an, mit denen sich die zweite fluoreszierende Farbe in Längsrichtung des fluoreszierenden Fadens 32 erstreckt.
  • Indem der fluoreszierende Faden 32 auf diese Art so ausgelegt wird, dass er in dem im lebenden Körper nicht vorhandenen sich wiederholenden Muster leuchtet, kann der Operateur leicht ein Tiefengefühl der betroffenen Stelle und in Richtung des distalen Endes des als Bild angezeigten Fadens auf der Grundlage der Dichte oder Länge von Fluoreszenzmustern erhalten.
  • 14 zeigt ein anderes Beispiel des im lebenden Körper des fluoreszierenden Fadens 32 nicht vorhandenen sich wiederholenden Musters.
  • A aus 14 zeigt ein Beispiel des sich wiederholenden Musters mit einer Konfiguration, bei der die erste fluoreszierende Farbe und die zweite fluoreszierende Farbe mit der gleichen Länge abwechselnd angeordnet sind.
  • B aus Fiur 14 zeigt ein Muster, bei dem sich drei Muster, nämlich ein erstes Muster lang, lang, lang, ein zweites Muster mittel, mittel, mittel und ein drittes Muster kurz, kurz, kurz in der zweiten fluoreszierenden Farbe, in der ersten fluoreszierenden Farbe wiederholen.
  • Dabei sind A aus 14 und B aus 14 lediglich Beispiele sich wiederholender Muster, die im lebenden Körper nicht vorhanden sind, und die Anzahl, die Länge, der Typ und dergleichen des sich wiederholenden Musters sind nicht auf jene begrenzt, die in diesem Beispiel angegeben sind. Das im lebenden Körper nicht vorhandene sich wiederholende Muster kann ein Muster sein, bei dem Muster in mehreren fluoreszierenden Farben entsprechend einer vorgegebenen Regel angeordnet sind.
  • C aus 14 zeigt ein Beispiel des fluoreszierenden Fadens 32, bei dem sich die fluoreszierenden Farben nicht klar unterscheiden lassen, sondern sich abgestuft ändern. Bei C aus Figur 14 können sich die Farben entlang der gesamten Länge der fluoreszierenden Fadens 32 abgestuft ändern, oder die Abstufung bei C aus 14 kann sich im gesamten fluoreszierenden Faden 32 mehrere Male wiederholen. Ein solches Muster des fluoreszierenden Fadens 32 ist auch im sich wiederholenden Muster enthalten, das im lebenden Körper nicht vorhanden ist.
  • <Variation der Syntheseeinheit>
  • 15 zeigt eine Variation einer Syntheseeinheit 77 einer Bildverarbeitungseinheit 53.
  • Die Syntheseeinheit 77 ist mit einer Farbumwandlungs-Verarbeitungseinheit 78 versehen.
  • Die Farbumwandlungs-Verarbeitungseinheit 78 führt eine Signalverarbeitung aus, bei der eine Farbe eines fluoreszierenden Fadens 32 in einem synthetischen Bild umgewandelt wird, das durch Synthetisieren eines Normallichtbilds und eines Spezielles-Licht-Bilds erhalten wird, so dass sich gegenüber einer Hintergrundfarbe eine komplementäre Farbbeziehung ergibt. Weil der Hintergrund des fluoreszierenden Fadens 32 bei einem Operationsstellenbild gewöhnlich ein Organ des Patienten (lebenden Körpers) in den Farben Orange und Rot ist, wandelt die Farbumwandlungs-Verarbeitungseinheit 78 die Farbe des fluoreszierenden Fadens 32 beispielsweise in die Farben Blau und Grün um, so dass sich eine Ergänzung zur Farbe des Organs ergibt.
  • 16 zeigt ein Beispiel des intraoperativ bei einer Operation unter Verwendung eines Fadens mit einem sich wiederholenden Muster, wie bei A aus 14 gezeigt, als fluoreszierender Faden 32 erzeugten synthetischen Bilds und eines Bilds nach der Farbumwandlungsverarbeitung, wobei die Farbumwandlungs-Verarbeitungseinheit 78 der Syntheseeinheit 77 die Farbumwandlung ausführt.
  • Das Bild im oberen rechten Teil von 16 zeigt das Bild nach der Farbumwandlungsverarbeitung, wobei eine erste fluoreszierende Farbe (beispielsweise Gelb) und eine zweite fluoreszierende Farbe (beispielsweise Grün) des fluoreszierenden Fadens 32 im synthetischen Bild in eine Farbe, die einer ersten Komplementärfarbe (beispielsweise Gelbgrün) entspricht, bzw. eine Farbe, die einer zweiten Komplementärfarbe (beispielsweise Blau) entspricht, umgewandelt werden.
  • Das Bild im unteren rechten Teil von 16 zeigt das Bild nach der Farbumwandlungsverarbeitung, wobei die erste fluoreszierende Farbe (beispielsweise Gelb) und die zweite fluoreszierende Farbe (beispielsweise Grün) des fluoreszierenden Fadens 32 im synthetischen Bild in eine der Komplementärfarbe (beispielsweise Blau) entsprechende Farbe umgewandelt werden.
  • Die Sichtbarkeit des fluoreszierenden Fadens 32 kann weiter verbessert werden, indem die Farbe des fluoreszierenden Fadens 32 im synthetischen Bild unter Berücksichtigung der Hintergrundfarbe in dieser Weise ausgetauscht wird.
  • Auch kann die Farbumwandlungs-Verarbeitungseinheit 78 eine Position in Tiefenrichtung und das distale Ende des fluoreszierenden Fadens 32 durch Erkennen der Dichte oder der Länge des in einem lebenden Körper nicht vorhandenen sich wiederholenden Musters, wie mit Bezug auf die 13 und 14 beschrieben, erkennen und dabei für die Anzeige in verschiedene Farben auf der Vorderseite und der Rückseite des fluoreszierenden Fadens 32 umwandeln und am distalen Ende des fluoreszierenden Fadens 32 in eine andere Farbe umwandeln. Dies erleichtert es dem Operateur, die Tiefe und das distale Ende des fluoreszierenden Fadens 32 zu erfassen.
  • Wenngleich die Farbumwandlungs-Verarbeitungseinheit 78 dabei ein Teil der Syntheseeinheit 77 in 15 ist, kann sie auch in einer folgenden Stufe der Syntheseeinheit 77 bereitgestellt werden.
  • <Anderes Anwendungsbeispiel der Farbumwandlungsverarbeitung>
  • Es wird ein anderes Anwendungsbeispiel der Farbumwandlungsverarbeitung durch die Farbumwandlungs-Verarbeitungseinheit 78 beschrieben.
  • Beim Nähen ist es wichtig, antero-posteriore Positionen einer Nadelspitze und des Fadens (auf der Vorderseite und der Rückseite) zu bestimmen, das Erfassen einer antero-posterioren Beziehung zwischen der Nadelspitze und dem Faden nur durch Parallaxe während einer langen Operation kann jedoch bewirken, dass der Operateur ermüdet.
  • Daher ist es in einem Fall, in dem der Faden der fluoreszierende Faden 32 ist, weil er Licht emittiert, möglich, die antero-posteriore Beziehung zwischen der Nadelspitze und dem Faden zu bestimmen, indem festgestellt wird, ob die Reflexion des Lichts vom fluoreszierenden Faden 32 auf der Nadel liegt.
  • Insbesondere gibt es, wie in 17 dargestellt ist, in einem Fall, in dem sich eine Nadel 33 unterhalb des fluoreszierenden Fadens 32 befindet, mit anderen Worten in einem Fall, in dem sich die Nadel 33 auf der Rückseite des fluoreszierenden Fadens 32, wie von der Bildgebungseinheit 41 gesehen, befindet, eine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33. Andererseits gibt es in einem Fall, in dem sich die Nadel 33 oberhalb des fluoreszierenden Fadens 32 befindet, mit anderen Worten in einem Fall, in dem sich die Nadel 33 vor dem fluoreszierenden Faden 32, wie von der Bildgebungseinheit 41 gesehen, befindet, keine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33.
  • In einem Fall, in dem festgestellt wird, dass es eine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33 gibt, führt die Farbumwandlungs-Verarbeitungseinheit 78 die Farbumwandlung so aus, dass die Farbe der Nadel 33 im synthetischen Bild eine erste Farbe (beispielsweise Rot) ist, und in einem Fall, in dem festgestellt wird, dass es keine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33 gibt, führt sie die Farbumwandlung so aus, dass die Farbe der Nadel 33 im synthetischen Bild eine zweite Farbe (beispielsweise Blau) ist.
  • 18 ist ein Flussdiagramm der Farbumwandlungsverarbeitung zum Umwandeln der Farbe der Nadel im synthetischen Bild entsprechend der antero-posterioren Beziehung zwischen der Nadelspitze und dem Faden.
  • Zuerst erkennt die Farbumwandlungs-Verarbeitungseinheit 78 in Schritt S21 die Nadel 33 und den fluoreszierenden Faden 32 im synthetischen Bild und stellt fest, ob der Abstand zwischen dem distalen Ende der Nadel 33 (Nadelspitze) und dem fluoreszierenden Faden 32 innerhalb eines vorgegebenen Bereichs (Abstands) liegt.
  • Wenngleich das Verfahren zum Erkennen der Nadel 33 im synthetischen Bild dabei nicht speziell beschränkt ist, wird angenommen, dass die Nadel 33 im synthetischen Bild durch einige Verfahren erkannt werden kann.
  • Falls in Schritt S21 festgestellt wird, dass der Abstand zwischen dem distalen Ende der Nadel 33 und dem fluoreszierenden Faden 32 nicht innerhalb des vorgegebenen Bereichs liegt, geht die Prozedur zu Schritt S22 und gibt die Farbumwandlungs-Verarbeitungseinheit 78 das synthetische Bild unverändert an die Bildausgabeeinheit 54 aus, ohne die Farbumwandlung der Nadel 33 im synthetischen Bild auszuführen.
  • Falls andererseits in Schritt S21 festgestellt wird, dass der Abstand zwischen dem distalen Ende der Nadel 33 und dem fluoreszierenden Faden 32 innerhalb des vorgegebenen Bereichs liegt, geht die Prozedur zu Schritt S23 und stellt die Farbumwandlungs-Verarbeitungseinheit 78 fest, ob im synthetischen Bild eine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33 auftritt.
  • Falls in Schritt S23 festgestellt wird, dass es eine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33 gibt, geht die Prozedur zu Schritt S24 und wandelt die Farbumwandlungs-Verarbeitungseinheit 78 die Farbe der Nadel 33 im synthetischen Bild in die erste Farbe (beispielsweise Rot) um und gibt diese aus.
  • Falls andererseits in Schritt S23 festgestellt wird, dass es keine Reflexion des vom fluoreszierenden Faden 32 kommenden Lichts an der Nadel 33 gibt, geht die Prozedur zu Schritt S25 und wandelt die Farbumwandlungs-Verarbeitungseinheit 78 die Farbe der Nadel 33 im synthetischen Bild in die zweite Farbe (beispielsweise Blau) um und gibt diese aus.
  • Durch Ausführen der vorstehend beschriebenen Farbumwandlungsverarbeitung kann der Operateur leicht die antero-posteriore Beziehung zwischen der Nadelspitze und dem Faden einfach durch Unterscheiden der Farbe der Nadel 33 im auf einer Anzeigevorrichtung 11 angezeigten synthetischen Bild erfassen.
  • <Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens>
  • Allgemein weisen spontan lichtemittierende Materialien eine geringe Lichtemissionsintensität auf, und es besteht die Befürchtung, dass sich infolge von Sensorrauschen und dergleichen Bilder mit einem schlechten Signal-Rausch-Verhältnis ergeben können. Falls es eine geringe Bewegungsänderung in einem Bereich des fluoreszierenden Fadens 32 gibt, kann die Syntheseeinheit 77 daher Pixelwerte mehrerer aufeinander folgender Bilder addieren und dadurch ein synthetisches Bild erzeugen, bei dem das Signal-Rausch-Verhältnis erhöht ist und die Sichtbarkeit verbessert ist.
  • 19 zeigt ein Flussdiagramm der Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens, bei der der Pixelwert des Bereichs des fluoreszierenden Fadens 32 im Fall einer geringen Bewegungsänderung addiert wird. Diese Verarbeitung beginnt beispielsweise dann, wenn das Normallichtbild und ein bewegungskorrigiertes extrahiertes Bild des fluoreszierenden Fadens in die Syntheseeinheit 77 eingegeben werden.
  • Zuerst erhält die Syntheseeinheit 77 in Schritt S41 das extrahierte Bild des fluoreszierenden Fadens eines Q-ten Frames und das extrahierte Bild des fluoreszierenden Fadens eines (Q+1)-ten Frames. Hier geben der Q-te und der (Q+1)-te Frame die Reihenfolge an, bei der nur die extrahierten Bilder des fluoreszierenden Fadens gezählt werden, die anhand der Spezielles-Licht-Bilder erzeugt werden, welche in einem Intervall mehrerer Bilder erzeugt werden, wie in 4 und 10 dargestellt ist. Daher muss die Syntheseeinheit 77 das extrahierte Bild des fluoreszierenden Fadens des unmittelbar vorhergehenden Q-ten Frames in einem internen Speicher und dergleichen halten, bis das extrahierte Bild des fluoreszierenden Fadens des (Q+1)-ten Frames von einer Bewegungskorrektureinheit 76 eingegeben wird.
  • In Schritt S42 legt die Syntheseeinheit 77 ein vorgegebenes Pixel des extrahierten Bilds des fluoreszierenden Fadens des (Q+1)-ten Frames als interessierendes Pixel fest.
  • In Schritt S43 erkennt die Syntheseeinheit 77 einen Bewegungsvektor des interessierenden Pixels unter Verwendung des extrahierten Bilds des fluoreszierenden Fadens des Q-ten Frames und des extrahierten Bilds des fluoreszierenden Fadens des (Q+1)-ten Frames.
  • In Schritt S44 stellt die Syntheseeinheit 77 fest, ob der erkannte Bewegungsvektor des interessierenden Pixels kleiner als eine vorab festgelegte vorgegebene Schwelle ist.
  • Falls in Schritt S44 festgestellt wird, dass der erkannte Bewegungsvektor des interessierenden Pixels kleiner als die vorgegebene Schwelle ist, geht die Prozedur zu Schritt S45 und veranlasst die Syntheseeinheit 77, dass ein durch Addieren des Pixelwerts des interessierenden Pixels des (Q+1)-ten Frames zum Pixelwert des Pixels des Q-ten Frames erhaltener Wert dem Pixelwert des interessierenden Pixels des (Q+1)-ten Frames entspricht.
  • Andererseits wird in einem Fall, in dem in Schritt S44 festgestellt wird, dass der erkannte Bewegungsvektor des interessierenden Pixels größer oder gleich der vorgegebenen Schwelle ist, der Prozess in Schritt S45 übersprungen. In diesem Fall wird der Pixelwert des interessierenden Pixels des (Q+1)-ten Frames nicht geändert (nicht addiert).
  • In Schritt S46 stellt die Syntheseeinheit 77 fest, ob alle Pixel des extrahierten Bilds des fluoreszierenden Fadens des (Q+1)-ten Frames als interessierendes Pixel festgelegt sind.
  • Falls in Schritt S46 festgestellt wird, dass nicht alle Pixel des extrahierten Bilds des fluoreszierenden Fadens des (Q+1)-ten Frames als interessierendes Pixel festgelegt sind, kehrt die Prozedur zu Schritt S42 zurück und werden die vorstehend beschriebenen Schritte S42 bis 46 wiederholt. Das heißt, dass im extrahierten Bild des fluoreszierenden Fadens des (Q+1)-ten Frames ein Pixel, das noch nicht als interessierendes Pixel festgelegt ist, als nächstes interessierendes Pixel festgelegt wird, der Bewegungsvektor erkannt wird und der Pixelwert auf der Grundlage des Erkennungsergebnisses addiert wird.
  • Falls dann in Schritt S46 festgestellt wird, dass alle Pixel des extrahierten Bilds des fluoreszierenden Fadens des (Q+1)-ten Frames als interessierendes Pixel festgelegt wurden, endet die Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens.
  • Diese Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens kann beispielsweise zwischen dem Prozess in Schritt S7 und dem Prozess in Schritt S8 der Bildsyntheseverarbeitung in 7 ausgeführt werden. Ferner wird beim Prozess in Schritt S8 der Bildsyntheseverarbeitung in diesem Fall die Syntheseverarbeitung ausgeführt, um das extrahierte Bild des fluoreszierenden Fadens, zu dem der Pixelwert addiert wurde, und das Normallichtbild für den Bereich des fluoreszierenden Fadens 32 mit einer geringen Bewegung zu synthetisieren, so dass das synthetische Bild erzeugt wird.
  • 20 zeigt ein Beispiel des extrahierten Bilds des fluoreszierenden Fadens nach Ausführung der Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens.
  • Beim extrahierten Bild des fluoreszierenden Fadens aus 20 ist die Luminanz eines Bereichs mit einer geringeren Bewegung vom Bereich des fluoreszierenden Fadens 32 hoch. Durch die Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens kann das synthetische Bild erzeugt werden, bei dem das Signal-Rausch-Verhältnis des Bereichs des fluoreszierenden Fadens 32 mit einer geringeren Bewegung erhöht ist und die Sichtbarkeit verbessert ist.
  • Dabei kann die Erklärung der vorstehend beschriebenen Pixeladditionsverarbeitung im Bereich des fluoreszierenden Fadens nicht nur auf die Bildsyntheseverarbeitung zur Erzeugung des Normallichtbilds und des Spezielles-Licht-Bilds unter Verwendung eines Bildsensors mit einem allgemeinen Bayer-Feld zur Erzeugung des synthetischen Bilds angewendet werden, sondern auch auf einen Fall, in dem ein Bildsensor mit für Licht eines schmalen Wellenlängenbands empfindlichen Pixeln, wie in 11 dargestellt, verwendet wird.
  • Die vorstehend beschriebene Reihe von Prozessen kann durch Hardware oder durch Software ausgeführt werden. In einem Fall, in dem eine Reihe von Prozessen durch Software ausgeführt wird, kann ein die Software bildendes Programm auf einem Computer installiert werden. Hier schließt der Computer einen in zweckgebundener Hardware aufgebauten Computer, einen Personalcomputer für allgemeine Zwecke, der beispielsweise verschiedene Funktionen durch verschiedene installierte Programme ausführen kann, und dergleichen ein.
  • 21 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Hardware des Computers, der die vorstehend beschriebene Reihe von Prozessen durch ein Programm ausführt, zeigt.
  • Bei einem Computer 100 sind eine Zentralverarbeitungseinheit (CPU) 101, ein Nurlesespeicher (ROM) 102 und ein Direktzugriffsspeicher (RAM) 103 durch einen Bus 104 miteinander verbunden.
  • Eine Ein-/Ausgabeschnittstelle 105 ist ferner mit dem Bus 104 verbunden. Eine Eingabeeinheit 106, eine Ausgabeeinheit 107, eine Speichereinheit 108, eine Kommunikationseinheit 109 und ein Laufwerk 110 sind mit der Ein-/Ausgabeschnittstelle 105 verbunden.
  • Die Eingabeeinheit 106 weist eine Tastatur, eine Maus, ein Mikrofon und dergleichen auf. Die Ausgabeeinheit 107 weist eine Anzeige, einen Lautsprecher und dergleichen auf. Die Speichereinheit 108 weist eine Festplatte, einen nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 109 weist eine Netzschnittstelle und dergleichen auf. Das Laufwerk 110 steuert ein entfernbares Medium 111 in der Art einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder eines Halbleiterspeichers an.
  • Beim in der vorstehend beschriebenen Weise ausgelegten Computer 100 lädt die CPU 101 das in der Speichereinheit 108 gespeicherte Programm beispielsweise durch die Ein-/Ausgabeschnittstelle 105 und den Bus 104 in den RAM 103, um es auszuführen, so dass die vorstehend beschriebene Reihe von Prozessen ausgeführt wird.
  • Der Computer 100 kann ein so genannter Cloudcomputer sein, der beispielsweise über das Internet verbunden ist.
  • Dabei kann das vom Computer 100 ausgeführte Programm ein Programm sein, dessen Prozesse in der in dieser Patentschrift beschriebenen chronologischen Reihenfolge ausgeführt werden, oder ein Programm sein, dessen Prozesse parallel oder zu notwendigen Zeiten ausgeführt werden, beispielsweise wenn ein Aufruf erfolgt.
  • Die Ausführungsformen der vorliegenden Technologie sind nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Schutzumfang der vorliegenden Technologie abzuweichen.
  • Die Bildsyntheseverarbeitung, worauf die vorliegende Technologie angewendet wird, ist ähnlich auf ein Operationssystem anwendbar, bei dem ein Videomikroskop zusätzlich zum vorstehend beschriebenen endoskopischen Operationssystem verwendet wird. In diesem Fall kann ein synthetisches Bild unter Verwendung des von einer Bildgebungseinheit 41 des Videomikroskops erzeugten Spezielles-Licht-Bilds und Normallichtbilds erzeugt werden.
  • In den vorstehend beschriebenen Ausführungsformen wird der Begriff „Frame-Periode“ als Intervall der Bilderzeugung durch die Bildgebungseinheit 41 verwendet, das Intervall, mit dem die Bildgebungseinheit 41 das abgebildetes Bild erzeugt (die Anzahl der pro Sekunde erzeugten Bilder), kann jedoch geeignet festgelegt werden.
  • Alle von den mehreren Ausführungsformen und Variationen davon, die vorstehend beschrieben wurden, oder ein Teil davon können nach Bedarf kombiniert werden.
  • Die vorliegende Technologie kann als Cloud-Computing ausgelegt werden, wobei eine Funktion von mehreren Vorrichtungen über das Netz geteilt wird, um sie gemeinsam zu verarbeiten.
  • Auch kann jeder im vorstehend beschriebenen Flussdiagramm beschriebene Schritt von einer Vorrichtung ausgeführt werden oder von mehreren Vorrichtungen geteilt ausgeführt werden.
  • Ferner können, falls mehrere Prozesse in einem Schritt enthalten sind, mehrere in einem Schritt enthaltene Prozesse durch eine Vorrichtung oder durch mehrere Vorrichtungen geteilt ausgeführt werden.
  • Dabei dienen die in dieser Patentschrift beschriebenen Wirkungen nur der Erläuterung und sind nicht einschränkend, und es können auch andere Wirkungen als die in dieser Patentschrift beschriebenen aufgenommen werden.
  • In dieser Patentschrift soll ein System eine Baugruppe aus mehreren Komponenten (Vorrichtungen, Modulen (Teilen) und dergleichen) bedeuten, wobei es unerheblich ist, ob alle Komponenten in dasselbe Gehäuse aufgenommen sind. Daher bedeuten diese Systeme mehrere in verschiedenen über das Netz verbundenen Gehäusen aufgenommene Vorrichtungen und eine durch die Aufnahme mehrerer Module in einem Gehäuse erhaltene Vorrichtung.
  • Dabei kann die vorliegende Technologie auch die folgenden Konfigurationen aufweisen.
    1. (1) Bildverarbeitungsvorrichtung, welche Folgendes aufweist:
      • eine bilderhaltende Einheit, welche ein unter einer Beleuchtungsbedingung, bei der ein chirurgischer Faden fluoresziert, erzeugtes erstes Bild und ein unter einer Beleuchtungsbedingung, welche zumindest sichtbares Licht aufweist, erzeugtes zweites Bild als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhält, und
      • eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
    2. (2) Bildverarbeitungsvorrichtung nach (1), wie vorstehend beschrieben, wobei das erste Bild ein unter einer Beleuchtungsbedingung, bei der mit Licht eines vom sichtbaren Licht verschiedenen schmalen Wellenlängenbands bestrahlt wird, erzeugtes Bild ist.
    3. (3) Bildverarbeitungsvorrichtung nach (1), wie vorstehend beschrieben, wobei das erste Bild unter Verwendung eines Pixelsignals eines schmalbandigen Pixels von Signalen erzeugt wird, die durch einen Bildsensor abgebildet werden, der ein RGB-Pixel, das Licht einer R-, G- oder B-Wellenlänge empfängt, und das schmalbandige Pixel, das Licht eines vom sichtbaren Licht verschiedenen schmalen Wellenlängenbands empfängt, aufweist, und wobei das zweite Bild unter Verwendung eines Pixelsignals des RGB-Pixels erzeugt wird.
    4. (4) Bildverarbeitungsvorrichtung nach einem von (1) bis (3), wie vorstehend beschrieben, wobei der chirurgische Faden in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist.
    5. (5) Bildverarbeitungsvorrichtung nach (4), wie vorstehend beschrieben, wobei sich im Muster eine von der ersten fluoreszierenden Farbe verschiedene zweite fluoreszierende Farbe zwischen der ersten fluoreszierenden Farbe wiederholt.
    6. (6) Bildverarbeitungsvorrichtung nach (4), wie vorstehend beschrieben, wobei das Muster ein Abstufungsmuster fluoreszierender Farben ist.
    7. (7) Bildverarbeitungsvorrichtung nach einem von (1) bis (6), wie vorstehend beschrieben, welche ferner Folgendes aufweist:
      • eine Farbumwandlungs-Verarbeitungseinheit, die eine Farbe des chirurgischen Fadens im synthetischen Bild in eine vorgegebene Farbe umwandelt.
    8. (8) Bildverarbeitungsvorrichtung nach (7), wie vorstehend beschrieben, wobei die Farbumwandlungs-Verarbeitungseinheit eine Farbumwandlung ausführt, so dass eine Komplementärfarbbeziehung mit einer Hintergrundfarbe verwirklicht wird.
    9. (9) Bildverarbeitungsvorrichtung nach (7), wie vorstehend beschrieben, wobei der chirurgische Faden in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist, und die Farbumwandlungs-Verarbeitungseinheit jeweilige Farben des Musters in andere Farben umwandelt.
    10. (10) Bildverarbeitungsvorrichtung nach einem von (1) bis (9), wie vorstehend beschrieben, welche ferner Folgendes aufweist: eine Farbumwandlungs-Verarbeitungseinheit, welche eine Farbe einer Nadel des synthetischen Bilds entsprechend einer antero-posterioren Beziehung zwischen dem chirurgischen Faden und der Nadel umwandelt.
    11. (11) Bildverarbeitungsvorrichtung nach einem von (1) bis (10), wie vorstehend beschrieben, wobei die Syntheseeinheit das erste Bild erzeugt, in dem Pixelwerte mehrerer erster Bilder für einen Bereich des chirurgischen Fadens mit weniger Bewegung addiert werden, und das synthetische Bild erzeugt, das durch Synthetisieren des ersten Bilds, zu dem die Pixelwerte addiert wurden, und des zweiten Bilds erhalten wird.
    12. (12) Bildverarbeitungsverfahren, welches folgende Schritte aufweist:
      • Erhalten eines ersten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und eines zweiten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens und
      • Erzeugen eines synthetischen Bilds, das durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhalten wird.
    13. (13) Operationssystem, welches Folgendes aufweist:
      • eine Bildgebungseinheit, die ein erstes Bild, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und ein zweites Bild, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erzeugt, und
      • eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
    14. (14) Operationssystem nach (13), wie vorstehend beschrieben, welches ferner Folgendes aufweist:
      • eine Lichtquellenvorrichtung, die Licht eines schmalen Wellenlängenbands, das vom sichtbaren Licht verschieden ist, emittiert, falls das erste Bild erzeugt wird, und Licht, das zumindest das sichtbare Licht aufweist, emittiert, falls das zweite Bild erzeugt wird.
    15. (15) Operationssystem nach (13), wie vorstehend beschrieben, wobei die Bildgebungseinheit einen Bildsensor aufweist, der ein RGB-Pixel, das Licht einer R-, G- oder B-Wellenlänge empfängt, und ein schmalbandiges Pixel, das vom sichtbaren Licht verschiedenes Licht eines schmalen Wellenlängenbands empfängt, aufweist.
    16. (16) Chirurgischer Faden, der in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist.
    17. (17) Chirurgischer Faden nach (16), wie vorstehend beschrieben, wobei sich im Muster eine von der ersten fluoreszierenden Farbe verschiedene zweite fluoreszierende Farbe zwischen der ersten fluoreszierenden Farbe wiederholt.
    18. (18) Chirurgischer Faden nach (16), wie vorstehend beschrieben, wobei das Muster ein Abstufungsmuster fluoreszierender Farben ist.
  • Bezugszeichenliste
  • 10
    Endoskopisches Operationssystem
    11
    Anzeigevorrichtung
    13
    Lichtquellenvorrichtung
    19
    Endoskop
    32
    fluoreszierender Faden
    33
    Nadel
    41
    Bildgebungseinheit
    51
    Steuereinheit
    52
    bilderhaltende Einheit
    53
    Bildverarbeitungseinheit
    54
    Bildausgabeeinheit
    72
    Bewegungsvektor-Erkennungseinheit
    75
    Merkmalsextraktionsfilter-Verarbeitungseinheit
    77
    Syntheseeinheit
    78
    Farbumwandlungs-Verarbeitungseinheit
    100
    Computer
    101
    CPU
    102
    ROM
    103
    RAM
    106
    Eingabeeinheit
    107
    Ausgabeeinheit
    108
    Speichereinheit
    109
    Kommunikationseinheit
    110
    Laufwerk
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2010095833 [0004]

Claims (18)

  1. Bildverarbeitungsvorrichtung, welche Folgendes umfasst: eine bilderhaltende Einheit, welche ein unter einer Beleuchtungsbedingung, bei der ein chirurgischer Faden fluoresziert, erzeugtes erstes Bild und ein unter einer Beleuchtungsbedingung, welche zumindest sichtbares Licht aufweist, erzeugtes zweites Bild als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhält, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
  2. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei das erste Bild ein unter einer Beleuchtungsbedingung, bei der mit Licht eines vom sichtbaren Licht verschiedenen schmalen Wellenlängenbands bestrahlt wird, erzeugtes Bild ist.
  3. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei das erste Bild unter Verwendung eines Pixelsignals eines schmalbandigen Pixels von Signalen erzeugt wird, die durch einen Bildsensor abgebildet werden, der ein RGB-Pixel, das Licht einer R-, G- oder B-Wellenlänge empfängt, und das schmalbandige Pixel, das Licht eines vom sichtbaren Licht verschiedenen schmalen Wellenlängenbands empfängt, aufweist, und wobei das zweite Bild unter Verwendung eines Pixelsignals des RGB-Pixels erzeugt wird.
  4. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der chirurgische Faden in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist.
  5. Bildverarbeitungsvorrichtung nach Anspruch 4, wobei sich im Muster eine von der ersten fluoreszierenden Farbe verschiedene zweite fluoreszierende Farbe zwischen der ersten fluoreszierenden Farbe wiederholt.
  6. Bildverarbeitungsvorrichtung nach Anspruch 4, wobei das Muster ein Abstufungsmuster fluoreszierender Farben ist.
  7. Bildverarbeitungsvorrichtung nach Anspruch 1, welche ferner Folgendes umfasst: eine Farbumwandlungs-Verarbeitungseinheit, die eine Farbe des chirurgischen Fadens im synthetischen Bild in eine vorgegebene Farbe umwandelt.
  8. Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Farbumwandlungs-Verarbeitungseinheit eine Farbumwandlung ausführt, so dass eine Komplementärfarbbeziehung mit einer Hintergrundfarbe verwirklicht wird.
  9. Bildverarbeitungsvorrichtung nach Anspruch 7, wobei der chirurgische Faden in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist, und die Farbumwandlungs-Verarbeitungseinheit jeweilige Farben des Musters in andere Farben umwandelt.
  10. Bildverarbeitungsvorrichtung nach Anspruch 1, welche ferner Folgendes umfasst: eine Farbumwandlungs-Verarbeitungseinheit, welche eine Farbe einer Nadel des synthetischen Bilds entsprechend einer antero-posterioren Beziehung zwischen dem chirurgischen Faden und der Nadel umwandelt.
  11. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Syntheseeinheit das erste Bild erzeugt, in dem Pixelwerte mehrerer erster Bilder für einen Bereich des chirurgischen Fadens mit weniger Bewegung addiert werden, und das synthetische Bild erzeugt, das durch Synthetisieren des ersten Bilds, zu dem die Pixelwerte addiert wurden, und des zweiten Bilds erhalten wird.
  12. Bildverarbeitungsverfahren, welches folgende Schritte umfasst: Erhalten eines ersten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und eines zweiten Bilds, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens und Erzeugen eines synthetischen Bilds, das durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhalten wird.
  13. Operationssystem, welches Folgendes umfasst: eine Bildgebungseinheit, die ein erstes Bild, das unter einer Beleuchtungsbedingung erzeugt wird, bei der ein chirurgischer Faden fluoresziert, und ein zweites Bild, das unter einer Beleuchtungsbedingung erzeugt wird, die zumindest sichtbares Licht aufweist, als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erzeugt, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt.
  14. Operationssystem nach Anspruch 13, welches ferner Folgendes umfasst: eine Lichtquellenvorrichtung, die Licht eines schmalen Wellenlängenbands, das vom sichtbaren Licht verschieden ist, emittiert, falls das erste Bild erzeugt wird, und Licht, das zumindest das sichtbare Licht aufweist, emittiert, falls das zweite Bild erzeugt wird.
  15. Operationssystem nach Anspruch 13, wobei die Bildgebungseinheit einen Bildsensor aufweist, der ein RGB-Pixel, das Licht einer R-, G- oder B-Wellenlänge empfängt, und ein schmalbandiges Pixel, das vom sichtbaren Licht verschiedenes Licht eines schmalen Wellenlängenbands empfängt, aufweist.
  16. Chirurgischer Faden, der in einem Muster fluoresziert, das in einem lebenden Körper nicht vorhanden ist.
  17. Chirurgischer Faden nach Anspruch 16, wobei sich im Muster eine von der ersten fluoreszierenden Farbe verschiedene zweite fluoreszierende Farbe zwischen der ersten fluoreszierenden Farbe wiederholt.
  18. Chirurgischer Faden nach Anspruch 16, wobei das Muster ein Abstufungsmuster fluoreszierender Farben ist.
DE112016004455.0T 2015-09-30 2016-09-16 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Operationssystem und chirurgischer Faden Pending DE112016004455T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194133A JP2017064091A (ja) 2015-09-30 2015-09-30 画像処理装置、画像処理方法、手術システム、及び、手術糸
JP2015-194133 2015-09-30
PCT/JP2016/077395 WO2017057039A1 (ja) 2015-09-30 2016-09-16 画像処理装置、画像処理方法、手術システム、及び、手術糸

Publications (1)

Publication Number Publication Date
DE112016004455T5 true DE112016004455T5 (de) 2018-08-02

Family

ID=58427594

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016004455.0T Pending DE112016004455T5 (de) 2015-09-30 2016-09-16 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Operationssystem und chirurgischer Faden

Country Status (4)

Country Link
US (1) US10849712B2 (de)
JP (1) JP2017064091A (de)
DE (1) DE112016004455T5 (de)
WO (1) WO2017057039A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021203187B3 (de) 2021-03-30 2022-02-24 Carl Zeiss Meditec Ag Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
DE102021124010A1 (de) 2021-09-16 2023-03-16 Xion Gmbh Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018182580A (ja) * 2017-04-14 2018-11-15 キヤノンメディカルシステムズ株式会社 撮像装置及び撮像装置の制御プログラム
JPWO2018211885A1 (ja) * 2017-05-17 2020-03-19 ソニー株式会社 画像取得システム、制御装置及び画像取得方法
CN107714175B (zh) * 2017-09-22 2019-12-27 北京数字精准医疗科技有限公司 一种手术导航定位方法及装置
EP3795058B1 (de) * 2018-05-14 2022-06-15 FUJIFILM Corporation Bildverarbeitungsvorrichtung, endoskopsystem und bildverarbeitungsverfahren
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技(深圳)有限公司 内窥镜图像处理方法、装置、电子设备及存储介质
CN111568549A (zh) * 2020-05-28 2020-08-25 维景医疗科技(浙江)有限公司 一种具有实时成像功能的可视化系统
CN113133802B (zh) * 2021-04-20 2022-12-23 四川大学 一种基于机器学习的骨手术线自动定点方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095833A (ja) 2008-10-20 2010-04-30 National Institute Of Agrobiological Sciences 外来遺伝子発現カイコ繭の製糸方法及びそれによる製品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962122B2 (ja) 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US8961560B2 (en) * 2008-05-16 2015-02-24 Ethicon, Inc. Bidirectional self-retaining sutures with laser-marked and/or non-laser marked indicia and methods
JP5539840B2 (ja) 2010-10-21 2014-07-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5958922B2 (ja) 2012-06-01 2016-08-02 国立大学法人高知大学 近赤外蛍光を発する医療品、および医療品の使用状況確認装置
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9314244B2 (en) * 2013-12-20 2016-04-19 Medos International Sarl Directional surgical sutures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095833A (ja) 2008-10-20 2010-04-30 National Institute Of Agrobiological Sciences 外来遺伝子発現カイコ繭の製糸方法及びそれによる製品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021203187B3 (de) 2021-03-30 2022-02-24 Carl Zeiss Meditec Ag Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
DE102021124010A1 (de) 2021-09-16 2023-03-16 Xion Gmbh Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht

Also Published As

Publication number Publication date
JP2017064091A (ja) 2017-04-06
US20180250094A1 (en) 2018-09-06
US10849712B2 (en) 2020-12-01
WO2017057039A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
DE112016004455T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Operationssystem und chirurgischer Faden
DE60130170T2 (de) Fluorezentlicht Bilddarstellungsverfahren und Gerät dafür
DE102014110131A1 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
DE69724193T2 (de) Operationsmikroskop mit Multikoordinatenmanipulator und optischer Kohärenztomographie
EP0478026B1 (de) Verfahren zur Erfassung von Anomalien der Haut, insbesondere von Melanomen, sowie Vorrichtung zur Durchführung des Verfahrens
DE112014007051T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung
DE112015002905T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopsystem
EP1155657B1 (de) Vorrichtung und Verfahren zur Erkennung von tumorösem Gewebe
WO2013001031A2 (de) Verfahren und vorrichtung zum darstellen eines objektes
DE112018003204T5 (de) Chirurgisches Bildgebungssystem und -verfahren
EP3289398B1 (de) Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen
DE112014007038T5 (de) Endoskopvorrichtung
DE112010004184T5 (de) Hilfsdiagnoseeinrichtung und Hilfsdiagnoseverfahren
DE112019007102T5 (de) Endoskopprozessor, informationsverarbeitungsvorrichtung, endoskopsystem, programm und informationsverarbeitungsverfahren
DE112011103387B4 (de) Diagnosesystem
DE602004009875T2 (de) Verfahren zur Bildverarbeitung für Profilbestimmung mittels strukturiertem Lichts
DE102017117428A1 (de) Bildgebendes Verfahren unter Ausnutzung von Fluoreszenz sowie zugehörige Bildaufnahmevorrichtung
WO2008113461A1 (de) Verfahren und vorrichtung zum auswerten von fluoreszenzbildsätzen und vorrichtung zu seiner durchführung
DE112019004271T5 (de) Endoskopsystem und Verfahren zum Bedienen des Endoskopsystems
DE112015005735T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE102016125524A1 (de) Elektronisches Mikroskop
DE102021203187B3 (de) Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
DE112018001482T5 (de) Chirurgische steuervorrichtung, steuerverfahren, chirurgisches system und programm
DE102018122816A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
DE102022106599A1 (de) Verfahren zur identifizierung der zusammensetzung eines anatomischen ziels

Legal Events

Date Code Title Description
R012 Request for examination validly filed