JP2021145824A - 医療用制御装置及び医療用観察システム - Google Patents
医療用制御装置及び医療用観察システム Download PDFInfo
- Publication number
- JP2021145824A JP2021145824A JP2020047500A JP2020047500A JP2021145824A JP 2021145824 A JP2021145824 A JP 2021145824A JP 2020047500 A JP2020047500 A JP 2020047500A JP 2020047500 A JP2020047500 A JP 2020047500A JP 2021145824 A JP2021145824 A JP 2021145824A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- control device
- unit
- wavelength band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000005284 excitation Effects 0.000 claims abstract description 57
- 238000011156 evaluation Methods 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 45
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 claims description 14
- 229950003776 protoporphyrin Drugs 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 8
- 238000003780 insertion Methods 0.000 description 34
- 230000037431 insertion Effects 0.000 description 34
- 238000001514 detection method Methods 0.000 description 30
- 230000005540 biological transmission Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 229960002749 aminolevulinic acid Drugs 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/70—Circuits for processing colour signals for colour killing
- H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
光線力学診断では、例えば5-アミノレブリン酸(以下、5-ALAと記載)等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光(例えば375nm〜445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm〜740nmの波長帯域の赤色蛍光)を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、特許文献1に記載の光線力学診断装置は、励起光によって励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置と、当該蛍光撮像装置の光路前段に設けられ、当該蛍光撮像装置に向かう全ての励起光をカットする光学フィルタとを備える。
このため、当該蛍光撮像画像に基づいて、撮像ユニットの焦点位置を制御するAF処理に用いられる評価値を算出しても、適切な評価値を算出することができない。
ここで、光学フィルタによって蛍光撮像装置に向かう全ての励起光をカットせずに一部の励起光を透過させることで、蛍光撮像画像に励起光成分を含めることが考えられる。しかしながら、励起光は、明るさに寄与する緑の波長帯域ではなく、当該明るさに寄与し難い青の波長帯域の光である。このため、励起光成分を含む蛍光撮像画像に基づいて上述した評価値を算出しても上記同様に適切な評価値を算出することができない。
以上のことから、評価値が適切ではないため、AF処理を適切に実行することができず、観察に適した画像を生成することができない、という問題がある。
〔医療用観察システムの概略構成〕
図1は、実施の形態1に係る医療用観察システム1の構成を示す図である。
医療用観察システム1は、医療分野において用いられ、被写体となる生体内(観察対象)を撮像(観察)するシステムである。この医療用観察システム1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10とを備える。
光源装置3は、制御装置9による制御の下、ライトガイド4の一端に生体内を照明するための光を供給する。実施の形態1では、光源装置3は、図1に示すように、第1の光源部31と、第2の光源部32とを備える。
第1の光源部31は、LED(Light Emitting Diode)や半導体レーザ等で構成され、第1の波長帯域の励起光を出射する。実施の形態1では、当該第1の波長帯域の励起光は、図2に示したスペクトルSPEのように、プロトポルフィリンを励起する青の波長帯域(例えば375nm〜445nmの波長帯域)の励起光である。また、当該プロトポルフィリンは、図2に示したスペクトルSPFのように、当該励起光で励起すると、赤の波長帯域(例えば600nm〜740nmの波長帯域)の蛍光を発光する。
第2の光源部32は、図3に示すように、パターン画像PTを含む画像光ILを出射する。この第2の光源部32は、図1に示すように、光源321と、画像形成部322と、光学系323とを備える。
光源321は、LEDや半導体レーザ等で構成され、第2の波長帯域の光を出射する。実施の形態2では、当該第2の波長帯域の光は、図2に示したスペクトルSPGのように、緑の波長帯域(例えば500nm〜560nmの波長帯域)の光である。すなわち、当該第2の波長帯域の光は、上述した蛍光の波長帯域を含まない狭帯域の光である。
光学系323は、画像形成部322で形成された画像光ILをライトガイド4の一端に供給する。
なお、実施の形態1では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
なお、カメラヘッド5の詳細な構成については、後述する。
なお、第1の伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1の伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2の伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
なお、制御装置9の詳細な構成については、後述する。
第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3の伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
次に、カメラヘッド5の構成について説明する。
図4は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図4では、説明の便宜上、制御装置9及びカメラヘッド5と第1の伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2の伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3の伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図4に示すように、レンズユニット51と、レンズ駆動部52と、焦点位置検出部53と、撮像部54と、通信部55とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点位置を調整する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)が設けられている。
焦点位置検出部53は、フォトインタラプタ等の位置センサで構成され、現時点でのフォーカスレンズ511の位置(焦点位置)を検出する。そして、焦点位置検出部53は、検出した焦点位置に応じた信号を制御装置9に出力する。
励起光カットフィルタ541は、レンズユニット51と撮像素子542との間に設けられ、図2に曲線C1で示したように、略410nm以上の波長帯域の光を透過させる透過特性を有する。すなわち、励起光カットフィルタ541は、レンズユニット51から撮像素子542に向かう被写体像(励起光、画像光IL、及び蛍光)のうち、画像光IL及び蛍光については全てを透過させ、励起光については一部のみを透過させる。
カラーフィルタ543は、撮像素子542の撮像面(受光面)に設けられ、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が特定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタである。
具体的に、カラーフィルタ543は、図5に示すように、赤の波長帯域の光を主に透過させるRフィルタ群543rと、青の波長帯域の光を主に透過させるBフィルタ群543bと、緑の波長帯域の光を主に透過させる第1のGフィルタ群(Rフィルタ群543rと同一の列に配列)と、緑の波長帯域の光を主に透過させる第2のGフィルタ群(Bフィルタ群543bと同一の列に配列)とを有する。なお、図5では、第1,第2のGフィルタ群を纏めてGフィルタ群543gとしている。また、図5では、Rフィルタ群543rには「R」の文字を付し、Gフィルタ群543gには「G」の文字を付し、Bフィルタ群543bには「B」の文字を付している。
例えば、信号処理部544は、撮像素子542にて生成されたPDD画像(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
次に、制御装置9の構成について図4を参照しながら説明する。
制御装置9は、図4に示すように、通信部91と、観察画像生成部92と、制御部93と、入力部94と、出力部95と、記憶部96とを備える。
通信部91は、第1の伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力されるPDD画像(RAW信号(デジタル信号))を受信するレシーバとして機能する。すなわち、通信部91は、本開示に係る撮像画像取得部に相当する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートでPDD画像の通信を行う高速シリアルインターフェースで構成されている。
第1の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、RGB信号(PDD画像)を輝度信号及び色差信号(Y,CB/CR信号)に変換するYC処理等を例示することができる。
調整処理は、PDD画像に含まれる第2の波長帯域の光(画像光IL)の成分を削除する処理である。具体的に、励起光は、青の波長帯域(例えば375nm〜445nmの波長帯域)の光である。また、画像光ILは、緑の波長帯域(例えば500nm〜560nmの波長帯域)の光である。さらに、蛍光は、赤の波長帯域(例えば600nm〜740nmの波長帯域)の光である。そして、調整処理では、PDD画像に含まれるR,G,Bの各画素値のうち、画像光ILの成分であるG値を削除し(G値を「0」にし)、励起光の成分であるB値、及び蛍光の成分であるR値を残す。
例えば、ホワイトバランス調整処理において、R,G,Bの各画素値に乗算するゲインを適宜、調整することによって、PDD画像に含まれるR,G,Bの各画素値のうち、G値を削除することができる。また、例えば、デモザイク処理において、補間により1画素毎にR値、G値、及びB値を持たせる際、PDD画像に含まれるR,G,Bの各画素値のうち、G値を削除することができる。さらに、例えば、色補正マトリクス処理において、PDD画像に含まれるR,G,Bの各画素値を行列要素とする入力マトリクスに乗算する色補正マトリクスを適宜、調整することによって、PDD画像に含まれるR,G,Bの各画素値のうち、G値を削除することができる。
すなわち、画像処理部921は、本開示に係る調整処理実行部に相当する。
具体的に、検波処理部923は、1フレームのPDD画像の全画像領域の少なくとも一部の領域である検波領域の画素毎の画素情報(例えば、輝度信号(Y信号))に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出(検波処理)を実行する。そして、検波処理部923は、当該検波処理により得られた検波情報(コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等)を制御部93に出力する。
出力部95は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部96は、制御部93が実行するプログラムや、制御部93の処理に必要な情報等を記憶する。
次に、上述した制御装置9の動作について説明する。
図6は、制御装置9の動作を示すフローチャートである。図7及び図8は、制御装置9の動作を説明する図である。具体的に、図7及び図8は、撮像部54にて生成された1フレームのPDD画像P0を示す図である。なお、図7及び図8において、白で表現した蛍光領域ArFは、プロトポルフィリンが過剰集積した病変部に相当する。また、図7及び図8では、蛍光領域ArF以外の背景領域ArBをドットで表現している。ここで、図7は、当該PDD画像P0に対して、第1,第2の画像処理のうち、第1の画像処理のみが実行された後のPDD画像P1を示している。一方、図8は、当該PDD画像P0に対して、第1,第2の画像処理の双方が実行された後のPDD画像P2を示している。以下では、説明の便宜上、PDD画像P1をパターン含有PDD画像P1と記載し、PDD画像P2を処理済PDD画像P2と記載する。
ここで、撮像部54にて生成されたPDD画像P0において、蛍光領域ArFは、主に蛍光の成分(赤の波長帯域の光の成分)によって構成される。また、当該PDD画像P0において、背景領域ArBは、主に励起光の成分(青の波長帯域の光の成分)によって構成される。さらに、被写体像に励起光及び蛍光の他、画像光ILが含まれるため、当該PDD画像P0には、図7に示したパターン含有PDD画像P1と同様に、パターン画像PTが含まれてしまう。そこで、実施の形態1では、当該PDD画像P0(パターン含有PDD画像P1)に含まれる第2の波長帯域の光の成分を削除する。これにより、パターン画像PTが削除された処理済PDD画像P2が生成される。
具体的に、評価値算出部933は、ステップS6において、検波情報(コントラストや周波数成分)に基づいて、パターン含有PDD画像P1の全画像領域のうち検波領域内の画像の合焦状態を評価するための合焦評価値を算出する。例えば、評価値算出部933は、ステップS5での検波処理により得られたコントラストや、ステップS5での検波処理により得られた周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
以上のように、光源制御部931は、評価値の算出(ステップS6)に用いられる撮像画像(パターン含有PDD画像P1)に画像光ILの成分(パターン画像PT)が含まれるように光源装置3の動作を制御している。
具体的に、焦点位置制御部934は、ステップS7において、ステップS6にて算出された合焦評価値と、焦点位置検出部53にて検出された現時点の焦点位置とを参照する。そして、焦点位置制御部934は、当該合焦評価値及び当該現時点の焦点位置を参照しつつ、山登り法等により、レンズ駆動部52の動作を制御することで、パターン含有PDD画像P1の全画像領域のうち検波領域内の画像が合焦状態となる焦点位置にフォーカスレンズ511を位置づける。これにより、処理済PDD画像P2の全画像領域のうち検波領域内の画像も合焦状態となる。
実施の形態1に係る制御装置9は、評価値の算出(ステップS6)に用いる撮像画像(パターン含有PDD画像P1)にパターン画像PTが含まれるように光源装置3の動作を制御する。すなわち、制御装置9は、高いコントラストのパターン画像PTを利用して、AF処理に用いる評価値を算出することができる。
したがって、実施の形態1に係る制御装置9によれば、パターン含有PDD画像P1に基づいて評価値を算出することで、当該評価値を適切に算出することができ、当該適切な評価値を用いてAF処理を適切に実行することができる。すなわち、観察に適した画像を生成することができる。
そして、パターン画像PTを含む画像光ILは、緑の波長帯域の光である。このため、制御装置9は、高いコントラストで十分に明るいパターン画像PTを利用して、AF処理に用いる評価値を適切に算出することができる。
次に、実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図9は、図4に対応した図であって、実施の形態2に係る医療用観察システム1A(カメラヘッド5A及び制御装置9A)の構成を示すブロック図である。
上述した実施の形態1に係る制御装置9は、「AF処理」としてコンティニュアスAFを実行していた。
これに対して実施の形態2に係る制御装置9Aは、カメラヘッド5Aに設けられ、AF処理の実行を要求するユーザ操作を受け付けるAFボタン56(図9)への当該ユーザ操作(押下)に応じて、AF処理を実行する。すなわち、当該制御装置9Aは、「AF処理」としてワンタッチAFを実行する。当該AFボタン56は、本開示に係る操作入力部に相当する。
以下、当該制御部93が実行する機能について説明する。
先ず、光源制御部931は、第1の光源部31を駆動する(ステップS1A)。すなわち、光源制御部931は、ステップS1Aにおいて、光源装置3から励起光のみを出射させる。このため、挿入部2の先端からは、生体内に対して励起光のみが照射される。そして、生体内に照射され、当該生体内で反射された励起光と、当該生体内における病変部に集積するプロトポルフィリンが励起され、当該プロトポルフィリンから発せられた蛍光とが挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された励起光及び蛍光を第1の被写体像と記載する。
AFボタン56が押下されていないと判断された場合(ステップS9:No)には、撮像制御部932は、所定のフレームレートで第1の被写体像(励起光及び蛍光)を撮像素子542に撮像させる(ステップS2A1)。そして、撮像部54は、当該第1の被写体像を撮像して撮像画像を順次、生成する。以下では、説明の便宜上、撮像部54により第1の被写体像(励起光及び蛍光)を撮像することで生成された撮像画像を第1のPDD画像と記載する。当該第1のPDD画像は、ステップS1Aで画像光ILが出射されていないため、パターン画像PTを含まない画像である。
ステップS3A1の後、表示制御部922は、第1の画像処理が実行された後の第1のPDD画像を表示するための映像信号を順次、生成し、当該映像信号を表示装置7に順次、出力する(ステップS4A1)。これにより、表示装置7には、第1の画像処理が実行された後の第1のPDD画像が順次、表示される。
第1,第2の画像処理が実行された後の第2のPDD画像は、上述した実施の形態1で説明した処理済PDD画像P2に相当する。また、第1,第2の画像処理のうち、第1の画像処理のみが実行された後の第2のPDD画像は、上述した実施の形態1で説明したパターン含有PDD画像に相当する。
すなわち、ステップS5A,S6A,S7Aは、AFボタン56が押下された場合にのみ実行される。このため、実施の形態2に係る「AF処理」は、ワンタッチAFである。言い換えれば、評価値算出部933は、AFボタン56へのユーザ操作に応じて、AF処理に用いられる評価値を算出する。
以上のように、実施の形態2においても、上述した実施の形態1と同様に、光源制御部931は、評価値の算出(ステップS6A)に用いられる撮像画像(パターン含有PDD画像P1)に画像光ILの成分(パターン画像PT)が含まれるように光源装置3の動作を制御している。
実施の形態2に係る制御装置9Aでは、第2のPDD画像に含まれる第2の波長帯域の光(緑の波長帯域の光)の成分を削除する調整処理を実行する。このため、ワンタッチAFによりAF処理を行う場合と行わない場合とで、表示装置7に表示されるPDD画像にパターン画像PTが含まれたり、含まれなかったりすることがなく、医師等のユーザに違和感を与えることがない。
次に、実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図11は、図4に対応した図であって、実施の形態3に係る医療用観察システム1B(挿入部2B、カメラヘッド5、及び制御装置9)の構成を示すブロック図である。
上述した実施の形態1に係る医療用観察システム1では、第2の光源部32から出射された画像光ILは、ライトガイド4及び挿入部2を介した後、生体内に照射されていた。
これに対して実施の形態2に係る医療用観察システム1B(光源装置3B)では、第2の光源部32は、図11に示すように、挿入部2に設けられている。そして、制御装置9(光源制御部931)による制御の下、第2の光源部32から出射された画像光ILは、ライトガイド4及び挿入部2を介さずに、直接、生体内に照射される。
以上説明した実施の形態3のように第2の光源部32を構成した場合であっても、上述した実施の形態1と同様の効果を奏する。
次に、実施の形態4について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、硬性内視鏡(挿入部2)を用いた医療用観察システム1に本開示を適用していた。
これに対して、実施の形態4では、挿入部の先端側に撮像部を有する所謂ビデオスコープを用いた医療用観察システムに本開示を適用している。
実施の形態4に係る医療用観察システム1Cは、図12に示すように、生体内に挿入部2Cを挿入することによって観察部位の体内画像を撮像して画像信号を出力する内視鏡11と、内視鏡11の先端から出射する照明光を発生する光源装置3と、内視鏡11から出力された画像信号を処理する制御装置9と、制御装置9に第2の伝送ケーブル8を介して接続し、制御装置9にて処理された映像信号に基づく画像を表示する表示装置7とを備える。
挿入部2Cは、図12に示すように、先端部22と、先端部22の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部23と、湾曲部23の基端側に接続され、可撓性を有する長尺状の可撓管部24とを備える。
そして、先端部22内部には、具体的な図示は省略したが、上述した実施の形態1で説明した撮像部54と略同様の構成が内蔵されている。また、操作部111内部には、具体的な図示は省略したが、上述した実施の形態1で説明した通信部55と略同様の構成が内蔵されている。そして、先端部22(撮像部)にて撮像された画像信号は、操作部111及びユニバーサルコード112を介して、制御装置9に出力される。
次に、実施の形態5について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、硬性内視鏡(挿入部2)を用いた医療用観察システム1に本開示を適用していた。
これに対して、実施の形態4では、被検体内部(生体内)や被検体表面(生体表面)の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムに本開示を適用している。
実施の形態5に係る医療用観察システム1Dは、図13に示すように、被検体を観察するための画像を撮像して画像信号を出力する手術用顕微鏡12と、手術用顕微鏡12から出力された画像信号を処理する制御装置9と、制御装置9に第2の伝送ケーブル8を介して接続し、制御装置9にて処理された映像信号に基づく画像を表示する表示装置7とを備える。
そして、制御装置9は、図13に示すように、ベース部123に設置されている。また、具体的な図示は省略したが、ベース部123には、手術用顕微鏡12から被写体に照射する照明光を生成する光源装置3も設置されている。
なお、ベース部123は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部122を支持する構成としてもよい。
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態1〜5によってのみ限定されるべきものではない。
上述した実施の形態1〜5では、光源装置3は、第1の波長帯域の励起光として青の波長帯域の光を出射可能とするとともに、画像光ILとして緑の波長帯域の光を出射可能としていたが、これに限らず、第1の波長帯域の励起光及び画像光ILとしてその他の光をそれぞれ採用しても構わない。
例えば、本開示に係る第2の波長帯域の光としては、緑の波長帯域の光を含む白色光を採用しても構わない。この際、第1,第2の波長帯域は、一部が重複する帯域であってもよく、あるいは、全く重複しない帯域であっても構わない。
また、例えば、本開示に係る画像光ILとしては、緑の波長帯域の光を変調することで形成された画像光に限らず、第1の波長帯域の励起光を変調することで形成しても構わない。この際、光源321を省略することができる。
(1)第1の波長帯域の励起光と、特定のパターン画像を含む画像光とを出射可能とする光源装置の動作を制御する光源制御部と、前記光源装置からの出射光が照射された観察対象を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいて、前記撮像画像を生成する撮像装置の焦点位置を制御するAF処理に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記AF処理を実行する焦点位置制御部とを備え、前記光源制御部は、前記評価値の算出に用いられる前記撮像画像に前記パターン画像が含まれるように前記光源装置の動作を制御する医療用制御装置。
(2)前記画像光は、第2の波長帯域の光によって構成され、前記撮像画像に含まれる前記第2の波長帯域の光の成分を削除する調整処理を実行する調整処理実行部をさらに備える前記(1)に記載の医療用制御装置。
(3)前記調整処理は、ホワイトバランス調整処理であって、前記撮像画像に含まれる赤、緑、及び青の各波長帯域の光の成分に対して特定のゲインをそれぞれ乗算することによって、前記第2の波長帯域の光の成分を削除する前記(2)に記載の医療用制御装置。
(4)前記調整処理は、色補正マトリクス処理であって、前記撮像画像に含まれる赤、緑、及び青の各波長帯域の光の成分を行列要素とする入力マトリクスを特定の色補正マトリクスに乗算することによって、前記第2の波長帯域の光の成分を削除する前記(2)に記載の医療用制御装置。
(5)前記調整処理は、デモザイク処理であって、前記撮像画像を構成する1画素毎に赤、緑、及び青の各波長帯域の光の成分を持たせる際、前記赤、緑、及び青の各波長帯域のいずれかの波長帯域の光の成分を削除することによって、前記第2の波長帯域の光の成分を削除する前記(2)に記載の医療用制御装置。
(6)前記第2の波長帯域の光は、緑の波長帯域の光である前記(2)〜(5)のいずれか一つに記載の医療用制御装置。
(7)前記第2の波長帯域の光は、前記励起光によって励起された前記観察対象からの蛍光の波長帯域を含まない光である前記(2)〜(6)のいずれか一つに記載の医療用制御装置。
(8)前記評価値算出部は、特定の周期で前記AF処理に用いられる評価値を順次、算出する前記(1)〜(7)のいずれか一つに記載の医療用制御装置。
(9)前記評価値算出部は、操作入力部への前記AF処理の実行を要求するユーザ操作に応じて、前記AF処理に用いられる評価値を算出する前記(1)〜(7)のいずれか一つに記載の医療用制御装置。
(10)前記励起光は、プロトポルフィリンを励起する青の波長帯域の光である前記(1)〜(9)のいずれか一つに記載の医療用制御装置。
(11)前記パターン画像は、格子のパターン画像である前記(1)〜(10)のいずれか一つに記載の医療用制御装置。
(12)第1の波長帯域の励起光と、特定のパターン画像を含む画像光とを出射可能とする光源装置と、前記光源装置からの出射光が照射された観察対象を撮像して撮像画像を生成する撮像装置と、前記光源装置及び前記撮像装置の動作をそれぞれ制御する前記(1)〜(11)のいずれか一つに記載の医療用制御装置とを備える医療用観察システム。
2,2B,2C 挿入部
3,3B 光源装置
4 ライトガイド
5,5A カメラヘッド
6 第1の伝送ケーブル
7 表示装置
8 第2の伝送ケーブル
9,9A 制御装置
10 第3の伝送ケーブル
11 内視鏡
12 手術用顕微鏡
21 接眼部
22 先端部
23 湾曲部
24 可撓管部
31 第1の光源部
32 第2の光源部
51 レンズユニット
52 レンズ駆動部
53 焦点位置検出部
54 撮像部
55 通信部
56 AFボタン
91 通信部
92 観察画像生成部
93 制御部
94 入力部
95 出力部
96 記憶部
111 操作部
112 ユニバーサルコード
121 顕微鏡部
122 支持部
123 ベース部
321 光源
322 画像形成部
323 光学系
511 フォーカスレンズ
541 励起光カットフィルタ
542 撮像素子
543 カラーフィルタ
543b Bフィルタ群
543g Gフィルタ群
543r Rフィルタ群
544 信号処理部
921 画像処理部
922 表示制御部
923 検波処理部
931 光源制御部
932 撮像制御部
933 評価値算出部
934 焦点位置制御部
ArB 背景領域
ArF 蛍光領域
C1 曲線
CN1,CN2 コネクタ
IL 画像光
P0 PDD画像
P1 パターン含有PDD画像
P2 処理済PDD画像
PT パターン画像
SPE,SPF,SPG スペクトル
Claims (12)
- 第1の波長帯域の励起光と、特定のパターン画像を含む画像光とを出射可能とする光源装置の動作を制御する光源制御部と、
前記光源装置からの出射光が照射された観察対象を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像に基づいて、前記撮像画像を生成する撮像装置の焦点位置を制御するAF処理に用いられる評価値を算出する評価値算出部と、
前記評価値に基づいて、前記AF処理を実行する焦点位置制御部とを備え、
前記光源制御部は、
前記評価値の算出に用いられる前記撮像画像に前記パターン画像が含まれるように前記光源装置の動作を制御する医療用制御装置。 - 前記画像光は、
第2の波長帯域の光によって構成され、
前記撮像画像に含まれる前記第2の波長帯域の光の成分を削除する調整処理を実行する調整処理実行部をさらに備える請求項1に記載の医療用制御装置。 - 前記調整処理は、
ホワイトバランス調整処理であって、前記撮像画像に含まれる赤、緑、及び青の各波長帯域の光の成分に対して特定のゲインをそれぞれ乗算することによって、前記第2の波長帯域の光の成分を削除する請求項2に記載の医療用制御装置。 - 前記調整処理は、
色補正マトリクス処理であって、前記撮像画像に含まれる赤、緑、及び青の各波長帯域の光の成分を行列要素とする入力マトリクスを特定の色補正マトリクスに乗算することによって、前記第2の波長帯域の光の成分を削除する請求項2に記載の医療用制御装置。 - 前記調整処理は、
デモザイク処理であって、前記撮像画像を構成する1画素毎に赤、緑、及び青の各波長帯域の光の成分を持たせる際、前記赤、緑、及び青の各波長帯域のいずれかの波長帯域の光の成分を削除することによって、前記第2の波長帯域の光の成分を削除する請求項2に記載の医療用制御装置。 - 前記第2の波長帯域の光は、
緑の波長帯域の光である請求項2に記載の医療用制御装置。 - 前記第2の波長帯域の光は、
前記励起光によって励起された前記観察対象からの蛍光の波長帯域を含まない光である請求項2に記載の医療用制御装置。 - 前記評価値算出部は、
特定の周期で前記AF処理に用いられる評価値を順次、算出する請求項1に記載の医療用制御装置。 - 前記評価値算出部は、
操作入力部への前記AF処理の実行を要求するユーザ操作に応じて、前記AF処理に用いられる評価値を算出する請求項1に記載の医療用制御装置。 - 前記励起光は、
プロトポルフィリンを励起する青の波長帯域の光である請求項1に記載の医療用制御装置。 - 前記パターン画像は、
格子のパターン画像である請求項1に記載の医療用制御装置。 - 第1の波長帯域の励起光と、特定のパターン画像を含む画像光とを出射可能とする光源装置と、
前記光源装置からの出射光が照射された観察対象を撮像して撮像画像を生成する撮像装置と、
前記光源装置及び前記撮像装置の動作をそれぞれ制御する請求項1に記載の医療用制御装置とを備える医療用観察システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047500A JP7454417B2 (ja) | 2020-03-18 | 2020-03-18 | 医療用制御装置及び医療用観察システム |
US17/169,603 US11483489B2 (en) | 2020-03-18 | 2021-02-08 | Medical control device and medical observation system using a different wavelength band than that of fluorescence of an observation target to control autofocus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047500A JP7454417B2 (ja) | 2020-03-18 | 2020-03-18 | 医療用制御装置及び医療用観察システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021145824A true JP2021145824A (ja) | 2021-09-27 |
JP7454417B2 JP7454417B2 (ja) | 2024-03-22 |
Family
ID=77748702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020047500A Active JP7454417B2 (ja) | 2020-03-18 | 2020-03-18 | 医療用制御装置及び医療用観察システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11483489B2 (ja) |
JP (1) | JP7454417B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210290037A1 (en) * | 2020-03-17 | 2021-09-23 | Sony Olympus Medical Solutions Inc. | Medical image processing apparatus and medical observation system |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180279864A1 (en) * | 2002-03-12 | 2018-10-04 | Beth Israel Deaconess Medical Center | Protoporphyrin ix (ppix) imaging |
DE102011016138A1 (de) * | 2011-03-30 | 2012-10-04 | Karl Storz Gmbh & Co. Kg | Vorrichtung zur Fluoreszenzdiagnose |
JP5948076B2 (ja) | 2011-08-23 | 2016-07-06 | オリンパス株式会社 | フォーカス制御装置、内視鏡装置及びフォーカス制御方法 |
CA3105924C (en) * | 2011-12-21 | 2022-06-28 | Catherine M. Shachaf | System for imaging lesions aligning tissue surfaces |
JP2013228798A (ja) | 2012-04-24 | 2013-11-07 | Olympus Corp | 画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法 |
JP2016170182A (ja) | 2013-07-22 | 2016-09-23 | オリンパスメディカルシステムズ株式会社 | 医療用観察装置 |
WO2018178269A1 (en) * | 2017-03-31 | 2018-10-04 | Carl Zeiss Meditec, Inc. | Systems and methods for characterizing refraction with ophthalmic imaging systems |
CN112005153B (zh) * | 2018-04-12 | 2024-03-01 | 生命科技股份有限公司 | 用于利用单色传感器生成彩色视频的设备、系统和方法 |
US10694117B2 (en) * | 2018-06-07 | 2020-06-23 | Curadel, LLC | Masking approach for imaging multi-peak fluorophores by an imaging system |
WO2021019597A1 (ja) * | 2019-07-26 | 2021-02-04 | 株式会社日立ハイテク | 核酸分析装置及び方法 |
-
2020
- 2020-03-18 JP JP2020047500A patent/JP7454417B2/ja active Active
-
2021
- 2021-02-08 US US17/169,603 patent/US11483489B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210297575A1 (en) | 2021-09-23 |
JP7454417B2 (ja) | 2024-03-22 |
US11483489B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8643710B2 (en) | Image pickup apparatus | |
US9513221B2 (en) | Fluorescence observation apparatus | |
WO2015093295A1 (ja) | 内視鏡装置 | |
JP2012030004A (ja) | 電子内視鏡システム | |
US9414739B2 (en) | Imaging apparatus for controlling fluorescence imaging in divided imaging surface | |
WO2019087557A1 (ja) | 内視鏡システム | |
US20210297606A1 (en) | Medical image processing device and medical observation system | |
WO2016104386A1 (ja) | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム | |
JP2015160098A (ja) | 内視鏡システム | |
JP5554288B2 (ja) | 内視鏡システム、プロセッサ装置及び画像補正方法 | |
JP6137892B2 (ja) | 撮像システム | |
JP7454417B2 (ja) | 医療用制御装置及び医療用観察システム | |
US20210290035A1 (en) | Medical control device and medical observation system | |
US20230180997A1 (en) | Medical control device and medical observation system | |
WO2015194204A1 (ja) | 内視鏡装置 | |
JP7235540B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
JP2019041946A (ja) | プロセッサ装置とその作動方法、および内視鏡システム | |
US20210290037A1 (en) | Medical image processing apparatus and medical observation system | |
JP2021146198A (ja) | 医療用画像処理装置及び医療用観察システム | |
US20220151474A1 (en) | Medical image processing device and medical observation system | |
JP7281308B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
US20230308768A1 (en) | Medical control device and medical observation system | |
US20230233070A1 (en) | Endoscope light source device, endoscope system, and method of changing illumination light in endoscope light source device | |
JP2022082350A (ja) | 光源制御装置及び医療用観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7454417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |