JP2022080732A - 医療用画像処理装置及び医療用観察システム - Google Patents
医療用画像処理装置及び医療用観察システム Download PDFInfo
- Publication number
- JP2022080732A JP2022080732A JP2020191957A JP2020191957A JP2022080732A JP 2022080732 A JP2022080732 A JP 2022080732A JP 2020191957 A JP2020191957 A JP 2020191957A JP 2020191957 A JP2020191957 A JP 2020191957A JP 2022080732 A JP2022080732 A JP 2022080732A
- Authority
- JP
- Japan
- Prior art keywords
- image
- component information
- green
- red
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 127
- 230000005284 excitation Effects 0.000 claims abstract description 49
- 230000003595 spectral effect Effects 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000002073 fluorescence micrograph Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000003780 insertion Methods 0.000 description 15
- 230000037431 insertion Effects 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 3
- 229960004657 indocyanine green Drugs 0.000 description 3
- 238000002357 laparoscopic surgery Methods 0.000 description 3
- 229950003776 protoporphyrin Drugs 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 229960002749 aminolevulinic acid Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
Abstract
【課題】観察に適した画像を生成すること。【解決手段】医療用画像処理装置９は、観察対象に励起光が照射され、励起光によって励起された観察対象からの蛍光が撮像部５２にて撮像された蛍光画像を取得する蛍光画像取得部９１と、蛍光画像に対して画像処理を実行する蛍光画像処理部９３３とを備える。撮像部５２の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタ５２２ａが設けられている。蛍光画像は、赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含む。蛍光画像処理部９３３は、蛍光画像の画素毎に、緑及び青の成分情報よりも赤の成分情報の重み付けを低くした状態で、赤、緑、及び青の各成分情報を組み合わせる。【選択図】図２
Description
本開示は、医療用画像処理装置及び医療用観察システムに関する。
従来、被写体となる生体内（観察対象）を撮像（観察）する医療用観察システムにおいて、蛍光画像を生成するシステムが知られている（例えば、特許文献１参照）。
ここで、蛍光画像は、励起光（例えば７５０ｎｍ～８００ｎｍ程度の近赤外励起光）が観察対象に照射され、当該励起光によって励起された当該観察対象からの蛍光（例えば８３０ｎｍ近辺の波長帯域の蛍光）を撮像部にて撮像した画像である。
ここで、蛍光画像は、励起光（例えば７５０ｎｍ～８００ｎｍ程度の近赤外励起光）が観察対象に照射され、当該励起光によって励起された当該観察対象からの蛍光（例えば８３０ｎｍ近辺の波長帯域の蛍光）を撮像部にて撮像した画像である。
ところで、蛍光画像は、観察対象からの蛍光が微小であり、当該蛍光の波長帯域における撮像部の感度も低いため、信号レベルが著しく低いものである。また、腹腔鏡下手術で使用される無影灯は、近赤外光の波長成分を含む。
したがって、腹腔鏡下手術において無影灯に含まれる近赤外光の波長成分が腹壁を通り抜けて撮像部にて撮像されると、当該近赤外光の波長成分がノイズとなり、本来の蛍光を発している部位（蛍光物質が存在する部位）を判別することが難しくなる。すなわち、観察に適した画像を生成することができない、という問題がある。
したがって、腹腔鏡下手術において無影灯に含まれる近赤外光の波長成分が腹壁を通り抜けて撮像部にて撮像されると、当該近赤外光の波長成分がノイズとなり、本来の蛍光を発している部位（蛍光物質が存在する部位）を判別することが難しくなる。すなわち、観察に適した画像を生成することができない、という問題がある。
本開示は、上記に鑑みてなされたものであって、観察に適した画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる。
また、本開示に係る医療用観察システムは、観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光を撮像して蛍光画像を生成する撮像部、及び前記撮像部の受光面に設けられ、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、前記蛍光画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる。
本開示に係る医療用画像処理装置及び医療用観察システムによれば、観察に適した画像を生成することができる。
以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
〔医療用観察システムの概略構成〕
図１は、実施の形態に係る医療用観察システム１の構成を示す図である。
医療用観察システム１は、医療分野において用いられ、被写体となる生体内（観察対象）を撮像（観察）するシステムである。この医療用観察システム１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０とを備える。
図１は、実施の形態に係る医療用観察システム１の構成を示す図である。
医療用観察システム１は、医療分野において用いられ、被写体となる生体内（観察対象）を撮像（観察）するシステムである。この医療用観察システム１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０とを備える。
本実施の形態では、挿入部２は、硬性内視鏡で構成されている。すなわち、挿入部２は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部２内には、１または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。
光源装置３は、ライトガイド４の一端が接続され、制御装置９による制御の下、当該ライトガイド４の一端に生体内に照射する光を供給する。この光源装置３は、図１に示すように、第１の光源３１と、第２の光源３２とを備える。
第１の光源３１は、可視の波長帯域である通常光を出射（発光）する。本実施の形態では、第１の光源３１は、白色光を発光するＬＥＤ（Light Emitting Diode）で構成されている。なお、第１の光源３１は、白色ＬＥＤに限定されることなく、赤色ＬＥＤ、緑色ＬＥＤ、及び青色ＬＥＤの各々が発光する光を合成することによって白色光を出射可能な構成であっても構わない。
第１の光源３１は、可視の波長帯域である通常光を出射（発光）する。本実施の形態では、第１の光源３１は、白色光を発光するＬＥＤ（Light Emitting Diode）で構成されている。なお、第１の光源３１は、白色ＬＥＤに限定されることなく、赤色ＬＥＤ、緑色ＬＥＤ、及び青色ＬＥＤの各々が発光する光を合成することによって白色光を出射可能な構成であっても構わない。
第２の光源３２は、通常光の波長帯域とは異なる波長帯域の励起光を出射（発光）する。本実施の形態では、第２の光源３２は、近赤外の波長帯域（例えば７５０ｎｍ～８００ｎｍ程度の波長帯域）の近赤外励起光を発光する半導体レーザで構成されている。なお、第２の光源３２は、半導体レーザに限定されることなく、近赤外励起光を発光するＬＥＤで構成されても構わない。当該近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する可視域以外の波長帯域（例えば８３０ｎｍ近辺の波長帯域）の蛍光を発光する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定しても構わない。
そして、本実施の形態に係る光源装置３では、制御装置９による制御の下、交互に繰り返される第１，第２の期間のうち、第１の期間において、第１の光源３１が駆動する。すなわち、第１の期間では、光源装置３は、通常光（白色光）を発光する。また、光源装置３では、制御装置９による制御の下、第２の期間において、第２の光源３２が駆動する。すなわち、第２の期間では、光源装置３は、近赤外励起光を発光する。
なお、本実施の形態では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。
なお、本実施の形態では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。
ライトガイド４は、一端が光源装置３に着脱自在に接続されるとともに、他端が挿入部２に着脱自在に接続される。そして、ライトガイド４は、光源装置３から供給された光（通常光や近赤外励起光）を一端から他端に伝達し、挿入部２に供給する。生体内に通常光（白色光）が照射された場合には、当該生体内を介した通常光（当該生体内で反射された通常光）が挿入部２内の光学系により集光される。また、生体内に近赤外励起光が照射された場合には、当該生体内を介した近赤外励起光（当該生体内で反射された近赤外励起光）と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が当該近赤外励起光によって励起され、当該蛍光物質から発せられた蛍光とが挿入部２内の光学系により集光される。
カメラヘッド５は、本開示に係る撮像装置に相当する。このカメラヘッド５は、挿入部２の基端（接眼部２１（図１））に着脱自在に接続される。そして、カメラヘッド５は、制御装置９による制御の下、挿入部２にて集光された光を撮像して撮像画像を生成する。
なお、カメラヘッド５の詳細な構成については、後述する「カメラヘッドの構成」において説明する。
なお、カメラヘッド５の詳細な構成については、後述する「カメラヘッドの構成」において説明する。
第１の伝送ケーブル６は、一端がコネクタＣＮ１（図１）を介して制御装置９に着脱自在に接続され、他端がコネクタＣＮ２（図１）を介してカメラヘッド５に着脱自在に接続される。そして、第１の伝送ケーブル６は、カメラヘッド５から出力される撮像画像等を制御装置９に伝送するとともに、制御装置９から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド５にそれぞれ伝送する。
なお、第１の伝送ケーブル６を介したカメラヘッド５から制御装置９への撮像画像等の伝送は、当該撮像画像等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。
なお、第１の伝送ケーブル６を介したカメラヘッド５から制御装置９への撮像画像等の伝送は、当該撮像画像等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。
表示装置７は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、制御装置９による制御の下、当該制御装置９からの映像信号に基づく画像を表示する。
第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２の伝送ケーブル８は、制御装置９にて処理された映像信号を表示装置７に伝送する。
第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２の伝送ケーブル８は、制御装置９にて処理された映像信号を表示装置７に伝送する。
制御装置９は、本開示に係る医療用画像処理装置に相当する。この制御装置９は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等で構成され、光源装置３、カメラヘッド５、及び表示装置７の動作を統括的に制御する。
なお、制御装置９の詳細な構成については、後述する「制御装置の構成」において説明する。
第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３の伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
なお、制御装置９の詳細な構成については、後述する「制御装置の構成」において説明する。
第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３の伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド５の構成について説明する。
図２は、カメラヘッド５及び制御装置９の構成を示すブロック図である。
カメラヘッド５は、図２に示すように、レンズユニット５１と、撮像部５２と、通信部５３とを備える。
レンズユニット５１は、１または複数のレンズを用いて構成され、挿入部２にて集光された光（通常光や近赤外励起光及び蛍光）を撮像部５２（撮像素子５２２）の撮像面に結像する。
次に、カメラヘッド５の構成について説明する。
図２は、カメラヘッド５及び制御装置９の構成を示すブロック図である。
カメラヘッド５は、図２に示すように、レンズユニット５１と、撮像部５２と、通信部５３とを備える。
レンズユニット５１は、１または複数のレンズを用いて構成され、挿入部２にて集光された光（通常光や近赤外励起光及び蛍光）を撮像部５２（撮像素子５２２）の撮像面に結像する。
撮像部５２は、制御装置９による制御の下、生体内を撮像する。この撮像部５２は、図２に示すように、励起光カットフィルタ５２１と、撮像素子５２２と、信号処理部５２３とを備える。
励起光カットフィルタ５２１は、レンズユニット５１と撮像素子５２２との間に設けられ、特定の波長帯域を除去するバンドストップフィルタで構成されている。当該励起光カットフィルタ５２１は、挿入部２に設けられても構わない。なお、以下では、説明の便宜上、励起光カットフィルタ５２１にてカット（除去）する波長帯域をカット帯域と記載し、当該カット帯域よりも短波長側であって当該励起光カットフィルタ５２１を透過する波長帯域を短波側透過領域と記載し、当該カット帯域よりも長波長側であって当該励起光カットフィルタ５２１を透過する波長帯域を長波側透過領域と記載する。
ここで、カット帯域は、近赤外励起光の波長帯域の少なくとも一部を含む。本実施の形態では、カット帯域は、近赤外励起光の波長帯域の全てを含む。また、長波側透過帯域は、蛍光の波長帯域を含む。さらに、短波側透過領域は、通常光（白色光）の波長帯域を含む。
ここで、カット帯域は、近赤外励起光の波長帯域の少なくとも一部を含む。本実施の形態では、カット帯域は、近赤外励起光の波長帯域の全てを含む。また、長波側透過帯域は、蛍光の波長帯域を含む。さらに、短波側透過領域は、通常光（白色光）の波長帯域を含む。
すなわち、励起光カットフィルタ５２１は、レンズユニット５１から撮像素子５２２に向かう通常光（白色光）を透過させる。なお、以下では、説明の便宜上、励起光カットフィルタ５２１を透過し、撮像素子５２２に向かう通常光（白色光）を被写体像と記載する。一方、励起光カットフィルタ５２１は、レンズユニット５１から撮像素子５２２に向かう近赤外励起光及び蛍光については、近赤外励起光を除去するとともに、蛍光を透過させる。なお、以下では、説明の便宜上、励起光カットフィルタ５２１を透過し、撮像素子５２２に向かう蛍光を蛍光像と記載する。
撮像素子５２２は、励起光カットフィルタ５２１を透過した被写体像や蛍光像を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されている。この撮像素子５２２の撮像面（受光面）には、カラーフィルタ５２２ａ（図２）が設けられている。
図３は、カラーフィルタ５２２ａを示す図である。図４は、カラーフィルタ５２２ａの分光特性を示す図である。具体的に、図４では、Ｒフィルタ群５２２ｒの分光特性を曲線ＣＲにて示し、Ｇフィルタ群５２２ｇの分光特性を曲線ＣＧにて示し、Ｂフィルタ群５２２ｂの分光特性を曲線ＣＢにて示している。
カラーフィルタ５２２ａは、透過させる光（Ｒ（赤），Ｇ（緑），Ｂ（青））の波長帯域に応じてグループ分けされたＲ，Ｇ，及びＢのフィルタ群が特定の形式（例えば、ベイヤ配列）で配列されたカラーフィルタである。
カラーフィルタ５２２ａは、透過させる光（Ｒ（赤），Ｇ（緑），Ｂ（青））の波長帯域に応じてグループ分けされたＲ，Ｇ，及びＢのフィルタ群が特定の形式（例えば、ベイヤ配列）で配列されたカラーフィルタである。
具体的に、カラーフィルタ５２２ａは、図３及び図４に示すように、Ｒの波長帯域の光を主に透過させるＲフィルタ群５２２ｒ（図３）と、Ｂの波長帯域の光を主に透過させるＢフィルタ群５２２ｂ（図３）と、Ｇの波長帯域の光を主に透過させる第１のＧフィルタ群（Ｒフィルタ群５２２ｒと同一の列に配列）と、Ｇの波長帯域の光を主に透過させる第２のＧフィルタ群（Ｂフィルタ群５２２ｂと同一の列に配列）とを有する。なお、図３では、第１，第２のＧフィルタ群を纏めてＧフィルタ群５２２ｇとしている。また、図３では、Ｒフィルタ群５２２ｒには「Ｒ」の文字を付し、Ｇフィルタ群５２２ｇには「Ｇ」の文字を付し、Ｂフィルタ群５２２ｂには「Ｂ」の文字を付している。
なお、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂは、図４に示すように、蛍光の波長帯域（例えば８３０ｎｍ近辺の波長帯域）において、略同一の分光特性を有する。そして、撮像素子５２２は、Ｒ，Ｇ，Ｂの波長帯域の光のみならず、蛍光の波長帯域に対しても感度を有する。
なお、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂは、図４に示すように、蛍光の波長帯域（例えば８３０ｎｍ近辺の波長帯域）において、略同一の分光特性を有する。そして、撮像素子５２２は、Ｒ，Ｇ，Ｂの波長帯域の光のみならず、蛍光の波長帯域に対しても感度を有する。
そして、撮像素子５２２は、制御装置９による制御の下、光源装置３の発光タイミングに同期して、交互に繰り返される第１，第２の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子５２２により第１の期間において被写体像（通常光）を撮像することで生成された画像を通常光画像と記載し、撮像素子５２２により第２の期間において蛍光像（蛍光）を撮像することで生成された画像を蛍光画像と記載する。また、通常光画像及び蛍光画像を纏めて撮像画像と記載する。
信号処理部５２３は、撮像素子５２２にて生成されたアナログ信号の撮像画像に対して信号処理を行ってデジタル信号の撮像画像を出力する。
信号処理部５２３は、撮像素子５２２にて生成されたアナログ信号の撮像画像に対して信号処理を行ってデジタル信号の撮像画像を出力する。
通信部５３は、第１の伝送ケーブル６を介して、撮像部５２から出力される撮像画像を制御装置９に送信するトランスミッタとして機能する。この通信部５３は、例えば、第１の伝送ケーブル６を介して、制御装置９との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置９の構成について図２を参照しながら説明する。
制御装置９は、図２に示すように、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
通信部９１は、第１の伝送ケーブル６を介して、カメラヘッド５（通信部５３）から出力される撮像画像を受信するレシーバとして機能する。この通信部９１は、例えば、通信部５３との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。すなわち、通信部９１は、本開示に係る蛍光画像取得部及び通常光画像取得部に相当する。
メモリ９２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ９２は、カメラヘッド５（通信部５３）から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
次に、制御装置９の構成について図２を参照しながら説明する。
制御装置９は、図２に示すように、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
通信部９１は、第１の伝送ケーブル６を介して、カメラヘッド５（通信部５３）から出力される撮像画像を受信するレシーバとして機能する。この通信部９１は、例えば、通信部５３との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。すなわち、通信部９１は、本開示に係る蛍光画像取得部及び通常光画像取得部に相当する。
メモリ９２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ９２は、カメラヘッド５（通信部５３）から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
観察画像生成部９３は、制御部９４による制御の下、カメラヘッド５（通信部５３）から順次、出力され、通信部９１にて受信した撮像画像を処理する。この観察画像生成部９３は、図２に示すように、メモリコントローラ９３１と、通常光画像処理部９３２と、蛍光画像処理部９３３と、重畳画像生成部９３４と、表示制御部９３５とを備える。
メモリコントローラ９３１は、メモリ９２への撮像画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ９３１は、カメラヘッド５（通信部５３）から順次、出力され、通信部９１にて受信した撮像画像（通常光画像及び蛍光画像）をメモリ９２に順次、書き込む。また、メモリコントローラ９３１は、メモリ９２から通常光画像を特定のタイミングで読み出すとともに、当該読み出した通常光画像を通常光画像処理部９３２に入力させる。さらに、メモリコントローラ９３１は、メモリ９２から蛍光画像を特定のタイミングで読み出すとともに、当該読み出した蛍光画像を蛍光画像処理部９３３に入力させる。
通常光画像処理部９３２は、入力した通常光画像に対して第１の画像処理を実行する。
当該第１の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（通常光画像）を輝度色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理等を例示することができる。
ここで、デモザイク処理後の通常光画像は、画素毎に、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂに対応するＲ，Ｇ，Ｂの成分情報（画素データ）を含む。以下では、当該Ｒの成分情報をｒ値と記載し、当該Ｇの成分情報をｇ値と記載し、当該Ｂの成分情報をｂ値と記載する。そして、通常光画像処理部９３２は、ＹＣ処理において、画素毎に、以下の式（１）により輝度信号（Ｙ）を生成する。
〔数１〕
Ｙ＝ｔ１×ｒ値＋ｕ１×ｇ値＋ｖ１×ｂ値 ・・・（１）
ここで、ｔ１、ｕ１、及びｖ１は、ｔ１＋ｕ１＋ｖ１＝１を満たす値とする。
すなわち、通常光画像処理部９３２は、通常光画像の画素毎に、Ｒ，Ｇ，Ｂの各成分情報の重み付けを設定して、当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせる。より具体的には、式（１）において、ｔ１＝０．３３、ｕ１＝０．３３、ｖ１＝０．３３とし、通常光画像処理部９３２は、通常光画像の画素毎に、Ｒ，Ｇ，Ｂの各成分情報の重み付けを同一にした状態で、当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせてもよく、あるいは、ｔ１＝０．３、ｕ１＝０．６、ｖ１＝０．１として当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせても構わない。
当該第１の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（通常光画像）を輝度色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理等を例示することができる。
ここで、デモザイク処理後の通常光画像は、画素毎に、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂに対応するＲ，Ｇ，Ｂの成分情報（画素データ）を含む。以下では、当該Ｒの成分情報をｒ値と記載し、当該Ｇの成分情報をｇ値と記載し、当該Ｂの成分情報をｂ値と記載する。そして、通常光画像処理部９３２は、ＹＣ処理において、画素毎に、以下の式（１）により輝度信号（Ｙ）を生成する。
〔数１〕
Ｙ＝ｔ１×ｒ値＋ｕ１×ｇ値＋ｖ１×ｂ値 ・・・（１）
ここで、ｔ１、ｕ１、及びｖ１は、ｔ１＋ｕ１＋ｖ１＝１を満たす値とする。
すなわち、通常光画像処理部９３２は、通常光画像の画素毎に、Ｒ，Ｇ，Ｂの各成分情報の重み付けを設定して、当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせる。より具体的には、式（１）において、ｔ１＝０．３３、ｕ１＝０．３３、ｖ１＝０．３３とし、通常光画像処理部９３２は、通常光画像の画素毎に、Ｒ，Ｇ，Ｂの各成分情報の重み付けを同一にした状態で、当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせてもよく、あるいは、ｔ１＝０．３、ｕ１＝０．６、ｖ１＝０．１として当該Ｒ，Ｇ，Ｂの各成分情報を組み合わせても構わない。
蛍光画像処理部９３３は、入力した蛍光画像に対して、第１の画像処理とは異なる第２の画像処理を実行する。
当該第２の画像処理としては、上述した第１の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（蛍光画像）を輝度色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理等を例示することができる。
ここで、蛍光画像処理部９３３は、デモザイク処理後の蛍光画像に対して実行するＹＣ処理において、画素毎に、以下の式（２）により輝度信号（Ｙ）を生成する。
〔数２〕
Ｙ＝ｔ２×ｒ値＋ｕ２×ｇ値＋ｖ２×ｂ値 ・・・（２）
ここで、ｔ２、ｕ２、及びｖ２は、ｔ２＜ｕ２かつｔ２＜ｖ２かつｔ２＋ｕ２＋ｖ２＝１を満たす値とする。
すなわち、蛍光画像処理部９３３は、蛍光画像の画素毎に、Ｇの成分情報とＢの成分情報よりもＲの成分情報の重み付けを低くした状態で、Ｒ，Ｇ，Ｂの各成分情報を組み合わせる。より具体的には、式（２）において、ｔ２＝０．５、ｕ２＝０．５、ｖ２＝０として、蛍光画像処理部９３３は、蛍光画像の画素毎に、Ｒの成分情報を削除し、Ｇの成分情報及びＢの成分情報のみを組み合わせる。
当該第２の画像処理としては、上述した第１の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（蛍光画像）を輝度色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理等を例示することができる。
ここで、蛍光画像処理部９３３は、デモザイク処理後の蛍光画像に対して実行するＹＣ処理において、画素毎に、以下の式（２）により輝度信号（Ｙ）を生成する。
〔数２〕
Ｙ＝ｔ２×ｒ値＋ｕ２×ｇ値＋ｖ２×ｂ値 ・・・（２）
ここで、ｔ２、ｕ２、及びｖ２は、ｔ２＜ｕ２かつｔ２＜ｖ２かつｔ２＋ｕ２＋ｖ２＝１を満たす値とする。
すなわち、蛍光画像処理部９３３は、蛍光画像の画素毎に、Ｇの成分情報とＢの成分情報よりもＲの成分情報の重み付けを低くした状態で、Ｒ，Ｇ，Ｂの各成分情報を組み合わせる。より具体的には、式（２）において、ｔ２＝０．５、ｕ２＝０．５、ｖ２＝０として、蛍光画像処理部９３３は、蛍光画像の画素毎に、Ｒの成分情報を削除し、Ｇの成分情報及びＢの成分情報のみを組み合わせる。
重畳画像生成部９３４は、通常光画像処理部９３２にて第１の画像処理が実行された後の通常光画像に、蛍光画像処理部９３３にて第２の画像処理が実行された後の蛍光画像を重畳して重畳画像を生成する重畳処理を実行する。
ここで、当該重畳処理としては、以下に示す第１，第２の重畳処理を例示することができる。なお、以下では、蛍光画像において、輝度値が特定の閾値以上となる画素で構成される領域を蛍光領域と記載する。
第１の重畳処理は、通常光画像において、蛍光領域と同一の画素位置となる領域を蛍光画像における蛍光領域の画像に置き換える処理である。
第２の重畳処理は、蛍光画像の蛍光領域における各画素位置の輝度値に応じて、通常光画像における蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理（所謂、アルファブレンド処理）である。
ここで、当該重畳処理としては、以下に示す第１，第２の重畳処理を例示することができる。なお、以下では、蛍光画像において、輝度値が特定の閾値以上となる画素で構成される領域を蛍光領域と記載する。
第１の重畳処理は、通常光画像において、蛍光領域と同一の画素位置となる領域を蛍光画像における蛍光領域の画像に置き換える処理である。
第２の重畳処理は、蛍光画像の蛍光領域における各画素位置の輝度値に応じて、通常光画像における蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理（所謂、アルファブレンド処理）である。
表示制御部９３５は、制御部９４による制御の下、重畳画像生成部９３４にて生成された重畳画像を表示するための映像信号を生成する。そして、表示制御部９３５は、第２の伝送ケーブル８を介して、当該映像信号を表示装置７に出力する。
制御部９４は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、第１～第３の伝送ケーブル６，８，１０を介して制御信号を出力することで、光源装置３、カメラヘッド５、及び表示装置７の動作を制御するとともに、制御装置９全体の動作を制御する。この制御部９４は、図２に示すように、光源制御部９４１と、撮像制御部９４２とを備える。なお、光源制御部９４１及び撮像制御部９４２の機能について、後述する「制御装置の動作」において説明する。
入力部９５は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部９５は、当該ユーザ操作に応じた操作信号を制御部９４に出力する。
出力部９６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部９７は、制御部９４が実行するプログラムや、制御部９４の処理に必要な情報等を記憶する。
出力部９６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部９７は、制御部９４が実行するプログラムや、制御部９４の処理に必要な情報等を記憶する。
〔制御装置の動作〕
次に、上述した制御装置９の動作について説明する。
図５は、制御装置９の動作を示すフローチャートである。図６ないし図８は、制御装置９の動作を説明する図である。具体的に、図６は、１フレームの通常光画像ＷＬＩを示す図である。図７は、１フレームの蛍光画像ＩＲを示す図である。なお、図７に示した蛍光画像ＩＲは、グレースケールで表現されており、黒に近付くにしたがって撮像された蛍光成分の強度が高い（輝度値が高い）ものである。図８は、重畳画像生成部９３４にて生成された１フレームの重畳画像ＳＩを示す図である。
次に、上述した制御装置９の動作について説明する。
図５は、制御装置９の動作を示すフローチャートである。図６ないし図８は、制御装置９の動作を説明する図である。具体的に、図６は、１フレームの通常光画像ＷＬＩを示す図である。図７は、１フレームの蛍光画像ＩＲを示す図である。なお、図７に示した蛍光画像ＩＲは、グレースケールで表現されており、黒に近付くにしたがって撮像された蛍光成分の強度が高い（輝度値が高い）ものである。図８は、重畳画像生成部９３４にて生成された１フレームの重畳画像ＳＩを示す図である。
先ず、光源制御部９４１は、第１，第２の光源３１，３２の時分割駆動を実行する（ステップＳ１）。具体的に、光源制御部９４１は、ステップＳ１において、同期信号に基づいて、交互に繰り返される第１，第２の期間のうち、第１の期間において第１の光源３１を発光させ、第２の期間において第２の光源３２を発光させる。
ステップＳ１の後、撮像制御部９４２は、同期信号に基づいて、第１，第２の光源３１，３２の発光タイミングに同期させ、撮像素子５２２に第１，第２の期間において被写体像及び蛍光像をそれぞれ撮像させる（ステップＳ２～Ｓ４）。すなわち、撮像素子５２２は、第１の期間である場合（ステップＳ２：Ｙｅｓ）、言い換えれば、生体内に通常光（白色光）が照射された場合には、被写体像（通常光）を撮像して通常光画像を生成する（ステップＳ３）。一方、撮像素子５２２は、第２の期間である場合（ステップＳ２：Ｎｏ）、言い換えれば、生体内に近赤外励起光が照射された場合には、蛍光像（蛍光）を撮像して蛍光画像を生成する（ステップＳ４）。
ステップＳ３，Ｓ４の後、メモリコントローラ９３１は、同期信号に基づいて、メモリ９２への撮像画像の書込み及び読出しを制御する（ステップＳ５）。
ステップＳ５の後、蛍光画像処理部９３３及び通常光画像処理部９３２は、以下の処理を実行する（ステップＳ６）。
すなわち、通常光画像処理部９３２は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各通常光画像（例えば、図６に示した通常光画像ＷＬＩ）に対して順次、第１の画像処理を実行する。
また、蛍光画像処理部９３３は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各蛍光画像（例えば、図７に示した蛍光画像ＩＲ）に対して順次、第２の画像処理を実行する。
ステップＳ５の後、蛍光画像処理部９３３及び通常光画像処理部９３２は、以下の処理を実行する（ステップＳ６）。
すなわち、通常光画像処理部９３２は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各通常光画像（例えば、図６に示した通常光画像ＷＬＩ）に対して順次、第１の画像処理を実行する。
また、蛍光画像処理部９３３は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各蛍光画像（例えば、図７に示した蛍光画像ＩＲ）に対して順次、第２の画像処理を実行する。
ステップＳ６の後、重畳画像生成部９３４は、通常光画像処理部９３２から順次、出力される各通常光画像（例えば、図６に示した通常光画像ＷＬＩ）に、蛍光画像処理部９３３から順次、出力される蛍光画像（例えば、図７に示した蛍光画像ＩＲ）を重畳して順次、重畳画像（例えば、図８に示した重畳画像ＳＩ）を生成する重畳処理を実行する（ステップＳ７）。
ステップＳ７の後、表示制御部９３５は、重畳画像生成部９３４にて順次、生成された各重畳画像（例えば、図８に示した重畳画像ＳＩ）を表示するための映像信号を順次、生成し、当該映像信号を表示装置７に順次、出力する（ステップＳ８）。これにより、表示装置７には、重畳画像（例えば、図８に示した重畳画像ＳＩ）が順次、表示される。
以上説明した本実施の形態によれば、以下の効果を奏する。
上述したように、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂは、蛍光の波長帯域（例えば８３０ｎｍ近辺の波長帯域）において、略同一の分光特性を有する。そして、本実施の形態に係る制御装置９では、蛍光画像処理部９３３は、ＹＣ処理において、上述した式（２）により輝度信号（Ｙ）を生成する。すなわち、蛍光画像処理部９３３は、蛍光画像の画素毎に、緑及び青の成分情報よりも赤の成分情報の重み付けを低くした状態で、赤、緑、及び青の各成分情報を組み合わせることで蛍光領域を表現する。
したがって、本実施の形態に係る制御装置９によれば、腹腔鏡下手術において無影灯に含まれる近赤外光の波長成分が腹壁を通り抜けて撮像部５２にて撮像された場合であっても、当該近赤外光の波長成分に起因するノイズを少なくすることができる。すなわち、観察に適した画像を生成することができる。
上述したように、Ｒ，Ｇ，Ｂの各フィルタ群５２２ｒ，５２２ｇ，５２２ｂは、蛍光の波長帯域（例えば８３０ｎｍ近辺の波長帯域）において、略同一の分光特性を有する。そして、本実施の形態に係る制御装置９では、蛍光画像処理部９３３は、ＹＣ処理において、上述した式（２）により輝度信号（Ｙ）を生成する。すなわち、蛍光画像処理部９３３は、蛍光画像の画素毎に、緑及び青の成分情報よりも赤の成分情報の重み付けを低くした状態で、赤、緑、及び青の各成分情報を組み合わせることで蛍光領域を表現する。
したがって、本実施の形態に係る制御装置９によれば、腹腔鏡下手術において無影灯に含まれる近赤外光の波長成分が腹壁を通り抜けて撮像部５２にて撮像された場合であっても、当該近赤外光の波長成分に起因するノイズを少なくすることができる。すなわち、観察に適した画像を生成することができる。
（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、蛍光画像処理部９３３は、ＹＣ処理を実行する際に、蛍光画像の画素毎に、Ｇの成分情報とＢの成分情報よりもＲの成分情報の重み付けを低くした状態で、Ｒ，Ｇ，Ｂの各成分情報を組み合わせていたが、これに限らない。
例えば、ホワイトバランス調整処理において、Ｒ，Ｇ，Ｂの各画素値に乗算するゲインを適宜、調整する。これにより、蛍光画像の画素毎に、Ｇの成分情報及びＢの成分情報よりもＲの成分情報の重み付けを低くした状態でＲ，Ｇ，Ｂの各成分情報を組み合わせる。
また、例えば、色補正マトリクス処理において、蛍光画像に含まれるＲ，Ｇ，Ｂの各画素値を行列要素とする入力マトリクスに乗算する色補正マトリクスを適宜、調整する。これにより、蛍光画像の画素毎に、Ｇの成分情報及びＢの成分情報よりもＲの成分情報の重み付けを低くした状態でＲ，Ｇ，Ｂの各成分情報を組み合わせる。
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、蛍光画像処理部９３３は、ＹＣ処理を実行する際に、蛍光画像の画素毎に、Ｇの成分情報とＢの成分情報よりもＲの成分情報の重み付けを低くした状態で、Ｒ，Ｇ，Ｂの各成分情報を組み合わせていたが、これに限らない。
例えば、ホワイトバランス調整処理において、Ｒ，Ｇ，Ｂの各画素値に乗算するゲインを適宜、調整する。これにより、蛍光画像の画素毎に、Ｇの成分情報及びＢの成分情報よりもＲの成分情報の重み付けを低くした状態でＲ，Ｇ，Ｂの各成分情報を組み合わせる。
また、例えば、色補正マトリクス処理において、蛍光画像に含まれるＲ，Ｇ，Ｂの各画素値を行列要素とする入力マトリクスに乗算する色補正マトリクスを適宜、調整する。これにより、蛍光画像の画素毎に、Ｇの成分情報及びＢの成分情報よりもＲの成分情報の重み付けを低くした状態でＲ，Ｇ，Ｂの各成分情報を組み合わせる。
ところで、従来、癌細胞を検出する癌診断法の一つである光線力学診断（Photo Dynamic Diagnosis：PDD）が知られている。
当該光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm～445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm～740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態において、白色光を発光するＬＥＤで第１の光源３１を構成し、プロトポルフィリンを励起する励起光（例えば375nm～445nmの波長帯域の青色可視光）を発光する半導体レーザで第２の光源３２を構成しても構わない。このように構成した場合であっても、上述した実施の形態と同様の効果を奏する。
当該光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm～445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm～740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態において、白色光を発光するＬＥＤで第１の光源３１を構成し、プロトポルフィリンを励起する励起光（例えば375nm～445nmの波長帯域の青色可視光）を発光する半導体レーザで第２の光源３２を構成しても構わない。このように構成した場合であっても、上述した実施の形態と同様の効果を奏する。
上述した実施の形態では、第１，第２の期間が交互に繰り返すように設定されていたが、これに限らず、第１，第２の期間の少なくともいずれかが連続し、第１，第２の期間の頻度の比率が１：１以外の比率となるように構成しても構わない。
上述した実施の形態において、カラーフィルタ５２２ａを構成する各フィルタ群の分光特性は、図４に示した分光特性に限らず、その他の分光特性を有するカラーフィルタを採用しても構わない。
上述した実施の形態において、カラーフィルタ５２２ａを構成する各フィルタ群の分光特性は、図４に示した分光特性に限らず、その他の分光特性を有するカラーフィルタを採用しても構わない。
上述した実施の形態では、挿入部２を硬性内視鏡で構成した医療用観察システム１に本開示に係る医療用画像処理装置を搭載していたが、これに限らない。例えば、挿入部２を軟性内視鏡で構成した医療用観察システムに本開示に係る医療用画像処理装置を搭載しても構わない。また、被写体内（生体内）や被写体表面（生体表面）の所定の視野領域を拡大して観察する手術用顕微鏡（例えば、特開２０１６－４２９８１号公報参照）等の医療用観察システムに本開示に係る医療用画像処理装置を搭載しても構わない。
上述した実施の形態において、カメラヘッド５の一部の構成や制御装置９の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
上述した実施の形態において、カメラヘッド５の一部の構成や制御装置９の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
上述した実施の形態では、第１の画像処理を実行した後の通常光画像（例えば、図６に示した通常光画像ＷＬＩ）と第２の画像処理を実行した後の蛍光画像（例えば、図７に示した蛍光画像ＩＲ）とを重畳して重畳画像（例えば、図８に示した重畳画像ＳＩ）を生成し、当該重畳画像を表示装置７に表示していたが、これに限らない。例えば、ピクチャインピクチャ処理等を実行し、当該通常光画像と当該蛍光画像とを表示装置７に同時に表示する構成を採用しても構わない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用画像処理装置。
（２）前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記赤の成分情報を削除し、前記緑の成分情報及び前記青の成分情報のみを組み合わせる前記（１）に記載の医療用画像処理装置。
（３）前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記赤、緑、及び青の各成分情報から輝度色差信号を生成するＹＣ処理を実行する際に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる前記（１）または（２）に記載の医療用画像処理装置。
（４）観察対象に可視の波長帯域である通常光が照射され、前記観察対象を介した通常光が前記撮像部にて撮像された通常光画像を取得する通常光画像取得部と、前記通常光画像に対して画像処理を実行する通常光画像処理部とをさらに備え、前記通常光画像処理部は、前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報の重み付けを同一にした状態で、前記赤、緑、及び青の各成分情報を組み合わせる前記（１）～（３）のいずれか一つに記載の医療用画像処理装置。
（５）前記通常光画像処理部は、前記赤、緑、及び青の各成分情報の重み付けを同一にした状態で、前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報を組み合わせる前記（４）に記載の医療用画像処理装置。
（６）観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光を撮像して蛍光画像を生成する撮像部、及び前記撮像部の受光面に設けられ、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、前記蛍光画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用観察システム。
（１）観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用画像処理装置。
（２）前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記赤の成分情報を削除し、前記緑の成分情報及び前記青の成分情報のみを組み合わせる前記（１）に記載の医療用画像処理装置。
（３）前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記赤、緑、及び青の各成分情報から輝度色差信号を生成するＹＣ処理を実行する際に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる前記（１）または（２）に記載の医療用画像処理装置。
（４）観察対象に可視の波長帯域である通常光が照射され、前記観察対象を介した通常光が前記撮像部にて撮像された通常光画像を取得する通常光画像取得部と、前記通常光画像に対して画像処理を実行する通常光画像処理部とをさらに備え、前記通常光画像処理部は、前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報の重み付けを同一にした状態で、前記赤、緑、及び青の各成分情報を組み合わせる前記（１）～（３）のいずれか一つに記載の医療用画像処理装置。
（５）前記通常光画像処理部は、前記赤、緑、及び青の各成分情報の重み付けを同一にした状態で、前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報を組み合わせる前記（４）に記載の医療用画像処理装置。
（６）観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光を撮像して蛍光画像を生成する撮像部、及び前記撮像部の受光面に設けられ、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、前記蛍光画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記蛍光画像を取得する蛍光画像取得部と、前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、前記撮像部の受光面には、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記蛍光画像は、前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、前記蛍光画像処理部は、前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用観察システム。
１ 医療用観察システム
２ 挿入部
３ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１の伝送ケーブル
７ 表示装置
８ 第２の伝送ケーブル
９ 制御装置
１０ 第３の伝送ケーブル
２１ 接眼部
３１ 第１の光源
３２ 第２の光源
５１ レンズユニット
５２ 撮像部
５３ 通信部
９１ 通信部
９２ メモリ
９３ 観察画像生成部
９４ 制御部
９５ 入力部
９６ 出力部
９７ 記憶部
５２１ 励起光カットフィルタ
５２２ 撮像素子
５２２ａ カラーフィルタ
５２２ｂ Ｂフィルタ群
５２２ｇ Ｇフィルタ群
５２２ｒ Ｒフィルタ群
５２３ 信号処理部
９３１ メモリコントローラ
９３２ 通常光画像処理部
９３３ 蛍光画像処理部
９３４ 重畳画像生成部
９３５ 表示制御部
９４１ 光源制御部
９４２ 撮像制御部
ＣＢ，ＣＧ，ＣＲ 曲線
ＣＮ１，ＣＮ２ コネクタ
ＩＲ 蛍光画像
ＳＩ 重畳画像
ＷＬＩ 通常光画像
２ 挿入部
３ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１の伝送ケーブル
７ 表示装置
８ 第２の伝送ケーブル
９ 制御装置
１０ 第３の伝送ケーブル
２１ 接眼部
３１ 第１の光源
３２ 第２の光源
５１ レンズユニット
５２ 撮像部
５３ 通信部
９１ 通信部
９２ メモリ
９３ 観察画像生成部
９４ 制御部
９５ 入力部
９６ 出力部
９７ 記憶部
５２１ 励起光カットフィルタ
５２２ 撮像素子
５２２ａ カラーフィルタ
５２２ｂ Ｂフィルタ群
５２２ｇ Ｇフィルタ群
５２２ｒ Ｒフィルタ群
５２３ 信号処理部
９３１ メモリコントローラ
９３２ 通常光画像処理部
９３３ 蛍光画像処理部
９３４ 重畳画像生成部
９３５ 表示制御部
９４１ 光源制御部
９４２ 撮像制御部
ＣＢ，ＣＧ，ＣＲ 曲線
ＣＮ１，ＣＮ２ コネクタ
ＩＲ 蛍光画像
ＳＩ 重畳画像
ＷＬＩ 通常光画像
Claims (6)
- 観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する蛍光画像取得部と、
前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、
前記撮像部の受光面には、
互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、
前記蛍光画像は、
前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、
前記蛍光画像処理部は、
前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用画像処理装置。 - 前記蛍光画像処理部は、
前記蛍光画像の画素毎に、前記赤の成分情報を削除し、前記緑の成分情報及び前記青の成分情報のみを組み合わせる請求項１に記載の医療用画像処理装置。 - 前記蛍光画像処理部は、
前記蛍光画像の画素毎に、前記赤、緑、及び青の各成分情報から輝度色差信号を生成するＹＣ処理を実行する際に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる請求項１に記載の医療用画像処理装置。 - 観察対象に可視の波長帯域である通常光が照射され、前記観察対象を介した通常光が前記撮像部にて撮像された通常光画像を取得する通常光画像取得部と、
前記通常光画像に対して画像処理を実行する通常光画像処理部とをさらに備え、
前記通常光画像処理部は、
前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報を組み合わせる請求項１に記載の医療用画像処理装置。 - 前記通常光画像処理部は、
前記赤、緑、及び青の各成分情報の重み付けを同一にした状態で、前記通常光画像の画素毎に、前記赤、緑、及び青の各成分情報を組み合わせる請求項４に記載の医療用画像処理装置。 - 観察対象に励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光を撮像して蛍光画像を生成する撮像部、及び前記撮像部の受光面に設けられ、互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、
前記蛍光画像を処理する医療用画像処理装置とを備え、
前記医療用画像処理装置は、
前記蛍光画像を取得する蛍光画像取得部と、
前記蛍光画像に対して画像処理を実行する蛍光画像処理部とを備え、
前記撮像部の受光面には、
互いに異なる分光特性を有する赤、緑、及び青の各フィルタ群が特定の形式で配列されたカラーフィルタが設けられ、
前記蛍光画像は、
前記赤、緑、及び青の各フィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の各成分情報を含み、
前記蛍光画像処理部は、
前記蛍光画像の画素毎に、前記緑の成分情報及び前記青の成分情報よりも前記赤の成分情報の重み付けを低くした状態で、前記赤、緑、及び青の各成分情報を組み合わせる医療用観察システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020191957A JP2022080732A (ja) | 2020-11-18 | 2020-11-18 | 医療用画像処理装置及び医療用観察システム |
| US17/396,784 US20220151474A1 (en) | 2020-11-18 | 2021-08-09 | Medical image processing device and medical observation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020191957A JP2022080732A (ja) | 2020-11-18 | 2020-11-18 | 医療用画像処理装置及び医療用観察システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022080732A true JP2022080732A (ja) | 2022-05-30 |
Family
ID=81588595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020191957A Pending JP2022080732A (ja) | 2020-11-18 | 2020-11-18 | 医療用画像処理装置及び医療用観察システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220151474A1 (ja) |
| JP (1) | JP2022080732A (ja) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3731814B2 (ja) * | 2001-05-07 | 2006-01-05 | 富士写真フイルム株式会社 | 蛍光画像表示装置 |
| US6899675B2 (en) * | 2002-01-15 | 2005-05-31 | Xillix Technologies Corp. | Fluorescence endoscopy video systems with no moving parts in the camera |
| JP6076093B2 (ja) * | 2013-01-08 | 2017-02-08 | オリンパス株式会社 | 撮像装置 |
| US10165972B2 (en) * | 2013-07-12 | 2019-01-01 | Inthesmart Co., Ltd. | Apparatus and method for detecting NIR fluorescence at sentinel lymph node |
| JP2015099104A (ja) * | 2013-11-19 | 2015-05-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JPWO2016084257A1 (ja) * | 2014-11-28 | 2017-10-05 | オリンパス株式会社 | 内視鏡装置 |
| WO2018008062A1 (ja) * | 2016-07-04 | 2018-01-11 | オリンパス株式会社 | 蛍光観察装置および蛍光観察内視鏡装置 |
-
2020
- 2020-11-18 JP JP2020191957A patent/JP2022080732A/ja active Pending
-
2021
- 2021-08-09 US US17/396,784 patent/US20220151474A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220151474A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8643710B2 (en) | Image pickup apparatus | |
| KR100939400B1 (ko) | 생체 관측 장치 | |
| JP7374600B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| US20230180997A1 (en) | Medical control device and medical observation system | |
| JP6137892B2 (ja) | 撮像システム | |
| US10901199B2 (en) | Endoscope system having variable focal length lens that switches between two or more values | |
| JP7235540B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2022080732A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
| JP7281308B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| WO2021039869A1 (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2021145824A (ja) | 医療用制御装置及び医療用観察システム | |
| JP2021145823A (ja) | 医療用制御装置及び医療用観察システム | |
| US10918269B2 (en) | Medical light source apparatus and medical observation system | |
| JP2021003347A (ja) | 医療用画像処理装置及び医療用観察システム | |
| US20210290037A1 (en) | Medical image processing apparatus and medical observation system | |
| US11615514B2 (en) | Medical image processing apparatus and medical observation system | |
| US11700456B2 (en) | Medical control device and medical observation system | |
| US20220160219A1 (en) | Light source control device and medical observation system | |
| US20230112628A1 (en) | Learning device and medical image processing device | |
| US11463668B2 (en) | Medical image processing device, medical observation system, and image processing method | |
| JP2021146198A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2010279521A (ja) | 内視鏡装置および内視鏡画像取得方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240409 |