JP2021146198A - 医療用画像処理装置及び医療用観察システム - Google Patents
医療用画像処理装置及び医療用観察システム Download PDFInfo
- Publication number
- JP2021146198A JP2021146198A JP2020216975A JP2020216975A JP2021146198A JP 2021146198 A JP2021146198 A JP 2021146198A JP 2020216975 A JP2020216975 A JP 2020216975A JP 2020216975 A JP2020216975 A JP 2020216975A JP 2021146198 A JP2021146198 A JP 2021146198A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- period
- wavelength band
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 211
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 230000005284 excitation Effects 0.000 claims abstract description 93
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 claims description 11
- 229950003776 protoporphyrin Drugs 0.000 claims description 11
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 claims description 6
- 229960004657 indocyanine green Drugs 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 description 53
- 238000000034 method Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 39
- 238000001514 detection method Methods 0.000 description 36
- 238000003780 insertion Methods 0.000 description 30
- 230000037431 insertion Effects 0.000 description 30
- 230000005540 biological transmission Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 22
- 102200082907 rs33918131 Human genes 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 8
- 201000011510 cancer Diseases 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 5
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 229960002749 aminolevulinic acid Drugs 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 102200084388 rs121918345 Human genes 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
【課題】観察に適した画像を生成すること。【解決手段】医療用画像処理装置９は、第１の波長帯域の光が照射された観察対象からの光を撮像した第１の撮像画像と、第１の波長帯域とは異なる第２の波長帯域の励起光によって励起された観察対象からの蛍光を撮像した第２の撮像画像とを取得する撮像画像取得部９１と、第１の撮像画像に基づいて、第１，第２の撮像画像をそれぞれ生成する撮像装置５の焦点位置を制御する第１の制御と第１，第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部９４３と、評価値に基づいて、第１，第２の制御の少なくとも一方を実行する動作制御部９４４，９４５とを備える。【選択図】図２
Description
本開示は、医療用画像処理装置及び医療用観察システムに関する。
従来、癌細胞を検出する癌診断法の一つである光線力学診断（Photo Dynamic Diagnosis：PDD）を行うための光線力学診断装置が知られている（例えば、特許文献１参照）。
光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm〜445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm〜740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、特許文献１に記載の光線力学診断装置は、励起光によって励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置と、当該蛍光撮像装置の光路前段に設けられ、当該蛍光撮像装置に向かう全ての励起光をカットする光学フィルタとを備える。
光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm〜445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm〜740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、特許文献１に記載の光線力学診断装置は、励起光によって励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置と、当該蛍光撮像装置の光路前段に設けられ、当該蛍光撮像装置に向かう全ての励起光をカットする光学フィルタとを備える。
ところで、蛍光撮像画像は、光感受性物質からの蛍光が微小であるため、信号レベルが著しく低いものである。
このため、当該蛍光撮像画像に基づいて、撮像ユニットの焦点位置を制御する第１の制御や蛍光撮像画像の明るさを制御する第２の制御に用いられる評価値を算出しても、適切な評価値を算出することができない。
ここで、光学フィルタによって蛍光撮像装置に向かう全ての励起光をカットせずに一部の励起光を透過させることで、蛍光撮像画像に励起光成分を含めることが考えられる。しかしながら、励起光は、人間が見易い明るさに寄与する緑の波長帯域ではなく、当該明るさに寄与し難い青の波長帯域の光である。このため、励起光成分を含む蛍光撮像画像に基づいて上述した評価値を算出しても上記同様に適切な評価値を算出することができない。
以上のことから、評価値が適切ではないため、第１の制御や第２の制御を適切に実行することができず、観察に適した画像を生成することができない、という問題がある。
このため、当該蛍光撮像画像に基づいて、撮像ユニットの焦点位置を制御する第１の制御や蛍光撮像画像の明るさを制御する第２の制御に用いられる評価値を算出しても、適切な評価値を算出することができない。
ここで、光学フィルタによって蛍光撮像装置に向かう全ての励起光をカットせずに一部の励起光を透過させることで、蛍光撮像画像に励起光成分を含めることが考えられる。しかしながら、励起光は、人間が見易い明るさに寄与する緑の波長帯域ではなく、当該明るさに寄与し難い青の波長帯域の光である。このため、励起光成分を含む蛍光撮像画像に基づいて上述した評価値を算出しても上記同様に適切な評価値を算出することができない。
以上のことから、評価値が適切ではないため、第１の制御や第２の制御を適切に実行することができず、観察に適した画像を生成することができない、という問題がある。
本開示は、上記に鑑みてなされたものであって、観察に適した画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、第１の波長帯域の光が照射された観察対象からの光を撮像した第１の撮像画像と、前記第１の波長帯域とは異なる第２の波長帯域の励起光によって励起された前記観察対象からの蛍光を撮像した第２の撮像画像とを取得する撮像画像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える。
本開示に係る医療用観察システムは、第１の波長帯域の光、及び前記第１の波長帯域とは異なる第２の波長帯域の励起光を出射する光源装置と、前記第１の波長帯域の光が照射された観察対象からの光を撮像して第１の撮像画像を生成するとともに、前記励起光によって励起された前記観察対象からの蛍光を撮像して第２の撮像画像を生成する撮像装置と、前記第１の撮像画像及び前記第２の撮像画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記第１の撮像画像と前記第２の撮像画像とを取得する撮像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える。
本開示に係る医療用画像処理装置及び医療用観察システムによれば、観察に適した画像を生成することができる。
以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システム１の構成を示す図である。
医療用観察システム１は、医療分野において用いられ、被写体となる生体内（観察対象）を撮像（観察）するシステムである。この医療用観察システム１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０とを備える。
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システム１の構成を示す図である。
医療用観察システム１は、医療分野において用いられ、被写体となる生体内（観察対象）を撮像（観察）するシステムである。この医療用観察システム１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０とを備える。
実施の形態１では、挿入部２は、硬性内視鏡で構成されている。すなわち、挿入部２は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部２内には、１または複数のレンズを用いて構成され、生体内からの光を集光する光学系が設けられている。
光源装置３は、ライトガイド４の一端が接続され、制御装置９による制御の下、当該ライトガイド４の一端に生体内に照射する光を供給する。この光源装置３は、図１に示すように、第１の光源３１と、第２の光源３２とを備える。
第１の光源３１は、第１の波長帯域の光を出射（発光）する。実施の形態１では、第１の光源３１は、白色光を発光する。この第１の光源３１としては、例えば、ＬＥＤ（Light Emitting Diode）や半導体レーザ等を例示することができる。
第１の光源３１は、第１の波長帯域の光を出射（発光）する。実施の形態１では、第１の光源３１は、白色光を発光する。この第１の光源３１としては、例えば、ＬＥＤ（Light Emitting Diode）や半導体レーザ等を例示することができる。
第２の光源３２は、第１の波長帯域とは異なる第２の波長帯域の励起光を出射（発光）する。実施の形態１では、第２の光源３２は、プロトポルフィリンを励起する青の波長帯域（例えば375nm〜445nmの波長帯域）の励起光を発光する。この第２の光源３２としては、例えば、ＬＥＤや半導体レーザ等を例示することができる。また、当該プロトポルフィリンは、当該励起光で励起すると、赤の波長帯域（例えば600nm〜740nmの波長帯域）の蛍光を発光する。
そして、光源装置３では、制御装置９による制御の下、交互に繰り返される第１，第２の期間のうち、第１の期間において、第１の光源３１が駆動する。すなわち、第１の期間では、光源装置３は、白色光（以下、通常光と記載）を発光する。また、光源装置３では、制御装置９による制御の下、第２の期間において、第２の光源３２が駆動する。すなわち、第２の期間では、光源装置３は、励起光を発光する。
なお、第１の光源３１としては、赤の波長帯域の光を発光するＬＥＤと、緑の波長帯域の光を発光するＬＥＤと、青の波長帯域の光を発光するＬＥＤとによって構成し、当該３つのＬＥＤを同時に発光させることで白色光を出射する光源としても構わない。また、第２の光源３２としては、当該３つのＬＥＤのうち、青の波長帯域の光を発光するＬＥＤとしても構わない。
また、実施の形態１では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。
また、実施の形態１では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。
ライトガイド４は、一端が光源装置３に着脱自在に接続されるとともに、他端が挿入部２に着脱自在に接続される。そして、ライトガイド４は、光源装置３から供給された光（通常光や励起光）を一端から他端に伝達し、挿入部２に供給する。挿入部２に供給された光は、当該挿入部２の先端から出射され、生体内に照射される。生体内に通常光（白色光）が照射された場合には、当該生体内で反射された通常光が挿入部２内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光された当該通常光を第１の被写体像と記載する。また、生体内に励起光が照射された場合には、当該生体内で反射された励起光と、当該励起光によって当該生体内における病変部に集積するプロトポルフィリンが励起され、当該プロトポルフィリンから発せられた蛍光とが挿入部２内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光された励起光と蛍光とを第２の被写体像と記載する。
カメラヘッド５は、本開示に係る撮像装置に相当する。このカメラヘッド５は、挿入部２の基端（接眼部２１（図１））に着脱自在に接続される。そして、カメラヘッド５は、制御装置９による制御の下、挿入部２にて集光された第１の被写体像（通常光）や第２の被写体像（励起光及び蛍光）を撮像し、当該撮像による画像信号（ＲＡＷ信号）を出力する。当該画像信号は、例えば、４Ｋ以上の画像信号である。
なお、カメラヘッド５の詳細な構成については、後述する。
なお、カメラヘッド５の詳細な構成については、後述する。
第１の伝送ケーブル６は、一端がコネクタＣＮ１（図１）を介して制御装置９に着脱自在に接続され、他端がコネクタＣＮ２（図１）を介してカメラヘッド５に着脱自在に接続される。そして、第１の伝送ケーブル６は、カメラヘッド５から出力される画像信号等を制御装置９に伝送するとともに、制御装置９から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド５にそれぞれ伝送する。
なお、第１の伝送ケーブル６を介したカメラヘッド５から制御装置９への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。
なお、第１の伝送ケーブル６を介したカメラヘッド５から制御装置９への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。
表示装置７は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、制御装置９による制御の下、当該制御装置９からの映像信号に基づく画像を表示する。
第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２の伝送ケーブル８は、制御装置９にて処理された映像信号を表示装置７に伝送する。
第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２の伝送ケーブル８は、制御装置９にて処理された映像信号を表示装置７に伝送する。
制御装置９は、本開示に係る医療用画像処理装置に相当する。この制御装置９は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等で構成され、光源装置３、カメラヘッド５、及び表示装置７の動作を統括的に制御する。
なお、制御装置９の詳細な構成については、後述する。
第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３の伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
なお、制御装置９の詳細な構成については、後述する。
第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３の伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド５の構成について説明する。
図２は、カメラヘッド５及び制御装置９の構成を示すブロック図である。
なお、図２では、説明の便宜上、制御装置９及びカメラヘッド５と第１の伝送ケーブル６との間のコネクタＣＮ１，ＣＮ２、制御装置９及び表示装置７と第２の伝送ケーブル８との間のコネクタ、制御装置９及び光源装置３と第３の伝送ケーブル１０との間のコネクタの図示を省略している。
カメラヘッド５は、図２に示すように、レンズユニット５１と、レンズ駆動部５２と、焦点位置検出部５３と、撮像部５４と、通信部５５とを備える。
次に、カメラヘッド５の構成について説明する。
図２は、カメラヘッド５及び制御装置９の構成を示すブロック図である。
なお、図２では、説明の便宜上、制御装置９及びカメラヘッド５と第１の伝送ケーブル６との間のコネクタＣＮ１，ＣＮ２、制御装置９及び表示装置７と第２の伝送ケーブル８との間のコネクタ、制御装置９及び光源装置３と第３の伝送ケーブル１０との間のコネクタの図示を省略している。
カメラヘッド５は、図２に示すように、レンズユニット５１と、レンズ駆動部５２と、焦点位置検出部５３と、撮像部５４と、通信部５５とを備える。
レンズユニット５１は、フォーカスレンズ５１１を含み、挿入部２にて集光された第１の被写体像（通常光）や第２の被写体像（励起光及び蛍光）を撮像部５４（撮像素子５４１）の撮像面に結像する。
フォーカスレンズ５１１は、１または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点位置を調整する。
また、レンズユニット５１には、フォーカスレンズ５１１を光軸に沿って移動させるフォーカス機構（図示略）が設けられている。
フォーカスレンズ５１１は、１または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点位置を調整する。
また、レンズユニット５１には、フォーカスレンズ５１１を光軸に沿って移動させるフォーカス機構（図示略）が設けられている。
レンズ駆動部５２は、制御装置９が実行する後述するＡＦ処理において、当該制御装置９による制御の下、上述したフォーカス機構を動作させ、レンズユニット５１の焦点位置を調整する。
焦点位置検出部５３は、フォトインタラプタ等の位置センサで構成され、現時点でのフォーカスレンズ５１１の位置（焦点位置）を検出する。そして、焦点位置検出部５３は、検出した焦点位置に応じた信号を制御装置９に出力する。
焦点位置検出部５３は、フォトインタラプタ等の位置センサで構成され、現時点でのフォーカスレンズ５１１の位置（焦点位置）を検出する。そして、焦点位置検出部５３は、検出した焦点位置に応じた信号を制御装置９に出力する。
撮像部５４は、制御装置９による制御の下、生体内を撮像する。この撮像部５４は、図２に示すように、撮像素子５４１と、信号処理部５４２とを備える。
撮像素子５４１は、レンズユニット５１が結像した第１の被写体像（通常光）や第２の被写体像（励起光及び蛍光）を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されている。そして、撮像素子５４１は、制御装置９による制御の下、光源装置３の発光タイミングに同期して、交互に繰り返される第１，第２の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子５４１により第１の期間において第１の被写体像（通常光）を撮像することで生成された画像を通常光画像（本開示に係る第１の撮像画像に相当）と記載し、撮像素子５４１により第２の期間において第２の被写体像（励起光及び蛍光）を撮像することで生成された画像をＰＤＤ画像（本開示に係る第２の撮像画像に相当）と記載する。また、通常光画像及びＰＤＤ画像を纏めて撮像画像と記載する。
撮像素子５４１は、レンズユニット５１が結像した第１の被写体像（通常光）や第２の被写体像（励起光及び蛍光）を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されている。そして、撮像素子５４１は、制御装置９による制御の下、光源装置３の発光タイミングに同期して、交互に繰り返される第１，第２の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子５４１により第１の期間において第１の被写体像（通常光）を撮像することで生成された画像を通常光画像（本開示に係る第１の撮像画像に相当）と記載し、撮像素子５４１により第２の期間において第２の被写体像（励起光及び蛍光）を撮像することで生成された画像をＰＤＤ画像（本開示に係る第２の撮像画像に相当）と記載する。また、通常光画像及びＰＤＤ画像を纏めて撮像画像と記載する。
信号処理部５４２は、制御装置９による制御の下、撮像素子５４１にて生成された撮像画像（アナログ信号）に対して信号処理を行って撮像画像（ＲＡＷ信号（デジタル信号））を出力する。
例えば、信号処理部５４２は、撮像素子５４１にて生成された撮像画像（アナログ信号）に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びＡ／Ｄ変換等の信号処理を行う。
例えば、信号処理部５４２は、撮像素子５４１にて生成された撮像画像（アナログ信号）に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びＡ／Ｄ変換等の信号処理を行う。
通信部５５は、第１の伝送ケーブル６を介して、撮像部５４から出力される撮像画像（ＲＡＷ信号（デジタル信号））を制御装置９に送信するトランスミッタとして機能する。この通信部５５は、例えば、第１の伝送ケーブル６を介して、制御装置９との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置９の構成について図２を参照しながら説明する。
制御装置９は、図２に示すように、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
通信部９１は、第１の伝送ケーブル６を介して、カメラヘッド５（通信部５５）から出力される撮像画像（ＲＡＷ信号（デジタル信号））を受信するレシーバとして機能する。すなわち、通信部９１は、本開示に係る撮像画像取得部に相当する。この通信部９１は、例えば、通信部５５との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
メモリ９２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ９２は、カメラヘッド５（通信部５５）から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
次に、制御装置９の構成について図２を参照しながら説明する。
制御装置９は、図２に示すように、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
通信部９１は、第１の伝送ケーブル６を介して、カメラヘッド５（通信部５５）から出力される撮像画像（ＲＡＷ信号（デジタル信号））を受信するレシーバとして機能する。すなわち、通信部９１は、本開示に係る撮像画像取得部に相当する。この通信部９１は、例えば、通信部５５との間で、１Ｇｂｐｓ以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
メモリ９２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ９２は、カメラヘッド５（通信部５５）から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
観察画像生成部９３は、制御部９４による制御の下、カメラヘッド５（通信部５５）から順次、出力され、通信部９１にて受信した撮像画像（ＲＡＷ信号（デジタル信号））を処理する。この観察画像生成部９３は、図２に示すように、メモリコントローラ９３１と、第１の画像処理部９３２と、第２の画像処理部９３３と、重畳画像生成部９３４と、表示制御部９３５と、検波処理部９３６とを備える。
メモリコントローラ９３１は、メモリ９２への撮像画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ９３１は、カメラヘッド５（通信部５５）から順次、出力され、通信部９１にて受信した撮像画像（通常光画像及びＰＤＤ画像）をメモリ９２に順次、書き込む。また、メモリコントローラ９３１は、メモリ９２から通常光画像を特定のタイミングで読み出すとともに、当該読み出した通常光画像を第１の画像処理部９３２に入力させる。さらに、メモリコントローラ９３１は、メモリ９２からＰＤＤ画像を特定のタイミングで読み出すとともに、当該読み出したＰＤＤ画像を第２の画像処理部９３３に入力させる。
第１の画像処理部９３２は、入力した通常光画像（ＲＡＷ信号（デジタル信号））に対して、第１の画像処理を実行する。
当該第１の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（通常光画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
当該第１の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（通常光画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
第２の画像処理部９３３は、入力したＰＤＤ画像（ＲＡＷ信号（デジタル信号））に対して、第１の画像処理とは異なる第２の画像処理を実行する。
当該第２の画像処理としては、上述した第１の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＰＤＤ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
当該第２の画像処理としては、上述した第１の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＰＤＤ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
また、当該第２の画像処理は、以下に示す調整処理及び色変更処理を含む。
調整処理は、ＰＤＤ画像に含まれる蛍光の成分以外の成分（励起光の成分を含む）を削除する処理である。具体的に、励起光は、青の波長帯域の光である。また、蛍光は、赤の波長帯域の光である。このため、調整処理では、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、蛍光の成分（Ｒ値）以外の成分（Ｇ値及び励起光の成分（Ｂ値））を削除する（Ｇ，Ｂ値をそれぞれ「０」にする）。
例えば、ホワイトバランス調整処理において、Ｒ，Ｇ，Ｂの各画素値に乗算するゲインを適宜、調整することによって、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。また、例えば、デモザイク処理において、補間により１画素毎にＲ値、Ｇ値、及びＢ値を持たせる際、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。さらに、例えば、色補正マトリクス処理において、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値を行列要素とする入力マトリクスに乗算する色補正マトリクスを適宜、調整することによって、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。
色変更処理は、ＰＤＤ画像の全画像領域において、輝度値が特定の閾値以上となる画素位置（プロトポルフィリンが励起された画素位置）を特定の色（例えば、蛍光（赤）とは異なる色）に変更する処理である。
調整処理は、ＰＤＤ画像に含まれる蛍光の成分以外の成分（励起光の成分を含む）を削除する処理である。具体的に、励起光は、青の波長帯域の光である。また、蛍光は、赤の波長帯域の光である。このため、調整処理では、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、蛍光の成分（Ｒ値）以外の成分（Ｇ値及び励起光の成分（Ｂ値））を削除する（Ｇ，Ｂ値をそれぞれ「０」にする）。
例えば、ホワイトバランス調整処理において、Ｒ，Ｇ，Ｂの各画素値に乗算するゲインを適宜、調整することによって、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。また、例えば、デモザイク処理において、補間により１画素毎にＲ値、Ｇ値、及びＢ値を持たせる際、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。さらに、例えば、色補正マトリクス処理において、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値を行列要素とする入力マトリクスに乗算する色補正マトリクスを適宜、調整することによって、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、Ｒ値以外のＧ，Ｂ値を削除することができる。
色変更処理は、ＰＤＤ画像の全画像領域において、輝度値が特定の閾値以上となる画素位置（プロトポルフィリンが励起された画素位置）を特定の色（例えば、蛍光（赤）とは異なる色）に変更する処理である。
重畳画像生成部９３４は、第１の画像処理部９３２にて第１の画像処理が実行された後の通常光画像に、第２の画像処理部９３３にて第２の画像処理が実行された後のＰＤＤ画像を重畳して重畳画像を生成する重畳処理を実行する。
ここで、重畳処理としては、以下に示す第１の重畳処理及び第２の重畳処理を例示することができる。なお、以下では、ＰＤＤ画像において、輝度値が特定の閾値以上となる画素で構成される領域を蛍光領域と記載する。
第１の重畳処理は、通常光画像において、蛍光領域と同一の画素位置となる領域をＰＤＤ画像における蛍光領域の画像に置き換える処理である。
第２の重畳処理は、ＰＤＤ画像の蛍光領域における各画素位置の輝度値に応じて、通常光画像における蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理である。
ここで、重畳処理としては、以下に示す第１の重畳処理及び第２の重畳処理を例示することができる。なお、以下では、ＰＤＤ画像において、輝度値が特定の閾値以上となる画素で構成される領域を蛍光領域と記載する。
第１の重畳処理は、通常光画像において、蛍光領域と同一の画素位置となる領域をＰＤＤ画像における蛍光領域の画像に置き換える処理である。
第２の重畳処理は、ＰＤＤ画像の蛍光領域における各画素位置の輝度値に応じて、通常光画像における蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理である。
表示制御部９３５は、制御部９４による制御の下、重畳画像生成部９３４にて生成された重畳画像を表示するための映像信号を生成する。そして、表示制御部９３５は、第２の伝送ケーブル８を介して、当該映像信号を表示装置７に出力する。
検波処理部９３６は、第１の画像処理部９３２にて第１の画像処理が実行された後の通常光画像に基づいて、検波処理を実行する。
具体的に、検波処理部９３６は、１フレームの通常光画像の全画像領域の少なくとも一部の領域である検波領域の画素毎の画素情報（例えば、輝度信号（Ｙ信号））に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出（検波処理）を実行する。そして、検波処理部９３６は、当該検波処理により得られた検波情報（コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等）を制御部９４に出力する。
具体的に、検波処理部９３６は、１フレームの通常光画像の全画像領域の少なくとも一部の領域である検波領域の画素毎の画素情報（例えば、輝度信号（Ｙ信号））に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出（検波処理）を実行する。そして、検波処理部９３６は、当該検波処理により得られた検波情報（コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等）を制御部９４に出力する。
制御部９４は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、第１〜第３の伝送ケーブル６，８，１０を介して制御信号を出力することで、光源装置３、カメラヘッド５、及び表示装置７の動作を制御するとともに、制御装置９全体の動作を制御する。この制御部９４は、図２に示すように、光源制御部９４１と、撮像制御部９４２と、評価値算出部９４３と、焦点位置制御部９４４と、明るさ制御部９４５とを備える。なお、光源制御部９４１、撮像制御部９４２、評価値算出部９４３、焦点位置制御部９４４、及び明るさ制御部９４５の機能については、後述する「制御装置の動作」において説明する。
入力部９５は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部９５は、当該ユーザ操作に応じた操作信号を制御部９４に出力する。
出力部９６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部９７は、制御部９４が実行するプログラムや、制御部９４の処理に必要な情報等を記憶する。
出力部９６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部９７は、制御部９４が実行するプログラムや、制御部９４の処理に必要な情報等を記憶する。
〔制御装置の動作〕
次に、上述した制御装置９の動作について説明する。
図３は、制御装置９の動作を示すフローチャートである。図４ないし図７は、制御装置９の動作を説明する図である。具体的に、図４は、１フレームの通常光画像ＷＬＩを示す図である。図５は、メモリコントローラ９３１によってメモリ９２から読み出され、第２の画像処理部９３３に入力された１フレームのＰＤＤ画像ＳＰＢを示す図である。なお、図５では、ＰＤＤ画像ＳＰＢにおいて、生体内で励起光によって励起されたプロトポルフィリンが蛍光発光した蛍光成分の領域（蛍光領域）を白で表現し、当該蛍光領域以外の領域（励起光成分の領域）をドットで表現している。図６は、ＰＤＤ画像ＳＰＢに対して第２の画像処理が実行された後のＰＤＤ画像ＳＰＡを示す図である。図７は、重畳画像生成部９３４にて生成された１フレームの重畳画像Ｄ１を示す図である。
次に、上述した制御装置９の動作について説明する。
図３は、制御装置９の動作を示すフローチャートである。図４ないし図７は、制御装置９の動作を説明する図である。具体的に、図４は、１フレームの通常光画像ＷＬＩを示す図である。図５は、メモリコントローラ９３１によってメモリ９２から読み出され、第２の画像処理部９３３に入力された１フレームのＰＤＤ画像ＳＰＢを示す図である。なお、図５では、ＰＤＤ画像ＳＰＢにおいて、生体内で励起光によって励起されたプロトポルフィリンが蛍光発光した蛍光成分の領域（蛍光領域）を白で表現し、当該蛍光領域以外の領域（励起光成分の領域）をドットで表現している。図６は、ＰＤＤ画像ＳＰＢに対して第２の画像処理が実行された後のＰＤＤ画像ＳＰＡを示す図である。図７は、重畳画像生成部９３４にて生成された１フレームの重畳画像Ｄ１を示す図である。
先ず、光源制御部９４１は、第１，第２の光源３１，３２の時分割駆動を実行する（ステップＳ１）。具体的に、光源制御部９４１は、ステップＳ１において、同期信号に基づいて、交互に繰り返される第１，第２の期間のうち、第１の期間において第１の光源３１を発光させ、第２の期間において第２の光源３２を発光させる。
ステップＳ１の後、撮像制御部９４２は、同期信号に基づいて、第１，第２の光源３１，３２の発光タイミングに同期させ、撮像素子５４１に第１，第２の期間において第１，第２の被写体像をそれぞれ撮像させる（ステップＳ２〜Ｓ４）。すなわち、撮像素子５４１は、第１の期間である場合（ステップＳ２：Ｙｅｓ）、言い換えれば、生体内に通常光（白色光）が照射された場合には、第１の被写体像（通常光）を撮像して通常光画像を生成する（ステップＳ３）。一方、撮像素子５４１は、第２の期間である場合（ステップＳ２：Ｎｏ）、言い換えれば、生体内に励起光が照射された場合には、第２の被写体像（励起光及び蛍光）を撮像してＰＤＤ画像を生成する（ステップＳ４）。
ステップＳ３，Ｓ４の後、メモリコントローラ９３１は、同期信号に基づいて、メモリ９２への撮像画像の書込み及び読出しを制御する（ステップＳ５）。
ステップＳ５の後、第１，第２の画像処理部９３２，９３３は、以下に示す処理を実行する（ステップＳ６）。
すなわち、第１の画像処理部９３２は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各通常光画像（例えば、図４に示した通常光画像ＷＬＩ）に対して順次、第１の画像処理を実行する。
また、第２の画像処理部９３３は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各ＰＤＤ画像（例えば、図５に示したＰＤＤ画像ＳＰＢ）に対して順次、第２の画像処理を実行する。ここで、第２の画像処理は、調整処理を含む。このため、例えば、図５及び図６に示すように、ＰＤＤ画像ＳＰＢに対して調整処理が実行されると、ＰＤＤ画像ＳＰＢに含まれる蛍光領域（図５では白で表現）以外の励起光成分の領域（図５ではドットで表現）の画素値が「０」に設定（図６では黒で表現）されたＰＤＤ画像ＳＰＡが生成される。また、第２の画像処理は、色変更処理を含む。このため、例えば、図５及び図６に示すように、ＰＤＤ画像ＳＰＢに対して色変更処理が実行されると、ＰＤＤ画像ＳＰＢに含まれる蛍光領域（図５では白で表現）が特定の色（図６では斜線で表現）に変更されたＰＤＤ画像ＳＰＡが生成される。
ステップＳ５の後、第１，第２の画像処理部９３２，９３３は、以下に示す処理を実行する（ステップＳ６）。
すなわち、第１の画像処理部９３２は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各通常光画像（例えば、図４に示した通常光画像ＷＬＩ）に対して順次、第１の画像処理を実行する。
また、第２の画像処理部９３３は、メモリコントローラ９３１によってメモリ９２から順次、読み出された各ＰＤＤ画像（例えば、図５に示したＰＤＤ画像ＳＰＢ）に対して順次、第２の画像処理を実行する。ここで、第２の画像処理は、調整処理を含む。このため、例えば、図５及び図６に示すように、ＰＤＤ画像ＳＰＢに対して調整処理が実行されると、ＰＤＤ画像ＳＰＢに含まれる蛍光領域（図５では白で表現）以外の励起光成分の領域（図５ではドットで表現）の画素値が「０」に設定（図６では黒で表現）されたＰＤＤ画像ＳＰＡが生成される。また、第２の画像処理は、色変更処理を含む。このため、例えば、図５及び図６に示すように、ＰＤＤ画像ＳＰＢに対して色変更処理が実行されると、ＰＤＤ画像ＳＰＢに含まれる蛍光領域（図５では白で表現）が特定の色（図６では斜線で表現）に変更されたＰＤＤ画像ＳＰＡが生成される。
ステップＳ６の後、重畳画像生成部９３４は、第１の画像処理部９３２から順次、出力される各通常光画像（例えば、図４に示した通常光画像ＷＬＩ）に、第２の画像処理部９３３から順次、出力される各ＰＤＤ画像（例えば、図６に示したＰＤＤ画像ＳＰＡ）を重畳して順次、重畳画像（例えば、図７に示した重畳画像Ｄ１）を生成する重畳処理を実行する（ステップＳ７）。
ステップＳ７の後、表示制御部９３５は、重畳画像生成部９３４にて順次、生成された各重畳画像（例えば、図７に示した重畳画像Ｄ１）を表示するための映像信号を順次、生成し、当該映像信号を表示装置７に順次、出力する（ステップＳ８）。これにより、表示装置７には、重畳画像（例えば、図７に示した重畳画像Ｄ１）が順次、表示される。
ステップＳ８の後、検波処理部９３６は、ステップＳ６にて第１の画像処理が実行された後の通常光画像の全画像領域のうち特定の検波領域の画素毎の画素情報に基づいて、検波処理を実行する（ステップＳ９）。当該検波領域としては、通常光画像における画像中心を含む領域を例示することができる。そして、検波処理部９３６は、当該検波処理により得られた検波情報を制御部９４に出力する。
ステップＳ９の後、評価値算出部９４３は、ステップＳ９での検波処理により得られた検波情報に基づいて、評価値（合焦評価値、第１，第２の明るさ評価値）を算出する（ステップＳ１０）。
具体的に、評価値算出部９４３は、ステップＳ１０において、検波情報（コントラストや周波数成分）に基づいて、通常光画像の全画像領域のうち検波領域内の画像の合焦状態を評価するための合焦評価値を算出する。例えば、評価値算出部９４３は、ステップＳ９での検波処理により得られたコントラストや、ステップＳ９での検波処理により得られた周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
具体的に、評価値算出部９４３は、ステップＳ１０において、検波情報（コントラストや周波数成分）に基づいて、通常光画像の全画像領域のうち検波領域内の画像の合焦状態を評価するための合焦評価値を算出する。例えば、評価値算出部９４３は、ステップＳ９での検波処理により得られたコントラストや、ステップＳ９での検波処理により得られた周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
また、評価値算出部９４３は、ステップＳ１０において、第１の明るさ評価値と、第２の明るさ評価値とを算出する。
具体的に、評価値算出部９４３は、ステップＳ１０において、検波情報（輝度平均値）に基づいて、通常光画像の全画像領域のうち検波領域内の画像の明るさを基準となる明るさに変更する（検波情報（輝度平均値）を基準となる輝度平均値に変更する）ための第１の明るさ評価値を算出する。ここで、略同一のタイミングで同一の被写体を撮像することにより得られた通常光画像とＰＤＤ画像とは、相関関係がある。そして、評価値算出部９４３は、当該相関関係を利用することで、上述した第１の明るさ評価値から、ＰＤＤ画像の明るさを基準となる明るさに変更するための第２の明るさ評価値を算出する。
具体的に、評価値算出部９４３は、ステップＳ１０において、検波情報（輝度平均値）に基づいて、通常光画像の全画像領域のうち検波領域内の画像の明るさを基準となる明るさに変更する（検波情報（輝度平均値）を基準となる輝度平均値に変更する）ための第１の明るさ評価値を算出する。ここで、略同一のタイミングで同一の被写体を撮像することにより得られた通常光画像とＰＤＤ画像とは、相関関係がある。そして、評価値算出部９４３は、当該相関関係を利用することで、上述した第１の明るさ評価値から、ＰＤＤ画像の明るさを基準となる明るさに変更するための第２の明るさ評価値を算出する。
ここで、当該第１の明るさ評価値としては、通常光画像を生成する期間での撮像素子５４１における各画素の露光時間、通常光画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第１の画像処理部９３２による第１の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、第１の期間で第１の光源３１が供給する通常光（白色光）の光量を例示することができる。
また、当該第２の明るさ評価値としては、ＰＤＤ画像を生成する期間での撮像素子５４１における各画素の露光時間、ＰＤＤ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第２の画像処理部９３３による第２の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、第２の期間で第２の光源３２が供給する励起光の光量を例示することができる。
また、当該第２の明るさ評価値としては、ＰＤＤ画像を生成する期間での撮像素子５４１における各画素の露光時間、ＰＤＤ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第２の画像処理部９３３による第２の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、第２の期間で第２の光源３２が供給する励起光の光量を例示することができる。
ステップＳ１０の後、焦点位置制御部９４４は、レンズユニット５１の焦点位置を調整するＡＦ処理を実行する（ステップＳ１１）。当該ＡＦ処理は、本開示に係る第１の制御に相当する。
具体的に、焦点位置制御部９４４は、ステップＳ１１において、ステップＳ１０にて算出された合焦評価値と、焦点位置検出部５３にて検出された現時点の焦点位置とを参照する。そして、焦点位置制御部９４４は、当該合焦評価値及び当該現時点の焦点位置を参照しつつ、山登り法等により、レンズ駆動部５２の動作を制御することで、通常光画像の全画像領域のうち検波領域内の画像が合焦状態となる焦点位置にフォーカスレンズ５１１を位置付ける。これにより、通常光画像の全画像領域のうち検波領域内の画像が合焦状態となるとともに、ＰＤＤ画像の全画像領域のうち検波領域内の画像が合焦状態となる。
具体的に、焦点位置制御部９４４は、ステップＳ１１において、ステップＳ１０にて算出された合焦評価値と、焦点位置検出部５３にて検出された現時点の焦点位置とを参照する。そして、焦点位置制御部９４４は、当該合焦評価値及び当該現時点の焦点位置を参照しつつ、山登り法等により、レンズ駆動部５２の動作を制御することで、通常光画像の全画像領域のうち検波領域内の画像が合焦状態となる焦点位置にフォーカスレンズ５１１を位置付ける。これにより、通常光画像の全画像領域のうち検波領域内の画像が合焦状態となるとともに、ＰＤＤ画像の全画像領域のうち検波領域内の画像が合焦状態となる。
ステップＳ１１の後、明るさ制御部９４５は、通常光画像及びＰＤＤ画像の明るさを調整する明るさ調整処理を実行する（ステップＳ１２）。当該明るさ調整処理は、本開示に係る第２の制御に相当する。
具体的に、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、通常光画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第１の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、通常光画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第１の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第１の画像処理部９３２による第１の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第１の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「通常光（白色光）の光量」である場合には、光源装置３に制御信号を出力し、第１の期間で第１の光源３１が供給する通常光（白色光）の光量を当該第１の明るさ評価値とする。
具体的に、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、通常光画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第１の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、通常光画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第１の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第１の画像処理部９３２による第１の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第１の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第１の明るさ評価値が「通常光（白色光）の光量」である場合には、光源装置３に制御信号を出力し、第１の期間で第１の光源３１が供給する通常光（白色光）の光量を当該第１の明るさ評価値とする。
同様に、明るさ制御部９４５は、ステップＳ１０にて算出された第２の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、ＰＤＤ画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第２の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第２の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、ＰＤＤ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第２の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０にて算出された第２の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第２の画像処理部９３３による第２の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第２の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０にて算出された第２の明るさ評価値が「励起光の光量」である場合には、光源装置３に制御信号を出力し、第２の期間で第２の光源３２が供給する励起光の光量を当該第２の明るさ評価値とする。
以上説明した焦点位置制御部９４４及び明るさ制御部９４５は、本開示に係る動作制御部に相当する。
以上説明した焦点位置制御部９４４及び明るさ制御部９４５は、本開示に係る動作制御部に相当する。
以上説明した実施の形態１によれば、以下の効果を奏する。
実施の形態１に係る制御装置９は、通常光画像に基づいて、第１，第２の制御に用いられる評価値を算出する。そして、当該制御装置９は、当該評価値に基づいて、当該第１，第２の制御を実行する。
したがって、実施の形態１に係る制御装置９によれば、ＰＤＤ画像に基づいて第１，第２の制御に用いられる評価値を算出する構成と比較して、適切な評価値を算出することができ、第１，第２の制御を適切に実行することができる。すなわち、観察に適した画像を生成することができる。
実施の形態１に係る制御装置９は、通常光画像に基づいて、第１，第２の制御に用いられる評価値を算出する。そして、当該制御装置９は、当該評価値に基づいて、当該第１，第２の制御を実行する。
したがって、実施の形態１に係る制御装置９によれば、ＰＤＤ画像に基づいて第１，第２の制御に用いられる評価値を算出する構成と比較して、適切な評価値を算出することができ、第１，第２の制御を適切に実行することができる。すなわち、観察に適した画像を生成することができる。
また、制御装置９は、交互に繰り返される第１，第２の期間のうち、第１の期間に光源装置３から通常光を出射させ、第２の期間に光源装置３から励起光を出射させる。また、制御装置９は、第１の期間に第１の被写体像（通常光）を撮像させて通常光画像を生成させ、第２の期間に第２の被写体像（励起光及び蛍光）を撮像させてＰＤＤ画像を生成させる。そして、制御装置９は、通常光画像に対して第１の画像処理を実行し、ＰＤＤ画像に対して調整処理を含む第２の画像処理を実行する。すなわち、調整処理によってＰＤＤ画像に含まれる励起光成分が削除されるため、従来の励起光をカットする光学フィルタを用いる必要がない。
そして、医師等は、第２の画像処理が実行された後のＰＤＤ画像（例えば、図６に示したＰＤＤ画像ＳＰＡ）の他、通常光画像（例えば、図４に示した通常光画像ＷＬＩ）を観察（実施の形態１では、重畳画像（例えば、図７に示した重畳画像Ｄ１）を観察）することにより、蛍光成分の領域に相当する癌細胞が生体内のどの位置にあるかを認識することができる。したがって、制御装置９は、観察に適した画像を生成することができる。
また、医療用観察システム１の構成として、撮像素子５４１を１つのみ有する単板型の構成とし、かつ、従来の光学フィルタを用いない構成とすることにより、構造の簡素化を図ることができる。
そして、医師等は、第２の画像処理が実行された後のＰＤＤ画像（例えば、図６に示したＰＤＤ画像ＳＰＡ）の他、通常光画像（例えば、図４に示した通常光画像ＷＬＩ）を観察（実施の形態１では、重畳画像（例えば、図７に示した重畳画像Ｄ１）を観察）することにより、蛍光成分の領域に相当する癌細胞が生体内のどの位置にあるかを認識することができる。したがって、制御装置９は、観察に適した画像を生成することができる。
また、医療用観察システム１の構成として、撮像素子５４１を１つのみ有する単板型の構成とし、かつ、従来の光学フィルタを用いない構成とすることにより、構造の簡素化を図ることができる。
特に、調整処理では、ＰＤＤ画像に含まれるＲ，Ｇ，Ｂの各画素値のうち、蛍光成分（Ｒ値）以外の成分（Ｇ値及び励起光の成分（Ｂ値））を削除する。また、第２の画像処理は、色変更処理を含む。
このため、蛍光成分の領域（癌細胞に相当する領域）を他の領域に対して強調して表示することが可能となる。したがって、制御装置９は、より一層、観察に適した画像を生成することができる。
このため、蛍光成分の領域（癌細胞に相当する領域）を他の領域に対して強調して表示することが可能となる。したがって、制御装置９は、より一層、観察に適した画像を生成することができる。
（実施の形態２）
次に、実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態２では、挿入部の先端側に撮像部を有する所謂ビデオスコープを用いた医療用観察システムに本開示を適用している。
次に、実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態２では、挿入部の先端側に撮像部を有する所謂ビデオスコープを用いた医療用観察システムに本開示を適用している。
図８は、実施の形態２に係る医療用観察システム１Ａの構成を示す図である。
実施の形態２に係る医療用観察システム１Ａは、図８に示すように、生体内に挿入部２Ａを挿入することによって観察部位の体内画像を撮像して画像信号を出力する内視鏡１１と、内視鏡１１の先端から出射する照明光を発生する光源装置３と、内視鏡１１から出力された画像信号を処理する制御装置９と、制御装置９に第２の伝送ケーブル８を介して接続し、制御装置９にて処理された映像信号に基づく画像を表示する表示装置７とを備える。
実施の形態２に係る医療用観察システム１Ａは、図８に示すように、生体内に挿入部２Ａを挿入することによって観察部位の体内画像を撮像して画像信号を出力する内視鏡１１と、内視鏡１１の先端から出射する照明光を発生する光源装置３と、内視鏡１１から出力された画像信号を処理する制御装置９と、制御装置９に第２の伝送ケーブル８を介して接続し、制御装置９にて処理された映像信号に基づく画像を表示する表示装置７とを備える。
内視鏡１１は、図８に示すように、可撓性を有する細長形状をなす挿入部２Ａと、挿入部２Ａの基端側に接続され、各種の操作を受け付ける操作部１１１と、操作部１１１から挿入部２Ａが延びる方向と異なる方向に延び、光源装置３及び制御装置９に接続する各種ケーブルを内蔵するユニバーサルコード１１２とを備える。
挿入部２Ａは、図８に示すように、先端部２２と、先端部２２の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部２３と、湾曲部２３の基端側に接続され、可撓性を有する長尺状の可撓管部２４とを備える。
そして、先端部２２内部には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部５４と略同様の構成が内蔵されている。また、操作部１１１内部には、具体的な図示は省略したが、上述した実施の形態１で説明した通信部５５と略同様の構成が内蔵されている。そして、先端部２２（撮像部）にて撮像された画像信号は、操作部１１１及びユニバーサルコード１１２を介して、制御装置９に出力される。
挿入部２Ａは、図８に示すように、先端部２２と、先端部２２の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部２３と、湾曲部２３の基端側に接続され、可撓性を有する長尺状の可撓管部２４とを備える。
そして、先端部２２内部には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部５４と略同様の構成が内蔵されている。また、操作部１１１内部には、具体的な図示は省略したが、上述した実施の形態１で説明した通信部５５と略同様の構成が内蔵されている。そして、先端部２２（撮像部）にて撮像された画像信号は、操作部１１１及びユニバーサルコード１１２を介して、制御装置９に出力される。
以上説明した実施の形態２のように軟性内視鏡（内視鏡１１）を用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
（実施の形態３）
次に、実施の形態３について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態３では、被検体内部（生体内）や被検体表面（生体表面）の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムに本開示を適用している。
次に、実施の形態３について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態３では、被検体内部（生体内）や被検体表面（生体表面）の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムに本開示を適用している。
図９は、実施の形態３に係る医療用観察システム１Ｂの構成を示す図である。
実施の形態３に係る医療用観察システム１Ｂは、図９に示すように、被検体を観察するための画像を撮像して画像信号を出力する手術用顕微鏡１２と、手術用顕微鏡１２から出力された画像信号を処理する制御装置９と、制御装置９に第２の伝送ケーブル８を介して接続し、制御装置９にて処理された映像信号に基づく画像を表示する表示装置７とを備える。
実施の形態３に係る医療用観察システム１Ｂは、図９に示すように、被検体を観察するための画像を撮像して画像信号を出力する手術用顕微鏡１２と、手術用顕微鏡１２から出力された画像信号を処理する制御装置９と、制御装置９に第２の伝送ケーブル８を介して接続し、制御装置９にて処理された映像信号に基づく画像を表示する表示装置７とを備える。
手術用顕微鏡１２は、図９に示すように、被写体の微小部位を拡大して撮像し、画像信号を出力する顕微鏡部１２１と、顕微鏡部１２１の基端部に接続し、顕微鏡部１２１を回動可能に支持するアームを含む支持部１２２と、支持部１２２の基端部を回動可能に保持し、床面上を移動可能なベース部１２３とを備える。
そして、制御装置９は、図９に示すように、ベース部１２３に設置されている。また、具体的な図示は省略したが、ベース部１２３には、手術用顕微鏡１２から被写体に照射する照明光を生成する光源装置３も設置されている。
なお、ベース部１２３は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部１２２を支持する構成としてもよい。
そして、制御装置９は、図９に示すように、ベース部１２３に設置されている。また、具体的な図示は省略したが、ベース部１２３には、手術用顕微鏡１２から被写体に照射する照明光を生成する光源装置３も設置されている。
なお、ベース部１２３は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部１２２を支持する構成としてもよい。
顕微鏡部１２１には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部５４及び通信部５５と略同様の構成が内蔵されている。そして、顕微鏡部１２１（撮像部）にて撮像された画像信号は、支持部１２２に沿って配線された第１の伝送ケーブル６を介して、制御装置９に出力される。
以上説明した実施の形態３のように手術用顕微鏡１２を用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
（実施の形態４）
次に、実施の形態４について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図１０は、実施の形態４に係る医療用観察システム１Ｃの構成を示す図である。
上述した実施の形態１に係る医療用観察システム１では、通常光画像及びＰＤＤ画像の２つのみを生成していた。
これに対して、本実施の形態４に係る医療用観察システム１Ｃでは、通常光画像及びＰＤＤ画像の他、ＩＲ画像及びＮＢＩ画像を生成する点が異なる。
そして、医療用観察システム１Ｃでは、図１０に示すように、上述した実施の形態１で説明した医療用観察システム１に対して、光源装置３に第３，第４の光源３３，３４が追加されているとともに、観察画像生成部９３に第３，第４の画像処理部９３７，９３８が追加されている。
次に、実施の形態４について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図１０は、実施の形態４に係る医療用観察システム１Ｃの構成を示す図である。
上述した実施の形態１に係る医療用観察システム１では、通常光画像及びＰＤＤ画像の２つのみを生成していた。
これに対して、本実施の形態４に係る医療用観察システム１Ｃでは、通常光画像及びＰＤＤ画像の他、ＩＲ画像及びＮＢＩ画像を生成する点が異なる。
そして、医療用観察システム１Ｃでは、図１０に示すように、上述した実施の形態１で説明した医療用観察システム１に対して、光源装置３に第３，第４の光源３３，３４が追加されているとともに、観察画像生成部９３に第３，第４の画像処理部９３７，９３８が追加されている。
第３の光源３３は、第１，第２の波長帯域とは異なる第３の波長帯域の励起光を出射（発光）する。実施の形態４では、第３の光源３３は、近赤外の波長帯域（第３の波長帯域）の励起光を発光する。この第３の光源３３としては、例えば、ＬＥＤや半導体レーザ等を例示することができる。なお、第２の光源３２が発光する励起光と、第３の光源３３が発光する励起光とを区別するため、以下では、第２の光源３２が発光する励起光をＰＤＤ用励起光と記載し、第３の光源３３が発光する励起光をＩＲ用励起光と記載する。
そして、第３の光源３３が発光するＩＲ用励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。当該インドシアニングリーン等の蛍光物質は、当該ＩＲ用励起光で励起すると、当該ＩＲ用励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発光する。なお、ＩＲ用励起光の波長帯域と当該蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定してもよい。
そして、第３の光源３３が発光するＩＲ用励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。当該インドシアニングリーン等の蛍光物質は、当該ＩＲ用励起光で励起すると、当該ＩＲ用励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発光する。なお、ＩＲ用励起光の波長帯域と当該蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定してもよい。
第４の光源３４は、第１，第２の波長帯域とは異なる第３の波長帯域の光を出射（発光）する。実施の形態４では、第４の光源３４は、ＮＢＩ（Narrow Band Imaging）観察に用いられる狭帯域な緑色光（例えば530nm〜550nmの波長帯域）及び青色光（例えば390nm〜445nmの波長帯域）を組み合わせた光（以下、ＮＢＩ用特殊光と記載）を発光する。この第４の光源３４としては、例えば、ＬＥＤや半導体レーザ等を例示することができる。
そして、本実施の形態４に係る光源装置３では、光源制御部９４１による制御の下、以下に示す特定の時分割発光パターンによって組み合わされた第１の期間、第２の期間、ＩＲ期間、及びＮＢＩ期間の組み合わせを繰り返し実行する。
本実施の形態４に係る特定の時分割発光パターンは、第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４の順に組み合わされたパターンである（図１２参照）。
第１の期間Ｔ１では、光源装置３は、上述した実施の形態１と同様に、第１の光源３１が駆動し、通常光を発光する。
また、第２の期間Ｔ２では、光源装置３は、上述した実施の形態１と同様に、第２の光源３２が駆動し、ＰＤＤ用励起光を発光する。
また、ＩＲ期間Ｔ３は、本開示に係る第３の期間に相当する。このＩＲ期間Ｔ３では、光源装置３は、第３の光源３４が駆動し、ＩＲ用励起光を発光する。
また、ＮＢＩ期間Ｔ４は、本開示に係る第３の期間に相当する。このＮＢＩ期間Ｔ４では、光源装置３は、第４の光源３５が駆動し、ＮＢＩ用特殊光を発光する。
本実施の形態４に係る特定の時分割発光パターンは、第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４の順に組み合わされたパターンである（図１２参照）。
第１の期間Ｔ１では、光源装置３は、上述した実施の形態１と同様に、第１の光源３１が駆動し、通常光を発光する。
また、第２の期間Ｔ２では、光源装置３は、上述した実施の形態１と同様に、第２の光源３２が駆動し、ＰＤＤ用励起光を発光する。
また、ＩＲ期間Ｔ３は、本開示に係る第３の期間に相当する。このＩＲ期間Ｔ３では、光源装置３は、第３の光源３４が駆動し、ＩＲ用励起光を発光する。
また、ＮＢＩ期間Ｔ４は、本開示に係る第３の期間に相当する。このＮＢＩ期間Ｔ４では、光源装置３は、第４の光源３５が駆動し、ＮＢＩ用特殊光を発光する。
ＩＲ期間Ｔ３において、第３の光源３３から供給され、ライトガイド４及び挿入部２を介して、生体内にＩＲ用励起光が照射された場合には、当該生体内で反射されたＩＲ用励起光と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が励起され、当該蛍光物質から発せられた蛍光とが挿入部２内に集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光されたＩＲ用励起光と蛍光とをＩＲ被写体像と記載する。
また、ＮＢＩ期間Ｔ４において、第４の光源３４から供給され、ライトガイド４及び挿入部２を介して、生体内にＮＢＩ用特殊光が照射された場合には、当該生体内で反射されたＮＢＩ用特殊光が挿入部２内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光された当該ＮＢＩ用特殊光をＮＢＩ被写体像と記載する。
また、ＮＢＩ期間Ｔ４において、第４の光源３４から供給され、ライトガイド４及び挿入部２を介して、生体内にＮＢＩ用特殊光が照射された場合には、当該生体内で反射されたＮＢＩ用特殊光が挿入部２内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光された当該ＮＢＩ用特殊光をＮＢＩ被写体像と記載する。
そして、本実施の形態４に係る撮像素子５４１は、撮像制御部９４２による制御の下、第１，第２の期間Ｔ１，Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４毎に撮像を行う。ＩＲ期間Ｔ３では、撮像素子５４１は、ＩＲ被写体像（ＩＲ用励起光及び蛍光）を撮像することでＩＲ画像（本開示に係る第３の撮像画像に相当）を生成する。また、ＮＢＩ期間Ｔ４では、撮像素子５４１は、ＮＢＩ被写体像（ＮＢＩ用特殊光）を撮像することでＮＢＩ画像（本開示に係る第３の撮像画像に相当）を生成する。
第３の画像処理部９３７は、入力したＩＲ画像（ＲＡＷ信号（デジタル信号））に対して、第１，第２の画像処理とは異なる画像処理（以下、ＩＲ用画像処理と記載）を実行する。
当該ＩＲ用画像処理としては、第１，第２の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＩＲ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
当該ＩＲ用画像処理としては、第１，第２の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＩＲ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
第４の画像処理部９３８は、入力したＮＢＩ画像（ＲＡＷ信号（デジタル信号））に対して、第１，第２の画像処理及びＩＲ用画像処理とは異なる画像処理（以下，ＮＢＩ用画像処理と記載）を実行する。
当該ＮＢＩ用画像処理としては、第１，第２の画像処理及びＩＲ用画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＮＢＩ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
当該ＮＢＩ用画像処理としては、第１，第２の画像処理及びＩＲ用画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デジタルゲイン処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、ＲＧＢ信号（ＮＢＩ画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
次に、本実施の形態４に係る制御装置９の動作について説明する。
図１１は、制御装置９の動作を示すフローチャートである。図１２〜図１５は、制御装置９の動作を説明する図である。具体的に、図１２は、第１〜第４の光源３１〜３４の発光タイミングを示すタイムチャートである。なお、図１２では、説明の便宜上、第１の期間Ｔ１内に通常光を表す「ＷＬＩ」の文字を付し、第２の期間Ｔ２内にＰＤＤ用励起光を表す「ＰＤＤ」の文字を付し、ＩＲ期間Ｔ３内にＩＲ用励起光を表す「ＩＲ」の文字を付し、ＮＢＩ期間Ｔ４内にＮＢＩ用特殊光を表す「ＮＢＩ」の文字を付している。図１３は、メモリコントローラ９３１の動作を説明する図である。なお、図１３では、メモリ９２における複数のバンクのうち特定のバンク９２１を模式的に示している。本実施の形態４では、当該バンク９２１は、画素数が４Ｋの画像のデータ量に対応したメモリ容量を有する。また、図１３では、バンク９２１における全領域を田の字状に４つの第１〜第４の分割領域Ａｒ１〜Ａｒ４に均等に区分けしている。すなわち、本実施の形態４では、第１〜第４の分割領域Ａｒ１〜Ａｒ４は、画素数がフルＨＤの画像のデータ量に対応したメモリ容量を有する。図１４は、表示装置７に表示される表示画像Ｄ２の一例を示す図である。
図１１は、制御装置９の動作を示すフローチャートである。図１２〜図１５は、制御装置９の動作を説明する図である。具体的に、図１２は、第１〜第４の光源３１〜３４の発光タイミングを示すタイムチャートである。なお、図１２では、説明の便宜上、第１の期間Ｔ１内に通常光を表す「ＷＬＩ」の文字を付し、第２の期間Ｔ２内にＰＤＤ用励起光を表す「ＰＤＤ」の文字を付し、ＩＲ期間Ｔ３内にＩＲ用励起光を表す「ＩＲ」の文字を付し、ＮＢＩ期間Ｔ４内にＮＢＩ用特殊光を表す「ＮＢＩ」の文字を付している。図１３は、メモリコントローラ９３１の動作を説明する図である。なお、図１３では、メモリ９２における複数のバンクのうち特定のバンク９２１を模式的に示している。本実施の形態４では、当該バンク９２１は、画素数が４Ｋの画像のデータ量に対応したメモリ容量を有する。また、図１３では、バンク９２１における全領域を田の字状に４つの第１〜第４の分割領域Ａｒ１〜Ａｒ４に均等に区分けしている。すなわち、本実施の形態４では、第１〜第４の分割領域Ａｒ１〜Ａｒ４は、画素数がフルＨＤの画像のデータ量に対応したメモリ容量を有する。図１４は、表示装置７に表示される表示画像Ｄ２の一例を示す図である。
なお、以下では、撮像素子５４１は、画素数が４Ｋの画像（通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像）をそれぞれ生成する撮像素子であるものとする。また、第１の画像処理部９３２において、処理可能とする最大データ量は、画素数がフルＨＤの画像のデータ量であるものとする。他の第２〜第４の画像処理部９３３，９３７，９３８も同様である。
先ず、光源制御部９４１は、第１〜第４の光源３１〜３４の時分割駆動を実行する（ステップＳ１Ｃ）。具体的に、光源制御部９４１は、図１２に示すように、ステップＳ１Ｄにおいて、同期信号に基づいて、第１の期間Ｔ１において第１の光源３１を発光させ、第２の期間Ｔ２において第２の光源３２を発光させ、ＩＲ期間Ｔ３において第３の光源３３を発光させ、ＮＢＩ期間Ｔ４において第４の光源３４を発光させる。
ステップＳ１Ｃの後、撮像制御部９４２は、同期信号に基づいて、第１〜第４の光源３１〜３４の発光タイミングに同期させ、撮像素子５４１に第１，第２の期間Ｔ１，Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４において第１，第２の被写体像、ＩＲ被写体像、及びＮＢＩ被写体像をそれぞれ撮像させる（ステップＳ２Ｃ）。すなわち、撮像素子５４１は、第１の期間Ｔ１である場合、言い換えれば、生体内に通常光（白色光）が照射された場合には、第１の被写体像（通常光）を撮像して通常光画像を生成する。また、撮像素子５４１は、第２の期間Ｔ２である場合、言い換えれば、生体内にＰＤＤ用励起光が照射された場合には、第２の被写体像（ＰＤＤ用励起光及び蛍光）を撮像してＰＤＤ画像を生成する。さらに、撮像素子５４１は、ＩＲ期間Ｔ３である場合、言い換えれば、生体内にＩＲ用励起光が照射された場合には、ＩＲ被写体像（ＩＲ用励起光及び蛍光）を撮像してＩＲ画像を生成する。また、撮像素子５４１は、ＮＢＩ期間Ｔ４である場合、言い換えれば、生体内にＮＢＩ用特殊光が照射された場合には、ＮＢＩ被写体像（ＮＢＩ用特殊光）を撮像してＮＢＩ画像を生成する。
ステップＳ２Ｃの後、信号処理部５４２は、縮小処理を実行する（ステップＳ１３）。当該縮小処理により、画素数が４Ｋの通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像は、それぞれ画素数がフルＨＤの通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像とされる。そして、撮像部５４は、当該画素数がフルＨＤの通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像をそれぞれラスター単位で順次、出力する。
ステップＳ１３の後、メモリコントローラ９３１は、メモリ９２への画像の書込み及び当該メモリ９２からの画像の読出しを制御する（ステップＳ５Ｃ）。
具体的に、メモリコントローラ９４１は、図１３に矢印及び破線で示すように、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位の通常光画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第１の分割領域Ａｒ１に順次、書き込む。また、メモリコントローラ９３１は、第１の分割領域Ａｒ１に対して１フレームの通常光画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＰＤＤ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第２の分割領域Ａｒ２に順次、書き込む。さらに、メモリコントローラ９３１は、第２の分割領域Ａｒ２に対して１フレームのＰＤＤ画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＩＲ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第３の分割領域Ａｒ３に順次、書き込む。また、メモリコントローラ９３１は、第３の分割領域Ａｒ３に対して１フレームのＩＲ画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＮＢＩ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第４の分割領域Ａｒ４に順次、書き込む。
具体的に、メモリコントローラ９４１は、図１３に矢印及び破線で示すように、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位の通常光画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第１の分割領域Ａｒ１に順次、書き込む。また、メモリコントローラ９３１は、第１の分割領域Ａｒ１に対して１フレームの通常光画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＰＤＤ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第２の分割領域Ａｒ２に順次、書き込む。さらに、メモリコントローラ９３１は、第２の分割領域Ａｒ２に対して１フレームのＰＤＤ画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＩＲ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第３の分割領域Ａｒ３に順次、書き込む。また、メモリコントローラ９３１は、第３の分割領域Ａｒ３に対して１フレームのＩＲ画像（画素数：フルＨＤ）を書き込んだ後、撮像部５４から順次、出力され、通信部９１にて受信したラスター単位のＮＢＩ画像（画素数：フルＨＤ）を１ライン毎にバンク９２１における第４の分割領域Ａｒ４に順次、書き込む。
また、メモリコントローラ９３１は、ＮＢＩ画像を第４の記憶位置Ｐ４から書き込み始めるタイミングと略同時に、第１〜第４の分割領域Ａｒ１〜Ａｒ４にそれぞれ書き込まれた通常光画像（画素数：フルＨＤ）、ＰＤＤ画像（画素数：フルＨＤ）、ＩＲ画像（画素数：フルＨＤ）、及びＮＢＩ画像（画素数：フルＨＤ）を第１〜第４の記憶位置Ｐ１〜Ｐ４から１ライン毎に順次、読み出す。
ここで、第１の記憶位置Ｐ１に記憶された画素データは、通常光画像（画素数：フルＨＤ）における左上角位置の画素の画素データである。また、第２の記憶位置Ｐ２に記憶された画素データは、ＰＤＤ画像（画素数：フルＨＤ）における左上角位置の画素の画素データである。さらに、第３の記憶位置Ｐ３に記憶された画素データは、ＩＲ画像（画素数：フルＨＤ）における左上角位置の画素の画素データである。また、第４の記憶位置Ｐ４に記憶された画素データは、ＮＢＩ画像（画素数：フルＨＤ）における左上角位置の画素の画素データである。
そして、当該読み出された通常光画像（画素数：フルＨＤ）は、１ライン毎に順次、第１の画像処理部９３２に入力される。また、当該読み出されたＰＤＤ画像（画素数：フルＨＤ）は、１ライン毎に順次、第２の画像処理部９３３に入力される。さらに、当該読み出されたＩＲ画像（画素数：フルＨＤ）は、１ライン毎に順次、第３の画像処理部９３７に入力される。また、当該読み出されたＮＢＩ画像（画素数：フルＨＤ）は、１ライン毎に順次、第４の画像処理部９３８に入力される。
ステップＳ５Ｃの後、第１〜第４の画像処理部９３２，９３３，９３７，９３８は、入力された通常光画像（画素数：フルＨＤ）、ＰＤＤ画像（画素数：フルＨＤ）、ＩＲ画像（画素数：フルＨＤ）、及びＮＢＩ画像（画素数：フルＨＤ）に対して並列に画像処理を実行する（ステップＳ６Ｃ）。ここで、第１の画像処理部９３２は、入力された通常光画像（画素数：フルＨＤ）に対して第１の画像処理を実行する。また、第２の画像処理部９３３は、入力されたＰＤＤ画像（画素数：フルＨＤ）に対して第２の画像処理（調整処理及び色変更処理を含む）を実行する。さらに、第３の画像処理部９３７は、入力されたＩＲ画像（画素数：フルＨＤ）に対して第３の画像処理を実行する。また、第４の画像処理部９３８は、入力されたＮＢＩ画像（画素数：フルＨＤ）に対して第４の画像処理を実行する。
ステップＳ６Ｃの後、重畳画像生成部９３４は、第１の画像処理部９３２から順次、出力される各通常光画像、第２の画像処理部９３３から順次、出力される各ＰＤＤ画像、第３の画像処理部９３７から順次、出力される各ＩＲ画像、及び第４の画像処理部９３８から順次、出力される各ＮＢＩ画像に対して、重畳処理を実行して重畳画像を生成する（ステップＳ７Ｃ）。
当該重畳画像としては、通常光画像に対してＰＤＤ画像とＩＲ画像とを重畳した第１の重畳画像Ｄ２１（図１４）と、ＮＢＩ画像に対してＰＤＤ画像とＩＲ画像とを重畳した第２の重畳画像Ｄ２２（図１４）とを例示することができる。
また、重畳処理としては、以下に示す第１の重畳処理及び第２の重畳処理を例示することができる。なお、以下では、ＰＤＤ画像において、輝度値が特定の閾値以上となる画素で構成される領域をＰＤＤ蛍光領域と記載する。また、ＩＲ画像において、輝度値が特定の閾値以上となる画素で構成される領域をＩＲ蛍光領域と記載する。
第１の重畳処理は、通常光画像またはＮＢＩ画像において、ＰＤＤ蛍光領域及びＩＲ蛍光領域と同一の画素位置となる領域をＰＤＤ画像及びＩＲ画像におけるＰＤＤ蛍光領域及びＩＲ蛍光領域の画像に置き換える処理である。
第２の重畳処理は、ＰＤＤ画像及びＩＲ画像のＰＤＤ蛍光領域及びＩＲ蛍光領域における各画素位置の輝度値に応じて、通常光画像またはＮＢＩ画像におけるＰＤＤ蛍光領域及びＩＲ蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理である。
当該重畳画像としては、通常光画像に対してＰＤＤ画像とＩＲ画像とを重畳した第１の重畳画像Ｄ２１（図１４）と、ＮＢＩ画像に対してＰＤＤ画像とＩＲ画像とを重畳した第２の重畳画像Ｄ２２（図１４）とを例示することができる。
また、重畳処理としては、以下に示す第１の重畳処理及び第２の重畳処理を例示することができる。なお、以下では、ＰＤＤ画像において、輝度値が特定の閾値以上となる画素で構成される領域をＰＤＤ蛍光領域と記載する。また、ＩＲ画像において、輝度値が特定の閾値以上となる画素で構成される領域をＩＲ蛍光領域と記載する。
第１の重畳処理は、通常光画像またはＮＢＩ画像において、ＰＤＤ蛍光領域及びＩＲ蛍光領域と同一の画素位置となる領域をＰＤＤ画像及びＩＲ画像におけるＰＤＤ蛍光領域及びＩＲ蛍光領域の画像に置き換える処理である。
第２の重畳処理は、ＰＤＤ画像及びＩＲ画像のＰＤＤ蛍光領域及びＩＲ蛍光領域における各画素位置の輝度値に応じて、通常光画像またはＮＢＩ画像におけるＰＤＤ蛍光領域及びＩＲ蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理である。
ステップＳ７Ｃの後、表示制御部９３５は、重畳画像生成部９３４にて順次、生成された各重畳画像を表示するための映像信号を順次、生成し、当該映像信号を表示装置７に順次、出力する（ステップＳ８Ｃ）。これにより、表示装置７には、重畳画像が順次、表示される。
例えば、表示装置７には、図１４に示した表示画像Ｄ２が表示される。
具体的に、表示画像Ｄ２は、図１４に示すように、第１の重畳画像Ｄ２１と第２の重畳画像Ｄ２２とが並んだ画像であり、重畳画像生成部９３４にて生成された第１，第２の重畳画像Ｄ２１，Ｄ２２（画素数：フルＨＤ）に対して表示制御部９３５によって拡大処理が実行されることにより、全体として画素数が４Ｋの画像となっている。なお、図１４において、斜線を付した領域は、ＰＤＤ蛍光領域ＡｒＰである。また、白抜きの領域は、ＩＲ蛍光領域ＡｒＩである。
例えば、表示装置７には、図１４に示した表示画像Ｄ２が表示される。
具体的に、表示画像Ｄ２は、図１４に示すように、第１の重畳画像Ｄ２１と第２の重畳画像Ｄ２２とが並んだ画像であり、重畳画像生成部９３４にて生成された第１，第２の重畳画像Ｄ２１，Ｄ２２（画素数：フルＨＤ）に対して表示制御部９３５によって拡大処理が実行されることにより、全体として画素数が４Ｋの画像となっている。なお、図１４において、斜線を付した領域は、ＰＤＤ蛍光領域ＡｒＰである。また、白抜きの領域は、ＩＲ蛍光領域ＡｒＩである。
ステップＳ８Ｃの後、制御装置９は、上述した実施の形態で説明したステップＳ９を実行する。
ステップＳ９の後、評価値算出部９４３は、ステップＳ９での検波処理により得られた検波情報に基づいて、評価値（合焦評価値、第１〜第４の明るさ評価値）を算出する（ステップＳ１０Ｃ）。
具体的に、評価値算出部９４３は、ステップＳ１０Ｃにおいて、上述した実施の形態１のステップＳ１０と同様に、合焦評価値を算出する。
具体的に、評価値算出部９４３は、ステップＳ１０Ｃにおいて、上述した実施の形態１のステップＳ１０と同様に、合焦評価値を算出する。
また、評価値算出部９４３は、ステップＳ１０Ｃにおいて、上述した実施の形態１のステップＳ１０で説明した第１，第２の明るさ評価値の他、第３，第４の明るさ評価値を算出する。
具体的に、略同一のタイミングで同一の被写体を撮像することにより得られた通常光画像とＩＲ画像及びＮＢＩ画像とは、相関関係がある。そして、評価値算出部９４３は、当該相関関係を利用することで、第１の明るさ評価値から、ＩＲ画像の明るさを基準となる明るさに変更するための第３の明るさ評価値と、ＮＢＩ画像の明るさを基準となる明るさに変更するための第４の明るさ評価値とを算出する。
具体的に、略同一のタイミングで同一の被写体を撮像することにより得られた通常光画像とＩＲ画像及びＮＢＩ画像とは、相関関係がある。そして、評価値算出部９４３は、当該相関関係を利用することで、第１の明るさ評価値から、ＩＲ画像の明るさを基準となる明るさに変更するための第３の明るさ評価値と、ＮＢＩ画像の明るさを基準となる明るさに変更するための第４の明るさ評価値とを算出する。
ここで、当該第３の明るさ評価値としては、ＩＲ画像を生成する期間での撮像素子５４１における各画素の露光時間、ＩＲ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第３の画像処理部９３７による第３の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、ＩＲ期間Ｔ３で第３の光源３３が供給するＩＲ用励起光の光量を例示することができる。
また、当該第４の明るさ評価値としては、ＮＢＩ画像を生成する期間での撮像素子５４１における各画素の露光時間、ＮＢＩ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第４の画像処理部９３８による第４の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、ＮＢＩ期間Ｔ４で第４の光源３４が供給するＮＢＩ用特殊光の光量を例示することができる。
また、当該第４の明るさ評価値としては、ＮＢＩ画像を生成する期間での撮像素子５４１における各画素の露光時間、ＮＢＩ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲイン、第４の画像処理部９３８による第４の画像処理（デジタルゲイン処理）において乗算されるデジタルゲイン、ＮＢＩ期間Ｔ４で第４の光源３４が供給するＮＢＩ用特殊光の光量を例示することができる。
ステップＳ１０Ｃの後、制御装置９は、上述した実施の形態１で説明したステップＳ１１を実行する。これにより、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像の各全画像領域のうち検波領域内の画像がそれぞれ合焦状態となる。
ステップＳ１１の後、明るさ制御部９４５は、上述した実施の形態１で説明したステップＳ１２と同様に通常光画像及びＰＤＤ画像の明るさを調整する第１の明るさ調整処理の他、ＩＲ画像及びＮＢＩ画像の明るさを調整する第２の明るさ調整処理を実行する（ステップＳ１２Ｃ）。当該第１，第２の明るさ調整処理は、本開示に係る第２の制御に相当する。
具体的に、第２の明るさ調整処理は、以下の処理である。
明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、ＩＲ画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第３の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、ＩＲ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第３の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第３の画像処理部９３７による第３の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第３の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「ＩＲ用励起光の光量」である場合には、光源装置３に制御信号を出力し、ＩＲ期間Ｔ３で第３の光源３３が供給するＩＲ用励起光の光量を当該第３の明るさ評価値とする。
具体的に、第２の明るさ調整処理は、以下の処理である。
明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、ＩＲ画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第３の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、ＩＲ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第３の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第３の画像処理部９３７による第３の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第３の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第３の明るさ評価値が「ＩＲ用励起光の光量」である場合には、光源装置３に制御信号を出力し、ＩＲ期間Ｔ３で第３の光源３３が供給するＩＲ用励起光の光量を当該第３の明るさ評価値とする。
同様に、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第４の明るさ評価値が「露光時間」である場合には、撮像部５４に制御信号を出力し、ＮＢＩ画像を生成する期間での撮像素子５４１の各画素の露光時間を当該第４の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第４の明るさ評価値が「アナログゲイン」である場合には、撮像部５４に制御信号を出力し、ＮＢＩ画像を生成する期間で信号処理部５４２にて乗算されるアナログゲインを当該第４の明るさ評価値とする。さらに、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第４の明るさ評価値が「デジタルゲイン」である場合には、観察画像生成部９３に制御信号を出力し、第４の画像処理部９３８による第４の画像処理（デジタルゲイン処理）において乗算されるデジタルゲインを当該第４の明るさ評価値とする。また、明るさ制御部９４５は、ステップＳ１０Ｃにて算出された第４の明るさ評価値が「ＮＢＩ用特殊光の光量」である場合には、光源装置３に制御信号を出力し、ＮＢＩ期間Ｔ４で第４の光源３４が供給するＮＢＩ用特殊光の光量を当該第４の明るさ評価値とする。
以上説明した本実施の形態４では、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
実施の形態４に係る制御装置９は、第１，第２の期間Ｔ１，Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４を特定の時分割発光パターンで組み合わせて繰り返し実行する。また、制御装置９は、第１の期間Ｔ１に第１の被写体像（通常光）を撮像させて通常光画像を生成させ、第２の期間Ｔ２に第２の被写体像（ＰＤＤ用励起光及び蛍光）を撮像させてＰＤＤ画像を生成させ、ＩＲ期間Ｔ３にＩＲ被写体像（ＩＲ用励起光及び蛍光）を撮像させてＩＲ画像を生成させ、ＮＢＩ期間Ｔ４にＮＢＩ被写体像（ＮＢＩ用励起光及び蛍光）を撮像させてＮＢＩ画像を生成させる。
このため、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像により、種々の観察（プロトプルフィリンを用いた蛍光観察、インドシアニングリーンを用いた蛍光観察、及びＮＢＩ観察）を同時に行うことができる。また、通常光画像に基づいて評価値を算出し、適切に第１，第２の制御を実行することができるため、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像の全てが観察に適した画像となり、当該種々の観察を良好に行うことができる。
実施の形態４に係る制御装置９は、第１，第２の期間Ｔ１，Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４を特定の時分割発光パターンで組み合わせて繰り返し実行する。また、制御装置９は、第１の期間Ｔ１に第１の被写体像（通常光）を撮像させて通常光画像を生成させ、第２の期間Ｔ２に第２の被写体像（ＰＤＤ用励起光及び蛍光）を撮像させてＰＤＤ画像を生成させ、ＩＲ期間Ｔ３にＩＲ被写体像（ＩＲ用励起光及び蛍光）を撮像させてＩＲ画像を生成させ、ＮＢＩ期間Ｔ４にＮＢＩ被写体像（ＮＢＩ用励起光及び蛍光）を撮像させてＮＢＩ画像を生成させる。
このため、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像により、種々の観察（プロトプルフィリンを用いた蛍光観察、インドシアニングリーンを用いた蛍光観察、及びＮＢＩ観察）を同時に行うことができる。また、通常光画像に基づいて評価値を算出し、適切に第１，第２の制御を実行することができるため、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像の全てが観察に適した画像となり、当該種々の観察を良好に行うことができる。
（実施の形態５）
次に、実施の形態５について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図１５は、実施の形態５に係る第１〜第４の光源３１〜３４の発光タイミングを示すタイムチャートである。
本実施の形態５では、図１５に示すように、上述した実施の形態４に対して、時分割発光パターンが異なる。
具体的に、本実施の形態５に係る時分割発光パターンは、図１５に示すように、第１の期間Ｔ１、第２の期間Ｔ２、第１の期間Ｔ１、ＩＲ期間Ｔ３、第１の期間Ｔ１、及びＮＢＩ期間Ｔ４の順に組み合わされたパターンである。すなわち、当該時分割発光パターンは、第１の期間Ｔ１の数（３つ）が第２の期間Ｔ２の数（１つ）、ＩＲ期間Ｔ３の数（１つ）、及びＮＢＩ期間Ｔ４の数（１つ）よりも多くなるように組み合わされたパターンである。また、当該時分割発光パターンは、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４が第１の期間Ｔ１によって互いに隣接しないように組み合わされたパターンである。
次に、実施の形態５について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図１５は、実施の形態５に係る第１〜第４の光源３１〜３４の発光タイミングを示すタイムチャートである。
本実施の形態５では、図１５に示すように、上述した実施の形態４に対して、時分割発光パターンが異なる。
具体的に、本実施の形態５に係る時分割発光パターンは、図１５に示すように、第１の期間Ｔ１、第２の期間Ｔ２、第１の期間Ｔ１、ＩＲ期間Ｔ３、第１の期間Ｔ１、及びＮＢＩ期間Ｔ４の順に組み合わされたパターンである。すなわち、当該時分割発光パターンは、第１の期間Ｔ１の数（３つ）が第２の期間Ｔ２の数（１つ）、ＩＲ期間Ｔ３の数（１つ）、及びＮＢＩ期間Ｔ４の数（１つ）よりも多くなるように組み合わされたパターンである。また、当該時分割発光パターンは、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４が第１の期間Ｔ１によって互いに隣接しないように組み合わされたパターンである。
上述した実施の形態５によれば、上述した実施の形態４と同様の効果の他、以下の効果を奏する。
実施の形態５に係る時分割発光パターンは、第１の期間Ｔ１の数が第２の期間Ｔ２の数、ＩＲ期間Ｔ３の数、及びＮＢＩ期間Ｔ４の数よりも多くなるように組み合わされたパターンである。すなわち、通常光画像に基づいて評価値を算出する頻度を増加させている。また、当該時分割発光パターンは、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４が第１の期間Ｔ１によって互いに隣接しないように組み合わされたパターンである。すなわち、当該評価値を算出するための通常光画像と、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像とを時間的に近い状態でそれぞれ生成させている。
したがって、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像に対して時間的に近い状態でそれぞれ生成された通常光画像に基づいて評価値をそれぞれ算出し、当該評価値を用いて第１，第２の制御を実行することができるため、当該第１，第２の制御の精度を向上させることができる。すなわち、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像をより一層、観察に適した画像とすることができる。
実施の形態５に係る時分割発光パターンは、第１の期間Ｔ１の数が第２の期間Ｔ２の数、ＩＲ期間Ｔ３の数、及びＮＢＩ期間Ｔ４の数よりも多くなるように組み合わされたパターンである。すなわち、通常光画像に基づいて評価値を算出する頻度を増加させている。また、当該時分割発光パターンは、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４が第１の期間Ｔ１によって互いに隣接しないように組み合わされたパターンである。すなわち、当該評価値を算出するための通常光画像と、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像とを時間的に近い状態でそれぞれ生成させている。
したがって、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像に対して時間的に近い状態でそれぞれ生成された通常光画像に基づいて評価値をそれぞれ算出し、当該評価値を用いて第１，第２の制御を実行することができるため、当該第１，第２の制御の精度を向上させることができる。すなわち、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像をより一層、観察に適した画像とすることができる。
（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態１〜５によってのみ限定されるべきものではない。
上述した実施の形態１〜５では、制御装置９は、通常光画像に基づいて、第１，第２の制御に用いられる評価値をそれぞれ算出していたが、これに限らない。本開示に係る医療用画像処理装置としては、通常光画像に基づいて第１，第２の制御の少なくとも一方の評価値を算出する構成であれば、例えば、通常光画像に基づいて第１，第２の制御の一方の制御に用いられる評価値のみを算出する構成としても構わない。
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態１〜５によってのみ限定されるべきものではない。
上述した実施の形態１〜５では、制御装置９は、通常光画像に基づいて、第１，第２の制御に用いられる評価値をそれぞれ算出していたが、これに限らない。本開示に係る医療用画像処理装置としては、通常光画像に基づいて第１，第２の制御の少なくとも一方の評価値を算出する構成であれば、例えば、通常光画像に基づいて第１，第２の制御の一方の制御に用いられる評価値のみを算出する構成としても構わない。
上述した実施の形態１〜３では、第１の波長帯域の光と第２の波長帯域の励起光とを時分割で出射させていたが、これに限らない。例えば、第１の波長帯域の光と第２の波長帯域の励起光とを同時期に出射させ、撮像する側において、フィルタによって、第１の波長帯域の光と第２の波長帯域の励起光及び蛍光とを分離し、２つの撮像素子によってそれぞれ撮像する構成としても構わない。
上述した実施の形態１〜３では、光源装置３は、第１の波長帯域の通常光として白色光を出射可能とするとともに、第２の波長帯域の励起光として青の波長帯域の光を出射可能としていたが、これに限らず、第１の波長帯域の通常光及び第２の波長帯域の励起光としてその他の光をそれぞれ採用しても構わない。この際、第１，第２の波長帯域は、一部が重複する帯域であってもよく、あるいは、全く重複しない帯域であっても構わない。
上述した実施の形態１〜３では、第１，第２の期間が交互に繰り返すように設定されていたが、これに限らず、第１，第２の期間の少なくともいずれかが連続し、第１，第２の期間の頻度の比率が１：１以外の比率となるように構成しても構わない。
上述した実施の形態１〜３では、重畳画像を表示装置７に表示させていたが、これに限らず、通常光画像、ＰＤＤ画像、及び重畳画像の３つの画像のうち、少なくとも２つの画像をそれぞれ同時に表示するように構成しても構わない。また、表示装置７を複数、設け、当該３つの画像の少なくとも２つの画像を異なる表示装置７にそれぞれ同時に表示する構成を採用しても構わない。
また、上述した実施の形態４，５でも同様に、第１の重畳画像Ｄ２１と第２の重畳画像Ｄ２２を表示装置７に表示させていたが、これに限らない。例えば、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像をそれぞれ同時に表示するように構成しても構わない。また、第１の重畳画像Ｄ２１及びＮＢＩ画像をそれぞれ同時に表示するように構成しても構わない。さらに、通常光画像及び第２の重畳画像Ｄ２をそれぞれ同時に表示するように構成しても構わない。また、表示装置７を複数、設け、異なる画像を異なる表示装置７にそれぞれ同時に表示する構成を採用しても構わない。
また、上述した実施の形態４，５でも同様に、第１の重畳画像Ｄ２１と第２の重畳画像Ｄ２２を表示装置７に表示させていたが、これに限らない。例えば、通常光画像、ＰＤＤ画像、ＩＲ画像、及びＮＢＩ画像をそれぞれ同時に表示するように構成しても構わない。また、第１の重畳画像Ｄ２１及びＮＢＩ画像をそれぞれ同時に表示するように構成しても構わない。さらに、通常光画像及び第２の重畳画像Ｄ２をそれぞれ同時に表示するように構成しても構わない。また、表示装置７を複数、設け、異なる画像を異なる表示装置７にそれぞれ同時に表示する構成を採用しても構わない。
上述した実施の形態４，５では、通常光画像及びＰＤＤ画像の他、ＩＲ画像とＮＢＩ画像とを生成していたが、これに限らず、ＩＲ画像とＮＢＩ画像とのうち一方を生成しないように構成しても構わない。
上述した実施の形態４，５において、時分割発光パターンにおける第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３，及びＮＢＩ期間Ｔ４の順番は、上述した実施の形態４，５で説明した順番に限らず、その他の順番としても構わない。また、上述した実施の形態５の時分割発光パターンにおいて、第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４の数は、上述した実施の形態５において説明した数に限らず、その他の数を採用しても構わない。
上述した実施の形態４，５では、撮像素子５４１は、画素数が４Ｋの画像を生成する撮像素子で構成されていたが、これに限らず、その他の画素数の画像を生成する撮像素子で構成しても構わない。
上述した実施の形態２，３に記載の医療用観察システム１Ａ，１Ｂに対して、上述した実施の形態４，５に記載の構成を採用しても構わない。
上述した実施の形態４，５において、時分割発光パターンにおける第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３，及びＮＢＩ期間Ｔ４の順番は、上述した実施の形態４，５で説明した順番に限らず、その他の順番としても構わない。また、上述した実施の形態５の時分割発光パターンにおいて、第１の期間Ｔ１、第２の期間Ｔ２、ＩＲ期間Ｔ３、及びＮＢＩ期間Ｔ４の数は、上述した実施の形態５において説明した数に限らず、その他の数を採用しても構わない。
上述した実施の形態４，５では、撮像素子５４１は、画素数が４Ｋの画像を生成する撮像素子で構成されていたが、これに限らず、その他の画素数の画像を生成する撮像素子で構成しても構わない。
上述した実施の形態２，３に記載の医療用観察システム１Ａ，１Ｂに対して、上述した実施の形態４，５に記載の構成を採用しても構わない。
上述した実施の形態１，４，５において、カメラヘッド５の一部の構成や制御装置９の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）第１の波長帯域の光が照射された観察対象からの光を撮像した第１の撮像画像と、前記第１の波長帯域とは異なる第２の波長帯域の励起光によって励起された前記観察対象からの蛍光を撮像した第２の撮像画像とを取得する撮像画像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用画像処理装置。
（２）前記励起光は、プロトポルフィリンを励起する青の波長帯域の光である前記（１）に記載の医療用画像処理装置。
（３）交互に繰り返される第１の期間及び第２の期間のうち、前記第１の期間に光源装置から前記第１の波長帯域の光を出射させるとともに、前記第２の期間に前記光源装置から前記励起光を出射させる光源制御部と、前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させるとともに、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させる撮像制御部とをさらに備える前記（１）または（２）に記載の医療用画像処理装置。
（４）光源装置から前記第１の波長帯域の光を出射させる第１の期間と、前記光源装置から前記励起光を出射させる第２の期間と、前記光源装置から前記第１の波長帯域及び前記第２の波長帯域とは異なる第３の波長帯域の光を出射させる第３の期間とを特定の時分割発光パターンで組み合わせて繰り返し実行する光源制御部と、前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させ、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させ、前記第３の期間に前記第３の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて第３の撮像画像を生成させる撮像制御部とをさらに備える前記（１）または（２）に記載の医療用画像処理装置。
（５）前記第２の制御は、前記第１の撮像画像、前記第２の撮像画像、及び前記第３の撮像画像の明るさの制御を含む前記（４）に記載の医療用画像処理装置。
（６）前記特定の時分割発光パターンでは、前記第１の期間の数が前記第２の期間の数及び前記第３の期間の数よりも多くなるように組み合わされる前記（４）または（５）に記載の医療用画像処理装置。
（７）前記特定の時分割発光パターンでは、前記第２の期間と前記第３の期間とが前記第１の期間によって時系列的に隣接しないように組み合わされる前記（６）に記載の医療用画像処理装置。
（８）前記第３の波長帯域の光は、インドシアニングリーンを励起する近赤外の波長帯域の光である前記（４）〜（７）のいずれか１つに記載の医療用画像処理装置。
（９）前記第３の波長帯域の光は、緑の波長帯域の光と青の波長帯域の光とを組み合わせた光である前記（４）〜（８）のいずれか１つに記載の医療用画像処理装置。
（１０）第１の波長帯域の光、及び前記第１の波長帯域とは異なる第２の波長帯域の励起光を出射する光源装置と、前記第１の波長帯域の光が照射された観察対象からの光を撮像して第１の撮像画像を生成するとともに、前記励起光によって励起された前記観察対象からの蛍光を撮像して第２の撮像画像を生成する撮像装置と、前記第１の撮像画像及び前記第２の撮像画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記第１の撮像画像と前記第２の撮像画像とを取得する撮像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用観察システム。
（１）第１の波長帯域の光が照射された観察対象からの光を撮像した第１の撮像画像と、前記第１の波長帯域とは異なる第２の波長帯域の励起光によって励起された前記観察対象からの蛍光を撮像した第２の撮像画像とを取得する撮像画像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用画像処理装置。
（２）前記励起光は、プロトポルフィリンを励起する青の波長帯域の光である前記（１）に記載の医療用画像処理装置。
（３）交互に繰り返される第１の期間及び第２の期間のうち、前記第１の期間に光源装置から前記第１の波長帯域の光を出射させるとともに、前記第２の期間に前記光源装置から前記励起光を出射させる光源制御部と、前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させるとともに、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させる撮像制御部とをさらに備える前記（１）または（２）に記載の医療用画像処理装置。
（４）光源装置から前記第１の波長帯域の光を出射させる第１の期間と、前記光源装置から前記励起光を出射させる第２の期間と、前記光源装置から前記第１の波長帯域及び前記第２の波長帯域とは異なる第３の波長帯域の光を出射させる第３の期間とを特定の時分割発光パターンで組み合わせて繰り返し実行する光源制御部と、前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させ、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させ、前記第３の期間に前記第３の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて第３の撮像画像を生成させる撮像制御部とをさらに備える前記（１）または（２）に記載の医療用画像処理装置。
（５）前記第２の制御は、前記第１の撮像画像、前記第２の撮像画像、及び前記第３の撮像画像の明るさの制御を含む前記（４）に記載の医療用画像処理装置。
（６）前記特定の時分割発光パターンでは、前記第１の期間の数が前記第２の期間の数及び前記第３の期間の数よりも多くなるように組み合わされる前記（４）または（５）に記載の医療用画像処理装置。
（７）前記特定の時分割発光パターンでは、前記第２の期間と前記第３の期間とが前記第１の期間によって時系列的に隣接しないように組み合わされる前記（６）に記載の医療用画像処理装置。
（８）前記第３の波長帯域の光は、インドシアニングリーンを励起する近赤外の波長帯域の光である前記（４）〜（７）のいずれか１つに記載の医療用画像処理装置。
（９）前記第３の波長帯域の光は、緑の波長帯域の光と青の波長帯域の光とを組み合わせた光である前記（４）〜（８）のいずれか１つに記載の医療用画像処理装置。
（１０）第１の波長帯域の光、及び前記第１の波長帯域とは異なる第２の波長帯域の励起光を出射する光源装置と、前記第１の波長帯域の光が照射された観察対象からの光を撮像して第１の撮像画像を生成するとともに、前記励起光によって励起された前記観察対象からの蛍光を撮像して第２の撮像画像を生成する撮像装置と、前記第１の撮像画像及び前記第２の撮像画像を処理する医療用画像処理装置とを備え、前記医療用画像処理装置は、前記第１の撮像画像と前記第２の撮像画像とを取得する撮像取得部と、前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用観察システム。
１，１Ａ，１Ｂ，１Ｃ 医療用観察システム
２，２Ａ 挿入部
３ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１の伝送ケーブル
７ 表示装置
８ 第２の伝送ケーブル
９ 制御装置
１０ 第３の伝送ケーブル
１１ 内視鏡
１２ 手術用顕微鏡
２１ 接眼部
２２ 先端部
２３ 湾曲部
２４ 可撓管部
３１ 第１の光源
３２ 第２の光源
３３ 第３の光源
３４ 第４の光源
５１ レンズユニット
５２ レンズ駆動部
５３ 焦点位置検出部
５４ 撮像部
５５ 通信部
９１ 通信部
９２ メモリ
９３ 観察画像生成部
９４ 制御部
９５ 入力部
９６ 出力部
９７ 記憶部
１１１ 操作部
１１２ ユニバーサルコード
１２１ 顕微鏡部
１２２ 支持部
１２３ ベース部
５１１ フォーカスレンズ
５４１ 撮像素子
５４２ 信号処理部
９２１ バンク
９３１ メモリコントローラ
９３２ 第１の画像処理部
９３３ 第２の画像処理部
９３４ 重畳画像生成部
９３５ 表示制御部
９３６ 検波処理部
９３７ 第３の画像処理部
９３８ 第４の画像処理部
９４１ 光源制御部
９４２ 撮像制御部
９４３ 評価値算出部
９４４ 焦点位置制御部
９４５ 明るさ制御部
Ａｒ１ 第１の分割領域
Ａｒ２ 第２の分割領域
Ａｒ３ 第３の分割領域
Ａｒ４ 第４の分割領域
ＡｒＰ ＰＤＤ蛍光領域
ＡｒＩ ＩＲ蛍光領域
ＣＮ１，ＣＮ２ コネクタ
Ｄ１ 重畳画像
Ｄ２ 表示画像
Ｄ２１ 第１の重畳画像
Ｄ２２ 第２の重畳画像
Ｐ１ 第１の記憶位置
Ｐ２ 第２の記憶位置
Ｐ３ 第３の記憶位置
Ｐ４ 第４の記憶位置
ＳＰＡ，ＳＰＢ ＰＤＤ画像
Ｔ１ 第１の期間
Ｔ２ 第２の期間
Ｔ３ ＩＲ期間
Ｔ４ ＮＢＩ期間
ＷＬＩ 通常光画像
２，２Ａ 挿入部
３ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１の伝送ケーブル
７ 表示装置
８ 第２の伝送ケーブル
９ 制御装置
１０ 第３の伝送ケーブル
１１ 内視鏡
１２ 手術用顕微鏡
２１ 接眼部
２２ 先端部
２３ 湾曲部
２４ 可撓管部
３１ 第１の光源
３２ 第２の光源
３３ 第３の光源
３４ 第４の光源
５１ レンズユニット
５２ レンズ駆動部
５３ 焦点位置検出部
５４ 撮像部
５５ 通信部
９１ 通信部
９２ メモリ
９３ 観察画像生成部
９４ 制御部
９５ 入力部
９６ 出力部
９７ 記憶部
１１１ 操作部
１１２ ユニバーサルコード
１２１ 顕微鏡部
１２２ 支持部
１２３ ベース部
５１１ フォーカスレンズ
５４１ 撮像素子
５４２ 信号処理部
９２１ バンク
９３１ メモリコントローラ
９３２ 第１の画像処理部
９３３ 第２の画像処理部
９３４ 重畳画像生成部
９３５ 表示制御部
９３６ 検波処理部
９３７ 第３の画像処理部
９３８ 第４の画像処理部
９４１ 光源制御部
９４２ 撮像制御部
９４３ 評価値算出部
９４４ 焦点位置制御部
９４５ 明るさ制御部
Ａｒ１ 第１の分割領域
Ａｒ２ 第２の分割領域
Ａｒ３ 第３の分割領域
Ａｒ４ 第４の分割領域
ＡｒＰ ＰＤＤ蛍光領域
ＡｒＩ ＩＲ蛍光領域
ＣＮ１，ＣＮ２ コネクタ
Ｄ１ 重畳画像
Ｄ２ 表示画像
Ｄ２１ 第１の重畳画像
Ｄ２２ 第２の重畳画像
Ｐ１ 第１の記憶位置
Ｐ２ 第２の記憶位置
Ｐ３ 第３の記憶位置
Ｐ４ 第４の記憶位置
ＳＰＡ，ＳＰＢ ＰＤＤ画像
Ｔ１ 第１の期間
Ｔ２ 第２の期間
Ｔ３ ＩＲ期間
Ｔ４ ＮＢＩ期間
ＷＬＩ 通常光画像
Claims (10)
- 第１の波長帯域の光が照射された観察対象からの光を撮像した第１の撮像画像と、前記第１の波長帯域とは異なる第２の波長帯域の励起光によって励起された前記観察対象からの蛍光を撮像した第２の撮像画像とを取得する撮像画像取得部と、
前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、
前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用画像処理装置。 - 前記励起光は、
プロトポルフィリンを励起する青の波長帯域の光である請求項１に記載の医療用画像処理装置。 - 交互に繰り返される第１の期間及び第２の期間のうち、前記第１の期間に光源装置から前記第１の波長帯域の光を出射させるとともに、前記第２の期間に前記光源装置から前記励起光を出射させる光源制御部と、
前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させるとともに、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させる撮像制御部とをさらに備える請求項１に記載の医療用画像処理装置。 - 光源装置から前記第１の波長帯域の光を出射させる第１の期間と、前記光源装置から前記励起光を出射させる第２の期間と、前記光源装置から前記第１の波長帯域及び前記第２の波長帯域とは異なる第３の波長帯域の光を出射させる第３の期間とを特定の時分割発光パターンで組み合わせて繰り返し実行する光源制御部と、
前記第１の期間に前記第１の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて前記第１の撮像画像を生成させ、前記第２の期間に前記励起光によって励起された前記観察対象からの前記蛍光を撮像させて前記第２の撮像画像を生成させ、前記第３の期間に前記第３の波長帯域の光が照射された前記観察対象からの光を前記撮像装置に撮像させて第３の撮像画像を生成させる撮像制御部とをさらに備える請求項１に記載の医療用画像処理装置。 - 前記第２の制御は、
前記第１の撮像画像、前記第２の撮像画像、及び前記第３の撮像画像の明るさの制御を含む請求項４に記載の医療用画像処理装置。 - 前記特定の時分割発光パターンでは、
前記第１の期間の数が前記第２の期間の数及び前記第３の期間の数よりも多くなるように組み合わされる請求項４に記載の医療用画像処理装置。 - 前記特定の時分割発光パターンでは、
前記第２の期間と前記第３の期間とが前記第１の期間によって時系列的に隣接しないように組み合わされる請求項６に記載の医療用画像処理装置。 - 前記第３の波長帯域の光は、
インドシアニングリーンを励起する近赤外の波長帯域の光である請求項４に記載の医療用画像処理装置。 - 前記第３の波長帯域の光は、
緑の波長帯域の光と青の波長帯域の光とを組み合わせた光である請求項４に記載の医療用画像処理装置。 - 第１の波長帯域の光、及び前記第１の波長帯域とは異なる第２の波長帯域の励起光を出射する光源装置と、
前記第１の波長帯域の光が照射された観察対象からの光を撮像して第１の撮像画像を生成するとともに、前記励起光によって励起された前記観察対象からの蛍光を撮像して第２の撮像画像を生成する撮像装置と、
前記第１の撮像画像及び前記第２の撮像画像を処理する医療用画像処理装置とを備え、
前記医療用画像処理装置は、
前記第１の撮像画像と前記第２の撮像画像とを取得する撮像取得部と、
前記第１の撮像画像に基づいて、前記第１の撮像画像及び前記第２の撮像画像をそれぞれ生成する撮像装置の焦点位置を制御する第１の制御と前記第１の撮像画像及び前記第２の撮像画像の明るさを制御する第２の制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部と、
前記評価値に基づいて、前記第１の制御と前記第２の制御との少なくとも一方を実行する動作制御部とを備える医療用観察システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/182,268 US20210290037A1 (en) | 2020-03-17 | 2021-02-23 | Medical image processing apparatus and medical observation system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020047012 | 2020-03-17 | ||
| JP2020047012 | 2020-03-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021146198A true JP2021146198A (ja) | 2021-09-27 |
Family
ID=77850136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020216975A Pending JP2021146198A (ja) | 2020-03-17 | 2020-12-25 | 医療用画像処理装置及び医療用観察システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021146198A (ja) |
-
2020
- 2020-12-25 JP JP2020216975A patent/JP2021146198A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210297606A1 (en) | Medical image processing device and medical observation system | |
| JP2021145873A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JPWO2016104386A1 (ja) | 内視鏡システム | |
| JP2020151403A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP6137892B2 (ja) | 撮像システム | |
| US10901199B2 (en) | Endoscope system having variable focal length lens that switches between two or more values | |
| US20210290035A1 (en) | Medical control device and medical observation system | |
| JP7454417B2 (ja) | 医療用制御装置及び医療用観察システム | |
| JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
| JP2021146198A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP7140113B2 (ja) | 内視鏡 | |
| JP7235540B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| US20210290037A1 (en) | Medical image processing apparatus and medical observation system | |
| US20220151474A1 (en) | Medical image processing device and medical observation system | |
| US11700456B2 (en) | Medical control device and medical observation system | |
| JP7281308B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| US11774772B2 (en) | Medical image processing device, medical observation system, and image processing method | |
| US11615514B2 (en) | Medical image processing apparatus and medical observation system | |
| US11463668B2 (en) | Medical image processing device, medical observation system, and image processing method | |
| WO2021039869A1 (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2022082350A (ja) | 光源制御装置及び医療用観察システム | |
| WO2021166749A1 (ja) | 学習装置及び医療用画像処理装置 | |
| US10918269B2 (en) | Medical light source apparatus and medical observation system | |
| US20230066301A1 (en) | Medical observation system, control device, and control method | |
| JP2021003347A (ja) | 医療用画像処理装置及び医療用観察システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |