JP2021097254A - 信号処理装置、信号処理方法、撮像装置および医療用撮像装置 - Google Patents

Abstract

【課題】解像度を維持しつつ、チューナブルな波長の抽出および狭帯域の検出を可能にする。【解決手段】後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得する取得部と、前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行う信号処理部と、を備える、信号処理装置が提供される。【選択図】図１

Description

本開示は、信号処理装置、信号処理方法、撮像装置および医療用撮像装置に関する。

近年、ＲＧＢの３バンドより多くのマルチバンドの画像を取得可能な装置またはシステムが開発されている。例えば、特許文献１には、従来のＲＧＢ３バンドカメラと比べ、ほぼ遜色ない解像度および感度でマルチバンドの画像を取得することができ、色再現性を向上させることができるマルチスペクトルカメラが開示されている。

特開２００８−１３６２５１

しかし、特許文献１をはじめとする従来のマルチスペクトルカメラによっては、解像度を維持しつつ、所望の波長帯域の画像を抽出可能とし（以降、所望の波長帯域の画像を抽出可能であるという特長を「チューナブルである」と呼称する）、狭帯域を検出可能とすることが困難であった。

そこで、本開示は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、解像度を維持しつつ、チューナブルな波長の抽出および狭帯域の検出が可能な、新規かつ改良された信号処理装置、信号処理方法、撮像装置および医療用撮像装置を提供することにある。

本開示によれば、後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得する取得部と、前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行う信号処理部と、を備える、信号処理装置が提供される。

また、本開示によれば、後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得することと、前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行うことと、を有する、コンピュータにより実行される信号処理方法が提供される。

また、本開示によれば、後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、撮像装置が提供される。

また、本開示によれば、後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、医療用撮像装置が提供される。

以上説明したように本開示によれば、解像度を維持しつつ、チューナブルな波長の抽出および狭帯域の検出が可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

従来のＲＧＢカメラとマルチスペクトルカメラとの違いを示す図である。 撮像装置１００が備えるフィルタを示す図である。 フィルタの構成と露光時間との関係を示す図である。 フィルタの構成と露光時間との関係を示す図である。 フィルタの構成と露光時間との関係を示す図である。 撮像装置１００の構成例を示すブロック図である。 撮像装置１００の構成例を示すブロック図である。 撮像装置１００の構成例を示すブロック図である。 複数の撮像機構を備える撮像装置１００の構成例を示すブロック図である。 本実施形態に係る信号処理の流れの一例を示すフローチャートである。 第１の実施例におけるフィルタの構成を示す図である。 第１の実施例における各画素の出力感度等を示す図である。 第１の実施例における各フィルタの露光時間を示す図である。 第２の実施例におけるフィルタの構成を示す図である。 第２の実施例における各画素の出力感度等を示す図である。 第２の実施例における各フィルタの露光時間を示す図である。 第３の実施例におけるフィルタの構成を示す図である。 第３の実施例における各画素の出力感度等を示す図である。 第３の実施例における各フィルタの露光時間を示す図である。 第４の実施例におけるフィルタの構成を示す図である。 第４の実施例における各フィルタの露光時間を示す図である。 第５の実施例におけるフィルタの構成を示す図である。 第５の実施例における各画素の出力感度等を示す図である。 第５の実施例における各フィルタの露光時間を示す図である。 第５の実施例が３組の撮像機構を備える撮像装置１００によって実現される場合におけるフィルタの構成を示す図である。 第５の実施例が３組の撮像機構を備える撮像装置１００によって実現される場合における各フィルタの露光時間を示す図である。 第６の実施例におけるフィルタの構成を示す図である。 第６の実施例における各画素の出力感度等を示す図である。 第６の実施例における各フィルタの露光時間を示す図である。 第７の実施例におけるフィルタの構成を示す図である。 第７の実施例における各画素の出力感度等を示す図である。 第７の実施例における各フィルタの露光時間を示す図である。 ＲＧＢカメラまたはＢ＆Ｗカメラが搭載された場合における信号処理の流れの一例を示すフローチャートである。 第８の実施例においてチューナブルフィルタおよび特定用途専用フィルタの構成方法を示す図である。 ＲＧＢセンサとデュアルバンドパスフィルタが組み合わされることで、ＰＲＩ用およびＳＩＦ用の特定用途専用フィルタが実現される場合の例を示す図である。 第９の実施例におけるフィルタの構成を示す図である。 第９の実施例における各画素の出力感度等を示す図である。 第９の実施例における各フィルタの露光時間を示す図である。 第１０の実施例においてダイクロイックフィルタが入射光を複数に分離する様子を示す図である。 ダイクロイックフィルタの透過率の例を示す図である。 ダイクロイックフィルタとチューナブルフィルタおよび特定用途専用フィルタの配置を示す図である。 ダイクロイックフィルタの透過率の例を示す図である。 ダイクロイックフィルタとチューナブルフィルタおよび特定用途専用フィルタの配置を示す図である。 ダイクロイックフィルタの透過率の例を示す図である。 ダイクロイックフィルタとチューナブルフィルタおよび特定用途専用フィルタの配置を示す図である。 本開示に係る技術が医療用撮像装置へ応用された場合の一例について説明する図である。 医療用撮像装置の処理の流れの一例を示すフローチャートである。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図５０に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．背景
２．実施形態
２．１．概要
２．２．構成例
２．３．信号処理の流れ
３．実施例
３．１．第１の実施例
３．２．第２の実施例
３．３．第３の実施例
３．４．第４の実施例
３．５．第５の実施例
３．６．第６の実施例
３．７．第７の実施例
３．８．第８の実施例
３．９．第９の実施例
３．１０．第１０の実施例
４．応用例
４．１．医療用撮像装置への応用例
４．２．手術室システムへの応用例

＜１．背景＞
近年、ＲＧＢの３バンドより多くのマルチバンドの画像を取得可能な装置またはシステムが開発されている。例えば、特許文献１には、従来のＲＧＢ３バンドカメラと比べ、ほぼ遜色ない解像度および感度でマルチバンドの画像を取得することができ、色再現性を向上させることができるマルチスペクトルカメラが開示されている。

ここで、図１を参照して、従来のＲＧＢカメラと、マルチスペクトルカメラとの違いについて説明する。図１のａは、従来のＲＧＢカメラの構成の概要を示しており、当該ＲＧＢカメラについては、レンズ、カラーフィルタ（例えば、べイヤ配列のカラーフィルタ）およびイメージセンサの順に光が入射し、その後の信号処理（または、現像処理）によってＲＧＢ画像が取得される。

図１のｂは、マルチスペクトルカメラの構成の概要を示しており、当該マルチスペクトルカメラについては、ＲＧＢカメラにおけるカラーフィルタの代りにマルチスペクトルフィルタが備えられることで、入射した光がＲＧＢよりも多くの波長帯域に分離され、その後の信号処理によってマルチスペクトル画像が取得される。

マルチスペクトル画像を取得する方法は、大きく分けて２種類存在する。より具体的には、マルチスペクトルフィルタがそれぞれ狭帯域の光を透過する分光特性を有する場合において、入射光が各マルチスペクトルフィルタを透過することで生成された画素データを集めることでマルチスペクトル画像を取得する方法が挙げられる。より具体的には、イメージセンサの上部に画素毎に高さの異なる共振パスが構成されることで、それぞれ狭帯域（半値幅約１０〜２０［ｎｍ］）の分光特性を有するマルチスペクトルフィルタが構成されたイメージセンサが既に開発されている。例えば、４×４画素単位で１６種類の狭帯域のマルチスペクトルフィルタが構成された２０４８×１０８８画素のイメージセンサが開発されており、当該イメージセンサから取得されたＲａｗデータに対してデモザイク処理（各画素の収集、空間内フィルタ処理等）が施されることでマルチスペクトル画像が取得される。

もう一つの方法としては、マルチスペクトルフィルタが広帯域の光を透過する分光特性を有する場合において、それぞれのマルチスペクトルフィルタを透過した後の画素に対して逆マトリクス演算を行うことで、所望の波長帯域の画像を取得する方法である。例えば、イメージセンサに、３２×３２（１０２４）種類の異なるフィルタを形成し、イメージセンサから取得されたＲａｗデータに対してデモザイク処理を施した上で逆マトリクス演算を行うことで、超狭帯域（半値幅が数［ｎｍ］）の画像を取得する技術が開発されている。当該技術においては、入射光によって誘導されるプラズモン共鳴を利用するマルチスペクトルフィルタが用いられ得る。

ここで、上記のとおり、特許文献１をはじめとする従来のマルチスペクトルカメラによっては、解像度を維持しつつ、チューナブルな波長抽出を可能とし、狭帯域の検出も可能とすることが困難であった。

より具体的に説明すると、チューナブルに波長を抽出する場合、使用されるフィルタの種類が増えるほど狭帯域の検出が行えるものの、空間解像度は低下する。一方で、使用されるフィルタの数が少ないほど空間解像度は上記と比較して増加するものの、ブロードな波長帯域に渡って狭帯域の検出を行うことが困難になる（換言すると、波長分解能が低下する）。したがって、解像度を維持しつつ、チューナブルな波長抽出を可能とし、狭帯域の検出も可能とすることは困難である。

そこで、本件の開示者は、上記事情に鑑みて、本開示の技術を創作するに至った。本開示に係る撮像装置１００は、後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備えることで、上記問題を解決することができる。以降では、本開示について詳細に説明していく。

＜２．実施形態＞
（２．１．概要）
まず、本開示の一実施形態の概要について説明する。本実施形態に係る撮像装置１００は、イメージセンサの前段に画素単位で、チューナブルに波長抽出が可能な第１の波長帯域の光を透過可能なフィルタ（以降、便宜的に「チューナブルフィルタ」と呼称する場合がある）と、特定用途に使用される第２の波長帯域の光を透過可能なフィルタ（以降、便宜的に「特定用途専用フィルタ」と呼称する場合がある）を備える。なお、「特定用途に使用される」とは、（特定用途専用）フィルタの波長に対応するスペクトル情報（例えば画像）を取得（例えば生成）するために使用されることを指す。例えば、「特定用途に使用される」とは、特殊光観察において観察対象に適した波長、または植生指数の算出に用いられる波長などに対応するスペクトル情報を取得するために使用されることを指す。

ここで、図２を参照して、撮像装置１００が備えるフィルタについて説明する。図２のａに示すように、撮像装置１００には、Ｍ×Ｎ（本図では、４×４）のアレイ状に配置された画素１０において、複数のチューナブルフィルタおよび複数の特定用途専用フィルタ（本図では、特定用途専用フィルタ１および特定用途専用フィルタ２）が周期的に配置されている。より具体的には、チューナブルフィルタ１２画素に対して、特定用途専用フィルタ１および特定用途専用フィルタ２がそれぞれ２画素ずつ配置されている。

そして、図２のｂに示すように、当該Ｍ×Ｎの画素１０がＸ×Ｙのアレイ状に配置されることで、１つのフィルタが構成されている。したがって、撮像装置１００は、横Ｍ×Ｘ画素、縦Ｎ×Ｙ画素を撮像可能である。なお、撮像装置１００が備えるフィルタは、図２の例に限定されない。例えば、図２のａにおいて、チューナブルフィルタまたは特定用途専用フィルタの種類の数は特に限定されない。また、チューナブルフィルタまたは特定用途専用フィルタの周期的な配置は適宜変更されてもよいし、周期的に配置されていなくてもよい。

ここで、チューナブルフィルタは、広帯域の光を透過する分光特性を有しており、後段のイメージセンサと組み合わされた場合にセンシング感度が高くなる傾向があるのに対して、特定用途専用フィルタは、検出対象に応じて狭帯域の光を透過する分光特性を有することが求められたり、広帯域の光を透過する分光特性を有することが求められたりする。また、複数種類の特定用途専用フィルタが用いられる場合には、それぞれの分光特性は互いに大きく異なる場合がある。

このように、フィルタの透過率またはイメージセンサの感度等により、画素単位での出力感度が異なるため、本実施形態に係る撮像装置１００は、フィルタまたは露光制御の工夫により各波長帯域の信号をより適切に取得する。

例えば、図３のａに示すような、４×４のアレイ状に配置された画素について、各画素の出力感度が、チューナブルフィルタ（Ａ）、特定用途専用フィルタ１（Ｂ）、特定用途専用フィルタ２（Ｃ）という順に高い場合について考える。この場合、図３のｂ−１に示すように、撮像装置１００は、各画素の出力感度に応じて、チューナブルフィルタ（Ａ）、特定用途専用フィルタ１（Ｂ）、特定用途専用フィルタ２（Ｃ）という順に各画素の露光時間を短く調節する。このように、撮像装置１００は、画素毎に露光時間を制御することで適切な画像を取得することができる。

なお、図３のｂ−２に示すように、各画素に適した露光時間がそれぞれ異なる場合には、撮像装置１００は、露光時間毎に撮像処理を行ってもよい。より具体的には、撮像装置１００は、チューナブルフィルタ（Ａ）に適した露光を行った上で１回目の撮像処理を行い、その後、特定用途専用フィルタ１（Ｂ）に適した露光を行った上で２回目の撮像処理を行い、最後に、特定用途専用フィルタ２（Ｃ）に適した露光を行った上で３回目の撮像処理を行ってもよい。

また、図４のａには、特定用途専用フィルタ１（Ｂ）の画素数および特定用途専用フィルタ２（Ｃ）の画素数が増加されることで、図４のｂに示すように、チューナブルフィルタ（Ａ）、特定用途専用フィルタ１（Ｂ）および特定用途専用フィルタ２（Ｃ）それぞれの画素の露光時間が略同一になるように調節された場合の例が示されている。

また、図５のａには、チューナブルフィルタ（Ａ）、特定用途専用フィルタ１（Ｂ）および特定用途専用フィルタ２（Ｃ）それぞれの画素の出力感度が略同一になるように、各フィルタの透過率が調節された場合の例が示されている。これによって、図５のｂに示すように、撮像装置１００は、チューナブルフィルタ（Ａ）、特定用途専用フィルタ１（Ｂ）および特定用途専用フィルタ２（Ｃ）それぞれの画素の露光時間を略同一に設定することができる。

なお、上記の例では、一つのイメージセンサ上にチューナブルフィルタと特定用途専用フィルタの両方が配置されていた。しかし、これに限定されず、例えば、撮像装置１００が複眼カメラのように複数の撮像機構を備えている場合、チューナブルフィルタおよび特定用途専用フィルタは別々のイメージセンサ１５０上に配置されてもよい。この場合には、撮像装置１００は、イメージセンサ毎に露光時間を制御することによって、適切な画像を取得することができる。また、図５に示した例のように、各イメージセンサの露光時間が略同一になるように、各イメージセンサ上に配置される各フィルタの透過率が調節されてもよい。

ここで、本実施形態に係る撮像装置１００は、ドローンなどを含むＵＡＶ（無人航空機：Unmanned Aerial Vehicle）に搭載されて、上空から地上を撮像するとする。そして、撮像装置１００によって撮像された画像は、地上における植生の分布状況や活性度などの植生状態を示す所定の植生指数の算出に用いられる。

このとき、植物の種類および成長段階に応じて、解析すべき植生指数の種類が異なる。例えば、濃い緑色の植物については、成長段階では、その変化を的確にとらえるために、ＮＤＶＩ（正規化植生指標：Normalized Difference Vegetation Index）という植生指数の解析が有効である。ＮＤＶＩの算出には、赤色光の波長帯域の画像およびＮＩＲ（近赤外：Near InfraRed）の波長帯域の画像が取得される必要がある。また、植物がある程度成長した後においては、その変化を的確にとらえるためには、ＧＮＤＶＩ（Green Normalized Difference Vegetation Index）という植生指数の解析が有効である。ＧＮＤＶＩの算出には、緑色光の波長帯域の画像およびＮＩＲの波長帯域の画像が取得される必要がある。さらに、稲、麦などについては、収穫期においてそれらの変化を的確にとらえるために、再度ＮＤＶＩの解析が有効となる。

このように、植物の種類および成長段階に応じて、解析すべき植生指数の種類が異なるため、撮像後にデータ解析を行う際に、チューナブルに波長抽出が可能な本実施形態に係る撮像装置１００が有効である。上記の植生指数の解析に用いられる信号の半値幅は、約５０〜１００［ｎｍ］と比較的大きいため、撮像装置１００は、数〜数十種類程度のチューナブルフィルタを用いて処理を行うことができるため、解像度を維持しつつ、チューナブルに波長を抽出することができる。

また、植物の光合成の様子（例えば、植物の光合成スピード等）を検出するＰＲＩ（光合成の熱放散の指標：Photochemical Reflectance Index）およびＳＩＦ（クロロフィル蛍光の指標：Solar-Induced Fluorescence）等の植生指数の解析に用いられる信号の半値幅は、約１〜２０［ｎｍ］と比較的狭い。撮像装置１００は、上記のとおり、チューナブルフィルタだけでなく特定用途専用フィルタも備えているため、特定用途専用フィルタを用いてＰＲＩまたはＳＩＦの測定も可能である。すなわち、撮像装置１００は、上記のＮＤＶＩまたはＧＮＤＶＩの測定と、ＰＲＩまたはＳＩＦの測定を同時に実現することができる。

なお、本開示の実施形態は上記に限定されない。例えば、撮像装置１００は、ＵＡＶに搭載されていなくてもよい。また、撮像装置１００による撮像処理の対象は植生に限定されない。例えば、撮像装置１００は、人工衛星、トラクターなどの車両に搭載されてもよい。また、撮像装置１００による撮像処理の対象は、インフラ点検の対象となるビルや橋梁などの構造物であってもよいし、FA（Factory Automation）における検品対象などであってもよい。

（２．２．構成例）
上記では、本開示の一実施形態の概要について説明した。続いて、本実施形態に係る撮像装置１００の構成例について説明する。

図６に示すように、撮像装置１００は、撮像光学系１１０と、露光処理部１２０と、露光制御部１３０と、フィルタ１４０と、イメージセンサ１５０と、出力部１６０と、信号処理部１７０と、記憶部１８０と、を備える。

撮像光学系１１０は、撮像時に使用される複数のレンズ等の光学素子を備える構成である。被写体からの光は、撮像光学系１１０を介して後段の露光処理部１２０へ導光される。なお、撮像光学系１１０が備える光学素子の種類および配置等は特に限定されない。

露光処理部１２０は、露光に関する処理を行う構成である。より具体的には、露光処理部１２０は、露光制御部１３０からの制御信号に基づいてシャッタや絞り（IRIS）の開放及び閉鎖を制御することにより露光を開始及び停止する。なお、露光処理部１２０が備える露光処理のための機構は特に限定されない。

露光制御部１３０は、露光処理部１２０による露光処理を制御する構成である。より具体的には、露光制御部１３０は、フィルタ１４０およびイメージセンサ１５０の分光感度、フィルタ１４０の構成（チューナブルフィルタおよび特定用途専用フィルタの構成）、フィルタ１４０の透過率または被写体の反射率等に応じて画素単位で露光制御を行う。露光制御部１３０は、露光時間または露光のタイミング等の情報を含む制御信号を生成し、当該制御信号を露光処理部１２０に提供することで、露光処理部１２０による露光処理を制御する。また、露光制御部１３０は、イメージセンサ１５０の感度を制御してもよい。なお、上記のとおり、画素毎の露光時間が略同一になるようにフィルタ１４０の透過率等が調節されている場合には、露光制御部１３０は、露光時間の制御を行わなくてもよい。なお、露光制御部１３０による露光制御の方法は上記に限定されない。

フィルタ１４０は、上記のとおり、複数のチューナブルフィルタおよび複数の特定用途専用フィルタがアレイ状に周期的に配置されたフィルタである。ここで、ＰＲＩの算出用に、波長が約５３１［ｎｍ］の光を透過する特定用途専用フィルタと、約５７０［ｎｍ］の光を透過する特定用途専用フィルタが用いられ、ＳＩＦの算出用に、波長が約７６１［ｎｍ］の光を透過する特定用途専用フィルタと、約７５８［ｎｍ］の光を透過する特定用途専用フィルタが用いられるとする。

イメージセンサ１５０は、例えばＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary
MOS）センサなどの撮像素子であり、受光面を構成する画素ごとに受光した光量に応じた強度の信号を出力することにより、当該受光面への入射光に応じた画像データを取得する構成である。前段のフィルタ１４０および当該イメージセンサ１５０によって、チューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、特定用途に使用される第２の波長帯域の信号を検出する第２の検出部が構成される。なお、イメージセンサ１５０の種類は特に限定されない。また、本実施形態においては、イメージセンサ１５０が画像データを取得する場合を主として説明するが、これに必ずしも限定されない。例えば、イメージセンサ１５０は、スペクトル情報などの、イメージセンサ１５０によって一般に取得可能なデータを取得してもよい。

出力部１６０は、イメージセンサ１５０によって取得された画像データ（Ｒａｗデータ）を出力し、信号処理部１７０に提供する機能構成である。

信号処理部１７０は、出力部１６０によって出力された画像データ（Ｒａｗデータ）を取得し（換言すると、信号処理部１７０は取得部としても機能する）、当該画像データに対して各種信号処理を行う構成である。例えば、信号処理部１７０は、出力部１６０によって出力された画像データに対してデモザイク処理、逆マトリクス演算処理等を行うことでマルチスペクトル画像（または、マルチスペクトル情報などの各種データ）を生成する。ここで、デモザイク処理とは、単に各画素の画像データを収集することを指してもよいし、欠陥画素となっている画素を、周囲の画素を利用して補間することを指してもよい。信号処理部１７０は、後者のデモザイク処理を行うことで、マルチスペクトル画像をより滑らかにすることができる。また、信号処理部１７０は、前者のデモザイク処理（単に各画素の画像データを収集すること）を行うことで、信号処理の負荷を低減させることができる。なお、デモザイク処理は必須ではなく、取得された画像データに応じて適宜省略され得る。

また、信号処理部１７０は、生成したマルチスペクトル画像を用いて、ＮＤＶＩ、ＧＮＤＶＩ、ＰＲＩまたはＳＩＦ等の植生指数を算出する。より具体的には、信号処理部１７０は、チューナブルフィルタの画素の画像データを用いて、以下の（式１）でＮＤＶＩを算出し、（式２）でＧＮＤＶＩを算出する。なお、（式１）における「ＲＥＤ」は赤色光の波長帯域の画像データを指し、（式２）における「ＧＲＮ」は緑色光の波長帯域の画像データを指し、（式１）および（式２）における「ＮＩＲ」はＮＩＲの波長帯域の画像データを指す。

また、信号処理部１７０は、特定用途専用フィルタの画素の画像データを用いて、以下の（式３）でＰＲＩを算出し、（式４）でＳＩＦを算出する。なお、（式３）における「λ₅₃₁」は、波長が約５３１［ｎｍ］の画像を指し、「λ₅₇₀」は、波長が約５７０［ｎｍ］の画像を指す。また、（式４）における「λ₇₆₁」は、波長が約７６１［ｎｍ］の画像を指し、「λ₇₅₈」は、波長が約７５８［ｎｍ］の画像を指し、「ｋ」は、暗線による所定の係数を指す。

さらに、信号処理部１７０は、上記で算出した各種植生指数に基づいて植生の状態の診断を行うことができる。より具体的には、信号処理部１７０は、ＮＤＶＩおよびＧＮＤＶＩに基づいて植生のクロロフィルの状態を診断することができる。また、信号処理部１７０は、ＰＲＩおよびＳＩＦに基づいて光合成の状態を診断することができる。植生のクロロフィルの状態が良く、光合成の状態が悪い場合には、その状態を放置しておくと植物に悪影響があるため、信号処理部１７０は、迅速な対処が必要であると診断し得る。また、植生のクロロフィルの状態が悪く、光合成の状態も悪い場合には、植物が既に枯れており手遅れであると考えられるため、信号処理部１７０は、対処が不要であると診断し得る。また、クロロフィルの状態が周囲の植物に比べて悪いが、光合成の状態が良い場合には、信号処理部１７０は、対処が行われることによって当該植物の状態が回復している状況であると診断し得る。

なお、信号処理部１７０による植生の状態の診断方法はこれらに限定されない。また、信号処理部１７０は、診断結果に基づいて所定の処理を行ってもよい。例えば、信号処理部１７０は、診断結果を所定のディスプレイ等に表示させたり、音声出力したりすること等によって、診断結果をユーザに通知してもよい。また、信号処理部１７０による処理内容は上記に限定されず、撮像装置１００の用途や、撮像対象等に応じて、信号処理部１７０による処理内容は適宜変更され得る。

記憶部１８０は、各種情報を記憶する構成である。例えば、記憶部１８０は、信号処理部１７０によって生成されたマルチスペクトル画像、算出された各種植生指数または植生の状態の診断結果等を記憶することができる。なお、記憶部１８０が記憶する情報はこれらに限定されない。例えば、記憶部１８０は、撮像装置１００の各構成によって使用されるプログラムまたはパラメータ等を記憶することもできる。

以上、撮像装置１００の構成例について説明した。なお、図６を用いて説明した上記の機能構成はあくまで一例であり、撮像装置１００の構成は係る例に限定されない。例えば、図６に示した例では、撮像処理から信号処理に至るまでの処理が撮像装置１００内で完結していたが、これらの処理の一部が外部装置によって実現されてもよい。

例えば、信号処理部１７０の一部またはすべての機能が、外部装置によって実現されてもよい。より具体的には、図７に示すように、信号処理部１７０の機能が、撮像装置１００ａと通信可能な情報処理装置２００ａ（例えば、ＰＣ（Personal Computer）等）によって実現されてもよい。この場合、記憶部１８０は、出力部１６０によって出力された画像データ（Ｒａｗデータ）を記憶する。そして、撮像装置１００ａが、情報処理装置２００ａと通信を行う通信部１９０をさらに備えることで、当該通信部１９０は、記憶部１８０に記憶されている画像データを情報処理装置２００ａに送信する。なお、通信部１９０と情報処理装置２００ａとの通信方式または回線の種類等は特に限定されない。また、通信帯域の確保のため、通信部１９０は、所定の可逆圧縮方式によって圧縮した後の画像データを情報処理装置２００ａへ送信してもよい。この場合、情報処理装置２００ａは、圧縮された画像データを復元した後に処理に用いる。

そして、情報処理装置２００ａは、撮像装置１００ａから受信した画像データに対して、デモザイク処理、逆マトリクス演算処理等の各種信号処理を行うことでマルチスペクトル画像を生成し、当該マルチスペクトル画像を用いて、ＮＤＶＩ等の植生指数を算出することで植生状態の診断を行う。撮像装置１００ａの処理性能は、小型化の要請等によって情報処理装置２００ａに比べて低い場合があるため、より処理負荷の高い信号処理が情報処理装置２００ａによって実現されることで、処理全体の速度または効率が向上し得る。なお、撮像装置１００ａ、および情報処理装置２００ａの処理内容は上記に限定されない。例えば、撮像装置１００ａが、（図６の撮像装置１００のように）信号処理部１７０を備えることで、当該信号処理部１７０がマルチスペクトル画像の生成までを行い、情報処理装置２００ａが植生指数の算出、および植生状態の診断などを行ってもよい。また、撮像装置１００ａの信号処理部１７０が植生指数の算出までを行い、情報処理装置２００ａが植生状態の診断を行ってもよい。

また、図８に示すように、撮像装置１００ｂの通信部１９０が、情報処理装置２００ａではなく、クラウドネットワーク上に設置されたクラウドサーバ２００ｂと通信することで、当該クラウドサーバ２００ｂによって信号処理部１７０の機能が実現されてもよい。これによって、処理全体の速度または効率がさらに向上し得る。なお、クラウドサーバ２００ｂは、撮像装置１００ｂと通信をするのではなく、撮像装置１００ｂと通信をする他の情報処理装置を介して画像データ等を取得してもよい。

さらに、上記のとおり、撮像装置１００は、複眼カメラのように複数の撮像機構を備えることができる。仮に、撮像装置１００が３組の撮像機構を備えている場合、図９に示すように、撮像装置１００ｃは、撮像光学系１１０ａ〜撮像光学系１１０ｃと、露光処理部１２０ａ〜露光処理部１２０ｃと、フィルタ１４０ａ〜フィルタ１４０ｃと、イメージセンサ１５０ａ〜イメージセンサ１５０ｃと、出力部１６０ａ〜出力部１６０ｃと、共有の信号処理部１７０と、共有の記憶部１８０と、を備え得る。

なお、この場合、チューナブルフィルタおよび特定用途専用フィルタは、別々のイメージセンサ１５０上に配置され得る。図９に示すように、イメージセンサ１５０ａ〜イメージセンサ１５０ｃからの出力を、共有の信号処理部１７０が処理することによって、撮像装置１００ｃは、一つのイメージセンサ１５０上にチューナブルフィルタと特定用途専用フィルタの両方が配置される場合と同様の効果を実現することができる。なお、図９を用いて説明した上記の機能構成はあくまで一例であり、複数の撮像機構を備える撮像装置１００ｃの構成は係る例に限定されない。

（２．３．信号処理の流れ）
上記では、本実施形態に係る撮像装置１００の構成例について説明した。続いて、図１０を参照して、本実施形態に係る信号処理の流れの一例について説明する。上記のとおり、外部装置である情報処理装置２００ａまたはクラウドサーバ２００ｂは撮像装置１００の信号処理部１７０の機能を実現することができるが、以下では、一例として、撮像装置１００の信号処理部１７０が全ての信号処理を実現する場合について説明する。また、前提として、当該処理には４×４のアレイ状に配置された画素が用いられ、４×４のうち１２画素はチューナブルフィルタ、他の２画素はＰＲＩ用の特定用途専用フィルタ、さらに他の２画素はＳＩＦ用の特定用途専用フィルタをそれぞれ設置されているとする。また、特定用途専用フィルタの分解能は高ければ高い（半値幅は狭ければ狭い）ほど好ましいが、少なくともターゲットとなる波長（例えばＰＲＩ用の特定用途専用フィルタについては約５３１［ｎｍ］、および約５７０［ｎｍ］など）を含む範囲で数［ｎｍ］オーダーの半値幅を有するフィルタを用いることができる。

ステップＳ１０００では、撮像装置１００の信号処理部１７０が、イメージセンサ１５０によって生成されたＲａｗデータを、出力部１６０を介して取得する。当該Ｒａｗデータには、チューナブルに波長抽出が可能な画素のデータと、特定用途に使用される特定の波長帯域を検出する画素のデータが含まれているとする。

ステップＳ１００４では、信号処理部１７０が、取得したＲａｗデータをフィルタ毎に分離し、チューナブルな画像１２枚、ＰＲＩ用の画像２枚（波長が約５３１［ｎｍ］の画像および約５７０［ｎｍ］の画像）、ＳＩＦ用の画像２枚（波長が約７６１［ｎｍ］の画像および約７５８［ｎｍ］の画像）を得る。ステップＳ１００８では、ユーザが算出対象の植生指数を選択する。なお、植生指数を選択する主体はユーザ以外（例えば、所定の装置等）であってもよい。

ユーザが、算出対象の植生指数としてＮＤＶＩまたはＧＮＤＶＩを選択した場合、ステップＳ１０１２にて、信号処理部１７０は、チューナブルな画像１２枚に対してデモザイク処理を行う。なお、デモザイク処理は必須ではなく、取得された画像データに応じて適宜省略され得る。

ステップＳ１０１６では、信号処理部１７０がＮＩＲの波長帯域（波長：約８００［ｎｍ］）の画像を取得する。そして、ユーザが算出対象の植生指数としてＮＤＶＩを選択した場合には、信号処理部１７０は、ステップＳ１０２０にて赤色光（ＲＥＤ）の波長帯域（波長：約６５０［ｎｍ］）の画像を取得し、ステップＳ１０２４にてＮＩＲの波長帯域の画像および赤色光の波長帯域の画像を用いて上記の（式１）の演算を行うことでＮＤＶＩを算出する。

一方、ユーザが、算出対象の植生指数としてＧＮＤＶＩを選択した場合、信号処理部１７０は、ステップＳ１０２８にて緑色光の波長帯域（波長：約５５０［ｎｍ］）の画像を取得し、ステップＳ１０３２にてＮＩＲの波長帯域の画像および緑色光の波長帯域の画像を用いて上記の（式２）の演算を行うことでＧＮＤＶＩを算出する。

ステップＳ１００８にて、ユーザが、算出対象の植生指数としてＰＲＩを選択した場合、信号処理部１７０は、ステップＳ１０３６にて、ＰＲＩ用の画像２枚（波長が約５３１［ｎｍ］の画像および約５７０［ｎｍ］の画像）に対してデモザイク処理を行い、ステップＳ１０４０にて、上記の（式３）の演算を行うことでＰＲＩを算出する。また、ステップＳ１００８にて、ユーザが、算出対象の植生指数としてＳＩＦを選択した場合、信号処理部１７０は、ステップＳ１０４４にて、ＳＩＦ用の画像２枚（波長が約７６１［ｎｍ］の画像および約７５８［ｎｍ］の画像）に対してデモザイク処理を行い、ステップＳ１０４８にて、上記の（式４）の演算を行うことでＳＩＦを算出する。なお、ステップＳ１０３６、およびステップＳ１０４４においても、ステップＳ１０１２と同様に、デモザイク処理は必須ではなく、取得された画像データに応じて適宜省略され得る。

ステップＳ１０５２では、信号処理部１７０が、前段で算出した各種植生指数に基づいて植生の状態を診断することで一連の処理が終了する。植生指数に基づく植生の状態の診断方法の具体例については上記で説明したため、説明を省略する。なお、上記のとおり、信号処理部１７０は、診断結果を所定のディスプレイに表示する等の処理を適宜行ってもよい。

なお、図１０に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

＜３．実施例＞
上記では、本実施形態に係る信号処理の流れの一例について説明した。上記で説明してきた本開示の実施形態は様々な実施例に適用可能である。そこで、以降では、本開示の実施形態が適用された様々な実施例について説明する。

（３．１．第１の実施例）
まず、第１の実施例について説明する。図１１に示すように、本実施例においては、４×４のアレイ状に並んだ画素１０がセンシングの１画素に相当するように、フィルタ１４０の前段にオプティカルローパスフィルタが挿入されるとする。また、４×４のアレイ状に並んだ画素のうち、ＰＲＩの算出に用いられる２種類の特定用途専用フィルタ（約５３１［ｎｍ］の透過分光特性を有するＰＲＩ専用フィルタ（Ｂ１）および約５７０［ｎｍ］の透過分光特性を有するＰＲＩ専用フィルタ（Ｂ２））が１画素ずつ（計２画素）配置され、ＳＩＦの算出に用いられる２種類の特定用途専用フィルタ（約７６１［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ１）および約７５８［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ２））が１画素ずつ（計２画素）配置される。そして、広帯域（約２００〜６００［ｎｍ］）の透過分光特性を有するチューナブルフィルタ（Ａ）が残りの１２画素に配置される。

そして、被写体である植生からの反射光が図１２のａ‐１に示すような分光特性を有し、イメージセンサ１５０がフィルタ１４０を介して当該反射光を受光する場合について考える。チューナブルフィルタ（Ａ）が配置された１２画素は、ａ‐２に示すように、広帯域（約２００〜６００［ｎｍ］）の、互いに異なる分光特性を有している。チューナブルフィルタ（Ａ）が配置された１２画素がａ‐１に示すような反射光を受光した場合、各画素の出力感度は、ａ‐３に示すように、約１．０で均一であると仮定する。

それに対して、ＰＲＩの算出に用いられる２種類の特定用途専用フィルタが配置された各画素の出力感度は、ｂ‐３に示すように、約０．１２５（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／８）であるとする。また、約７６１［ｎｍ］は太陽光スペクトルで観察される暗線に相当する波長であるため、ＳＩＦの算出に用いられる２種類の特定用途専用フィルタのうち、約７６１［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ１）が配置された画素の出力感度は更に小さく、ｃ−３に示すように、約０．０４（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／２４）であるとする。また、ＳＩＦの算出に用いられる２種類の特定用途専用フィルタのうち、約７５８［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ２）が配置された画素の出力感度は、ｃ−３に示すように、約０．１２５（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／８）であるとする。

このような出力感度によって植生が撮像される場合において、露光制御部１３０は、各画素の出力感度に応じて各画素の露光時間を決定する。より具体的には、図１３に示すように、出力感度がチューナブルフィルタ（Ａ）の画素の約１／８であるＰＲＩ専用フィルタ（Ｂ１）、ＰＲＩ専用フィルタ（Ｂ２）およびＳＩＦ専用フィルタ（Ｃ２）の画素については、露光制御部１３０は、チューナブルフィルタ（Ａ）の画素の露光時間の約８倍の露光時間を設定する。また、出力感度がチューナブルフィルタ（Ａ）の画素の約１／２４であるＳＩＦ専用フィルタ（Ｃ１）の画素については、露光制御部１３０は、チューナブルフィルタ（Ａ）の画素の露光時間の約２４倍の露光時間を設定する。

（３．２．第２の実施例）
続いて、第２の実施例について説明する。本実施例は、出力感度に応じて各フィルタが配置される画素の数が調節される場合の例である。より具体的には、図１４に示すように、出力感度がチューナブルフィルタ（Ａ）の画素の約１／８であるＰＲＩ専用フィルタ（Ｂ１）、ＰＲＩ専用フィルタ（Ｂ２）およびＳＩＦ専用フィルタ（Ｃ２）は、実施例１の場合の８倍である８画素ずつ配置される。また、出力感度がチューナブルフィルタ（Ａ）の画素の約１／２４であるＳＩＦ専用フィルタ（Ｃ１）は、実施例１の場合の２４倍である２４画素配置される。

一方、チューナブルフィルタ（Ａ）は、実施例１の場合の１２画素よりも多い１６画素される。チューナブルフィルタ（Ａ）の画素数が増加することによって、図１５のａ−２およびａ−３に示すように、撮像装置１００は、実施例１に比べて、より多くの波長帯域の光を検出可能になるため、チューナブルな波長抽出の演算精度およびＳＮＲを改善することができ、半値幅の狭帯域化を実現することができる。図１５におけるその他のグラフは実施例１と同様であるため、説明を省略する。

本実施例のように、出力感度に応じて各フィルタが配置される画素の数が調節されることで、図１６に示すように、各画素の露光時間が略同一となるため、撮像装置１００は、一度に全画素についての撮像を行うことができる。

なお、第１の実施例においては、４×４のアレイ状に並んだ画素１０がセンシングの１画素に相当していたが、本実施例においては、８×８のアレイ状に並んだ画素１０がセンシングの１画素に相当するように、フィルタ１４０の前段にオプティカルローパスフィルタが挿入される。したがって、本実施例における解像度は、縦方向および横方向について第１の実施例の１／２になる。

（３．３．第３の実施例）
続いて、第３の実施例について説明する。本実施例は、各画素の出力感度が略同一になるように、各フィルタの透過率が調節される場合の例である。本実施例においては、図１７に示すように、第１の実施例と同様に、４×４のアレイ状に並んだ画素１０がセンシングの１画素に相当するように、フィルタ１４０の前段にオプティカルローパスフィルタが挿入されるとする。チューナブルフィルタ（Ａ）、ＰＲＩ専用フィルタ（Ｂ１、Ｂ２）およびＳＩＦ専用フィルタ（Ｃ１、Ｃ２）の構成についても、第１の実施例と同様であるため説明を省略する。

図１８のａ−３、ｂ−３およびｃ−３に示すように、本実施例においては、画素の出力感度が最も低いＳＩＦ専用フィルタ（Ｃ１）の透過率が１．０に調節され、ＰＲＩ専用フィルタ（Ｂ１）、ＰＲＩ専用フィルタ（Ｂ２）およびＳＩＦ専用フィルタ（Ｃ２）の透過率が０．３２に調節され、チューナブルフィルタ（Ａ）の透過率が０．０４に調節されているとする。なお、図１８におけるその他のグラフは実施例１と同様であるため、説明を省略する。これによって、図１９に示すように、各画素の露光時間が略同一となるため、撮像装置１００は、一度に全画素についての撮像を行うことができる。

なお、本実施例においては、第１の実施例と同様に、４×４のアレイ状に並んだ画素１０がセンシングの１画素に相当しているため、本実施例における解像度は、第１の実施例と略同一である。また、画素の出力感度が最も低いＳＩＦ専用フィルタ（Ｃ１）の透過率を基準に各フィルタの透過率が調節されるため、画素全体の露光時間が、第１の実施例に比べて長くなる。したがって、本実施例は、比較的高い解像度を要求される静止物体等が被写体であり、照度が比較的高い場合により適している。

（３．４．第４の実施例）
続いて、第４の実施例について説明する。本実施例は、撮像装置１００が３組の撮像機構を備えており、チューナブルフィルタ（Ａ）、ＰＲＩ専用フィルタ（Ｂ１、Ｂ２）およびＳＩＦ専用フィルタ（Ｃ１、Ｃ２）が別々のイメージセンサ１５０上に配置される場合の例である。

この場合、センシングの１画素の構成と露光時間の組み合わせは様々に考え得る。例えば、図２０のｄ−１に示すように、チューナブルフィルタ（Ａ）については４×４のアレイ状に並んだ１６種類の画素をセンシングの１画素とする。また、ＰＲＩ専用フィルタ（Ｂ１）およびＰＲＩ専用フィルタ（Ｂ２）については、それぞれ８画素ずつを含む４×４のアレイ状に並んだ画素をセンシングの１画素とする。さらに、ＳＩＦ専用フィルタ（Ｃ１）およびＳＩＦ専用フィルタ（Ｃ２）については、ＳＩＦ専用フィルタ（Ｃ１）１２画素と、ＳＩＦ専用フィルタ（Ｃ２）４画素を含む４×４のアレイ状に並んだ画素をセンシングの１画素とする。

このとき、チューナブルフィルタ（Ａ）およびＰＲＩ専用フィルタ（Ｂ１、Ｂ２）については、センシングの１画素の出力感度が略同一であるが、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）については、センシングの１画素の出力感度がチューナブルフィルタ（Ａ）およびＰＲＩ専用フィルタ（Ｂ１、Ｂ２）の約１／２である。したがって、図２１のｄ−１に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）およびＰＲＩ専用フィルタ（Ｂ１、Ｂ２）の画素の露光時間を略同一に設定するのに対し、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）の画素の露光時間を、チューナブルフィルタ（Ａ）およびＰＲＩ専用フィルタ（Ｂ１、Ｂ２）画素の約２倍に設定する。

また、図２０のｄ−２に示すように、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）について、ＳＩＦ専用フィルタ（Ｃ１）２４画素と、ＳＩＦ専用フィルタ（Ｃ２）８画素を含む４×８（または８×４）のアレイ状に並んだ画素をセンシングの１画素とした場合について考える（なお、チューナブルフィルタ（Ａ）およびＰＲＩ専用フィルタ（Ｂ１、Ｂ２）の構成は図２０のｄ−１と同様であるとする）。この場合、図２１のｄ−２に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）、ＰＲＩ専用フィルタ（Ｂ１、Ｂ２）およびＳＩＦ専用フィルタ（Ｃ１、Ｃ２）それぞれの画素の露光時間を略同一に設定する。

また、図２０のｄ−３に示すように、ＰＲＩ専用フィルタ（Ｂ１、Ｂ２）については、解像度を優先させるために、それぞれ２画素ずつを含む２×２のアレイ状に並んだ画素をセンシングの１画素とし、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）についても同様に、解像度を優先させるために、ＳＩＦ専用フィルタ（Ｃ１）３画素と、ＳＩＦ専用フィルタ（Ｃ２）１画素を含む２×２のアレイ状に並んだ画素をセンシングの１画素とする場合について考える（なお、チューナブルフィルタ（Ａ）の構成は図２０のｄ−１と同様であるとする）。この場合、図２１のｄ−３に示すように、露光制御部１３０は、ＰＲＩ専用フィルタ（Ｂ１、Ｂ２）の画素の露光時間を、チューナブルフィルタ（Ａ）の画素の約４倍に設定し、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）の画素の露光時間を、チューナブルフィルタ（Ａ）の画素の約８倍に設定する。

なお、上記の各実施例と同様に、センシングの１画素の大きさに応じてオプティカルローパスフィルタが各フィルタの前段に挿入されるとする。

（３．５．第５の実施例）
続いて、第５の実施例について説明する。本実施例は、特定用途専用フィルタであるＰＲＩ専用フィルタがＮＤＶＩ専用フィルタに変更された場合の例である。より具体的には、図２２に示すように、本実施例においては、４×４のアレイ状に並んだ画素１０がセンシングの１画素に相当するように、フィルタ１４０の前段にオプティカルローパスフィルタが挿入されるとする。また、４×４のアレイ状に並んだ画素のうち、ＮＤＶＩの算出に用いられる２種類の特定用途専用フィルタ（赤色光（ＲＥＤ）の波長帯域である波長６５０［ｎｍ］、半値幅５０〜１００［ｎｍ］の透過分光特性を有するＮＤＶＩ専用フィルタ（Ｂ１）および、ＮＩＲの波長帯域である波長８００［ｎｍ］、半値幅５０〜１００［ｎｍ］の透過分光特性を有するＮＤＶＩ専用フィルタ（Ｂ２））が１画素ずつ（計２画素）配置され、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）が１画素ずつ（計２画素）配置される。また、チューナブルフィルタ（Ａ）が残りの１２画素に配置される。

ここで、被写体が植生である場合には、ＮＩＲの信号が可視域の信号に比べて大きいため、可視域の信号を検出しようとする場合、ＮＩＲの信号が大きなノイズ源となることが多い。そこで、図２３のａ−３に示すように、本実施例においては、チューナブルフィルタ（Ａ）の透過分光特性が強制的に可視域に制限される（図２３のａ−３における、枠線１２が可視域を示している）。そして、撮像装置１００は、チューナブルフィルタ（Ａ）の画素からではなく、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素から、赤色光（ＲＥＤ）およびＮＩＲの信号を取得する。これによって、撮像装置１００は、ＮＤＶＩの精度を向上させることができ、かつ、チューナブルフィルタ（Ａ）の画素によって得られる信号の精度も向上させることができる。

なお、チューナブルフィルタ（Ａ）の透過分光特性を強制的に可視域に制限する方法は特に限定されない。例えば、可視域の透過分光特性を有するフィルタがチューナブルフィルタ（Ａ）として用いられてもよいし、チューナブルフィルタ（Ａ）の前段に可視域の透過分光特性を有する別のフィルタが設置されてもよい。

また、本実施例では、ＮＤＶＩ専用フィルタ（Ｂ１）の画素によって赤色光の波長帯域の画像が取得される旨を説明したが、これに限定されない。より具体的には、上記の実施例のように、赤色光の波長帯域の画像はチューナブルフィルタ（Ａ）の画素によって取得されてもよい。

また、図２３のａ‐４、ｂ‐４およびｃ‐４に示すように、チューナブルフィルタ（Ａ）の画素の出力感度が約１．０であり、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素の出力感度が約０．５（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／２）であると仮定する。また、７６１［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ１）の画素の出力感度が約０．０４（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／２４）であり、７５８［ｎｍ］の透過分光特性を有するＳＩＦ専用フィルタ（Ｃ２）の画素の出力感度が約０．１２５（換言すると、チューナブルフィルタ（Ａ）の画素の出力感度の約１／８）であるとする。

このような出力感度によって植生が撮像された場合における、それぞれの画素の露光時間について説明すると、図２４に示すように、露光制御部１３０は、出力感度がチューナブルフィルタ（Ａ）の画素の約１／２であるＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素の露光時間を、チューナブルフィルタ（Ａ）の画素の約２倍に設定する。また、露光制御部１３０は、出力感度がチューナブルフィルタ（Ａ）の画素の約１／２４であるＳＩＦ専用フィルタ（Ｃ１）の画素の露光時間を、チューナブルフィルタ（Ａ）の画素の約２４倍に設定する。また、露光制御部１３０は、出力感度がチューナブルフィルタ（Ａ）の画素の約１／８であるＳＩＦ専用フィルタ（Ｃ２）の画素の露光時間を、チューナブルフィルタ（Ａ）の画素の約８倍に設定する。

続いて、本実施例が３組の撮像機構を備える撮像装置１００によって実現される場合の例について説明する。例えば、図２５のｄ−１に示すように、チューナブルフィルタ（Ａ）については３×３のアレイ状に並んだ９種類の画素がセンシングの１画素になるとする。これによって、４×４のアレイ状に並んだ１６種類の画素をセンシングの１画素としていた実施例に比べて、解像度が高くなる。また、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）については、それぞれ２画素ずつを含む２×２のアレイ状に並んだ画素がセンシングの１画素になるとする。さらに、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）については、ＳＩＦ専用フィルタ（Ｃ１）１２画素と、ＳＩＦ専用フィルタ（Ｃ２）４画素を含む４×４のアレイ状に並んだ画素がセンシングの１画素になるとする。

このとき、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）については、センシングの１画素の出力感度が略同一であるが、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）については、センシングの１画素の出力感度がチューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の約１／２である。したがって、図２６のｄ−１に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の露光時間を略同一に設定し、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）の露光時間を、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素の約２倍に設定する。

また、図２５のｄ−２に示すように、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）について、ＳＩＦ専用フィルタ（Ｃ１）２４画素と、ＳＩＦ専用フィルタ（Ｃ２）８画素を含む４×８（または８×４）のアレイ状に並んだ画素がセンシングの１画素にされた場合について考える（なお、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の構成は図２５のｄ−１と同様であるとする）。この場合、図２６のｄ−２に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）およびＳＩＦ専用フィルタ（Ｃ１、Ｃ２）それぞれの画素の露光時間を略同一に設定する。

また、図２５のｄ−３に示すように、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）については、解像度を優先させるために、ＳＩＦ専用フィルタ（Ｃ１）３画素と、ＳＩＦ専用フィルタ（Ｃ２）１画素を含む２×２のアレイ状に並んだ画素がセンシングの１画素にされる場合について考える（なお、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の構成は図２５のｄ−１と同様であるとする）。この場合、図２６のｄ−３に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素の露光時間を略同一に設定し、ＳＩＦ専用フィルタ（Ｃ１、Ｃ２）の画素の露光時間を、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の画素の約８倍に設定する。

なお、上記の各実施例と同様に、センシングの１画素の大きさに応じてオプティカルローパスフィルタが各フィルタの前段に挿入されるとする。

（３．６．第６の実施例）
続いて、第６の実施例について説明する。本実施例は、第５の実施例（図２５）にてＳＩＦ専用フィルタ（Ｃ１、Ｃ２）が実装された撮像機構が、ＲＧＢカメラに変更された場合の例である。より具体的には、図２７に示すように、ＲＧＢカメラ（Ｃ１、Ｃ２、Ｃ３）については、赤色光用のフィルタ（ＲＧＢカメラ（Ｃ１））１画素、緑色光用のフィルタ（ＲＧＢカメラ（Ｃ２））２画素および青色光用のフィルタ（ＲＧＢカメラ（Ｃ３））１画素を含む２×２のアレイ状に並んだ画素をセンシングの１画素とする（なお、チューナブルフィルタ（Ａ）およびＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）の構成は図２５と同様であるとする）。このとき、図２８のｃ−３に示すように、ＲＧＢカメラ（Ｃ１、Ｃ２、Ｃ３）の画素の出力感度は、それぞれ約１．０になるように調節されているとする。

このような出力感度によって植生が撮像された場合における、それぞれの画素の露光時間について説明すると、図２９に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）およびＲＧＢカメラ（Ｃ１、Ｃ２、Ｃ３）それぞれの画素の露光時間を略同一に設定する。

本実施例においても、センシングの１画素に相当する画素数に応じて、フィルタ１４０の前段にオプティカルローパスフィルタが挿入されることになる。但し、ＲＧＢのベイヤ配列については、より高度なデモザイク処理が施されるため、ＭＴＦ（Modulation Transfer Function) についてＧＲＮのサンプル間隔に合わせてオプティカルローパスフィルタが挿入される場合が多い。

（３．７．第７の実施例）
続いて、第７の実施例について説明する。本実施例は、図３０に示すように、第６の実施例にて用いられたＲＧＢカメラの代りにＢ＆Ｗカメラ（または、白黒カメラ）が用いられる場合の例である。このとき、図３１のｃ−３に示すように、Ｂ＆Ｗカメラ（Ｃ）の画素の出力感度は、約１．０になるように調節されているとする。

このような出力感度によって植生が撮像された場合における、それぞれの画素の露光時間について説明すると、図３２に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）およびＢ＆Ｗカメラ（Ｃ）それぞれの画素の露光時間を略同一に設定する。

ここで、図３３を参照して、第６の実施例にてＲＧＢカメラが搭載されること、および、第７の実施例にてＢ＆Ｗカメラが搭載されることのメリットについて説明する。図３３は、ＲＧＢカメラまたはＢ＆Ｗカメラが搭載された場合における信号処理の流れの一例を示すフローチャートである。上記のとおり、外部装置である情報処理装置２００ａまたはクラウドサーバ２００ｂは撮像装置１００の信号処理部１７０の機能を実現することができるが、以下では、一例として、撮像装置１００の信号処理部１７０が全ての信号処理を実現する場合について説明する。

ステップＳ１１００では、撮像装置１００の信号処理部１７０が、イメージセンサ１５０によって生成されたＲａｗデータを、出力部１６０を介して取得する。ステップＳ１１０４では、信号処理部１７０が、取得したＲａｗデータをフィルタ毎に分離し、チューナブルな画像９枚、ＮＤＶＩ用の画像２枚（赤色光（ＲＥＤ）の波長帯域の画像およびＮＩＲの波長帯域の画像）、ＲＧＢの各波長帯域の画像３枚またはＢ＆Ｗ画像（または、白黒画像）１枚を得る。ステップＳ１１０８では、ユーザが算出対象の植生指数を選択する。

ユーザが算出対象の植生指数としてＧＮＤＶＩを選択した場合、信号処理部１７０は、ステップＳ１１１２にて、チューナブルな画像９枚に対してデモザイク処理を行い、ステップＳ１１１６にて、緑色光の波長帯域（波長：約５５０［ｎｍ］）の画像を取得する。その後、信号処理部１７０は、ステップＳ１１２０にて、ＮＩＲの波長帯域（波長：約８００［ｎｍ］）の画像に対してデモザイク処理を行い、ステップＳ１１２４にて、ＮＩＲの波長帯域の画像および緑色光の波長帯域の画像を用いて上記の（式２）の演算を行うことでＧＮＤＶＩを算出する。

ステップＳ１１０８にて、ユーザが算出対象の植生指数としてＮＤＶＩを選択した場合、信号処理部１７０は、ステップＳ１１２０にて、ＮＩＲの波長帯域の画像に対してデモザイク処理を行い、ステップＳ１１２８にて、赤色光の波長帯域（波長：約６５０［ｎｍ］）の画像に対してデモザイク処理を行う。ステップＳ１１３２では、信号処理部１７０が、ＮＩＲの波長帯域の画像および赤色光の波長帯域の画像を用いて上記の（式１）の演算を行うことでＮＤＶＩを算出する。ステップＳ１１３６では、信号処理部１７０が、前段で算出したＧＮＤＶＩまたはＮＤＶＩに基づいて植生の状態を診断する。

ステップＳ１１４０では、信号処理部１７０が、ＲＧＢの各波長帯域の画像またはＢ＆Ｗ画像に対してデモザイク処理を行う。その後、信号処理部１７０は、ステップＳ１１４４にて、高解像度のＲＧＢの各波長帯域の画像またはＢ＆Ｗ画像をディスプレイに表示し、ステップＳ１１４８にて、当該画像に対して、ＧＮＤＶＩまたはＮＤＶＩの低解像度の植生指数画像をオーバーレイ表示（重畳表示）することで一連の処理が終了する（この場合、信号処理部１７０は表示制御部としても機能する）。これによって、撮像装置１００は、ＧＮＤＶＩまたはＮＤＶＩの植生指数画像の精度を高く維持しつつ、解像度の高いＲＧＢの各波長帯域の画像またはＢ＆Ｗ画像も視認可能に表示することで、問題箇所を特定し易くすることができる。

なお、図３３に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。また、上記では、植生指数としてＧＮＤＶＩまたはＮＤＶＩが用いられていたが、もちろん、ＰＲＩまたはＳＩＦが算出されてオーバーレイ表示されてもよい。また、ステップＳ１１１２、ステップＳ１１２０、ステップＳ１１２８、およびステップＳ１１４０において、デモザイク処理は必須ではなく、取得された画像データに応じて適宜省略され得る。

（３．８．第８の実施例）
上記では、チューナブルフィルタおよび特定用途専用フィルタの組み合わせ、および、露出制御等について説明してきた。続いては、図３４を参照して、チューナブルフィルタおよび特定用途専用フィルタの構成方法について説明する。

図３４のａは、チューナブルフィルタおよび特定用途専用フィルタについて、画素レベルのマイクロフィルタがアレイ状に配置された場合の例を示している。マイクロフィルタは、数［ｎｍ］〜数［μｍ］のガラスに対して誘電体多層膜が蒸着されること等によって形成され、その透過分光特性（例えば、透過可能な光の波長帯域または半値幅等）は特に限定されない。

図３４のｂは、チューナブルフィルタが、プラズモン共鳴の原理を利用したプラズモン共鳴フィルタで形成され、特定用途専用フィルタが、図３４のａと同様に、画素レベルのマイクロフィルタがアレイ状に配置されることで形成される場合の例を示している。プラズモン共鳴フィルタは、１枚の金属板に数［ｎｍ］の穴が数十〜数百程度あけられ、その穴径とピッチによって透過可能な光の波長帯域が変化するフィルタである。なお、プラズモン共鳴フィルタの穴径とピッチは特に限定されない。

続いて、ＲＧＢセンサとデュアルバンドパスフィルタ（Dual Band Pass filter。以降「ＤＢＰ」と表記する場合もある）が組み合わされることで、ＰＲＩ用およびＳＩＦ用の特定用途専用フィルタが実現される場合の例である。図３５に示すように、約５３１［ｎｍ］と約７６１［ｎｍ］の透過分光特性を有するＤＢＰ１が備えられたカメラ（以降、「ＤＢＰ１カメラ」と呼称する）と、約５７０［ｎｍ］と約７５８［ｎｍ］の透過分光特性を有するＤＢＰ２が備えられたカメラ（以降、「ＤＢＰ２カメラ」と呼称する）と、が用いられる場合について考える。

そして、図３５に示すように、ＤＢＰ１カメラの赤色光（ＲＥＤ）の波長帯域の画素を取得することで、約７６１［ｎｍ］の波長帯域の画像が抽出される。また、緑色光（ＧＲＮ）の波長帯域の画素を取得することで、約５３１［ｎｍ］と約７６１［ｎｍ］の波長帯域が混在する画像が抽出される。約５３１［ｎｍ］と約７６１［ｎｍ］のそれぞれが混在する割合は、図３５に示すように、赤色光（ＲＥＤ）の波長帯域の画素の出力を１としたときの緑色光（ＧＲＮ）の波長帯域の画素の出力Ｋ１で表される。すなわち、約５３１［ｎｍ］の波長帯域の画像λ₅₃₁は、以下の（式５）によって算出される。なお、（式５）における「ＧＲＮ」は、緑色光（ＧＲＮ）の波長帯域の画素の出力を指す。また、「ＲＥＤ」は、赤色光（ＲＥＤ）の波長帯域の画素の出力を指し、上記のとおり、約７６１［ｎｍ］の波長帯域の画像λ₇₆₁となる。

また、図３５に示すように、ＤＢＰ２カメラの赤色光（ＲＥＤ）の波長帯域の画素を取得することで、約７５８［ｎｍ］の波長帯域の画像が抽出される。また、緑色光（ＧＲＮ）の波長帯域の画素を取得することで、約５７０［ｎｍ］と約７５８［ｎｍ］の波長帯域が混在する画像が抽出される。約５７０［ｎｍ］と約７５８［ｎｍ］のそれぞれが混在する割合は、図３５に示すように、赤色光（ＲＥＤ）の波長帯域の画素の出力を１としたときの緑色光（ＧＲＮ）の波長帯域の画素の出力Ｋ２で表される。すなわち、約５７０［ｎｍ］の波長帯域の画像λ₅₇₀は、以下の（式６）によって算出される。なお、（式６）における「ＧＲＮ」は、緑色光（ＧＲＮ）の波長帯域の画素の出力を指す。また、「ＲＥＤ」は、赤色光（ＲＥＤ）の波長帯域の画素の出力を指し、上記のとおり、約７５８［ｎｍ］の波長帯域の画像λ₇₅₈となる。

そして、信号処理部１７０は、ＤＢＰ１カメラから得た約５３１［ｎｍ］の波長帯域の画像λ₅₃₁と、ＤＢＰ２カメラから得た約５７０［ｎｍ］の波長帯域の画像λ₅₇₀を用いて、上記の（式３）の演算を行うことでＰＲＩを算出することができる。また、信号処理部１７０は、ＤＢＰ１カメラから得た約７６１［ｎｍ］の波長帯域の画像λ₇₆₁と、ＤＢＰ２カメラから得た約７５８［ｎｍ］の波長帯域の画像λ₇₅₈を用いて、上記の（式４）の演算を行うことでＳＩＦを算出することができる。

（３．９．第９の実施例）
続いて、第９の実施例について説明する。本実施例は、第６の実施例（図２７）の特定用途専用フィルタがＲＧＢセンサとＤＢＰによって実現される場合の例である。より具体的には、図３６に示すように、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）がＲＧＢセンサとＤＢＰによって実現される場合について考える。この場合、図３６に示すように、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）については、赤色光（ＲＥＤ）用のフィルタ１画素、ＮＩＲ用のフィルタ１画素および緑色光（ＧＲＮ）用のフィルタ２画素を含む２×２のアレイ状に並んだ画素がセンシングの１画素となる。換言すると、本実施例においては、ＮＤＶＩの算出に使用される赤色光（ＲＥＤ）の波長帯域の画素数とＮＩＲの波長帯域の画素数が、第６の実施例（図２７）の１／２しか存在しない。

そのため、本実施例においては、図３７のｂ−２に示すように、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）およびイメージセンサ１５０の分光特性における半値幅を第６の実施例（図２８のｂ−２参照）の約２倍にすることで、図３７のｂ−３に示すように、画素単位では第６の実施例の約２倍の出力感度（ＮＤＶＩ専用フィルタ全体としては略同一の出力感度）を実現することができる。これによって、図３８に示すように、露光制御部１３０は、チューナブルフィルタ（Ａ）、ＮＤＶＩ専用フィルタ（Ｂ１、Ｂ２）およびＲＧＢカメラ（Ｃ１、Ｃ２、Ｃ３）それぞれの画素の露光時間を略同一に設定する。本実施例によって、撮像装置１００は、高画質で高解像度の、特定用途専用フィルタの画素の出力を用いてチューナブルフィルタの画素の出力の画質または解像度を改善することができる。なお、特定用途専用フィルタの画素の出力を用いてチューナブルフィルタの画素の出力が適宜補正されてもよい。

ここで、図３７のｂ−２において、赤色光の半値幅がＮＩＲの半値幅よりも大きいのは、赤色光がＮＩＳの波長帯域の光よりも多く植物に吸収されるためであるところ、赤色光がどの程度吸収されたかが植生状態の診断において重要な情報となるため、赤色光に対する出力感度がどの程度高く設定されるかが重要なポイントであることが考慮されることが望ましい。

（３．１０．第１０の実施例）
上記で説明した第４の実施例、第５の実施例、第６の実施例、第７の実施例のように、撮像装置１００が複数の撮像機構を備えており、チューナブルフィルタおよび特定用途専用フィルタが別々のイメージセンサ１５０上に配置される場合について考える。この場合、撮像装置１００は、チューナブルフィルタおよび特定用途専用フィルタの前段にダイクロイックフィルタを備えることで、当該ダイクロイックフィルタによって入射光を複数に分離してもよい。これによって、撮像装置１００は、分離した入射光をチューナブルフィルタおよび特定用途専用フィルタそれぞれに入射させることができ、光軸を変更することなく適切な画像を取得することができる。

まず、第４の実施例に対してダイクロイックフィルタを適用した場合の例について説明する。図３９に示すように、撮像装置１００は、チューナブルフィルタおよび特定用途専用フィルタの前段にダイクロイックフィルタ１およびダイクロイックフィルタ２を備えることで、入射光を３種に分離する。

ここで、図４０に示すように、ダイクロイックフィルタ１は、全域（この例では、４００〜１０００［ｎｍ］とする）にわたって５０［％］の透過率および５０［％］の反射率を有するとする。また、ダイクロイックフィルタ２については、４００〜７００［ｎｍ］では透過率が０［％］、反射率が１００［％］であり、７００〜１０００［ｎｍ］では、透過率が１００［％］、反射率が０［％］であるとする。そして、図４１に示すように、ダイクロイックフィルタ１で反射した光がチューナブルフィルタへ入射し、ダイクロイックフィルタ２で反射した光がＰＲＩ専用フィルタへ入射し、ダイクロイックフィルタ１およびダイクロイックフィルタ２を透過した光がＳＩＦ専用フィルタへ入射する。この場合、チューナブルフィルタ、ＰＲＩ専用フィルタおよびＳＩＦ専用フィルタのそれぞれに、入射光の５０［％］が入射するため、撮像装置１００は、各フィルタの画素から適切な画像を取得することができる。より具体的には、撮像装置１００は、光軸が一致し、各画素の位置が互いに一致した画像を取得することができる。

続いて、第５の実施例に対してダイクロイックフィルタを適用した場合の例について説明する。入射光と、ダイクロイックフィルタ１およびダイクロイックフィルタ２との位置関係は図３９に示した例と同様である。

図４２に示すように、ダイクロイックフィルタ１については、４００〜８００［ｎｍ］では透過率が５０［％］、反射率が５０［％］であり、８００〜１０００［ｎｍ］では、透過率が１００［％］、反射率が０［％］であるとする。また、ダイクロイックフィルタ２については、４００〜８００［ｎｍ］では透過率が０［％］、反射率が１００［％］であり、８００〜１０００［ｎｍ］では、透過率が６６［％］、反射率が３３［％］であるとする。そして、図４３に示すように、ダイクロイックフィルタ１で反射した光がチューナブルフィルタへ入射し、ダイクロイックフィルタ２で反射した光がＮＤＶＩ専用フィルタへ入射し、ダイクロイックフィルタ１およびダイクロイックフィルタ２を透過した光がＳＩＦ専用フィルタへ入射する。この場合、チューナブルフィルタおよびＮＤＶＩ専用フィルタ（ＲＥＤ）に入射光の５０［％］が入射し、ＮＤＶＩ専用フィルタ（ＮＩＲ）に入射光の３３［％］が入射し、ＳＩＦ専用フィルタに入射光の６６［％］が入射する。これによって、各フィルタに入射する光量のバランスが改善するため、撮像装置１００は、各フィルタの画素からより適切な画像を取得することができる。

続いて、第６の実施例に対してダイクロイックフィルタを適用した場合の例について説明する。入射光と、ダイクロイックフィルタ１およびダイクロイックフィルタ２との位置関係は図３９に示した例と同様である。

この例では、ＮＤＶＩ専用フィルタは、ＮＩＲのみを対象とするフィルタであり、ＮＤＶＩの算出に使用される赤色光（ＲＥＤ）は、チューナブルフィルタまたはＲＧＢカメラから算出されたものが使用されるとする。図４４に示すように、ダイクロイックフィルタ１については、４００〜８００［ｎｍ］では透過率が５０［％］、反射率が５０［％］であり、８００〜１０００［ｎｍ］では、透過率が１００［％］、反射率が０［％］であるとする。また、ダイクロイックフィルタ２については、４００〜８００［ｎｍ］では透過率が０［％］、反射率が１００［％］であり、８００〜１０００［ｎｍ］では、透過率が１００［％］、反射率が０［％］であるとする。そして、図４５に示すように、ダイクロイックフィルタ１で反射した光がチューナブルフィルタへ入射し、ダイクロイックフィルタ２で反射した光がＲＧＢカメラへ入射し、ダイクロイックフィルタ１およびダイクロイックフィルタ２を透過した光がＮＤＶＩ専用フィルタ（ＮＩＲ）へ入射する。この場合、チューナブルフィルタおよびＲＧＢカメラに入射光の５０［％］が入射し、ＮＤＶＩ専用フィルタ（ＮＩＲ）に入射光の１００［％］が入射する。これによって、各フィルタに入射する光量のバランスが改善するため、撮像装置１００は、各フィルタの画素から適切な画像を取得することができる。

なお、第１０の実施例として説明した上記の例は適宜変更されてもよい。例えば、ダイクロイックフィルタ１およびダイクロイックフィルタ２の、各波長帯域における透過率は適宜変更されてもよい。

＜４．応用例＞
上記では、本開示の実施形態が適用された様々な実施例について説明した。続いて、本開示の応用例について説明する。本開示に係る技術は、様々な装置またはシステムへ応用することができる。例えば、本開示に係る技術は、医療用顕微鏡または医療用内視鏡等を含む医療用撮像装置や、これらの装置を備える医療用撮像システム（医療用顕微鏡システムまたは医療用内視鏡システム等）へ応用されてもよい。

（４．１．医療用撮像装置への応用例）
ここで、図４６を参照して、本開示に係る技術が、医療用撮像装置へ応用された場合の一例について説明する。図４６に示すように、本開示が応用された医療用撮像装置は、顕微鏡３００と、データ処理部３１０とを備える。

本応用例に係る顕微鏡３００は、チューナブルフィルタおよび特定用途専用フィルタが前段に備えられたイメージセンサ４６を有している（換言すると、本応用例においては、イメージセンサ４６が、第１の波長帯域の信号を検出する第１の検出部および第２の波長帯域の信号を検出する第２の検出部として機能する）。なお、チューナブルフィルタおよび特定用途専用フィルタの配置については、上記で説明してきた様々な配置の態様が適用され得る。また、顕微鏡３００が複眼カメラのように複数の撮像機構を備えている場合、チューナブルフィルタおよび特定用途専用フィルタは別々のイメージセンサ４６上に配置されてもよい。

また、顕微鏡３００は、複数種類の光源を備えており、これらの光源を制御することによって明視野撮像モードおよび暗視野撮像モードを切り替えることができる。ここで、明視野撮像モードとは、通常の照明光が生体サンプルＳＰＬへ照射されることによって、生体サンプルＳＰＬにおける全体又は部位の明視野像（明視野全体像又は明視野部位像）を取得することができるモードである。一方、暗視野撮像モードとは、一部分が蛍光染色された生体サンプルＳＰＬに対して、当該一部分を励起する光が照射されることによって、生体サンプルＳＰＬにおける一部分の蛍光像（以下、「暗視野部位像」とも呼称する）を取得することができるモードである。

本応用例に係るデータ処理部３１０は、暗視野撮像モードにおいて、特定用途専用フィルタが配置された画素からの出力を用いて合焦を行い、その後、チューナブルフィルタが配置された画素からの出力を用いて所望の暗視野部位像を取得する構成である（換言すると、本応用例においては、データ処理部３１０が、第２の波長帯域の信号を用いて合焦を行う合焦部として機能する）。

従来は、ユーザは、特定の波長帯域の画像を用いて合焦を行うために、フィルタの入れ替え等を行っていたため、合焦に相当の時間を要していた。一方、本応用例においては、上記のとおり、顕微鏡３００がチューナブルフィルタおよび特定用途専用フィルタが前段に備えられたイメージセンサ４６を有しているため、データ処理部３１０は、フィルタを入れ替えることなく合焦と、合焦後の撮像を行うことができる。医療の分野においては、短時間に大量の病理画像または医療画像を取得することが求められる場合があるため、合焦と、合焦後の撮像をより短時間で行うことができる本開示は有用である。また、特定用途専用フィルタが配置された画素の出力は、チューナブルフィルタが配置された画素の出力に比べて、解像度または精度等の点で優れているため、合焦により適している。すなわち、データ処理部３１０は、合焦をより精度高く実現することができる。

また、データ処理部３１０は、合焦後にチューナブルフィルタの配置された画素から出力されたデータに対して上記で説明してきた信号処理を行うことによって、所望の波長帯域の画像を抽出することができる。これによって、ユーザに対する利便性が向上する。以降では、顕微鏡３００の構成をはじめとする本応用例の詳細について説明していく。

（顕微鏡３００の構成等の詳細）
顕微鏡３００は、ガラス板等のスライドＳＧが配される面（以下、これをスライド配置面とも呼ぶ）に対して平行方向及び直交方向（ｘ軸、ｙ軸及びｚ軸方向）にそれぞれ移動可能なステージ（以下、これを可動ステージとも呼ぶ）３１を有する。このスライド配置面にはスライドホルダー３２が設けられる。

スライドホルダー３２は、スライドＳＧがセットされる場合、セット場所として指定される位置（以下、これをスライドセット位置とも呼ぶ）に移動される。スライドセット位置では、スライド収容器（図示せず）に収容されるスライドＳＧが、スライドセット機構（図示せず）によって取り出されスライドホルダー３２にセットされる。

スライド収容器（図示せず）に収容されるスライドＳＧには、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞が、生体サンプルＳＰＬとして所定の固定手法により固定され、必要に応じて染色される。

この染色には、ＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。

蛍光染色では、一般に、プローブに付される蛍光標識体（以下、これを蛍光マーカーとも呼ぶ）のほかに、該プローブの蛍光マーカーと対比させるべき蛍光標識体（以下、これを対照マーカーとも呼ぶ）が用いられる。

対照マーカーは、蛍光マーカーにおける励起波長とは異なる励起波長とされる。例えば、おおよそ３６５[ｎｍ]の励起波長でなり、ＤＡＰＩ（4’,6-diamidino-2-pheylindole）が慣用される。ＤＡＰＩでは、細胞核が、蛍光マーカーのターゲットと対比すべきターゲット（以下、これを対照ターゲットとも呼ぶ）とされる。

生体サンプルＳＰＬが撮像される場合、鏡検場所として指定される位置（以下、これを鏡検位置とも呼ぶ）にスライドホルダー３２が移動される。この場合、明視野撮像モード又は暗視野撮像モードが実行される。

明視野撮像モードの場合、明視野光源４１から、生体サンプルＳＰＬに対する照明光が照射される。この照明光は、反射ミラー４２により折り曲げられ、明視野フィルタ４３を介して可視光帯域の光として、鏡検位置にある生体サンプルＳＰＬに照射され、対物レンズ４４に到達する。

対物レンズ４４は、生体サンプルＳＰＬ全体が含まれる像（以下、これを明視野全体像とも呼ぶ）として結像される程度の低倍率、若しくは、生体サンプルＳＰＬにおける一部分の像（以下、これを明視野部位像とも呼ぶ）として結像される程度の高倍率とされる。

顕微鏡３００は、照明光を通して得られる生体サンプルＳＰＬの像を、対物レンズ４４と結像レンズ４５とでそれぞれ拡大し、明視野全体像又は明視野部位像としてイメージセンサ４６の撮像面に結像する。

このように顕微鏡３００は、明視野撮像モードでは、生体サンプルＳＰＬにおける全体又は部位の明視野像（明視野全体像又は明視野部位像）を取得することができるようになされている。

なお、図４６では、対物レンズ４４と結像レンズ４５との光路間にダイクロイックミラー５４、エミッションフィルタ５５が存在する。しかし明視野撮像モードの場合、明視野フィルタ４３から入射される可視光帯域の光がこれらフィルタに吸収あるいは反射されないように、該ダイクロイックミラー５４及びエミッションフィルタ５５は、当該光路以外の位置に退避される。

一方、暗視野撮像モードの場合、励起光源５１から、プローブの蛍光マーカー及び対照マーカーの双方を励起する光（以下、これを励起光とも呼ぶ）が照射される。励起光が照射される際の対物レンズ４４は、生体サンプルＳＰＬにおける一部分の蛍光像として結像される程度の高倍率とされる。

励起光源５１から照射される励起光は、コリメートレンズ５２によって平行光線とされ、エキサイトフィルタ５３によって励起光以外の光が除かれる。エキサイトフィルタ５３を透過する励起光は、ダイクロイックミラー５４を反射し、対物レンズ４４によって鏡検位置に集光される。

鏡検位置に配される生体サンプルＳＰＬのターゲット及び対比ターゲットにプローブが結合する場合、該プローブに付される蛍光マーカー及び対照マーカーが励起光により発光する。この発光は、対物レンズ４４を介してダイクロイックミラー５４を透過し、エミッションフィルタ５５によって蛍光体の発光以外の光が吸収され、結像レンズ４５に到達する。

顕微鏡３００は、この蛍光マーカー及び対照マーカーの発光を通して得られる像を、対物レンズ４４と結像レンズ４５とでそれぞれ拡大し、暗視野部位像としてイメージセンサ４６の撮像面に結像する。

このように顕微鏡３００は、暗視野撮像モードでは、サンプル部位の蛍光像（暗視野部位像）を取得することができるようになされている。

なお、図４６では、エキサイトフィルタ５３とダイクロイックミラー５４との光路間にはダイクロイックミラー６３が存在するが、該ダイクロイックミラー６３ではエキサイトフィルタ５３を透過する励起光は透過される。

かかる構成に加えてこの顕微鏡３００は、蛍光マーカーに対して未励起状態であり、対照マーカーを励起状態とする励起光（以下、これを対照専用励起光とも呼ぶ）を照射する光源(以下、これを対照励起光源とも呼ぶ)６１を有する。

この対照専用励起光は、生体サンプルＳＰＬに対する暗視野部位像を取得する場合、その合焦過程において対照励起光源６１から照射される。

対照励起光源６１から照射される対照専用励起光は、コリメートレンズ６２によって平行光線とされ、ダイクロイックミラー６３及びダイクロイックミラー５４をそれぞれ反射し、対物レンズ４４によって鏡検位置に集光される。

鏡検位置に配される生体サンプルＳＰＬの対比ターゲットにプローブが結合する場合、該プローブに付される対照マーカーが、対照専用励起光により発光する。この発光は、対物レンズ４４を介してダイクロイックミラー５４を透過し、エミッションフィルタ５５によって蛍光体の発光以外の光が吸収され、結像レンズ４５に到達する。

顕微鏡３００は、この対照マーカーの発光を通して得られる像を、対物レンズ４４と結像レンズ４５とでそれぞれ拡大し、暗視野部位像としてイメージセンサ４６の撮像面に結像する。

データ処理部３１０は、この暗視野部位像を用いて、対応するサンプル部位に焦点が合うよう可動ステージ３１を制御する。またデータ処理部３１０は、サンプル部位に焦点が合った場合、対照励起光源６１に代えて励起光源５１から励起光を照射させ、該励起光によって得られる暗視野部位像を保存する。

このように医療用撮像装置は、対照専用励起光によって得られる暗視野部位像を合焦対象の暗視野部位像とし、励起光によって得られる暗視野部位像を保存対象の暗視野部位像として取得するようになされている。

（処理の流れ）
上記では、顕微鏡３００の構成等の詳細について説明した。続いて、図４７を参照して、医療用撮像装置における処理の流れの一例について説明する。

ステップＳ１２００では、データ処理部３１０が、鏡検位置にスライドホルダー３２を配置し、ダイクロイックミラー５４と結像レンズ４５との間における光軸上に高倍率の対物レンズ４４を配置する。データ処理部３１０は、その他の構成を所定の位置に配置してもよい。

ステップＳ１２０４では、データ処理部３１０が、スライドホルダー３２に配される生体サンプルＳＰＬにおける取得対象のサンプル部位を決定する。取得対象のサンプル部位の決定方法は特に限定されず、例えば、ユーザからの指定に基づいて取得対象のサンプル部位が決定されてもよい。

ステップＳ１２０８では、データ処理部３１０が、対照励起光源６１を駆動させて、イメージセンサ４６における特定用途専用フィルタの画素の出力を取得する。ステップＳ１２１２では、データ処理部３１０が、取得対象のサンプル部位における対照マーカーの暗視野像（暗視野部位像）における一部のコントラストに基づいて、該取得対象のサンプル部位に焦点を合わせる。

ステップＳ１２１６では、データ処理部３１０が、対照励起光源６１の駆動を停止させるとともに励起光源５１を駆動する。ステップＳ１２２０では、データ処理部３１０が、取得対象のサンプル部位における蛍光マーカーの暗視野像を記録対象の暗視野部位像として取得することで一連の処理が終了する。

なお、図４７に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

上記では、本開示に係る技術が、医療用撮像装置へ応用される場合の例について説明したが、本開示に係る技術が適用される装置やシステムは特に限定されない。より具体的には、本開示に係る技術は、医療用撮像装置以外の任意の装置に適用され、特定用途専用フィルタが配置された画素からの出力が当該装置における合焦処理に用いられてもよい。

（４．２．手術室システムへの応用例）
続いて、本開示に係る技術が、手術室システムへ応用された場合の一例について説明する。

図４８は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図４８を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図４８では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図４８では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図４９は、集中操作パネル５１１１における操作画面の表示例を示す図である。図４９では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図４９を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図５０は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図４８に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図５０では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図４８に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図５０では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図５１を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図５１は、図５０に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図５１を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、カメラヘッド５１１９における撮像部５１２３の撮像素子に適用され得る。より具体的には、撮像部５１２３は、撮像素子の前段にチューナブルフィルタおよび特定用途専用フィルタを備えていてもよい。これによって、撮像部５１２３は、チューナブルに波長抽出が可能な画像データおよび特定用途に使用される画像データの両方を取得することができる。例えば、取得対象として特定の患部または部位が予め決まっている場合には、特定用途に使用される画像データを用いて画像処理部５１７５等の各構成が所定の処理を行うことができる。また、取得対象として特定の患部または部位が予め決まっていない場合や、撮像された被写体の区別がつかない場合（例えば、血管や神経の区別がつかない場合等）には、チューナブルに波長抽出が可能な画像データを用いて画像処理部５１７５等の各構成が所定の処理を行うことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、上記の説明で用いた各数値はあくまで一例であり、適宜変更され得る。例えば、特定用途専用フィルタが透過可能な波長として、約５３１［ｎｍ］、約５７０［ｎｍ］、約７６１［ｎｍ］、または約７５８［ｎｍ］などを挙げたが、これらの波長は、解析対象、または設計などに応じて柔軟に変更可能である。また、これらの波長は、例えば、それぞれの波長帯域における中心波長である（これに限定されない）。ここで、波長帯域における中心波長とは、例えば、半値幅の中心である（これに限定されない）。また、上記の説明で用いてきた半値幅とは、約５０［％］のフィルタ透過率を有する波長間の幅である（これに限定されない）。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得する取得部と、
前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行う信号処理部と、を備える、
信号処理装置。
（２）
前記信号処理部は、前記第１の波長帯域の信号を用いて所望の波長帯域の信号を抽出する、
前記（１）に記載の信号処理装置。
（３）
前記信号処理部は、前記所望の波長帯域の信号、または、前記第２の波長帯域の信号の少なくともいずれか一つを用いて植生指数を算出する、
前記（２）に記載の信号処理装置。
（４）
前記信号処理部は、前記植生指数として、ＮＤＶＩ（Normalized Difference
Vegetation Index）、ＧＮＤＶＩ（Green
Normalized Difference Vegetation Index）、ＰＲＩ（Photochemical Reflectance Index）またはＳＩＦ（Sun-Induced
Fluorescence）の少なくともいずれか一つを算出する、
前記（３）に記載の信号処理装置。
（５）
後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得することと、
前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行うことと、を有する、
コンピュータにより実行される信号処理方法。
（６）
後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、
特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、
撮像装置。
（７）
前記第１の検出部および前記第２の検出部はイメージセンサの各画素を構成する、
前記（６）に記載の撮像装置。
（８）
前記第１の検出部および前記第２の検出部は、画素単位で分光特性の異なるフィルタを備える、
前記（７）に記載の撮像装置。
（９）
前記第１の検出部および前記第２の検出部それぞれの備える前記フィルタの透過率は、前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて決まる、
前記（８）に記載の撮像装置。
（１０）
前記第１の検出部および前記第２の検出部の画素数は、前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて決まる、
前記（８）に記載の撮像装置。
（１１）
前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて露光を制御する露光制御部をさらに備える、
前記（８）に記載の撮像装置。
（１２）
前記第１の検出部が備える前記フィルタはプラズモン共鳴フィルタである、
前記（８）から（１１）のいずれか１項に記載の撮像装置。
（１３）
前記第２の検出部が備える前記フィルタは、ＲＧＢセンサおよびデュアルバンドパスフィルタによって構成される、
前記（８）から（１２）のいずれか１項に記載の撮像装置。
（１４）
前記第１の検出部および前記第２の検出部は、互いに異なるカメラまたは撮像機構に備えられる、
前記（６）から（１３）のいずれか１項に記載の撮像装置。
（１５）
前記第１の検出部および前記第２の検出部への入射光を分離するダイクロイックフィルタをさらに備える、
前記（１４）に記載の撮像装置。
（１６）
前記第１の波長帯域は広帯域である、
前記（６）から（１５）のいずれか１項に記載の撮像装置。
（１７）
前記第２の波長帯域は広帯域または狭帯域である、
前記（６）から（１６）のいずれか１項に記載の撮像装置。
（１８）
前記第２の波長帯域の信号に基づいて生成された画像に重畳するように、前記第１の波長帯域の信号に基づいて生成された画像を表示させる表示制御部をさらに備える、
前記（６）から（１７）のいずれか１項に記載の撮像装置。
（１９）
後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、
特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、
医療用撮像装置。
（２０）
前記第２の波長帯域の信号を用いて合焦を行う合焦部をさらに備える、
前記（１９）に記載の医療用撮像装置。

１００ 撮像装置
１１０ 撮像光学系
１２０ 露光処理部
１３０ 露光制御部
１４０ フィルタ
１５０ イメージセンサ
１６０ 出力部
１７０ 信号処理部
１８０ 記憶部
１９０ 通信部
２００ 情報処理装置
３００ 顕微鏡
３１０ データ処理部

Claims (20)

1. 後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得する取得部と、
   前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行う信号処理部と、を備える、
   信号処理装置。
2. 前記信号処理部は、前記第１の波長帯域の信号を用いて所望の波長帯域の信号を抽出する、
   請求項１に記載の信号処理装置。
3. 前記信号処理部は、前記所望の波長帯域の信号、または、前記第２の波長帯域の信号の少なくともいずれか一つを用いて植生指数を算出する、
   請求項２に記載の信号処理装置。
4. 前記信号処理部は、前記植生指数として、ＮＤＶＩ（Normalized
   Difference Vegetation Index）、ＧＮＤＶＩ（Green Normalized Difference Vegetation
   Index）、ＰＲＩ（Photochemical
   Reflectance Index）またはＳＩＦ（Sun-Induced Fluorescence）の少なくともいずれか一つを算出する、
   請求項３に記載の信号処理装置。
5. 後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号、および、特定用途に使用される第２の波長帯域の信号を取得することと、
   前記第１の波長帯域の信号と前記第２の波長帯域の信号を用いて信号処理を行うことと、を有する、
   コンピュータにより実行される信号処理方法。
6. 後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、
   特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、
   撮像装置。
7. 前記第１の検出部および前記第２の検出部はイメージセンサの各画素を構成する、
   請求項６に記載の撮像装置。
8. 前記第１の検出部および前記第２の検出部は、画素単位で分光特性の異なるフィルタを備える、
   請求項７に記載の撮像装置。
9. 前記第１の検出部および前記第２の検出部それぞれの備える前記フィルタの透過率は、前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて決まる、
   請求項８に記載の撮像装置。
10. 前記第１の検出部および前記第２の検出部の画素数は、前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて決まる、
    請求項８に記載の撮像装置。
11. 前記第１の検出部および前記第２の検出部それぞれの出力感度に基づいて露光を制御する露光制御部をさらに備える、
    請求項８に記載の撮像装置。
12. 前記第１の検出部が備える前記フィルタはプラズモン共鳴フィルタである、
    請求項８に記載の撮像装置。
13. 前記第２の検出部が備える前記フィルタは、ＲＧＢセンサおよびデュアルバンドパスフィルタによって構成される、
    請求項８に記載の撮像装置。
14. 前記第１の検出部および前記第２の検出部は、互いに異なるカメラまたは撮像機構に備えられる、
    請求項６に記載の撮像装置。
15. 前記第１の検出部および前記第２の検出部への入射光を分離するダイクロイックフィルタをさらに備える、
    請求項１４に記載の撮像装置。
16. 前記第１の波長帯域は広帯域である、
    請求項６に記載の撮像装置。
17. 前記第２の波長帯域は広帯域または狭帯域である、
    請求項６に記載の撮像装置。
18. 前記第２の波長帯域の信号に基づいて生成された画像に重畳するように、前記第１の波長帯域の信号に基づいて生成された画像を表示させる表示制御部をさらに備える、
    請求項６に記載の撮像装置。
19. 後処理でチューナブルに波長抽出が可能な第１の波長帯域の信号を検出する第１の検出部と、
    特定用途に使用される第２の波長帯域の信号を検出する第２の検出部と、を備える、
    医療用撮像装置。
20. 前記第２の波長帯域の信号を用いて合焦を行う合焦部をさらに備える、
    請求項１９に記載の医療用撮像装置。
    
    

Images