JP2021029509A

JP2021029509A - 撮像装置

Info

Publication number: JP2021029509A
Application number: JP2019151777A
Authority: JP
Inventors: 淳也福元; Junya Fukumoto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2021-03-01
Anticipated expiration: 2039-08-22
Also published as: JP7352411B2; US20210055568A1; US11789283B2

Abstract

【課題】観察するのに充分な画質を確保すること。【解決手段】実施形態に係る撮像装置は、光学素子を備える。前記光学素子は、入射光を２種類以上の波長帯域の光に分解する。前記入射光は、狭帯域光源から出射された光を含む。前記２種類以上の波長帯域の光のうちの少なくとも１つの光は、前記狭帯域光源から出射される光の波長の幅に対応する帯域幅で分解された狭帯域の光である。【選択図】図１

Description

本発明の実施形態は、撮像装置に関する。

撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。

特開２０１８−１７５８７１号公報

本明細書に開示の実施形態が解決しようとする課題の一つは、観察するのに充分な画質を確保することである。ただし、上記課題に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果を奏することも、本明細書等に開示の実施形態が解決する他の課題として位置づけることができる。

実施形態に係る撮像装置は、光学素子を備える。前記光学素子は、入射光を２種類以上の波長帯域の光に分解する。前記入射光は、狭帯域光源から出射された光を含む。前記２種類以上の波長帯域の光のうちの少なくとも１つの光は、前記狭帯域光源から出射される光の波長の幅に対応する帯域幅で分解された狭帯域の光である。

図１は、本実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。図２は、比較例に係る撮像装置の構成の一部を示す図である。図３は、本実施形態に係る撮像装置の構成の一部を示す図である。図４は、本実施形態に係る撮像装置の処理を説明するための図である。図５は、本実施形態に係る撮像装置の撮像動作の一例を示す図である。

以下、図面を参照して、各実施形態に係る撮像装置を説明する。なお、実施形態は、以下の内容に限られるものではない。また、一つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。

図１は、本実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、本実施形態に係る撮像システム１は、撮像装置１０と、光源装置３０と、光ファイバ３１とを備える。

撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。なお、撮像装置１０は、硬性内視鏡だけに限定されない。

スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。

カメラヘッド１２は、プリズム１２ａと、複数のイメージセンサ１２ｂ、１２ｃ、１２ｄと、イメージセンサ制御回路１２ｅとを備える。

プリズム１２ａは、入射された光を２種類以上の波長帯域の光に分解する。例えば、プリズム１２ａは、入射された光を、狭帯域の光と、当該狭帯域の光の波長帯域以外の波長帯域の光とに分光する。具体的には、プリズム１２ａは、入射された光を、狭帯域の光、広帯域の光、及び、赤外線の波長帯域の光に分光する。広帯域は、狭帯域よりも広い波長帯域であり、狭帯域の光の波長帯域以外の可視光帯域の光である。プリズム１２ａは、光学素子の一例である。

複数のイメージセンサは、プリズム１２ａにより分解された２種類以上の波長帯域の光をそれぞれ受光する。例えば、複数のイメージセンサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。例えば、複数のイメージセンサとして、イメージセンサ１２ｂ、１２ｃ、１２ｄは、プリズム１２ａにより分解された広帯域の光、狭帯域の光、及び、赤外線の波長帯域の光をそれぞれ受光する。イメージセンサ１２ｂは、例えば、広帯域に対応し（図１では「Ｗｃｈ（チャンネル）」と記載）、プリズム１２ａの広帯域の分光の出射面に設けられる。イメージセンサ１２ｃは、例えば、狭帯域に対応し（図１では「Ｎｃｈ」と記載）、プリズム１２ａの狭帯域の分光の出射面に設けられる。イメージセンサ１２ｄは、例えば、赤外線の波長帯域に対応し（図１では「ＩＲｃｈ」と記載）、プリズム１２ａの赤外線の波長帯域の分光の出射面に設けられる。以下、イメージセンサ１２ｂ、１２ｃ、１２ｄを、それぞれ、Ｗｃｈ側のイメージセンサ１２ｂ、Ｎｃｈ側のイメージセンサ１２ｃ、ＩＲｃｈ側のイメージセンサ１２ｄと記載することもある。イメージセンサ１２ｂ、１２ｃ、１２ｄの撮像面は、スコープ１１を含む光学系の結像面と略一致するように配置されている。イメージセンサ１２ｂ、１２ｃ、１２ｄは、撮像素子の一例である。

イメージセンサ１２ｂ、１２ｃ、１２ｄのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、撮像面において行列状に配置される。各画素は、イメージセンサ制御回路１２ｅによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。具体的には、例えば、イメージセンサ１２ｂは、カラーセンサであり、イメージセンサ１２ｂの各画素は、広帯域の光を受光することにより、ＲＧＢ画像である広帯域画像の映像信号を出力する。例えば、イメージセンサ１２ｃは、白黒センサであり、イメージセンサ１２ｃの各画素は、狭帯域の光を受光することにより、狭帯域画像の映像信号を出力する。例えば、イメージセンサ１２ｄは、白黒センサであり、イメージセンサ１２ｄの各画素は、赤外線の波長帯域の光を受光することにより、ＩＲ画像の映像信号を出力する。例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄを備えるカメラヘッド１２は、カメラケーブル１３を介して、ＣＣＵ１４にＲＧＢ信号を出力する。なお、イメージセンサ１２ｂ、１２ｃ、１２ｄからは、アナログ形式の映像信号が出力される。或いは、イメージセンサ１２ｂ、１２ｃ、１２ｄが図示しないＡＤコンバータ（Analog to Digital）を内蔵する場合、イメージセンサ１２ｂ、１２ｃ、１２ｄからは、デジタル形式の映像信号が出力される。

ここで、本実施形態に係る撮像装置１０は、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。この場合、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００〜８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。ＩＣＧ蛍光造影法の場合、スコープ１１とプリズム１２ａとの間に、励起光をカットするフィルタが設けられており、上記蛍光はイメージセンサ１２ｄにより受光される。すなわち、イメージセンサ１２ｄは、励起光に基づく蛍光を受光することにより、ＩＲ画像の映像信号を出力する。

イメージセンサ１２ｂ、１２ｃ、１２ｄのそれぞれは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。

イメージセンサ制御回路１２ｅは、後述する制御回路１４ａから出力された制御信号、並びに、後述するタイミング信号発生回路１４ｆから出力された各種の同期信号に基づいてイメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄがアナログ形式の映像信号を出力する場合、イメージセンサ制御回路１２ｅは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されるアナログ形式の映像信号に適宜ゲイン（アナログゲイン）をかけて（映像信号を増幅して）、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｂ、１２ｃ、１２ｄを制御する。或いは、イメージセンサ１２ｂ、１２ｃ、１２ｄがデジタル形式の映像信号を出力する場合、イメージセンサ制御回路１２ｅは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されるデジタル形式の映像信号に適宜ゲイン（デジタルゲイン）をかけて、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｂ、１２ｃ、１２ｄを制御する。

カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。

ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に各種の画像処理を施すことにより、ディスプレイ１０１に表示させる画像を示す画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。なお、各種の画像処理が施された映像信号は、ディスプレイ１０１に表示させる画像を示す画像データである。

ＣＣＵ１４は、制御回路１４ａと、記憶制御回路１４ｂと、画像処理回路１４ｃと、画像合成回路１４ｄと、出力回路１４ｅと、タイミング信号発生回路１４ｆと、記憶回路１４ｇとを備える。なお、イメージセンサ１２ｂ、１２ｃ、１２ｄがアナログ形式の映像信号を出力する場合、ＣＣＵ１４は、図示しないＡＤコンバータ等も備える。かかるＡＤコンバータは、例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されたアナログ形式の映像信号をデジタル形式の映像信号に変換する。

制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｅ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ、出力回路１４ｅ及びタイミング信号発生回路１４ｆの各回路に対して制御信号を出力して、各回路を制御する。制御回路１４ａは、記憶回路１４ｇに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。制御回路１４ａは、例えば、ＭＰＵ（Micro-Processing Unit）等のプロセッサにより実現される。

記憶制御回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、カメラヘッド１２から出力された映像信号を記憶回路１４ｇに記憶させる制御を行う。また、記憶制御回路１４ｂは、制御信号及び同期信号に基づいて、記憶回路１４ｇに記憶された映像信号を１行毎に読み取る。そして、記憶制御回路１４ｂは、読み取った１行分の映像信号を画像処理回路１４ｃに出力する。

画像処理回路１４ｃは、制御回路１４ａから出力された制御信号、及び、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、記憶制御回路１４ｂから出力された映像信号に対して各種の画像処理を施す。これにより、画像処理回路１４ｃは、ディスプレイ１０１に表示させる画像を示す画像データを生成する。すなわち、画像処理回路１４ｃは、映像信号に基づいて、画像を生成する。例えば、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対してゲイン（デジタルゲイン）をかけて、画像の明るさを調整する。また、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対して、ノイズを低減させるノイズリダクション処理や輪郭を強調する輪郭強調処理等を行ってもよい。そして、画像処理回路１４ｃは、各種の画像処理が施された映像信号（ディスプレイ１０１に表示させる画像を示す画像データ）を画像合成回路１４ｄに出力する。

画像合成回路１４ｄは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、画像処理回路１４ｃから出力された映像信号を合成して合成画像データを生成する。そして、画像合成回路１４ｄは、合成画像データをディスプレイ１０１に出力する。画像処理回路１４ｃ及び画像合成回路１４ｄは、処理部の一例である。

例えば、記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄは、ＤＳＰ（Digital Signal Processor）等の１つのプロセッサにより実現される。また、例えば記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄ、タイミング信号発生回路１４ｆは、１つのＦＰＧＡ（Field Programmable Gate Array）により実現される。なお、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄは、１つの処理回路により実現されてもよい。この処理回路は、例えば、プロセッサにより実現される。

出力回路１４ｅは、画像合成回路１４ｄから出力された合成画像データをディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、合成画像データが示す合成画像を表示する。合成画像は、画像の一例である。出力回路１４ｅは、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。

タイミング信号発生回路１４ｆは、光源装置３０からの光の出射タイミング、イメージセンサ１２ｂ、１２ｃ、１２ｄの露光タイミング及び映像信号の出力タイミング、記憶制御回路１４ｂによる記憶回路１４ｇの制御タイミング等の各種のタイミングを一元管理する。

タイミング信号発生回路１４ｆは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｆは、生成した各種の同期信号をイメージセンサ制御回路１２ｅ、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ及び出力回路１４ｅの各回路に出力する。

また、タイミング信号発生回路１４ｆは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源装置３０から出射される光を制御するとともに撮像システム１全体の同期をとるための制御信号である。そして、タイミング信号発生回路１４ｆは、生成した光源制御信号を光源装置３０に出力する。

例えば、光源制御信号の波形は、矩形波であり、光源制御信号は、ハイ（ｈｉｇｈ）レベル及びロー（ｌｏｗ）レベルの２つのレベル（状態）を有する。例えば、光源制御信号は、ハイレベルの間、光源装置３０から光を出射させ、ローレベルの間、光源装置３０からの光の出射を停止させる制御信号である。

記憶回路１４ｇは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。ＲＯＭ（又は、フラッシュメモリやハードディスクなど）は、各種のプログラムを記憶する。例えば、ＲＯＭは、制御回路１４ａにより実行される制御プログラムを記憶する。また、ＲＡＭには、記憶制御回路１４ｂにより映像信号が一時的に格納される。

光源装置３０は、光源制御信号に基づいて、各種の光を出射する。光源装置３０は、駆動回路３０ａと、広帯域光源３０ｂと、駆動回路３０ｃと、狭帯域光源３０ｄと、駆動回路３０ｅと、ＩＲ光源３０ｆとを備える。

駆動回路３０ａは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、広帯域光源３０ｂを駆動させて点灯させる駆動制御を行う。広帯域光源３０ｂは、例えば、白色ＬＥＤ（Light Emitting Diode）であり、駆動回路３０ａによる駆動制御により、広帯域の光として、白色光を出射する。白色光は、例えば、可視光である。なお、広帯域の光は、プリズム１２ａにより分解され、イメージセンサ１２ｂにより受光される。

駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、狭帯域光源３０ｄを駆動させて点灯させる駆動制御を行う。狭帯域光源３０ｄは、例えば、青色ＬＥＤ又は青色レーザであり、駆動回路３０ｃによる駆動制御により、狭帯域の光として、青色の光を出射する。青色の光は、例えば、可視光である。なお、狭帯域の光は、プリズム１２ａにより分解され、イメージセンサ１２ｃにより受光される。

駆動回路３０ｅは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、ＩＲ光源３０ｆを駆動させて、ＩＲ光源３０ｆから励起光を出射させる駆動制御を行う。ＩＲ光源３０ｆは、例えば、ＩＲレーザであり、駆動回路３０ｅによる駆動制御により、励起光を出射する。なお、励起光によりＩＣＧが励起されてＩＣＧから出射された蛍光（励起光に基づく蛍光）は、プリズム１２ａにより分解され、イメージセンサ１２ｄにより受光される。

光ファイバ３１は、光源装置３０からの各種の光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。

以上、本実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、比較例に係る撮像装置について説明する。比較例に係る撮像装置は、一般的な撮像装置である。例えば、比較例に係る撮像装置は、狭帯域光源３０ｄ及び駆動回路３０ｃなどの機能を備えておらず、上述したプリズム１２ａ及びイメージセンサ１２ｂ、１２ｃ、１２ｄに代えて、図２に示すプリズム１１２ａ及びイメージセンサ１１２ｂ、１１２ｃ、１１２ｄを備えている。例えば、プリズム１１２ａは三色分解ダイクロイックプリズムであり、イメージセンサ１１２ｂ、１１２ｃ、１１２ｄは白黒センサである。比較例に係る撮像装置において、白色光を出射させた場合、イメージセンサ１１２ｂ、１１２ｃ、１１２ｄは、それぞれ、プリズム１１２ａにより分解された赤色（Ｒ＋ＩＲ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光を受光し、Ｒ信号（Ｒの映像信号）、Ｇ信号（Ｇの映像信号）、Ｂ信号（Ｂの映像信号）を出力する。これにより、比較例に係る撮像装置は、Ｒ信号、Ｇ信号、Ｂ信号（ＲＧＢ信号）に基づいてＲＧＢ画像を取得することができる。

このように、比較例に係る撮像装置は、白色光などの広帯域の光を撮像対象にあてて、プリズム１１２ａにより分解された広帯域の光をイメージセンサ１１２ｂ、１１２ｃ、１１２ｄが受光することにより、ＲＧＢ画像を取得する。出射される白色光は、青色の波長帯域から赤色の波長帯域を超えて赤外線の波長帯域までの広帯域の光であるため、取得される画像には、撮像対象の色成分が含まれる。このため、比較例に係る撮像装置は、撮像対象の色を正しく再現することができる。しかしながら、光の反射や散乱の特性は、波長によって異なる。例えば、光の反射や散乱の特性は、赤色の波長帯域、緑色の波長帯域、青色の波長帯域によって異なる。このため、白色光などの広帯域の光を出射させて画像を取得する際に、光の反射や散乱により、画像の解像度が低下する場合がある。例えば、撮像対象の表面の凹凸などの輪郭に関しては、光の反射や散乱により、コントラストが低下する場合がある。このため、画像を観察する医師等のユーザにとって、観察するのに画質が充分ではない場合がある。

一方、狭帯域の光を撮像対象にあてて、画像の解像度を上げる技術がある。例えば、ＬＥＤやレーザにより狭帯域の光として青色の波長帯域の光を撮像対象にあてて、画像を取得する場合、撮像対象の表面の凹凸などの輪郭に関して、コントラストを高めることができる。しかしながら、狭帯域の光として青色の波長帯域の光を撮像対象にあてる場合、色に関する情報は、青色だけであり、赤色や緑色などの他の色の情報が無い。このため、狭帯域の光だけを撮像対象にあてて画像を取得する場合、撮像対象の色を正しく再現することができない。

そこで、本実施形態に係る撮像装置１０は、ユーザが観察するのに充分な画質を確保することができるように、以下の処理を行う。本実施形態に係る撮像装置１０は、プリズム１２ａを備える。プリズム１２ａは、入射光を２種類以上の波長帯域の光に分解する光学素子である。入射光は、狭帯域光源３０ｄから出射された光を含む。プリズム１２ａにより分解された２種類以上の波長帯域の光のうちの少なくとも１つの光は、狭帯域光源３０ｄから出射される光の波長の幅に対応する帯域幅で分解された狭帯域の光である。

または、本実施形態に係る撮像装置１０は、ユーザが観察するのに充分な画質を確保することができるように、以下の処理を行う。本実施形態に係る撮像装置１０は、プリズム１２ａと、複数のイメージセンサとを備える。プリズム１２ａは、入射光を２種類以上の波長帯域の光に分解する光学素子である。複数のイメージセンサは、プリズム１２ａにより分解された２種類以上の波長帯域の光をそれぞれ受光する撮像素子である。複数のイメージセンサのうち、少なくとも１つのイメージセンサは、単独で、ＲＧＢ画像を出力する。例えば、複数のイメージセンサのうち、少なくとも１つのイメージセンサは、狭帯域の光を受光することにより狭帯域画像を出力し、他の少なくとも１つのイメージセンサは、狭帯域よりも広い波長帯域である広帯域の光を受光することにより、ＲＧＢ画像である広帯域画像を出力する。ここで、狭帯域の光を受光するイメージセンサは、例えば、モノクロ用のイメージセンサ（モノクロ撮像素子）を用いることができる。また、狭帯域よりも広い波長帯域である広帯域の光を受光するイメージセンサは、例えば、ＲＧＢカラーイメージセンサ（カラー撮像素子）を用いることができる。

具体的には、本実施形態に係る撮像装置１０では、図３に示すように、プリズム１２ａは、入射された光を、広帯域の光、狭帯域の光、及び、赤外線の波長帯域の光に分光するプリズムであり、イメージセンサ１２ｂがカラーセンサであり、イメージセンサ１２ｃ、１２ｄが白黒センサである。本実施形態に係る撮像装置１０では、イメージセンサ１２ｂ、１２ｃ、１２ｄは、それぞれ、プリズム１２ａにより分解された広帯域の光、狭帯域の光、及び、赤外線の波長帯域の光を受光し、広帯域画像の映像信号、狭帯域画像の映像信号、ＩＲ画像の映像信号を出力する。これにより、本実施形態に係る撮像装置１０では、画像処理回路１４ｃは、広帯域画像の映像信号（ＲＧＢ信号）に基づいてＲＧＢ画像を取得し、狭帯域画像と広帯域画像とに基づいて表示用画像を生成する。表示用画像は、例えば、狭帯域画像に含まれる撮像対象の輪郭成分と、広帯域画像又は広帯域画像と狭帯域画像との合成画像に含まれる撮像対象の色成分とを含む。

図４は、本実施形態に係る撮像装置１０のプリズム１２ａにより分解される光の透過特性（分光透過特性）の一例を示す図である。図４には、狭帯域の光に対する分光透過特性と、広帯域の光に対する分光透過特性と、赤外線の波長帯域の光に対する分光透過特性との関係の一例が示されている。図４において、横軸は、波長［ｎｍ］を示す。また、図４において、曲線Ｃ１は、狭帯域の光に対する分光透過特性を示し、曲線Ｃ２は、広帯域の光に対する分光透過特性を示し、曲線Ｃ３は、赤外線の波長帯域の光に対する分光透過特性を示す。

曲線Ｃ１が示す狭帯域の光は、例えば、撮像対象の輪郭成分に使用される。具体的には、プリズム１２ａ内には幾つか分光膜が設けられ、当該分光膜を透過する波長と反射する波長とがそれぞれ違う光路へ導かれることによって、プリズム１２ａのＮｃｈから、狭帯域の光として青色の光が分光される。白黒センサであるイメージセンサ１２ｃは、プリズム１２ａにより分光された狭帯域の光を受光することにより、狭帯域画像の映像信号を出力する。ここで、狭帯域画像には、撮像対象の輪郭成分が含まれる。このため、本実施形態に係る撮像装置１０は、撮像対象の表面の凹凸などの輪郭に関して、コントラストを高めることができ、解像度が向上する。

ここで、プリズム１２ａのＮｃｈから出射した狭帯域の光は、狭帯域光源３０ｄから出射される光の波長の幅に対応する帯域幅（例えば、半値幅）で分解された光であり、その半値幅は、例えば、５０［ｎｍ］以下に設定されている。なお、本実施形態では、半値幅が５０［ｎｍ］以下に設定されている場合を例にしているが、これに限定されず、例えば、半値幅は、一般的なＬＥＤの各発光色に相当する波長範囲以下に設定されてもよいし、レーザを用いる場合は１［ｎｍ］や１０［ｎｍ］程度の狭い波長範囲に設定されてもよい。なお、半値幅には、半値全幅と、その半分の値の半値半幅とがあるが、本実施形態においては、どちらでもよい。

また、曲線Ｃ２が示す広帯域の光は、例えば、撮像対象の色成分に使用される。具体的には、プリズム１２ａのＷｃｈから、広帯域の光が分光され、カラーセンサであるイメージセンサ１２ｂは、プリズム１２ａにより分光された広帯域の光を受光することにより、広帯域画像の映像信号を出力する。ここで、図４に示すように、曲線Ｃ２が示す広帯域の光が、曲線Ｃ１が示す狭帯域の光の波長帯域以外の可視光帯域の光である場合、広帯域画像、又は、広帯域画像と狭帯域画像との合成画像には、撮像対象の色成分が含まれる。このため、本実施形態に係る撮像装置１０は、撮像対象の色を正しく再現することができる。

なお、曲線Ｃ３が示す赤外線の波長帯域の光は、例えば、後述の蛍光画像の生成に使用される。具体的には、プリズム１２ａのＩＲｃｈから、赤外線の波長帯域の光が分光され、白黒センサであるイメージセンサ１２ｄは、プリズム１２ａにより分光された赤外線の波長帯域の光を受光することにより、ＩＲ画像の映像信号を出力する。ここで、ＩＲ画像には、輝度が閾値以上の部分が存在し、当該部分を基に、後述の蛍光画像が生成される。

図５は、本実施形態に係る撮像装置１０の撮像動作の一例を示す図である。図５には、光源装置３０から出射される白色光、青色の光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｂ、１２ｃ、１２ｄが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図５において、横軸は、時間を示す。本実施形態では、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、６０［ｆｐｓ］とし、読み出し期間を、１／６０［ｓ］とする。つまり、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間、及び、読み出し期間が１／６０［ｓ］であるものとする。

まず、撮像の開始時において、制御回路１４ａは、広帯域光源３０ｂから白色光を連続的に出射させる第１の光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、第１の光源制御信号を駆動回路３０ａに出力し、駆動回路３０ａは、第１の光源制御信号に基づいて、広帯域光源３０ｂを駆動させて、広帯域光源３０ｂから白色光を連続的に出射させる。

また、撮像の開始時において、制御回路１４ａは、狭帯域光源３０ｄから青色の光を連続的に出射させる第２の光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、第２の光源制御信号を駆動回路３０ｃに出力し、駆動回路３０ｃは、第２の光源制御信号に基づいて、狭帯域光源３０ｄを駆動させて、狭帯域光源３０ｄから青色の光を連続的に出射させる。

また、撮像の開始時において、制御回路１４ａは、ＩＲ光源３０ｆから励起光を連続的に出射させる第３の光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、第３の光源制御信号を駆動回路３０ｅに出力し、駆動回路３０ｅは、第３の光源制御信号に基づいて、ＩＲ光源３０ｆを駆動させて、ＩＲ光源３０ｆから励起光を連続的に出射させる。

例えば、１フレーム目において、読み出し期間である時間Ｔ１から時間Ｔ２までの１／６０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。具体的には、制御回路１４ａは、イメージセンサ１２ｂ、１２ｃ、１２ｄに読み出し期間１／６０［ｓ］で映像信号を出力させるための制御信号を、イメージセンサ制御回路１２ｅに出力する。イメージセンサ制御回路１２ｅは、当該制御信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。この結果、読み出し期間１／６０［ｓ］で、イメージセンサ１２ｂは、広帯域の光を受光し、全ての行から映像信号を広帯域画像の映像信号「Ｗ１」として出力する。また、イメージセンサ１２ｃは、狭帯域の光を受光し、全ての行から映像信号を狭帯域画像の映像信号「Ｂ１」として出力する。また、イメージセンサ１２ｄは、赤外線の波長帯域の光を受光し、全ての行から映像信号をＩＲ画像の映像信号「ＩＲ１」として出力する。この場合、イメージセンサ１２ｂ、１２ｃ、１２ｄから、それぞれ広帯域画像の映像信号「Ｗ１」、狭帯域画像の映像信号「Ｂ１」及びＩＲ画像の映像信号「ＩＲ１」が出力される。広帯域画像の映像信号「Ｗ１」は、白色光を受光したイメージセンサ１２ｂから出力された信号である。狭帯域画像の映像信号「Ｂ１」は、青色の光を受光したイメージセンサ１２ｃから出力された信号である。ＩＲ画像の映像信号「ＩＲ１」は、励起光に基づく蛍光を受光したイメージセンサ１２ｄから出力された信号である。

次に、２フレーム目において、読み出し期間である時間Ｔ２から時間Ｔ３までの１／６０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄは、それぞれ、映像信号を広帯域画像の映像信号「Ｗ２」、狭帯域画像の映像信号「Ｂ２」、ＩＲ画像の映像信号「ＩＲ２」として出力する。この場合、イメージセンサ１２ｂ、１２ｃ、１２ｄから、それぞれ広帯域画像の映像信号「Ｗ２」、狭帯域画像の映像信号「Ｂ２」、ＩＲ画像の映像信号「ＩＲ２」が出力される。

ここで、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力された映像信号は、ＣＣＵ１４において、画像処理回路１４ｃ及び画像合成回路１４ｄを介して１フレーム目の表示用画像となり、速やかに出力回路１４ｅからディスプレイ１０１に出力される。具体的には、画像処理回路１４ｃは、映像信号「Ｗ１」が示す広帯域画像と映像信号「Ｂ１」が示す狭帯域画像とに基づいて、第１の表示用画像を生成する。第１の表示用画像は、例えば、狭帯域画像に含まれる撮像対象の解像度成分と、広帯域画像又は広帯域画像と狭帯域画像との合成画像に含まれる撮像対象の色成分とを含む。次に、画像合成回路１４ｄは、例えば、映像信号「ＩＲ１」が示すＩＲ画像のうち、輝度が閾値以上の部分を対象物として抽出し、抽出した部分に蛍光色が付与されたマーカである蛍光画像を生成する。当該蛍光色は、マーカ（蛍光画像）を生成したときに蛍光を示すために割り当てられた色であり、例えば、高彩度の緑色を示している。そして、画像合成回路１４ｄは、画像処理回路１４ｃにより生成された第１の表示用画像に、生成した蛍光画像を重畳して、第２の表示用画像を生成する。画像合成回路１４ｄにより生成された第２の表示用画像は、１／６０［ｓ］の期間において、出力回路１４ｅからディスプレイ１０１に出力される。２フレーム目以降においても、上述と同様の処理が行われる。

なお、本実施形態では、画像処理回路１４ｃにより生成される第１の表示用画像として、第１の表示用画像の映像信号は、広帯域画像の映像信号「Ｗ１」と狭帯域画像の映像信号「Ｂ１」との合成信号「Ｗ１＋Ｂ１」を示す。ここで、広帯域画像（カラー画像）の映像信号「Ｗ１」を、単に、カラー画像Ｗ１とし、狭帯域画像の映像信号「Ｂ１」を、単に、狭帯域画像Ｂ１とした場合、カラー画像Ｗ１と狭帯域画像Ｂ１との合成は、以下の通りである。まず、狭帯域画像Ｂ１を基に、輪郭画像Ｄ１が生成される。輪郭画像Ｄ１は、正負の値を有し、平均値が０となる信号である。例えば、輪郭画像Ｄ１は、高周波抽出フィルタ（ＨＰＦ）により、狭帯域画像Ｂ１から、ある周波数帯域を超える周波数成分を抽出することで得られる。このときの合成式は、Ｗ１＋Ｄ１×Ｋにより表される。係数Ｋは、輪郭の強さを表し、係数Ｋが大きいほど、第１の表示用画像は、輪郭が強めのカラー画像となる。例えば、係数Ｋは、ユーザによって任意に調整可能にしてもよい。

このように、本実施形態に係る撮像装置１０は、狭帯域の光として青色の波長帯域の光を撮像対象にあてて、プリズム１２ａにより分解された狭帯域の光をイメージセンサ１２ｃが受光することにより、狭帯域画像を取得する。また、撮像装置１０は、白色光などの広帯域の光を撮像対象にあてて、プリズム１２ａにより分解された広帯域の光をイメージセンサ１２ｂが受光することにより、広帯域画像（ＲＧＢ画像）を取得する。更に、ＣＣＵ１４では、狭帯域画像と広帯域画像とに基づいて表示用画像を生成する。ここで、表示用画像は、狭帯域画像に含まれる撮像対象の輪郭成分を含む。このため、本実施形態に係る撮像装置１０によれば、撮像対象の表面の凹凸などの輪郭に関して、コントラストを高めることができ、解像度が向上する。また、表示用画像は、広帯域画像又は広帯域画像と狭帯域画像との合成画像に含まれる撮像対象の色成分を含む。このため、本実施形態に係る撮像装置１０によれば、撮像対象の色を正しく再現することができる。これにより、本実施形態では、ユーザが観察するのに充分な画質を確保することができる。

また、本実施形態に係る撮像装置１０は、入射された光を２種類以上の波長帯域の光に分解するプリズム１２ａを備えている。具体的には、本実施形態に係る撮像装置１０は、入射光を狭帯域の光と広帯域の光とに分光するプリズム１２ａを用いる。このため、本実施形態では、例えばカメラヘッド１２においては、比較例におけるプリズム１１２ａ（三色分解ダイクロイックプリズム）を、上記プリズム１２ａに変更するだけでよく、比較例と同等規模の回路及び装置を実現することができる。

ここで、本実施形態において、狭帯域の光として、青色の波長帯域の光を選択した理由について、検証結果を用いて説明する。

一般的に、青色の波長帯域の光を用いて画像を取得した場合、撮像対象の表面の凹凸に関して、コントラストが高いことが知られている。また、赤色の成分は、透過や散乱が大きいため、赤色の波長帯域の光を用いて画像を取得した場合、コントラストが低いことが知られている。そこで、図２に示すプリズム１１２ａを用いて、実際にコントラストなどの検証が行われた。具体的には、撮像対象を「手のひら」とし、図２に示すプリズム１１２ａの入射面の前に赤色の波長帯域の光を透過させるフィルタを配置して、上記プリズム１１２ａのＲ＋ＩＲｃｈから画像を取得した場合と、当該フィルタを配置しないで、上記プリズム１１２ａのＲ＋ＩＲｃｈから画像を取得した場合とで、コントラストなどの検証が行われた。同様に、上記プリズム１１２ａの入射面の前に緑色の波長帯域の光を透過させるフィルタを配置して、上記プリズム１１２ａのＧｃｈから画像を取得した場合と、当該フィルタを配置しないで、上記プリズム１１２ａのＧｃｈから画像を取得した場合とで、コントラストなどの検証が行われた。同様に、上記プリズム１１２ａの入射面の前に青色の波長帯域の光を透過させるフィルタを配置して、上記プリズム１１２ａのＢｃｈから画像を取得した場合と、当該フィルタを配置しないで、上記プリズム１１２ａのＢｃｈから画像を取得した場合とで、コントラストなどの検証が行われた。

検証の結果、例えば、「手のひら」の表面の色味（例えば、血管などによる色の濃淡や色合い）に関しては、緑色の波長帯域の光を用いた場合の画像が、赤色や青色の波長帯域の光を用いた場合の画像に比べて、最も見やすいことが確認された。また、「手のひら」の表面の凹凸に関しては、青色の波長帯域の光を用いた場合の画像が、赤色や緑色の波長帯域の光を用いた場合の画像に比べて、コントラストが最も高いことが確認された。更に、波長帯域を狭めた結果、赤色の波長帯域の光を用いた場合の画像、緑色の波長帯域の光を用いた場合の画像、及び、青色の波長帯域の光を用いた場合の画像のいずれにおいても、コントラストが向上することが確認された。このとき、プリズム１１２ａの入射面の前に配置されたフィルタとして、赤色の波長帯域の光を用いた場合では、中心波長が６０７［ｎｍ］で、半値幅が４２［ｎｍ］のバンドパスフィルタが使用された。緑色の波長帯域の光を用いた場合では、中心波長が５３４．５［ｎｍ］で、半値幅が４８［ｎｍ］のバンドパスフィルタが使用された。青色の波長帯域の光を用いた場合では、中心波長がで、半値幅が３５［ｎｍ］のバンドパスフィルタが使用された。したがって、フィルタの透過特性（半値幅）は、概ね５０［ｎｍ］以下であった。

そこで、本実施形態では、コントラストを向上させるために、図１及び図３に示すプリズム１２ａにＮｃｈを割り当て、狭帯域の光として、コントラストが最も高い青色の波長帯域の光を選択した。すなわち、本実施形態に係る撮像装置１０では、一例として、狭帯域の光として青色の波長帯域の光を撮像対象にあてて、プリズム１２ａにより分解された狭帯域の光をイメージセンサ１２ｃが受光して狭帯域画像を取得することにより、コントラストを向上させている。

なお、本実施形態では、入射光を２種類以上の波長帯域の光に分解する光学素子として、入射光を広帯域の光、狭帯域の光、及び、赤外線の波長帯域の光に分光するプリズム１２ａが用いられる場合について説明した。すなわち、図１及び図３に示すように、プリズム１２ａにＷｃｈ、Ｎｃｈ、ＩＲｃｈを割り当てる場合について説明した。しかし、上記実施形態で説明した光学素子は、これに限定されるものではない。例えば、本実施形態の構成により、コントラストを向上させることができ、撮像対象の色を正しく再現することができれば、入射光を２種類の波長帯域の光に分解する光学素子として、入射光を広帯域の光、及び、狭帯域の光に分光するプリズム１２ａが用いられてもよい。すなわち、プリズム１２ａに、ＩＲｃｈを割り当てずに、Ｗｃｈ、Ｎｃｈだけを割り当ててもよい。

以上説明した少なくとも１つの実施形態によれば、ユーザが観察するのに充分な画質を確保することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０撮像装置
１２ａプリズム
１２ｂ、１２ｃ、１２ｄイメージセンサ
３０光源装置
３０ｄ狭帯域光源

Claims

入射光を２種類以上の波長帯域の光に分解する光学素子、
を備え、
前記入射光は、狭帯域光源から出射された光を含み、
前記光学素子により分解された前記２種類以上の波長帯域の光のうちの少なくとも１つの光は、前記狭帯域光源から出射される光の波長の幅に対応する帯域幅で分解された狭帯域の光である、
撮像装置。
前記光学素子は、前記入射光を、前記狭帯域の光と、当該狭帯域の光の波長帯域以外の波長帯域の光とに分解する、
請求項１に記載の撮像装置。
前記光学素子は、前記入射光を、前記狭帯域の光と、当該狭帯域の光の波長帯域以外の可視光帯域の光と、赤外線の波長帯域の光とに分解する、
請求項１に記載の撮像装置。
前記光学素子により分解された前記２種類以上の波長帯域の光をそれぞれ受光する複数の撮像素子、
を更に備え、
前記複数の撮像素子のうち、少なくとも１つの撮像素子は、前記狭帯域の光を受光することにより狭帯域画像を出力し、他の少なくとも１つの撮像素子は、前記狭帯域よりも広い波長帯域である広帯域の光を受光することにより広帯域画像を出力する、
請求項１〜３のいずれか一項に記載の撮像装置。
前記撮像素子のうち、前記狭帯域の光を受光する撮像素子は、モノクロ撮像素子である、
請求項４に記載の撮像装置。
前記撮像素子のうち、前記広帯域の光を受光する撮像素子は、カラー撮像素子である、
請求項４に記載の撮像装置。
前記狭帯域画像と前記広帯域画像とに基づいて表示用画像を生成する処理部、
を更に備える請求項４〜６のいずれか一項に記載の撮像装置。
前記表示用画像は、前記狭帯域画像に含まれる撮像対象の輪郭成分と、前記広帯域画像又は前記広帯域画像と前記狭帯域画像との合成画像に含まれる前記撮像対象の色成分とを含む、
請求項７に記載の撮像装置。