JP2022040122A

JP2022040122A - 撮像装置

Info

Publication number: JP2022040122A
Application number: JP2021200189A
Authority: JP
Inventors: 義行奥田; Yoshiyuki Okuda
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2019-12-27
Filing date: 2021-12-09
Publication date: 2022-03-10
Also published as: JP2020065286A

Abstract

【課題】本発明は、特定基準色の照明光の照射時間を長くし、且つ好適なカラー画像を得ることを課題としている。【解決手段】本発明は、１の特定色と他の非特定色とから成る複数色の照明光を照射可能な照明部を制御する制御部と、単位撮像期間において撮像部の撮影により画像を生成する処理部と、を備え、制御部は、単位撮像期間において、非特定色の照明光の照射時間が１の特定色の照明光の照射時間の一部と重畳するよう照明部を制御することを特徴とする。【選択図】図２

Description

本発明は、複数の色画像を時分割で独立して撮像し、撮像した複数の色画像からカラー画像を得る撮像装置、内視鏡装置および撮像装置の制御方法に関するものである。

従来、この種の内視鏡撮像装置（内視鏡装置）として、体腔内に挿入される挿入部を有する内視鏡本体（内視鏡）と、内視鏡本体の手元側に接続され、照明光を供給する光源装置と、内視鏡本体の手元側に接続され、撮像する機能を備えた撮像部と、撮像部に対する信号処理を行う信号処理回路と、信号処理回路から出力される映像信号を表示するカラーＴＶモニターと、を備えたものが知られている（特許文献１参照）。この内視鏡撮像装置では、光源装置により赤、緑、青の照明光を順次に照射し、撮像部により、この照射に同期して、各基準色の色画像をフレームメモリーに順次取り込む。そして、取り込んだ各基準色の色画像からカラー画像を生成し、カラーＴＶモニターに表示する。

特開平８－３６１３８号公報

ところで、このようなカラー撮像方式（いわゆるタイムシーケンシャルカラー撮像方式）を採用した内視鏡撮像装置では、図３に示すように、照明部を撮像部と同期させ、撮像部のブランキング期間において、各基準色の照明光を照射している。すなわち、各ブランキング期間で各色画像を露光し、直近の走査期間で当該各色画像を走査する（読み出す）構成になっている。
しかしながら、このような構成では、ブランキング期間が、各基準色の照明光の照射時間となるので、照射時間が極端に短くなってしまう。よって、全ての基準色の光源に、応答速度が高いもの（例えばＬＥＤ光源等）を使用せざるを得ないという問題があった。つまり、使用可能な光源が極端に制限されてしまう。また、照射時間が極端に短いことで、特定の基準色（以下、特定基準色と呼称）において、瞬間的に非常に高い発光強度（輝度）が必要になってしまうという問題もある。例えば、撮像部にＨＡＲＰ（Ｈｉｇｈ－ｇａｉｎＡｖａｌａｎｃｈｅＲｕｓｈｉｎｇａｍｏｒｐｈｏｕｓＰｈｏｔｏｃｏｎｄｕｃｔｏｒ）膜を用いた構成では、図４に示すように、赤色の受光感度が著しく低くなってしまう。このため、赤色の照明光の照射では、受光感度を補うために高い発光量が必要になるが、これを極端に短い照射期間で賄うので、瞬間的に非常に高い発光強度が必要となってしまう。光源により、瞬間的に非常に高い発光強度で照明光を照射すると、光源の破損あるいは、そこまで至らなくても発熱による劣化を招くおそれがある。特に、応答速度が高い光源としてＬＥＤ光源を用いると、ＬＥＤ光源の放熱性能が他の光源に比べ低いという性質上、破損を起こしやすい。
これに対し、図５に示すように、特定基準色（例では赤色）の照明光の照射時間を長くすべく、特定基準色の照明光の照射時間を、ブランキング期間外（走査期間内）まで延長することも可能である。しかしながら、このような構成では、走査行によって露光時間に差異が生じてしまうので、色画像に不要なグラディエーションが生じてしまう。ひいては、走査行によっては、今回の照明に伴う露光（電荷蓄積）が読出し後にも行われ、次回の走査期間に持ち越されてしまう場合がある。その結果、２つの基準色の色成分が混在した色画像が得られてしまう。その上、不要な色成分を除去しようにも、走査行によって混在比が異なるため、除去処理が極めて煩雑である。これらにより、各基準色の色成分を正確に得ることができず、好適なカラー画像を得ることができないという問題があった。

本発明は、特定基準色の照明光の照射時間を長くすることができ、且つ好適なカラー画像を得ることができる撮像装置、内視鏡装置および撮像装置の制御方法を提供することを課題としている。

本発明の撮像装置は、１の特定基準色と複数の非特定基準色とから成るｎ（ｎ≧３）色の照明光を被写体に照射可能な照明部を制御する制御部と、単位撮像期間において撮像部が時分割で撮影したｎ色に対応するｎ個の色画像に基づき被写体のカラー画像を生成する処理部と、を備え、制御部は、単位撮像期間において、各非特定基準色の照明光の照射時間が１の特定基準色の照明光の照射時間と重畳するよう照明部を制御することを特徴とする。
本発明の他の撮像装置は、１の特定基準色と複数の非特定基準色とから成るｎ（ｎ≧３）色の照明光を被写体に照射可能な照明部を制御する制御部と、単位撮像期間において撮像部が時分割で撮影したｎ色に対応するｎ個の色画像に基づき被写体のカラー画像を生成する処理部と、を備え、制御部は、単位撮像期間において特定基準色の照明光を継続して照射すると共に単位撮像期間内の（ｎ－１）個のブランキング期間において複数の非特定基準色の照明光をそれぞれ照射するよう照明部を制御することを特徴とする。

この場合、撮像部は、被写体からの反射光を受光する光電変換膜と、光電変換膜上に蓄積された光像を読み出す電子源部と、を有することが好ましい。

この場合、特定基準色の照明光は、複数の非特定基準色に比して、撮像部における受光感度が低いことが好ましい。

本発明の撮像装置の制御方法は、１の特定基準色と複数の非特定基準色とから成るｎ（ｎ≧３）色の照明光を被写体に照射可能な照明部と、単位撮像期間において撮像部が時分割で撮影したｎ色に対応するｎ個の色画像に基づき被写体のカラー画像を生成する処理部と、を備えた撮像装置の制御方法であって、単位撮像期間において、各非特定基準色の照明光の照射時間が１の特定基準色の照明光の照射時間と重畳するよう照明部を制御することを特徴とする。
本発明の他の撮像装置の制御方法は、１の特定基準色と複数の非特定基準色とから成るｎ（ｎ≧３）色の照明光を被写体に照射可能な照明部と、単位撮像期間において撮像部が時分割で撮影したｎ色に対応するｎ個の色画像に基づき被写体のカラー画像を生成する処理部と、を備えた撮像装置の制御方法であって、単位撮像期間において特定基準色の照明光を継続して照射すると共に単位撮像期間内の（ｎ－１）個のブランキング期間において複数の非特定基準色の照明光をそれぞれ照射するよう照明部を制御することを特徴とする。

これらの構成によれば、１個の走査期間において、特定基準色の色成分のみの色画像が撮像され、（ｎ－１）個の走査期間において、特定基準色の色成分と各非特定基準色の色成分とが混在した色画像が撮像される。そして、特定基準色の照射は、ブランキング期間外まで延長されるものの、撮像期間全体に亘って継続して照射されるので、走査行によって露光時間に差異が生じることはない（図６参照）。また、特定基準色の色成分がすべての色画像で共通するため、撮像した特定基準色の色画像を用いることで、他の色画像において、特定基準色の色成分を容易に除去することができる。その結果、各基準色の色画像（色成分）を精度良く得ることができる。よって、特定基準色の照明光の照射時間を長くしつつ、且つ好適なカラー画像を得ることができる。
ゆえに、使用可能な光源が極端に制限されることがなく、且つ光源の破損等を防止することができる。また、光源の発光強度を低くすることができるので、撮像部の長寿命化を図ることができ、また駆動回路の最大供給電流値を小さくすることができるので、装置全体の簡易化や低消費電力化にも寄与する。さらに、被写体（例えば体内器官）へのピーク輝度値を大幅に小さくすることができるため、被写体の光損傷を抑えることができ、光損傷が懸念される用途にも使用可能となる。

上記の撮像装置において、特定基準色の照明光は、人間の網膜における分光感度特性に基づく波長域の光を照射することが好ましい。

この構成によれば、特定基準色において、人間の網膜に合わせたカラー画像を得ることができる。

この場合、照明部は、特定基準色の照明光を照射する第１光源を有し、第１光源は、カラーフィルターに覆われた白色光源であることが好ましい。

この構成によれば、ＬＥＤ光源を用いた場合と比して、第１光源を、安価にすることができ、且つ放熱性を向上することができる。また、照明光の波長域を広くすることができる。なお、白色光源としては、蛍光体を発光励起させる蛍光体光源や白熱光源等が想定される。

本発明の内視鏡装置は、上記の撮像装置と、撮像装置に設けられ、レンズ光学系を内蔵する鏡筒部と、を備えたことを特徴とする。

この構成によれば、長寿命且つ簡単な構成で、高精度のカラー画像を得ることができる撮像装置を用いることで、小型で且つ高精度の内視鏡装置を提供することができる。

本実施形態に係る内視鏡システムの構成を示した模式図である。内視鏡システムによる撮像動作を示したタイムチャートである。従来のカラー撮像方式を示した説明図である。ＨＡＲＰ膜を用いた際の分光感度特性を示した図である。変形例のカラー撮像方式を示した説明図である。本発明のカラー撮像方式を示した説明図である。

以下、添付の図面を参照して、本発明の一実施形態に係る撮像装置、内視鏡装置および撮像装置の制御方法について説明する。本実施形態では、撮像装置を適用した内視鏡システム（内視鏡装置）を例示する。この内視鏡システムは、病巣となる臓器等の被写体を、タイムシーケンシャル撮像方式でカラー撮像するものである。特に、本内視鏡システムは、照明制御および画像処理（信号処理）により、ＨＡＲＰ膜を用いた高精度カラー撮像を実現したものである。

図１に示すように、内視鏡システムＳＹは、被写体Ａを撮像する内視鏡本体部１１と、内視鏡本体部１１による被写体Ａの撮像結果を処理する信号処理部（画像処理部）１２と、画像処理した撮像結果をカラー表示するモニター１３と、を備えている。

内視鏡本体部１１は、体内に挿入される鏡筒部２１と、鏡筒部２１の基端に接続され、鏡筒部２１を介して被写体Ａを撮像する撮像部２２と、鏡筒部２１を介して被写体Ａに照明光を照射し、これを照明する照明部２３と、照明部２３を制御する照明制御部２４と、を有している。なお、請求項にいう撮像装置は、鏡筒部２１を除く各部（信号処理部１２、モニター１３、撮像部２２、照明部２３および照明制御部２４）により構成されている。

鏡筒部２１は、硬性の円筒状部材からなる筒体３１と、筒体３１に内蔵されたレンズ光学系３２と、を有している。レンズ光学系３２は、照明部２３からの照明光を被写体Ａに導くと共に、被写体Ａからの反射を撮像部２２に導き、被写体Ａの光像を、撮像部２２のイメージセンサー５１の撮像面に結像する。

照明部２３は、赤色（Ｒ：特定基準色）の照明光を照射する赤色光源（第１光源）４１と、緑色（Ｇ：非特定基準色）の照明光を照射する緑色光源４２と、青色（Ｂ：非特定基準色）の照明光を照射する青色光源４３と、各光源４１、４２、４３の照明光を鏡筒部２１に導く照明光学系４４と、を備えている。なお、照明光学系４４は、例えば、２つのハーフミラーにより各光源４１、４２、４３の照明光を同軸に導く構成であっても良いし、三又の光ファイバーにより各光源４１、４２、４３の照明光を同軸上に導く構成であっても良い。

赤色光源４１は、カラーフィルターを被せた白色の蛍光体光源（蛍光ランプ）により構成されている。また、赤色光源４１として、その赤色の照明光が、人間の網膜における分光感度特性に基づいた波長域を有するものを用いる。具体的には、赤色光源４１は、赤色に、黄色や橙色を混ぜた波長域の光を照射する。一方、緑色光源４２および青色光源４３は、発光ダイオードであるＬＥＤ光源で構成されている。詳細は後述するが、撮像動作時には、赤色光源４１により、赤色の照明光を連続発光し、緑色光源４２および青色光源４３により、緑色および青色の照明光をパルス発光して、被写体Ａを照明する。

撮像部２２は、鏡筒部２１を介して被写体Ａを撮像する単一のイメージセンサー５１と、イメージセンサー５１を制御するセンサー制御部５２と、を備えている。

イメージセンサー５１は、ＨＡＲＰ膜（光電変換膜）５６と、ＨＥＥＤ（Ｈｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＥｌｅｃｔｒｏｎＥｍｉｓｓｉｏｎＤｅｖｉｃｅ）型の冷陰極アレイ（電子源部）５７とから成るＨＥＥＤ－ＨＡＲＰ撮像板（モノクロ撮像板）を用いる。ＨＡＲＰ膜５６は、被写体Ａからの反射光を撮像面上に受光し、その光像を電荷として蓄積する（露光）。冷陰極アレイ５７は、マトリクス状に配置した複数の冷陰極電子源で構成されており、ＨＡＲＰ膜５６上に蓄積された光像（画像）を読み出し、撮像信号として信号処理部１２に出力する。なお、この種のＨＡＲＰ膜５６を用いたイメージセンサー５１において、赤色の照明光は、他の基準色（緑色および青色）に比して、受光感度が極端に低い。また、赤色の照明光は、体内を撮像する用途上、他の基準色に比べ、撮像における重要性が高いものといえる。

そして、センサー制御部５２は、イメージセンサー５１を制御し、単位撮像期間において、照明制御部２４と協働して、基準色の数（３色）に対応した３個の色画像を撮像する。撮像された３個の色画像は、順次、信号処理部１２に出力される。

信号処理部１２は、撮像部２２からの撮像信号（色画像）を処理して、コンポーネントカラー映像信号（カラー画像）を出力する。信号処理部１２は、メモリー６１を有し、当該メモリー６１は、３個の色画像を個々に記憶する第１メモリー領域、第２メモリー領域および第３メモリー領域を有している。すなわち、信号処理部１２は、各メモリー領域に記憶した３個の色画像に基づいて、カラー画像を生成する。

ここで図２のタイムチャートを参照して、内視鏡システムＳＹによる撮像動作について説明する。ここでは、撮像部２２における単位撮像期間内の各走査期間を、順に第１走査期間、第２走査期間および第３走査期間と呼称し、撮像部２２における単位撮像期間内の各ブランキング期間を、順に第１ブランキング期間、第２ブランキング期間および第３ブランキング期間と呼称する。そして、第１ブランキング期間は、第１走査期間の直前のブランキング期間であり、第２ブランキング期間は、第２走査期間の直前のブランキング期間であり、第３ブランキング期間は、第３走査期間の直前のブランキング期間である。

図２に示すように、照明制御部２４により、照明部２３を制御し、単位撮像期間において、赤色の照明光を継続的に照射させつつ（連続発光）、第２ブランキング期間において、緑色の照明光を照射させ（パルス発光）、また第３ブランキング期間において、青色の照明光を照射させる（パルス発光）。すなわち、第２ブランキング期間では、赤色および緑色の照明光が同時照射され、第３ブランキング期間では、赤色および青色の照明光が同時照射される。

これに対し、撮像部２２により、第１走査期間の読出しにおいて、赤色の色成分のみで構成された赤色の色画像が撮像される。また、第２走査期間の読出しにおいて、赤色の色成分と緑色の色成分とが混在した混色の色画像が撮像される。さらに、第３走査期間の読出しにおいて、赤色の色成分と青色の色成分とが混在した混色の色画像が撮像される。撮像された色画像は、撮像部２２により、撮像の都度、撮像信号として信号処理部１２に出力される。

そして、信号処理部１２により、撮像部２２から出力された３個の色画像をそれぞれメモリー６１の各メモリー領域に記憶しておき、フレーム単位で当該３個の色画像に基づいて、カラー画像を生成する。具体的には、まず、各メモリー領域から３個の色画像を読み出す。次に、赤色の色画像により、混色の色画像から赤色の色成分をマトリクス演算で除去し、緑色の色成分のみで構成された緑色の色画像と、青色の色成分のみで構成された青色の色画像とを抽出する。各基準色の色画像が得られたら、各基準色の色画像を合成してカラー画像を生成する。例えば、区間ｔ８～ｔ１１で出力されるカラー画像は、第１走査期間ｔ２～ｔ４、第２走査期間ｔ５～ｔ７および第３走査期間ｔ８～ｔ１０で撮像された３個の色画像に基づいて生成される。ここで生成されたカラー画像が、コンポーネントカラー映像信号として、モニター１３に出力されて、順次表示される。

以上のような構成によれば、赤色の照射は、ブランキング期間外まで延長されるものの、撮像期間全体に亘って継続して照射されるので、走査行によって露光時間に差異が生じることはない（図６参照）。また、赤色の色成分がすべての色画像で共通するため、撮像した赤色の色画像を用いることで、他の色画像において、赤色の色成分を容易に除去することができる。その結果、各基準色の色画像（色成分）を精度良く得ることができる。よって、赤色の照明光の照射時間を長くしつつ、且つ好適なカラー画像を得ることができる。ゆえに、使用可能な赤色光源４１が極端に制限されることがなく、且つ赤色光源４１の破損等を防止することができる。また、赤色光源４１の発光強度を低くすることができるので、撮像部２２の長寿命化を図ることができ、また駆動回路の最大供給電流値を小さくすることができるので、システム全体の簡易化や低消費電力化にも寄与する。さらに、被写体Ａへのピーク輝度値を大幅に小さくすることができるため、被写体Ａの光損傷を抑えることができ、光損傷が懸念される用途にも使用可能となる。

また、赤色の照明光として、人間の網膜における分光感度特性に基づく波長域の光を照射する、具体的には、補助色として黄色や橙色を混ぜた波長域の光を照射することで、人間の網膜に合わせたカラー画像を得ることができる。特に、体内を撮像するこの種の内視鏡システムＳＹでは、赤色の重要性が高い。よって、赤色の照明光の波長域を、人間の網膜の分光感度特性に合わせることで、内視鏡システムＳＹとして高精度のカラー画像を得ることができる。

さらに、撮像部２２として、ＨＡＲＰ－ＨＥＥＤ撮像板を用いることで、高精度な画像を得ることができる内視鏡システムＳＹを提供することができる。

またさらに、赤色光源４１として、カラーフィルターに覆われた白色光源を用いることで、ＬＥＤ光源を用いた場合と比して、赤色光源４１を、安価にすることができ、且つ放熱性を向上することができる。また、照明光の波長域を広くすることができる。

なお、本実施形態においては、イメージセンサー５１において、ＨＥＥＤ型の冷陰極アレイ５７を用いたが、ＳＰＩＮＤＴ型の冷陰極アレイ５７を用いても良い。

また、本実施形態においては、冷陰極アレイ５７により、ＨＡＲＰ膜５６上の光像を読み出す構成であったが、電子源部として、電子銃および偏向機構（いわゆる偏向電子銃）を用い、電子銃および偏向機構により、ＨＡＲＰ膜５６上の光像を読み出す構成であっても良い。

さらに、本実施形態においては、イメージセンサー５１として、ＨＡＲＰ－ＨＥＥＤ撮像板を用いたが、イメージセンサー５１として、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーを用いても良い。これらの場合、青色の照明光が、他の基準色に比して受光感度が低いものとなるため、青色を特定基準色とする。すなわち、撮像動作では、単位撮像期間において、青色の照明光を継続的に照射し、単位撮像期間内の２個のブランキング期間において、赤色および緑色の照明光をそれぞれ照射する。

またさらに、本実施形態においては、受光感度の低い基準色を特定基準色としたが、撮像装置の用途上、重要性が高い基準色や、応答性が低い光源を用いたい基準色を、特定基準色としても良い。

また、本実施形態においては、光の３原色の３色の基準色（ＲＧＢ）により、被写体Ａの照明、撮像を行う構成であったが、４色以上の基準色により、被写体Ａの照明、撮像を行う構成であっても良い。

さらに、本実施形態においては、特定基準色の光源（赤色光源４１）として、カラーフィルターを被せた白色の蛍光体光源を用いたが、カラーフィルターを被せた白熱光源を用いても良い。ひいては、当該光源として、ＬＥＤ光源を用いても良い。

なお、本実施形態においては、特定基準色（赤色）の照明光を連続発光する構成であったが、単位撮像期間において照明光を継続して照射する構成であれば、特定基準色（赤色）の照明光をパルス発光する構成であっても良い。

また、本実施形態においては、鏡筒部２１に横から照明光を入れて、被写体Ａを照明する構成であったが、イメージセンサー５１廻りに各光源４１、４２、４３を配置し、同軸照明で被写体Ａを照明する構成であっても良い。

なお、本実施形態においては、硬性の鏡筒部２１を用いた硬性鏡の内視鏡システムＳＹに本発明を適用したが、軟性の鏡筒部２１を用いた軟性鏡の内視鏡システムＳＹに本発明を適用しても良い。

また、本実施形態においては、内視鏡システムＳＹに本発明を適用したが、内視鏡以外の撮像装置に本発明を適用しても良い。例えば、夜間用、深海用の撮像装置や顕微鏡撮像装置に本発明を適用しても良い。

１２：信号処理部、２１：鏡筒部、２２：撮像部、２３：照明部、２４：照明制御部、３２：レンズ光学系、５６：ＨＡＲＰ膜、５７：冷陰極アレイ、Ａ：被写体、ＳＹ：内視鏡システム

Claims

１の特定色と他の非特定色とから成る複数色の照明光を照射可能な照明部を制御する制御部と、
単位撮像期間において撮像部の撮影により画像を生成する処理部と、を備え、
前記制御部は、前記単位撮像期間において、前記非特定色の照明光の照射時間が前記１の特定色の照明光の照射時間の一部と重畳するよう前記照明部を制御する撮像装置。