JP2017012395A - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

内視鏡システム及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP2017012395A
JP2017012395A JP2015131741A JP2015131741A JP2017012395A JP 2017012395 A JP2017012395 A JP 2017012395A JP 2015131741 A JP2015131741 A JP 2015131741A JP 2015131741 A JP2015131741 A JP 2015131741A JP 2017012395 A JP2017012395 A JP 2017012395A
Authority
JP
Japan
Prior art keywords
light
color
ratio
spectrum
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015131741A
Other languages
English (en)
Inventor
健一 大谷
Kenichi Otani
健一 大谷
杉崎 誠
Makoto Sugizaki
誠 杉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015131741A priority Critical patent/JP2017012395A/ja
Priority to US15/196,724 priority patent/US10045431B2/en
Publication of JP2017012395A publication Critical patent/JP2017012395A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B41/00Circuit arrangements or apparatus for igniting or operating discharge lamps
    • H05B41/14Circuit arrangements
    • H05B41/36Controlling
    • H05B41/38Controlling the intensity of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Abstract

【課題】互いに異なる色の光を独立して発光する複数の光源を用いて連続スペクトル光を照明光に用いた場合とほぼ同様に観察対象を観察可能にする内視鏡システム及び内視鏡システムの作動方法を提供する。【解決手段】内視鏡システム10は、V−LED20a、B−LED20b、G−LED20c、R−LED20dを有し、これらが発光するV光、B光、G光、R光を重ね合わせた第1多色スペクトルを有する第1多色スペクトル光25を発する光源部20と、B画素、G画素、R画素を有する撮像センサ48と、各LED20a〜20dを制御し、第1多色スペクトル光25を各色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、キセノンランプの連続スペクトル光26を各色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させる光源制御部22と、を備える。【選択図】図2

Description

本発明は、観察対象に照射する照明光を複数の光源を用いて形成する内視鏡システム及び内視鏡システムの作動方法に関する。
医療分野においては、内視鏡光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡光源装置は、体腔の粘膜等の観察対象に照射する光(以下、照明光という)を発生する装置である。内視鏡光源装置には、従来、キセノンランプ等の広帯域な連続スペクトルを有する光(以下、連続スペクトル光という)を発する光源が用いられてきたが、近年では、キセノンランプ等の広帯域光源の代わりに、LED(Light Emitting Diode)等の半導体光源が用いられつつある。光源に半導体光源を用いる場合には、例えば、青色LED、緑色LED、及び赤色LEDなどの互いに異なる色の光を発光する複数の半導体光源を組み合わせて用いることにより、これらの光を重ね合わせた分光スペクトルを有する光(以下、多色スペクトル光という)が照明光になる。
例えば、特許文献1の内視鏡システムは、内視鏡光源装置に4個の独立制御可能な半導体光源を搭載し、各々の発光量を制御することで照明光の分光スペクトル(波長毎の光量分布)を調整することで、取得したい画像特性に応じた最適な特性を有する照明光を観察対象に照射できるようにしている。具体的には、明るさに対するダイナミックレンジの大きな画像、色温度が低い画像、色温度が高い画像、及び特殊な狭帯域波長を狭いエリアに照射した場合の画像を得るために、それぞれ照明光の分光スペクトル等を調節している。
また、特許文献2の内視鏡システムは、複数の独立制御可能な半導体光源を搭載しており、内視鏡の機種を識別し、内視鏡の機種に応じて各半導体光源の駆動条件を設定している。具体的には、機種によって照明光を伝搬するためのライトガイドの光透過特性が異なるので、内視鏡の機種を識別して、ライトガイドの光透過特性に応じた各半導体光源の光量比を設定している。
特開2013−255655号公報 特開2013−202166号公報
上記のように、内視鏡システムで用いる照明光は、従来のキセノンランプ等による連続スペクトル光から、複数の半導体光源による多色スペクトル光になりつつあるが、連続スペクトル光と多色スペクトル光とでは、それぞれ分光スペクトルが異なっているので、連続スペクトル光を照射して撮像した観察対象の画像と、多色スペクトル光を照射して撮像した観察対象の画像とでは、同じ観察対象であっても見え方が異なる場合がある。連続スペクトル光を照明光に用いる場合と、多色スペクトル光を照明光に用いる場合とでの観察対象の見え方の違いは一概にどちらが優れているとは言えないが、複数の半導体光源が独立制御可能であり、観察対象等に応じて分光スペクトルを調節できる分、多色スペクトル光を照明光に用いる場合の方が柔軟に観察できる利点がある。
一方、内視鏡システムでは、キセノンランプ等による連続スペクトル光を照明光として用いてきた期間が長いので、多くの医師はキセノンランプ等による連続スペクトル光を照射した場合の観察対象の見え方に慣れている。このため、複数の半導体光源による多色スペクトル光を照明光に用いる場合でも従前のキセノンランプ等による連続スペクトル光を照明光に用いた場合と同様に観察できるようにしておくことが望まれている。また、過去の症例として蓄積されている内視鏡画像の多くも、キセノンランプ等による連続スペクトル光によって撮影されているので、複数の半導体光源による多色スペクトル光を照明光に用いる場合でも、過去の症例と単純に比較しやすくするために、連続スペクトル光を照明光に用いた場合と同様の内視鏡画像を得られるようにしておくことが望まれている。
上記の要望に応えるためには、複数の半導体光源で連続スペクトル光の分光スペクトルを再現できれば良いが、実際には、複数の半導体光源で連続スペクトル光の分光スペクトルを完全に再現することはできない。例えば、中心波長から離れた波長ほど光量が小さくなる青色LED及び緑色LEDを光源として用いる場合、これらの中間色(青色と緑色の中間付近の波長)の光量は、青色LEDと緑色LEDの光量を調節しただけでは変化し難く、青色LED及び緑色LEDの各中心波長を連続スペクトル光の光量に近づけると、青色と緑色の中間色の光量は連続スペクトル光の光量を大幅に下回る。逆に、青色と緑色の中間色の光量を連続スペクトル光に近づけるために青色LEDと緑色LEDの光量を増大させると、青色LEDの中心波長付近の色や緑色LEDの中心波長の色では連続スペクトル光の光量を大幅に超過してしまう。
本発明は、互いに異なる色の光を独立して発光する複数の光源を用いて、これらの光を重ね合わせた多色スペクトル光を照明光として用いる場合でも、連続スペクトル光を照明光に用いた場合とほぼ同様に観察対象を観察可能にする内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、互いに異なる色の光を独立して発光する複数の光源を有し、複数の光源が発光する光を重ね合わせた第1多色スペクトルを有する第1多色スペクトル光を発する光源部と、異なる色に感度を有する複数色の画素を有する撮像センサと、複数の光源を制御し、第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、白色光源が発光する光の少なくとも一部の波長帯域を有する連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させる光源制御部と、を備える。
連続スペクトル光は白色光であることが好ましい。
白色光は、キセノンランプが発する光であることが好ましい。
撮像センサは、第1色に感度を有する第1色画素と、第2色に感度を有する第2色画素と、第3色に感度を有する第3色画素と、を有し、光源制御部は、第1色画素で得る第1色の光量積分値と第2色画素で得る第2色の光量積分値との比率を、第1多色スペクトル光を用いる場合と連続スペクトル光を用いる場合とで一致させ、かつ、第3色画素で得る第3色の光量積分値と第2色の光量積分値との比率を、第1多色スペクトル光を用いる場合と連続スペクトル光を用いる場合とで一致させることが好ましい。
撮像センサは、さらに第4色に感度を有する第4色画素を有し、光源制御部は、第1色画素で得る第1色の光量積分値と第2色画素で得る第2色の光量積分値との比率を、第1多色スペクトル光を用いる場合と連続スペクトル光を用いる場合とで一致させ、第3色画素で得る第3色の光量積分値と第2色の光量積分値との比率を、第1多色スペクトル光を用いる場合と連続スペクトル光を用いる場合とで一致させ、かつ、第4色画素で得る第4色の光量積分値と第2色の光量積分値との比率を、第1多色スペクトル光を用いる場合と連続スペクトル光を用いる場合とで一致させることが好ましい。
光源制御部は、複数の光源の光量比を制御することが好ましい。
光源制御部は、観察対象に照射した第1多色スペクトル光の戻り光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、観察対象に照射した連続スペクトル光の戻り光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させることが好ましい。
観察対象の種類毎に複数の光量比を記憶する光量比記憶部を備え、光源制御部は、光量比記憶部が記憶する複数の光量比のなかから光量比を選択することが好ましい。
撮像センサは、シアン、マゼンタ、及びイエローを含む補色系カラーフィルタを有する補色系カラー撮像センサであることが好ましい。
光源制御部は、複数の波長帯域毎に、第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値を、連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値と一致させることが好ましい。
撮像センサは、青、緑、及び赤を含む原色系カラーフィルタを有する原色系カラー撮像センサであることが好ましい。
光源の色数が画素の色数よりも多く、第1多色スペクトル光のうち複数色の光源が発光する波長帯域の光を一つの画素で受光する場合、一つの画素が受光する光の波長帯域毎に、光量積分値を、連続スペクトル光を受光して得る光量積分値に一致させることが好ましい。
光源部は、複数の光源によって、第1多色スペクトル光及び連続スペクトル光とは分光スペクトルが異なる第2多色スペクトルを有する第2多色スペクトル光を発し、光源制御部は、第2多色スペクトル光を青のカラーフィルタが設けられた青色画素で受光して得る光量積分値を、第1多色スペクトル光を青色画素で受光して得る光量積分値よりも大きくすることが好ましい。
複数の光源が発する光量をそれぞれ検出する光量検出部を備え、光源制御部は、光量検出部による検出結果を用いて、複数の光源のうち、第1多色スペクトル光を形成する光量の指定値に対して、光量の不足が最も大きい最劣化光源の光量に合わせて、残りの光源の光量を設定することが好ましい。
光量検出部は、複数の光源が発光している間、複数の光源が発光する光の検出を繰り返し行うことが好ましい。
第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する検証部を備えることが好ましい。
複数の光源が発する光量をそれぞれ検出する光量検出部を備え、検証部は、光量検出部による検出結果を用いて、第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証することが好ましい。
検証部は、撮像センサの出力を用いて、第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証することが好ましい。
光源制御部は、検証部による検証結果を用いて複数の光源を制御することが好ましい。
本発明の内視鏡システムの作動方法は、互いに異なる色の光を独立して発光する複数の光源を有し、複数の光源が発光する光を重ね合わせた第1多色スペクトルを有する第1多色スペクトル光を発する光源部と、異なる色に感度を有する複数色の画素を有する撮像センサと、を有する内視鏡システムの作動方法において、光源制御部が複数の光源を制御し、第1多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、白色光源が発光する光の少なくとも一部の波長帯域を有する連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させるステップを備える。
本発明の内視鏡システム及び内視鏡システムの作動方法は、複数の光源が発光する光を重ね合わせた多色スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、白色光源が発光する光の少なくとも一部の波長帯域を有する連続スペクトル光を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させることにより、多色スペクトル光を照明光として用いる場合でも、連続スペクトル光を照明光に用いた場合とほぼ同様に観察対象を観察可能にすることができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 多色スペクトル光の分光スペクトルを示すグラフである。 キセノンランプが発する連続スペクトル光の分光スペクトルを示すグラフである。 カラーフィルタの分光スペクトルを示すグラフである。 V光、B光、G光、及びR光とキセノンランプが発する連続スペクトル光の分光スペクトルを示すグラフである。 第1多色スペクトル光のV光とB光のバランスを示すグラフである。 食道の反射率を示すグラフである。 V光、B光、G光、及びR光の戻り光を示すグラフである。 キセノンランプの連続スペクトル光の戻り光を示すグラフである。 食道の反射率を考慮した第1多色スペクトル光を示すグラフである。 食道、胃、及び大腸の反射率を示すグラフである。 観察対象の種類に対応して第1多色スペクトル光を形成する各色光の光量比を変える内視鏡システムのブロック図である。 補色系カラーフィルタの分光スペクトルを示すグラフである。 補色系カラーフィルタの総合感度を示すグラフである。 補色系カラー撮像センサ用の第1多色スペクトル光を示すグラフである。 第2多色スペクトル光の分光スペクトルを示すグラフである。 内視鏡の機種によって第1多色スペクトル光と第2多色スペクトル光を切り替える内視鏡システムのブロック図である。 内視鏡の機種によって第1多色スペクトル光と第2多色スペクトル光を切り替える内視鏡システムのブロック図である。 半導体光源の経時劣化を示すグラフである。 半導体光源の経時劣化に対応した第1多色スペクトル光を発光する内視鏡システムのブロック図である。 半導体光源が経時劣化した場合の第1多色スペクトル光の分光スペクトルを示すグラフである。 最も経時劣化した光源に合わせて光量を調節した第1多色スペクトル光の分光スペクトルを示すグラフである。 検証部を有する内視鏡システムのブロック図である。 検証部を有する内視鏡システムのブロック図である。 帯域制限部を設けた内視鏡システムのブロック図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、内視鏡光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は内視鏡光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。また、操作部12bには、アングルノブ12eの他、ズーム操作部13等が設けられている。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、内視鏡光源装置14は、観察対象に照射する照明光を発生する装置であり、複数の光源を有する光源部20と、光源部20の各光源を制御する光源制御部22と、光源部20が発する光の光路を結合する光路結合部23とを備えている。
光源部20は、紫色LED(以下、V−LED(Violet Light Emitting Diode)という)20a、青色LED(以下、B−LED(Blue Light Emitting Diode)という)20b、緑色LED(以下、G−LED(Green Light Emitting Diode)という)20c、及び、赤色LED(以下、R−LED(Red Light Emitting Diode)という)20dの4色のLEDを有する。
図3に示すように、V−LED20aは、中心波長405nm、波長帯域380〜420nmの紫色光(以下、V光という)を発光する紫色光源である。B−LED20bは、中心波長450nm、波長帯域420〜490nmの青色光(以下、B光という)を発する青色光源である。G−LED20cは、中心波長が524nm〜525nm、波長帯域が480nm〜590nmの緑色光(以下、G光という)を発する緑色光源である。R−LED20dは、中心波長が628〜629nmであり、波長帯域が580〜700nmの赤色光(以下、R光という)を発光する赤色光源である。なお、これらの各LED20a〜20dの中心波長は±5nmから±10nm程度の幅を有する。
光源部20は、これらの互いに異なる色の光を独立して発光する複数の光源によって、V光、B光、G光、及びR光を重ね合わせた多色スペクトルを有する多色スペクトル光を発する。V−LED20aの波長帯域とB−LED20bの波長帯域には重複があり、B−LED20bの波長帯域とG−LED20cの波長帯域にも重複があり、かつ、G−LED20cの波長帯域とR−LED20dの波長帯域にも重複がある。また、各LED20a〜20dの発光量(以下、単に光量という)はそれぞれ独立に制御可能であるため、多色スペクトル光の分光スペクトルは、各LED20a〜20dの光量を変えることによって変化させることができる。本実施形態では、光源部20は、図4に示す従来の内視鏡システムが用いてきたキセノンランプが発する白色光の広帯域な連続スペクトル光26を照明光として用いて観察する場合を模倣する特定のバランスで、V光、B光、G光、及びR光を発光する。このキセノンエミュレートモードで光源部20が発する多色スペクトル光を、以下では第1多色スペクトル光という。図3に示す分光スペクトルを有する多色スペクトル光が、本実施形態の第1多色スペクトル光25であり、第1多色スペクトル光25の分光スペクトルが第1多色スペクトルである。
光源制御部22は、光源部20が有する各LED20a〜20dの駆動電流や駆動電圧、駆動電流または駆動電圧を各LED20a〜20dにパルス入力する際のパルス幅やパルス長等を個別に制御することによって、各LED20a〜20dが発する各光の発光タイミングや光量を制御する。本実施形態では、光源部20から第1多色スペクトル光25を発光する場合、光源制御部22は、各LED20a〜20dを同時に点灯し、かつ、各LED20a〜20dの発光量の比(以下、光量比という)を制御する。そして、光源制御部22は、各LED20a〜20dの光量比を制御することで、第1多色スペクトル光25を撮像センサ48の複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、連続スペクトル光26を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させる。
光量積分値とは、撮像センサ48が複数色の各画素で光電変換して得る信号電荷の量である。このため、撮像センサ48の機種や設定等によっては、複数色の各画素で異なるゲインをかけて信号電荷の読み出しを行って画像信号を出力するが、光量積分値は撮像センサ48が信号電荷の読み出し時にかけるゲインの値には依存しない。また、光量積分値は、プロセッサ装置16が画像信号に対して行う信号処理の内容にも依存しない。本実施形態では、光量積分値は、光源部20が発する第1多色スペクトル光(あるいはキセノンランプの連続スペクトル光26)の分光スペクトルと、撮像センサ48のカラーフィルタの分光スペクトルの波長毎の積を、カラーフィルタの波長帯域毎に積分して算出する。
連続スペクトルとは白色光源が発光する光の少なくとも一部の波長帯域を有する光の分光スペクトルであり、連続スペクトル光とは連続スペクトルを有する光である。白色光源とは、1つの光源から可視光域(例えば400nmから700nm)にわたってなだらかな分布の光を出す光源である。より具体的には、白色光源とは、キセノンランプや、ハロゲンランプ、または白色LED等である。また、白色光源が発光する光の少なくとも一部の波長帯域を有する光とは、白色光源が発光する光からカラーフィルタ等によって抽出した光をいう。
多色スペクトルとは、複数の光源がそれぞれ発光する光の分光スペクトルを重ね合わせて得る1つの分光スペクトルであり、複数の光源が発光する光を重ね合わせた光が多色スペクトル光である。広帯域とは、光源部20で用いる複数の光源(LED20a〜20d)のうち少なくとも1個の光源が発光する光の波長帯域よりも波長帯域が広いことを表す。キセノンランプの白色光は、LED20aが発光するV光の波長帯域(紫色波長帯域)、LED20bが発光するB光の波長帯域(青色波長帯域)、LED20cが発光するG光の波長帯域(緑色波長帯域)、及び、LED20dが発光するR光の波長帯域(赤色波長帯域)の各波長帯域よりも波長帯域が広く、これら全ての波長帯域(波長350nm以上700nm未満)の各波長の成分を含み、かつ、可視光域にわたってなだらかな分布を有する光である。したがって、キセノンランプが発光する白色光は、広帯域な連続スペクトル光26である。
光源部20が発光する多色スペクトル光(第1多色スペクトル光25)は、光路結合部23を介して挿入部12a内に挿通されたライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と内視鏡光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23から導光される照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた経がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41によって伝搬された照明光は観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。観察対象からの戻り光(反射光の他、観察対象等から発生する蛍光を含む光)は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象が結像される。なお、ズームレンズ47は、ズーム操作部13を操作することで、テレ端とワイド端の間で自在に移動され、撮像センサ48に結像する観察対象を拡大または縮小する。
撮像センサ48は、異なる色に感度を有する複数色の画素を有する。すなわち、撮像センサ48には、互いに色(カラーフィルタの分光スペクトル)が異なる画素がある。より具体的には、撮像センサ48は、青、緑、及び赤を含む原色系カラーフィルタを有する原色系カラー撮像センサであり、観察対象からの戻り光を複数色の画素でそれぞれ撮像して各色の画像信号を出力する。撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。本実施形態では、撮像センサ48は、図5に示す分光スペクトルを有する青色カラーフィルタ(以下、Bフィルタという)、緑色カラーフィルタ(以下、Gフィルタという)、及び赤色カラーフィルタ(以下、Rフィルタという)の3色のカラーフィルタのいずれかが各画素に設けられている。
Bフィルタが設けられたB画素(青色画素)は、観察対象からの戻り光のうちBフィルタを透過する青色光成分を受光し、Gフィルタが設けられたG画素(緑色画素)は、観察対象からの戻り光のうちGフィルタを透過する緑色光成分を受光する。同様に、Rフィルタが設けられたR画素(赤色画素)は、観察対象からの戻り光のうちRカラーフィルタを透過する赤色光成分を受光する。したがって、光源部20が第1多色スペクトル光25を発光する場合、B画素は第1多色スペクトル光25のうち、V光とB光の各戻り光を受光し、B画像信号(青色画像信号)を出力する。同様に、光源部20が第1多色スペクトル光25を発光する場合、G画素はG光の戻り光を受光してG画像信号(緑色画像信号)を出力し、かつ、R画素はR光の戻り光を受光してR画像信号(赤色画像信号)を出力する。
撮像センサ48が出力する各色の画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS;Correlated Double Sampling)や自動利得制御(AGC;Automatic Gain Control)を行う。CDS/AGC回路50を経た画像信号は、A/Dコンバータ51により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、受信部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像生成部62と、映像信号生成部66とを備えている。
受信部53は、内視鏡12からデジタルのRGB画像信号を受信する。DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でデモザイク処理等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等による)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像生成部62に送信される。
画像生成部62は、RGB画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、画像(以下、内視鏡画像という)を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施したRGB画像信号を用いたカラー画像が内視鏡画像である。映像信号生成部66は、画像生成部62が生成した内視鏡画像をモニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ18は内視鏡画像を表示する。
以下、本実施形態の内視鏡システム10がキセノンエミュレートモードの照明光として使用する第1多色スペクトル光25の特性と、第1多色スペクトル光25を形成するV光、B光、G光、及びR光の光量比の求め方を説明する。
まず、光源制御部22は、V光、B光、G光、及びR光の光量比を任意に変更することができるが、これらの各色光の光量比を調節するだけでは、図6に示すようにキセノンランプの連続スペクトル光26の分光スペクトルを再現することはできない。例えば、V光及びB光の光量を連続スペクトル光26に一致させても、これらの中間の波長帯域(約420nm〜430nmの波長帯域)の光量は連続スペクトル光26の光量には及ばない。逆に、V光とB光の中間の波長帯域の光量を連続スペクトル光26の光量に一致させると、V光及びB光の中心波長の光量は連続スペクトル光26の光量を大幅に超過する。
したがって、光源制御部22は、各色のLED20a〜20dでキセノンランプの連続スペクトル光26を再現する代わりに、第1多色スペクトル光25をB画素で受光して得る光量積分値、G画素で受光して得る光量積分値、及びR画素で受光して得る光量積分値の比率が、キセノンランプの連続スペクトル光26をB画素で受光して得る光量積分値、G画素で受光して得る光量積分値、及びR画素で受光して得る光量積分値の比率にほぼ一致するように、V光、B光、G光、及びR光の光量比を調節する。こうすると、第1多色スペクトル光25とキセノンランプの連続スペクトル光26の分光スペクトルが異なっていたとしても、結果として、撮像センサ48で観察対象を撮像して得る画像信号が等しくなるので、モニタ18に表示する内視鏡画像も実質的に同じものである。すなわち、分光スペクトルを一致させなくても、観察対象の見え方がキセノンランプを用いた場合と同じ内視鏡画像が得られる。
第1多色スペクトル光25を形成するV光をB画素、G画素、及びR画素で受光して得る光量積分値をそれぞれVb、Vg、及びVrとする。同様に、第1多色スペクトル光25を形成するB光をB画素、G画素、及びR画素で受光して得る光量積分値をそれぞれBb、Bg、及びBrとし、第1多色スペクトル光25を形成するG光をB画素、G画素、及びR画素で受光して得る光量積分値をそれぞれGb、Gg、及びGrとし、第1多色スペクトル光25を形成するR光をB画素、G画素、及びR画素で受光して得る光量積分値をそれぞれRb、Rg、及びRrとする。
V光をB画素で受光して得る光量積分値Vbは、例えば最大値(中心波長の光量)を「1」に規格化したV光の分光スペクトル(図6参照)とBカラーフィルタの分光スペクトル(図5参照)の波長毎の積を積分することにより求められる。V光の分光スペクトル及びBカラーフィルタの分光スペクトルは既知なので、V光をB画素で受光して得る光量積分値Vbは既知量である。他の光量積分値Vg、Vr、Bb、Bg、Br、Rb、Rg、及びRrも同様である。
また、キセノンランプの連続スペクトル光26をB画素で受光して得る光量積分値をXbとし、キセノンランプの連続スペクトル光26をG画素で受光して得る光量積分値をXgとし、かつ、キセノンランプの連続スペクトル光26をR画素で受光して得る光量積分値をXrとする。連続スペクトル光26をB画素で受光して得る光量積分値Xbは、例えば最大値を「1」に規格化したキセノンランプの連続スペクトル光26(図4または図6参照)とBカラーフィルタの分光スペクトル(図5参照)の波長毎の積を積分することにより求められる。連続スペクトル光26の分光スペクトル及びBカラーフィルタの分光スペクトルは既知なので、連続スペクトル光26をB画素で受光して得る光量積分値Xbは既知量である。他の光量積分値Xg及びXrも同様である。
そして、第1多色スペクトル光25を形成するV光、B光、G光、及びR光の光量比をV光:B光:G光:R光=Cv:Cb:Cg:Crとする。これらCv、Cb、Cg、Crの値は変数であり、第1多色スペクトル光25をB画素で受光して得る光量積分値、G画素で受光して得る光量積分値、及びR画素で受光して得る光量積分値の比率が、キセノンランプの連続スペクトル光26をB画素で受光して得る光量積分値、G画素で受光して得る光量積分値、及びR画素で受光して得る光量積分値の比率に一致するように決定する。
すなわち、第1多色スペクトル光25を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crは、数1を満たすように決定すればよいが、方程式の数よりも変数の数の方が多いので、このままではV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを一意に定めることができない。
Figure 2017012395
そこで、本実施形態ではまずB画素で受光するV光とB光の光量比(V光:B光=Kv:Kb)を決定する。具体的には、B画素で受光する波長帯域を、V光の第1波長帯域(波長380nm以上430nm未満)とB光の第2波長帯域(波長430nm以上480nm未満)の2つの波長帯域に区切る。そして、第1多色スペクトル光25の第1波長帯域の光量積分値と、キセノンランプの連続スペクトル光26の第1波長帯域の光量積分値が一致し、かつ、第1多色スペクトル光25の第2波長帯域の光量積分値と、キセノンランプの連続スペクトル光26の第2波長帯域の光量積分値を一致するように、V光とB光の光量比Kv:Kbを決定する。
V光の第1及び第2波長帯域の各光量積分値をVb1及びVb2とし、B光の第1及び第2波長帯域の各光量積分値をBb1及びBb2とする。また、連続スペクトル光26の第1及び第2波長帯域の各光量積分値をXb1、Xb2とする。V光の第1波長帯域の光量積分値Vb1は、V光の分光スペクトルとBカラーフィルタの分光スペクトルの積を第1波長帯域で積分することで算出する。V光の分光スペクトルとBカラーフィルタの分光スペクトルは既知なので、V光の第1波長帯域の光量積分値Vb1は既知量である。他の光量積分値Vb2、Bb1、Bb2、Xb1、Xb2も同様である。
したがって、V光とB光の光量比Kv:Kbは、数2によって算出できる。本実施形態では、図7に示すように、Kv:Kb≒0.53:1(≒0.35:0.65)である。
Figure 2017012395
第1多色スペクトル光25を形成するV光とB光の光量比Kv:Kbが定まれば、この光量比で合成したV光とB光の合成光を擬似的に青色光(以下、B2光という)として扱うことができる(図7参照)。
このため、B2光をB画素で受光して得る光量積分値をB2b、B2光をG画素で受光して得る光量積分値をB2g、B2光をR画素で受光して得る光量積分値をB2rとし、第1多色スペクトル光25を形成するB2光、G光、及びR光の光量比をPb2:Pg:Prとすると、数3によってB2光、G光、及びR光の光量比Pb2:Pg:Prを算出することができる。本実施形態では、Pb2:Pg:Pr=1:1.64:1.65(≒0.24:0.36:0.40)である。
Figure 2017012395
こうして第1多色スペクトル光25を形成するV光とB光の光量比Kv:Kbと、B2光、G光、及びR光の光量比Pb2:Pg:Prが定まれば、これらを用いて第1多色スペクトル光25を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを算出することができる。本実施形態では、Cv:Cb:Cg:Cr=Kv/Kb:1:Pg/Pb2:Pr/Pb2=0.53:1:1.64:1.65(≒0.11:0.22:0.32:0.36)である。
上記光量比Cv:Cb:Cg:CrでV光、B光、G光、及びR光を合成した多色スペクトル光が第1多色スペクトル光25である(図3参照)。内視鏡システム10は、V光、B光、G光、及びR光の光量比を上記光量比Cv:Cb:Cg:Crにした第1多色スペクトル光25を用いることで、第1多色スペクトル光25を撮像センサ48の複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、キセノンランプの連続スペクトル光26を撮像センサ48の複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致する。
具体的には、数1からも分かるように、例えば、第1多色スペクトル光25を用いた場合のG画素での光量積分値(CvVg+CbBg+CgGg+CrRg)に対するB画素での光量積分値(CvVb+CbBb+CgGb+CrRb)の比率(CvVb+CbBb+CgGb+CrRb)/(CvVg+CbBg+CgGg+CrRg)が、キセノンランプの連続スペクトル光26を用いる場合のG画素での光量積分値Xgに対するB画素での光量積分値Xbの比率Xb/Xgに一致する。かつ、第1多色スペクトル光25を用いた場合のG画素での光量積分値(CvVg+CbBg+CgGg+CrRg)に対するR画素での光量積分値(CvVr+CbBr+CgGr+CrRr)の比率(CvVr+CbBr+CgGr+CrRr)/(CvVg+CbBg+CgGg+CrRg)は、キセノンランプの連続スペクトル光26を用いる場合のG画素での光量積分値Xgに対するR画素での光量積分値Xrの比率Xr/Xgに一致する。
すなわち、第1多色スペクトル光25を用いれば、撮像センサ48から得られる画像信号の色毎のバランスがキセノンランプの連続スペクトル光26を用いた場合とほぼ同じになる。このため、内視鏡システム10は、観察対象の見え方をキセノンランプの連続スペクトル光26を用いた場合とほぼ同じになる。また、DSP56で行う各種信号処理や、ノイズ除去部58で行うノイズ除去処理、画像生成部62で行う各種画像処理等で用いるゲインやマトリクスを再計算する必要もなく、従来と同じゲインやマトリクスを使用できるので、ノイズもキセノンランプの連続スペクトル光26を用いる場合とほぼ同じになる。
したがって、本実施形態のように撮像センサ48が、青色(第1色)に感度を有するB画素(第1色画素)と、緑色(第2色)に感度を有するG画素(第2色画素)と、赤色(第3色)に感度を有するR画素(第3色画素)と、を有する場合、光源制御部22は、V光、B光、G光、及びR光を上記光量比Cv:Cb:Cg:Crで発光させることにより、B画素で得る青色の光量積分値とG画素で得る第2色の光量積分値との比率を、第1多色スペクトル光25を用いる場合と連続スペクトル光26を用いる場合とで一致させ、かつ、R画素で得る赤色の光量積分値と緑色の光量積分値との比率を、第1多色スペクトル光25を用いる場合と連続スペクトル光26を用いる場合とで一致させる。
第1多色スペクトル光25は、キセノンランプの連続スペクトル光26と比較すると、一部の波長帯域(V光とB光の中間の波長帯域等)の波長成分が少ないが、いわゆる表層血管やピットパターン等の粘膜の表層付近の構造の情報や、中深層血管等の粘膜下の中深層の構造に関する情報は、第1多色スペクトル光25を形成する各色光が十分に担持している。したがって、内視鏡システム10では、第1多色スペクトル光25を用いることで、こうした表層血管等の見え方も含めて観察対象の見え方をキセノンランプの連続スペクトル光26を用いた場合とほぼ一致する。逆に言えば、キセノンランプの連続スペクトル光26のうち、V光とB光の中間の波長帯域等の光は、内視鏡画像を明るくするが、第1多色スペクトル光25を形成する各色光と比較すると、表層血管や中深層血管等の観察対象の構造の見え方への寄与が少ない。このため、内視鏡観察には、第1多色スペクトル光25で不足はない。
なお、第1多色スペクトル光25を撮像センサ48の複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率は、連続スペクトル光26を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に対して少なくとも5%〜10%程度の誤差を許容できる。視覚が色差の違いに比較的鈍感であることもあり、誤差が上記程度であれば、観察対象の見え方はキセノンランプの連続スペクトル光26を用いた場合とほぼ同じになるので、各比率はほぼ一致していると見做せる。したがって、本明細書等で言う、第1多色スペクトル光25を撮像センサ48の複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率と、連続スペクトル光26を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率の「一致」には、上記のような誤差を含んだ「ほぼ一致」も含む。
[第2実施形態]
内視鏡システム10の観察対象は例えば食道であり、食道の反射率は、図8に示すように波長毎に異なる。このため、図9に示すように、V光、B光、G光、及びR光の各最大値を「1」に規格化した多色スペクトル光201を用いる場合でも、食道からの戻り光202は食道の反射率を反映して変化する。同様に、図10に示すように、キセノンランプの連続スペクトル光26を用いる場合でも、食道からの戻り光203は食道の反射率を反映して元の連続スペクトル光26から変化する。なお、食道の反射率には、食道からの反射光の光量の他に、食道の粘膜等を形成する組織から発生する蛍光の光量も含まれている。このため、戻り光202は多色スペクトル光201の反射光の他、多色スペクトル光201を照射したことによって食道から発生する蛍光も含む。戻り光203も同様である。
上記のように、食道からの戻り光202及び戻り光203は、食道の反射率を反映して変化するので、第2実施形態では、光源制御部22は、食道に照射した多色スペクトル光201の戻り光202を撮像センサ48の複数色の画素で受光して得る色毎の光量積分値の比率が、食道に照射したキセノンランプの連続スペクトル光26を撮像センサ48の複数の画素で受光して得る色毎の光量積分値の比率に一致するように、V光、B光、G光、及びR光の光量比を制御する。
このように、食道からの戻り光を撮像センサ48の複数色の画素で受光して得る色毎の光量積分値を、キセノンランプの連続スペクトル光26を撮像センサ48の複数の画素で受光して得る色毎の光量積分値の比率に一致させた多色スペクトル光が、図11に示す第1多色スペクトル光225である。グラフ226は、第1多色スペクトル光225の食道からの戻り光である。
数1〜数3で用いる各光量積分値の算出する際に、V光、B光、G光、R光、及び連続スペクトル光26の代わりに戻り光202及び戻り光203のデータを用いれば、第1実施形態と同様にして、第1多色スペクトル光225を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを算出することができる。具体的には、第1多色スペクトル光225の場合、Cv:Cb:Cg:Cr=0.53:1:1.36:1.33(≒0.13:0.24:0.32:0.32)である。なお、第1多色スペクトル光225の場合、Kv:Kb=1.05:1.98(≒0.35:0.65)であり、Pb2:Pg:Pr=2.02:2.75:2.69(=0.27:0.37:0.36)である。
第2実施形態のように、特定の観察対象の性状を加味してV光、B光、G光、及びR光の光量比を設定した第1多色スペクトル光225を用いれば、特定の観察対象の見え方が、キセノンの連続スペクトル光26を用いる場合と特に正確に一致する。
なお、観察対象の反射率は、観察対象の種類(部位)によって異なる。例えば、食道の他、胃や大腸等も内視鏡システム10の観察対象であるが、図12に示すように、食道と胃と大腸とでは各波長の反射率は異なる。したがって、食道の反射率を考慮した第1多色スペクトル光225を形成するV光、B光、G光、及びR光の光量比と、胃の反射率を考慮した第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比とは異なる。同様に、大腸の反射率を考慮した第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比も、食道や胃の場合とは異なる。このため、食道や胃や大腸等の観察対象の種類に合わせて第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比を適切に制御することが好ましい。
この場合、図13に示す内視鏡システム240のように、観察対象の種類毎に、複数のV光、B光、G光、及びR光の光量比を記憶する光量比記憶部241を設ける。光量比記憶部241には、例えば、食道用光量比251と胃用光量比252と大腸用光量比253を予め記憶しておく。そして、キセノンランプを模倣する第1多色スペクトル光を用いる場合、光源制御部22は、光量比記憶部241が記憶する複数の光量比のなかから、観察対象の種類に応じた光量比を選択し、V光、B光、G光、及びR光の光量比を選択した光量比に制御する。観察対象が胃の場合、光源制御部22は光量比記憶部241から胃用光量比252を選択し、V光、B光、G光、及びR光の光量比を選択した胃用光量比252に制御する。こうすれば、観察対象の種類に合わせた第1多色スペクトル光を発光することができる。
なお、内視鏡システム240では、光量比記憶部241を内視鏡光源装置14に設けているが、光量比記憶部241は、プロセッサ装置16に設けてもよく、内視鏡12に設けても良い。すなわち、光源制御部22が観察対象の種類に合わせて適切な光量比を選択することができれば、光量比記憶部241を設けておく場所は任意である。
[第3実施形態]
上記第1実施形態及び第2実施形態では、原色系カラーフィルタを有する撮像センサ48を用いているが、内視鏡システム10及び240は、原色系の撮像センサ48の代わりに、補色系カラーフィルタを有する補色系カラー撮像センサを用いることもできる。補色系カラーフィルタは、シアンカラーフィルタ(Cy)、マゼンタカラーフィルタ(Mg)、及びイエローカラーフィルタ(Ye)を含む。本実施形態では、図14に示すように、補色系カラーフィルタは、例えば、Cy、Mg、及びYeに加え、グリーンカラーフィルタ(G)を備える。すなわち、本実施形態では、撮像センサ48は、シアン画素(以下、Cy画素という)、マゼンタ画素(以下、Mg画素という)、イエロー画素(以下、Ye画素という)、及びグリーン画素(以下、G画素という)を有する。
撮像センサ48に補色系カラー撮像センサを用いる場合、観察対象の見え方をキセノンランプの連続スペクトル光26を用いる場合とほぼ等しくする第1多色スペクトル光は、第1及び第2実施形態の第1多色スペクトル光25及び225とはV光、B光、G光、及びR光の光量比が異なる。このため、これらの代わりに補色系カラー撮像センサ用のV光、B光、G光、及びR光の光量比を用いる必要がある。
補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光をCy画素、Mg画素、Ye画素、及びG画素で受光して得る光量積分値をそれぞれVcy、Vmg、Vye、及びVgとする。同様に、補色系カラー撮像センサ用の第1多色スペクトル光を形成するB光をCy画素、Mg画素、Ye画素、及びG画素で受光して得る光量積分値をそれぞれBcy、Bmg、Bye、及びBgとし、補色系カラー撮像センサ用の第1多色スペクトル光を形成するG光をCy画素、Mg画素、Ye画素、及びG画素で受光して得る光量積分値をそれぞれGcy、Gmg、Gye、及びGgとし、補色系カラー撮像センサ用の第1多色スペクトル光を形成するR光をCy画素、Mg画素、Ye画素、及びG画素で受光して得る光量積分値をそれぞれRcy、Rmg、Rye、及びRgとする。これらが既知量であることは第1及び第2実施形態と同様である。
また、キセノンランプの連続スペクトル光26をCy画素で受光して得る光量積分値をXcyとし、キセノンランプの連続スペクトル光26をMg画素で受光して得る光量積分値をXmgとし、キセノンランプの連続スペクトル光26をYe画素で受光して得る光量積分値をXyeとし、かつ、キセノンランプの連続スペクトル光26をG画素で受光して得る光量積分値をXgとする。これらが既知量であることは第1及び第2実施形態と同様である。
そして、補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比は、第1及び第2実施形態と同様に、V光:B光:G光:R光=Cv:Cb:Cg:Crとする。これらCv、Cb、Cg、Crの値は変数であり、補色系カラー撮像センサ用の第1多色スペクトル光を補色系の各画素で受光して得る光量積分値の比率が、キセノンランプの連続スペクトル光26を補色系の各画素で受光して得る光量積分値の比率に一致するように決定する。すなわち、補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crは、数4を満たすように決定すればよい。数4は、方程式の数と変数の数が等しいので、これを解いてV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを求めることができる。
Figure 2017012395
あるいは、以下に説明する算出方法によっても、補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを算出することができる。
この場合、図15に示すように、Cy、Mg、Ye、及びGの各カラーフィルタの感度を波長毎に合算し、補色系カラー撮像センサの総合感度Sumを求め、補色系カラー撮像センサが総合感度Sumのカラーフィルタを有する1つの画素(以下、S画素という)とみなす。
次いで、波長帯域を、V光の第1波長帯域(波長380nm以上430nm未満)と、B光の第2波長帯域(波長430nm以上480nm未満)と、G光の第3波長帯域(波長480nm以上580nm未満)と、R光の第4波長帯域(波長580nm以上700nm未満)と、に区切り、補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光をS画素で受光して得る光量積分値のうち、第1〜第4波長帯域の光量積分値をそれぞれVS1、VS2、VS3、及びVS4とする。
同様に、補色系カラー撮像センサ用の第1多色スペクトル光を形成するB光をS画素で受光して得る光量積分値のうち、第1〜第4波長帯域の光量積分値をそれぞれBS1、BS2、BS3、及びBS4とし、補色系カラー撮像センサ用の第1多色スペクトル光を形成するG光をS画素で受光して得る光量積分値のうち、第1〜第4波長帯域の光量積分値をそれぞれGS1、GS2、GS3、及びGS4とし、かつ、補色系カラー撮像センサ用の第1多色スペクトル光を形成するR光をS画素で受光して得る光量積分値のうち、第1〜第4波長帯域の光量積分値をそれぞれRS1、RS2、RS3、及びRS4とする。また、キセノンランプの連続スペクトル光26をS画素で受光して得る光量積分値のうち、第1〜第4波長帯域の光量積分値をそれぞれXS1、XS2、XS3、及びXS4とする。
光量積分値VS1は、V光の分光スペクトルと総合感度Sumの波長毎の積を第1波長帯域の範囲で積分することで算出する。他の光量積分値VS2、VS3、VS4、BS1、BS2、BS3、BS4、GS1、GS2、GS3、GS4、RS1、RS2、RS3、RS4、XS1、XS2、XS3、及びXS4も同様である。
そして、数4の代わりに、数5によって、補色系カラー撮像センサ用の第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを算出する。本実施形態で用いる図14の補色系カラーフィルタを有する補色系カラー撮像センサの場合、数5によって求めた光量比はCv:Cb:Cg:Cr≒0.12:0.23:0.27:0.39である。図16に示す多色スペクトル光は、数5によって求めた光量比のV光、B光、G光、及びR光で形成する補色系カラー撮像センサ用の第1多色スペクトル光325である。
Figure 2017012395
補色系カラー撮像センサ用の第1多色スペクトル光325を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crの数5による算出方法は、複数の波長帯域(第1〜第4波長帯)で、第1多色スペクトル光を補色系カラー撮像センサの複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値を、キセノンランプの連続スペクトル光26を補色系カラー撮像センサの複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値と一致させる算出方法である。数5の算出方法は、数4の算出方法に比べて、色毎の光量積分値の比率に誤差が発生するが、その代わりに、確実にCv>0、Cb>0、Cg>0、かつCr>0を満たす範囲内でCv、Cb、Cg、及びCrを決定できる利点がある。第1多色スペクトル光325を補色系カラー撮像センサの複数の画素で受光して得る色毎の光量積分値の比率は、キセノンランプの連続スペクトル光26を補色系カラー撮像センサの複数の画素で受光して得る色毎の光量積分値の比率と実質的に一致し、これらの誤差は例えば数%程度である。
したがって、本実施形態のように、撮像センサ48が、シアン(第1色)に感度を有するCy画素(第1色画素)と、マゼンタ(第3色)に感度を有するMg画素(第3色画素)と、イエロー(第4色)に感度を有するYe画素(第4色画素)と、グリーン(第2色)に感度を有するG画素(第2色画素)を有する場合、光源制御部22は、V光、B光、G光、及びR光を上記光量比Cv:Cb:Cg:Crで発光させることにより、Cy画素で得るシアンの光量積分値とG画素で得るグリーンの光量積分値との比率を、第1多色スペクトル光25を用いる場合と連続スペクトル光26を用いる場合とで一致させ、Mg画素で得るマゼンタの光量積分値とグリーンの光量積分値との比率を、第1多色スペクトル光25を用いる場合と連続スペクトル光26を用いる場合とで一致させ、かつ、Ye画素で得るイエローの光量積分値とグリーンの光量積分値との比率を、第1多色スペクトル光25を用いる場合と連続スペクトル光26を用いる場合とで一致させる。
上記第3実施形態の数5による光量比の算出方法は、撮像センサ48に原色系カラー撮像センサを用いる場合にも応用可能である。原色系カラー撮像センサのなかには、B画素、G画素、及びR画素に加え、エメラルド色カラーフィルタを有するE画素を有するセンサや、カラーフィルタが設けられていない白画素(W画素)を有するセンサもある。これらの原色系カラー撮像センサを用いる場合には、数4の光量比の算出方法よりも数5の光量比の算出方法の方が好適な場合がある。
なお、上記第3実施形態のように撮像センサ48に補色系カラー撮像センサを用いる場合も、第2実施形態と同様に観察対象を加味して第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを制御することが好ましい。
第1実施形態の数2や、第3実施形態の数5に示す通り、第1多色スペクトル光のうち複数色の光源が発光する波長帯域の光を1つの画素で受光する場合、1つの画素が受光する光の波長帯域毎(すなわち各光源が発光する光の波長帯域毎)に、光量積分値を、キセノンランプの連続スペクトル光26を受光して得る光量積分値に一致させると、第1多色スペクトル光を形成するV光、B光、G光、及びR光の光量比Cv:Cb:Cg:Crを適切に決定することができる。この方法は、光源の色数が画素の色数よりも多い場合に特に効果的である(第1実施形態の数2参照)。
[第4実施形態]
上記第1〜第3実施形態では、光源制御部22は、光源部20の各LED20a〜20dによって、キセノンランプの連続スペクトル光26を用いる場合を模倣する第1多色スペクトル光25、225、及び325を発生させているが、光源制御部22は、光源部20の各LED20a〜20dによって、第1多色スペクトル光25、225、及び325と切り替えて、第1多色スペクトル光25及びキセノンランプの連続スペクトル光26とは異なる第2多色スペクトルを有する第2多色スペクトル光を発生させるようにしても良い。
第2多色スペクトル光は、従来のキセノンランプを用いた内視鏡システムにはない固有の分光スペクトルを有する照明光である。例えば、光源制御部22は、図17に示すように、V光またはB光の少なくともいずれか一方(本実施形態ではV光)の光量を第1多色スペクトル光25よりも大きくする。すなわち、第2多色スペクトル光401をB画素で受光して得る光量積分値を、第1多色スペクトル光25をB画素で受光して得る光量積分値よりも大きくする。また、本実施形態では、第1多色スペクトル光25に対して、第2多色スペクトル光401を形成するV光の光量だけを変化させているが、さらに、第2多色スペクトル光401は、G画素で受光して得る光量積分値を、第1多色スペクトル光25をG画素で受光して得る光量積分値よりも小さくすることが好ましい。
上記第2多色スペクトル光401を用いて観察対象を観察すれば、粘膜表層にある血管やピットパターン等を、キセノンランプの連続スペクトル光26を用いる場合よりも明瞭に観察することができる。このため、第1多色スペクトル光25と第2多色スペクトル光401と切り替え可能にしておけば、上記のような多色スペクトル光を用いる場合の特有の利点をも享受できる。
第1多色スペクトル光25と第2多色スペクトル光401との切り替えは、内視鏡12の操作部12bに設けた観察モード切り替えスイッチ(図示しない)等を用いて、任意に切り替えられるようにすることができるが、特に、内視鏡システム10で用いる内視鏡12の機種に応じて自動的に第1多色スペクトル光25と第2多色スペクトル光401とを切り替えることが好ましい。
このように、内視鏡12の機種によって第1多色スペクトル光25と第2多色スペクトル光401を自動的に切り替える場合、図18に示す内視鏡システム410のように、内視鏡12には機種を示すID(Identification Data)を記憶するID記憶部411を設け、内視鏡光源装置14には、内視鏡機種検出部412を設ける。内視鏡機種検出部412は、内視鏡12が内視鏡光源装置14に接続された場合に、ID記憶部411から内視鏡12のIDを読み出すことによって、接続された内視鏡12の機種を検出し、検出結果を光源制御部22に入力する。そして、光源制御部22は、内視鏡機種検出部412によって検出された内視鏡12の機種によって、光源部20で発生させる照明光を第1多色スペクトル光25と第2多色スペクトル光401とで切り替える。より具体的には、光源制御部22は、内視鏡12の機種が、キセノンランプの連続スペクトル光を用いる従来の内視鏡システムで使用する機種である場合は、光源部20で発生させる照明光を第1多色スペクトル光25に自動設定し、かつ、内視鏡12の機種が上記以外の機種である場合(多色スペクトル光を用いる内視鏡システムでだけ用いられる機種の場合等)には、光源部20で発生させる照明光を第2多色スペクトル光401に自動設定することが好ましい。
キセノンランプを用いる従来の内視鏡システムで使用する内視鏡を接続する場合、医師は使い慣れた従来の内視鏡システムと同様に観察対象を観察できることを望むことが多く、多色スペクトル光を照明光として使用する内視鏡システムでだけ用いる内視鏡を接続する場合は、医師は多色スペクトル光の利点を活かした観察を望むことが多い。このため、上記のように、内視鏡12の機種によって照明光を第1多色スペクトル光25と第2多色スペクトル光401とで自動的に切り替えると、操作や設定等をせずに、ニーズに合った内視鏡画像を自動的に提供することができる。もちろん、初期設定を上記のように内視鏡12の機種に応じて自動設定し、その後は、医師の判断で手動切り替えられるようにすることがさらに好ましい。
図18の内視鏡システム410では、内視鏡光源装置14が内視鏡機種検出部412によって内視鏡12の接続を検知し、かつ、内視鏡12からIDを読み出して内視鏡12の機種を検出しているが、図19に示す内視鏡システム420のように、プロセッサ装置16にID読取部413を設け、ID読取部413によって内視鏡12の接続を検知し、かつ、内視鏡12からIDを読み出しても良い。この場合、内視鏡機種検出部412は、プロセッサ装置16のID読取部413から内視鏡12のIDを取得し、その機種を検出すれば良い。
[第5実施形態]
LED等の半導体光源は、キセノンランプ等の従来の光源と比較すると長寿命であるが、LED等の半導体光源であっても、図20に示すように経時的に劣化して、既定の駆動電流や既定の駆動電圧で駆動しても、光量が低下する。また、半導体光源の種類(発光する光の波長等)によっても経時劣化の程度は異なる。経時劣化を無視すると、光源制御部22が例えば第1多色スペクトル光25を発光させるための既定の制御をしても、第1多色スペクトル光25の条件を満たさない多色スペクトル光が発せられてしまうことがある。このため、光源制御部22は、光源部20の各LED20a〜20dの経時劣化を考慮して、第1多色スペクトル光25や第2多色スペクトル光401を発光させることが好ましい。
上記のように光源部20の各LED20a〜20dに経時劣化があっても第1実施形態等の条件を満たす第1多色スペクトル光25や第2多色スペクトル光401を発光させるためには、例えば、図21に示す内視鏡システム500のように、内視鏡光源装置14に光量検出部501を設け、光源制御部22には経時劣化検出部504を設ける。
光量検出部501は、V光の光量を検出するためのV光量検出部502aと、B光の光量を検出するためのB光量検出部502bと、G光の光量を検出するためのG光量検出部502cと、R光の光量を検出するためのR光量検出部502dとを備える。V光量検出部302aは、ミラー503aを介してV光の一部を取得することで、V−LED20aが発光したV光の光量を検出する。ミラー503aは、V−LED20aの光路中に配置され、V−LED20aが発光したV光の一部を反射してV光量検出部502aに入射させ、かつ、残りのV光を光路結合部23に向けて透過する。同様に、B−LED20b、G−LED20c、及びR−LED20dの光路中には、これらが発光した各色光の一部を反射してB光量検出部502b、G光量検出部502c、及びR光量検出部502dにそれぞれ入射させ、残りの各色光を光路結合部23に向けて透過するミラー503b、ミラー503c、及びミラー503dが配置される。B光量検出部502bは、ミラー503bを介してB光の一部を取得してB−LED20bが発光したB光の光量を検出する。G光量検出部502cは、ミラー503cを介してG光の一部を取得してG−LED20cが発光したG光の光量を検出する。R光量検出部502dは、ミラー503dを介してR光の一部を取得してR−LED20dが発光したR光の光量を検出する。
光量検出部501は、各色用の光量検出部502a〜502dが検出したV光、B光、G光、及びR光の光量を光源制御部22に入力する。光源制御部22では、経時劣化検出部504が、第1多色スペクトル光25を発光する各LED20a〜20dの駆動電流等の駆動条件と、光量検出部501で実際に検出された各色光の光量とを用いて、各LED20a〜20dの経時劣化を検出する。具体的には、経時劣化検出部504は、各LED20a〜20dのうち、既定の光量に対して最も光量が低下した最劣化光源を検出する。光源制御部22は、経時劣化検出部504で検出した最劣化光源の光量に合わせて、残りの光源の光量を設定する。例えば、図22に示すように、光源制御部22が第1多色スペクトル光25を発光する駆動条件で各LED20a〜20dを駆動することで各LED20a〜20dの光量を指定したにも関わらず、R−LED20dの経時劣化のためにR光の光量が第1多色スペクトル光25を形成する指定の光量に満たず、かつ、V光、B光、及びG光は第1多色スペクトル光25を形成する指定の光量が発光した多色スペクトル光524になっていたとする。この場合、光源制御部22では、経時劣化検出部504がR−LED20dを最劣化光源として検出する。このため、図23に示すように、光源制御部22は、R−LED20dが発光するR光の光量に合わせて、V光、B光、及びG光の光量を低減させることにより、経時劣化したR−LED20dが発するR光の光量と、V光、B光、及びG光の光量のバランスを保たれた新たな第1多色スペクトル光525を発光させる。すなわち、各LED20a〜20dの少なくともいずれか1つに光量の不足が検出された場合、光源制御部22は、第1多色スペクトル光25を形成する各LED20a〜20dの光量の指定値に対して、光量の不足量が最も大きい最劣化光源の光量に合わせて、残りの光源の光量を設定する。これにより、各色光のバランスが保たれた第1多色スペクトル光525を発光させる。
上記のように、各LED20a〜20dが発光する各色光の光量を検出し、これら各LED20a〜20dの中で最も経時劣化した光源の光量に合わせて残りの光源の光量を設定することで、光源制御部22は、光源部20によって常に各色光のバランスが保たれた第1多色スペクトル光25や第2多色スペクトル光401を安定して発光させることができる。また、上記のようにすれば、常に各色光のバランスが保たれた第1多色スペクトル光25及び325や第2多色スペクトル光401が安定して発光されるので、マトリックス処理で用いるマトリックス等、内視鏡画像を生成するために用いる信号処理パラメータや画像処理パラメータを再計算したり、複数用意したりしておく必要がない。また、撮像センサ48のカラーフィルタに混色がある場合には、内視鏡画像を生成するために用いる信号処理パラメータや画像処理パラメータを再計算したり、複数用意したりしておいても補正しきれないが、上記のようにすれば、常に安定して観察対象を観察することができる。
上記第5実施形態で光量検出部501が行う各色光の光量検出は、少なくともキャリブレーション時に行うことが好ましい。特に、光量検出部501は、観察対象を観察するために各LED20a〜20dが発光している間、各色光の光量検出を繰り返し行なって、光源制御部22にフィードバックして、リアルタイムに第1多色スペクトル光25等のバランスを整えることが好ましい。
[第6実施形態]
上記第5実施形態の内視鏡システム500では、LED20a〜20dの経時劣化を検出しているが、LED20a〜20dの経時劣化以外の要因によって、光源制御部22が正確な第1多色スペクトル光25が発光できない場合もある。この場合、図24に示す内視鏡システム600のように、第5実施形態の内視鏡システム500と同様の光量検出部501等を設け、光源制御部22には経時劣化検出部504の代わりに、検証部604を設ける。
検証部604は、模倣対象であるキセノンランプの連続スペクトル光26を撮像センサ48の各色の画素で受光して得る色毎の光量積分値の比率を模倣比率テーブル606に予め記憶している。検証部604は、この模倣比率テーブル606と光量検出部501の検出結果を用いて、実際に発光した第1多色スペクトル光25を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、キセノンランプの連続スペクトル光26を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する。
検証部604は、光量検出部501の検出結果である各LED20a〜20dの実際の光量と撮像センサ48のカラーフィルタの分光特性から各色画素の光量積分値を算出し、これらの比率を求める。例えば、撮像センサ48がB画素、G画素、及びR画素を有する原色系カラー撮像センサである場合、G画素で得る光量積分値に対するB画素で得る光量積分値の比率(以下、本実施形態においてBp/Gpという)と、G画素で得る光量積分値に対するR画素で得る光量積分値の比率(以下、本実施形態においてRp/Gpという)を算出する。
また、模倣するキセノンランプの連続スペクトル光26と、撮像センサ48のカラーフィルタの分光特性から各色画素の光量積分値は予め算出し、模倣比率テーブル606は、模倣する連続スペクトル光26を用いた場合のG画素で得る光量積分値に対するB画素で得る光量積分値の比率(以下、本実施形態においてBx/Gxという)と、模倣する連続スペクトル光26を用いた場合のG画素で得る光量積分値に対するR画素で得る光量積分値(以下、本実施形態においてRx/Gxという)とを記憶する。
このため、検証部604は、算出した比率Bp/Gpと模倣比率テーブル606に記憶している比率Bx/Gxを比較し、かつ、算出した比率Rp/Gpと模倣比率テーブル606に記憶している比率Rx/Gxを比較する。これら2つの比較の結果、比率Bx/Gxに対して比率Bp/Gpの誤差が許容範囲内(例えば比率Bp/Gpの10%程度以下)であり、かつ、比率Rx/Gxに対して比率Rp/Gpの誤差が許容範囲内(例えば比率Bx/Gxの10%程度以下)であれば、第1多色スペクトル光25が適切に発光していると判断する。この場合、光源制御部22は、第1多色スペクトル光25の発光を継続する。
一方、比率Bx/Gxに対して比率Bp/Gpの誤差が許容範囲外である場合、または、比率Rx/Gxに対して比率Rp/Gpの誤差が許容範囲外である場合、検証部604は適切な第1多色スペクトル光25が発光されていないと判断する。この場合、光源制御部22は、検証部604の検証結果を用いてLED20a〜20dをフィードバック制御する。すなわち、光源制御部22は、検証部604で算出した比率Bx/Gxに対して比率Bp/Gpの誤差、または、比率Rx/Gxに対して比率Rp/Gpの誤差に基づいて、各LED20a〜20dの光量を調整して制御する。これにより、照明光は常に適切な第1多色スペクトル光25に補正される。
上記第6実施形態の内視鏡システム600では、検証部604が各色の光量積分値の算出する際等に観察対象の種類を考慮していないが、第2実施形態と同様に観察対象の種類を考慮して検証部604で算出する各色の光量積分値や光量積分値の比率を算出することができる。また、上記第6実施形態の内視鏡システム600の検証部604は、第5実施形態の経時劣化検出部504として機能することもできる。なお、上記第6実施形態では、内視鏡光源装置14に検証部604を設けているが、検証部604はプロセッサ装置16に設けても良い。
上記第6実施形態の内視鏡システム600は、光量検出部501の検出結果を用いて照明光が第1多色スペクトル光25になっているかを検証しているが、光量検出部501の検出結果を用いる代わりに、撮像センサ48の出力を用いて照明光が第1多色スペクトル光25になっているかを検証することもできる。この場合、図25に示す内視鏡システム700のように、プロセッサ装置16に検証部704を設ける。
検証部704は、光量検出部501の検出結果の代わりに、受信部53から取得する撮像センサ48の出力を用いる以外は、上記第6実施形態の検証部604と同様である。すなわち、検証部704は、模倣比率テーブル706に模倣対象であるキセノンランプの連続スペクトル光26を撮像センサ48の各色の画素で受光して得る色毎の光量積分値の比率を記憶しており、この模倣比率テーブル706と撮像センサ48の出力を用いて、実際に発光した第1多色スペクトル光25を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、キセノンランプの連続スペクトル光26を複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する。
検証部704は、撮像センサ48の出力である画像信号を受信部53から取得し、これらの比率を求める。撮像センサ48がB画素、G画素、及びR画素を有する原色系カラー撮像センサである場合、例えば検証部704はB画像信号、G画像信号、及びR画像信号の各々の平均値等(平均値や中央値等の統計量)を求めることにより各色の画素の光量積分値を算出し、それらの比率Bp/Gpと比率Rp/Gpを算出する。なお、検証部704が算出する各色の画像信号の平均値等は、撮像センサ48からの信号電荷の読み出し時にかかるゲインや受信部53で行う各種処理の具体的内容に影響されるので本明細書でいう光量積分値そのものではないが、第1多色スペクトル光25を発光するキセノンエミュレートモードでは常に同じ処理をするので、各色の画像信号の平均値等は実質的に光量積分値を表す。
模倣比率テーブル706は、模倣する連続スペクトル光26を用いる場合のB画像信号、G画像信号、及びR画像信号の各々の平均値等を用いて算出した比率Bx/Gx及び比率Rx/Gxを記憶する。検証部704は、算出した比率Bp/Gpと模倣比率テーブル706に記憶している比率Bx/Gxを比較し、かつ、算出した比率Rp/Gpと模倣比率テーブル606に記憶している比率Rx/Gxを比較し、光源制御部22がこれらの比較結果(検証部704の検証結果)に基づいてLED20a〜20dの制御するのは上記第6実施形態の内視鏡システム600と同様である。
なお、実際の観察対象を撮影しながら検証部704による検証を行うことができるが、観察対象の個体差等の影響を除くためには、例えば生体粘膜の反射率を模した模擬体(ファントム)や照明光をほぼ直接に撮像センサ48に入射させる白板を撮影して検証をすることが好ましい。
上記変形例の内視鏡システム700は、検証部704が各色の光量積分値の算出する際等に観察対象の種類を考慮していないが、第2実施形態と同様に観察対象の種類を考慮して検証部704で算出する各色の光量積分値や光量積分値の比率を算出することができる。このように、検証部704が行う検証に観察対象の種類を考慮する場合、食道、胃、及び大腸等の反射率を模した模擬体を用いる。
上記変形例の内視鏡システム700では、検証部704は、撮像センサ48の出力として受信部53から画像信号を取得しているが、受信部53から画像信号を取得する代わりに、DPS56、ノイズ除去部58、または画像生成部62から画像信号を取得することができる。検証部704は、これらプロセッサ装置16の各部から画像信号を取得する代わりに、内視鏡12のA/Dコンバータ51、CDS/AGC回路50、または撮像センサ48から画像信号を取得してもよい。
上記第1〜第5実施形態では、B−LED20bが発するB光をそのまま第1多色スペクトル光25、225、325、及び525に利用しているが、約450nmから約500nmの波長の光は表層血管やピットパターン等の構造のコントラストを低下させてしまう。このため、図26に示す内視鏡システム800のように、B−LED20bの光路中に、約450nmから約500nmの波長の光を低減する帯域制限部801を配置することによって、B−LED20bが発するB光から、約450nmから約500nmの波長成分を低減したBs光を生成し、Bs光を第1多色スペクトル光25、225、325、及び525に用いることが好ましい。この場合、光量比は、帯域制限部801を通過後のBs光の分光スペクトルを用いて算出する。
上記第1〜第6実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムによって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図27に示すように、カプセル内視鏡システムでは、カプセル内視鏡900と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡900は、光源部902と光源制御部903と、撮像センサ904と、画像生成部906と、送受信アンテナ908とを備えている。光源部902は、上記第1〜第6実施形態の光源部20と同様に、V光を発するV−LEDと、B光を発するB−LEDと、G光を発するG−LEDと、R光を発するR−LEDと、を有している。
光源制御部903は、上記各実施形態及び変形例の光源制御部22と同様にして光源部902の駆動を制御する。また、光源制御部903は、送受信アンテナ908によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1〜第6実施形態のプロセッサ装置16とほぼ同様であるが、画像生成部906はカプセル内視鏡900に設けられ、生成された内視鏡画像は、送受信アンテナ908を介してプロセッサ装置に送信される。撮像センサ904は上記第1〜第6実施形態の撮像センサ48と同様に構成される。
なお、上記第1〜第6実施形態では、光源制御部22は、キセノンランプの白色光を模倣するための第1多色スペクトル光25、225、325、及び525を発生させているが、キセノンランプの白色光の代わりに、他の広帯域な連続スペクトル光を模倣するための第1多色スペクトル光を発生さても良い。例えば、従来の内視鏡システムでは、キセノンランプ以外のハロゲンランプを用いる場合がある。キセノンランプ以外のハロゲンランプを模倣するための第1多色スペクトル光を発生させても良く、模倣するランプの種類を医師等が選択できるようにしても良い。同様に、励起光を発する励起光光源と、励起光の照射によって蛍光を発する蛍光体を組み合わせた広帯域光源や、半導体光源からなる広帯域光源が発する連続スペクトル光を模倣することもできる。蛍光体に励起光を照射して広帯域光源は、例えば、紫外光、紫色光、または青色光等を発光する励起光光源と、紫外光、紫色光、または青色光等の照射によって緑色から黄色(あるいは赤色)の蛍光を発光する蛍光体を組み合わせて構成される。半導体光源からなる広帯域光源は、例えば、白色光を発生する半導体光源である。上記のように、キセノンランプ以外の広帯域な連続スペクトル光(実質的に白色に見える擬似白色光やその他白色以外の光を含む)を模倣する場合も、上記実施形態のキセノンランプの白色光を模倣する場合と同様にして第1多色スペクトル光を発生させることができる。
上記第1〜第6実施形態では、V−LED20a、B−LED20b、G−LED20c、R−LED20dの4色のLEDを用いているが、内視鏡光源装置14に用いる複数の光源が発光する光の色(波長)や組み合わせ、LEDの個数等は、これ以外の色及び組み合わせでも良い。また、LEDの代わりに、LD(Laser Diode)等の他の半導体光源を用いても良い。LEDやLDと蛍光体を組み合わせた光源を用いても良い。
なお、上記第1〜第6実施形態では、光源部20の各LED20a〜20dを全て同時に点灯しているが、撮像センサ48が観察対象を撮像している間(光電変換をする間の時間)にこれら各LED20a〜20dを順次点灯させても良い。また、撮像センサ48が観察対象を撮像している間に、色毎に点灯時間を調節して、光量を制御してもよい。これらの場合も上記第1〜第5実施形態のように光源部20の各LED20a〜20dを同時に点灯するのと同じ結果が得られる。
10,240,410,420,500,600,700,800 内視鏡システム
20 光源部
22 光源制御部
25,225,325,525 第1多色スペクトル光
26 連続スペクトル光
412 内視鏡機種検出部
501 光量検出部
504 経時劣化検出部
604,704 検証部
900 カプセル内視鏡

Claims (20)

  1. 互いに異なる色の光を独立して発光する複数の光源を有し、前記複数の光源が発光する光を重ね合わせた第1多色スペクトルを有する第1多色スペクトル光を発する光源部と、
    異なる色に感度を有する複数色の画素を有する撮像センサと、
    前記複数の光源を制御し、前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、白色光源が発光する光の少なくとも一部の波長帯域を有する連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させる光源制御部と、
    を備える内視鏡システム。
  2. 前記連続スペクトル光は白色光である請求項1に記載の内視鏡システム。
  3. 前記白色光は、キセノンランプが発する光である請求項2に記載の内視鏡システム。
  4. 前記撮像センサは、第1色に感度を有する第1色画素と、第2色に感度を有する第2色画素と、第3色に感度を有する第3色画素と、を有し、
    前記光源制御部は、
    前記第1色画素で得る第1色の光量積分値と前記第2色画素で得る第2色の光量積分値との比率を、前記第1多色スペクトル光を用いる場合と前記連続スペクトル光を用いる場合とで一致させ、
    かつ、前記第3色画素で得る第3色の光量積分値と前記第2色の光量積分値との比率を、前記第1多色スペクトル光を用いる場合と前記連続スペクトル光を用いる場合とで一致させる請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記撮像センサは、さらに第4色に感度を有する第4色画素を有し、
    前記光源制御部は、
    前記第1色画素で得る第1色の光量積分値と前記第2色画素で得る第2色の光量積分値との比率を、前記第1多色スペクトル光を用いる場合と前記連続スペクトル光を用いる場合とで一致させ、
    前記第3色画素で得る第3色の光量積分値と前記第2色の光量積分値との比率を、前記第1多色スペクトル光を用いる場合と前記連続スペクトル光を用いる場合とで一致させ、
    かつ、前記第4色画素で得る第4色の光量積分値と前記第2色の光量積分値との比率を、前記第1多色スペクトル光を用いる場合と前記連続スペクトル光を用いる場合とで一致させる請求項4に記載の内視鏡システム。
  6. 前記光源制御部は、前記複数の光源の光量比を制御する請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記光源制御部は、観察対象に照射した前記第1多色スペクトル光の戻り光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、前記観察対象に照射した前記連続スペクトル光の戻り光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させる請求項1〜6のいずれか1項に記載の内視鏡システム。
  8. 前記観察対象の種類毎に前記光量比を記憶する光量比記憶部を備え、
    前記光源制御部は、前記観察対象の種類毎の前記光量比のなかから前記光量比を選択する請求項1〜7のいずれか1項に記載の内視鏡システム。
  9. 前記撮像センサは、シアン、マゼンタ、及びイエローを含む補色系カラーフィルタを有する補色系カラー撮像センサである請求項1〜8のいずれか1項に記載の内視鏡システム。
  10. 前記光源制御部は、複数の波長帯域毎に、前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値を、前記連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の合計値と一致させる請求項9に記載の内視鏡システム。
  11. 前記撮像センサは、青、緑、及び赤を含む原色系カラーフィルタを有する原色系カラー撮像センサである請求項1〜8のいずれか1項に記載の内視鏡システム。
  12. 前記光源の色数が前記画素の色数よりも多く、前記第1多色スペクトル光のうち複数色の前記光源が発光する波長帯域の光を一つの前記画素で受光する場合、一つの前記画素が受光する光の波長帯域毎に、光量積分値を、前記連続スペクトル光を受光して得る光量積分値に一致させる請求項11に記載の内視鏡システム。
  13. 前記光源部は、前記複数の光源によって、前記第1多色スペクトル光及び前記連続スペクトル光とは分光スペクトルが異なる第2多色スペクトルを有する第2多色スペクトル光を発し、
    前記光源制御部は、前記第2多色スペクトル光を青のカラーフィルタが設けられた青色画素で受光して得る光量積分値を、前記第1多色スペクトル光を前記青色画素で受光して得る光量積分値よりも大きくする請求項11または12に記載の内視鏡システム。
  14. 前記複数の光源が発する光量をそれぞれ検出する光量検出部を備え、
    前記光源制御部は、前記光量検出部による検出結果を用いて、前記複数の光源のうち、前記第1多色スペクトル光を形成する光量の指定値に対して、光量の不足が最も大きい最劣化光源の光量に合わせて、残りの光源の光量を設定する請求項1〜13のいずれか1項に記載の内視鏡システム。
  15. 前記光量検出部は、前記複数の光源が発光している間、前記複数の光源が発光する光の検出を繰り返し行う請求項14に記載の内視鏡システム。
  16. 前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、前記連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する検証部を備える請求項1〜13のいずれか1項に記載の内視鏡システム。
  17. 前記複数の光源が発する光量をそれぞれ検出する光量検出部を備え、
    前記検証部は、前記光量検出部による検出結果を用いて、前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、前記連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する請求項16に記載の内視鏡システム。
  18. 前記検証部は、前記撮像センサの出力を用いて、前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率が、前記連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致しているか否かを検証する請求項16に記載の内視鏡システム。
  19. 前記光源制御部は、前記検証部による検証結果を用いて前記複数の光源を制御する請求項16〜18のいずれか1項に記載の内視鏡システム。
  20. 互いに異なる色の光を独立して発光する複数の光源を有し、前記複数の光源が発光する光を重ね合わせた第1多色スペクトルを有する第1多色スペクトル光を発する光源部と、異なる色に感度を有する複数色の画素を有する撮像センサと、を有する内視鏡システムの作動方法において、
    光源制御部が前記複数の光源を制御し、前記第1多色スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率を、白色光源が発光する光の少なくとも一部の波長帯域を有する連続スペクトル光を前記複数色の画素でそれぞれ受光して得る色毎の光量積分値の比率に一致させるステップを備える内視鏡システムの作動方法。
JP2015131741A 2015-06-30 2015-06-30 内視鏡システム及び内視鏡システムの作動方法 Pending JP2017012395A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015131741A JP2017012395A (ja) 2015-06-30 2015-06-30 内視鏡システム及び内視鏡システムの作動方法
US15/196,724 US10045431B2 (en) 2015-06-30 2016-06-29 Endoscope system and method of operating endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015131741A JP2017012395A (ja) 2015-06-30 2015-06-30 内視鏡システム及び内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018216972A Division JP6602939B2 (ja) 2018-11-20 2018-11-20 内視鏡システム及び内視鏡システムの作動方法

Publications (1)

Publication Number Publication Date
JP2017012395A true JP2017012395A (ja) 2017-01-19

Family

ID=57684568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015131741A Pending JP2017012395A (ja) 2015-06-30 2015-06-30 内視鏡システム及び内視鏡システムの作動方法

Country Status (2)

Country Link
US (1) US10045431B2 (ja)
JP (1) JP2017012395A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016144624A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
WO2019039353A1 (ja) * 2017-08-22 2019-02-28 富士フイルム株式会社 光源装置、内視鏡システム、及び光源装置の作動方法
JP2019042413A (ja) * 2017-09-07 2019-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA201790706A1 (ru) 2014-09-25 2017-09-29 Продженити, Инк. Электромеханическое пилюлеобразное устройство с возможностями локализации
WO2016147435A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 内視鏡装置
CN109890299A (zh) * 2016-08-18 2019-06-14 普罗根尼蒂公司 采样系统及相关材料和方法
EP4091538A1 (en) 2016-09-09 2022-11-23 Biora Therapeutics, Inc. Electromechanical ingestible device for delivery of a dispensable substance
CN110087530A (zh) 2016-12-07 2019-08-02 普罗根尼蒂公司 胃肠道检测方法、装置和系统
US11033490B2 (en) 2016-12-14 2021-06-15 Progenity, Inc. Treatment of a disease of the gastrointestinal tract with a JAK inhibitor and devices
US11426566B2 (en) 2016-12-14 2022-08-30 Biora Therapeutics, Inc. Treatment of a disease of the gastrointestinal tract with a TLR modulator
WO2018112264A1 (en) 2016-12-14 2018-06-21 Progenity Inc. Treatment of a disease of the gastrointestinal tract with a chemokine/chemokine receptor inhibitor
CA3046023A1 (en) 2016-12-14 2018-06-21 Progenity, Inc. Treatment of a disease of the gastrointestinal tract with an immunosuppressant
CA3045472A1 (en) 2016-12-14 2018-06-21 Progenity Inc. Treatment of a disease of the gastrointestinal tract with a smad7 inhibitor
CN110072551B (zh) 2016-12-14 2023-05-23 比奥拉治疗股份有限公司 使用利用可摄入装置释放的il-12/il-23抑制剂治疗胃肠道疾病
EP3600414A1 (en) 2017-03-30 2020-02-05 Progenity Inc. Treatment of a disease of the gastrointestinal tract with il-10 or an il-10 agonist
JP7071995B2 (ja) 2017-03-31 2022-05-19 プロジェニティ, インコーポレイテッド 摂取可能装置
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
CN111670000A (zh) * 2018-02-05 2020-09-15 索尼公司 成像装置和成像方法以及程序
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
CN112236067A (zh) 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
EP3883635A1 (en) 2018-11-19 2021-09-29 Progenity, Inc. Methods and devices for treating a disease with biotherapeutics
JPWO2023042274A1 (ja) * 2021-09-14 2023-03-23

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225953A (ja) * 1998-02-12 1999-08-24 Olympus Optical Co Ltd 内視鏡装置
JP2000115790A (ja) * 1998-09-30 2000-04-21 Fuji Photo Optical Co Ltd 撮像装置
JP2001201697A (ja) * 2000-01-17 2001-07-27 Olympus Optical Co Ltd 内視鏡光源装置
WO2007039981A1 (ja) * 2005-09-30 2007-04-12 Olympus Medical Systems Corp. 内視鏡装置
JP2012029728A (ja) * 2010-07-28 2012-02-16 Sanyo Electric Co Ltd ホワイトバランス調整方法および撮像装置
JP2012055391A (ja) * 2010-09-07 2012-03-22 Fujifilm Corp 内視鏡用光源装置及びその光量制御方法並びに内視鏡システム及びその制御方法
JP2012143397A (ja) * 2011-01-12 2012-08-02 Fujifilm Corp 内視鏡システム及び内視鏡システムの光源装置
WO2015005277A1 (ja) * 2013-07-11 2015-01-15 オリンパスメディカルシステムズ株式会社 光源装置
WO2016059906A1 (ja) * 2014-10-16 2016-04-21 オリンパス株式会社 内視鏡装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118521A (en) * 1996-01-02 2000-09-12 Lj Laboratories, L.L.C. Apparatus and method for measuring optical characteristics of an object
JP5780653B2 (ja) 2012-03-28 2015-09-16 富士フイルム株式会社 光源装置及び内視鏡システム
JP5996287B2 (ja) 2012-06-12 2016-09-21 オリンパス株式会社 撮像装置、顕微鏡装置、内視鏡装置
US10359375B2 (en) * 2013-10-23 2019-07-23 Nanovision Technology (Beijing) Co., Ltd. Photon count-based radiation imaging system, method and device thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225953A (ja) * 1998-02-12 1999-08-24 Olympus Optical Co Ltd 内視鏡装置
JP2000115790A (ja) * 1998-09-30 2000-04-21 Fuji Photo Optical Co Ltd 撮像装置
JP2001201697A (ja) * 2000-01-17 2001-07-27 Olympus Optical Co Ltd 内視鏡光源装置
WO2007039981A1 (ja) * 2005-09-30 2007-04-12 Olympus Medical Systems Corp. 内視鏡装置
JP2012029728A (ja) * 2010-07-28 2012-02-16 Sanyo Electric Co Ltd ホワイトバランス調整方法および撮像装置
JP2012055391A (ja) * 2010-09-07 2012-03-22 Fujifilm Corp 内視鏡用光源装置及びその光量制御方法並びに内視鏡システム及びその制御方法
JP2012143397A (ja) * 2011-01-12 2012-08-02 Fujifilm Corp 内視鏡システム及び内視鏡システムの光源装置
WO2015005277A1 (ja) * 2013-07-11 2015-01-15 オリンパスメディカルシステムズ株式会社 光源装置
WO2016059906A1 (ja) * 2014-10-16 2016-04-21 オリンパス株式会社 内視鏡装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016144624A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
WO2019039353A1 (ja) * 2017-08-22 2019-02-28 富士フイルム株式会社 光源装置、内視鏡システム、及び光源装置の作動方法
US11304600B2 (en) 2017-08-22 2022-04-19 Fujifilm Corporation Light source device, endoscope system, and method of operating light source device
JP2019042413A (ja) * 2017-09-07 2019-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JP7023643B2 (ja) 2017-09-07 2022-02-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム

Also Published As

Publication number Publication date
US20170006202A1 (en) 2017-01-05
US10045431B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
JP2017012395A (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP6013382B2 (ja) 内視鏡システム及びその作動方法
US9895054B2 (en) Endoscope system, light source device, operation method for endoscope system, and operation method for light source device
JP6206691B2 (ja) 内視鏡システム及びその作動方法
JP2015061569A (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6159817B2 (ja) キャリブレーション方法及び内視鏡システム
CN107518867A (zh) 光源装置及内窥镜系统
WO2017154325A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018066347A1 (ja) 内視鏡システム及びその作動方法
JP2016007355A (ja) 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法
JP6706283B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
US9977232B2 (en) Light source device for endoscope, endoscope system, and method for operating light source device for endoscope
WO2020039932A1 (ja) 内視鏡システム
JP6602939B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6874087B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2016158837A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
JP6905038B2 (ja) 光源装置及び内視鏡システム
JP6039605B2 (ja) 内視鏡システム及びその作動方法
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
JP7191978B2 (ja) 内視鏡用光源装置、内視鏡装置及び光量調整方法
JP6659817B2 (ja) 医用画像処理装置
JP6456459B2 (ja) 医用画像処理装置
JP2016209517A (ja) 内視鏡システム及びその作動方法
JP6276149B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180829