JP2016120026A - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP2016120026A
JP2016120026A JP2014261273A JP2014261273A JP2016120026A JP 2016120026 A JP2016120026 A JP 2016120026A JP 2014261273 A JP2014261273 A JP 2014261273A JP 2014261273 A JP2014261273 A JP 2014261273A JP 2016120026 A JP2016120026 A JP 2016120026A
Authority
JP
Japan
Prior art keywords
still image
image
partial
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014261273A
Other languages
English (en)
Other versions
JP6425995B2 (ja
Inventor
久保 雅裕
Masahiro Kubo
雅裕 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014261273A priority Critical patent/JP6425995B2/ja
Publication of JP2016120026A publication Critical patent/JP2016120026A/ja
Application granted granted Critical
Publication of JP6425995B2 publication Critical patent/JP6425995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】複数の観察対象の生体数値情報を算出する場合において、各観察対象での照明条件や撮影条件を同じ状態にして、生体数値情報算出用の画像を取得することができる内視鏡システム及びその作動方法を提供する。
【解決手段】照明光により観察対象を照明する。観察対象を撮像して取得した第1静止画は静止画記憶部に記憶される。部分静止画生成部は、第1静止画の一部を切り取って第1部分静止画を生成する。表示制御部は、リアルタイムの画像をモニタ18の動画表示領域Rx上に動画表示するとともに、第1部分静止画をモニタ18の部分静止画表示領域Ryに表示する制御を行う。
【選択図】図5

Description

本発明は、病変部の診断に寄与する生体数値情報を取得する内視鏡システム及びその作動方法に関する。
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて、診断することが一般的になっている。この内視鏡システムを用いた診断では、モニタに表示された画像をドクターが観察して、病変部位か否かの判断を行っている。このような内視鏡画像に基づく診断はドクターの熟練度が大きく影響することから、ドクターの熟練度によらない新たな診断方法が求められている。
例えば、病変部とヘモグロビン量とは相関関係があることから、特許文献1では、ヘモグロビン量をIHb(Index of Hemoglobin)として定量化し、IHbを病変部の診断に用いることが記載されている。
特開2003−220019号公報
IHbなど生体数値情報を用いた診断においては、例えば、図4に示すように、観察対象である胃のうち、食道側から順に、A地点、B地点、C地点の3つの地点の生体数値情報を算出し、それぞれの値を比較して、病変の進行度合いを把握することがある。この場合、各地点で撮像したときの観察対象の距離や各地点で発光したときの照明光の発光量など、各地点での照明条件や撮影条件も各地点で異なると、その影響を受けて、各地点で算出した生体数値情報を正確に比較することが難しくなる。
例えば、A地点、B地点、C地点における病変の進行度合いが同じ場合であっても、各地点での照明条件や撮影条件が各地点で異なった場合には、各地点における生体数値情報は同じにはならないため、それら生体数値情報を正確に比較することが難しくなる。したがって、異なる複数の観察対象の生体数値情報を正確に比較するためには、各観察対象での照明条件や撮影条件を同じ状態にして、生体数値情報算出用の画像を取得できるようにすることが求められていた。
本発明は、複数の観察対象の生体数値情報を算出する場合において、各観察対象での照明条件や撮影条件を同じ状態にして、生体数値情報算出用の画像を取得することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、照明光を発する光源部と、照明光で照明された観察対象を撮像して第1静止画を取得する撮像部と、第1静止画を記憶する静止画記憶部と、第1静止画の一部を切り取って第1部分静止画を生成する部分静止画生成部と、観察対象を動画表示領域に動画表示し、且つ第1部分静止画を表示部に表示する制御を行う表示制御部と、を備える。
表示制御部は、動画表示領域とは別の部分静止画表示領域に、第1部分静止画を表示する制御を行うことが好ましい。表示制御部は、動画表示領域に、第1部分静止画を重畳表示する制御を行う。第1部分静止画の縁部には、動画表示と識別するための識別表示が設けられていることが好ましい。
撮像部は、前記第1部分静止画に対応する部位が動画表示領域に入ったときに撮像を行って、第2静止画を取得し、静止画記憶部は第2静止画を記憶し、部分静止画生成部は、第2静止画の一部を切り取って第2部分静止画を生成し、表示制御部は、第2静止画の取得後は、第1部分静止画の表示を停止し、第2部分静止画の表示を開始する制御を行うことが好ましい。
第1静止画から第1生体数値情報を算出し、第2静止画から第2生体数値情報を算出する生体数値情報算出部と、第1静止画を取得したときに発光した照明光の発光量と第2静止画を取得したときに発光した照明光の発光量とを比較する発光量比較部と、発光量比較部の比較結果に基づいて、第1生体数値情報又は第2生体数値情報の少なくとも一方を補正する数値補正部とを備えることが好ましい。撮像部は、第1部分静止画に対応する部位が動画表示領域に入ったときに撮像を行って、第2静止画を取得し、静止画記憶部は第2静止画を記憶することが好ましい。
本発明の内視鏡システムの作動方法は、撮像部が、照明光で照明された観察対象を撮像して第1静止画を取得する第1撮像ステップと、静止画記憶部が第1静止画を記憶する第1静止画記憶ステップと、部分静止画生成部が、第1静止画の一部を切り取って第1部分静止画を生成する第1部分静止画生成ステップと、表示制御部が、観察対象を動画表示領域に動画表示し、且つ第1部分静止画を表示部に表示する制御を行う第1表示制御ステップと、を備える。
第1表示制御ステップでは、画表示する動画表示領域とは別の部分静止画表示領域に、第1部分静止画を表示する制御を行うことが好ましい。第1表示制御ステップでは、動画表示する動画表示領域に、第1部分静止画を重畳表示する制御を行うことが好ましい。撮像部が、第1部分静止画に対応する部位が動画表示領域に入ったときに撮像を行って、第2静止画を取得する第2撮像ステップと、静止画記憶部が第2静止画を記憶する第2静止画記憶ステップと、部分静止画生成部が、第2静止画の一部を切り取って第2部分静止画を生成する第2部分静止画生成ステップと、表示制御部が、第2静止画の取得後は、第1部分静止画の表示を停止し、第2部分静止画の表示を開始する制御を行う第2表示制御ステップとを有することが好ましい。
本発明によれば、複数の観察対象の生体数値情報を算出する場合においても、各観察対象での照明条件や撮影条件を同じ状態にして、生体数値情報算出用の画像を取得することできるようになる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、赤色光Rのスペクトルを示すグラフである。 観察対象のA地点、B地点、C地点を示す説明図である。 動画と第1部分静止画を並列表示するモニタの画像図である。 動画表示領域Rx上に第1部分静止画を表示するモニタの画像図である。 本発明の一連の流れを示すフローチャートである。 第1静止画と第1生体数値情報を表示するモニタの画像図である。 第1〜第3静止画を示す説明図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 第2実施形態の通常モード又は測定用通常モードで発光する白色光のスペクトルを示すグラフである。 第2実施形態の特殊モード又は測定用特殊モードで発光する特殊光のスペクトルを示すグラフである。 第3実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第4実施形態の内視鏡システムの機能を示すブロック図である。 図3と異なる紫色光V、青色光B、緑色光G、赤色光Rのスペクトルを示すグラフである。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、本発明の「表示部」はモニタ18に対応する。
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、フリーズボタン13b、ズーム操作部13cが設けられている。モード切替SW13aは、通常モードと、特殊モードと、測定用通常モード、測定用特殊モードの4種類のモード間の切り替え操作に用いられる。通常モードは、通常画像をモニタ18上に表示するモードである。特殊モードは、特殊画像をモニタ18上に表示するモードである。測定用通常モードは、通常画像の静止画を取得したときに、生体数値情報を算出してモニタ18上に表示するモードである。測定用特殊モードは、特殊画像の静止画を取得したときに、生体数値情報を算出してモニタ18上に表示するモードである。
フリーズボタン13bは、観察対象の静止画を取得するときに用いられる。このフリーズボタン13bを押圧操作することで、静止画取得指示が光源装置14及びプロセッサ装置16に送信され、その時点での観察対象の静止画が静止画記憶部72に記録される。ズーム操作部13cは、観察対象を拡大して観察する拡大観察を行う時に用いられる。このズーム操作部13cを操作することで、ズームレンズ47(図2参照)がテレ位置とワイド位置との間を移動する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20d、これら4色のLED20a〜20dの駆動を制御する光源制御部21、及び4色のLED20a〜20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド(LG(Light Guide))41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。また、上記の「4色のLED20a〜20d」は本発明の「光源部」に対応する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。なお、4色の光を全て観察対象の照明に用いる必要は無い。例えば、青色光B、緑色光G、赤色光Rの3色の光で観察対象の照明を行ってもよい。
図2に示すように、光源制御部21は、通常モードと、特殊モードと、測定用通常モードと、測定用特殊モードのいずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、R-LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。また、光源制御部21では、紫色光V、青色光B、緑色光G、赤色光R間の光量比は、通常観察モードと特殊観察モードとでそれぞれ異なるように設定する。通常観察モード時には、光量比がVc、Bc、Gc、Rcとなるように、各LED20a〜20dを制御する。特殊観察モード時には、光量比がVs、Bs、Gs、Rsとなるように、各LED20a〜20dを制御する。
ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。観察対象からの反射光は、対物レンズ46及びズームレンズ47を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48(本発明の「撮像部」に対応する)はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この出力された画像信号に基づいて、静止画(本実施形態では、第1静止画、第2静止画、第3静止画)や動画が生成される。撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、第1切替部60と、通常画像処理部62と、特殊画像処理部64と、第2切替部66と、表示制御部68と、静止画記憶部72と、部分静止画生成部74と、生体数値情報算出部76と、発光量比較部78と、数値補正部80とを備えている。
受信部53は内視鏡12からのデジタルのRGB画像信号を受信する。R画像信号は撮像センサ48のR画素から出力される信号に対応し、G画像信号は撮像センサ48のG画素から出力される信号に対応し、B画像信号は撮像センサ48のB画素から出力される信号に対応している。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、画素補間処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、第1切替部60に送信される。
第1切替部60は、モード切替SW13aにより、通常モード又は測定用通常モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、特殊モード又は測定用特殊モードにセットされている場合には、RGB画像信号を特殊画像処理部64に送信する。
通常画像処理部62は、RGB画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのRGB画像信号に対しては、3×3のマトリックス処理、階調変換処理、3次元LUT処理などを行い、色変換処理済みのRGB画像信号に変換する。次に、色変換処理済みのRGB画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたRGB画像信号は、通常画像のRGB画像信号として、通常画像処理部62から第2切替部66に入力される。
特殊画像処理部64は、通常画像処理部62と同様に、RGB画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。これら処理済みのRGB画像信号は、特殊画像のRGB画像信号として、特殊画像処理部64から第2切替部66に入力される。
第2切替部66は、フリーズボタン13bからの静止画取得指示を受信しない限り、通常画像のRGB画像信号を表示制御部68に送信する。静止画取得指示を受信したときには、通常画像又は特殊画像のRGB画像信号を静止画記憶部72に送信する。表示制御部68は、通常モード又は特殊モードに設定されている場合には、通常画像又は特殊画像のRGB画像信号に基づいて、モニタ18に通常画像又は特殊画像が表示されるように表示制御する。一方、測定用通常モード又は測定用特殊モードに設定されている場合には、表示制御部68は、通常画像又は特殊画像のRGB画像と部分静止画生成部74で生成した部分静止画とに基づいて、モニタ18に、通常画像又は特殊画像と部分静止画が表示されるように表示制御する。この表示制御については、後述する。
静止画記憶部72は、フリーズボタン13bの操作時に、第2切替部66から送信される静止画を記憶する。本実施形態では、静止画記憶部72に記憶する静止画としては、図4に示す観察対象のうちA地点を撮像して取得した第1静止画と、A地点に隣接するB地点を撮像して取得した第2静止画と、B地点に隣接するC地点を撮像して取得した第3静止画とが含まれる。
部分静止画生成部74は、静止画記憶部72に記憶した静止画の一部を切り取って、部分静止画を生成する。本実施形態では、観察対象のA地点の撮像により、第1静止画が静止画記憶部72に記憶されたときに、部分静止画生成部74が、第1静止画の一部を切り取って第1部分静止画を生成する。生成された第1部分静止画は表示制御部68に送信される。
表示制御部68は、第1静止画の取得後、フリーズボタン13bが操作されて第2静止画を取得するまでの間、図5に示すように、モニタ18上の中央の動画表示領域Rxに通常画像又は特殊画像を動画表示する一方で、動画表示領域Rxの側方に設けられた部分静止画表示領域Ryに第1部分静止画を表示する。ドクターは、モニタ18に表示された動画表示と第1部分静止画の両方を観察し、B地点と第2部分静止画に対応する部位が動画表示領域Rxに入った時に、フリーズボタン13bを操作する。これにより、B地点と第1部分静止画を含む第2静止画が静止画記憶部72に記憶される。なお、仮に、モニタ18上に動画とともに第1部分静止画を表示しない場合には、第1部分静止画を含むように、第2静止画を取得することは極めて難しくなる。
以上のように、第2静止画には、第1静止画との共通部分である第1部分静止画が含まれるため、第1静止画及び第2静止画のうち少なくとも第1部分静止画がある部分については、観察対象との距離が同じになり、また、観察対象からの反射光の光量も同じになる。したがって、第1静止画を取得したときの照明条件や撮影条件と、第2静止画を取得したときの照明条件や撮影条件をほぼ同じにすることができる。
また、部分静止画生成部74は、B地点と第1部分静止画を含む第2静止画を取得して、静止画記憶部72に記憶されたときには、第2静止画の一部を切り取って第2部分静止画を生成する。生成された第2部分静止画と通常画像又は特殊画像の動画がモニタ18上に表示される。そして、次の観察対象であるC地点と第2部分静止画に対応する部位が動画表示領域Rxに入って、ドクターがフリーズボタン13bを操作したときに、C地点と第2部分静止画を含む第3静止画が静止画記憶部72に記憶される。この第3静止画は、第2静止画との共通部分である第2部分静止画を含んでいるため、第2静止画を取得したときの照明条件や撮影条件と、第3静止画を取得したときの照明条件や撮影条件をほぼ同じになっている。
なお、部分静止画表示領域Ryに部分静止画を表示することに代えて、部分静止画を動画表示領域Rxに動画と重畳表示するようにしてもよい。この場合、部分静止画には、動画表示と識別するための識別表示を設けることが好ましい。例えば、図6に示すように、第1部分静止画を動画表示領域Rxに動画と重畳表示した場合には、識別表示として、第1部分静止画の縁部に一定時間毎に点滅する識別点滅線Laを設けることが好ましい。
生体数値情報算出部76は、静止画記憶部72に記憶された静止画に基づいて、生体数値情報を算出する。算出された生体数値情報は、モニタ18上に表示される。本実施形態では、第1静止画から第1生体数値情報を算出し、第2静止画から第2生体数値情報を算出し、第3静止画から第3生体数値情報を算出する。ここで、第1静止画を取得したときの照明条件や撮影条件と、第2静止画を取得したときの照明条件や撮影条件と、第3静止画を取得したときの照明条件や撮影条件とはほぼ同じであることから、それら第1〜第3静止画から得られた第1〜第3生体数値情報については、仮に、それらの数値上の違いがあったとしても、それは、照明条件や撮影条件の違いによるものではなく、病変の進行度など生体要因に基づく違いによるものである。これにより、第1〜第3生体数値情報を正確に比較することができる。
なお、生体数値情報としては、ヘモグロビンインデックス(IHb)、酸素飽和度、血管深さ、血管密度などを算出することが好ましい。例えば、ヘモグロビンインデックスについては、下記の式に基づいて、算出する。
(式):IHb=32×Log(Rx/Gx)
ただし、「Rx」は静止画のR画像信号の画素値を、「Gx」は静止画のG画像信号の画素値を表している。
発光量比較部78は、ある地点の静止画を取得したときに発光した照明光の発光量と、別の地点の静止画を取得したときに発光した照明光の発光量とを比較する。本実施形態では、第1静止画を取得したときに発光した紫色光V、青色光B、緑色光G、赤色光Rの4色分の第1総発光量と、第2静止画を取得したときに発光した紫色光V、青色光B、緑色光G、赤色光Rの4色分の第2総発光量とを比較して、第1比較結果を出力する。また、第2総発光量と、第3静止画を取得したときに発光した紫色光V、青色光B、緑色光G、赤色光Rの4色分の第3総発光量とを比較して、第2比較結果を出力する。なお、第1〜第3総発光量は、光源装置14又はプロセッサ装置16のいずれかに設けられた発光量記憶部に記憶される。
数値補正部80は、発光量比較部78での比較結果に基づいて、生体数値情報を補正する。本実施形態では、第1比較結果に基づいて、第1生体数値情報又は第2生体数値情報の少なくとも一方を補正し、第2比較結果に基づいて、第2生体数値情報又は第3生体数値情報の少なくとも一方を補正する。例えば、第1総発光量と第2総発光量とが異なっている場合には、第1総発光量と第2総発光量との差分に応じて、第1生体数値情報又は第2生体数値情報の少なくとも一方を補正する。また、第1総発光量と第2総発光量とが同じである場合には、第1又は第2生体数値情報の補正を行う必要はない。
次に、観察対象のA地点、B地点、C地点の第1〜第3静止画を取得し、それら第1〜第3静止画から第1〜第3生体数値情報を算出する一連の流れについて、図7のフローチャートに沿って説明する。まず、通常モードにセットし、内視鏡12の挿入部12aを検体内に挿入する。挿入部12aの先端部12dが観察対象のA地点に到達したら、モード切替SW13aを操作して、通常モードから測定用通常モード又は測定用特殊モードに切り替える。
次に、フリーズボタン13bを押圧操作して、A地点を撮像することにより第1静止画を取得する。この第1静止画は静止画記憶部72に記憶される。生体数値情報算出部76は、第1静止画に基づいて、第1生体数値情報を算出する。表示制御部68は、図8に示すように、モニタ18の動画表示領域Rxに対して、第1静止画を数秒間連続して表示するとともに、第1生体数値情報を表示するように制御する。第1静止画の連続表示後は、部分静止画生成部74は、第1静止画の一部を切り取って第1部分静止画を生成する。そして、表示制御部68は、動画表示領域Rxに通常画像又は特殊画像の動画を表示するとともに、部分静止画表示領域Ryに第1部分静止画を表示する制御を行う。
ドクターは、モニタ18に表示された動画表示と第1部分静止画の両方を観察し、次の観察対象であるB地点と第1部分静止画に対応する部位が動画表示領域Rxに入った時に、フリーズボタン13bを押圧操作する。これにより、B地点と第1部分静止画を含む第2静止画が得られる。この第2静止画は静止画記憶部72に記憶される。生体数値情報算出部76は、第2静止画に基づいて、第2生体数値情報を算出する。また、数値補正部80は、第1静止画取得時の紫色光V、青色光B、緑色光G、赤色光Rの第1総発光量と、第2静止画取得時の紫色光V、青色光B、緑色光G、赤色光Rの第2総発光量との比較結果から、第2生体数値情報を補正する。補正した第2生体数値情報は、第2静止画とともに、数秒間連続表示される。
第2生体数値情報と第2静止画の連続表示後は、モニタ18の動画表示領域Rxに動画表示され、また、部分静止画表示領域Ryに第2部分静止画が表示される。第2部分静止画は第2静止画を一部切り取って生成される。そして、ドクターは、同様にして、次の観察対象であるC地点と第2部分静止画に対応する部位が動画表示領域Rxに入った時に、フリーズボタン13bを押圧操作する。これにより、C地点と第2部分静止画を含む第3静止画が得られる。この第3静止画は静止画記憶部72に記憶される。上記と同様にして、第3静止画から第3生体数値情報が算出され、この第3生体数値情報は数値補正部80で補正される。補正した第3生体数値情報は、第3静止画とともに、数秒間連続表示される。
第3静止画の連続表示後は、自動的に又はユーザーによるコンソール19の操作により、図9に示すように、第1〜第3静止画と、これら第1〜第3静止画内に第1〜第3生体数値情報とがモニタ18上に一覧表示される。ドクターは、第1〜第3生体数値情報をそれぞれ比較することによって、病変部がどの地点まで進行しているか等の診断を行う。
ここで、第1〜第3静止画のうち、第1静止画と第2静止画は共通する部分の画像として第1部分静止画を有していることから、第1静止画取得時の観察距離と第2静止画取得時の観察距離はほぼ同じとなり、また、第2静止画と第3静止画も共通する部分の画像として第2部分静止画を有していることから、第2静止画取得時の観察距離と第3静止画取得時の観察距離はほぼ同じになっている。したがって、第1〜第3静止画を取得したときの照明条件や撮影条件はほぼ同じであることから、第1〜第3静止画から得られた第1〜第3生体数値情報をそれぞれ正確に比較することができる。
また、算出した第1〜第3生体数値情報のうち、第2生体数値情報については、第1、第2静止画の取得時に発光した紫色光V、青色光B、緑色光G、及び赤色光Rの第1、第2総発光量を比較した結果に基づいて、補正されており、また、第3生体数値情報については、第2、第3静止画の取得時に発光した紫色光V、青色光B、緑色光G、及び赤色光Rの第2、第3総発光量を比較した結果に基づいて、補正されている。したがって、第1〜第3総発光量が異なったとしても、それら第1〜第3総発光量に基づく生体数値情報上の誤差が無くなるように第1〜第3生体数値情報が補正されることから、補正後の第1〜第3生体数値情報は、補正前の第1〜第3生体数値情報よりも、更に正確な比較が可能となる。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図10に示すように、内視鏡システム100では、光源装置14において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図10では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図10では「405LD」と表記)106とが設けられている。これら各光源104、106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源制御部108は、通常モード及び測定用通常モードの場合には、青色レーザ光源104を駆動させる。これに対して、特殊モード及び測定用特殊モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。以上の各光源104、106から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。なお、第2実施形態では、青色レーザ光源104、青紫色レーザ光源106、蛍光体110を含む構成が、本発明の「光源部」に対応する。
ここで、通常モード及び測定用通常モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図11に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が、観察対象に照射される。一方、特殊モード及び測定用特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図12に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊光が、検体内に照射される。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
なお、第2実施形態においては、発光量比較部78で、第1静止画取得時の発光量と第2静止画取得時の発光量とを比較する際、又は、第2静止画取得時の発光量と第3静止画取得時の発光量とを比較する際、第1〜第3静止画取得時の発光量としては、第1〜第3静止画取得時に得られるAE(Auto Exposure)値に基づいて算出したものを用いることが好ましい。このAE値は、第1〜第3静止画取得時に得られるRGB画像信号から算出する。
[第3実施形態]
第3実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。この場合には、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図13に示すように、内視鏡システム200では、光源装置14において、4色のLED20a〜20dに代えて、広帯域光源202、絞り203、回転フィルタ204、フィルタ切替部205、光源制御部208が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常モード用フィルタ208と、外側に設けられた特殊モード用フィルタ209とを備えている(図14参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常モード又は測定用通常モードにセットされたときに、回転フィルタ204の通常モード用フィルタ208を白色光の光路に挿入し、特殊モード又は測定用特殊モードにセットされたときに、回転フィルタ204の特殊モード用フィルタ209を白色光の光路に挿入する。なお、第3実施形態では、広帯域光源202と回転フィルタ204を含む構成が、本発明の「光源部」に対応する。また、絞り203は光源制御部208によって制御され、この絞り203の調整によって、回転フィルタ203に入射する白色光の光量が調整される。
図14に示すように、通常モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常モード又は測定用通常モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に観察対象に照射される。
特殊モード用フィルタ209には、周方向に沿って、白色光のうちBフィルタ208aと異なる波長帯域の特殊青色光を透過させるBフィルタ209aと、白色光のうちGフィルタ208bと異なる波長帯域の特殊緑色光を透過させるGフィルタ209b、白色光のうちRフィルタ208cと異なる波長帯域の特殊赤色光を透過させるRフィルタ209cが設けられている。したがって、特殊モード又は測定用特殊モード時には、回転フィルタ204が回転することで、特殊青色光、特殊緑色光、特殊赤色光が交互に観察対象に照射される。
内視鏡システム200では、通常モード及び測定用通常モード時には、青色光、緑色光、赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、特殊モード及び測定用特殊モード時には、特殊青色光、特殊緑色光、特殊赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。これらRGB画像信号に基づいて、上記第1実施形態と同様の方法で、特殊画像の生成が行われる。
なお、第3実施形態においては、発光量比較部78で、第1静止画取得時の発光量と第2静止画取得時の発光量とを比較する際、又は、第2静止画取得時の発光量と第3静止画取得時の発光量とを比較する際、第1〜第3静止画取得時の発光量としては、第1〜第3静止画取得時に得られるAE(Auto Exposure)値に基づいて算出したものを用いることが好ましい。ここで、AE値は、第2実施形態と同様、第1〜第3静止画取得時に得られるRGB画像信号から算出される。
[第4実施形態]
第4実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図15に示すように、内視鏡システム300では、光源装置14において、4色のLED20a〜20dに代えて、第3実施形態と同様の広帯域光源202、絞り203、及び光源制御部208が設けられている。広帯域光源202から発せられた白色光は、絞り203、ライトガイド41、及び照明レンズ45を介して、観察対象に照射される。なお、第4実施形態では、広帯域光源202を含む構成が、本発明の「光源部」に対応する。
内視鏡システム300では、通常モード及び測定用通常モード時には、絞り202で通常モード用光量に調整された白色光で観察対象を照明し、この観察対象をカラーの撮像センサ48で撮像する。この撮像により得られたRGBの画像信号に基づいて、上記第1実施形態とほぼ同様の方法で、通常画像が生成される。一方、特殊モード及び測定用特殊モード時には、絞り202で特殊モード用光量に調整された白色光で観察対象を照明し、この観察対象をカラーの撮像センサ48で撮像する。この撮像により得られたRGBの画像信号に基づいて、上記第1実施形態とほぼ同様の方法で、特殊画像の生成が行われる。
なお、第4実施形態では、発光量比較部78で、第1静止画取得時の発光量と第2静止画取得時の発光量とを比較する際、又は、第2静止画取得時の発光量と第3静止画取得時の発光量とを比較する際、第1〜第3静止画取得時の白色光の発光量としては、第1〜第3静止画を取得したときの絞り203の開口度、又は、第1〜第3静止画を取得したときのAE(Auto Exposure)値から求めたものを用いることが好ましい。
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図16に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vについては、中心波長410〜420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bについては、中心波長445〜460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
10,100,200 内視鏡システム
72 静止画記憶部
74 部分静止画生成部
76 生体数値情報算出部
78 発光量比較部
80 数値比較部

Claims (11)

  1. 照明光を発する光源部と、
    前記照明光で照明された観察対象を撮像して第1静止画を取得する撮像部と、
    前記第1静止画を記憶する静止画記憶部と、
    前記第1静止画の一部を切り取って第1部分静止画を生成する部分静止画生成部と、
    前記観察対象を動画表示領域に動画表示し、且つ前記第1部分静止画を表示部に表示する制御を行う表示制御部と、
    を備える内視鏡システム。
  2. 前記表示制御部は、前記動画表示領域とは別の部分静止画表示領域に、前記第1部分静止画を表示する制御を行う請求項1記載の内視鏡システム。
  3. 前記表示制御部は、前記動画表示領域に、前記第1部分静止画を重畳表示する制御を行う請求項1記載の内視鏡システム。
  4. 前記第1部分静止画の縁部には、前記動画表示と識別するための識別表示が設けられている請求項3記載の内視鏡システム。
  5. 前記撮像部は、前記第1部分静止画に対応する部位が前記動画表示領域に入ったときに撮像を行って、第2静止画を取得し、
    前記静止画記憶部は前記第2静止画を記憶し、
    前記部分静止画生成部は、前記第2静止画の一部を切り取って第2部分静止画を生成し、
    前記表示制御部は、前記第2静止画の取得後は、前記第1部分静止画の表示を停止し、前記第2部分静止画の表示を開始する制御を行う請求項1ないし4いずれか1項記載の内視鏡システム。
  6. 前記第1静止画から第1生体数値情報を算出し、前記第2静止画から第2生体数値情報を算出する生体数値情報算出部と、
    前記第1静止画を取得したときに発光した照明光の発光量と前記第2静止画を取得したときに発光した照明光の発光量とを比較する発光量比較部と、
    前記発光量比較部の比較結果に基づいて、前記第1生体数値情報又は前記第2生体数値情報の少なくとも一方を補正する数値補正部とを備える請求項5記載の内視鏡システム。
  7. 前記撮像部は、前記第2部分静止画に対応する部位が前記動画表示領域に入ったときに撮像を行って、第3静止画を取得し、
    前記静止画記憶部は前記第3静止画を記憶する請求項5または6記載の内視鏡システム。
  8. 撮像部が、照明光で照明された観察対象を撮像して第1静止画を取得する第1撮像ステップと、
    静止画記憶部が前記第1静止画を記憶する第1静止画記憶ステップと、
    部分静止画生成部が、前記第1静止画の一部を切り取って第1部分静止画を生成する第1部分静止画生成ステップと、
    表示制御部が、前記観察対象を動画表示領域に動画表示し、且つ前記第1部分静止画を表示部に表示する制御を行う第1表示制御ステップと、
    を備える内視鏡システムの作動方法。
  9. 前記第1表示制御ステップでは、前記動画表示領域とは別の部分静止画表示領域に、前記第1部分静止画を表示する制御を行う請求項8記載の内視鏡システムの作動方法。
  10. 前記第1表示制御ステップでは、前記動画表示領域に、前記第1部分静止画を重畳表示する制御を行う請求項8記載の内視鏡システムの作動方法。
  11. 前記撮像部が、前記第1部分静止画に対応する部位が前記動画表示領域に入ったときに撮像を行って、第2静止画を取得する第2撮像ステップと、
    前記静止画記憶部が前記第2静止画を記憶する第2静止画記憶ステップと、
    前記部分静止画生成部が、前記第2静止画の一部を切り取って第2部分静止画を生成する第2部分静止画生成ステップと、
    前記表示制御部が、前記第2静止画の取得後は、前記第1部分静止画の表示を停止し、前記第2部分静止画の表示を開始する制御を行う第2表示制御ステップとを有する請求項8ないし10いずれか1項記載の内視鏡システムの作動方法。
JP2014261273A 2014-12-24 2014-12-24 内視鏡システム及びその作動方法 Active JP6425995B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014261273A JP6425995B2 (ja) 2014-12-24 2014-12-24 内視鏡システム及びその作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014261273A JP6425995B2 (ja) 2014-12-24 2014-12-24 内視鏡システム及びその作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018154993A Division JP6586206B2 (ja) 2018-08-21 2018-08-21 内視鏡システム及びその作動方法

Publications (2)

Publication Number Publication Date
JP2016120026A true JP2016120026A (ja) 2016-07-07
JP6425995B2 JP6425995B2 (ja) 2018-11-21

Family

ID=56327786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014261273A Active JP6425995B2 (ja) 2014-12-24 2014-12-24 内視鏡システム及びその作動方法

Country Status (1)

Country Link
JP (1) JP6425995B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111345831A (zh) * 2020-03-06 2020-06-30 重庆金山医疗技术研究院有限公司 一种消化道生理数据显示方法及系统
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266561A (ja) * 1996-03-28 1997-10-07 Sanyo Electric Co Ltd 連続画像を作成するデジタルスチルカメラ及び連続画像作成方法
JP2006223850A (ja) * 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2011110281A (ja) * 2009-11-27 2011-06-09 Hoya Corp 電子内視鏡装置
JP2012066065A (ja) * 2010-08-24 2012-04-05 Fujifilm Corp 電子内視鏡システム及び血管情報取得方法
JP2012130506A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
JP2013078382A (ja) * 2011-09-30 2013-05-02 Chiba Univ パノラマ画像作製プログラム
JP2014123991A (ja) * 2014-03-20 2014-07-03 Casio Comput Co Ltd 被写体検出装置、被写体検出方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266561A (ja) * 1996-03-28 1997-10-07 Sanyo Electric Co Ltd 連続画像を作成するデジタルスチルカメラ及び連続画像作成方法
JP2006223850A (ja) * 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2011110281A (ja) * 2009-11-27 2011-06-09 Hoya Corp 電子内視鏡装置
JP2012066065A (ja) * 2010-08-24 2012-04-05 Fujifilm Corp 電子内視鏡システム及び血管情報取得方法
JP2012130506A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
JP2013078382A (ja) * 2011-09-30 2013-05-02 Chiba Univ パノラマ画像作製プログラム
JP2014123991A (ja) * 2014-03-20 2014-07-03 Casio Comput Co Ltd 被写体検出装置、被写体検出方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置
JPWO2020218029A1 (ja) * 2019-04-26 2021-06-10 Hoya株式会社 電子内視鏡システム及びデータ処理装置
US11950762B2 (en) 2019-04-26 2024-04-09 Hoya Corporation Electronic endoscope system and data processing device
CN111345831A (zh) * 2020-03-06 2020-06-30 重庆金山医疗技术研究院有限公司 一种消化道生理数据显示方法及系统
CN111345831B (zh) * 2020-03-06 2023-02-28 重庆金山医疗技术研究院有限公司 一种消化道生理数据显示方法及系统

Also Published As

Publication number Publication date
JP6425995B2 (ja) 2018-11-21

Similar Documents

Publication Publication Date Title
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
US9629555B2 (en) Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10022074B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
JP6313884B2 (ja) 内視鏡システム及びその作動方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
WO2017104233A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JPWO2018066347A1 (ja) 内視鏡システム及びその作動方法
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JPWO2017183339A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5972312B2 (ja) 医用画像処理装置及びその作動方法
US20170231469A1 (en) Processor device for endoscope,operation method thereof, and non-transitory computer readable medium
JP2019030406A (ja) 内視鏡システム
JP6425995B2 (ja) 内視鏡システム及びその作動方法
JP6254506B2 (ja) 内視鏡システム及びその作動方法
JP6586206B2 (ja) 内視鏡システム及びその作動方法
WO2017104232A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6258834B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181024

R150 Certificate of patent or registration of utility model

Ref document number: 6425995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250