JP2014012190A - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP2014012190A
JP2014012190A JP2013169017A JP2013169017A JP2014012190A JP 2014012190 A JP2014012190 A JP 2014012190A JP 2013169017 A JP2013169017 A JP 2013169017A JP 2013169017 A JP2013169017 A JP 2013169017A JP 2014012190 A JP2014012190 A JP 2014012190A
Authority
JP
Japan
Prior art keywords
endoscope apparatus
image
electronic endoscope
signal
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013169017A
Other languages
English (en)
Other versions
JP5714669B2 (ja
Inventor
Hiroshi Fujita
寛 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013169017A priority Critical patent/JP5714669B2/ja
Publication of JP2014012190A publication Critical patent/JP2014012190A/ja
Application granted granted Critical
Publication of JP5714669B2 publication Critical patent/JP5714669B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】光源部に分光画像用の光学的波長狭帯域バンドパスフィルタを設けることなく、血管パターンが鮮明に表示される分光画像を得ることを目的とする。
【解決手段】照明用光源41から被検体内に光を照射し、固体撮像素子21によりカラー画像信号を取得する電子内視鏡装置100において、カラー画像信号から特定の波長成分を取り出す処理に基づく分光画像と、特定の波長成分を取り出す処理を行わずに得られた信号から生成された通常画像とを生成する生成部436と、照明用光源41から照射される光量を、通常画像を観察する場合よりも分光画像信号を観察する場合に少なくするよう制する光量制御部16とを有する。
【選択図】図4

Description

本発明は、医療等に用いられる電子内視鏡装置に関する。
近年、固体撮像素子を用いた電子内視鏡装置において、狭帯域バンドパスフィルタを組み合わせた分光イメージングに注目が寄せられている。2000年10月に行われた日本消化器内視鏡学会総会において、佐野・吉田・小林らによる発表がされ、従来より行われているRGBの面順次方式による照明光での画像に比べ、分光特性を狭帯域にしたRGBの面順次方式による照明光での画像の方が、生体粘膜(舌部)の微細構造を精度よく抽出できることが示された(以下の非特許文献1参照)。また、2001年5月に行われた日本消化器内視鏡学会総会において、同発表者により、消化器領域での臨床応用の結果が発表され、胃・大腸部ともに、従来の内視鏡画像では抽出されなかった微細構造が抽出されることが示された。
この従来例で示される内視鏡装置は、面順次式を用いており、そのRGBカラーフィルタをそれぞれ3つの光学的波長狭帯域バンドパスフィルタに変更し、それぞれの光学的波長狭帯域バンドパスフィルタを透過した照明光により、それぞれ3つの分光画像を生成するものである。
佐野寧、小林正彦、吉田茂昭「狭帯域filter内蔵電子内視鏡システム(Narrow Band Imaging:NBI)の開発・臨床応用に関する試み」、日本消化器内視鏡学会、Gastroenterological Endoscopy,Vol.42(Suppl.2),1520,2000
しかしながら、この従来例においては、以下のような問題点がある。
(イ)微細構造を抽出すべく分光特性を持った光学的波長狭帯域バンドパスフィルタを通常の内視鏡装置とは別に設けなければならず、このフィルタの設置のための空間が必要となり、内視鏡全体が大型化する。
(ロ)新規のバンドパスフィルタによる分光画像を得たい場合には、光源部に設けられた光学的波長狭帯域バンドパスフィルタの交換・追加をしなければならない。
本発明は、上記の問題点を解決し、光源部に分光画像用の光学的波長狭帯域バンドパスフィルタを設けることなく、分光画像を得ることを目的とする。
請求項1に記載の発明の特徴は、照明用光源から被検体内に光を照射し、固体撮像素子によりカラー画像信号を取得する電子内視鏡装置において、カラー画像信号から特定の波長成分を取り出す処理に基づく分光画像と、特定の波長成分を取り出す処理を行わずに得られた信号から生成された通常画像とを生成する生成部と、照明用光源から照射される光量を、通常画像を観察する場合よりも分光画像信号を観察する場合に少なくするよう制御する光量制御部とを有する。
本発明に係る第1の実施の形態におけるカラー画像信号から分光画像信号を作成する際の信号の流れを示した概念図である。 本発明に係る第1の実施の形態におけるカラー画像信号の積分演算を示す概念図である。 本発明に係る第1の実施の形態における電子内視鏡装置の外観図である。 本発明に係る第1の実施の形態における電子内視鏡装置のブロック図である。 本発明に係る第1の実施の形態における色フィルタの配列を示した図である。 本発明に係る第1の実施の形態における各色フィルタの分光感度特性を示した図である。 本発明に係る第1の実施の形態における光源のスペクトル図である。 本発明に係る第1の実施の形態における生体の反射スペクトル図である。 本発明に係る第1の実施の形態におけるチョッパーの外観図である。 本発明に係る第1の実施の形態における通常内視鏡画像である。 本発明に係る第1の実施の形態におけるバンドパスフィルタF3に相当する分光画像である。 本発明に係る第1の実施の形態におけるバンドパスフィルタF2に相当する分光画像である。 本発明に係る第1の実施の形態におけるバンドパスフィルタF1に相当する分光画像である。 本発明に係る第2の実施の形態における電子内視鏡装置のブロック図である。 本発明に係る第2の実施の形態におけるマトリックス演算部の回路図である。 本発明に係る第3の実施の形態におけるマトリックス演算部の構成図である。 本発明に係る第4の実施の形態における電子内視鏡装置のブロック図である。 本発明に係る第4の実施の形態における電荷蓄積時間を示した図である。 本発明に係る第5の実施の形態における電荷蓄積時間を示した図である。 本発明に係る第6の実施の形態における色フィルタの配列を示した図である。 本発明に係る第6の実施の形態における各色フィルタの分光感度特性を示した図である。 本発明に係る変形例におけるマトリックス演算の際のフローチャート図である。
以下、本発明に係る第1の実施の形態について説明する前に、a)本発明の基礎となるマトリックスについて説明する。ここで、マトリックスとは、カラー画像(以下通常画像と呼ぶ)を生成するために取得されるカラー画像信号から、分光画像信号を生成する際に用いられる所定の係数である。また、この説明に続き、b)より正確な分光画像信号を求めるための補正方法、c)生成された分光画像信号のS/N比を向上させる方法について説明する。なお、この補正方法、S/Nの改善方法に関しては、必要に応じて用いれば良い。
a)図1は、カラー画像信号(ここでは、説明を簡単にするために、RGBとするが、後述する実施の形態のように、補色型固体撮像素子においては、G・Cy・Mg・Yeの組合せでも良い)から、より光学的波長狭帯域の画像に対応する画像に相当する分光画像信号を生成する際の信号の流れを示した概念図である。
まず、電子内視鏡装置としてのRGBのそれぞれのカラー感度特性を数値データ化する。ここで、RGBのカラー感度特性とは、白色光の光源を用い、白色の被写体を撮像する時にそれぞれ得られる波長に対する出力の特性である。なお、RGBのそれぞれのカラー感度特性は、簡略化したグラフとして各データの右に示されている。
また、この時の、RGBのカラー感度特性をそれぞれn次元の列ベクトルRGBとする。次に、抽出したい分光画像用狭帯域パンドパスフィルタF1・F2・F3(先見情報として、構造を効率よく抽出できるフィルタの特性を知っている。このフィルタの特性とは、波長帯域が略590nm-略610nm、略530nm-略550nm、略400m-略430nmをそれぞれ通過帯域とするものである。)の特性を数値データ化する。なお、ここで「略」とは、波長においては±10nm程度を含む概念である。
この時のフィルタの特性をそれぞれn次元の列ベクトルF・F・Fとする。得られた数値データを基に、以下の関係を近似する最適な係数セットを求める。即ち、
Figure 2014012190
となるマトリックスの要素を求めればよい。上の最適化の命題の解は数学的には、以下のように与えられる。RGBのカラー感度特性を表すマトリックスをC、抽出したい狭帯域パンドパスフィルタの分光特性を表すマトリックスをF、求める係数マトリックスをAとすると、
Figure 2014012190
となる。従って、(1)式に示した命題は、以下の関係を満足するマトリックスAを求めるに等しい。
Figure 2014012190
ここで、分光特性を表すスペクトルデータとしての点列数nとしては、n>3であるので、(3)式は1次元連立方程式ではなく、線形最小二乗法の解として与えられる。即ち、(3)式を擬似連立方程式として解けばよい。マトリックスCの転置行列をCとすれば、(3)式は
Figure 2014012190
となる。CCはn×nの正方行列であるので、(4)式はマトリックスAについての連立方程式と見ることができ、その解は、
Figure 2014012190
と与えられる。(5)式にて求められたマトリックスAについて、(3)式の左辺の変換を行うことで、抽出したい狭帯域パンドパスフィルタF1・F2・F3の特性を近似することができる。以上が、本発明の基礎となるマトリックスの説明である。
b)次に、より正確な分光画像信号を求めるための補正方法について説明する。上述の処理方法の説明においては、CCD等の固体撮像素子が受光する光束が、完全な白色光(可視域において、全ての波長強度が同じ)である場合に正確に適用されるものである。即ち、RGBの出力がいずれも同じである場合に、最適な近似となる。
しかし、実際の内視鏡下では、照明する光束(光源の光束)は完全な白色光ではなく、生体の反射スペクトルも一律ではないので、固体撮像素子が受光する光束も白色光でない(色が着いているので、RGBの値は同じではない)。従って、実際の処理において、(3)式に示した命題をより正確に解くためには、RGBのカラー感度特性に加え、照明光の分光特性、生体の反射特性を考慮することが望ましい。
ここで、カラー感度特性をそれぞれR(λ)、G(λ)、B(λ)とし、照明光の分光特性の一例をS(λ)、生体の反射特性の一例をH(λ)とする。なお、この照明光の分光特性および生体の反射特性は、必ずしも検査を行う装置、被検体の特性でなくてもよく、例えば予め取得しておいた一般的な特性としても良い。これらの係数を用いると、補正係数k・k・kは、
Figure 2014012190
で与えられる。感度補正マトリックスをKとすると、以下のように与えられる。
Figure 2014012190
従って、係数マトリックスAについては、(5)式に(7)式の補正を加えて、以下のようになる。
Figure 2014012190
また、実際に最適化を行う場合は、目標とするフィルタの分光感度特性(図1中のF1・F2・F3)が負の場合は画像表示上では0となる(つまりフィルタの分光感度特性のうち正の感度を有する部分のみ使用される)ことを利用し、最適化された感度分布の一部が負になることも許容することを付加する。ブロードな分光感度特性より狭帯域な分光感度特性を生成するためには、図1に示すように目標とするF1・F2・F3の特性に、負の感度特性を付加することで、感度を有する帯域を近似した成分を生成することができる。
c)次に、生成された分光画像信号のS/N及び精度を向上させる方法について説明する。このS/N比の改善方法は、前述した処理方法に付加することにより、さらに以下の課題を解決するものである。
(イ)前述の処理方法における原信号(RGB)のいずれかが仮に飽和状態となると、処理方法におけるフィルタF1乃至F3の特性が、構造を効率よく抽出できるフィルタの特性(理想とする特性)と大きく異なってしまう可能性がある。(RGBの中、2つの信号だけで生成される場合は、その2つの原信号がいずれも飽和していないこと)。
(ロ)カラー画像信号から分光画像信号への変換に際に、広帯域のフィルタから狭帯域フィルタの生成するため、感度の劣化が発生し、生成された分光画像信号の成分も小さくなり、S/N比が良くない。
このS/N比改善の方法とは、図2に示されるように、照明光の照射を通常画像(一般的なカラー画像)の1フィールド(1フレーム)中に数回(例えばn回、nは2以上の整数)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図2においては、I0乃至Inで示されている。なお、これは照明光の制御のみで実現可能である。)これにより、1回の照射強度を小さくすることができ、RGB信号のいずれもがそれぞれ飽和状態となるのを抑えることができる。
また、数回に分割された画像信号は、後段でn枚分の加算を行う。これにより、信号成分を大きくしてS/N比を向上させることができる。以上が、本発明の基礎となるマトリックス、またこれと共に実施することが可能な正確な分光画像信号を求めるための補正方法、生成された分光画像信号のS/N比を向上させる方法の説明である。
次に、本発明に係る第1の実施の形態における電子内視鏡装置の具体的な構成について、図2および図3を参照して説明する。図2は、カラー画像信号の積分演算を示す概念図、図3は、本実施の形態における電子内視鏡装置の外観図である。なお、以下に示す他の実施の形態でも同様の外観である。
電子内視鏡装置100は、スコープ101、内視鏡装置本体105、表示モニタ106を有している。また、スコープ101は、被検体の体内に挿入される導中部102、導中部102の先端に設けられた先端部103および、導中部102の先端側とは反対側に設けられ、先端部103の湾曲動作等を指示するためのアングル操作部104から主として構成されている。スコープ101で取得された被検体の画像は、内視鏡装置本体105にて所定の信号処理がなされ、表示モニタ106において、処理された画像が表示される。
次に、図4を参照して、内視鏡装置本体105について詳しく説明する。なお、図4は、電子内視鏡装置100のブロック図である。同図に示されるように、内視鏡装置本体105は、主に光源部41、制御部42、本体処理装置43から構成されている。なお、本実施の形態では、1つのユニットである内視鏡装置本体内に光源部と画像処理等を行う本体処理装置を有するものとして説明を行うが、これらは、別のユニットとして、取り外し可能なように構成されていても良い。
光源部41は、制御部42およびスコープ101に接続されており、制御部42からの信号に基づいて所定の光量で白色光(完全な白色光でない場合も含む)の照射を行う。また、光源部41は、白色光源としてのランプ15、光量を調整するためのチョッパー16及びチョッパー16を駆動するためのチョッパー駆動部17を有している。
チョッパー16は、図9に示されるように、点17aを中心とし、所定の半径rの円盤状の構造体に円周方向に所定の長さを有する切り欠き部が設けられた構成を備える。この中心点17aは、チョッパー駆動部17に設けられた回転軸と接続されている。つまり、チョッパー16は、中心点17aを中心に回転運動を行う。また、この切り欠き部は、所定の半径毎に複数設けられている。同図においては、この切り欠き部は、半径rから半径r1の間では、最大の長さ=2πr×180度/360度、幅=r-r1である。また、同様に、半径r1から半径r2の間では、最大の長さ=2πr1×90度/360度、幅=r1-r2、半径r2から半径r3の間では、最大の長さ=2πr2×30度/360度、幅=r2-r3という構成である(それぞれの半径は、r>r1>r2>r3とする。)
なお、チョッパー16における切り欠き部の長さ、幅は一例であり、本実施の形態に限定されるわけではない。また、チョッパー16は、この切り欠き部の略中央に半径方向に延伸する突起部160aを有する。なお、この突起部160aにより光が遮断された時にフレームを切換えることにより、1フレーム前と1フレーム後に照射される光の間隔を最小限にし、被検体の動き等によるブレを最小限にするものである。
また、チョッパー駆動部17は図4における矢印で示されるように、ランプ15に対する方向に移動が可能な構成となっている。つまり、図9に示されたチョッパー16の回転中心17aとランプからの光束(点線円で示されている)との距離Rを変えることができる。例えば、図9に示された状態では、距離Rがかなり小さいので、照明光量は小さい状態にある。距離Rを大きくする(チョッパー駆動部17をランプ15から遠ざける)ことで、光束が通過できる切り欠き部が長くなるため、照射時間が長くなり、照明光量を大きくすることができる。
上述のように、新しく生成した分光画像はS/Nとしては不十分である可能性があることと、生成に必要ないずれかの信号が飽和している場合には正しい演算が行われたことにはならないので、照明光量を制御する必要がある。この光量調節をチョッパー16およびチョッパー駆動部17が担うことになる。
また、光源部41にコネクタ11を介して接続されたスコープ101は、先端部103に対物レンズ19及びCCD等の固体撮像素子21(以下、単にCCDと記載する)を備えている。本実施の形態におけるCCDは単板式(同時式電子内視鏡用に用いられるCCD)であり、原色型である。なお、その色フィルタの配列を図5に示す。また、RGBのそれぞれの分光感度特性を図6に示す。
また、導中部102には、光源部41から照射された光を先端部103に導くライトガイド14、CCDで得られた被検体の画像を本体処理装置43に伝送するための信号線、また、処置を行うための鉗子チャネル28等が備えられている。なお、鉗子チャネル28に鉗子を挿入するための鉗子口29は、操作部104近傍に設けられている。
また、本体処理装置43は、光源部41と同様、コネクタ11を介してスコープ101に接続される。本体処理装置43には、CCD21を駆動するためのCCDドライブ431が設けられている。また、通常画像を得るための信号回路系として輝度信号処理系と色信号処理系を有する。輝度信号処理系は、CCD21に接続され輪郭補正を行う輪郭補正部432、輪郭補正部432で補正されたデータから輝度信号を生成する輝度信号処理部434を有する。
また、色信号処理系は、CCD21に接続され、CCD21で得られた信号のサンプリング等を行いRGB信号を生成するサンプルホールド回路(S/H回路)433a乃至433c、S/H回路433a乃至433cの出力に接続され、色信号の生成を行う色信号処理部435を有する。また、輝度信号処理系と色信号処理系の出力から1つの通常画像を生成する通常画像生成部437が設けられ、通常画像生成部437から切換部439を介して、表示モニタ106にY信号、R−Y信号、B−Y信号が送られる。
一方、分光画像を得るための信号回路系として、S/H回路433a乃至433cの出力に生成部であるマトリックス演算部436が設けられ、RGB信号に対して所定のマトリックス演算が行われる。マトリックス演算とは、カラー画像信号同士に加算処理等を行い、また、上述のように求められたマトリックスを乗算する処理をいう。
なお、本実施の形態では、このマトリックス演算の方法として、電子回路処理(電子回路を用いたハードウェアによる処理)を用いた方法について説明するが、後述の実施の形態のように、数値データ処理(プログラムを用いたソフトウェアによる処理)によるものとしても良い。また、実施するにあたっては、これらの組み合わせとすることも可能である。
図15に、マトリックス演算部436の回路図を示す。RGB信号はそれぞれ抵抗群31a乃至31cを介して、増幅器32a乃至32cに入力される。それぞれの抵抗群は、RGB信号がそれぞれ接続される複数の抵抗を有しており、それぞれの抵抗の抵抗値はマトリクス係数に応じた値となっている。
即ち、それぞれの抵抗によりRGB信号の増幅率を変化させ、増幅器で加算(減算でも良い)する構成となっている。それぞれの増幅器32a乃至32cの出力は、マトリックス演算部の出力となる。つまり、このマトリックス演算部436は、いわゆる重み付け加算処理を行っている。なお、ここで用いられるそれぞれの抵抗における抵抗値を可変としても良い。
マトリックス演算部436の出力は、それぞれ積算部438a乃至438cに接続され、積分演算が行われた後、切換部439を介して、それぞれの分光画像信号ΣF1乃至ΣF3として表示モニタ106に送られる。なお、切換部439は、通常画像と分光画像の切換えを行うものであり、また分光画像同士の切換表示も可能である。つまり操作者は、通常画像、ΣF1による分光画像、ΣF2による分光画像、ΣF3による分光画像から選択的に表示することができる。
また、いずれか2つ以上の画像を同時に表示モニタ106に表示可能な構成としても良い。特に、通常画像と分光画像を同時に表示可能とした場合には、一般的に観察を行っている通常画像と分光画像を簡単に対比することができ、それぞれの特徴(通常画像の特徴は色度合いが通常の肉眼の観察に近く観察しやすい。分光画像の特徴は通常画像では観察できない所定の血管等を観察することができる。)を加味した上で、観察することができ診断上非常に有用である。
次に、本実施の形態における電子内視鏡装置100の動作について図4を参照して詳しく説明する。なお、以下においては、まず通常画像を観察する際の動作について説明し、後に分光画像を観察する際の動作について説明する。
まず、光源部41の動作を説明すると、制御部42からの制御信号に基づいて、チョッパー駆動部17は、所定の位置に設定され、チョッパー16を回転させる。ランプ15からの光束は、チョッパー16の切り欠き部を通過し、集光レンズにより、スコープ101と光源部41の接続部にあるコネクタ11内に設けられた光ファイババンドルであるライトガイド14の入射端に、集光される。集光された光束は、ライトガイド14を通り、先端部103に設けられた照明光学系から被検体の体内に照射される。照射された光束は、被検体内で反射し、対物レンズ19を介して、CCD21において図5で示した色フィルタ別に信号が収集される。
収集された信号は、上記の輝度信号処理系と色信号処理系に並列に入力される。輝度信号系の輪郭補正部432には、色フィルタ別に収集された信号が画素ごとに加算され入力され、輪郭補正後、輝度信号処理部434に入力される。輝度信号処理部434では、輝度信号が生成され、通常画像生成部437に入力される。
また一方で、CCD21で収集された信号は、各フィルタ毎にS/H回路433a乃至433cに入力され、それぞれRGB信号が生成される。さらにRGB信号は、色信号処理部435にて色信号が生成され、通常画像生成部437において、前記輝度信号および色信号からY信号、R−Y信号、B−Y信号が生成され、切換部439を介して、表示モニタ106に被検体の通常画像が表示される。
次に、分光画像を観察する際の動作について説明する。なお、通常画像の観察と同様の動作を行うものに関しては、ここでは省略する。操作者は、本体105に設けられているキーボードあるいはスコープ101の操作部104に設けられているスイッチ等を操作することにより、通常画像から分光画像を観察する指示をおこなう。この時、制御部42は、光源部41および本体処理装置43の制御状態を変更する。
具体的には、必要に応じて、光源部41から照射される光量を変更する。上述のように、CCD21からの出力が飽和することは望ましくないため、通常画像に比して照明光量を小さくする。また、CCDからの出力信号が飽和しないように制御するとともに、飽和しない範囲にて照明光量を変化させることもできる。
また、本体処理装置43への制御変更としては、切換部439から出力される信号を通常画像生成部437から積算部438a乃至438cから出力される信号に切換える。
また、S/H回路433a乃至433cの出力は、マトリックス演算部436で増幅・加算処理が行われ、それぞれの帯域に応じて積算部438a乃至438cに出力される。チョッパー16で、照明光量を小さくした場合でも、積算部438a乃至438cにて、保存・積算することで、図2に示したように、信号強度を上げることができ、また、S/Nが向上した分光画像を得ることができる。
以下、本実施の形態における具体的なマトリックス処理について記載する。本実施の形態では、図6に実線で示されたRGBの分光感度特性から、同図中に示された理想的な狭帯域バンドパスフィルタF1乃至F3(ここではそれぞれの透過波長領域をF1:590nm-620nm、F2:520nm-560nm、F3:400nm-440nmとした)に近いバンドパスフィルタ(以下擬似バンドパスフィルタと呼ぶ)を作成しようとした場合、前述の(1)式から(5)式に示した内容により、以下のマトリックスが最適となる。
Figure 2014012190
更に、(6)式及び(7)式に示した内容により補正を行うと、以下の補正係数を得る。
Figure 2014012190
なお、(6)式に示す光源のスペクトルは図7に、(7)式に示す注目する生体の反射スペクトルは図8に示すものとの先見情報を使用している。従って、マトリックス部にて行われる処理は、数学的には以下のマトリックス演算と同値となる。
Figure 2014012190
このマトリックス演算を行うことにより擬似フィルタ特性(図6にはフィルタ擬似F1乃至F3の特性として示されている)が得られる。
即ち、上述のマトリックス処理は、カラー画像信号に、上述のようにして予め生成された擬似バンドパスフィルタ(マトリックス)を用いて、分光画像信号を作成するものである。
また、この擬似フィルタ特性を用いて生成された内視鏡画像の一例を以下に示す。被写体は消化管粘膜表面であり、図10は通常内視鏡画像である。また、図11は処理後に得られる図6に示すバンドパスフィルタF3に相当する分光画像であり、図12は処理後に得られる第6図に示すバンドパスフィルタF2に相当する分光画像であり、また図13は処理後に得られる第6図に示すバンドパスフィルタF1に相当する分光画像である。
図11乃至図13に示された分光画像はいずれも図10に示された通常画像に比して、同等かそれ以上に血管パターンを鮮明に抽出している。中でも特に図11および図12に示された帯域略400-略440nm及び略520-略560nmのフィルタを用いた分光画像は、血管パターンをより鮮明に抽出している。
以上のことから明らかなように、本実施の形態によると、通常の電子内視鏡画像(通常画像)を生成するためのカラー画像信号を利用して、擬似的な狭帯域フィルタを生成することにより、分光画像用の光学的波長狭帯域バンドパスフィルタを用いずに、血管パターンが鮮明に表示される分光画像を得ることができる。
また、特に波長領域略400-略440nmおよび略520-略560nmの範囲においては、血管パターンをより鮮明に抽出した分光画像を得ることができる。
以下、本発明に係る第2の実施の形態について、図14を参照して説明する。
図14は、本実施の形態における電子内視鏡装置100のブロック図である。なお、第1の実施の形態と同一構成のものは、同一番号を付して説明を省略する。
本実施の形態は、主として第1の実施の形態と、照明光量の制御を行う光源部が異なるものである。本実施の形態では、光源部から照射される光量の制御をチョッパーではなく、ランプの電流制御により行う。
具体的には、図14に示されたランプ15に電流制御装置16’が設けられている。
本実施の形態の動作としては、制御部42により、RGBのいずれのカラー画像信号も飽和状態とならないように、ランプ15に流れる電流の制御を行う。これにより、ランプ15は発光のために使用される電流が制御されるため、その光量は、その電流の大きさに応じて変化する。なお、その他の動作に関しては、第1の実施の形態と同様であるため、ここでは省略する。
本実施の形態によると、第1の実施の形態と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、第1の実施の形態のようにチョッパーを用いた光量制御方法に比して、制御方法が簡単であるという利点がある。
以下、本発明に係る第3の実施の形態について、図16を参照して説明する。
本実施の形態は、主として第1の実施の形態とマトリックス演算部436が異なるものである。第1の実施の形態では、マトリックス演算を電子回路によるいわゆるハードウェア処理により行うこととしたが、本実施の形態では、この演算を数値データ処理(プログラムを用いたソフトウェアによる処理)により行う。
本実施の形態におけるマトリックス演算部の具体的な構成を図16に示す。本マトリックス演算部は、RGBそれぞれのカラー画像信号を記憶しておく画像メモリ50を有する。また、式(11)に示されたマトリックスA'のそれぞれの値が数値データとして記憶されている計数レジスタ51を有する。
計数レジスタ51と画像メモリ50は、乗算器53a乃至53iに接続され、さらに乗算器53a、53d、53gは、乗算器54aに接続され、乗算器54aの出力が、図4における積算部438aと接続される。また、乗算器53b、53e、53hは、乗算器54bに接続され、その出力は積算部438bと接続される。また、乗算器53c、53f、53iは、乗算器54cに接続され、その出力が積算部438cと接続される。
本実施の形態の動作としては、入力されたRGB画像データは、一度画像メモリ50に記憶される。次に、所定の記憶装置(図示しない)に保存されている演算プログラムにより、計数レジスタ51からマトリックスA’の各計数が画像メモリ50に記憶されたRGB画像データと、乗算器で乗算される。
なお、図16には、R信号と各マトリックス計数が乗算器53a乃至53cで乗算される例が示されている。また、同図のように、G信号と各マトリックス計数が乗算器53d乃至53fで乗算され、B信号と各マトリックス計数が乗算器53g乃至53iで乗算される。マトリックス計数とそれぞれ乗算されたデータは、乗算器53a、53d、53gの出力が、乗算器54aで、乗算器53b、53e、53hの出力が、乗算器54bで、また、乗算器53c、53f、53iの出力は、乗算器54cでそれぞれ乗算される。
乗算器54aの出力は、積算部438aに送られる。また、乗算器54b、乗算器54cの出力は、それぞれ積算部438b、438cに送られる。
本実施の形態によると、第1の実施の形態と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、第1の実施の形態のようにハードウェアによってマトリックス処理を行うのではなく、ソフトウェアを用いて行うため、例えば、各マトリックス計数の変更などに迅速に対応することができる。
また、マトリックス計数を結果の値のみ、即ち、マトリックスA'としてではなく、S(λ)、H(λ)、R(λ)、G(λ)、B(λ)別に記憶しておき、必要に応じて演算することによりマトリックスA'を求めて使用するとした場合には、この中の1つの要素のみを変更することができ、利便性が向上する。例えば、照明光の分光特性S(λ)のみの変更等が可能である。
次に、本発明に係る第4の実施の形態について、図17を参照して説明する。本実施の形態は、主として第1の実施の形態と光源部41およびCCD21が異なるものである。第1の実施の形態では、CCD21に図2で示したカラーフィルタが設けられ、このカラーフィルタによってカラー信号を生成するいわゆる同時式であったのに対し、本実施の形態では、照明光をRGBの順に照明してカラー信号を生成するいわゆる面順次式を用いる。
本実施の形態における光源部41は、ランプ15の前面に絞り25が設けられ、絞り25のさらに前面には、RGBフィルタ23が設けられている。また、絞り25は、絞り制御部24に接続されており、絞り制御部24からの制御信号に応じて、ランプ15から照射された光束のうち透過させる光束を制限し、光量を変化させる。また、RGB回転フィルタ23は、RGB回転フィルタ制御部26に接続され、所定の回転速度で回転する。
本実施の形態における光源部の動作としては、ランプ15から出力された光束が、絞り25で所定の光量に制限され、絞り25を透過した光束は、RGBフィルタを介することによって、所定の時間毎にRGBそれぞれの照明光として、光源部から出力される。
また、それぞれの照明光は、被検体内で反射し、CCD21で受光される。CCD21で得られた信号は、照射される時間に応じて、内視鏡装置本体105に設けられた切換部(図示しない)で振り分けられ、S/H回路433a乃至433cにそれぞれ入力される。つまり、光源部41からRのフィルタを介した照明光が照射された場合には、CCD21で得られた信号は、S/H回路433aに入力されることになる。なお、その他の動作については第1の実施の形態と同様であるため、ここでは省略する。
本実施の形態によると、第1の実施の形態と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、第1の実施の形態と異なり、いわゆる面順次方式によるメリットを享受することができる。なお、このメリットとは、例えば下記する第5の実施の形態のようなものが挙げられる。
また、上述の実施の形態では、RGBカラー信号の飽和を避けるために、照明光量(光源部からの光量)を制御・調節していた。これに対し、CCDの電子シャッターを調整する方法もある。CCDでは、一定時間内に入射した光強度に比例した電荷が蓄積し、その電荷量を信号としている。この蓄積時間に相当するのが、電子シャッターと呼ばれるものである。
この電子シャッターを調節することで、電荷の蓄積量即ち信号量を調整することができるので、図18に示すように、電荷蓄積時間を順次変化させた状態でのRGBカラー画像を得ることで、同様の分光画像を得ることができる。即ち、上述のそれぞれの実施の形態において、照明光量の制御は通常画像を得るために用い、分光画像を得る際には、電子シャッターを変化させることにより、RGBカラー信号の飽和を避けることが可能である。
次に、本発明に係る第5の実施の形態について、図19を参照して説明する。
本実施の形態は、主として第4の実施の形態と同様、面順次方式を利用したものであり、また、この利点を生かしたものである。第4の実施の形態での電子シャッター制御による電荷蓄積時間に重み付けを加えることで、分光画像データの生成を簡素化することができるものである。すなわち、本実施の形態では、CCDの電荷蓄積時間を変化させることができるCCDドライブ431を有していることになる。なお、その他の構成は、第4の実施の形態と同様であるため、ここでは省略する。
本実施の形態の動作としては、図19に示すように、RGB回転フィルタを介してそれぞれの照明光が照射された場合に、CCDにおける電子シャッターによる電荷蓄積時間を変化させる。ここで、照明光がRGBのそれぞれの場合におけるCCDの電荷蓄積時間をtdr、tdg、tdb(なお同図ではBのカラー画像信号は蓄積時間を設けていないためtdbは省略されている)とする。例えば、(11)式にて示されたマトリックス処理を行う場合のF3擬似フィルタ画像は、通常内視鏡にて得られるRGB画像から、
Figure 2014012190
の演算を行うので、第19図でのRGB別の電子シャッター制御による電荷蓄積時間を
Figure 2014012190
となるように設定すれば良い。
また、マトリックス部では、単にRとG成分のみ反転させた信号とB成分を加算する。これにより、第1乃至第4の実施の形態と同様の分光画像を得ることができる。
本実施の形態によると、第4の実施の形態と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、第4の実施の形態と同様、カラー信号の作成に面順次方式を利用しており、またさらに電子シャッターを用いてカラー信号毎に電荷蓄積時間を異ならせることができるため、これにより、マトリックス部においては、単に加算、差分処理を行うだけでよく、処理を簡略化することが可能である。
次に、本発明に係る第6の実施の形態について説明する。本実施の形態は、主として第1の実施の形態とCCDに設けられたカラーフィルタが異なるものである。第1の実施の形態では、図2で示したようにRGB原色型カラーフィルタが用いられるのに対し、本実施の形態では、補色型のカラーフィルタを用いる。補色型フィルタの配列は図20に示されているように、G、Mg、Ye、Cyの各要素から構成される。なお、原色型カラーフィルタの各要素と補色型カラーフィルタの各要素の関係は、Mg=R+B、Cy=G+B、Ye=R+Gとなる。
この場合、固体撮像素子の全画素読み出しを行い、各色フィルタからの画像を信号処理又は画像処理することになる。また、原色型カラーフィルタについての(1)式から(11)式について、補色型カラーフィルタの場合に変形すると、以下の(15)式より(21)式のようになる。但し、目標とする狭帯域のバンドパスフィルタの特性は同じとする。
Figure 2014012190
Figure 2014012190
Figure 2014012190
Figure 2014012190
Figure 2014012190
Figure 2014012190
Figure 2014012190
また、図21に、補色型カラーフィルタを用いた場合の分光感度特性、目標とするバンドパスフィルタ及び上記(15)式乃至(21)式により求められ擬似バンドパスフィルタの特性を示す。なお、補色型フィルタを用いる場合には、図4で示されるS/H回路は、それぞれRGBではなく、G・Mg・Cy・Yeについて行われることは言うまでもない。
本実施の形態によると、第1の実施の形態と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、補色型カラーフィルタを用いた場合のメリットを享受することができる。
以上、本発明における各実施の形態について説明を行ったが、本発明は、上記実施の形態を種々組みあせて用いても良く、また趣旨を一脱しない範囲での変形も考えられる。
例えば、既に述べた全ての実施の形態に対して、臨床中その他のタイミングにて操作者自ら新規の擬似バンドパスフィルタを作成し、臨床に適用することもできる。即ち、第1の実施の形態で示すと図4中の制御部42に、マトリックス係数を演算・算出することのできる設計部(図示しない)を設ける。
これにより、図3に示す内視鏡本体に設けられたキーボードを介して条件を入力することで、操作者が知りたい分光画像を得るのに適した擬似バンドパスフィルタを新規に設計するとともに、算出されたマトリックス係数((9)式及び(19)式のマトリックスAの各要素に相当)に補正係数((10)式及び(20)式のマトリックスKの各要素に相当)を施した最終マトリックス係数((11)式及び(21)式のマトリックスA'の各要素に相当)を図4中のマトリックス演算部436に設定することで、即時臨床に適用することができる。
図22に、適用までの流れを示す。この流れについて詳しく説明すると、まず、操作者は、目標となるバンドパスフィルタの情報(例えば波長帯域等)をキーボード等を介して入力する。これにより、すでに所定の記憶装置等に記憶されている光源・カラーフィルタの特性等と共に、マトリックスA’が算出され、図21に示されるように、目標とするバンドパスフィルタの特性と共に、そのマトリックスA’による演算結果(擬似バンドパスフィルタ)が、スペクトル図としてモニタ上に表示される。操作者はこの演算結果を確認した後、新たに作成されたマトリックスA’を使用する場合には、その設定を行い、このマトリックスA’を用いて実際の内視鏡画像が生成される。また、これと共に新たに作成されたマトリックスA’は、所定の記憶装置に記憶され、操作者の所定の操作に応じて、再度使用することができる。これにより、操作者は既存のマトリックスA’にとらわれず、自らの経験等により新たなバンドパスフィルタを生成することができ、特に研究用として使用される場合に、効果が高いものである。
また、この他にも、以下のような変形例が考えられる。例えば、上述の実施の形態では、(12)式に示すF3擬似フィルタ画像の生成では、G・B成分に対してR成分は無視できる程度に小さい。このような場合は、
Figure 2014012190
と近似して、R画像の信号もしく数値データを用いなくとも良い。この時、R画像の信号もしくは数値データが飽和していても、マトリックス部での処理に影響はないので、G画像とB画像の信号もしく数値データが飽和しないことを条件に、照明光量もしくは電子シャッター制御を行えば良い。
以上詳細に説明したように、本発明によれば、通常の電子内視鏡画像から得られるカラー画像信号を用いて分光画像信号を作成するため、光源部に分光画像専用の光学的波長狭帯域バンドパスフィルタを設けなくても、血管パターン等が鮮明に表示される分光画像を得ることができる。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 コネクタ
14 ライトガイド
15 ランプ
16 チョッパー
17 チョッパー駆動部
19 対物レンズ
21 固体撮像素子
23 RGBフィルタ
24 絞り制御部
25 絞り
26 RGB回転フィルタ制御部
28 鉗子チャネル
29 鉗子口
31 増幅器
32 抵抗群
33 加算器
41 光源部
42 制御部
43 本体処理装置
50 画像メモリ
51 計数レジスタ
53 乗算器
54 乗算器
101 スコープ
102 導中部
103 先端部
104 操作部
105 内視鏡装置本体
106 表示モニタ

Claims (17)

  1. 照明用光源から被検体内に光を照射し、固体撮像素子によりカラー画像信号を取得する電子内視鏡装置において、
    前記カラー画像信号から特定の波長成分を取り出す処理に基づく分光画像と、前記特定の波長成分を取り出す処理を行わずに得られた信号から生成された通常画像とを生成する生成部と、
    前記照明用光源から照射される光量を、前記通常画像を観察する場合よりも前記分光画像信号を観察する場合に少なくするよう制御する光量制御部と、
    を有することを特徴とする電子内視鏡装置。
  2. 前記分光画像は、前記生成部により複数得られることを特徴とする請求項1記載の電子内視鏡装置。
  3. 前記生成部は、前記カラー画像信号から電子回路処理により前記分光画像を生成することを特徴とする請求項1記載の電子内視鏡装置。
  4. 前記生成部は、前記カラー画像信号から数値データ処理により前記分光画像を生成することを特徴とする請求項1記載の電子内視鏡装置。
  5. 前記光量制御部は、前記光を所定の時間間隔で遮断するチョッパーを有することを特徴とする請求項1記載の電子内視鏡装置。
  6. 前記光量制御部は、前記照明用光源のランプに流れる電流を制御する電流制御部を有することを特徴とする請求項1記載の電子内視鏡装置。
  7. 前記固体撮像素子による電荷蓄積時間を決定する電子シャッターを制御する電子シャッター制御部をさらに有することを特徴とする請求項1記載の電子内視鏡装置。
  8. 前記電子シャッター制御部は、前記カラー画像信号毎に前記電荷蓄積時間を独立に制御可能であることを特徴とする請求項7記載の電子内視鏡装置。
  9. 前記照明用光源から照射される光量を制御する光量制限部と、前記固体撮像素子による電荷蓄積時間を決定する電子シャッターを制御する電子シャッター制御部と、をさらに有し、前記光量及び前記電荷蓄積時間は、同時に制御されることを特徴とする請求項1記載の電子内視鏡装置。
  10. 前記カラー画像信号から前記所定の分光画像信号を生成する際に用いられる所定の係数を変更可能な設定部をさらに有することを特徴とする請求項1記載の電子内視鏡装置。
  11. 前記通常画像と前記分光画像は切換えて表示することができることを特徴とする請求項1記載の電子内視鏡装置。
  12. 前記通常画像と、前記分光画像は同一画面上に表示することができることを特徴とする請求項1記載の電子内視鏡装置。
  13. 前記生成部は、カラー感度特性に基づいて求められた所定の係数を用いて、前記カラー画像信号から前記分光画像を生成することを特徴とする請求項1記載の電子内視鏡装置。
  14. 前記生成部は、さらに前記照明用光源の分光特性および前記被検体内の反射特性のうち少なくとも1つの特性に基づいて求められた前記所定の係数を用いて、前記カラー画像信号から前記分光画像を生成することを特徴とする請求項13記載の電子内視鏡装置。
  15. 前記分光画像は、負の信号を含むことを特徴とする請求項1記載の電子内視鏡装置。
  16. 前記カラー画像信号は、RGB信号またはGCyMgYe信号であることを特徴とする請求項1乃至請求項15いずれか1項記載の電子内視鏡装置。
  17. 前記分光画像は、略400nm乃至略440nmの波長領域の画像信号、または略520nm乃至略560nmの波長領域の画像であることを特徴とする請求項1乃至請求項16いずれか1項記載の電子内視鏡装置。

JP2013169017A 2013-08-15 2013-08-15 電子内視鏡装置 Expired - Lifetime JP5714669B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013169017A JP5714669B2 (ja) 2013-08-15 2013-08-15 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013169017A JP5714669B2 (ja) 2013-08-15 2013-08-15 電子内視鏡装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011204555A Division JP5498456B2 (ja) 2011-09-20 2011-09-20 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2014012190A true JP2014012190A (ja) 2014-01-23
JP5714669B2 JP5714669B2 (ja) 2015-05-07

Family

ID=50108317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013169017A Expired - Lifetime JP5714669B2 (ja) 2013-08-15 2013-08-15 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP5714669B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311937A (ja) * 1987-06-16 1988-12-20 Toshiba Corp 内視鏡装置
JPH01297042A (ja) * 1988-02-08 1989-11-30 Olympus Optical Co Ltd 内視鏡装置
JPH05253180A (ja) * 1992-03-12 1993-10-05 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH05329101A (ja) * 1992-05-28 1993-12-14 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH06268898A (ja) * 1993-03-10 1994-09-22 Fuji Photo Optical Co Ltd 固体撮像素子を用いた撮像装置
JPH06269409A (ja) * 1993-12-08 1994-09-27 Olympus Optical Co Ltd 内視鏡装置
JPH06296580A (ja) * 1993-04-12 1994-10-25 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH06315463A (ja) * 1993-05-10 1994-11-15 Olympus Optical Co Ltd 電子内視鏡装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311937A (ja) * 1987-06-16 1988-12-20 Toshiba Corp 内視鏡装置
JPH01297042A (ja) * 1988-02-08 1989-11-30 Olympus Optical Co Ltd 内視鏡装置
JPH05253180A (ja) * 1992-03-12 1993-10-05 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH05329101A (ja) * 1992-05-28 1993-12-14 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH06268898A (ja) * 1993-03-10 1994-09-22 Fuji Photo Optical Co Ltd 固体撮像素子を用いた撮像装置
JPH06296580A (ja) * 1993-04-12 1994-10-25 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH06315463A (ja) * 1993-05-10 1994-11-15 Olympus Optical Co Ltd 電子内視鏡装置
JPH06269409A (ja) * 1993-12-08 1994-09-27 Olympus Optical Co Ltd 内視鏡装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6012050455; 三宅洋一: 「ディジタルカラー画像の解析・評価」 , 20000225, p.147-154, 東京大学出版会 *
JPN6012050455; 三宅洋一: 「ディジタルカラー画像の解析・評価」 , 20000225, p.147-154, 財団法人東京大学出版会 *

Also Published As

Publication number Publication date
JP5714669B2 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP4500207B2 (ja) 生体観測装置
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP2003093336A (ja) 電子内視鏡装置
KR100988113B1 (ko) 생체 관측 장치
JP2006314557A (ja) 生体観測装置
JP6435275B2 (ja) 内視鏡装置
JP5582948B2 (ja) 内視鏡装置
WO2006120794A1 (ja) 生体観測装置用信号処理装置
JP2007244681A (ja) 生体観測装置
JP2012125395A (ja) 内視鏡装置
JP2012170639A (ja) 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
WO2014156253A1 (ja) 内視鏡装置
JP2016107003A (ja) 医用画像処理装置及びその作動方法
JP2006341075A (ja) 生体観測装置用信号処理装置
JP6392486B1 (ja) 内視鏡システム
JP5498456B2 (ja) 電子内視鏡装置
JP6137892B2 (ja) 撮像システム
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6731065B2 (ja) 内視鏡システム及びその作動方法
JP5686870B2 (ja) 電子内視鏡装置
JP5714669B2 (ja) 電子内視鏡装置
WO2018079116A1 (ja) 内視鏡システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP2013226467A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140905

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150311

R150 Certificate of patent or registration of utility model

Ref document number: 5714669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350