JP2007014422A - Endoscope apparatus - Google Patents
Endoscope apparatus Download PDFInfo
- Publication number
- JP2007014422A JP2007014422A JP2005196713A JP2005196713A JP2007014422A JP 2007014422 A JP2007014422 A JP 2007014422A JP 2005196713 A JP2005196713 A JP 2005196713A JP 2005196713 A JP2005196713 A JP 2005196713A JP 2007014422 A JP2007014422 A JP 2007014422A
- Authority
- JP
- Japan
- Prior art keywords
- image
- normal light
- fluorescence
- imaging
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、通常観察及び蛍光観察を行う内視鏡装置に関する。 The present invention relates to an endoscope apparatus that performs normal observation and fluorescence observation.
生体組織に対して波長400nmないし480nmの光(励起光)を照射すると、正常な組織は略480nmないし600nmの範囲の蛍光を発し、癌細胞は蛍光を発しないので、通常の内視鏡観察では視認しにくい早期癌を発見し得ることが知られている。 When a living tissue is irradiated with light (excitation light) having a wavelength of 400 nm to 480 nm, normal tissue emits fluorescence in the range of about 480 nm to 600 nm, and cancer cells do not emit fluorescence. In normal endoscopic observation, It is known that early cancer that is difficult to visually recognize can be found.
そこで、従来の蛍光診断用電子内視鏡のビデオプロセッサ装置においては、例えば特開平4−150845号公報等に記載されているように、光源から発せられた照明光路中に励起光だけを透過する励起用フィルタを配置すると共に、内視鏡の挿入部先端の対物光学系と固体撮像素子との間に、蛍光の波長の光だけを透過する蛍光透過用フィルタを配置している。 Therefore, in a conventional video processor device for a fluorescence diagnostic electronic endoscope, for example, as described in Japanese Patent Laid-Open No. 4-150845, etc., only excitation light is transmitted through an illumination optical path emitted from a light source. An excitation filter is disposed, and a fluorescence transmission filter that transmits only light having a fluorescence wavelength is disposed between the objective optical system at the distal end of the insertion portion of the endoscope and the solid-state imaging device.
しかし、上述のような装置では、照明光は励起光だけであり、固体撮像素子に入射する光線は蛍光だけになるので、被写体に対して通常の内視鏡観察をすることができない。 However, in the apparatus as described above, the illumination light is only the excitation light, and the light beam incident on the solid-state imaging device is only the fluorescence, so that the normal endoscopic observation of the subject cannot be performed.
そのため従来は、患部の位置や状態を視覚的に観察するために通常の内視鏡観察を行う場合には、その度に、蛍光診断用の内視鏡と通常観察用の内視鏡とを取り替えて使用する必要があり、患者及び医師の双方にとって大きな負担になっていた。 Therefore, conventionally, when performing normal endoscopic observation in order to visually observe the position and state of the affected area, an endoscope for fluorescence diagnosis and an endoscope for normal observation are provided each time. It was necessary to replace and used, which was a heavy burden for both patients and doctors.
そこで例えば特開平9−66023号公報では、通常の内視鏡観察と蛍光診断とを容易に行うことができる蛍光診断用電子内視鏡のビデオプロセッサ装置が提案されている。
しかしながら、上記特開平9−66023号公報等の通常の内視鏡観察と蛍光診断とを可能とするビデオプロセッサ装置では、通常光観察画像と蛍光観察画像の両方を同時にモニタに表示している場合には、通常光観察用のCCDあるいは蛍光観察用のCCDのいずれか片方のCCDが故障したときには、一方の画像がノイズ画像となったり、何も出力されない状態となったりするだけで、いずれのCCDが故障したかをモニタ画面上で容易に認識することができないといった問題がある。 However, in a video processor device that enables normal endoscopic observation and fluorescence diagnosis, such as the above-mentioned JP-A-9-66023, when both a normal light observation image and a fluorescence observation image are simultaneously displayed on a monitor When either one of the CCD for normal light observation or the CCD for fluorescence observation fails, either one of the images becomes a noise image or nothing is output. There is a problem that it cannot be easily recognized on the monitor screen whether the CCD has failed.
本発明は、上記事情に鑑みてなされたものであり、通常光観察用の画像処理系あるいは蛍光観察の画像処理系の異常を画像表示用のモニタ上で告知することのできる内視鏡装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an endoscope apparatus capable of notifying an abnormality in an image processing system for normal light observation or an image processing system for fluorescence observation on an image display monitor. It is intended to provide.
本発明の内視鏡装置は、
通常光による被検体像を撮像する通常光撮像手段と、被検体からの蛍光像を撮像する蛍光撮像手段とを有する内視鏡と、
前記内視鏡の通常光撮像手段及び蛍光撮像手段からの撮像信号を信号処理し、通常光画像と蛍光画像とを生成する画像処理装置と
を備えた内視鏡装置において、
前記画像処理装置が、
前記通常光撮像手段を駆動する通常光撮像駆動手段と、
前記蛍光撮像手段を駆動する蛍光撮像駆動手段と、
前記通常光撮像手段からの撮像信号を信号処理し前記通常光画像を生成する通常光画像用信号処理手段と、
前記蛍光像を含む撮像信号を信号処理し前記蛍光画像を生成する蛍光画像用信号処理手段と、
前記通常光画像と前記蛍光画像とを合成する画像合成手段と、
前記通常光撮像駆動手段の駆動信号から前記通常光画像用信号処理手段の出力信号に至る前記通常光画像の信号処理系を監視する通常光画像処理監視手段と、
前記蛍光撮像駆動手段の駆動信号から前記蛍光画像用信号処理手段の出力信号に至る前記蛍光画像の信号処理系を監視する蛍光画像処理監視手段と
を備えて構成される。
The endoscope apparatus of the present invention is
An endoscope having normal light imaging means for imaging a subject image by normal light, and fluorescence imaging means for imaging a fluorescent image from the subject;
In the endoscope apparatus comprising: an image processing device that performs signal processing on an imaging signal from the normal light imaging unit and the fluorescence imaging unit of the endoscope, and generates a normal light image and a fluorescence image.
The image processing apparatus is
Normal light imaging driving means for driving the normal light imaging means;
Fluorescence imaging drive means for driving the fluorescence imaging means;
Normal light image signal processing means for processing the imaging signal from the normal light imaging means and generating the normal light image;
Fluorescent image signal processing means for processing the imaging signal including the fluorescent image to generate the fluorescent image;
Image combining means for combining the normal light image and the fluorescent image;
Normal light image processing monitoring means for monitoring the signal processing system of the normal light image from the drive signal of the normal light imaging drive means to the output signal of the normal light image signal processing means;
Fluorescence image processing monitoring means for monitoring the signal processing system of the fluorescence image from the drive signal of the fluorescence imaging drive means to the output signal of the fluorescence image signal processing means.
本発明によれば、通常光観察用の画像処理系あるいは蛍光観察の画像処理系の異常を画像表示用のモニタ上で告知することができるという効果がある。 According to the present invention, there is an effect that an abnormality in an image processing system for normal light observation or an image processing system for fluorescence observation can be notified on an image display monitor.
以下、図面を参照しながら本発明の実施例について述べる。 Embodiments of the present invention will be described below with reference to the drawings.
図1ないし図25は本発明の実施例1に係わり、図1は内視鏡装置の構成を示す構成図、図2は図1のRGB回転フィルタの構成を示す図、図3は図1の第1の画像出力検出回路あるいは第2の画像出力検出回路の構成を示すブロック図、図4は図3のノイズ画像検出部の作用を説明するCr−Cb色平面を示す図、図5は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第1の図、図6は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第2の図、図7は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第3の図、図8は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第4の図、図9は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第5の図、図10は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第6の図、図11は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第7の図、図12は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第8の図、図13は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第9の図、図14は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第10の図、図15は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第11の図、図16は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第12の図、図17は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第13の図、図18は図1のビデオプロセッサの作用を説明するモニタ表示例を示す第14の図、図19は図3の第1の画像出力検出回路あるいは第2の画像出力検出回路の変形例の構成を示すブロック図、図20は図3のノイズ画像検出部の作用の変形例を説明するCr−Cb色平面を示す図、図21は図1のビデオプロセッサの第1の変形例の構成を示す図、図22は図1のビデオプロセッサの第2の変形例の構成を示す図、図23は図1のビデオプロセッサの第3の変形例の構成を示す図、図24は図1のビデオプロセッサの第4の変形例の構成を示す図、図25は図1のビデオプロセッサの第5の変形例の構成を示す図である。 FIGS. 1 to 25 relate to the first embodiment of the present invention, FIG. 1 is a configuration diagram showing the configuration of the endoscope apparatus, FIG. 2 is a diagram showing the configuration of the RGB rotation filter of FIG. 1, and FIG. FIG. 4 is a block diagram showing the configuration of the first image output detection circuit or the second image output detection circuit, FIG. 4 is a diagram showing a Cr-Cb color plane for explaining the operation of the noise image detection unit of FIG. 3, and FIG. FIG. 6 is a second diagram showing an example of a monitor display for explaining the operation of the video processor of FIG. 1, and FIG. 7 is a video processor of FIG. FIG. 8 is a fourth diagram illustrating an example of a monitor display illustrating the operation of the video processor of FIG. 1, and FIG. 9 is a diagram illustrating the operation of the video processor of FIG. FIG. 10 shows an example of a monitor display to be performed, and FIG. FIG. 11 shows a monitor display example for explaining the operation of the video processor of FIG. 1, FIG. 11 shows a monitor display example for explaining the operation of the video processor of FIG. 1, and FIG. 12 shows the operation of the video processor of FIG. FIG. 13 shows a monitor display example illustrating the operation of the video processor shown in FIG. 1, FIG. 13 shows a monitor display example explaining the operation of the video processor shown in FIG. 1, and FIG. 14 shows a monitor explaining the operation of the video processor shown in FIG. FIG. 10 shows a display example, FIG. 15 shows a monitor display example illustrating the operation of the video processor of FIG. 1, and FIG. 16 shows a monitor display example illustrating the operation of the video processor of FIG. 12 and FIG. 17 are thirteenth diagrams showing examples of monitor display for explaining the operation of the video processor of FIG. 1, and FIG. 18 is a fourteenth diagram showing examples of monitor display for explaining the operation of the video processor of FIG. FIG. 19 is a diagram of FIG. FIG. 20 is a block diagram showing a configuration of a modification of the first image output detection circuit or the second image output detection circuit, and FIG. 20 is a diagram showing a Cr-Cb color plane for explaining a modification of the operation of the noise image detection unit of FIG. 21 is a diagram showing a configuration of a first modification of the video processor of FIG. 1, FIG. 22 is a diagram showing a configuration of a second modification of the video processor of FIG. 1, and FIG. 23 is a diagram of the video processor of FIG. FIG. 24 is a diagram illustrating a configuration of a third modification, FIG. 24 is a diagram illustrating a configuration of a fourth modification of the video processor of FIG. 1, and FIG. 25 is a diagram illustrating a configuration of a fifth modification of the video processor of FIG. It is.
図1に示すように、本実施例の内視鏡装置1は、可撓性の挿入部2を有する通常光観察及び蛍光観察が可能な電子内視鏡3と、電子内視鏡3を駆動し電子内視鏡3からの通常光観察像及び蛍光観察像を信号処理してモニタ4に通常光観察画像及び蛍光観察画像を表示するビデオプロセッサ5とを備えて構成される。
電子内視鏡3の挿入部2先端には、第1と第2の2つの固体撮像素子、通常光撮像手段である通常光用CCD6,蛍光撮像手段である蛍光用CCD7が共に前方に向けて並んで配置されている。両通常光用CCD6,蛍光用CCD7としては、例えばモノクロ用の電荷結合素子(CCD)が用いられる。
As shown in FIG. 1, an endoscope apparatus 1 according to the present embodiment has a flexible insertion portion 2 that can perform normal light observation and fluorescence observation, and drives the electronic endoscope 3. And a video processor 5 for processing the normal light observation image and the fluorescence observation image from the electronic endoscope 3 and displaying the normal light observation image and the fluorescence observation image on the
At the distal end of the insertion portion 2 of the electronic endoscope 3, first and second solid-state imaging devices, a normal light CCD 6 serving as a normal light imaging means 6, and a fluorescent CCD 7 serving as a fluorescence imaging means are all directed forward. They are arranged side by side. As the normal light CCD 6 and the fluorescent CCD 7, for example, a monochrome charge coupled device (CCD) is used.
両通常光用CCD6,蛍光用CCD7の前方には各々対物光学系8,9が配置されていて、前方の被写体の像が両通常光用CCD6,蛍光用CCD7に結像される。なお、両通常光用CCD6,蛍光用CCD7で一つの対物光学系を共用するように構成してもよい。
Objective
蛍光用CCD7と対物光学系8との間には、520nmないし600nmの波長の光だけを透過する蛍光透過用フィルタ10が配置されている。通常光用CCD6の前方にはそのようなフィルタは配置されていない。
Between the fluorescence CCD 7 and the objective optical system 8, a
また、両対物光学系8,9の観察範囲に向けて照明光を照射する照明用ライトガイドファイババンドル11の射出端が、両対物光学系8,9と並んで配置されている。
Further, the exit end of the illumination light
ビデオプロセッサ5には、照明用ライトガイドファイババンドル11に照明光を供給するための例えばキセノンランプからなる光源ランプ21が配置され、その光源ランプ21と照明用ライトガイドファイババンドル11の入射端との間の照明光路中に、RGB回転フィルタ22が配置されている。
The video processor 5 is provided with a
RGB回転フィルタ22には、図2に示されるように、赤(R)、緑(G)、青(B)の3色のカラーフィルタが各々扇状に形成されており、モータ23によって等速度で回転される。
As shown in FIG. 2, the
なお、各カラーフィルタが透過する光の波長領域は例えば次のとおりである。赤(R):580nm〜650nm。緑(G):500nm〜580nm。青(B):400nm〜500nm。 For example, the wavelength range of light transmitted through each color filter is as follows. Red (R): 580 nm to 650 nm. Green (G): 500 nm to 580 nm. Blue (B): 400 nm to 500 nm.
その結果、照明用ライトガイドファイババンドル11を経由して、挿入部2の先端の前方にある被写体が、赤、緑、青の3色の照明光によって順に繰り返し照明される。
As a result, the subject in front of the distal end of the insertion portion 2 is repeatedly and repeatedly illuminated with the illumination light of the three colors red, green, and blue via the illumination light
通常光用CCD6は、通常光撮像駆動手段である通常光用CCDドライバ15で駆動されると共にその撮像信号がセレクタ17を介してビデオプロセッサ5内の通常光画像用信号処理手段である通常画像用ビデオ回路24に出力されている。
The normal light CCD 6 is driven by a normal
一方、蛍光透過用フィルタ10が前方に設けられた蛍光用CCD7は、蛍光撮像駆動手段である蛍光用CCDドライバ16で駆動されると共にその撮像信号がビデオプロセッサ5内の蛍光画像用信号処理手段である蛍光画像用ビデオ回路26に出力されている。
On the other hand, the fluorescence CCD 7 with the
なお、蛍光用CCD7の撮像信号はセレクタ17を介して通常画像用ビデオ回路24に出力可能となっている。
The imaging signal of the fluorescent CCD 7 can be output to the normal
そして、通常光用CCD6,蛍光用CCD7の駆動(通常光用CCDドライバ15及び蛍光用CCDドライバ16の駆動)、通常画像用ビデオ回路24と蛍光画像用ビデオ回路26での処理及びRGB回転フィルタ22を回転させるモータ23の回転とが、タイミング回路25からの出力信号によって同期をとって制御される。
Then, driving of the normal light CCD 6 and fluorescent CCD 7 (driving of the normal
その結果、通常光用CCD6においては、いわゆるRGB面順次方式による撮像が行われて、通常画像用ビデオ回路24において、被写体の通常のカラー映像信号が得られる。
As a result, the normal light CCD 6 performs imaging by the so-called RGB frame sequential method, and the normal
一方、蛍光用CCD7で撮像されて蛍光画像用ビデオ回路26に伝達された映像信号は、そこで、青色の照明光(波長400nmないし500nm)で被写体が照明されたときの映像信号だけが抽出される。つまり、蛍光用CCD7で得られる画像は、蛍光透過用フィルタ10を透過することができる波長の光による像だけであるから、青色の照明光に含まれる波長400nmないし500nmの励起光によって被写体から励起された蛍光画像が、蛍光画像用ビデオ回路26で抽出される。
On the other hand, from the video signal imaged by the fluorescent CCD 7 and transmitted to the fluorescent
告知手段を備えた画像合成手段である画像合成回路28には、蛍光画像用ビデオ回路26から出力される蛍光画像信号と通常画像用ビデオ回路24から出力されるカラー画像信号とが入力され、画像合成回路28が画像合成処理を行うことで、モニタ4に蛍光画像と通常画像の一方又は両方からなる合成画像を表示するようになっている。
The
通常画像用ビデオ回路24から出力されるカラー画像信号は、通常光画像処理監視手段である第1の画像出力検出回路31にも出力され、また、蛍光画像用ビデオ回路26から出力される蛍光画像信号は、蛍光画像処理監視手段である第2の画像出力検出回路32にも出力されている。
The color image signal output from the normal
この第1の画像出力検出回路31及び第2の画像出力検出回路32は同一構成であって、それぞれの画像信号の出力を検知し、検知結果に基づき、セレクタの切替制御、通常画像用ビデオ回路24及び蛍光画像用ビデオ回路26での処理制御及び画像合成回路28における画像合成制御が行われるようになっている。
The first image
第1の画像出力検出回路31(あるいは第2の画像出力検出回路32)は、具体的には、図3に示すように、通常画像用ビデオ回路24から出力されるカラー画像信号をサンプリングする画像サンプリング部41と、画像サンプリング部41でサンプリングしたR/G/B/画像の平均値を演算するRGB平均値演算部42と、RGB平均値演算部42の演算結果に基づき画像の未出力を検出する画像未出力検出部43と、画像サンプリング部41でサンプリングしたR/G/B/画像から色差信号を演算する色差信号演算部44と、色差信号演算部44が演算した色差信号の平均値を演算するCrCb平均値演算部45と、CrCb平均値演算部45の演算結果に基づきノイズ画像を検出するノイズ画像検出部46と、画像未出力検出部43の検出結果とノイズ画像検出部46の検出結果のORをとり画像出力検出回路の出力異常発生信号として出力するOR回路部47とを備えて構成される。
Specifically, the first image output detection circuit 31 (or the second image output detection circuit 32), as shown in FIG. 3, samples the color image signal output from the normal
画像サンプリング部41においては、文字領域を除いた内視鏡画像部分よりR,G,Bデータ値をサンプリングし、RGB平均値演算部42と色差信号演算部44とに出力する。
The
RGB平均値演算部42では、R,G,Bデータ値の一画面分の平均値を算出し、画像未出力検出部43に出力する。
The RGB average value calculation unit 42 calculates an average value for one screen of the R, G, and B data values and outputs the average value to the image
画像未出力検出部43は、R,G,Bデータの平均値が全て”0”であることを複数画面分検知すると、画像信号が未出力であるとして画像未出力信号をOR回路部47に出力する。
When the image
また、色差信号演算部44ではR,G,Bデータ値より色差信号Cr、Cbを算出し、CrCb平均値演算部45にて一画面分のCr、Cbの平均値を算出してノイズ画像検出部46に出力する。
Further, the color difference
Cr=0.5R−0.419G−0.081B
Cr=−0.169R−0.331G+0.5B
ノイズ画像検出部46では、Cr、Cbの平均値に基づいて、図4に示すCr−Cb色平面座標のどの位置に当てはまるかにより、ノイズ画像であるかどうかを検出し、検出結果をOR回路部47に出力する。
Cr = 0.5R-0.419G-0.081B
Cr = −0.169R−0.331G + 0.5B
The noise
なお、一般に、ノイズ画像では様々な色成分がランダムに発生しているために、Cr−Cb色平面座標の原点近傍にCr、Cbの平均値が分布するために、本実施例では図4のCr−Cb色平面座標の点線内に位置した場合にノイズ画像であるとして、ノイズ画像発生信号をOR回路部47に出力する。
In general, since various color components are randomly generated in the noise image, the average values of Cr and Cb are distributed in the vicinity of the origin of the Cr-Cb color plane coordinates. A noise image generation signal is output to the
OR回路部47では、画像未出力検出部43からの画像未出力信号あるいはノイズ画像検出部46からのノイズ画像発生信号により、画像信号が正常に出力されていないと判断すると、出力異常発生信号をセレクタ17、通常画像用ビデオ回路24、蛍光画像用ビデオ回路26及び画像合成回路28に出力する。
When the
出力異常発生信号により、例えば蛍光画像に異常がある場合には通常光画像のみモニタ4に表示し、また通常光画像に異常がある場合にはセレクタ17を介して蛍光画像を通常画像用ビデオ回路24に出力し、蛍光画像より擬似通常光画像を生成してモニタ4に表示する。図5ないし図18にモニタ4の表示例を示す。なお、この表示は選択可能としてもよい。
For example, when there is an abnormality in the fluorescent image by the output abnormality occurrence signal, only the normal light image is displayed on the
擬似通常画像とは、蛍光用CCD7の出力を通常画像用ビデオ回路24に入力し、通常用画像として生成した画像であって、蛍光用CCD7前面には励起光をカットする蛍光透過用フィルタ10が設けられているために、ブルーの色調が通常画像と比較し若干異なるが、緊急用画像としては問題ないレベルである。
The pseudo normal image is an image generated by inputting the output of the fluorescent CCD 7 to the normal
(1)図5は通常光画像及び蛍光画像が共に正常である場合の表示例であって、モニタ4には通常光画像及び蛍光画像が表示される。
(1) FIG. 5 shows a display example when both the normal light image and the fluorescent image are normal, and the normal light image and the fluorescent image are displayed on the
(2)図6は通常光画像は正常で蛍光画像が異常である場合の表示例であって、モニタ4には通常光画像を表示すると共に、蛍光画像が表示される領域にも通常光画像を表示する。ここで、画像合成回路28は告知手段を有しており、画像合成回路28の告知手段により、例えば蛍光画像が表示される領域の通常光画像の枠を太枠にすることで、蛍光画像が異常であることを告知する。
(2) FIG. 6 shows a display example when the normal light image is normal and the fluorescent image is abnormal. The normal light image is displayed on the
なお、この告知により、術者は蛍光観察に問題が発生したことを容易に視認できるので、適切な対応が可能となり、また患者はモニタ4の画像だけで手技に問題が生じているかどうか判断できないために不安を抱くことがない。
This notification allows the surgeon to easily recognize that a problem has occurred in the fluorescence observation, so that an appropriate response can be made, and the patient cannot determine whether or not a problem has occurred in the procedure using only the image on the
(3)図7は通常光画像は正常で蛍光画像が異常である場合の表示例であって、モニタ4の中央領域に通常光画像を表示する。画像合成回路28の告知手段は、この表示形態により蛍光画像が異常であることを告知する。
(3) FIG. 7 shows a display example when the normal light image is normal and the fluorescent image is abnormal, and the normal light image is displayed in the central area of the
(4)図8は通常光画像は正常で蛍光画像が異常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には通常光画像を表示すると共に、蛍光画像が表示される領域に蛍光観察ができない旨のメッセージを表示する。
(4) FIG. 8 shows a display example when the normal light image is normal and the fluorescent image is abnormal. The normal light image is displayed on the
なお、メッセージとしては、「蛍光観察ができません」以外に、「蛍光観察を中止しました」、「通常光観察のみ使用できます」、「蛍光観察非対応」あついは「通常光観察のみ」というようなメッセージでもよい。 In addition to messages such as “Cannot observe fluorescence”, “Cancel fluorescence observation”, “Can only use normal light observation”, “Not compatible with fluorescence observation”, “Only normal light observation” May be a simple message.
(5)図9は通常光画像は正常で蛍光画像が異常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には通常光画像を表示すると共に、蛍光画像が表示される領域にカラーバーを表示する。
(5) FIG. 9 shows a display example when the normal light image is normal and the fluorescent image is abnormal. The normal light image is displayed on the
(6)図10は通常光画像は正常で蛍光画像が異常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4の中央領域に通常光画像の拡大画像を表示する。
(6) FIG. 10 is a display example when the normal light image is normal and the fluorescent image is abnormal, and an enlarged image of the normal light image is displayed in the central region of the
(7)図11は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には蛍光画像を表示すると共に、通常光画像が表示される領域にも蛍光画像を表示する。ここで、画像合成回路28の告知手段により、例えば通常光画像が表示される領域の蛍光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(7) FIG. 11 shows a display example when the normal light image is abnormal and the fluorescent image is normal. The notification means of the
(8)図12は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、通常光画像及び蛍光画像の代りに、蛍光画像に基づいて生成された擬似通常光画像をそれぞれ表示すると共に、擬似通常光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(8) FIG. 12 shows a display example when the normal light image is abnormal and the fluorescent image is normal, and the notification means of the
(9)図13は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4の中央領域に蛍光画像の拡大画像を表示すると共に、拡大した蛍光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(9) FIG. 13 shows a display example when the normal light image is abnormal and the fluorescent image is normal, and an enlarged image of the fluorescent image is displayed in the central region of the
(10)図14は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には擬似通常光画像を表示すると共に、蛍光画像が表示される領域に蛍光観察ができない旨のメッセージを表示する。なお、擬似通常光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(10) FIG. 14 shows a display example when the normal light image is abnormal and the fluorescent image is normal, and the pseudo-normal light image is displayed on the
(11)図15は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には蛍光画像を表示すると共に、通常光画像が表示される領域に通常光観察ができない旨のメッセージを表示する。
(11) FIG. 15 shows a display example when the normal light image is abnormal and the fluorescent image is normal. The notification means of the
(12)図16は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には擬似通常光画像を表示すると共に、通常光画像が表示される領域に蛍光観察ができない旨のメッセージを表示する。なお、擬似通常光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(12) FIG. 16 shows a display example when the normal light image is abnormal and the fluorescent image is normal. The notification means of the
(13)図17は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4には擬似通常光画像を表示すると共に、蛍光画像が表示される領域にカラーバーを表示する。なお、擬似通常光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(13) FIG. 17 is a display example when the normal light image is abnormal and the fluorescent image is normal, and the pseudo-normal light image is displayed on the
(14)図18は通常光画像が異常で蛍光画像が正常である場合の表示例であって、画像合成回路28の告知手段により、モニタ4の中央領域に擬似通常光画像あるいは蛍光画像の拡大画像を表示する。なお、拡大した擬似通常光画像あるいは蛍光画像の枠を太枠にすることで、通常光画像が異常であることを告知する。
(14) FIG. 18 shows a display example when the normal light image is abnormal and the fluorescent image is normal, and the pseudo normal light image or fluorescent image is enlarged in the central region of the
このように本実施例では、片方のCCDに故障等が発生した場合、故障等が発生したことをモニタ表示の表示形態で術者に告知するので、容易に故障等の発生が視認でき適切な対応を図ることが可能となり、また患者等に対しては不安を与えることがない。 As described above, in this embodiment, when a failure or the like occurs in one of the CCDs, the operator is notified of the failure or the like in the display form of the monitor display. It is possible to respond, and there is no concern for patients.
また、通常光用CCD6に故障等が発生した場合には、蛍光用CCD7を用いた擬似通常光画像により通常光観察の継続が可能となるため、術者がふだん見なれている画像に近い環境下で処置の対応が可能となる。 Further, when a failure or the like occurs in the normal light CCD 6, the normal light observation can be continued by the pseudo normal light image using the fluorescent CCD 7, so that the environment is close to an image that is usually regarded by the surgeon. It becomes possible to deal with treatment.
なお、図19に示すように、通常画像用ビデオ回路24から出力されるカラー画像信号をサンプリングする画像サンプリング部41と、画像サンプリング部41でサンプリングしたR/G/B/画像の平均値を演算するRGB平均値演算部42と、RGB平均値演算部42の演算結果に基づき画像の未出力を検出する画像未出力検出部43と、RGB平均値演算部42からのR/G/B/画像の平均値から色差信号を演算する色差信号演算部44と、色差信号演算部44の演算結果に基づきノイズ画像を検出するノイズ画像検出部46と、画像未出力検出部43の検出結果とノイズ画像検出部46の検出結果のORをとり画像出力検出回路の出力異常発生信号として出力するOR回路部47とを備えて第1の画像出力検出回路31(あるいは第2の画像出力検出回路32)を構成してもよく、回路規模を縮小できる。
As shown in FIG. 19, an
この構成では、色差信号演算部44は、Cr、Cbではなく、サンプリング後のR,G,Bデータ値の1画面内の平均のR−Y,B−Yを演算する。
In this configuration, the color difference
R−Y=0.7R−0.59G−0.11B
B−Y=−0.3R−0.59G+0.89B
また、図4においてCr−Cb色平面座標の点線内に位置した場合にノイズ画像であるとしたが、R,G,Bデータ値のうちいずれかの出力が”0”となり、図20に示すように、Cr−Cb色平面座標上で偏った分布を検知した際にノイズ画像発生をノイズ画像検出部46が検出するようにしてよい。
RY = 0.7R-0.59G-0.11B
BY = -0.3R-0.59G + 0.89B
Further, in FIG. 4, it is assumed that the image is a noise image when it is located within the dotted line of the Cr-Cb color plane coordinates. As described above, the noise
また、ノイズ画像検出、画像未出力検出の精度向上のため、画像をブロック毎に分割して、それぞれのブロック毎に平均値を算出し、ノイズ画像検出、画像未出力検出を行うようにしてもよい、さらにノイズ画像検出を公知の周波数解析により行うようにしてもよい。 In addition, in order to improve the accuracy of noise image detection and image non-output detection, an image is divided into blocks, an average value is calculated for each block, and noise image detection and image non-output detection are performed. Moreover, noise image detection may be performed by known frequency analysis.
なお、本実施例では、セレクタ17を用いるとしたが、図21に示すように構成することで、セレクタを省略することができる。
Although the
また、本実施例では、通常画像用ビデオ回路24から出力されるカラー画像信号及び蛍光画像用ビデオ回路26から出力される蛍光画像信号を第1の画像出力検出回路31及び第2の画像出力検出回路32で信号処理して、通常光用CCD6あるいは蛍光用CCD7の異常を検知するとしたが、これに限らず、ビデオプロセッサ5の第1の変形例として、図22に示すように、通常光用CCD6を駆動する通常光用CCDドライバ15及び蛍光用CCD7を駆動する蛍光用CCDドライバ16の駆動信号をそれぞれ検出する駆動信号検出回路51、52を画像出力検出回路の代りに設け、通常光用CCDドライバ15及び蛍光用CCDドライバ16の駆動状態を監視することでCCDに故障等を検出し、画像出力検出回路と同様にセレクタ等を制御するようにしてもよい。
In this embodiment, the color image signal output from the normal
さらに、ビデオプロセッサ5の第2の変形例として、図23に示すように、通常光用CCD6及び蛍光用CCD7からの撮像信号をそれぞれ検出するCCD出力検出回路61、62を画像出力検出回路の代りに設け、通常光用CCDドライバ15及び蛍光用CCDドライバ16の出力状態を直接監視することでCCDに故障等を検出し、画像出力検出回路と同様にセレクタ等を制御するようにしてもよい。
Furthermore, as a second modification of the video processor 5, as shown in FIG. 23, CCD
ところで、本実施例の内視鏡装置1では、図24に示すように、電子内視鏡3の処置具チャンネル71等にプローブ72を挿通させて患部を処置する、例えば治療用レーザ装置73等が使用される。
By the way, in the endoscope apparatus 1 of the present embodiment, as shown in FIG. 24, the
このような治療用レーザ装置73による処置が行われると、プローブ72の先端よりレーザ光が患部に照射される。一般に生体からの蛍光は微弱であるため、蛍光用CCD7からの撮像信号のゲインは通常光用CCD6からの撮像信号のゲインより高く設定され、レーザ光が患部に照射されると、蛍光用CCD7からの画像がハレーションを起こしたり、ノイズが増幅された画像になる。
When such treatment by the
そこで、図24に示すビデオプロセッサ5では、治療用レーザ装置73の操作信号を入力する通信インターフェイス(以下、通信I/F)74を設け、通信I/F74を介して治療用レーザ装置73が操作されたことが検知されると、画像合成回路28を制御し、図7に示したように、モニタ表示から蛍光画像を消去する。その際に、画像サイズを画面一杯に拡大して表示することもできるが、術者によっては画面サイズが変わることを好まない場合があるため、メニュー等でこのときの画面サイズを指定することができるようにしておくと、使用者の好みに応じた装置とすることができる。また治療用レーザ装置73の使用時の画面切替そのものを使用者にメニュー等で選択可能としておいてもよい。治療用レーザ装置73だけでなく、電気メスの使用時にも同様な動作がなされる。
Therefore, in the video processor 5 shown in FIG. 24, a communication interface (hereinafter referred to as communication I / F) 74 for inputting an operation signal of the
図24に示した構成では、治療用レーザ装置73や電気メスの使用時に自動的に通常光画像に切り替わるため、術者の手間を煩わせることなく、ノイズが増幅された画像を表示させることを防止できる。
In the configuration shown in FIG. 24, since the
また、本実施例のビデオプロセッサ5では、光源手段を内蔵しているが、図25に示すように、ビデオプロセッサ5と別体に光源装置81を設けてもよい。この種の光源装置81は、光源ランプ21の点灯状態をCPU100等で監視し、光源ランプ21が故障等で点灯しないことを検知すると、非常灯101を光路上に挿入して照明光の供給を行う。光源ランプ21の点灯監視は、光源ランプ21に流れる電流値を監視することで行われる。
Further, the video processor 5 of the present embodiment incorporates light source means, but as shown in FIG. 25, a
図25の構成では、CPU100が非常灯101への切替制御を行うと、CPU100から切替信号がビデオプロセッサ5の通信I/F74を介して画像合成回路28に伝送され、画像合成回路28はこの切替信号に基づき、通常光画像及び蛍光画像の同時表示を解除し、図7に示したように、通常光画像のみをモニタ表示する。この場合も、メニュー等でこのときの画面サイズを指定することができるようにする。
In the configuration of FIG. 25, when the
また、画像合成回路28はこの切替信号に基づき、図6に示したように、蛍光画像の表示領域に通常光画像を表示し、同じ通常光画像を2画面並べて表示してもよい。この場合、画面サイズ、画像位置共に変化がないので、術者が視点を動かすことがないので、術者の披露軽減になる。
Further, based on this switching signal, the
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
1…内視鏡装置
3…電子内視鏡
4…モニタ
5…ビデオプロセッサ
6…通常光用CCD
7…蛍光用CCD
8,9…対物光学系
10…蛍光透過用フィルタ
11…照明用ライトガイドファイババンドル
15…通常光用CCDドライバ
16…蛍光用CCDドライバ
17…セレクタ
21…光源ランプ
22…RGB回転フィルタ
23…モータ
24…通常画像用ビデオ回路
25…タイミング回路
26…蛍光画像用ビデオ回路
28…画像合成回路
31…第1の画像出力検出回路
32…第2の画像出力検出回路
41…画像サンプリング部
42…RGB平均値演算部
43…画像未出力検出部
44…色差信号演算部
45…CrCb平均値演算部
46…ノイズ画像検出部
47…OR回路部
DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus 3 ...
7 ... Fluorescent CCD
8, 9 ... Objective
Claims (8)
前記内視鏡の通常光撮像手段及び蛍光撮像手段からの撮像信号を信号処理し、通常光画像と蛍光画像とを生成する画像処理装置と
を備えた内視鏡装置において、
前記画像処理装置は、
前記通常光撮像手段を駆動する通常光撮像駆動手段と、
前記蛍光撮像手段を駆動する蛍光撮像駆動手段と、
前記通常光撮像手段からの撮像信号を信号処理し前記通常光画像を生成する通常光画像用信号処理手段と、
前記蛍光像を含む撮像信号を信号処理し前記蛍光画像を生成する蛍光画像用信号処理手段と、
前記通常光画像と前記蛍光画像とを合成する画像合成手段と、
前記通常光撮像駆動手段の駆動信号から前記通常光画像用信号処理手段の出力信号に至る前記通常光画像の信号処理系を監視する通常光画像処理監視手段と、
前記蛍光撮像駆動手段の駆動信号から前記蛍光画像用信号処理手段の出力信号に至る前記蛍光画像の信号処理系を監視する蛍光画像処理監視手段と
を備えたことを特徴とする内視鏡装置。 An endoscope having normal light imaging means for imaging a subject image by normal light, and fluorescence imaging means for imaging a fluorescent image from the subject;
An endoscope apparatus comprising: an image processing device that performs signal processing on an imaging signal from the normal light imaging unit and the fluorescence imaging unit of the endoscope, and generates a normal light image and a fluorescence image.
The image processing apparatus includes:
Normal light imaging driving means for driving the normal light imaging means;
Fluorescence imaging drive means for driving the fluorescence imaging means;
Normal light image signal processing means for processing the imaging signal from the normal light imaging means and generating the normal light image;
Fluorescent image signal processing means for processing the imaging signal including the fluorescent image to generate the fluorescent image;
Image combining means for combining the normal light image and the fluorescent image;
Normal light image processing monitoring means for monitoring the signal processing system of the normal light image from the drive signal of the normal light imaging drive means to the output signal of the normal light image signal processing means;
An endoscope apparatus comprising: a fluorescence image processing monitoring unit that monitors a signal processing system of the fluorescence image from a drive signal of the fluorescence imaging driving unit to an output signal of the fluorescence image signal processing unit.
ことを特徴とする請求項1に記載の内視鏡装置。 The endoscope apparatus according to claim 1, wherein the image synthesizing unit includes a notification unit that notifies the monitoring result of the normal light image processing monitoring unit and the fluorescence image processing monitoring unit on the synthesized image. .
ことを特徴とする請求項1または2に記載の内視鏡装置。 The normal light image processing monitoring unit and the fluorescent image processing monitoring unit monitor output states of the normal light image signal processing unit and the fluorescent image signal processing unit, respectively. Endoscope device.
ことを特徴とする請求項1または2に記載の内視鏡装置。 The said normal light image processing monitoring means and the said fluorescence image processing monitoring means monitor the output state of the drive signal of a normal light imaging drive means, and the drive signal of the said fluorescence imaging drive means, The Claim 1 or 2 characterized by the above-mentioned. The endoscope apparatus described.
ことを特徴とする請求項1または2に記載の内視鏡装置。 The said normal light image processing monitoring means and the said fluorescence image processing monitoring means monitor the input state of the said normal light image signal processing means and the said fluorescence image signal processing means, The said 1 or 2 characterized by the above-mentioned. Endoscope device.
接続される周辺機器の動作状態を検知する周辺機器動作検知手段を有し、
前記画像合成手段の前記告知手段は、
前記周辺機器動作検知手段の監視結果を前記合成画像上で告知する
ことを特徴とする請求項1ないし5のいずれか1つに記載の内視鏡装置。 The image processing apparatus includes:
Peripheral device operation detection means for detecting the operating state of the connected peripheral device,
The notification means of the image composition means is:
The endoscopic apparatus according to any one of claims 1 to 5, wherein a monitoring result of the peripheral device operation detection unit is notified on the composite image.
ことを特徴とする請求項6に記載の内視鏡装置。 The endoscope apparatus according to claim 6, wherein the peripheral device is a medical treatment apparatus that performs treatment.
ことを特徴とする請求項6に記載の内視鏡装置。 The endoscope apparatus according to claim 6, wherein the peripheral device is a light source device that supplies the normal light.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196713A JP4766935B2 (en) | 2005-07-05 | 2005-07-05 | Endoscope device |
EP06756991.3A EP1889563B1 (en) | 2005-06-08 | 2006-06-05 | Endoscope and image processing device |
PCT/JP2006/311245 WO2006132191A1 (en) | 2005-06-08 | 2006-06-05 | Endoscope and image processing device |
KR1020077028746A KR100927286B1 (en) | 2005-06-08 | 2006-06-05 | Endoscopy device and image processing device |
CN2006800196701A CN101188965B (en) | 2005-06-08 | 2006-06-05 | Endoscope device and image processing device |
US11/916,631 US8690765B2 (en) | 2005-06-08 | 2006-06-05 | Endoscope apparatus and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196713A JP4766935B2 (en) | 2005-07-05 | 2005-07-05 | Endoscope device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007014422A true JP2007014422A (en) | 2007-01-25 |
JP4766935B2 JP4766935B2 (en) | 2011-09-07 |
Family
ID=37752099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005196713A Expired - Fee Related JP4766935B2 (en) | 2005-06-08 | 2005-07-05 | Endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4766935B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170641A (en) * | 2011-02-22 | 2012-09-10 | Olympus Corp | Fluorescence observation apparatus |
JP2013507643A (en) * | 2009-10-13 | 2013-03-04 | ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド | Cell reprogramming including application to epigenetic and non-epigenetic based induced pluripotent stem cell induction |
WO2013146014A1 (en) * | 2012-03-29 | 2013-10-03 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
JP2016054842A (en) * | 2014-09-08 | 2016-04-21 | オリンパス株式会社 | Endoscopic image display device, endoscopic image display method, and endoscopic image display program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11332819A (en) * | 1998-05-28 | 1999-12-07 | Olympus Optical Co Ltd | Fluorescent image device |
JP2002172082A (en) * | 2000-06-06 | 2002-06-18 | Fuji Photo Film Co Ltd | Method and device for fluorescent image display |
JP2002336196A (en) * | 2001-05-16 | 2002-11-26 | Olympus Optical Co Ltd | Endoscopic equipment |
JP2005124756A (en) * | 2003-10-22 | 2005-05-19 | Olympus Corp | Image processor for endoscope |
-
2005
- 2005-07-05 JP JP2005196713A patent/JP4766935B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11332819A (en) * | 1998-05-28 | 1999-12-07 | Olympus Optical Co Ltd | Fluorescent image device |
JP2002172082A (en) * | 2000-06-06 | 2002-06-18 | Fuji Photo Film Co Ltd | Method and device for fluorescent image display |
JP2002336196A (en) * | 2001-05-16 | 2002-11-26 | Olympus Optical Co Ltd | Endoscopic equipment |
JP2005124756A (en) * | 2003-10-22 | 2005-05-19 | Olympus Corp | Image processor for endoscope |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013507643A (en) * | 2009-10-13 | 2013-03-04 | ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド | Cell reprogramming including application to epigenetic and non-epigenetic based induced pluripotent stem cell induction |
JP2012170641A (en) * | 2011-02-22 | 2012-09-10 | Olympus Corp | Fluorescence observation apparatus |
WO2013146014A1 (en) * | 2012-03-29 | 2013-10-03 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
JP5467181B1 (en) * | 2012-03-29 | 2014-04-09 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
US8885033B2 (en) | 2012-03-29 | 2014-11-11 | Olympus Medical Systems Corp. | Endoscope system |
JP2016054842A (en) * | 2014-09-08 | 2016-04-21 | オリンパス株式会社 | Endoscopic image display device, endoscopic image display method, and endoscopic image display program |
Also Published As
Publication number | Publication date |
---|---|
JP4766935B2 (en) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785941B2 (en) | Endoscopic system and how to operate it | |
WO2018221033A1 (en) | Medical image processing device, endoscope system, diagnosis assistance device, and medical work assistance device | |
US8690765B2 (en) | Endoscope apparatus and image processing apparatus | |
JP2010172673A (en) | Endoscope system, processor for endoscope, and endoscopy aiding method | |
JP7190597B2 (en) | endoscope system | |
US20210153730A1 (en) | Endoscope system | |
JPWO2019078237A1 (en) | Medical image processing equipment, endoscopy system, diagnostic support equipment, and medical business support equipment | |
JP2009039510A (en) | Imaging apparatus | |
JP5289120B2 (en) | Endoscope system and processor device for endoscope | |
JP7328432B2 (en) | medical control device, medical observation system, control device and observation system | |
JP2023015232A (en) | endoscope system | |
JP2014221168A (en) | Processor device, endoscope system, and operation method of endoscope system | |
WO2019078102A1 (en) | Medical image processing apparatus | |
JP4766935B2 (en) | Endoscope device | |
JP4846917B2 (en) | Endoscope device for fluorescence observation | |
JP4575208B2 (en) | Electronic endoscope device | |
JP2002345739A (en) | Image display device | |
WO2019244407A1 (en) | Endoscope system and endoscope system operation method | |
US20180092519A1 (en) | Infrared fluorescence observation device | |
JP7348386B2 (en) | Medical image processing system, recognition processing processor device, and method of operating the medical image processing system | |
WO2022014235A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
WO2019171703A1 (en) | Endoscope system | |
WO2019244406A1 (en) | Endoscope system and endoscope-system operating method | |
JPH06142036A (en) | Endoscope system | |
JP7441822B2 (en) | Medical control equipment and medical observation equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110614 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4766935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |