JP2005319213A - Fluorescent observation endoscope apparatus - Google Patents

Fluorescent observation endoscope apparatus Download PDF

Info

Publication number
JP2005319213A
JP2005319213A JP2004141550A JP2004141550A JP2005319213A JP 2005319213 A JP2005319213 A JP 2005319213A JP 2004141550 A JP2004141550 A JP 2004141550A JP 2004141550 A JP2004141550 A JP 2004141550A JP 2005319213 A JP2005319213 A JP 2005319213A
Authority
JP
Japan
Prior art keywords
field
frame
image
video signal
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004141550A
Other languages
Japanese (ja)
Other versions
JP4520216B2 (en
Inventor
Hideo Sugimoto
秀夫 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2004141550A priority Critical patent/JP4520216B2/en
Publication of JP2005319213A publication Critical patent/JP2005319213A/en
Application granted granted Critical
Publication of JP4520216B2 publication Critical patent/JP4520216B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To simultaneously display the moving image of a normal color image and the moving image of a fluorescent image on a monitor without lowering a moving image rate and a resolution in a vertical direction. <P>SOLUTION: A system control circuit 42 introduces white light to a light guide 16 in the first field of an odd-numbered frame and the second field of an even-numbered frame following it, and introduces exciting light to the light guide 16 in the second field of the odd-numbered frame and the first field of the even-numbered frame following it. A preceding stage processing circuit 431 subscribes video signals obtained in the respective fields of the odd-numbered frame and the respective fields of the even-numbered frame in respective memory areas 432a-432d. A scanning converter 435 reads and connects the video signals respectively from the memory areas 432a and 432c in the first field of each frame and reads and connects the video signals respectively from the memory areas 432d and 432b in the second field of each frame. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、内視鏡を通じて被検部に通常観察用の白色光と蛍光励起用の励起光とを順次照射することによって得られた画像データを処理して、モニター上に被検部の可視画像と蛍光画像とを動画表示する蛍光観察内視鏡装置に、関する。   The present invention processes image data obtained by sequentially irradiating a subject with white light for normal observation and excitation light for fluorescence excitation through an endoscope so that the subject is visible on a monitor. The present invention relates to a fluorescence observation endoscope apparatus that displays a moving image of an image and a fluorescence image.

生体組織に対して青〜紫外帯域の光を励起光として照射すると、生体組織から蛍光が発せられることが知られている(この蛍光は「自家蛍光」と言われる)。さらに、自家蛍光の強度(特に、緑光領域の強度)は生体の病変組織(腫瘍,癌)から発生するものの方が正常組織から発生するものよりも低いので、画像として表されると、病変組織を内包した病変部位が正常組織のみからなる正常部位よりも暗く表示されることも、知られている。   It is known that when a living tissue is irradiated with light in a blue to ultraviolet band as excitation light, fluorescence is emitted from the living tissue (this fluorescence is called “autofluorescence”). In addition, the intensity of autofluorescence (especially the intensity of the green light region) is lower when it is generated from a living tissue (tumor, cancer) than from normal tissue. It is also known that a lesioned part containing a dark spot is displayed darker than a normal part consisting only of normal tissue.

このような知識をベースに、内視鏡を通じて生体の自家蛍光を撮像し、生体が正常であるか異常であるかの診断に供される蛍光画像を表示する蛍光観察内視鏡装置が、提案されている。このような蛍光観察内視鏡装置は、従来の内視鏡(電子内視鏡)及び光源プロセッサ装置(電子内視鏡から出力された映像信号を処理してビデオ信号として出力するプロセッサを備えた光源装置)を改変することによって、構成されている。具体的には、蛍光観察内視鏡装置に用いられる電子内視鏡は、生体組織に向けて照射光を導くライトガイドファイババンドル(以下、単に「ライトガイド」という)として青〜紫外帯域の光に対する透過性が良い石英ガラスファイバーからなるものが用いられ、その対物窓から撮像素子に至る光路中に励起光として用いる特定波長の光をカットするための励起光カットフィルタが挿入されたものとなっている。また、光源プロセッサ装置は、生体組織に対する照射光として白色光又は励起光とを任意に切り替えて内視鏡のライトガイドに導入できるように構成されているとともに、白色光をライトガイドに導入する時(以下、「通常観察モード」という)と励起光をライトガイドに導入する時(以下、「蛍光観察モード」という)とで、電子内視鏡から出力される画像信号に対する画像処理内容を変更するように構成されている。   Based on such knowledge, a fluorescence observation endoscopic device that captures autofluorescence of a living body through an endoscope and displays a fluorescent image for diagnosis of whether the living body is normal or abnormal is proposed. Has been. Such a fluorescence observation endoscope apparatus includes a conventional endoscope (electronic endoscope) and a light source processor apparatus (a processor that processes a video signal output from the electronic endoscope and outputs it as a video signal). The light source device) is modified. Specifically, an electronic endoscope used in a fluorescence observation endoscope apparatus is a light guide fiber bundle (hereinafter simply referred to as “light guide”) that guides irradiation light toward a living tissue, and light in a blue to ultraviolet band. It is made of quartz glass fiber that has good transparency, and an excitation light cut filter for cutting light of a specific wavelength used as excitation light is inserted in the optical path from the objective window to the image sensor. ing. The light source processor device is configured to be able to arbitrarily switch white light or excitation light as irradiation light to the living tissue and introduce it into the light guide of the endoscope, and when introducing white light into the light guide. (Hereinafter referred to as “normal observation mode”) and when the excitation light is introduced into the light guide (hereinafter referred to as “fluorescence observation mode”), the image processing content for the image signal output from the electronic endoscope is changed. It is configured as follows.

このように構成されている蛍光観察内視鏡装置を使用する術者(医師)は、光源プロセッサ装置を通常観察モードに設定した状態で、通常の内視鏡を用いる場合と同様にしてモニター上に表示される画像(即ち、体腔内挿入部先端から照射された白色光の体腔内壁表面での反射光によって当該体腔内挿入部先端に嵌め込まれた対物レンズが形成した像を撮像素子が撮像することによって得られた通常カラー画像)を観察しながら、その体腔内挿入部の先端を被験者の体腔内に挿入して行く。そして、異状が生じている疑いのある部位(被検部)をその画像内に捉えると、術者は、光源プロセッサ装置を蛍光観察モードに切り替える。すると、白色光の代わりに励起光が体腔内挿入部先端から被検部に向けて照射され、その励起光によって励起された体腔内壁下の生体組織から生じた蛍光のみによる被検部の像が対物光学系によって形成され、これを撮像素子が撮像することによって得られた画像(蛍光画像)がモニター上に表示される。この蛍光画像では、上述したように異状部が暗くなっている他、元々励起光が届かない部位(例えば、体腔内の奥)も暗い陰となっている。但し、後者の部位は、通常観察モードにおいても照明光が届かないので、通常カラー画像でも暗くなっているはずである。そこで、術者は、一時的に通常観察モードに切り替えることによって蛍光画像と通常カラー画像とを比較して、蛍光画像中の暗部のうち蔭の部分を特定し、陰でない暗部があれば、それを異状部位と特定するのである。
特開平09−131306号公報
An operator (physician) who uses the fluorescence observation endoscope apparatus configured as described above has the light source processor device set to the normal observation mode and performs the same operation on the monitor as in the case of using the normal endoscope. (I.e., an image formed by the objective lens fitted to the tip of the body cavity insertion portion is captured by the reflected light of the white light emitted from the tip of the body cavity insertion portion on the surface of the body cavity inner wall) While observing the normal color image obtained in this way, the tip of the body cavity insertion portion is inserted into the body cavity of the subject. And if the site | part (test part) which is suspected of having abnormality is caught in the image, an operator will switch a light source processor apparatus to fluorescence observation mode. Then, instead of white light, excitation light is irradiated from the distal end of the body cavity insertion portion toward the test portion, and an image of the test portion only by fluorescence generated from the living tissue under the body cavity inner wall excited by the excitation light is obtained. An image (fluorescent image) formed by the objective optical system and captured by the imaging device is displayed on the monitor. In this fluorescent image, the abnormal part is dark as described above, and the part where the excitation light does not reach (for example, the back of the body cavity) is also darkly shaded. However, since the illumination light does not reach the latter part even in the normal observation mode, it should be dark even in the normal color image. Therefore, the surgeon temporarily switches to the normal observation mode to compare the fluorescent image with the normal color image, and identifies the dark part of the dark part in the fluorescent image. Is identified as an abnormal site.
JP 09-131306 A

しかしながら、上述した構成の蛍光観察内視鏡装置によると、術者は、異状部位を識別するために、切替装置(フットスイッチ,切替レバー等)を操作することによって通常観察モードと蛍光観察モードとを交互に切替えなければならない。これは、上記蛍光観察内視鏡装置では、通常観察モードと蛍光観察モードとが完全に分けられているので、通常カラー画像のリアルタイム動画と蛍光画像のリアルタイム動画とを同時にモニター上に表示できないことに、起因する。   However, according to the fluorescence observation endoscope apparatus having the above-described configuration, the surgeon operates the switching device (foot switch, switching lever, etc.) in order to identify the abnormal site, thereby switching between the normal observation mode and the fluorescence observation mode. Must be switched alternately. This is because the normal observation mode and the fluorescence observation mode are completely separated in the above-mentioned fluorescence observation endoscope apparatus, so that the real time moving image of the normal color image and the real time moving image of the fluorescent image cannot be displayed on the monitor at the same time. caused by.

これに対して、撮像素子が撮像を行う周期である1フレーム(画像信号の走査はインターレース方式であるので、1フレームは更に2フィールドの期間に区分される)毎に、ライトガイドに導入する光を白色光と励起光との間で自動的に切り替え、白色光照射時期に対応した奇数番フレーム(若しくは偶数番フレーム)の通常カラー画像と、励起光照射時期に対応した偶数番フレーム(若しくは奇数番フレーム)の蛍光画像とを、モニター上に並べて表示することも考えられる。   On the other hand, the light to be introduced into the light guide every one frame that is the period at which the image sensor performs imaging (the scanning of the image signal is an interlace method, so that one frame is further divided into two field periods). Is automatically switched between white light and excitation light, an odd-numbered frame (or even frame) normal color image corresponding to the white light irradiation time, and an even number frame (or odd number) corresponding to the excitation light irradiation time It is also conceivable to display the fluorescent image of the first frame side by side on the monitor.

しかしながら、この方式によると、通常カラー画像及び蛍光画像の夫々の動画レート(即ち、単位時間中に更新される画像のコマ数)は、NTSCやPALのテレビジョン規格(上述した通常観察モードと蛍光観察モードとで表示する動画像を完全に切り替える方式におけるのと同じ動画レート)の半分となってしまうので、動きが不自然な為に細部が判別し難くなってしまう。   However, according to this method, the moving image rate of each of the normal color image and the fluorescent image (that is, the number of frames updated during a unit time) is the NTSC or PAL television standard (the normal observation mode and the fluorescence described above). The moving image to be displayed in the observation mode is half the same as that in the method of completely switching the moving image), so that it becomes difficult to discriminate details because the motion is unnatural.

また、各フレームにおける各フィールド毎に、ライトガイドに導入する光を白色光と励起光との間で自動的に切り替え、白色光照射時期に対応した奇数番フィールド(若しくは偶数番フィールド)の通常カラー画像と、励起光照射時期に対応した偶数番フィールド(若しくは奇数番フィールド)の蛍光画像とを、モニター上に並べて表示することも考えられる。この場合、通常カラー画像及び蛍光画像の夫々の動画レートはテレビジョン規格と同じになるが、各コマの垂直方向における解像度(走査線本数)がテレビジョン規格の半分となってしまうので、やはり、細部が判別し難くなってしまう。   In addition, for each field in each frame, the light to be introduced into the light guide is automatically switched between white light and excitation light, and the normal color of the odd number field (or even number field) corresponding to the white light irradiation timing. It is also conceivable to display the image and the even-numbered field (or odd-numbered field) fluorescent image corresponding to the excitation light irradiation time side by side on the monitor. In this case, the moving image rates of the normal color image and the fluorescent image are the same as those of the television standard, but the resolution in the vertical direction of each frame (the number of scanning lines) is half that of the television standard. Details are difficult to distinguish.

本発明は、このような問題に鑑みてなされたものであり、その課題は、動画レート及び垂直方向における解像度を落とすことなく、通常カラー画像のリアルタイムの動画と蛍光画像のリアルタイムの動画とを、表示装置によって同時に表示することができる蛍光観察内視鏡装置を、提供することである。   The present invention has been made in view of such problems, and the problem is that a real-time moving image of a normal color image and a real-time moving image of a fluorescent image can be obtained without reducing the moving image rate and the resolution in the vertical direction. It is an object of the present invention to provide a fluorescence observation endoscope apparatus that can be simultaneously displayed by a display apparatus.

上記の課題を解決するために案出された本発明による蛍光観察内視鏡装置は、体腔内に励起光を導入し、この励起光によって励起した生体組織が発する蛍光による像を内視鏡によって撮像する蛍光観察内視鏡装置であって、その先端に対物光学系と、前記対物光学系によって形成された被検部の像を撮像して、1フレームが2フィールドからなる映像信号に変換して出力する撮像装置とを備えた内視鏡と、(a+2n:但し、aは所定の整数,nは任意の整数)番フレームの第1フィールドに相当する期間及び(a+2n+1)番フレームの第2フィールドに相当する期間には白色光を、(a+2n)番フレームの第2フィールドに相当する期間及び(a+2n+1)番フレームの第1フィールドに相当する期間には励起光を、夫々前記被検部に照射する光照射手段と、前記撮像装置から(a+2n)番フレームの第1フィールドに相当する期間に出力された映像信号,(a+2n)番フレームの第2フィールドに相当する期間に出力された映像信号,(a+2n+1)番フレームの第1フィールドに相当する期間に出力された映像信号,及び(a+2n+1)番フレームの第2フィールドに相当する期間に出力された映像信号を、第1乃至第4の記憶領域に夫々上書格納する記憶手段と、各フレームの第1フィールドに相当するタイミングで前記記憶手段の第1記憶領域及び第3記憶領域から夫々映像信号を読み出して互いに結合し、各フレームの第2フィールドに相当するタイミングで前記記憶手段の第4記憶領域及び第2記憶領域から夫々映像信号を読み出して、前記第1記憶領域から読み出した映像信号に前記第4記憶領域から読み出した映像信号が対応するとともに前記第3記憶領域から読み出した映像信号に前記第2記憶領域から読み出した映像信号が対応するように互いに結合し、順次出力する結合手段と、前記結合手段から順次出力された映像信号に基づいて動画表示を行う表示手段とを、備えたことを特徴とする。   The fluorescence observation endoscope apparatus according to the present invention devised to solve the above problems introduces excitation light into a body cavity, and an image of fluorescence emitted from living tissue excited by the excitation light is obtained by the endoscope. A fluorescence observation endoscope apparatus for imaging, which captures an objective optical system at an end thereof and an image of a test part formed by the objective optical system, and converts the image signal into a video signal consisting of two fields. A period corresponding to the first field of the (a + 2n: where a is a predetermined integer, n is an arbitrary integer) frame and the second of the (a + 2n + 1) frame. The white light is emitted during the period corresponding to the field, the excitation light is emitted during the period corresponding to the second field of the (a + 2n) th frame and the first field of the (a + 2n + 1) th frame. And a video signal output during a period corresponding to the first field of the (a + 2n) th frame and a video output during the period corresponding to the second field of the (a + 2n) th frame. The first to fourth signals, the video signal output during the period corresponding to the first field of the (a + 2n + 1) th frame, and the video signal output during the period corresponding to the second field of the (a + 2n + 1) th frame The storage means for overwriting each of the storage areas and the video signals are read out from the first storage area and the third storage area of the storage means at the timing corresponding to the first field of each frame and combined with each other. Video signals are read from the fourth storage area and the second storage area of the storage means at the timing corresponding to the second field, respectively, The video signals read from the fourth storage area correspond to the video signals read from the area, and the video signals read from the second storage area correspond to the video signals read from the third storage area. And a combining unit that sequentially outputs and a display unit that displays a moving image based on the video signals sequentially output from the combining unit.

このように構成されると、記憶手段の第1乃至第4記憶領域には、夫々、(a+2n)番フレームの第1フィールドに相当する期間に出力された通常画像の映像信号,(a+2n)番フレームの第2フィールドに相当する期間に出力された蛍光画像の映像信号,(a+2n+1)番フレームの第1フィールドに相当する期間に出力された蛍光画像の映像信号,及び(a+2n+1)番フレームの第2フィールドに相当する期間に出力された通常画像の映像信号が格納され、以後、撮像装置から各フィールド単位の映像信号が出力される毎に、サイクリックに更新されていく。一方、結合手段は、各フレームの第1フィールドに相当するタイミングで、第1記憶領域から第1フィールドに相当する通常画像の映像信号を読み出すと同時に、第3記憶領域から第1フィールドに相当する蛍光画像の映像信号を読み出し、各フレームの第2フィールドに相当するタイミングで、第4記憶領域から第2フィールドに相当する通常画像の映像信号を読み出すと同時に、第2記憶領域から第2フィールドに相当する蛍光画像の映像信号を読み出する。そして、第1記憶領域から読み出した第1フィールドに相当する通常画像の映像信号と第4記憶領域から読み出した第2フィールドに相当する通常画像の映像信号とが互いに対応するとともに、第3記憶領域から読み出した第1フィールドに相当する蛍光画像の映像信号と第2記憶領域から読み出した第2フィールドに相当する蛍光画像の映像信号とが互いに対応するように、同時に読み出した映像信号同士(通常画像の映像信号及び蛍光画像の映像信号)を結合する。その結果、個々の記憶領域に格納された各映像信号は、新たな映像信号によって更新されるまでの間に夫々2回づつ読み出され、それにより、結合後の映像信号における通常画像に相当する部分についても、蛍光画像に相当する部分についても、各フレームは常に2フィールド分の映像信号からから構成されているとともに、フレーム全体としてみた場合には、フレーム毎にその内容が更新されていることになる。その結果、本件発明によれば、通常画像のリアルタイム動画と蛍光画像のリアルタイム動画とを表示手段によって同時に表示することができるにも拘わらず、テレビジョン規格に則した動画レート及び垂直方向の解像度で、各画像のリアルタイム動画を表示することができるのである。   When configured in this way, the first to fourth storage areas of the storage means are respectively the video signal of the normal image output during the period corresponding to the first field of the (a + 2n) th frame, the (a + 2n) th The video signal of the fluorescent image output in the period corresponding to the second field of the frame, the video signal of the fluorescent image output in the period corresponding to the first field of the (a + 2n + 1) th frame, and the first signal of the (a + 2n + 1) th frame A video signal of a normal image output in a period corresponding to two fields is stored, and thereafter, it is cyclically updated every time a video signal in each field unit is output from the imaging device. On the other hand, the combining means reads the video signal of the normal image corresponding to the first field from the first storage area at the timing corresponding to the first field of each frame, and simultaneously corresponds to the first field from the third storage area. The video signal of the fluorescence image is read out, and the video signal of the normal image corresponding to the second field is read from the fourth storage area at the timing corresponding to the second field of each frame, and at the same time from the second storage area to the second field. The video signal of the corresponding fluorescent image is read out. The normal image video signal corresponding to the first field read from the first storage area and the normal image video signal corresponding to the second field read from the fourth storage area correspond to each other, and the third storage area The video signals read at the same time (normal image) so that the video signal of the fluorescent image corresponding to the first field read from the image signal of the fluorescent image corresponding to the second field read from the second storage area correspond to each other. Video signal and fluorescent image video signal). As a result, each video signal stored in each storage area is read twice each before being updated with a new video signal, thereby corresponding to a normal image in the combined video signal. For both the portion and the portion corresponding to the fluorescent image, each frame is always composed of video signals for two fields, and when viewed as a whole frame, the contents are updated for each frame. become. As a result, according to the present invention, although the real-time moving image of the normal image and the real-time moving image of the fluorescent image can be displayed simultaneously by the display means, the moving image rate and the vertical resolution comply with the television standard. The real-time video of each image can be displayed.

以上に説明したように、本発明の蛍光観察内視鏡装置によれば、動画レート及び垂直方向における解像度を落とすことなく、通常カラー画像のリアルタイム動画と蛍光画像のリアルタイム動画とを、表示装置によって同時に表示することができる。   As described above, according to the fluorescence observation endoscope apparatus of the present invention, the real-time moving image of the normal color image and the real-time moving image of the fluorescent image can be displayed by the display device without reducing the moving image rate and the resolution in the vertical direction. It can be displayed at the same time.

次に、添付図面に基づいて、本発明を実施するための形態を、説明する。   Next, modes for carrying out the present invention will be described based on the attached drawings.

図1は、本発明による蛍光観察内視鏡装置の実施の形態である内視鏡システムの外観図である。図1に示されるように、この内視鏡システムは、蛍光観察内視鏡10,光源プロセッサ装置20,及び、モニター60を、備えている。   FIG. 1 is an external view of an endoscope system that is an embodiment of a fluorescence observation endoscope apparatus according to the present invention. As shown in FIG. 1, the endoscope system includes a fluorescence observation endoscope 10, a light source processor device 20, and a monitor 60.

蛍光観察内視鏡10は、通常の電子内視鏡に蛍光観察用の改変を加えたものであり、体腔内に挿入されるために細長く形成されている体腔内挿入部10a,その体腔内挿入部10aの先端部分を湾曲操作するためのアングルノブ等を有する操作部10b,操作部10bと光源プロセッサ装置20とを接続するためのライトガイド可撓管10e,及び、このライトガイド可撓管10eの基端に設けられたコネクタ10dを、備えている。   The fluorescence observation endoscope 10 is obtained by adding a modification for fluorescence observation to a normal electronic endoscope, and is inserted into a body cavity. An operation unit 10b having an angle knob or the like for bending the tip of the unit 10a, a light guide flexible tube 10e for connecting the operation unit 10b and the light source processor device 20, and the light guide flexible tube 10e. The connector 10d provided at the base end of is provided.

図2の概略図に示すように、体腔内挿入部10aの先端面には、配光レンズ11及び対物レンズ12が夫々嵌め込まれた光照射窓及び撮影窓が形成されている。そして、この体腔内挿入部10aの内部には、対物レンズ(対物光学系)12によって形成された被写体の像を撮影する撮像素子(カラーCCD)13,この撮像素子13を駆動する駆動回路15,対物レンズ12から射出された光から後述する蛍光励起用のレーザー光に相当する波長成分を除去するためのレーザー光カットフィルター14が、組み込まれている。これら撮像素子13及び駆動回路15が、前記対物光学系によって形成された被検部の像を撮像して1フレームが2フィールドからなる映像信号に変換して出力する撮像装置に、該当する。   As shown in the schematic diagram of FIG. 2, a light irradiation window and a photographing window into which the light distribution lens 11 and the objective lens 12 are fitted are formed on the distal end surface of the body cavity insertion portion 10a. In the body cavity insertion portion 10a, an image pickup device (color CCD) 13 for taking an image of a subject formed by the objective lens (objective optical system) 12, a drive circuit 15 for driving the image pickup device 13, A laser light cut filter 14 for removing a wavelength component corresponding to a laser light for fluorescence excitation described later from light emitted from the objective lens 12 is incorporated. The image pickup device 13 and the drive circuit 15 correspond to an image pickup apparatus that picks up an image of the test portion formed by the objective optical system, converts the image into a video signal having two fields per frame, and outputs the image signal.

撮像素子13から出力されて駆動回路15によって処理された画像信号を伝送するための信号ケーブル(各走査線に沿ってR[赤],G[緑],B[青]の各画素から夫々読み出したRGBの各画像信号を夫々伝送するための3系統の信号線を含む信号ケーブル)18は、体腔内挿入部10a,操作部10b及びライトガイド可撓管10e内を引き通されて、コネクタ10dの端面に設けられた電気コネクタ31に接続されている。この信号ケーブル18と並行して、体腔内挿入部10a,操作部10b及びライトガイド可撓管10e内には、石英ファイバからなるライトガイドファイババンドル(以下、単に「ライトガイド」という)16が引き通されている。このライトガイド16の先端は、体腔内挿入部10aの先端部内において配光レンズ11に対向し、その基端は、コネクタ10dの端面から突出した金属製のパイプ19内に挿入されて固定されている。   A signal cable for transmitting an image signal output from the image sensor 13 and processed by the drive circuit 15 (read out from each pixel of R [red], G [green], and B [blue] along each scanning line) A signal cable 18 including three signal lines for transmitting the RGB image signals is passed through the body cavity insertion portion 10a, the operation portion 10b, and the light guide flexible tube 10e, and is connected to the connector 10d. It is connected to the electrical connector 31 provided on the end face of. In parallel with the signal cable 18, a light guide fiber bundle (hereinafter simply referred to as “light guide”) 16 made of quartz fiber is pulled into the body cavity insertion portion 10 a, the operation portion 10 b, and the light guide flexible tube 10 e. Has been passed. The distal end of the light guide 16 faces the light distribution lens 11 in the distal end portion of the body cavity insertion portion 10a, and the proximal end thereof is inserted into a metal pipe 19 protruding from the end face of the connector 10d and fixed. Yes.

光源プロセッサ装置20は、蛍光観察内視鏡10のライトガイド16の端面に照明光(白色光)又はレーザー光を選択的に導入するとともに、蛍光観察内視鏡10の電気コネクタピン31を通じて駆動回路15から受信した画像信号に対して画像処理を行うことによってビデオ信号を生成してモニタ60へ出力する装置である。   The light source processor device 20 selectively introduces illumination light (white light) or laser light into the end face of the light guide 16 of the fluorescence observation endoscope 10 and drives the drive circuit through the electrical connector pin 31 of the fluorescence observation endoscope 10. 15 is a device that generates a video signal by performing image processing on the image signal received from 15, and outputs it to the monitor 60.

この光源プロセッサ装置20の筐体の正面のパネルには、蛍光観察内視鏡10のパイプ19がその外面側から挿入される筒であるソケット20aが、設けられている。このソケット20aに穿たれた貫通孔は、光源プロセッサ装置20の内部空間に通じている。この光源プロセッサ装置20の内部空間内には、ソケット20aの中心軸(即ち、ソケット20aに挿入されたパイプ19内のライトガイド16の中心軸)の延長線に沿って順番に、集光レンズ28,ビームスプリッタ29,ロータリーシャッタ32,及び、ランプ33が、配置されている。   The front panel of the housing of the light source processor device 20 is provided with a socket 20a that is a cylinder into which the pipe 19 of the fluorescence observation endoscope 10 is inserted from the outer surface side. The through hole formed in the socket 20a communicates with the internal space of the light source processor device 20. In the inner space of the light source processor device 20, the condensing lens 28 is sequentially arranged along an extension line of the central axis of the socket 20a (that is, the central axis of the light guide 16 in the pipe 19 inserted into the socket 20a). , A beam splitter 29, a rotary shutter 32, and a lamp 33 are arranged.

集光レンズ28は、その光軸に沿ってビームスプリッタ29側から入射してきた平行光をソケット20aに挿入されたパイプ19内のライトガイド16の基端面に集光するレンズである。   The condensing lens 28 is a lens that condenses parallel light incident along the optical axis from the beam splitter 29 side on the base end surface of the light guide 16 in the pipe 19 inserted into the socket 20a.

ランプ33は、ランプ用電源38によって電源電流が供給されて白色光を発光する電球(図示略)と、この電球から発散光として発した白色光をライトガイド16に向けた平行光にするためのレンズ又はリフレクター(図示略)とを備えている。その結果として、ランプ33は、白色光を、集光レンズ28の光軸に沿った平行光として、ビームスプリッタ29を通して集光レンズ28に向けて射出する。   The lamp 33 is a light bulb (not shown) that emits white light when a power supply current is supplied from the lamp power supply 38, and the white light emitted from the light bulb as divergent light is converted into parallel light directed to the light guide 16. A lens or a reflector (not shown). As a result, the lamp 33 emits white light as parallel light along the optical axis of the condenser lens 28 through the beam splitter 29 toward the condenser lens 28.

ビームスプリッタ29は、集光レンズ28の光軸に対して45度傾けて配置されている。このビームスプリッタ29は、ランプ33からの白色光を透過するとともに、集光レンズ28の光軸に対して垂直な方向からの光を、集光レンズ28の光軸に沿って反射して当該集光レンズ28に入射させるハーフミラーである。   The beam splitter 29 is disposed with an inclination of 45 degrees with respect to the optical axis of the condenser lens 28. The beam splitter 29 transmits white light from the lamp 33 and reflects light from a direction perpendicular to the optical axis of the condenser lens 28 along the optical axis of the condenser lens 28 to reflect the collected light. This is a half mirror that is incident on the optical lens 28.

これらランプ33とビームスプリッタ29との間に介在しているロータリーシャッタ32は、円形の板からなり、第1モータ34によって回転自在に保持されている。そして、この第1モータ34自体は、第2モータ24によって集光レンズ34の光軸に直交する方向へ移動可能に、スライドテーブル25上に載置されている。なお、この第2モータ24の駆動軸には、その駆動軸の回転量に応じた信号を出力する位置検出センサ26が取り付けられている。従って、この位置検出センサ26から出力される信号に基づいて、システムコントロール回路42がロータリーシャッタ32の位置を求めることが可能となっている。具体的には、ロータリーシャッタ32は、位置検出センサ26からの信号に基づいて第2モータ24がシステムコントロール回路42によって制御されることにより、後述する通常観察モード下では、ランプ33から射出される白色光の光路から完全に待避した位置(以下、「待避位置」という)へ移動され、蛍光観察モード下では、その外周縁と中心との間の部位が白色光の光路に挿入される位置(以下、「挿入位置」という)へ移動される。   A rotary shutter 32 interposed between the lamp 33 and the beam splitter 29 is formed of a circular plate and is rotatably held by a first motor 34. The first motor 34 itself is placed on the slide table 25 so that the second motor 24 can move in a direction orthogonal to the optical axis of the condenser lens 34. A position detection sensor 26 that outputs a signal corresponding to the amount of rotation of the drive shaft is attached to the drive shaft of the second motor 24. Therefore, the system control circuit 42 can obtain the position of the rotary shutter 32 based on the signal output from the position detection sensor 26. Specifically, the rotary shutter 32 is emitted from the lamp 33 in the normal observation mode described later by the second motor 24 being controlled by the system control circuit 42 based on a signal from the position detection sensor 26. Moved to a position completely retracted from the optical path of white light (hereinafter referred to as “retracted position”), and under the fluorescence observation mode, a position between the outer peripheral edge and the center is inserted into the optical path of white light ( Hereinafter, it is moved to “insertion position”.

図3は、ロータリーシャッタ32をランプ33側から見た状態を示す図である。この図に示すように、ロータリーシャッタ32には、中心角が180度である扇状(1/2の円環状)の開口32aが穿たれており、ロータリーシャッタ32が挿入位置に在るときには、このロータリーシャッタ32の回転に伴って、開口32aの径方向における中央を集光レンズ28の光軸が相対的に通過する。   FIG. 3 is a diagram illustrating a state where the rotary shutter 32 is viewed from the lamp 33 side. As shown in this figure, the rotary shutter 32 is provided with a fan-shaped (1/2 annular) opening 32a having a central angle of 180 degrees. When the rotary shutter 32 is in the insertion position, As the rotary shutter 32 rotates, the optical axis of the condenser lens 28 relatively passes through the center of the opening 32a in the radial direction.

一方、ビームスプリッタ29によって90度折り曲げられた集光レンズ28の光軸上には、レーザー光源40が配置されている。レーザー光源40は、レーザー用電源41によって所定の駆動電流が供給されて励起光として機能する特定波長帯域(紫外〜青)のレーザー光を射出する半導体レーザー(図示略)と、この半導体レーザーから発散光として射出されたレーザー光を平行光とするコリメータレンズ(図示略)とから、構成されている。図4は、このレーザー光源40から射出されるレーザー光の波長分布と蛍光観察内視鏡10の体腔内挿入部10aの先端に内蔵される励起光カットフィルタ14の透過特性とを併せて示すグラフである。この図4に示されるように、レーザー光の波長帯域は、励起光カットフィルタ14の透過波長帯域の外にあり、このレーザー光によって励起される生体組織が発する蛍光の波長帯域が励起光カットフィルタ14の透過波長帯域に含まれている。   On the other hand, a laser light source 40 is disposed on the optical axis of the condenser lens 28 bent 90 degrees by the beam splitter 29. The laser light source 40 is supplied with a predetermined drive current from a laser power source 41 and emits a laser beam in a specific wavelength band (ultraviolet to blue) functioning as excitation light, and a laser beam diverges from the semiconductor laser. It is composed of a collimator lens (not shown) that converts laser light emitted as light into parallel light. FIG. 4 is a graph showing the wavelength distribution of the laser light emitted from the laser light source 40 and the transmission characteristics of the excitation light cut filter 14 built in the distal end of the body cavity insertion portion 10a of the fluorescence observation endoscope 10. It is. As shown in FIG. 4, the wavelength band of the laser light is outside the transmission wavelength band of the excitation light cut filter 14, and the wavelength band of the fluorescence emitted from the living tissue excited by the laser light is the excitation light cut filter. 14 transmission wavelength bands.

以上の光学構成により、ロータリーシャッタ32が待避位置に在る時には、ランプ33から射出された白色光は、常に、ビームスプリッタ29を透過して、集光レンズ28に入射し、更にライドガイド16に入射する。このとき、後述するシステムコントロール回路42の制御により、レーザー光源40からのレーザー光の射出は停止されている。一方、ロータリーシャッタ32が挿入位置に在る時には、ランプ33から射出された白色光は、ロータリーシャッタ32の開口32aが集光レンズ28の光軸上に位置する期間のみ、このロータリーシャッタ32を通過して、ビームスプリッタ29を透過して集光レンズ28に入射する。このとき、後述するシステムコントロール回路42の制御により、レーザー光源40は、ロータリーシャッタ32が白色光を遮光している期間のみレーザー光を発光する。このレーザー光は、ビームスプリッタ29によって反射されて、白色光と交互に集光レンズ28に入射し、更にライトガイド16に入射する。ライトガイド16に入射した白色光及び励起光は、ライトガイド16により導光され、配光レンズ11を通じて被検部に照射される。   With the above optical configuration, when the rotary shutter 32 is in the retracted position, the white light emitted from the lamp 33 always passes through the beam splitter 29 and enters the condenser lens 28, and further enters the ride guide 16. Incident. At this time, the emission of laser light from the laser light source 40 is stopped under the control of the system control circuit 42 described later. On the other hand, when the rotary shutter 32 is at the insertion position, the white light emitted from the lamp 33 passes through the rotary shutter 32 only during the period in which the opening 32a of the rotary shutter 32 is located on the optical axis of the condenser lens 28. Then, the light passes through the beam splitter 29 and enters the condenser lens 28. At this time, the laser light source 40 emits laser light only during a period in which the rotary shutter 32 blocks white light under the control of the system control circuit 42 described later. This laser light is reflected by the beam splitter 29, enters the condenser lens 28 alternately with the white light, and further enters the light guide 16. The white light and the excitation light incident on the light guide 16 are guided by the light guide 16 and irradiated to the test part through the light distribution lens 11.

光源プロセッサ装置20の筐体の正面側パネルには、パイプ19がソケット20aに挿入された状態において電気コネクタ31を構成する各端子と夫々導通する多数の電極からなる電気ソケット21と、外部から操作される複数のスイッチ(図2においては、モード切替スイッチ23a,レーザースイッチ23bのみ図示)を有する操作パネル23が、設けられている。そして、操作パネル23上の各スイッチ23a,23bは、夫々、制御手段としてのシステムコントロール回路42に接続されている。その結果、操作パネル23上の各スイッチ23a,23bに対する操作によって生じた操作信号は、夫々、システムコントロール回路42に入力される。   The front panel of the housing of the light source processor device 20 has an electrical socket 21 made up of a number of electrodes each conducting with each terminal constituting the electrical connector 31 in a state where the pipe 19 is inserted into the socket 20a, and an external operation. An operation panel 23 having a plurality of switches (only the mode changeover switch 23a and the laser switch 23b are shown in FIG. 2) is provided. Each switch 23a, 23b on the operation panel 23 is connected to a system control circuit 42 as control means. As a result, operation signals generated by operations on the switches 23a and 23b on the operation panel 23 are input to the system control circuit 42, respectively.

このシステムコントロール回路42には、上述した位置検出センサ26が接続されており、この位置検出センサ26から出力された信号が入力される。また、このシステムコントロール回路42は、上述した第1モータ34,第2モータ24,ランプ用電源38及びレーザー用電源41に接続されており、これらを制御するための信号を出力する。   The system control circuit 42 is connected to the position detection sensor 26 described above, and a signal output from the position detection sensor 26 is input thereto. The system control circuit 42 is connected to the first motor 34, the second motor 24, the lamp power supply 38, and the laser power supply 41, and outputs a signal for controlling them.

具体的には、システムコントロール回路42は、主電源投入とともに、ランプ用電源38を起動することによってランプ33から白色光を射出させる。また、システムコントロール回路42は、モード切替スイッチ23aが押下される毎に、その動作モードを通常観察モードと蛍光観察モードとの間で切り換える。   Specifically, the system control circuit 42 causes white light to be emitted from the lamp 33 by starting the lamp power supply 38 when the main power supply is turned on. The system control circuit 42 switches the operation mode between the normal observation mode and the fluorescence observation mode every time the mode switch 23a is pressed.

そして、システムコントロール回路42は、その動作モードが通常観察モードから蛍光観察モードに切り替えられると、第2モータ24を制御してロータリーシャッタ32を挿入位置へ移動させる。これととともに、システムコントロール回路42は、その内部において発生したタイミング信号(個々のフレームの先頭タイミングを示す垂直同期信号)を第1モータ34に入力することによって、図6(a)に示す如く、奇数番目のフレームにおける第1フィールド及びそれに続く偶数番目のフレームにおける第2フィールドに相当する期間のみ、ロータリーシャッタ32の開口32aがランプ33から発した白色光を通過させてライトガイド16に入射させるとともに、奇数番目のフレームにおける第2フィールド及びそれに続く偶数番目のフレームにおける第1フィールドに相当する期間には、ロータリーシャッタ32がランプ33から発した白色光を遮光するように、第1モータ34によるロータリーシャッタ32の回転位相を制御する。同時に、システムコントロール回路42は、タイミング信号をレーザー用電源41に入力することによって、図6(a)に示す如く、奇数番目のフレームにおける第2フィールド及びそれに続く偶数番目のフレームにおける第1フィールドに相当する期間のみ、レーザ光源40がレーザー光を射出してライトガイド16に入射させるとともに、奇数番目のフレームにおける第1フィールド及びそれに続く偶数番目のフレームにおける第2フィールドに相当する期間にはレーザー光源40がレーザー光の射出を停止するように、レーザー用電源41を制御する。即ち、配光レンズ11,ライトガイド16,集光レンズ28,ビームスプリッタ29,ロータリーシャッタ32,ランプ33,第1モータ34,ランプ用光源38,レーザー光源40,レーザー用電源41及びシステムコントロール回路42が、(a+2n:但し、aは所定の整数,nは任意の整数)番フレームの第1フィールドに相当する期間及び(a+2n+1)番フレームの第2フィールドに相当する期間には白色光を(a+2n)番フレームの第2フィールドに相当する期間及び(a+2n+1)番フレームの第1フィールドに相当する期間には励起光を夫々前記被検部に照射する光照射手段に、相当する。   Then, when the operation mode is switched from the normal observation mode to the fluorescence observation mode, the system control circuit 42 controls the second motor 24 to move the rotary shutter 32 to the insertion position. At the same time, the system control circuit 42 inputs a timing signal (vertical synchronization signal indicating the head timing of each frame) generated therein to the first motor 34, as shown in FIG. Only during the period corresponding to the first field in the odd-numbered frame and the second field in the subsequent even-numbered frame, the opening 32a of the rotary shutter 32 allows the white light emitted from the lamp 33 to pass through and enter the light guide 16. In the period corresponding to the second field in the odd-numbered frame and the first field in the subsequent even-numbered frame, the rotary by the first motor 34 is performed so that the rotary shutter 32 blocks the white light emitted from the lamp 33. Controls rotation phase of shutter 32 That. At the same time, the system control circuit 42 inputs the timing signal to the laser power source 41, and as shown in FIG. 6 (a), the second field in the odd-numbered frame and the subsequent first field in the even-numbered frame. Only during the corresponding period, the laser light source 40 emits laser light to enter the light guide 16, and during the period corresponding to the first field in the odd-numbered frame and the second field in the subsequent even-numbered frame, The laser power supply 41 is controlled so that 40 stops the laser light emission. That is, the light distribution lens 11, the light guide 16, the condenser lens 28, the beam splitter 29, the rotary shutter 32, the lamp 33, the first motor 34, the lamp light source 38, the laser light source 40, the laser power source 41, and the system control circuit 42. However, (a + 2n: where a is a predetermined integer and n is an arbitrary integer) white light (a + 2n) is emitted during the period corresponding to the first field of the numbered frame and the period corresponding to the second field of the numbered (a + 2n + 1) th frame. The period corresponding to the second field of the No. frame and the period corresponding to the first field of the No. (a + 2n + 1) frame correspond to the light irradiation means for irradiating the test part with the excitation light.

一方、システムコントロール回路42は、その動作モードが蛍光観察モードから通常観察モードに切り替えられると、第2モータ24を制御してロータリーシャッタ32を待避位置へ移動させる。これととともに、システムコントロール回路42は、第1モータ34及びレーザー用電源41を停止させる。   On the other hand, when the operation mode is switched from the fluorescence observation mode to the normal observation mode, the system control circuit 42 controls the second motor 24 to move the rotary shutter 32 to the retracted position. At the same time, the system control circuit 42 stops the first motor 34 and the laser power supply 41.

さらに、システムコントロール回路42は、映像信号処理回路43に接続されており、この映像信号処理回路43に対しても、切替後の動作モードを通知するとともに、タイミング信号を入力する。この映像信号処理回路43には、また、電気ソケット21を構成する各電極に接続されている。よって、駆動回路15を通じて撮像素子13から出力されたRGBの各画像信号は、電気コネクタ31及び電気ソケット21を通じて、映像信号処理回路43に入力される。さらに、この映像信号処理回路43には、モニター60が接続されている。映像信号処理回路43は、蛍光観察内視鏡10の駆動回路15から入力されたRGBの各画像信号を処理することによって、通常観察モードにおいては通常カラー画像の動画を、蛍光観察モードにおいては、選択的に、蛍光画像の動画を示す画面,又は、通常カラー画像の動画及び蛍光画像の動画を並べて示す画面を、モニター60上に表示する。   Further, the system control circuit 42 is connected to the video signal processing circuit 43, and also notifies the video signal processing circuit 43 of the operation mode after switching and inputs a timing signal. This video signal processing circuit 43 is also connected to each electrode constituting the electrical socket 21. Accordingly, the RGB image signals output from the image sensor 13 through the drive circuit 15 are input to the video signal processing circuit 43 through the electrical connector 31 and the electrical socket 21. Further, a monitor 60 is connected to the video signal processing circuit 43. The video signal processing circuit 43 processes the RGB image signals input from the drive circuit 15 of the fluorescence observation endoscope 10, thereby moving a normal color image moving image in the normal observation mode and a fluorescence observation mode. Optionally, a screen showing a moving image of the fluorescent image, or a screen showing the moving image of the normal color image and the moving image of the fluorescent image side by side is displayed on the monitor 60.

図5は、この映像信号処理回路43の内部構造を示すブロック図である。この図5に示されるように、映像信号処理回路43内において、R,G,Bの各画像信号は、前段映像信号処理回路431に入力される。この前段映像信号処理回路431は、メモリ432に接続され、このメモリ432は、第1後段映像信号処理回路433,第2後段映像信号処理回路434及びスキャンコンバータ435に接続され、このスキャンコンバータ435は第3後段映像信号処理回路436に接続され、これら各後段映像信号処理回路433,434,436に、モニター60が接続される。なお、メモリ432の内部は、第1フィールド通常カラー画像領域432a(第1記憶領域),第2フィールド通常カラー画像領域432b(第4領域),第1フィールド蛍光画像領域432c(第3記憶領域),第2フィールド蛍光画像領域432d(第2記憶領域)に、区分されている。   FIG. 5 is a block diagram showing the internal structure of the video signal processing circuit 43. As shown in FIG. 5, in the video signal processing circuit 43, the R, G, and B image signals are input to the pre-stage video signal processing circuit 431. The pre-stage video signal processing circuit 431 is connected to a memory 432, and the memory 432 is connected to a first post-stage video signal processing circuit 433, a second post-stage video signal processing circuit 434, and a scan converter 435. The monitor 60 is connected to the third post-stage video signal processing circuit 436, and the post-stage video signal processing circuits 433, 434, and 436. The memory 432 includes a first field normal color image area 432a (first storage area), a second field normal color image area 432b (fourth area), and a first field fluorescent image area 432c (third storage area). , Second field fluorescent image area 432d (second storage area).

前段映像信号処理回路431は、撮像素子17から送られてくるRGBの各画像信号に対して所定の処理を施すための回路である。この前段映像信号処理回路431が各画像信号に施す処理としては、高周波成分除去,増幅,ブランキング,クランピング,ホワイトバランス,ガンマ補正,アナログデジタル変換,及び、色分離がある。なお、本実施形態においては、モニター60はRGBモニターであるので、以後の回路においても、RGBの各画像信号は、互いに並行に処理されることになる。よって、以後においては、単に、「画像信号」と表記するものとする。   The pre-stage video signal processing circuit 431 is a circuit for performing predetermined processing on the RGB image signals sent from the image sensor 17. Processing performed by the pre-stage video signal processing circuit 431 on each image signal includes high-frequency component removal, amplification, blanking, clamping, white balance, gamma correction, analog-digital conversion, and color separation. In this embodiment, since the monitor 60 is an RGB monitor, RGB image signals are processed in parallel in the subsequent circuits. Therefore, hereinafter, it is simply expressed as “image signal”.

そして、初段処理回路231は、通常観察モード下においては、上記処理を施した後に、各フレームの第1フィールドの画像信号についてはメモリ432の第1フィールド通常カラー画像領域432aに、第2フィールドの画像信号については第2フィールド蛍光画像領域432dに、夫々格納(上書き)する。また、前段処理回路231は、蛍光観察モード下においては、上記処理を施した後に、図6(b)〜(e)に示すように、奇数番フレームの第1フィールドの画像信号についてはメモリ432の第1フィールド通常カラー画像領域432a(第1記憶領域)に、同じ奇数番フレームの第2フィールドの画像信号については第2フィールド蛍光画像領域432d(第2記憶領域)に、続く偶数番フレームの第1フィールドの画像信号については第1フィールド蛍光画像領域432c(第3記憶領域)に、同じ偶数番フレームの第2フィールドの画像信号については第2フィールド通常カラー画像領域432b(第4記憶領域)に、夫々格納(上書き)する。   Then, in the normal observation mode, the first-stage processing circuit 231 performs the above processing, and then the first field image signal of each frame is stored in the first field normal color image region 432a of the memory 432 in the second field. The image signal is stored (overwritten) in the second field fluorescence image area 432d. Further, in the fluorescence observation mode, the pre-stage processing circuit 231 performs the above processing, and then, as shown in FIGS. 6B to 6E, the memory 432 for the image signal of the first field of the odd-numbered frame. In the first field normal color image area 432a (first storage area), the second field fluorescent image area 432d (second storage area) for the second field image signal of the same odd number frame, The first field image signal 432c (third storage area) for the first field image signal, and the second field normal color image area 432b (fourth storage area) for the second field image signal of the same even-numbered frame. Each is stored (overwritten).

各後段映像信号処理回路433,434,435は、択一的に動作し、夫々、メモリ432から逐次読み出した一フレーム分の映像信号(即ち、第1フィールドの映像信号及び第2フィールドの映像信号がなす映像信号)に対して、デジタルアナログ変換,エンコーディング,及び、インピーダンスマッチング等の処理を施してモニタ60へ出力する回路である。具体的には、第1後段映像信号処理回路433は、通常観察モード下においてのみ動作して、第1フィールド通常カラー画像領域432a及び第2フィールド通常カラー画像領域432bから夫々映像信号を読み出し、第1フィールド通常カラー画像領域432aから読み出した映像信号を各フレームにおける第1フィールドの映像信号として扱うとともに、第2フィールド通常カラー画像領域432bから読み出した映像信号を各フレームにおける第2フィールドの映像信号として扱うことによって、各フレーム毎の映像信号を合成する。また、第2後段映像信号処理回路434は、蛍光観察モード下においてのみ操作パネル部23の表示切替スイッチ23c(図2参照)の一方への切り換えによって動作して、第1フィールド蛍光画像領域432c及び第2フィールド蛍光画像領域432dから夫々映像信号を読み出し、第1フィールド蛍光画像領域432cから読み出した映像信号を各フレームにおける第1フィールドの映像信号として扱うとともに、第2フィールド蛍光画像領域432dから読み出した映像信号を各フレームにおける第2フィールドの映像信号として扱うことによって、各フレーム毎の映像信号を合成する。   Each subsequent-stage video signal processing circuit 433, 434, 435 operates alternatively, and each of the video signals for one frame sequentially read from the memory 432 (that is, the video signal of the first field and the video signal of the second field). Is a circuit that performs processing such as digital-analog conversion, encoding, impedance matching, etc. on the video signal) and outputs it to the monitor 60. Specifically, the first post-stage video signal processing circuit 433 operates only in the normal observation mode, reads video signals from the first field normal color image area 432a and the second field normal color image area 432b, respectively, The video signal read from the one-field normal color image area 432a is handled as the first-field video signal in each frame, and the video signal read from the second-field normal color image area 432b is used as the second field video signal in each frame. By handling, the video signal for each frame is synthesized. Further, the second rear-stage video signal processing circuit 434 operates by switching to one of the display changeover switches 23c (see FIG. 2) of the operation panel unit 23 only in the fluorescence observation mode, and the first field fluorescence image area 432c and The video signal is read from the second field fluorescent image area 432d, the video signal read from the first field fluorescent image area 432c is handled as the video signal of the first field in each frame, and is read from the second field fluorescent image area 432d. By treating the video signal as the video signal of the second field in each frame, the video signal for each frame is synthesized.

また、スキャンコンバータ435は、蛍光観察モード下においてのみ操作パネル部23の表示切替スイッチ23cの他方への切り換えによって動作して、メモリ432の各領域432a〜dから所定の順番で映像信号を読み出すことによって、1画面中に通常カラー画像と蛍光画像とを並べて示すための映像信号を合成して、第3後段映像信号処理回路436に入力する。スキャンコンバータ435によるメモリ432の各領域432a〜dからの読み出しのシーケンスを、図6(b)〜(h)に示す。先ず、前提として、映像信号のメモリ432への書き込み及び読み出しに要する時間のために、撮像時(即ち、白色光又は励起光を被検部に照射して被検部を撮像素子が撮像するタイミング)とスキャンコンバータ435による読み出しとの間には、丁度1フレーム分のタイムラグが生じる。従って、第1フレームの映像信号をスキャンコンバータ435に入力し始めるタイミングは、第2フレームの撮像を開始するタイミングと一致するので、同じタイミング信号に基づいて相互に同期して動作する。同様に、第2フレームの映像信号をスキャンコンバータ435に入力し始めるタイミングは、第3フレームの撮像を開始するタイミングと一致するので、同じタイミング信号に基づいて相互に同期して動作する。   Further, the scan converter 435 operates by switching the display changeover switch 23c of the operation panel unit 23 to the other only in the fluorescence observation mode, and reads video signals from the respective regions 432a to 432d of the memory 432 in a predetermined order. Thus, a video signal for displaying the normal color image and the fluorescent image side by side in one screen is synthesized and input to the third subsequent-stage video signal processing circuit 436. The sequence of reading from the areas 432a to 432d of the memory 432 by the scan converter 435 is shown in FIGS. 6 (b) to 6 (h). First, as a premise, due to the time required to write and read the video signal to / from the memory 432, the timing at which the imaging device captures an image of the test part by irradiating the test part with white light or excitation light. ) And reading by the scan converter 435, a time lag of exactly one frame occurs. Accordingly, the timing at which the video signal of the first frame starts to be input to the scan converter 435 coincides with the timing at which the imaging of the second frame starts, and therefore operates in synchronization with each other based on the same timing signal. Similarly, the timing at which the video signal of the second frame starts to be input to the scan converter 435 coincides with the timing at which the imaging of the third frame starts, and therefore operates in synchronization with each other based on the same timing signal.

そして、スキャンコンバータ435は、第1フレームの第1フィールドに相当するタイミングでは、第1フィールド通常カラー画像領域432a及び第1フィールド蛍光画像領域432cから夫々映像信号を読み出して結合させることによって、通常カラー画像と蛍光画像とを並べて表示させる映像信号の第1フレームの第1フィールド分として、第3後段映像信号信号処理回路436に入力する。また、スキャンコンバータ435は、第1フレームの第2フィールドに相当するタイミングでは、第2フィールド通常カラー画像領域432b及び第2フィールド蛍光画像領域432dから夫々映像信号を読み出して結合させることによって、通常カラー画像と蛍光画像とを並べて表示させる映像信号の第1フレームの第2フィールド分として、第3後段映像信号信号処理回路436に入力する。以後においても同様に、スキャンコンバータ435は、各フレームの第1フィールドに相当するタイミングでは、第1フィールド通常カラー画像領域432a及び第1フィールド蛍光画像領域432cから夫々映像信号を読み出して結合させることによって、通常カラー画像と蛍光画像とを並べて表示させる映像信号の第1フィールド分として第3後段映像信号信号処理回路436に入力し、第2フィールドに相当するタイミングでは、第2フィールド通常カラー画像領域432b及び第2フィールド蛍光画像領域432dから夫々映像信号を読み出して結合させることによって、通常カラー画像と蛍光画像とを並べて表示させる映像信号の第2フィールド分として第3後段映像信号信号処理回路436に入力する。   The scan converter 435 reads out the video signals from the first field normal color image region 432a and the first field fluorescent image region 432c and combines them at the timing corresponding to the first field of the first frame. The image and the fluorescence image are input to the third subsequent-stage video signal signal processing circuit 436 as the first field of the first frame of the video signal to be displayed side by side. Further, the scan converter 435 reads out the video signals from the second field normal color image area 432b and the second field fluorescent image area 432d and combines them at the timing corresponding to the second field of the first frame. The image and the fluorescence image are input to the third post-stage video signal signal processing circuit 436 as the second field of the first frame of the video signal to be displayed side by side. Similarly, the scan converter 435 reads and combines the video signals from the first field normal color image region 432a and the first field fluorescent image region 432c at the timing corresponding to the first field of each frame. The normal color image and the fluorescent image are input to the third post-stage video signal signal processing circuit 436 as the first field of the video signal to be displayed side by side, and at the timing corresponding to the second field, the second field normal color image region 432b. In addition, by reading out and combining the video signals from the second field fluorescent image region 432d, respectively, the normal color image and the fluorescent image are input to the third subsequent video signal processing circuit 436 as the second field of the video signal to be displayed side by side. To do.

スキャンコンバータ435が以上のように動作することにより、メモリ432の各領域432a〜dに格納されている個々のフィールドの映像信号は、新たな映像信号によって更新されるまでの間に、2回にわたって(連続した2フレームにおける該当フィールドにおいて)読み出される。その結果、各フレームが第1フィールド及び第2フィールドから構成されるとともに、フレーム全体としてみた場合にはフレーム毎にその内容が更新される(即ち、テレビジョン規格に則した動画レート及び垂直方向の解像度を備えた)通常カラー画像と蛍光画像とを表示させるための映像信号が、得られるのである。   As the scan converter 435 operates as described above, the video signal of each field stored in each of the areas 432a to 432d of the memory 432 is updated twice with a new video signal. Read out (in the corresponding field in two consecutive frames). As a result, each frame is composed of a first field and a second field, and when viewed as a whole frame, the contents are updated for each frame (that is, the video rate and the vertical direction in accordance with the television standard). A video signal for displaying a normal color image and a fluorescent image (with resolution) is obtained.

第3後段映像信号処理回路436は、スキャンコンバータ435と同期して動作して、スキャンコンバータ435から順次入力される各フレーム毎の映像信号に基づいて、上述した処理を実行する。   The third post-stage video signal processing circuit 436 operates in synchronization with the scan converter 435 and executes the above-described processing based on the video signal for each frame sequentially input from the scan converter 435.

なお、上述したようにスキャンコンバータ435が通常カラー画像の映像信号と蛍光画像の映像信号とを単に結合しただけであると、映像信号処理回路43(第3後段映像信号処理回路436)から出力された映像信号に基づいてモニター60上に表示される画面は、通常カラー画像のリアルタイム動画と蛍光画像のリアルタイム動画とを単に並べて表示しただけのものとなるが、スキャンコンバータ435は、上述した以外にも様々な映像信号を結合することができる。例えば、図示せぬキャラクター生成回路から出力された映像信号(検査に関する文字情報を表示するための映像信号)を、スキャンコンバータ435が通常カラー画像の映像信号と蛍光画像の映像信号とに加えて更に結合した場合には、モニター60上に表示される画面は、例えば、図7に示すようになる。また、映像信号処理回路43が通常カラー画像の映像信号と蛍光画像の映像信号とを夫々任意にフリーズする静止画像メモリを備えている場合に、スキャンコンバータ435が通常カラー画像の映像信号と蛍光画像の映像信号とに加えて更に各静止画像メモリから夫々読み出した静止画像の映像信号を結合した場合には、モニター60上に表示される画面は、例えば、図8に示すようになる。   As described above, if the scan converter 435 simply combines the video signal of the normal color image and the video signal of the fluorescent image, the video signal processing circuit 43 (third post-stage video signal processing circuit 436) outputs the signal. The screen displayed on the monitor 60 based on the received video signal is simply a real-time moving image of a color image and a real-time moving image of a fluorescent image arranged side by side. However, the scan converter 435 is not limited to the above. Can also combine various video signals. For example, the scan converter 435 adds a video signal output from a character generation circuit (not shown) (video signal for displaying character information related to the inspection) to the normal color image video signal and the fluorescent image video signal. When combined, the screen displayed on the monitor 60 is, for example, as shown in FIG. When the video signal processing circuit 43 includes a still image memory that arbitrarily freezes the video signal of the normal color image and the video signal of the fluorescent image, the scan converter 435 has the video signal of the normal color image and the fluorescent image. When the still image video signals read from each still image memory are further combined with the video signal, the screen displayed on the monitor 60 is, for example, as shown in FIG.

何れの場合においても、モニター60上には、通常カラー画像のリアルタイム動画と蛍光画像のリアルタイム動画とが、並べて表示される。従って、術者は、画像を切り替えるための動作を全く行うことなく、同時に表示される両画像のリアルタイム動画を見比べることによって、異常部位の位置,形状及び大きさを認識することができる。しかも、表示される両画像は、テレビジョン規格に則した動画レート及び垂直方向の解像度を備えているので、細部まで仔細に観察することが可能となっている。   In any case, on the monitor 60, the real-time moving image of the normal color image and the real-time moving image of the fluorescent image are displayed side by side. Therefore, the operator can recognize the position, shape, and size of the abnormal site by comparing the real-time moving images of both images displayed at the same time without performing any operation for switching the images. In addition, since both displayed images have a moving image rate and a vertical resolution in accordance with the television standard, it is possible to closely observe details.

本発明の実施形態による内視鏡システムの外観を示す外観図1 is an external view showing an external appearance of an endoscope system according to an embodiment of the present invention. 内視鏡システムの内部構成を示す概略図Schematic showing the internal configuration of the endoscope system ロータリーシャッタの正面図Front view of rotary shutter レーザー光の分光特性及びレーザー光カットフィルターの透過特性を示すグラフGraph showing spectral characteristics of laser light and transmission characteristics of laser light cut filter 映像信号処理回路43の内部構造を示すブロック図Block diagram showing the internal structure of the video signal processing circuit 43 映像信号処理回路43の動作を説明するためのタイミングチャートTiming chart for explaining the operation of the video signal processing circuit 43 モニターの表示例を示す図Figure showing a monitor display example モニターの表示例を示す図Figure showing a monitor display example

符号の説明Explanation of symbols

10 蛍光観察内視鏡
12 対物光学系
13 撮像素子
16 ライトガイドファイババンドル
20 光源プロセッサ装置
28 集光レンズ
29 ビームスプリッタ
32 ロータリーシャッタ
33 ランプ
40 レーザー光源
42 システムコントロール回路
43 映像信号処理回路
60 モニター
431 前段映像信号処理回路
432 メモリ
435 スキャンコンバータ
DESCRIPTION OF SYMBOLS 10 Fluorescence observation endoscope 12 Objective optical system 13 Image sensor 16 Light guide fiber bundle 20 Light source processor apparatus 28 Condensing lens 29 Beam splitter 32 Rotary shutter 33 Lamp 40 Laser light source 42 System control circuit 43 Image signal processing circuit 60 Monitor 431 Video signal processing circuit 432 Memory 435 Scan converter

Claims (3)

体腔内に励起光を導入し、この励起光によって励起した生体組織が発する蛍光による像を内視鏡によって撮像する蛍光観察内視鏡装置であって、
その先端に対物光学系と、前記対物光学系によって形成された被検部の像を撮像して、1フレームが2フィールドからなる映像信号に変換して出力する撮像装置とを備えた内視鏡と、
(a+2n:但し、aは所定の整数,nは任意の整数)番フレームの第1フィールドに相当する期間及び(a+2n+1)番フレームの第2フィールドに相当する期間には白色光を、(a+2n)番フレームの第2フィールドに相当する期間及び(a+2n+1)番フレームの第1フィールドに相当する期間には励起光を、夫々前記被検部に照射する光照射手段と、
前記撮像装置から(a+2n)番フレームの第1フィールドに相当する期間に出力された映像信号,(a+2n)番フレームの第2フィールドに相当する期間に出力された映像信号,(a+2n+1)番フレームの第1フィールドに相当する期間に出力された映像信号,及び(a+2n+1)番フレームの第2フィールドに相当する期間に出力された映像信号を、第1乃至第4の記憶領域に夫々上書格納する記憶手段と、
各フレームの第1フィールドに相当するタイミングで前記記憶手段の第1記憶領域及び第3記憶領域から夫々映像信号を読み出して互いに結合し、各フレームの第2フィールドに相当するタイミングで前記記憶手段の第4記憶領域及び第2記憶領域から夫々映像信号を読み出して、前記第1記憶領域から読み出した映像信号に前記第4記憶領域から読み出した映像信号が対応するとともに前記第3記憶領域から読み出した映像信号に前記第2記憶領域から読み出した映像信号が対応するように互いに結合し、順次出力する結合手段と、
前記結合手段から順次出力された映像信号に基づいて動画表示を行う表示手段と
を備えたことを特徴とする蛍光観察内視鏡装置。
A fluorescence observation endoscope apparatus that introduces excitation light into a body cavity and images an image of fluorescence emitted by a living tissue excited by the excitation light with an endoscope,
An endoscope provided with an objective optical system at its tip and an imaging device that captures an image of a portion to be examined formed by the objective optical system, converts the image into a video signal consisting of two fields, and outputs the image signal. When,
(A + 2n: where a is a predetermined integer and n is an arbitrary integer) White light is emitted during the period corresponding to the first field of the numbered frame and the period corresponding to the second field of the (a + 2n + 1) th frame, (a + 2n) Light irradiating means for irradiating the test part with excitation light in a period corresponding to the second field of the number frame and a period corresponding to the first field of the (a + 2n + 1) number frame,
A video signal output during the period corresponding to the first field of the (a + 2n) th frame from the imaging device, a video signal output during the period corresponding to the second field of the (a + 2n) th frame, and the (a + 2n + 1) th frame The video signal output during the period corresponding to the first field and the video signal output during the period corresponding to the second field of the (a + 2n + 1) th frame are overwritten and stored in the first to fourth storage areas, respectively. Storage means;
The video signals are read out from the first storage area and the third storage area of the storage means at the timing corresponding to the first field of each frame and combined with each other, and at the timing corresponding to the second field of each frame. A video signal is read from each of the fourth storage area and the second storage area, and the video signal read from the fourth storage area corresponds to the video signal read from the first storage area and is read from the third storage area. Coupling means for mutually coupling and sequentially outputting video signals read from the second storage area corresponding to the video signals;
A fluorescence observation endoscope apparatus comprising: display means for displaying a moving image based on video signals sequentially output from the combining means.
前記撮像装置は、カラー撮像素子を備えた
ことを特徴とする請求項1記載の蛍光観察内視鏡装置。
The fluorescence observation endoscope apparatus according to claim 1, wherein the imaging apparatus includes a color imaging element.
前記対物光学系と前記撮像装置との間に前記励起光の波長成分をカットするフィルターを更に備えた
ことを特徴とする請求項1記載の蛍光観察内視鏡装置。
The fluorescence observation endoscope apparatus according to claim 1, further comprising a filter that cuts a wavelength component of the excitation light between the objective optical system and the imaging apparatus.
JP2004141550A 2004-05-11 2004-05-11 Fluorescence observation endoscope device Expired - Lifetime JP4520216B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004141550A JP4520216B2 (en) 2004-05-11 2004-05-11 Fluorescence observation endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004141550A JP4520216B2 (en) 2004-05-11 2004-05-11 Fluorescence observation endoscope device

Publications (2)

Publication Number Publication Date
JP2005319213A true JP2005319213A (en) 2005-11-17
JP4520216B2 JP4520216B2 (en) 2010-08-04

Family

ID=35466923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004141550A Expired - Lifetime JP4520216B2 (en) 2004-05-11 2004-05-11 Fluorescence observation endoscope device

Country Status (1)

Country Link
JP (1) JP4520216B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006116153A (en) * 2004-10-22 2006-05-11 Olympus Corp Image processing apparatus for endoscope and endoscope apparatus
JP2008012211A (en) * 2006-07-10 2008-01-24 Pentax Corp Endoscope apparatus for magnified observation
JP2008125996A (en) * 2006-11-24 2008-06-05 Pentax Corp Endoscope-subject distance measuring system
JP2012130629A (en) * 2010-12-24 2012-07-12 Fujifilm Corp Endoscopic diagnosis system
CN102869294A (en) * 2010-04-28 2013-01-09 奥林巴斯株式会社 Image processing device and fluorescent light observation device
JP2014121630A (en) * 2014-02-10 2014-07-03 Fujifilm Corp Endoscope device
JP2015042193A (en) * 2013-08-26 2015-03-05 Hoya株式会社 Electronic endoscope system
JP2015139520A (en) * 2014-01-28 2015-08-03 Hoya株式会社 electronic endoscope system
JP2016097240A (en) * 2014-11-26 2016-05-30 オリンパス株式会社 Imaging device and imaging method
WO2017183488A1 (en) * 2016-04-19 2017-10-26 オリンパス株式会社 Image processing device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007798A (en) 2013-02-13 2015-10-28 奥林巴斯株式会社 Fluorescent light observation device
WO2019124739A1 (en) * 2017-12-21 2019-06-27 한국전기연구원 Multi-image endoscope system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289507A (en) * 1994-04-22 1995-11-07 Olympus Optical Co Ltd Freezing device
JPH09131306A (en) * 1995-11-07 1997-05-20 Asahi Optical Co Ltd Fluorescence observation endoscope
JP2001078175A (en) * 1999-07-07 2001-03-23 Fuji Photo Film Co Ltd Fluorescent observation device
JP2003070721A (en) * 2001-09-06 2003-03-11 Pentax Corp Image processor and fluorescent observation endoscope system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289507A (en) * 1994-04-22 1995-11-07 Olympus Optical Co Ltd Freezing device
JPH09131306A (en) * 1995-11-07 1997-05-20 Asahi Optical Co Ltd Fluorescence observation endoscope
JP2001078175A (en) * 1999-07-07 2001-03-23 Fuji Photo Film Co Ltd Fluorescent observation device
JP2003070721A (en) * 2001-09-06 2003-03-11 Pentax Corp Image processor and fluorescent observation endoscope system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006116153A (en) * 2004-10-22 2006-05-11 Olympus Corp Image processing apparatus for endoscope and endoscope apparatus
JP2008012211A (en) * 2006-07-10 2008-01-24 Pentax Corp Endoscope apparatus for magnified observation
JP2008125996A (en) * 2006-11-24 2008-06-05 Pentax Corp Endoscope-subject distance measuring system
CN102869294A (en) * 2010-04-28 2013-01-09 奥林巴斯株式会社 Image processing device and fluorescent light observation device
US9456738B2 (en) 2010-12-24 2016-10-04 Fujifilm Corporation Endoscopic diagnosis system
JP2012130629A (en) * 2010-12-24 2012-07-12 Fujifilm Corp Endoscopic diagnosis system
JP2015042193A (en) * 2013-08-26 2015-03-05 Hoya株式会社 Electronic endoscope system
JP2015139520A (en) * 2014-01-28 2015-08-03 Hoya株式会社 electronic endoscope system
JP2014121630A (en) * 2014-02-10 2014-07-03 Fujifilm Corp Endoscope device
JP2016097240A (en) * 2014-11-26 2016-05-30 オリンパス株式会社 Imaging device and imaging method
WO2017183488A1 (en) * 2016-04-19 2017-10-26 オリンパス株式会社 Image processing device
JP6242552B1 (en) * 2016-04-19 2017-12-06 オリンパス株式会社 Image processing device
US10462440B2 (en) 2016-04-19 2019-10-29 Olympus Corporation Image processing apparatus

Also Published As

Publication number Publication date
JP4520216B2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
JP5435916B2 (en) Electronic endoscope system
JP4598182B2 (en) Electronic endoscope system
JP2010172673A (en) Endoscope system, processor for endoscope, and endoscopy aiding method
WO2004112591A1 (en) Endoscopic device
JP2002065582A (en) Electronic endoscope device
JP2011250926A (en) Electronic endoscope system
EP1743568B1 (en) Image processing device
KR20040069332A (en) Endoscope image processing apparatus
JP2006034415A (en) Electronic endoscope system
JPH0966023A (en) Video processor system for electronic endoscope for fluorescent diagnosis
JP2004321244A (en) Electronic endoscope system
JP4520216B2 (en) Fluorescence observation endoscope device
JP4744279B2 (en) Electronic endoscope device
JP2012170640A (en) Endoscope system, and method for displaying emphasized image of capillary of mucous membrane surface layer
JP4731225B2 (en) Fluorescence observation apparatus and light source apparatus
JP4648683B2 (en) Endoscope system
JP4846917B2 (en) Endoscope device for fluorescence observation
WO2006004038A1 (en) Light source device and fluorescence observation system
JP4459709B2 (en) Fluorescence observation endoscope device
JP4495513B2 (en) Fluorescence endoscope device
JP4459710B2 (en) Fluorescence observation endoscope device
JP2005319116A (en) Fluorescent observation endoscope apparatus
JPH01136629A (en) Endoscopic apparatus for fluorescent observation
JP2005021580A (en) Fluorescent endoscope system and light source device for fluorescent endoscope
JP4409227B2 (en) Probe-type observation apparatus and endoscope apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070411

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100520

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4520216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140528

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250