JP2000267016A - Electronic endoscope device having variable power function - Google Patents

Electronic endoscope device having variable power function

Info

Publication number
JP2000267016A
JP2000267016A JP11075263A JP7526399A JP2000267016A JP 2000267016 A JP2000267016 A JP 2000267016A JP 11075263 A JP11075263 A JP 11075263A JP 7526399 A JP7526399 A JP 7526399A JP 2000267016 A JP2000267016 A JP 2000267016A
Authority
JP
Japan
Prior art keywords
image
variable
shutter speed
aperture
variable power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11075263A
Other languages
Japanese (ja)
Other versions
JP4031591B2 (en
JP2000267016A5 (en
Inventor
Toshiji Minami
逸司 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP07526399A priority Critical patent/JP4031591B2/en
Priority to US09/526,874 priority patent/US6425858B1/en
Publication of JP2000267016A publication Critical patent/JP2000267016A/en
Publication of JP2000267016A5 publication Critical patent/JP2000267016A5/ja
Application granted granted Critical
Publication of JP4031591B2 publication Critical patent/JP4031591B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To make suppressible the blur of an image and to make obtainable the stable brightness thereof when the image is picked up by utilizing a variable power mechanism. SOLUTION: An observing distance is changed by moving a movable lens 14 by an actuator 17 by the operation of a variable power switch 20. When the variable power position of the lens 14 is detected by an encoder 18 and a shutter speed being shorter than the exposure time of an inoperative time is set according to the variable power position by a CPU 31, the blur of the image is suppressed. Besides, the variable amount of a diaphragm 24 is restricted to prescribed width according to the increase of the electronic shutter speed. Then, when the brightness of the image becomes insufficient because of the restriction of the variable width of the diaphragm, the gain of a video signal is enhanced by an AGC circuit 35.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は電子内視鏡装置、特
に観察距離を変える変倍機能を利用して被観察体を固体
撮像素子にて撮像する装置の光量制御の内容に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic endoscope apparatus, and more particularly to the content of light quantity control of an apparatus for imaging an object to be observed with a solid-state image sensor using a variable magnification function for changing an observation distance.

【0002】[0002]

【従来の技術】最近では、内視鏡の挿入先端部に例えば
観察距離を変更するための変倍駆動機構を組み込み、こ
の変倍機構の構成部材である可動レンズを駆動すること
が提案されている。即ち、これは例えばモータの回転駆
動力を線状の伝達部材、例えば多重コイルバネ部材を用
いて変倍機構部へ伝達し、ここで回転運動を直線運動に
変換して対物光学系の所定の可動レンズを前後移動さ
せ、変倍動作を実行するものであり、観察距離を変更す
るためのバリフォーカルな光学系や焦点距離を可変に対
応させたズーム光学系等がある。これによれば、被観察
体像を拡大して観察することができ、微細な診断が可能
となる。
2. Description of the Related Art Recently, it has been proposed to incorporate a variable power driving mechanism for changing, for example, an observation distance into an insertion end of an endoscope and drive a movable lens which is a constituent member of the variable power mechanism. I have. That is, for example, the rotational driving force of the motor is transmitted to the variable power mechanism using a linear transmission member, for example, a multiple coil spring member, where the rotational motion is converted into a linear motion and a predetermined movable motion of the objective optical system is performed. A variable power operation is performed by moving the lens back and forth, and there are a varifocal optical system for changing the observation distance, a zoom optical system with a variable focal length, and the like. According to this, the image of the object to be observed can be magnified and observed, and fine diagnosis can be performed.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記の
変倍機能を有する電子内視鏡装置では、被観察体内を拡
大して病巣などの詳細な画像をモニタ等で観察できる反
面、この観察像にぶれが生じることがあるという問題が
ある。即ち、被観察体像を拡大するということは、観察
部位の拍動によるぶれ、挿入時の先端部の揺れによるぶ
れ等が、標準観察時では小さなものであっても大きなぶ
れとして現れる(拡大される)ことを意味し、特に静止
画を形成し、記録する場合には無視できないものとな
る。
However, in the electronic endoscope apparatus having the zooming function described above, a detailed image of a lesion or the like can be observed on a monitor or the like by enlarging the inside of the object to be observed. There is a problem that blurring may occur. That is, the enlargement of the observed object image means that the shake due to the pulsation of the observation site, the shake due to the shaking of the distal end at the time of insertion, etc. appear as a large shake even if it is small at the time of standard observation. ), Which is not negligible especially when a still image is formed and recorded.

【0004】また、内視鏡の挿入先端部に組み込まれる
上記変倍機構に、バリフォーカルな光学系を採用した場
合、観察距離を変えたときにはピント合せのために内視
鏡先端部(対物光学系)を多少前後移動させる必要が生
じる。従って、標準(通常)の観察時(変倍機構を用い
ない時)と比較すると、先端部の振れにより画像がぶれ
易くなる。
When a varifocal optical system is used for the zooming mechanism incorporated in the insertion end of the endoscope, when the observation distance is changed, the endoscope (objective optical system) is used for focusing. System) needs to be moved slightly back and forth. Therefore, as compared with the standard (normal) observation (when the zoom mechanism is not used), the image is more likely to be blurred due to the shake of the tip.

【0005】一方、この種の内視鏡では、絞り部材を用
いた絞り機構等により画像の明るさを一定に維持する自
動光量制御が行われており、上記の変倍機能を働かせる
場合でも、この明るさの調整が安定した状態で実行され
る必要がある。
On the other hand, in this type of endoscope, automatic light quantity control for maintaining the brightness of an image constant by a diaphragm mechanism using a diaphragm member or the like is performed. This adjustment of brightness needs to be performed in a stable state.

【0006】本発明は上記問題点に鑑みてなされたもの
であり、その目的は、変倍機構を利用して撮像する場合
の画像のぶれが抑制できると共に、画像の安定した明る
さを得ることが可能となる変倍機能を有する電子内視鏡
装置を提供することにある。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to suppress blurring of an image when taking an image using a zoom mechanism and to obtain stable brightness of the image. It is an object of the present invention to provide an electronic endoscope apparatus having a variable power function that enables the zooming.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するため
に、請求項1に係る変倍機能を有する電子内視鏡装置
は、観察画像を対物光学系により光学的に拡大可能な変
倍機構と、上記対物光学系からの入射光により被観察体
を撮像する固体撮像素子と、この固体撮像素子の電荷蓄
積時間を制御し、上記変倍機構の作動時に、当該変倍機
構の不作動時の露光時間よりも短くなる高速のシャッタ
速度を設定する電子シャッタ制御回路と、光源からの出
力光を絞り部材で可変制御する絞り機構と、上記変倍機
構の作動時に、上記電子シャッタ速度の高速化に対応し
て上記絞り機構の絞り可変量を所定幅に制限する制御回
路と、を含んでなることを特徴とする。請求項2に係る
発明は、上記固体撮像素子から出力された画像信号のゲ
インを可変制御するゲイン制御回路を設け、上記制御回
路は、上記画像信号から画像の明るさを検出し、上記の
絞り機構による光量制御によっても所定の明るさが得ら
れない場合に、上記ゲイン制御回路により画像信号のゲ
インを調整して画像の明るさを一定に維持することを特
徴とする。
In order to achieve the above object, an electronic endoscope apparatus having a variable power function according to claim 1 is a variable power mechanism capable of optically enlarging an observation image by an objective optical system. And a solid-state imaging device for imaging an object to be observed with incident light from the objective optical system, and controlling the charge accumulation time of the solid-state imaging device. An electronic shutter control circuit for setting a high shutter speed that is shorter than the exposure time, a diaphragm mechanism for variably controlling the output light from the light source with a diaphragm member, and a high speed of the electronic shutter speed when the magnification varying mechanism is operated. And a control circuit for limiting the variable aperture amount of the aperture mechanism to a predetermined width in accordance with the configuration. The invention according to claim 2 further includes a gain control circuit that variably controls a gain of an image signal output from the solid-state imaging device, wherein the control circuit detects brightness of an image from the image signal, and controls the aperture. When a predetermined brightness cannot be obtained by the light amount control by the mechanism, the gain of the image signal is adjusted by the gain control circuit to maintain the brightness of the image constant.

【0008】上記の構成によれば、標準時で約1/60
秒の露光時間となっている場合、変倍機能動作における
中点の拡大時では例えば1/1000秒、最大の拡大時
で1/10000秒の電子シャッタが設定される。即
ち、拡大率が高くなる程、高速になるように設定され、
この電子シャッタ速度の可変設定は、固体撮像素子であ
るCCDで蓄積される電荷の掃出しパルスを制御し、こ
の掃出し後の電荷蓄積時間を変えることにより行われ
る。
According to the above configuration, the standard time is about 1/60.
When the exposure time is seconds, the electronic shutter is set to, for example, 1/1000 second when the middle point is enlarged in the zoom function operation, and 1/10000 second when the maximum enlargement is performed. That is, the higher the magnification, the higher the speed,
The variable setting of the electronic shutter speed is performed by controlling a discharge pulse of charges accumulated in a CCD which is a solid-state imaging device and changing a charge accumulation time after the discharge.

【0009】そして、上記のシャッタ速度の可変動作中
でも、絞り機構を駆動することにより画像の明るさが一
定に制御されるが、電子シャッタ速度を高速に設定する
ことから、このシャッタ速度の可変幅が大きい場合や被
観察体が急激な動きをした場合、内視鏡先端部が大きく
動いた場合等に、絞り機構の応答に遅れが生じて光量調
整が不安定となり画面が乱れることがある。そこで、本
発明では、電子シャッタ速度の高速化に対応して上記絞
り機構の絞り可変量を所定幅に制限したものであり、こ
れによって絞り機構の応答の遅れ状態がなくなり、画面
の乱れが抑制される。
The brightness of the image is controlled to be constant by driving the aperture mechanism even during the above-mentioned variable operation of the shutter speed. However, since the electronic shutter speed is set to a high speed, the variable width of the shutter speed is controlled. When the distance is large, when the object to be observed moves abruptly, or when the distal end portion of the endoscope moves greatly, the response of the aperture mechanism is delayed, the light amount adjustment becomes unstable, and the screen may be disturbed. Therefore, in the present invention, the aperture variable amount of the aperture mechanism is limited to a predetermined width in response to an increase in the electronic shutter speed, thereby eliminating a delay state of the response of the aperture mechanism and suppressing screen disturbance. Is done.

【0010】一方、上記のように絞り可変量を制限する
と、一定の明るさを得るための光量が不足する場合が生
じる。そこで、請求項2の構成では、輝度信号等による
画像明るさの判定に基づき、明るさが不足する場合は画
像信号のゲインを上げるように制御することになり、こ
の信号増幅処理によって明るさが一定に維持される。
On the other hand, when the variable aperture amount is limited as described above, the amount of light for obtaining a constant brightness may be insufficient. Therefore, according to the configuration of claim 2, based on the determination of the image brightness based on the luminance signal or the like, if the brightness is insufficient, control is performed so as to increase the gain of the image signal. It is kept constant.

【0011】[0011]

【発明の実施の形態】図1及び図2には、実施形態例に
係る変倍機能を有する電子内視鏡装置の構成が示されて
おり、図1の電子内視鏡(スコープ)10は光源及びプ
ロセッサ装置12にコネクタ接続される。この電子内視
鏡10では、バリフォーカルな対物光学系又はズーム対
物光学系として前側レンズ13及び前後移動する可動レ
ンズ14が設けられ、この可動レンズ14の後方にCC
D(Charge Coupled Device)16が配置される。
1 and 2 show the configuration of an electronic endoscope apparatus having a variable magnification function according to an embodiment. The electronic endoscope (scope) 10 shown in FIG. The connector is connected to the light source and the processor device 12. In this electronic endoscope 10, a front lens 13 and a movable lens 14 that moves back and forth are provided as a varifocal objective optical system or a zoom objective optical system.
A D (Charge Coupled Device) 16 is arranged.

【0012】上記可動レンズ14には、図2にも示され
るように、駆動用のアクチュエータ17が取り付けられ
ると共に、レンズ駆動位置(変倍位置)を検出するため
のエンコーダ18が設けられており、このエンコーダ1
8の出力に基づいて拡大率が判定される。また、この電
子内視鏡10の例えば操作部に、トグルスイッチ、シー
ソースイッチ等からなる変倍スイッチ20やマニュアル
でシャッタ速度を設定するためのシャッタ速度設定スイ
ッチ21が設けられており、上記変倍スイッチ20は端
子aへの接続により拡大方向、端子bへの接続により縮
小方向に上記可動レンズ14を移動させることができ
る。なお、この他にも、電子内視鏡操作部には静止画を
形成し記録するためのフリーズ釦等が配置される。
As shown in FIG. 2, the movable lens 14 is provided with a drive actuator 17 and an encoder 18 for detecting a lens drive position (magnification position). This encoder 1
8, the enlargement ratio is determined. Further, for example, an operation unit of the electronic endoscope 10 is provided with a zooming switch 20 including a toggle switch, a seesaw switch and the like, and a shutter speed setting switch 21 for manually setting a shutter speed. The switch 20 can move the movable lens 14 in the enlargement direction by connecting to the terminal a and in the contraction direction by connecting to the terminal b. In addition, a freeze button or the like for forming and recording a still image is arranged in the electronic endoscope operation unit.

【0013】また、この電子内視鏡10から光源及びプ
ロセッサ装置12の光源部まで、ライトガイド22が配
設され、このライトガイド22の光入射端に、集光レン
ズ23を介して絞り24が設けられ、この絞り24の後
方に光源ランプ25が配置される。上記絞り24は、絞
り駆動回路26で駆動されており、当該例では後述する
処理回路で得られた輝度信号等に基づいてこの絞り24
の開口量を制御することにより、出力光量を調整して画
像の明るさが一定に維持される。
A light guide 22 is provided from the electronic endoscope 10 to the light source and the light source section of the processor device 12. A stop 24 is provided at a light incident end of the light guide 22 via a condenser lens 23. A light source lamp 25 is disposed behind the stop 24. The diaphragm 24 is driven by a diaphragm driving circuit 26. In this example, the diaphragm 24 is controlled based on a luminance signal obtained by a processing circuit described later.
By controlling the opening amount of the image, the amount of output light is adjusted and the brightness of the image is kept constant.

【0014】更に、この絞り24の全閉から全開までの
絞り位置(駆動位置)が絞り位置検出器(エンコーダ
等)24Dで検出され、この検出値はA/D変換器27
でデジタル信号に変換される。図3には、この絞り24
及び位置検出器24Dの構成が示されており、絞り24
は例えば扇状の絞り羽根24Aが軸24Bを中心に回動
するものとし、この絞り羽根24の根元部24Cの回転
状態を絞り位置検出器24Dの電圧の変化で捉え、その
回転位置である絞り位置を検出電圧値としてA/D変換
器27へ出力することができる。
Further, a diaphragm position (drive position) from the fully closed to fully opened position of the diaphragm 24 is detected by a diaphragm position detector (encoder or the like) 24D, and the detected value is converted to an A / D converter 27.
Is converted into a digital signal. FIG.
And the configuration of the position detector 24D.
For example, it is assumed that a fan-shaped aperture blade 24A rotates around a shaft 24B, and the rotation state of a root portion 24C of the aperture blade 24 is detected by a change in the voltage of an aperture position detector 24D, and the rotation position is the aperture position. To the A / D converter 27 as the detected voltage value.

【0015】上記光源及びプロセッサ装置12におい
て、上記アクチュエータ17を駆動するためのアクチュ
エータ駆動回路28、上記エンコーダ18のアナログ出
力をデジタル変換するA/D変換器29が設けられ、こ
れらは上記A/D変換器27も同様であるが、I/O部
30を介して、各回路を統括制御するCPU31に接続
される。従って、上記変倍スイッチ20を操作すると、
アクチュエータ駆動回路28を介してアクチュエータ1
7が作動し、可動レンズ14を前後に移動させることに
なり、当該例では、この可動レンズ14を前側へ繰り出
すことにより観察距離(焦点距離)を遠距離(Far)
方向に、後側へ後退させることにより近距離(Nea
r)方向に設定することができる。
In the light source and processor unit 12, an actuator drive circuit 28 for driving the actuator 17 and an A / D converter 29 for converting an analog output of the encoder 18 into a digital signal are provided. The converter 27 is the same, but is connected via an I / O unit 30 to a CPU 31 that controls each circuit. Therefore, when the variable power switch 20 is operated,
Actuator 1 via actuator drive circuit 28
7, the movable lens 14 is moved back and forth, and in this example, the observation distance (focal length) is set to a long distance (Far) by extending the movable lens 14 forward.
In the direction (Near
r) direction.

【0016】一方、上記可動レンズ14の移動位置はエ
ンコーダ18で検出しており、この検出値をA/D変換
器29を介してアクチュエータ駆動回路28に与えるこ
とにより、可動レンズ14が位置制御される。このエン
コーダ18の出力は変倍位置としてI/O部30を介し
てCPU31へも供給されており、このCPU31で
は、可動レンズ14の変倍位置に基づき電子シャッタ速
度の指令信号を出力する。
On the other hand, the moving position of the movable lens 14 is detected by an encoder 18, and the detected value is given to an actuator drive circuit 28 via an A / D converter 29, whereby the position of the movable lens 14 is controlled. You. The output of the encoder 18 is also supplied to the CPU 31 via the I / O unit 30 as a variable power position. The CPU 31 outputs an electronic shutter speed command signal based on the variable power position of the movable lens 14.

【0017】また、上記CCD16に接続してタイミン
グジェネレータ(TG)を含むCCD駆動回路33が設
けられており、このCCD駆動回路33はCCD16の
駆動制御をすると共に、上記CPU31の指令信号を受
けて電子シャッタ制御を実行する。この電子シャッタ制
御は、CCD16の電荷蓄積動作での掃出しパルス(時
間)を調整することにより電荷蓄積時間(露光時間)を
変化させるものであり、図4に示されるように、例えば
垂直同期信号の1/60秒の1垂直走査期間において1
H(水平走査期間)毎に掃出しパルスφSUBが出力さ
れるが、図(A)のように掃出しパルスφSUBを時間
H1 だけ出力することにより、残りの1/100秒の電
荷蓄積時間、即ちシャッタ速度が設定され、図(B)の
ように時間H2 の掃出しパルスφSUBの出力により、
1/4000秒のシャッタ速度が設定される。そして、
このシャッタ速度で蓄積された電荷(露光量信号)は垂
直同期信号の終端下降時に読み出される。
Further, a CCD drive circuit 33 including a timing generator (TG) is provided connected to the CCD 16. The CCD drive circuit 33 controls the drive of the CCD 16 and receives a command signal from the CPU 31. Execute electronic shutter control. This electronic shutter control changes the charge accumulation time (exposure time) by adjusting the sweep pulse (time) in the charge accumulation operation of the CCD 16, and as shown in FIG. 1 in 1/60 second vertical scanning period
The sweep pulse φSUB is output every H (horizontal scanning period). By outputting the sweep pulse φSUB for the time H1 as shown in FIG. 3A, the remaining charge accumulation time of 1/100 second, that is, the shutter speed Is set, and the output of the sweep pulse φSUB at time H2 as shown in FIG.
A shutter speed of 1/4000 second is set. And
The electric charge (exposure amount signal) accumulated at this shutter speed is read out at the end of the vertical synchronizing signal.

【0018】このような電子シャッタ制御において、当
該例では図5に示される複数の制御パターンが実行でき
るようになっている。即ち、上記CPU31に接続され
るROM(Read Only Memory)32に、例えば図4のS
1 からS4 の制御パターン(テーブル)が記憶されてお
り、このパターンは光源及びプロセッサ装置12の不図
示の操作パネル等に設けられた設定スイッチ、或いはモ
ニタ画面での設定によって選択することができる。例え
ば、単純な制御例としてのパターンS4 を選択した場合
は、上記可動レンズ14が標準位置から拡大されると、
全ての変倍位置で1/10000秒のシャッタ速度が設
定されることになる。
In such an electronic shutter control, in this example, a plurality of control patterns shown in FIG. 5 can be executed. That is, for example, in the ROM (Read Only Memory) 32 connected to the CPU 31,
The control patterns (tables) from 1 to S4 are stored, and the patterns can be selected by setting switches provided on an operation panel (not shown) of the light source and the processor device 12 or setting on a monitor screen. For example, when the pattern S4 as a simple control example is selected, when the movable lens 14 is enlarged from the standard position,
A shutter speed of 1/10000 second is set at all zoom positions.

【0019】一方、上記CCD16で得られたビデオ信
号を画像処理するために、クランプ処理や信号増幅処理
等をするCDS(Correlated Double Sampling−相関二
重サンプリング)/AGC(Automatic Gain Control−
自動利得制御)回路35、A/D変換器36、例えば色
差信号C及び輝度信号Yを形成し、かつガンマ補正、輪
郭補正等の各種の処理をする信号処理回路37、D/A
変換器39、モニタへの出力処理をするエンコーダ40
等が設けられる。なお、当該例では、被観察体像の表示
処理と共に、上記電子シャッタ速度の表示処理も行わ
れ、例えば図6に示されるように、画面の四隅端部Eに
設定された電子シャッタ速度が表示される。
On the other hand, in order to perform image processing on the video signal obtained by the CCD 16, a CDS (Correlated Double Sampling) / AGC (Automatic Gain Control) for performing a clamping process, a signal amplification process, and the like.
Automatic gain control) circuit 35, A / D converter 36, for example, a signal processing circuit 37 for forming a color difference signal C and a luminance signal Y and performing various processes such as gamma correction and contour correction, D / A
A converter 39 and an encoder 40 for performing output processing to a monitor
Are provided. In this example, the display processing of the electronic shutter speed is also performed together with the display processing of the observation object image. For example, as shown in FIG. 6, the electronic shutter speed set at the four corners E of the screen is displayed. Is done.

【0020】ここで、上記の信号処理回路37で得られ
た輝度信号Yは、CPU31へも供給され、このCPU
31では輝度信号Yが所定値になるように上記絞り駆動
回路26を介して絞り24の開口量を制御しており、こ
れによって画像(画面)の明るさが一定に維持される。
従って、上記の電子シャッタ制御により露光時間が短く
なっても、出力光量が調整され、画像の明るさは一定に
保たれることになる。
The luminance signal Y obtained by the signal processing circuit 37 is also supplied to the CPU 31.
At 31, the aperture of the aperture 24 is controlled via the aperture drive circuit 26 so that the luminance signal Y becomes a predetermined value, whereby the brightness of the image (screen) is maintained constant.
Therefore, even if the exposure time is shortened by the electronic shutter control, the output light amount is adjusted, and the brightness of the image is kept constant.

【0021】更に、当該例では変倍機構の作動時に上記
絞り24の可変量を所定幅に制限している。即ち、図5
に示されるように、縦軸に絞り開口量をとり、最下端を
全閉、最上端を全開とすると、標準時(変倍機構の不作
動時)では幅K1 のように全ての領域が使用範囲となる
が、例えば変倍の中点位置では幅K2 (絞り位置k2〜
k3 )、最大位置では幅K3 (絞り位置k1 〜k2 )に
使用範囲が制限される。この可変幅Kは、基本的に画像
拡大率が高くなり電子シャッタ速度が高速に設定される
程、小さな幅となるように設定される。これによって、
電子シャッタ速度の高速化に伴なう絞り機構(24)の
応答遅れをなくすことができる。このような絞り24の
制限データ(テーブル)は、電子シャッタ速度の上記パ
ターンと共に、上記ROM32に記憶されており、この
ROM32から制限データを読み出すことにより実行さ
れる。
Further, in this example, the variable amount of the diaphragm 24 is limited to a predetermined width when the magnification varying mechanism is operated. That is, FIG.
As shown in the figure, if the vertical axis is the aperture opening amount, the lowermost end is fully closed, and the uppermost end is fully open, in the standard time (when the variable-magnification mechanism is not operated), all the areas such as the width K1 are used. For example, at the middle point of the magnification, the width K2 (aperture position k2-
k3), at the maximum position, the usable range is limited to the width K3 (aperture positions k1 to k2). This variable width K is basically set to be smaller as the image enlargement ratio increases and the electronic shutter speed is set to a higher speed. by this,
It is possible to eliminate a response delay of the diaphragm mechanism (24) due to an increase in the electronic shutter speed. Such limit data (table) of the diaphragm 24 is stored in the ROM 32 together with the pattern of the electronic shutter speed, and is executed by reading the limit data from the ROM 32.

【0022】当該例の変倍機構のレンズ系として、特に
上述したようなバリフォーカルな光学系を用いた場合
は、変倍操作時にピント合せのために内視鏡先端部を多
少動かす必要があり、拡大率を高くする場合は前側へ少
し動かすことになる。このため、ライトガイド先端も前
側へ移動し、被観察体を照射する光量が増加する方向に
あり、上記の絞り24による大幅な光量制御が必要とな
ることはそれ程多くはない。従って、上記のように、絞
り24の可変幅を制限しても、画像の明るさが極端に変
化することは少ない。
In particular, when the varifocal optical system as described above is used as the lens system of the zoom mechanism, it is necessary to slightly move the distal end of the endoscope for focusing during zooming operation. To increase the magnification, the user moves a little forward. For this reason, the tip of the light guide also moves to the front side, and the amount of light illuminating the object to be observed is in the direction of increasing. Therefore, even if the variable width of the aperture 24 is limited as described above, the brightness of the image rarely changes extremely.

【0023】しかし、画像の明るさが常に十分であると
は限らない。そこで、当該例の上記CPU31では、上
記の絞り24の可変幅の制限時に、輝度信号等に基づき
光量が不足すると判定した場合に、上記CDS/AGC
回路35の自動利得制御回路に対し画像信号(ビデオ信
号)のゲインを上げるように制御する。この結果、画像
の明るさが常に一定に維持されることになる。
However, the brightness of the image is not always sufficient. Therefore, when the CPU 31 of the present example determines that the light amount is insufficient based on the luminance signal or the like when the variable width of the diaphragm 24 is limited, the CPU 31 sets the CDS / AGC.
The automatic gain control circuit of the circuit 35 is controlled so as to increase the gain of the image signal (video signal). As a result, the brightness of the image is always kept constant.

【0024】以上のように当実施形態例の構成によれ
ば、図1の光源ランプ25からの光がライトガイド22
を介して電子内視鏡10の先端部から照射され、これに
よって被観察体内が対物光学系13,14を介してCC
D16で捉えられる。この電子内視鏡10の操作部の変
倍スイッチ20が操作されず、可動レンズ14が標準位
置にあるときは、電子シャッタ制御及び絞り機構の可変
量制限は実行されず、CCD駆動回路33では例えば固
定の掃出しパルスφSUBが出力された後の約1/60
秒の時間(この露光時間は任意)に蓄積された電荷が読
み出される。そして、この読出し信号がビデオ信号とし
て処理されることにより、エンコーダ40からは色差信
号Cと輝度信号Yが出力され、これによってモニタに被
観察体内の画像が表示される。
As described above, according to the configuration of this embodiment, the light from the light source lamp 25 shown in FIG.
Is irradiated from the distal end of the electronic endoscope 10 through the optical system, whereby the object to be observed is CC-connected through the objective optical systems 13 and 14.
Captured at D16. When the variable power switch 20 of the operation unit of the electronic endoscope 10 is not operated and the movable lens 14 is at the standard position, the electronic shutter control and the restriction of the variable amount of the aperture mechanism are not performed. For example, about 1/60 after the output of the fixed sweep pulse φSUB
The electric charges accumulated during the time of second (the exposure time is arbitrary) are read. Then, the read signal is processed as a video signal, so that the encoder 40 outputs a color difference signal C and a luminance signal Y, whereby an image of the inside of the body to be observed is displayed on the monitor.

【0025】一方、変倍スイッチ20が操作されると、
アクチュエータ駆動回路28の制御によりアクチュエー
タ17が駆動し、上記可動レンズ14を標準位置から前
側へ移動させ、画像を拡大する。これと同時に、エンコ
ーダ18では当該可動レンズ14の変倍位置(拡大位
置)を検出しており、この位置検出値はアクチュエータ
駆動回路28での制御値として利用されると共に、現在
の変倍位置情報としてI/O部30を介してCPU31
へ供給される。そうすると、このCPU31では、RO
M32内の制御パターンに基づき現在の変倍位置に対応
した電子シャッタ速度の指令信号を出力する。
On the other hand, when the magnification switch 20 is operated,
The actuator 17 is driven by the control of the actuator drive circuit 28 to move the movable lens 14 from the standard position to the front side, thereby enlarging the image. At the same time, the encoder 18 detects the zoom position (enlarged position) of the movable lens 14, and this position detection value is used as a control value in the actuator drive circuit 28, and the current zoom position information CPU 31 via the I / O unit 30
Supplied to Then, in this CPU 31, RO
An electronic shutter speed command signal corresponding to the current zoom position is output based on the control pattern in M32.

【0026】例えば、図5の中点の手前の変倍位置Z1
に可動レンズ14が移動している場合を考えると、パタ
ーンS1 が選択されている時は電子シャッタ速度1/1
000秒、パターンS2 が選択されている時は1/25
0秒、パターンS3 が選択されている時は約1/60秒
(OFFで標準時と同じ時間)、パターンS4 が選択され
ている時は1/10000秒の指令信号をCCD駆動回
路33へ出力することになる。そうすると、このCCD
駆動回路33は、図4で説明したように、掃出しパルス
φSUBの出力(時間H)を制御することになり、これ
によって上記の電子シャッタ速度が設定される。この電
子シャッタ速度の値は、図6に示すようにモニタ41の
四隅端部Eに表示される。
For example, the zoom position Z1 before the middle point in FIG.
Considering the case where the movable lens 14 is moving, the electronic shutter speed is 1/1 when the pattern S1 is selected.
000 seconds, 1/25 when pattern S2 is selected
A command signal is output to the CCD drive circuit 33 for 0 second, about 1/60 second (when OFF and the same time as the standard time) when the pattern S3 is selected, and 1/10000 second when the pattern S4 is selected. Will be. Then, this CCD
The drive circuit 33 controls the output (time H) of the sweep pulse φSUB, as described with reference to FIG. 4, whereby the electronic shutter speed is set. The value of the electronic shutter speed is displayed at the four corners E of the monitor 41 as shown in FIG.

【0027】このようにして、変倍スイッチ20の操作
により画像が拡大されたときは、電子シャッタ速度が高
速化され、CCD16への短時間の露光により被観察体
内の画像が形成されることになり、電子内視鏡10の先
端部が振れた場合、観察部位に拍動がある場合等であっ
ても、拡大画像のぶれが抑制され、安定した良好な動画
が形成され、またフリーズ釦が操作される場合でも、ぶ
れのない静止画が表示される。
As described above, when the image is enlarged by operating the zoom switch 20, the electronic shutter speed is increased, and an image of the inside of the body to be observed is formed by short-time exposure of the CCD 16. That is, even when the tip of the electronic endoscope 10 shakes, even when the observed part has a pulsation, etc., the blurring of the enlarged image is suppressed, a stable good moving image is formed, and the freeze button is pressed. Even when operated, a still image without blur is displayed.

【0028】そして、同時にCPU31は入力した輝度
信号Yのデータに基づき絞り駆動回路26を介して絞り
25からの出力光量の制御が行われるが、上述したよう
に、拡大率が高くなる程小さくなる可変幅K、例えば拡
大の中点位置ではK2 、最大位置ではK3 の可変幅に絞
り24の駆動量が制限される。即ち、図3に示したよう
に、絞り羽根24Aの絞り位置(回動位置)は位置検出
器24Dで検出され、CPU31へ供給されており、上
記の中点位置では、例えば絞り位置k2 〜k3以外の位
置への駆動を禁止し、最大位置では絞り位置k1 〜k2
以外の位置への駆動を禁止する。この結果、絞り24の
応答性の遅れをなくすことができ、画面の乱れが抑制さ
れる。
At the same time, the CPU 31 controls the amount of light output from the diaphragm 25 via the diaphragm driving circuit 26 based on the input data of the luminance signal Y. The driving amount of the diaphragm 24 is limited to a variable width K, for example, K2 at the middle position of the enlargement, and K3 at the maximum position. That is, as shown in FIG. 3, the aperture position (rotational position) of the aperture blade 24A is detected by the position detector 24D and supplied to the CPU 31, and at the above-mentioned midpoint position, for example, the aperture positions k2 to k3. Drive to positions other than the above is prohibited.
Driving to any other position is prohibited. As a result, it is possible to eliminate the delay in the response of the diaphragm 24, and to suppress the disturbance of the screen.

【0029】また、上記CPU31は、絞り可変幅を制
限したときであって、輝度データが所定値以下となり画
像が暗いと判断したとき、CDS/AGC回路35に対
し輝度信号データと所定値の差に対応する分だけ、ビデ
オ信号のゲインを上げるように指令する。これにより、
AGC回路35はビデオ信号を増幅処理するので、絞り
可変幅の制限によって画像の明るさが損なわれることが
防止される。
When the CPU 31 determines that the brightness data is smaller than the predetermined value and the image is dark when the aperture variable width is limited, the CPU 31 sends a difference between the brightness signal data and the predetermined value to the CDS / AGC circuit 35. Is instructed to increase the gain of the video signal by an amount corresponding to. This allows
Since the AGC circuit 35 amplifies the video signal, it is possible to prevent the brightness of the image from being impaired by the restriction of the variable aperture width.

【0030】更に、当該実施形態例では、図1で説明し
たように、マニュアルでシャッタ速度を設定するための
シャッタ速度設定スイッチ21が配置されており、変倍
動作時の電子シャッタ速度を使用者が手動で設定するこ
ともできる。例えば、この設定スイッチ21は押下によ
りサイクリックに値が変わるスイッチとすることによ
り、画面41の表示(E)を確認しながら、上記パター
ンS4 やS5 のシャッタ速度を所望の速度に設定するこ
とができる。
Further, in this embodiment, as described with reference to FIG. 1, a shutter speed setting switch 21 for manually setting the shutter speed is provided, and the electronic shutter speed during the variable power operation is set by the user. Can also be set manually. For example, the setting switch 21 is a switch whose value changes cyclically when pressed, so that the shutter speed of the patterns S4 and S5 can be set to a desired speed while checking the display (E) on the screen 41. it can.

【0031】図7には、上記電子シャッタ速度の好まし
い設定範囲と絞り機構の可変幅の他の例が示されてお
り、図7の太線Lで区切られる左側の領域100におい
て電子シャッタ速度を設定することが好ましく、これに
よって画像のぶれが良好に抑制される。従って、当該例
では、上述したシャッタ速度設定スイッチ21によるマ
ニュアル設定できるシャッタ速度も上記領域100の範
囲に限定しており、このスイッチ21では、領域101
に存在する電子シャッタ速度を設定することはできな
い。
FIG. 7 shows another example of the preferable setting range of the electronic shutter speed and the variable width of the aperture mechanism. The electronic shutter speed is set in the left area 100 delimited by the thick line L in FIG. It is preferable that the image blurring is favorably suppressed. Therefore, in this example, the shutter speed that can be manually set by the above-described shutter speed setting switch 21 is also limited to the range of the area 100.
Can not set the electronic shutter speed that exists.

【0032】また、絞り24の制限範囲については、中
点位置の可変幅K4 (絞り位置k2〜k6 )から徐々に
縮小され、最大位置で可変幅K5 (絞り位置k4 〜k5
)やK5(絞り位置k5 〜k7 )となる可変幅を設定し
てもよいし、この可変幅は任意に設定することができ
る。
The limited range of the diaphragm 24 is gradually reduced from the variable width K4 at the middle point (aperture positions k2 to k6), and the variable width K5 at the maximum position (the diaphragm positions k4 to k5).
) And K5 (aperture positions k5 to k7) may be set, and this variable width may be set arbitrarily.

【0033】[0033]

【発明の効果】以上説明したように、本発明によれば、
観察距離を変えるための変倍機構を備え、この変倍機構
の作動時には、電子シャッタ制御回路により標準時の露
光時間よりも短くなるシャッタ速度を設定すると共に、
この電子シャッタ速度の高速化に対応して絞り機構の絞
り可変量を所定幅に制限したので、変倍機構を利用して
撮像する場合の画像のぶれが抑制できると共に、安定し
た明るさの良好な画像を得ることが可能となる。
As described above, according to the present invention,
A variable power mechanism for changing the observation distance is provided, and when the variable power mechanism is operated, a shutter speed shorter than the standard exposure time is set by an electronic shutter control circuit,
Since the aperture variable amount of the aperture mechanism is limited to a predetermined width in response to the increase in the electronic shutter speed, it is possible to suppress blurring of an image when taking an image using the variable power mechanism, and to achieve stable brightness. It is possible to obtain a perfect image.

【0034】また、請求項2に係る発明は、画像の明る
さを検出し上記の絞り機構による光量制御によっても所
定の明るさが得られない場合には、ゲイン制御回路によ
り画像信号のゲインを調整するので、絞り可動幅の制限
により暗くなることもなく、常に一定の明るさが得られ
るという利点がある。
According to a second aspect of the present invention, when the brightness of an image is detected and the predetermined brightness cannot be obtained even by the light amount control by the aperture mechanism, the gain of the image signal is adjusted by a gain control circuit. Since the adjustment is performed, there is an advantage that a constant brightness can always be obtained without darkening due to the limitation of the diaphragm movable width.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態例に係る変倍機能を有する電
子内視鏡装置の全体構成を示す図である。
FIG. 1 is a diagram illustrating an overall configuration of an electronic endoscope apparatus having a zooming function according to an embodiment of the present invention.

【図2】図1の電子内視鏡における撮像系の構成を示す
斜視図である。
FIG. 2 is a perspective view showing a configuration of an imaging system in the electronic endoscope in FIG.

【図3】図1の絞り部材及び絞り位置検出器の構成を示
す図である。
FIG. 3 is a diagram showing a configuration of a diaphragm member and a diaphragm position detector of FIG. 1;

【図4】実施形態例での電子シャッタ動作の一例を示す
説明図である。
FIG. 4 is an explanatory diagram showing an example of an electronic shutter operation in the embodiment.

【図5】実施形態例での電子シャッタ制御の各種パター
ン及び絞り可変幅を示すグラフ図である。
FIG. 5 is a graph showing various patterns of electronic shutter control and an aperture variable width in the embodiment.

【図6】実施形態例におけるモニタでの電子シャッタ速
度の表示状態を示す図である。
FIG. 6 is a diagram illustrating a display state of an electronic shutter speed on a monitor in the embodiment.

【図7】実施形態例での電子シャッタ速度の好ましい設
定範囲及び絞り可変幅の他の例を示すグラフ図である。
FIG. 7 is a graph showing another example of a preferred setting range of an electronic shutter speed and a variable aperture width in the embodiment.

【符号の説明】[Explanation of symbols]

10 … 電子内視鏡、12 … 光源及びプロセッサ
装置、14 … 可動レンズ、 16 … CC
D、17 … アクチュエータ、 18 … エンコー
ダ、20 … 変倍スイッチ、 24 … 絞り、2
4D … 絞り位置検出器、26 … 絞り駆動回路、
28 … アクチュエータ駆動回路、31 … CP
U、 32 … ROM、33 … CCD駆
動回路(電子シャッタ制御回路)、35 … CDS
(相関二重サンプリング)/AGC(自動利得制御)回
路、37 … 信号処理回路。
DESCRIPTION OF SYMBOLS 10 ... Electronic endoscope, 12 ... Light source and processor device, 14 ... Movable lens, 16 ... CC
D, 17: Actuator, 18: Encoder, 20: Variable power switch, 24: Aperture, 2
4D: diaphragm position detector, 26: diaphragm drive circuit,
28: Actuator drive circuit, 31: CP
U, 32 ROM, 33 CCD drive circuit (electronic shutter control circuit), 35 CDS
(Correlated double sampling) / AGC (automatic gain control) circuit, 37 ... signal processing circuit.

フロントページの続き Fターム(参考) 2H040 BA00 BA03 BA10 CA10 DA12 DA41 GA02 GA11 4C061 AA00 BB02 CC06 DD00 FF40 HH28 LL02 NN01 NN05 PP12 RR02 RR03 RR06 RR15 RR17 RR23 SS04 SS08 TT01 TT09 WW03 5C022 AA09 AB12 AB15 AB17 AB20 AB31 AB55 5C054 CC02 CE06 CH02 EA01 ED02 ED03 FF02 HA12 Continued on front page F-term (reference) 2H040 BA00 BA03 BA10 CA10 DA12 DA41 GA02 GA11 4C061 AA00 BB02 CC06 DD00 FF40 HH28 LL02 NN01 NN05 PP12 RR02 RR03 RR06 RR15 RR17 RR23 SS04 SS08 TT01 TT09 BB03 AB05 AB17 AB09 CE06 CH02 EA01 ED02 ED03 FF02 HA12

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】 観察画像を対物光学系により光学的に拡
大可能な変倍機構と、 上記対物光学系からの入射光により被観察体を撮像する
固体撮像素子と、 この固体撮像素子の電荷蓄積時間を制御し、上記変倍機
構の作動時に、当該変倍機構の不作動時の露光時間より
も短くなる高速のシャッタ速度を設定する電子シャッタ
制御回路と、 光源からの出力光を絞り部材で可変制御する絞り機構
と、 上記変倍機構の作動時に、上記電子シャッタ速度の高速
化に対応して上記絞り機構の絞り可変量を所定幅に制限
する制御回路と、を含んでなる変倍機能を有する電子内
視鏡装置。
A variable magnification mechanism for optically enlarging an observation image by an objective optical system; a solid-state imaging device for imaging an object to be observed with incident light from the objective optical system; An electronic shutter control circuit for controlling the time and setting a high shutter speed that is shorter than the exposure time when the zoom mechanism is not operated when the zoom mechanism is in operation; A variable power function comprising: an aperture mechanism for variably controlling; and a control circuit for limiting the variable aperture of the aperture mechanism to a predetermined width in response to an increase in the electronic shutter speed when the variable power mechanism operates. An electronic endoscope device having the same.
【請求項2】 上記固体撮像素子から出力された画像信
号のゲインを可変制御するゲイン制御回路を設け、上記
制御回路は、上記画像信号から画像の明るさを検出し、
上記の絞り機構による光量制御によっても所定の明るさ
が得られない場合に、上記ゲイン制御回路により画像信
号のゲインを調整して画像の明るさを一定に維持するこ
とを特徴とする上記請求項1記載の変倍機能を有する電
子内視鏡装置。
2. A gain control circuit for variably controlling a gain of an image signal output from the solid-state imaging device, wherein the control circuit detects brightness of an image from the image signal,
The method according to claim 1, wherein when a predetermined brightness is not obtained by the light amount control by the aperture mechanism, the gain of the image signal is adjusted by the gain control circuit to maintain the brightness of the image constant. An electronic endoscope device having a zooming function according to claim 1.
JP07526399A 1999-03-19 1999-03-19 Electronic endoscope apparatus having a zooming function Expired - Fee Related JP4031591B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07526399A JP4031591B2 (en) 1999-03-19 1999-03-19 Electronic endoscope apparatus having a zooming function
US09/526,874 US6425858B1 (en) 1999-03-19 2000-03-16 Electronic endoscope apparatus having magnification changing function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07526399A JP4031591B2 (en) 1999-03-19 1999-03-19 Electronic endoscope apparatus having a zooming function

Publications (3)

Publication Number Publication Date
JP2000267016A true JP2000267016A (en) 2000-09-29
JP2000267016A5 JP2000267016A5 (en) 2005-12-02
JP4031591B2 JP4031591B2 (en) 2008-01-09

Family

ID=13571173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07526399A Expired - Fee Related JP4031591B2 (en) 1999-03-19 1999-03-19 Electronic endoscope apparatus having a zooming function

Country Status (1)

Country Link
JP (1) JP4031591B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117486A (en) * 2005-10-28 2007-05-17 Olympus Corp Endoscope system and endoscope control device
JP2008289032A (en) * 2007-05-21 2008-11-27 Canon Inc Imaging apparatus
JP2010284189A (en) * 2009-06-09 2010-12-24 Hoya Corp Medical observation system
JP2012065690A (en) * 2010-09-21 2012-04-05 Olympus Corp Endoscope apparatus and method of controlling endoscope apparatus
JP2016105838A (en) * 2016-03-01 2016-06-16 富士フイルム株式会社 Endoscope apparatus
CN110772205A (en) * 2014-03-17 2020-02-11 直观外科手术操作公司 System and method for tissue contact detection and for automatic exposure and illumination control
CN112565621A (en) * 2020-12-01 2021-03-26 浙江华诺康科技有限公司 Endoscope light source brightness and exposure adjusting method and device and readable storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117486A (en) * 2005-10-28 2007-05-17 Olympus Corp Endoscope system and endoscope control device
JP2008289032A (en) * 2007-05-21 2008-11-27 Canon Inc Imaging apparatus
JP2010284189A (en) * 2009-06-09 2010-12-24 Hoya Corp Medical observation system
JP2012065690A (en) * 2010-09-21 2012-04-05 Olympus Corp Endoscope apparatus and method of controlling endoscope apparatus
CN110772205A (en) * 2014-03-17 2020-02-11 直观外科手术操作公司 System and method for tissue contact detection and for automatic exposure and illumination control
CN110772205B (en) * 2014-03-17 2022-04-12 直观外科手术操作公司 System and method for tissue contact detection and for automatic exposure and illumination control
US11331156B2 (en) 2014-03-17 2022-05-17 Intuitive Surgical Operations, Inc. System and method for tissue contact detection and for auto-exposure and illumination control
JP2016105838A (en) * 2016-03-01 2016-06-16 富士フイルム株式会社 Endoscope apparatus
CN112565621A (en) * 2020-12-01 2021-03-26 浙江华诺康科技有限公司 Endoscope light source brightness and exposure adjusting method and device and readable storage medium
CN112565621B (en) * 2020-12-01 2022-11-08 浙江华诺康科技有限公司 Endoscope light source brightness and exposure adjusting method and device and readable storage medium

Also Published As

Publication number Publication date
JP4031591B2 (en) 2008-01-09

Similar Documents

Publication Publication Date Title
JP4317297B2 (en) Electronic endoscope device
US6425858B1 (en) Electronic endoscope apparatus having magnification changing function
US6963366B2 (en) Image pickup apparatus
US7557831B2 (en) Optical apparatus provided with image-shake correction function
JP2002314868A (en) Imaging device
JPH1010405A (en) Lens device and image pickup device
JP2001177761A (en) Digital camera
US9319582B2 (en) Imaging device and image processor configured to process an object region
JP2009037067A (en) Imaging apparatus, and its control method
JPH0946570A (en) Image pickup device
JP2000267016A (en) Electronic endoscope device having variable power function
JP4249841B2 (en) Electronic endoscope apparatus having a zooming function
US9118829B2 (en) Imaging device
JP2000270256A (en) Electronic endoscope with variable power function
JPH11266389A (en) Image pickup device
JPH08307765A (en) Image pickup device
JPH10253896A (en) Image input device
JPH11103409A (en) Focus operating device of television lens
JP4672934B2 (en) Electronic endoscope apparatus having a zooming function
JP4574913B2 (en) Electronic endoscope apparatus having a zooming function
JP2002143087A (en) Electronic endoscope device
JPH06113187A (en) Automatic focusing camera device
JP3919783B2 (en) Electronic still camera
JP5595167B2 (en) Imaging apparatus and control method thereof
JP4086332B2 (en) Electronic still camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees