JP2002112958A - 撮像システム - Google Patents

撮像システム

Info

Publication number
JP2002112958A
JP2002112958A JP2000309674A JP2000309674A JP2002112958A JP 2002112958 A JP2002112958 A JP 2002112958A JP 2000309674 A JP2000309674 A JP 2000309674A JP 2000309674 A JP2000309674 A JP 2000309674A JP 2002112958 A JP2002112958 A JP 2002112958A
Authority
JP
Japan
Prior art keywords
signal
image
circuit
clock
ccd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000309674A
Other languages
English (en)
Other versions
JP3884226B2 (ja
Inventor
Akihiko Mochida
明彦 望田
Katsuyuki Saito
克行 斉藤
Makoto Tsunakawa
誠 綱川
Hideki Tashiro
秀樹 田代
Noboru Kusamura
登 草村
Kotaro Ogasawara
弘太郎 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2000309674A priority Critical patent/JP3884226B2/ja
Priority to PCT/JP2002/002400 priority patent/WO2003077560A1/ja
Priority to EP02705168A priority patent/EP1492350B1/en
Publication of JP2002112958A publication Critical patent/JP2002112958A/ja
Priority to US10/670,114 priority patent/US7821529B2/en
Application granted granted Critical
Publication of JP3884226B2 publication Critical patent/JP3884226B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

(57)【要約】 【課題】 CCDを規定の周波数で駆動し、CCUの信
号処理クロックを1種類のクロックで処理する。 【解決手段】 前処理回路28内には、CCD出力信号
を増幅するためのプリアンプ130と、駆動信号を供給
するとともにサンプリング信号を供給するTG131
と、映像処理回路29より供給されるクロックを分周す
る分周回路132とが構成されている。映像信号処理回
路29のフローティング回路135には、映像信号を相
関2重サンプリングするCDS回路137と、その出力
信号をA/D変換するA/D変換回路138とが備えら
れ、A/D変換出力はラインメモリ139に入力され、
分周回路132において分周された読み出しクロック
(WCK)により、ラインメモリ139で読み出し周波
数が変換される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は撮像システム、更に
詳しくはCCDの駆動信号及び撮像信号の制御部分に特
徴のある撮像システムに関する。
【0002】
【従来の技術】近年、体腔内等の観察部位に挿入部を挿
入し、ライトガイドファイバ束等の照明光伝送手段によ
り照明光を伝送して挿入部先端より観察部位に照射する
ことで、観察部位の像を得て、観察部位の観察及び処置
を行う内視鏡装置が広く普及している。
【0003】この内視鏡装置の一つに、挿入部の先端に
固体撮像素子、例えばCCDを配設し、観察部位の像を
対物光学系で撮像面に結像させて電気信号に変換し、こ
の電気信号を信号処理することでモニタ等に観察部位の
画像を表示させたり、情報記録装置等に画像データとし
て記憶させることのできる電子内視鏡装置がある。
【0004】また、例えば外科分野では、体腔内等の観
察部位に硬性鏡の硬性な挿入部を挿入し、照明光伝送手
段により照明光を伝送して挿入部先端より観察部位に照
射し、挿入部先端よりリレーレンズ等の像伝送手段によ
り接眼部に観察部位の像を伝送し、この接眼部に着脱自
在に装着される外付けTVカメラのCCDにより観察部
位の像を撮像してモニタ等に観察部位の画像を表示させ
て手技を行う外科用硬性鏡装置がある。
【0005】例えば本出願人が先に出願した特願平11
−182333号では、これら電子内視鏡装置あるいは
外科用硬性鏡装置の複数種類のCCDを駆動し撮像信号
を信号処理する画像処理装置を提案している。
【0006】また、例えば特開平10−118032号
公報には、ピクチャinピクチャの主画像、副画像をモ
ニタに表示する医療用画像表示装置が提案されている。
【0007】
【発明が解決しようとする課題】しかしながら、特願平
11−182333号は、CCDの駆動クロックをどの
CCDでも共通にして駆動し、信号処理回路の信号処理
クロックを共通にして処理を行っているが、CCDによ
っては規定の周波数以外では駆動できないものもあり、
そのようなCCDは使用できない場合があるといった問
題がある。
【0008】また、特開平10−118032号公報で
は、ピクチャinピクチャの主画像、副画像ともにモニ
タ上全域に映像が表示される画像が想定されており、そ
の場合は主画像の画像領域の一部分が副画像のために見
えなくなる。しかし、内視鏡においてはモニタ上全域に
画像が表示されないCCDも使用しており、その場合に
有効にモニタ上の領域を使用する方法が開示されていな
かった。
【0009】本発明は、上記事情に鑑みてなされたもの
であり、複数種類のCCDを使用したカメラヘッド(又
は電子内視鏡)を使用しても、それぞれのCCDを規定
の周波数で駆動でき、更に信号処理回路の信号処理クロ
ックを1種類のクロックで処理することのできる撮像シ
ステムを提供することを目的とする。
【0010】本発明の他の目的は、モニタ上全領域に画
像が表示されない内視鏡において、有効にピクチャin
ピクチャの画像を構成することのできる撮像システムを
提供することを目的とする。
【0011】
【課題を解決するための手段】本発明の請求項1に記載
の撮像システムは、ライン走査により被写体像を得る固
体撮像装置と、前記固体撮像装置を駆動するための第1
のクロック信号を発生する第1のクロック信号発生手段
と、前記固体撮像装置が出力する撮像信号を第1のタイ
ミングで各走査ライン毎に記憶する記憶手段と、前記記
憶手段に記憶された撮像信号を読み出すための第2のク
ロック信号を発生する第2のクロック信号発生手段と、
前記記憶手段に記憶された前記撮像信号を第2のタイミ
ングで各走査ライン毎に前記第2のクロック信号で読み
出すように制御する制御手段とを備えて構成されてい
る。
【0012】また、本発明の請求項5に記載の撮像シス
テムは、固体撮像素子を有し映像信号を出力する撮像装
置と、外部からの映像信号を入力する外部映像信号入力
部と、前記撮像装置からの映像信号と前記外部映像信号
入力部からの映像信号のそれぞれによる画像を同一画面
の所望の位置に表示するように合成する画像合成手段
と、前記撮像手段からの映像信号による画像と前記外部
映像信号入力部からの映像信号による画像を表示する位
置を決定するための情報を入力する入力手段と、前記入
力手段の入力情報に基づいて前記画像合成手段が前記撮
像装置からの映像信号による画像と前記外部映像信号入
力部からの映像信号による画像を表示する位置を決定す
る制御手段とを備えて構成される。
【0013】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について述べる。
【0014】第1の実施の形態:図1ないし図10は本
発明の第1の実施の形態に係わり、図1は内視鏡装置の
構成を示す構成図、図2は図1の内視鏡装置の変形例の
構成を示す構成図、図3は図1の前処理回路および映像
処理回路の構成を示すブロック図、図4は図3の前処理
回路および映像処理回路の作用を説明する第1の図、図
5は図3の前処理回路および映像処理回路の作用を説明
する第2の図、図6は図3の前処理回路および映像処理
回路の作用を説明する第3の図、図7は図3の前処理回
路および映像処理回路の作用を説明する第4の図、図8
は図3の前処理回路および映像処理回路の作用を説明す
る第5の図、図9は図3の前処理回路および映像処理回
路の作用を説明する第6の図、図10は図1の前処理回
路および映像処理回路の変形例の構成を示すブロック図
である。
【0015】(構成)図1に示すように、本発明の第1
の実施の形態の内視鏡装置1は、光学式内視鏡2に撮像
手段を備えたテレビカメラ3を装着した(内視鏡撮像装
置としての)テレビカメラ外付け内視鏡4と、光学式内
視鏡2に照明光を供給する光源装置5と、テレビカメラ
3と着脱自在で接続され、標準的な映像信号を生成する
映像信号処理を行うカメラコントロールユニット(以
下、CCUと略記)6と、このCCU6から出力される
映像信号を表示するテレビモニタ7とから構成される。
【0016】光学式内視鏡2は例えば硬質の挿入部11
と、この挿入部11の後端に設けられた把持部12と、
この把持部12の後端に設けられた接眼部13とを有す
る硬性内視鏡である。
【0017】挿入部11内にはライトガイド14が挿通
され、このライトガイド14は、把持部12のライトガ
イド口金に接続されるライトガイドケーブル15を介し
て光源装置5に接続され、光源装置5内の図示しないラ
ンプからの白色の照明光を伝送してライトガイド14の
先端面から出射し、患部などの被写体を照明する。
【0018】先端部には対物レンズ16が設けられ、こ
の対物レンズ16により結像される光学像は例えばリレ
ーレンズ系17で後方側に伝送され、接眼部13に設け
た接眼レンズ18により観察することができる。
【0019】また、テレビカメラ3の接眼部13に着脱
自在で装着(外付け)されるカメラヘッド21と、該カ
メラヘッド21からその基端が延出される(信号伝送系
としての)カメラケーブル22と、このカメラケーブル
22の末端に設けたコネクタ23とから構成され、この
コネクタ23はCCU6に着脱自在で接続される。
【0020】上記カメラヘッド21内には、接眼レンズ
18に対向して結像レンズ24が配置され、結像位置に
は固体撮像素子として電荷結合素子(CCDと略記)2
5が配置されている。なお、光電変換するCCD25の
前面にはモザイクフィルタ25aが配置され、被写体像
を光学的に色分離してCCD25の撮像面に導く。
【0021】CCD25の裏面倒には例えば図示しない
バッファアンプを形成する回路基板が配置され、CCD
25及び回路基板にはカメラケーブル22(内の信号ケ
ーブル27)の一端が接続され、その他端はコネクタ2
3の電気接点に、このコネクタ23内に設けた前処理回
路28を介して接続されている。
【0022】上記コネクタ23をCCU6に接続するこ
とにより、前記処理回路28のCCU6内の映像処理回
路29に電気的に接続される。そして、映像処理回路2
9により、生成された標準的な映像信号がテレビモニタ
7に出力される。
【0023】また、本実施の形態は、図2に示すよう
に、先端部に固体撮像素子を備えた電子内視鏡(ビデオ
スコープ)の場合でも適用できる。
【0024】図2に示す内視鏡装置55は、撮像手段は
内蔵した電子内視鏡56と、この電子内視鏡56に照明
光を供給する光源装置5と、信号処理して映像信号を生
成するCCU6と、CCU6から出力される映像信号を
表示するテレビモニタ7とから構成される。
【0025】なお、図1の構成と同等の部分は同一の番
号を付してある。
【0026】電子内視鏡56は体腔内に挿入する挿入部
61と、術者がスコープを持つために設けられ、図示し
ないスイッチなどが搭載されている操作部62と、操作
部62から基端が延出されるユニバーサルケーブル63
と、このユニバーサルケーブル63の末端に設けたコネ
クタ部64とからなり、このコネクタ部64の前端側に
突出するライトガイド口金は光源装置装置5に着脱自在
で接続される。
【0027】また、このコネクタ部64に一端が接続さ
れたケーブル部66と他端のコネクタ67はCCU6に
着脱自在で接続される。
【0028】挿入部61内等には照明光を伝送するライ
トガイドファイバ71が挿通され、その後端のライトガ
イド口金を光源装置5に接続することにより、光源装置
5から照明光が供給され、供給された照明光を伝送し
て、挿入部61の先端部72のライトガイドファイバ7
1の先端面からさらに照明レンズを経て患部などの被写
体側に出射し、被写体側を照明する。
【0029】この先端部72には対物レンズ73が取り
付けられ、その結像位置にはCCD74が配置されてい
る。このCCD74の撮像面にはモザイクフィルタ74
aが設けてあり、光学的に色分離する。また、CCD7
4の信号出力端にはバッファアンプ75が設けてある。
【0030】CCD74は挿入部61,操作部62,ユ
ニバーサルケーブル63内の信号線76とケーブル部6
6内の信号線を介してCCU6と接続される。この内視
鏡装置55では、例えばコネクタ部64ないには図1で
示した前処理回路28が設けてある。
【0031】この電子内視鏡56の場合には操作部62
に空間的な余裕があるため、前処理回路28を操作部6
2内に設けているが、図2の2点鎖線で示すようにコネ
クタ部64内に符号28bで示すように設けても良い
し、モニタコネクタ67内に符号28cで示すように設
けても良い。
【0032】次に図3を使用して前処理回路28及び映
像信号回路29の詳細な構成を説明する。
【0033】前処理回路28内には、CCD出力信号を
増幅させるためのプリアンプ130と、CCD25へ駆
動信号を供給するとともに後述するCDSおよびA/D
部にサンプリング信号を供給するタイミングジェネレー
タ131(以下TGと略記)と、映像処理回路29より
供給されるクロックを分周する分周回路132とが構成
されている。
【0034】また、前処理回路28内には、そのカメラ
ヘッド21(または電子内視鏡56)が何のCCD25
を使用しているか特定するためのスコープ検知用のレベ
ルを出力するスコープ検知用レベル出力部133を備え
ている。
【0035】CCU6内の映像信号処理回路29はフロ
ーティング回路135と2次回路136で構成されてい
る。両者の間はフォトカプラ(P.C)141,15
6,157,158,159,160等の絶縁手段で分
離されている。
【0036】フローティング回路135には、映像信号
を相関2重サンプリングするCDS回路137と、その
出力信号をA/D変換するA/D変換回路138とが備
えられている。A/D変換出力はラインメモリ139に
入力され、分周回路132において分周された読み出し
クロック(WCK)により、ラインメモリ139で読み
出し周波数が変換される。
【0037】また、フローティング回路135内には、
スコープ検知用レベル出力部133からのスコープ検知
用アナログ信号をA/D変換するA/D変換回路140
が設けられている。
【0038】2次回路136は、P.C141にて伝送
された映像デジタル信号を輝度信号Yと色差信号Cに色
分離する色分離回路142と、色分離された輝度信号を
輪郭強調処理を施すエンハンス回路143と、色分離さ
れた色差信号を同時化処理してR−Y信号とB−Y信号
を生成する色差信号同時化回路144が備えられる。そ
れらエンハンス処理されたY信号とR−Y、B−Y信号
はRGBマトリクス回路145に入力されRGB信号に
分離される。
【0039】分離されたRGB信号は検波回路146に
入力される。検波回路146にて、ホワイトバランス制
御用の検波信号および、光源装置5および電子シャッタ
を制御するための調光信号を作成する。また、このRG
B信号はペイント・W/B回路147に入力され、映像
のホワイトバランス処理および、色調補正処理が行われ
る。ホワイトバランス処理したRGB信号はガンマ回路
148a、148b、148cでガンマ処理された後、
拡大・縮小回路149に入力される。拡大・縮小回路1
49で画像拡大(または縮小)が行われ、画像のアスペ
クト比が補正される。
【0040】アスペクト補正した映像信号はマスク回路
150で画像部分以外にマスクを施した後、D/A変換
回路151にてアナログ信号に変換される。そのRGB
出力はテレビモニタ7にそのまま出力され、またエンコ
ーダ152にてY/C信号およびコンポジット信号を作
成してテレビモニタ7に出力する。
【0041】また、2次回路136にはCPU153が
備えられており、フローティング回路135のA/D変
換回路140より供給されるスコープ検知信号を受け
て、エンハンス、RGBマトリクス、検波回路、ホワイ
トバランス、拡大・縮小、マスクなどの処理を切り替え
る。
【0042】また、SSG回路154は発振器155か
らのクロック信号を受けて、各種同期信号を作成すると
ともに、クロック(CK)、水平同期信号(HD)、垂
直同期信号(VD)をP.C156〜158を介して、
フローティング回路135に供給する。
【0043】(作用)次に、図4から図10を使用し
て、本実施の形態の作用について説明する。
【0044】図4に示すように、本実施の形態のCCU
6には、様々なタイプのカメラヘッド21および電子内
視鏡56が接続される。これらのカメラヘッド21(電
子内視鏡56)は、図5に示すように、何タイプかのC
CD25が使用されている。CCD202aは高画素タ
イプのCCD25であり、CCD202bは低画素タイ
プのもの、CCD202cは高画素でテレビモニタ7上
でフルサイズの画像が得られないタイプ、CCD202
dは低画素でテレビモニタ7上でフルサイズの画像が得
られないものである。
【0045】CCD202c、CCD202dのCCD
25を使用したカメラヘッド21(電子内視鏡56)の
画像は、図6のようにテレビモニタ7上の一部に画像が
出力される。
【0046】CCD202a、CCD202bのCCD
25はそれぞれ、水平方向の画素数が異なるため、図5
の符号205a、205bに示すように駆動信号の周波
数が異なる。本実施の形態では、これらの駆動信号を前
処理回路28にて生成する。CCD駆動信号はTG13
1および分周回路132にて生成する。CXO155に
て作成された原発振クロックは、P.C156を介して
フローティング回路に伝達される。このクロックは図示
しないコネクタを介してカメラヘッド21(電子内視鏡
56)内の前処理回路28に伝達され、分周回路132
に入力される。分周回路132では、ぞれぞれのカメラ
ヘッド21(電子内視鏡56)に設けられたCCDに応
じた駆動クロックを生成する。
【0047】例えば、CCD202aのCCD25は、
駆動クロックがCXO155の原発振クロックの2分周
の周波数であるため、分周回路132で原発振クロック
を2分周してTG131に供給する。また、CCD20
2bのCCD25は、CXO155の原発振クロックの
3分周の周波数であるため、分周回路132で原発振ク
ロックを3分周してTG131に供給する。
【0048】TG131はそれぞれに応じたCCD駆動
信号を作成し、CCD25に供給する。
【0049】CCD25から出力されたCCD信号は、
プリアンプ130、CDS137、A/D138を経
て、ラインメモリ139に入力される。ラインメモリ1
39では、CCD信号のクロック変換を行う。ラインメ
モリ139の書き込みのクロック(WCK)は分周回路
132より供給され、読み出しのクロック(RCK)は
CXO155で発生する原発振クロックを2分周して使
用する。
【0050】図7に使用してCCD202bのCCD2
5の場合のラインメモリ139の書き込みと読み出しの
状態を説明する。ラインメモリ139は書き込み、読み
出しと共に1水平期間毎にリセットをかける。書き込み
は原発振クロックの3分周で行い、読み出しは原発振ク
ロックの2分周で行う。そのため、図7にあるように、
読み出しは1水平期間の2/3の期間で終了し、残りの
期間は空転送期間となる。
【0051】これにより、ラインメモリ139以降の2
次回路の信号処理は、常に共通の原発振クロックで処理
できる。
【0052】ラインメモリ139の出力はP.C141
を介して2次回路136に入力される。2次回路136
では、前述したような信号処理が行われる。CPU15
3はスコープ検知レベル設定部133のレベルをもと
に、カメラヘッド21(電子内視鏡56)の種類および
CCD25の種類を設定し、エンハンス、RGBマトリ
クス、ホワイトバランス等の係数を設定する。
【0053】ガンマ回路148a、148b、148c
までの信号処理をされた映像信号は拡大・縮小回路14
9に入力される。
【0054】拡大・縮小回路149では、アスペクト比
の補正を行う。CCD202aの高画素タイプのCCD
25では、CCD駆動周波数と2次回路136での信号
処理の周波数が同一であるため図8(a)のような圧縮
されていない画像となっており、ここでのアスペクト比
の補正は必要ない。そのため、拡大・縮小回路149で
は等倍のまま出力する。
【0055】CCD202bの低画素タイプのCCD2
5では、ラインメモリ139にて周波数変換を行ってい
るため、図8(b)のように水平方向に圧縮された画像
となっている。これを、ここで補正する。本実施の形態
では駆動周波数が原発振クロックの3分周に対して、2
次回路の信号処理の周波数が原発振クロックの2分周で
あるため、拡大・縮小回路149で水平方向に3/2倍
拡大を行うことにより、アスペクト比の補正を行う。
【0056】次に、CCD202c、202dのCCD
25の場合の信号処理について説明する。
【0057】CCD202cのCCD25は高画素タイ
プのCCDであるため、CCDの駆動周波数はCCD2
02aのCCD25と同一であり、CCD202dのC
CD25は低画素タイプであるため、CCD202bの
CCD25と同一になる。そのため、ラインメモリ13
9での周波数変換および拡大・縮小回路149でのアス
ペクト補正の処理方法はそれぞれ、CCD202a、C
CD202bと同一となる。
【0058】拡大・縮小処理後、マスク回路150にて
図6のように映像信号部分以外をマスクして、文字情報
の重畳等を行う。
【0059】なお、CCD202c、CCD202dの
CCD25は標準状態の出力でテレビモニタ7上の一部
分しか映像がないため、拡大・縮小回路149でアスペ
クト比の補正だけではなく、更に映像の拡大を行い、図
9のように拡大した画像を標準として出力するようにし
ても良い。
【0060】また、図10に示すように分周回路132
の、替わりにPLL回路170およびVCXO171を
設けて、それぞれのCCDに対応した駆動クロックを発
生させても良い。
【0061】(効果)本実施の形態により、従来例のC
CD25に応じて信号処理の動作周波数を複数用意しな
ければならなかったという欠点が改善し、CCD駆動信
号はカメラヘッド21(電子内視鏡56)内で用意し、
ラインメモリでクロック変換することによって、CCU
6内は1種類のクロック信号処理を行うことができ、C
CU6の信号処理が複雑化することを防ぐことができ
る。
【0062】第2の実施の形態:図11ないし図14は
本発明の第2の実施の形態の係わり、図11は前処理回
路および映像処理回路の構成を示すブロック図、図12
は図11の前処理回路および映像処理回路の作用を説明
する第1の図、図13は図11の前処理回路および映像
処理回路の作用を説明する第2の図、図14は図11の
前処理回路および映像処理回路の作用を説明する第3の
図である。
【0063】第2の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号を付け説明を省略する。
【0064】(構成)本実施の形態では、外部からの映
像信号を入力する端子を有する。これは超音波内視鏡な
どの別の映像ソースからビデオ信号を入力し、図12に
示すようにスコープ映像からなる主画面上に外部入力画
像からなる副画像を表示するピクチャinピクチャ(以
下、PinPと略記)機能を実現するためのものであ
る。
【0065】図11に示すように、外部入力161から
入力されるコンポジット信号は、Y/C分離回路162
にて輝度信号と色差信号に分離される。次に、Y/C→
RGBデコーダ163にてRGB信号に変換され、それ
らの信号はA/D変換回路164でデジタル信号に変換
された後、画像メモリ165に記録される。
【0066】また、カメラヘッド21(電子内視鏡5
6)で撮像されたメインの映像信号も拡大・縮小処理
後、画像メモリ165の別の領域に記録される。
【0067】PinPセレクタメモリコントロール16
6は、CPU153と接続され、CPU153からの信
号により、画像メモリ165上の映像信号の選択を行
う。
【0068】(作用)図12から図14を使用して本実
施の形態の作用を説明する。
【0069】本実施の形態においても、図4に示すよう
に複数種類のカメラヘッド21および電子内視鏡56が
接続される。例えば図4(a)、(b)に示すカメラヘ
ッド21および電子内視鏡56はテレビモニタ7上に全
画面表示が接続されるため、外部入力161から外部映
像信号が入力された場合、テレビモニタ7上には図12
(a)に示すようにPinP表示される。この副画面の
位置は、カメラヘッド21(電子内視鏡56)に設けら
れているプッシュスイッチからなるSW167で設定で
き、SW167を押すことにより、図12(a)→図1
2(b)→図12(c)→図12(d)→図12(a)
のように副画面の位置が移動する。
【0070】次に、図4(c)、(d)のような電子内
視鏡56が接続されている時に外部入力端子に外部映像
信号が入力されている場合を説明する。この場面は、図
13(a)に示すようなモニタ表示となるため右上部に
PinP画像がくるように設定されていると主画面の映
像の邪魔になる。従来はこのような場合、手動で副画面
の位置を移動して、主画面の邪魔にならない位置に移動
していた。本実施の形態では、スコープ検知用レベル出
力部133から得られたスコープ検知信号をもとに、電
子内視鏡56の種類を判別し、このような場合には図1
3(b)に示すように副画面の位置を自動的に移動す
る。
【0071】更に、図13(b)の場合でも、依然若
干、主画面の邪魔となるため、図13(c)のような主
画面の方も一緒に移動しても良い。
【0072】また、更にSW67の操作等により主画面
と副画面の位置を入れ替える機能を設けても良い。この
場合には、図14に示すように副画面の方に移動したス
コープの映像は、マスク領域を含まずに映像信号部分の
みを表示するようにしても良い。
【0073】(効果)本実施例により、外部入力をPi
nPするように構成した場合でも、カメラヘッド21
(電子内視鏡56)の画像を邪魔することなく、自動的
に適正な位置に外部入力画像をPinP表示することが
できる。
【0074】[付記] (付記項1) 内部に固体撮像素子を備えた内視鏡撮像
装置と、前記内視鏡撮像装置の信号伝送系を介して接続
され、標準的な映像信号を生成する映像信号処理装置と
を備えた内視鏡システムにおいて、前記内視鏡装置側
に、前記固体撮像装置を駆動するための駆動ロックを発
生する駆動クロック発生手段を設け、前記映像信号処理
装置側に、前記固体撮像素子から出力される出力信号を
クロック変換するためのメモリ手段と、画像のアスペク
ト比を補正するための画像拡大・縮小手段をそれぞれに
設けたことを特徴とする内視鏡撮像システム。
【0075】(付記項2) 付記項1の内視鏡撮像装置
において、前記駆動クロック発生手段は、前記映像信号
処理装置から供給された基準クロックを分周することに
よって、前記駆動クロックを生成することを特徴とする
内視鏡撮像システム。
【0076】(付記項3) 付記項1の内視鏡撮像装置
において、前記駆動クロック発生手段は、前記映像信号
処理装置から供給された基準クロックとPLL回路を構
成することにより前記駆動クロックを生成することを特
徴とする内視鏡撮像システム。
【0077】(付記項4) 内部に固体撮像素子を備え
た内視鏡撮像装置と、前記内視鏡撮像装置の信号伝送系
を介して接続された標準的な映像信号を生成する映像信
号処理装置とを備えた内視鏡システムにおいて、前記映
像信号処理装置は、外部からの映像信号を入力する外部
入力手段と、前記外部入力手段からの映像信号を画面上
に副画面として表示する表示手段と、前記副画面を前記
内視鏡撮像装置からの映像の邪魔にならない位置に自動
的に移動する移動手段と、を備えたことを特徴とする内
視鏡撮像システム。
【0078】
【発明の効果】以上説明したように本発明の請求項1に
記載の撮像システムによれば、従来技術の有するCCD
を規定の周波数で駆動できないという問題点が解決さ
れ、CCDを規定の周波数で駆動できる上に、CCUの
信号処理クロックは1種類のクロックで処理できるの
で、回路が簡素化できるという効果がある。
【0079】また、本発明の請求項5に記載の撮像シス
テムによれば、画素数の小さいCCDを使用した内視鏡
とのピクチャinピクチャを効率的に行うことができ、
使用者の利便性が増すという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡装置の
構成を示す構成図
【図2】図1の内視鏡装置の変形例の構成を示す構成図
【図3】図1の前処理回路および映像処理回路の構成を
示すブロック図
【図4】図3の前処理回路および映像処理回路の作用を
説明する第1の図
【図5】図3の前処理回路および映像処理回路の作用を
説明する第2の図
【図6】図3の前処理回路および映像処理回路の作用を
説明する第3の図
【図7】図3の前処理回路および映像処理回路の作用を
説明する第4の図
【図8】図3の前処理回路および映像処理回路の作用を
説明する第5の図
【図9】図3の前処理回路および映像処理回路の作用を
説明する第6の図
【図10】図1の前処理回路および映像処理回路の変形
例の構成を示すブロック図
【図11】本発明の第2の実施の形態に係る前処理回路
および映像処理回路の構成を示すブロック図
【図12】図11の前処理回路および映像処理回路の作
用を説明する第1の図
【図13】図11の前処理回路および映像処理回路の作
用を説明する第2の図
【図14】図11の前処理回路および映像処理回路の作
用を説明する第3の図
【符号の説明】
1…内視鏡装置 2…光学式内視鏡 3…テレビカメラ 4…テレビカメラ外付け内視鏡 5…光源装置 6…CCU 7…テレビモニタ 21…カメラヘッド 25…CCD 28…前処理回路 29…映像処理回路 130…プリアンプ 131…TG 132…分周回路 133…スコープ検知用レベル出力部 135…フローティング回路 136…2次回路 137…CDS回路 138…A/D変換回路 139…ラインメモリ 140…A/D変換回路 141,156,157,158,159,160…
P.C 142…色分離回路 143…エンハンス回路 144…色差信号同時化回路 145…RGBマトリクス回路 146…検波回路 147…ペイント・W/B回路 148a,148b,148c…ガンマ回路 149…拡大・縮小回路 150…マスク回路 151…D/A変換回路 152…エンコーダ 153…CPU 154…SSG回路 155…発振器
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 V (72)発明者 綱川 誠 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 田代 秀樹 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 草村 登 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 小笠原 弘太郎 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 Fターム(参考) 2H040 GA01 GA02 GA05 GA11 4C061 AA00 BB02 CC06 DD01 LL01 NN05 SS04 SS05 SS11 WW03 WW04 5C022 AA09 AB36 AB68 AC00 5C054 AA01 CC07 EA01 EB01 EC06 FC11 FE18 HA12

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 ライン走査により被写体像を得る固体撮
    像装置と、 前記固体撮像装置を駆動するための第1のクロック信号
    を発生する第1のクロック信号発生手段と、 前記固体撮像装置が出力する撮像信号を第1のタイミン
    グで各走査ライン毎に記憶する記憶手段と、 前記記憶手段に記憶された撮像信号を読み出すための第
    2のクロック信号を発生する第2のクロック信号発生手
    段と、 前記記憶手段に記憶された前記撮像信号を第2のタイミ
    ングで各走査ライン毎に前記第2のクロック信号で読み
    出すように制御する制御手段と、 を備えたことを特徴とする撮像システム。
  2. 【請求項2】 前記制御手段の制御により読み出された
    撮像信号を処理して任意の縦横比の拡大または縮小画像
    信号とする拡大縮小手段を備えたことを特徴とする請求
    項1に記載の撮像システム。
  3. 【請求項3】 第3のクロック信号を発生する第3のク
    ロック信号発生手段を有し、 前記第1および第2のクロック信号発生手段は、前記第
    3のクロック信号発生手段の発生する前記第3のクロッ
    ク信号を基にそれぞれ前記第1および第2のクロック信
    号を発生することを特徴とする請求項1または請求項2
    に記載の撮像システム。
  4. 【請求項4】 前記第1のクロック信号発生手段は、前
    記固体撮像装置に設けられていることを特徴とする請求
    項1、2または請求項3に記載の撮像システム。
  5. 【請求項5】 固体撮像素子を有し、映像信号を出力す
    る撮像装置と、 外部からの映像信号を入力する外部映像信号入力部と、 前記撮像装置からの映像信号と前記外部映像信号入力部
    からの映像信号のそれぞれによる画像を同一画面の所望
    の位置に表示するように合成する画像合成手段と、 前記撮像手段からの映像信号による画像と前記外部映像
    信号入力部からの映像信号による画像を表示する位置を
    決定するための情報を入力する入力手段と、 前記入力手段の入力情報に基づいて前記画像合成手段が
    前記撮像装置からの映像信号による画像と前記外部映像
    信号入力部からの映像信号による画像を表示する位置を
    決定する制御手段と、 を備えたことを特徴とする撮像システム。
JP2000309674A 2000-10-10 2000-10-10 撮像システム Expired - Fee Related JP3884226B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000309674A JP3884226B2 (ja) 2000-10-10 2000-10-10 撮像システム
PCT/JP2002/002400 WO2003077560A1 (fr) 2000-10-10 2002-03-14 Systeme d'acquisition
EP02705168A EP1492350B1 (en) 2000-10-10 2002-03-14 Pickup system
US10/670,114 US7821529B2 (en) 2000-10-10 2003-09-24 Image pickup system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000309674A JP3884226B2 (ja) 2000-10-10 2000-10-10 撮像システム

Publications (2)

Publication Number Publication Date
JP2002112958A true JP2002112958A (ja) 2002-04-16
JP3884226B2 JP3884226B2 (ja) 2007-02-21

Family

ID=18789791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000309674A Expired - Fee Related JP3884226B2 (ja) 2000-10-10 2000-10-10 撮像システム

Country Status (4)

Country Link
US (1) US7821529B2 (ja)
EP (1) EP1492350B1 (ja)
JP (1) JP3884226B2 (ja)
WO (1) WO2003077560A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005349002A (ja) * 2004-06-11 2005-12-22 Pentax Corp 子画像領域位置変更システム
JP2012081087A (ja) * 2010-10-12 2012-04-26 Fujifilm Corp 内視鏡装置
WO2013128766A1 (ja) * 2012-03-01 2013-09-06 オリンパスメディカルシステムズ株式会社 撮像システム
WO2020203428A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
US7738032B2 (en) * 2001-11-08 2010-06-15 Johnson & Johnson Consumer Companies, Inc. Apparatus for and method of taking and viewing images of the skin
JP4246986B2 (ja) * 2002-11-18 2009-04-02 株式会社町田製作所 振動物体観察システム及び声帯観察用処理装置
IL162251A0 (en) * 2004-05-31 2005-11-20 Medigus Ltd A reusable laparoscopic or endoscopic camera head
US8026942B2 (en) * 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
JP5036423B2 (ja) * 2007-06-28 2012-09-26 株式会社キーエンス 画像撮像装置
JP2009201540A (ja) * 2008-02-26 2009-09-10 Fujinon Corp 撮像システム及び内視鏡システム
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US9554692B2 (en) 2009-06-18 2017-01-31 EndoChoice Innovation Ctr. Ltd. Multi-camera endoscope
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
EP2618718B1 (en) 2010-09-20 2020-04-15 EndoChoice Innovation Center Ltd. Multi-camera endoscope having fluid channels
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
JP5944912B2 (ja) 2010-10-28 2016-07-05 エンドチョイス イノベーション センター リミテッド マルチセンサ内視鏡のための光学系
JP6054874B2 (ja) 2010-12-09 2016-12-27 エンドチョイス イノベーション センター リミテッド マルチカメラ内視鏡用フレキシブル電子回路基板
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
EP3228236A1 (en) 2011-02-07 2017-10-11 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
KR20140043070A (ko) * 2011-03-31 2014-04-08 티브이타크 리미티드 카메라-가용 장치를 사용하여 배경에 있는 비디오 디스플레이로부터 비디오 신호를 검출, 인덱싱, 및 비교하기 위한 장치, 시스템, 방법 및 매체
JP2013000452A (ja) * 2011-06-20 2013-01-07 Olympus Corp 電子内視鏡装置
CA2798716A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Removable tip endoscope
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
US20140253544A1 (en) * 2012-01-27 2014-09-11 Kabushiki Kaisha Toshiba Medical image processing apparatus
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
RU2525757C1 (ru) * 2013-06-14 2014-08-20 Борис Иванович Волков Система стереотелевидения
CN105934942B (zh) * 2014-09-05 2019-09-24 奥林巴斯株式会社 摄像装置和处理装置
WO2016088422A1 (ja) * 2014-12-04 2016-06-09 オリンパス株式会社 内視鏡
JP6188990B2 (ja) * 2015-08-07 2017-08-30 オリンパス株式会社 撮像装置
DE112017003263T5 (de) * 2016-06-29 2019-03-14 Olympus Corporation Endoskop

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0671324B2 (ja) * 1987-04-03 1994-09-07 オリンパス光学工業株式会社 撮像装置
JP2552344B2 (ja) 1988-02-23 1996-11-13 オリンパス光学工業株式会社 電子内視鏡装置
KR910004274B1 (ko) * 1988-04-16 1991-06-25 삼성전자 주식회사 픽처-인-픽처에 있어서 복수화면 회전 이동 간격 제어회로 및 제어방법
JP2940827B2 (ja) * 1988-09-07 1999-08-25 オリンパス光学工業株式会社 医療用画像ファイリング装置
US5031044A (en) * 1989-04-20 1991-07-09 Rca Licensing Corporation Inset picture centering in a pix-in-pix system
US5040068A (en) * 1989-12-28 1991-08-13 Eastman Kodak Company Electronic imaging apparatus with interchangeable pickup units
JPH04186988A (ja) * 1990-11-21 1992-07-03 Toshiba Corp 電子内視鏡装置
NL9002652A (nl) * 1990-12-03 1992-07-01 Philips Nv Televisie-opneem- en/of weergeefinrichting alsmede een roentgenonderzoekapparaat voorzien van een dergelijke inrichting.
JPH04313984A (ja) * 1990-12-14 1992-11-05 Nippon Telegr & Teleph Corp <Ntt> テレビ電話装置
JPH04307024A (ja) * 1991-04-02 1992-10-29 Olympus Optical Co Ltd 電子内視鏡装置
US5614943A (en) 1991-12-19 1997-03-25 Olympus Optical Co., Ltd. Dissimilar endoscopes usable with a common control unit
US5287188A (en) * 1992-01-07 1994-02-15 Thomson Consumer Electronics, Inc. Horizontal panning for wide screen television
JP3235200B2 (ja) * 1992-08-26 2001-12-04 株式会社日立製作所 撮像装置
US5412478A (en) * 1992-09-30 1995-05-02 Olympus Optical Co., Ltd. Endoscope system which changes over switches in interlocking relation to each other within video processor and image display apparatus to perform display of endoscope image
US6466256B1 (en) * 1996-04-05 2002-10-15 Asahi Kogaku Kogyo Kabushiki Kaisha Video-signal processing device connectable to an electronic endoscope
US5946033A (en) * 1996-05-28 1999-08-31 Gatan, Inc. Method and apparatus for multiple read-out speeds for a CTD
JPH10118032A (ja) 1996-10-24 1998-05-12 Olympus Optical Co Ltd 医療用画像表示装置および医療用画像表示方法
JPH1147087A (ja) * 1997-08-01 1999-02-23 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000083201A (ja) 1998-09-04 2000-03-21 Sony Corp 映像機器
JP2000083182A (ja) 1998-09-04 2000-03-21 Fuji Photo Optical Co Ltd 電子内視鏡装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005349002A (ja) * 2004-06-11 2005-12-22 Pentax Corp 子画像領域位置変更システム
JP2012081087A (ja) * 2010-10-12 2012-04-26 Fujifilm Corp 内視鏡装置
WO2013128766A1 (ja) * 2012-03-01 2013-09-06 オリンパスメディカルシステムズ株式会社 撮像システム
JP5416318B1 (ja) * 2012-03-01 2014-02-12 オリンパスメディカルシステムズ株式会社 撮像装置及び撮像システム
US9030542B2 (en) 2012-03-01 2015-05-12 Olympus Medical Systems Corp. Image pickup apparatus and image pickup system
WO2020203428A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
US11818464B2 (en) 2019-03-29 2023-11-14 Sony Group Corporation Medical image transmission system, medical image processing apparatus, and medical image transmission method

Also Published As

Publication number Publication date
US7821529B2 (en) 2010-10-26
WO2003077560A1 (fr) 2003-09-18
EP1492350B1 (en) 2012-08-22
US20040061776A1 (en) 2004-04-01
JP3884226B2 (ja) 2007-02-21
EP1492350A1 (en) 2004-12-29
EP1492350A4 (en) 2009-12-16

Similar Documents

Publication Publication Date Title
JP3884226B2 (ja) 撮像システム
JP2848574B2 (ja) 色ずれ補正装置
JP4435029B2 (ja) 内視鏡装置
JPH0670883A (ja) 電子内視鏡装置
JPH01280439A (ja) 電子内視鏡装置
JP4261673B2 (ja) デジタル出力可能な電子内視鏡装置
JP2001070241A (ja) 画像処理装置
JP3128068B2 (ja) 信号処理装置
JP2003032529A (ja) 信号処理装置
JP2001078174A (ja) 画像処理装置
JP2004159295A (ja) 画像処理装置及び画像撮像装置
JP4488281B2 (ja) 電子内視鏡装置
JP2003325443A (ja) 電子内視鏡装置
JP2003209733A (ja) 撮像システム
JPH1147087A (ja) 内視鏡撮像装置
JPH05176882A (ja) 内視鏡システム
JPH1147089A (ja) 内視鏡撮像装置
JP2004343155A (ja) 映像信号処理装置
JP2002064699A (ja) 画像処理装置
JP4197925B2 (ja) 電子内視鏡装置
JP2811656B2 (ja) 文字表示可能な内視鏡システム
JP2000354240A (ja) 内視鏡撮像装置
JP4124875B2 (ja) デジタル出力可能な電子内視鏡装置
JP2002224026A (ja) 内視鏡装置
JP2002200035A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees