JP2014033788A - Imaging device and imaging system - Google Patents

Imaging device and imaging system Download PDF

Info

Publication number
JP2014033788A
JP2014033788A JP2012176196A JP2012176196A JP2014033788A JP 2014033788 A JP2014033788 A JP 2014033788A JP 2012176196 A JP2012176196 A JP 2012176196A JP 2012176196 A JP2012176196 A JP 2012176196A JP 2014033788 A JP2014033788 A JP 2014033788A
Authority
JP
Japan
Prior art keywords
unit
signal
transmission
imaging
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012176196A
Other languages
Japanese (ja)
Other versions
JP5885617B2 (en
Inventor
Fumiyuki Okawa
文行 大河
Yasuhiro Tanaka
靖洋 田中
Yasunori Matsui
泰憲 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2012176196A priority Critical patent/JP5885617B2/en
Publication of JP2014033788A publication Critical patent/JP2014033788A/en
Application granted granted Critical
Publication of JP5885617B2 publication Critical patent/JP5885617B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device and an imaging system which can perform stable signal transmission.SOLUTION: An imaging device includes: an imaging part for outputting an electric signal after photoelectric conversion from a plurality of pixels as image information; a transmission part for outputting the image information outputted by the imaging part outside; a synchronous signal generation part for generating a synchronous signal having a prescribed cycle; a reception part for receiving the synchronous signal transmitted from outside; a mode switching part for switching a slave mode in which the transmission part transmits the image information on the basis of the synchronous signal received by the reception part and a master mode in which the transmission part transmits the image information on the basis of the synchronous signal generated by the synchronous signal generation part; and a transmission control unit which controls transmission operation of the transmission part on the basis of a standby signal that is received by the reception part from outside and sets transmission of the image information by the transmission part to either a transmission state or a stop state.

Description

本発明は、例えば、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画像情報として出力可能である撮像装置および撮像システムに関する。   The present invention relates to, for example, an imaging apparatus and an imaging system capable of outputting, as image information, an electrical signal after photoelectric conversion from a pixel arbitrarily designated as a readout target among a plurality of pixels for imaging.

従来から、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像部と、撮像部が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像部が体内画像を撮像する。医師等のユーザは、表示部が表示する体内画像に基づいて被検体の臓器の観察を行う。撮像部では、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設されている。   Conventionally, in the medical field, an endoscope system is used when observing an organ of a subject such as a patient. An endoscope system has, for example, an elongated shape having flexibility, an insertion unit that is inserted into a body cavity of a subject, an imaging unit that is provided at a distal end of the insertion unit and captures an in-vivo image, and an imaging unit And a display unit capable of displaying the captured in-vivo image. When acquiring an in-vivo image using an endoscope system, after inserting the insertion portion into the body cavity of the subject, irradiate the living tissue in the body cavity with illumination light such as white light from the distal end of the insertion portion. The imaging unit captures an in-vivo image. A user such as a doctor observes the organ of the subject based on the in-vivo image displayed by the display unit. In the imaging unit, a plurality of pixels each having a photodiode for accumulating charges according to the amount of light and an amplifier for amplifying the charges accumulated by the photodiodes are arranged in a two-dimensional matrix.

内視鏡システムを用いて撮像を行う場合、撮像部の各画素における映像信号の読み出しタイミングと、この映像信号に対する画像処理の処理開始タイミングとを合わせるため、このタイミングを同期させる信号として同期信号が用いられる。同期信号は、画面の各行の画素の読み出し開始を示す水平同期信号(HD)と、1画面の各フィールドの開始を示す垂直同期信号(VD)とからなる。また、同期をとる方式としては、撮像部において生成された同期信号によって画像処理系の同期をとる内部同期方式と、画像処理系において生成された同期信号によって撮像部から映像信号を出力させる外部同期方式とがある。   When performing imaging using an endoscope system, a synchronization signal is used as a signal to synchronize this timing in order to match the readout timing of the video signal in each pixel of the imaging unit with the processing start timing of image processing for this video signal. Used. The synchronization signal is composed of a horizontal synchronization signal (HD) indicating the start of reading pixels in each row of the screen and a vertical synchronization signal (VD) indicating the start of each field of one screen. In addition, as synchronization methods, an internal synchronization method that synchronizes the image processing system with a synchronization signal generated in the imaging unit, and an external synchronization that outputs a video signal from the imaging unit with a synchronization signal generated in the image processing system. There is a method.

上述した同期方式を用いる撮像装置として、内部同期方式にかかる内部同期パルスまたは外部同期方式にかかる外部同期パルスのいずれかの入力によって同期信号(外部同期信号または内部同期信号)の同期方式を自動的に選択するとともに、内部同期パルスおよび外部同期パルスの入力がない場合は、同期信号の同期方式として内部同期方式を選択する撮像装置(自動切換装置)が開示されている(例えば、特許文献1参照)。   As an imaging device using the synchronization method described above, the synchronization method of the synchronization signal (external synchronization signal or internal synchronization signal) is automatically set by inputting either the internal synchronization pulse according to the internal synchronization method or the external synchronization pulse according to the external synchronization method. In addition, an imaging device (automatic switching device) that selects an internal synchronization method as a synchronization method of a synchronization signal when there is no input of an internal synchronization pulse and an external synchronization pulse is disclosed (for example, see Patent Document 1). ).

また、撮像の際は、撮像部に設けられた同期信号発生回路によって発生した同期信号(内部同期信号)によって映像信号を形成し、画像表示を行う際は、VTR部に設けられた同期信号分離回路によって取り出された同期信号(外部同期信号)によって画像表示を行う撮像装置(録画再生装置)が開示されている(例えば、特許文献2参照)。   Further, when imaging, a video signal is formed by a synchronization signal (internal synchronization signal) generated by a synchronization signal generation circuit provided in the imaging unit, and when image display is performed, synchronization signal separation provided in the VTR unit is performed. An imaging apparatus (recording / reproducing apparatus) that displays an image using a synchronization signal (external synchronization signal) extracted by a circuit is disclosed (for example, see Patent Document 2).

特開平2−13178号公報JP-A-2-13178 特開昭62−206972号公報JP-A-62-206972

ところで、従来の撮像装置では、内部同期信号および外部同期信号による同期方式を選択することが可能であるものの、信号自体の安定度によって選択するものではない。すなわち、装置起動時などの外部から受信する信号が不安定となるおそれのある状態において、内部同期方式および外部同期方式を選択するものにはなっていなかった。これにより、例えば装置起動時に外部同期方式を選択している場合、ノイズなどに起因する外部同期信号の乱れによって、安定した信号伝送が行えなくなるというおそれがあった。   By the way, in the conventional imaging apparatus, although it is possible to select a synchronization method using an internal synchronization signal and an external synchronization signal, it is not selected depending on the stability of the signal itself. That is, the internal synchronization method and the external synchronization method are not selected in a state where a signal received from the outside may become unstable, such as when the apparatus is activated. Thereby, for example, when the external synchronization method is selected at the time of starting the apparatus, there is a possibility that stable signal transmission cannot be performed due to disturbance of the external synchronization signal caused by noise or the like.

本発明は、上記に鑑みてなされたものであって、安定した信号伝送を行うことができる撮像装置および撮像システムを提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide an imaging apparatus and an imaging system capable of performing stable signal transmission.

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、前記撮像部が出力した前記画像情報を外部に送信する送信部と、所定の周期を有する同期信号を発生する同期信号発生部と、外部から送られてくる同期信号を受信する受信部と、前記受信部が受信した同期信号に基づいて前記送信部が画像情報を送信するスレーブモード、および前記同期信号発生部が発生する同期信号に基づいて前記送信部が画像情報を送信するマスターモードを切り替えるモード切替部と、前記受信部が外部から受信する信号であって、前記送信部による前記画像情報の送信を送信状態または停止状態のいずれかに設定するスタンバイ信号に基づいて前記送信部の送信動作を制御する送信制御部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that outputs electrical signals after photoelectric conversion from a plurality of pixels as image information, and the image output by the imaging unit. A transmission unit that transmits information to the outside, a synchronization signal generation unit that generates a synchronization signal having a predetermined period, a reception unit that receives a synchronization signal transmitted from the outside, and a synchronization signal received by the reception unit Based on a slave mode in which the transmission unit transmits image information, a mode switching unit for switching a master mode in which the transmission unit transmits image information based on a synchronization signal generated by the synchronization signal generation unit, and the reception unit Transmission of the transmission unit based on a standby signal that is an externally received signal that sets the transmission of the image information by the transmission unit to either a transmission state or a stopped state Characterized by comprising a transmission control section for controlling the work.

また、本発明にかかる撮像システムは、上記の発明にかかる撮像装置と、前記撮像装置が撮像した画像に所定の画像処理を施す制御装置とを備えた撮像システムであって、前記スレーブモードと前記マスターモードとの間のモード切り替えを前記モード切替部に行わせる切替制御部と、前記撮像装置を駆動するための駆動用のタイミング信号、および前記スタンバイ信号を生成して前記撮像装置へ出力する駆動信号生成部と、を備えたことを特徴とする。   An imaging system according to the present invention is an imaging system including the imaging device according to the above invention and a control device that performs predetermined image processing on an image captured by the imaging device. A switching control unit that causes the mode switching unit to perform mode switching between the master mode, a driving timing signal for driving the imaging device, and a drive that generates and outputs the standby signal to the imaging device And a signal generation unit.

本発明によれば、制御装置と通信可能に接続された撮像装置において、モード切替部による撮像装置のマスター/スレーブモードの切り替えによって、撮像装置における駆動タイミングを制御するようにしたので、安定した信号伝送を行うことができるという効果を奏する。   According to the present invention, in the imaging device that is communicably connected to the control device, the drive timing in the imaging device is controlled by switching the master / slave mode of the imaging device by the mode switching unit. There is an effect that transmission can be performed.

図1は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention. 図2は、本発明の実施の形態にかかる内視鏡システムの要部の機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to the embodiment of the present invention. 図3は、本発明の実施の形態にかかる内視鏡システムにおいて、内視鏡がマスターの場合の信号伝送を模式的に示すタイミングチャートである。FIG. 3 is a timing chart schematically showing signal transmission when the endoscope is a master in the endoscope system according to the embodiment of the present invention. 図4は、本発明の実施の形態にかかる内視鏡システムにおいて、内視鏡が出力する映像信号の一例を模式的に示す図である。FIG. 4 is a diagram schematically illustrating an example of a video signal output by the endoscope in the endoscope system according to the embodiment of the present invention. 図5は、本発明の実施の形態にかかる内視鏡システムにおいて、制御装置がマスターの場合の信号伝送を模式的に示すタイミングチャートである。FIG. 5 is a timing chart schematically showing signal transmission when the control device is a master in the endoscope system according to the embodiment of the present invention. 図6は、本発明の実施の形態にかかる内視鏡システムにおけるスタンバイ信号の入力による信号伝送を模式的に示すタイミングチャートである。FIG. 6 is a timing chart schematically showing signal transmission by input of a standby signal in the endoscope system according to the embodiment of the present invention.

以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。なお、以下の説明では、撮像システムの例として内視鏡システムを説明する。   Hereinafter, as a mode for carrying out the present invention (hereinafter, referred to as “embodiment”), a medical endoscope system that captures and displays an image of a body cavity of a subject such as a patient will be described. Moreover, this invention is not limited by this embodiment. Furthermore, the same code | symbol is attached | subjected to the same part in description of drawing. Furthermore, the drawings are schematic, and it should be noted that the relationship between the thickness and width of each member, the ratio of each member, and the like are different from the actual ones. Moreover, the part from which a mutual dimension and ratio differ also in between drawings. In the following description, an endoscope system will be described as an example of an imaging system.

図1は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す図である。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。図1に示すように、内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被写体の体内画像を撮像する内視鏡2と、内視鏡2が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する制御装置3と、内視鏡2の先端から出射する照明光を発生する光源装置4と、制御装置3が画像処理を施した体内画像を表示する表示装置5と、を備える。   FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a functional configuration of a main part of the endoscope system 1. As shown in FIG. 1, an endoscope system 1 includes an endoscope 2 that captures an in-vivo image of a subject by inserting a distal end portion into a body cavity of a subject, and an in-vivo image captured by the endoscope 2. A control device 3 that performs predetermined image processing and comprehensively controls the operation of the entire endoscope system 1, a light source device 4 that generates illumination light emitted from the distal end of the endoscope 2, and a control device 3. And a display device 5 for displaying an in-vivo image subjected to image processing.

内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、制御装置3および光源装置4と接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。   The endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that includes various cables that extend in a direction different from the direction in which 21 extends and that are connected to the control device 3 and the light source device 4.

挿入部21は、後述する撮像素子を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。   The insertion portion 21 is connected to a distal end portion 24 incorporating an image pickup device to be described later, a bendable bending portion 25 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 25, and has a flexible length. And a flexible tube portion 26 having a scale shape.

先端部24は、グラスファイバ等を用いて構成されて光源装置4が発生した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像装置としての撮像素子244と、内視鏡2用の処置具が通る処置具チャンネル(図示せず)と、を有する。光学系243は、1または複数のレンズからなる。   The distal end portion 24 is configured by using a glass fiber or the like, and forms a light guide path for light generated by the light source device 4. An illumination lens 242 provided at the distal end of the light guide 241. An imaging device 244 as an imaging device that is provided at an imaging position of the optical system 243, receives light collected by the optical system 243, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing; A treatment instrument channel (not shown) through which the treatment instrument for the endoscope 2 passes. The optical system 243 includes one or more lenses.

図2を参照して、撮像素子244の構成を説明する。図2に示すように、撮像素子244は、光学系243からの光を光電変換して電気信号を画像情報として出力するセンサ部244a(撮像部)と、センサ部244aが出力した電気信号に対してノイズ除去やA/D変換を行うアナログフロントエンド244b(以下、「AFE部244b」という)と、AFE部244bが出力したデジタル信号をパラレル/シリアル変換して外部に送信するP/S変換部244c(送信部)と、センサ部244aの駆動タイミング、AFE部244bおよびP/S変換部244cにおける各種信号処理のパルスを発生するタイミングジェネレータ244d(同期信号発生部)と、撮像素子244の動作を制御する制御部244eと、各種設定情報を記憶する記憶部244kと、を有する。撮像素子244は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(CIS)である。タイミングジェネレータ244dは、制御装置3から送信される各種駆動信号(同期信号)を受信する。また、制御部244eは、後述するスレーブモードおよびマスターモードの切り替えを行なうための信号を受信する。なお、制御装置3から送信される各種駆動信号を受信する受信部を別個設けてもよい。   The configuration of the image sensor 244 will be described with reference to FIG. As shown in FIG. 2, the image sensor 244 photoelectrically converts the light from the optical system 243 and outputs an electrical signal as image information, and the electrical signal output by the sensor unit 244a. An analog front end 244b (hereinafter referred to as “AFE unit 244b”) that performs noise removal and A / D conversion, and a P / S conversion unit that performs parallel / serial conversion on the digital signal output from the AFE unit 244b and transmits the digital signal to the outside. 244c (transmission unit), drive timing of the sensor unit 244a, timing generator 244d (synchronization signal generation unit) for generating various signal processing pulses in the AFE unit 244b and the P / S conversion unit 244c, and the operation of the image sensor 244. It has the control part 244e which controls, and the memory | storage part 244k which memorize | stores various setting information. The image sensor 244 is a complementary metal oxide semiconductor (CMOS) image sensor (CIS). The timing generator 244d receives various drive signals (synchronization signals) transmitted from the control device 3. The control unit 244e receives a signal for switching between a slave mode and a master mode, which will be described later. In addition, you may provide the receiving part which receives the various drive signals transmitted from the control apparatus 3 separately.

センサ部244aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設された受光部244fと、受光部244fの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部244gと、を有する。   The sensor unit 244a includes a light receiving unit 244f in which a plurality of pixels each having a photodiode that accumulates a charge corresponding to the amount of light and an amplifier that amplifies the charge accumulated by the photodiode are arranged in a two-dimensional matrix, and a light receiving unit 244f. A readout unit 244g that reads out, as image information, an electrical signal generated by a pixel arbitrarily set as a readout target among the plurality of pixels.

AFE部244bは、電気信号(アナログ)に含まれるノイズ成分を低減するノイズ低減部244hと、電気信号の増幅率(ゲイン)を調整して一定の出力レベルを維持するAGC(Auto Gain Control)部244iと、AGC部244iを介して出力された電気信号をA/D変換するA/D変換部244jと、を有する。ノイズ低減部244hは、たとえば相関二重サンプリング(Correleted Double Sampling)法を用いてノイズの低減を行う。   The AFE unit 244b includes a noise reduction unit 244h that reduces a noise component included in the electrical signal (analog), and an AGC (Auto Gain Control) unit that adjusts the amplification factor (gain) of the electrical signal and maintains a constant output level. 244i and an A / D conversion unit 244j that performs A / D conversion on the electrical signal output via the AGC unit 244i. The noise reduction unit 244h performs noise reduction using, for example, a correlated double sampling (Correleted Double Sampling) method.

制御部244eは、制御装置3から受信した設定データにしたがって、先端部24の各種動作を制御する。制御部244eは、CPU(Central Processing Unit)等を用いて構成される。また、制御部244eは、モード切替部として、撮像素子244において、タイミングジェネレータ244dが受信した同期信号に基づいてP/S変換部244cが画像情報を送信するスレーブモード(制御装置3がマスター)と、タイミングジェネレータ244dが発生する同期信号に基づいてP/S変換部244cが画像情報を送信するマスターモードとの切り替え制御を行なう。制御部244eは、送信制御部244lを有する。   The control unit 244e controls various operations of the distal end portion 24 according to the setting data received from the control device 3. The control unit 244e is configured using a CPU (Central Processing Unit) or the like. Further, the control unit 244e serves as a mode switching unit in the slave mode (the control device 3 is a master) in which the P / S conversion unit 244c transmits image information based on the synchronization signal received by the timing generator 244d in the image sensor 244. Based on the synchronization signal generated by the timing generator 244d, the P / S conversion unit 244c performs switching control with a master mode in which image information is transmitted. The control unit 244e includes a transmission control unit 244l.

送信制御部244lは、制御装置3から受信した設定データに基づいて、制御装置3への画像信号の伝送を制御する。送信制御部244lは、タイミングジェネレータ244dまたは制御装置3側で生成された同期信号に基づいてP/S変換部244cから操作部22側への信号の送信の制御を行う。また、送信制御部244lは、後術するスタンバイ信号によって信号の送信の制御を行う。   The transmission control unit 244 l controls transmission of the image signal to the control device 3 based on the setting data received from the control device 3. The transmission control unit 244l controls transmission of a signal from the P / S conversion unit 244c to the operation unit 22 side based on the synchronization signal generated on the timing generator 244d or the control device 3 side. Further, the transmission control unit 244l controls signal transmission by a standby signal to be operated later.

記憶部244kは、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、制御装置3の識別情報および面順次式または同時式の観察方式を示す観察情報、撮像素子244の撮像速度(フレームレート)、およびセンサ部244aの任意の画素からの画素情報の読み出し速度やシャッタ制御設定、内視鏡2のマスター/スレーブ設定等の設定情報、ならびにAFE部244bが読み出した画素情報の伝送制御情報等を記憶する。   The storage unit 244k is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory). The storage unit 244k includes identification information of the control device 3, observation information indicating a frame sequential type or simultaneous type observation method, and an imaging element 244. Imaging speed (frame rate), readout information of pixel information from an arbitrary pixel of the sensor unit 244a, setting information such as shutter control setting, master / slave setting of the endoscope 2, and pixel information read out by the AFE unit 244b Transmission control information and the like are stored.

操作部22と先端部24との間には、制御装置3との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル245が接続され、操作部22とコネクタ部27との間には集合ケーブル224が接続されている。複数の信号線には、撮像素子244が出力した画像信号を制御装置3へ伝送する信号線および制御装置3が出力する制御信号を撮像素子244へ伝送する信号線等が含まれる。また、電気信号の送受信には、2本の信号線(差動信号線)を用いて一つの信号を伝送する方式(差動伝送)が用いられる。差動信号線間の電圧をそれぞれ正(+)および負(−、位相反転)とすることによって、各線にノイズが混入してもキャンセルできるため、シングルエンド信号に比べてノイズに強く、データの高速伝送が可能となる。なお、上述した差動伝送は、ユニバーサルコード23や可撓管部26の長さが長い場合に用いられることが好ましく、この長さが短い場合は、シングルエンド信号を用いるシングルエンド信号伝送であっても適用可能である。   A collective cable 245 in which a plurality of signal lines for transmitting and receiving electrical signals to and from the control device 3 are bundled is connected between the operation unit 22 and the distal end unit 24, and the operation unit 22 and the connector unit 27 are connected to each other. A collective cable 224 is connected between them. The plurality of signal lines include a signal line for transmitting an image signal output from the image pickup device 244 to the control device 3, a signal line for transmitting a control signal output from the control device 3 to the image pickup device 244, and the like. Further, for transmission / reception of electrical signals, a system (differential transmission) in which one signal is transmitted using two signal lines (differential signal lines) is used. By making the voltage between the differential signal lines positive (+) and negative (-, phase inversion), it is possible to cancel even if noise is mixed in each line. High-speed transmission is possible. The differential transmission described above is preferably used when the length of the universal cord 23 or the flexible tube portion 26 is long. When the length is short, the single end signal transmission using a single end signal is used. Is applicable.

操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部222と、送気手段、送水手段、送ガス手段等の切り替えを行う信号を入力する複数の第1入力スイッチ223a、および制御装置3、光源装置4の設定を入力する複数の第2入力スイッチ223bからなるスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネルを経由して開口部から表出する(図示せず)。ここで、コネクタ部27から先端部24に信号を伝送する場合において、ユニバーサルコード23で信号を中継して、差動信号をシングルエンド信号に変換する回路を配設する。また、差動信号を先端部24まで伝送させる場合、この差動信号からシングルエンド信号に変換する変換回路を差動バッファとしてもよいし、先端部24からコネクタ部27に伝送する差動信号を一度操作部22で中継し、差動バッファを配置するようにしてもよい。なお、例えば、ユニバーサルコード23内の差動の信号伝達にはツイナックス線、挿入部21内のシングルエンド信号伝送には同軸線を適用するというように、挿入部21およびユニバーサルコード23でそれぞれの伝送に適した撮像ケーブルで構成することが好ましい。   The operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife, and an inspection probe into the body cavity, an air supply unit, A plurality of first input switches 223a for inputting signals for switching between water supply means, gas supply means, and the like, and a switch 223 consisting of a plurality of second input switches 223b for inputting settings of the control device 3 and the light source device 4. Have. The treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening via the treatment tool channel of the distal end portion 24 (not shown). Here, when the signal is transmitted from the connector portion 27 to the distal end portion 24, a circuit that relays the signal with the universal cord 23 and converts the differential signal into a single-ended signal is provided. Further, when a differential signal is transmitted to the distal end portion 24, a conversion circuit for converting the differential signal into a single-ended signal may be a differential buffer, or a differential signal transmitted from the distal end portion 24 to the connector portion 27 may be transmitted. It is also possible to relay the operation unit 22 once and arrange a differential buffer. Note that, for example, a twinax line is used for differential signal transmission within the universal cord 23 and a coaxial line is used for single-ended signal transmission within the insertion portion 21. It is preferable to configure with an imaging cable suitable for the above.

ユニバーサルコード23は、ライトガイド241と、集合ケーブル224と、を少なくとも内蔵している。ユニバーサルコード23は、光源装置4に着脱自在なコネクタ部27(図1を参照)を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置3と着脱自在な電気コネクタ部28を有する。コネクタ部27は、内部に内視鏡2の制御を行う制御部271と、FPGA(Field Programmable Gate Array)272と、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、68MHzのクロック)を生成する基準クロック生成部273と、コンフィグレーションデータを記録する第1EEPROM274と、撮像情報を含む内視鏡固有データを記録する第2EEPROM275と、を有する。   The universal cord 23 includes at least a light guide 241 and a collective cable 224. The universal cord 23 has a connector portion 27 (see FIG. 1) that is detachably attached to the light source device 4. The connector portion 27 has a coiled coil cable 27a extending therein, and has an electrical connector portion 28 that is detachable from the control device 3 at the extending end of the coil cable 27a. The connector unit 27 includes a control unit 271 that controls the endoscope 2 therein, an FPGA (Field Programmable Gate Array) 272, and a reference clock signal (for example, a reference for operation of each component unit of the endoscope 2). A reference clock generation unit 273 that generates configuration data, a first EEPROM 274 that records configuration data, and a second EEPROM 275 that records endoscope-specific data including imaging information.

つぎに、制御装置3の構成について説明する。制御装置3は、S/P変換部301と、画像処理部302と、明るさ検出部303と、調光部304と、読出アドレス設定部305と、駆動信号生成部306と、入力部307と、記憶部308と、制御部309と、基準クロック生成部310と、を備える。なお、本実施の形態では、制御装置3として面順次の構成を例に説明するが、同時式であっても適用することができる。   Next, the configuration of the control device 3 will be described. The control device 3 includes an S / P conversion unit 301, an image processing unit 302, a brightness detection unit 303, a light control unit 304, a read address setting unit 305, a drive signal generation unit 306, and an input unit 307. , A storage unit 308, a control unit 309, and a reference clock generation unit 310. In the present embodiment, a frame sequential configuration will be described as an example of the control device 3, but it can be applied to a simultaneous type.

S/P変換部301は、先端部24から受信した画像信号(デジタル信号)をシリアル/パラレル変換する。   The S / P converter 301 performs serial / parallel conversion on the image signal (digital signal) received from the distal end portion 24.

画像処理部302は、S/P変換部301から出力されたパラレル形態の画像信号をもとに、表示装置5が表示する体内画像を生成する。画像処理部302は、同時化部302aと、ホワイトバランス(WB)調整部302bと、ゲイン調整部302cと、γ補正部302dと、D/A変換部302eと、フォーマット変更部302fと、サンプル用メモリ302gと、静止画像用メモリ302hと、を有する。   The image processing unit 302 generates an in-vivo image displayed by the display device 5 based on the parallel image signal output from the S / P conversion unit 301. The image processing unit 302 includes a synchronization unit 302a, a white balance (WB) adjustment unit 302b, a gain adjustment unit 302c, a γ correction unit 302d, a D / A conversion unit 302e, a format change unit 302f, and a sample-use unit. It has a memory 302g and a still image memory 302h.

同時化部302aは、画素情報として入力された画像信号を、画素ごとに設けられた3つのメモリ(図示せず)に入力し、読み出し部244gが読み出した受光部244fの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら3つのメモリの画像信号をRGB画像信号として同時化する。同時化部302aは、同時化したRGB画像信号をホワイトバランス調整部302bへ順次出力するとともに、一部のRGB画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ302gへ出力する。   The synchronization unit 302a inputs an image signal input as pixel information to three memories (not shown) provided for each pixel, and associates the image signal with the pixel address of the light receiving unit 244f read by the reading unit 244g. Then, the values of the respective memories are held while being sequentially updated, and the image signals of these three memories are synchronized as RGB image signals. The synchronization unit 302a sequentially outputs the synchronized RGB image signals to the white balance adjustment unit 302b, and outputs a part of the RGB image signals to the sample memory 302g for image analysis such as brightness detection.

ホワイトバランス調整部302bは、RGB画像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整部302bは、RGB画像信号に含まれる色温度に基づいて、RGB画像信号のホワイトバランスを自動的に調整する。   The white balance adjustment unit 302b automatically adjusts the white balance of the RGB image signal. Specifically, the white balance adjustment unit 302b automatically adjusts the white balance of the RGB image signal based on the color temperature included in the RGB image signal.

ゲイン調整部302cは、RGB画像信号のゲイン調整を行う。ゲイン調整部302cは、ゲイン調整を行ったRGB信号をγ補正部302dへ出力するとともに、一部のRGB信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ302hへ出力する。   The gain adjustment unit 302c adjusts the gain of the RGB image signal. The gain adjustment unit 302c outputs the RGB signal subjected to gain adjustment to the γ correction unit 302d, and a part of the RGB signal for still image display, enlarged image display, or emphasized image display 302h. Output to.

γ補正部302dは、表示装置5に対応させてRGB画像信号の階調補正(γ補正)を行う。   The γ correction unit 302 d performs gradation correction (γ correction) of the RGB image signal in correspondence with the display device 5.

D/A変換部302eは、γ補正部302dが出力した階調補正後のRGB画像信号をアナログ信号に変換する。   The D / A conversion unit 302e converts the RGB image signal after gradation correction output from the γ correction unit 302d into an analog signal.

フォーマット変更部302fは、アナログ信号に変換された画像信号をハイビジョン方式等の動画用のファイルフォーマットに変更して表示装置5に出力する。   The format changing unit 302f changes the image signal converted into the analog signal to a moving image file format such as a high-definition method and outputs the same to the display device 5.

明るさ検出部303は、サンプル用メモリ302gが保持するRGB画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部309へ出力する。また、明るさ検出部303は、検出した明るさレベルをもとに、ホワイトバランス調整値、ゲイン調整値および光照射量を算出し、ホワイトバランス調整値をホワイトバランス調整部302bへ、ゲイン調整値をゲイン調整部302cへ、光照射量を調光部304へ出力する。   The brightness detection unit 303 detects the brightness level corresponding to each pixel from the RGB image signals held in the sample memory 302g, records the detected brightness level in a memory provided therein, and the control unit 309. Output to. The brightness detection unit 303 calculates a white balance adjustment value, a gain adjustment value, and a light irradiation amount based on the detected brightness level, and sends the white balance adjustment value to the white balance adjustment unit 302b. Are output to the gain adjusting unit 302 c and the light irradiation amount is output to the light adjusting unit 304.

調光部304は、制御部309の制御のもと、明るさ検出部303が算出した光照射量をもとに光源装置4が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置4へ送信する。   Under the control of the control unit 309, the light control unit 304 sets the type of light generated by the light source device 4, the light amount, the light emission timing, and the like based on the light irradiation amount calculated by the brightness detection unit 303. A light source synchronization signal including the set conditions is transmitted to the light source device 4.

読出アドレス設定部305は、センサ部244aの受光面における読み出し対象の画素および読み出し順序を、内視鏡2内の制御部271と通信することにより設定する機能を有する。制御部271は、第2EEPROM275に格納されているセンサ部224aの種類情報を読み出し、制御装置3へ送信する。読出アドレス設定部305は、AFE部244bが読み出すセンサ部244aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部305は、設定した読み出し対象の画素のアドレス情報を同時化部302aへ出力する。   The read address setting unit 305 has a function of setting the pixel to be read on the light receiving surface of the sensor unit 244a and the reading order by communicating with the control unit 271 in the endoscope 2. The control unit 271 reads out the type information of the sensor unit 224 a stored in the second EEPROM 275 and transmits it to the control device 3. The read address setting unit 305 has a function of setting the pixel address of the sensor unit 244a read by the AFE unit 244b. Further, the read address setting unit 305 outputs the set address information of the pixel to be read to the synchronization unit 302a.

駆動信号生成部306は、内視鏡2を駆動するための駆動用のタイミング信号(水平同期信号(HD)および垂直同期信号(VD))を生成し、FPGA272、集合ケーブル224,245に含まれる所定の信号線を介してタイミングジェネレータ244d(撮像素子244)へ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。また、駆動信号生成部306は、内視鏡2から制御装置3に送信される電気信号の送信制御を行なうためのスタンバイ信号を生成する。ここで、スタンバイ信号は、P/S変換部244cによる電気信号(画像情報)のFPGA272側への送信を送信状態または停止状態(スタンバイ状態)のいずれかに設定する信号である。   The drive signal generation unit 306 generates drive timing signals (horizontal synchronization signal (HD) and vertical synchronization signal (VD)) for driving the endoscope 2, and is included in the FPGA 272 and the collective cables 224 and 245. The signal is transmitted to the timing generator 244d (image sensor 244) via a predetermined signal line. This timing signal includes address information of a pixel to be read. In addition, the drive signal generation unit 306 generates a standby signal for performing transmission control of an electric signal transmitted from the endoscope 2 to the control device 3. Here, the standby signal is a signal for setting the transmission of the electric signal (image information) by the P / S conversion unit 244c to the FPGA 272 side to either the transmission state or the stop state (standby state).

入力部307は、フロントパネルやキーボードにより設定されるフリーズ、レリーズ、各種画像調整(強調、電子拡大、色調など)等、内視鏡システム1の動作を指示する動作指示信号の入力を受け付ける。   The input unit 307 accepts input of operation instruction signals for instructing the operation of the endoscope system 1 such as freeze, release, various image adjustments (emphasis, electronic enlargement, color tone, etc.) set by the front panel or the keyboard.

記憶部308は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部308は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部308は、制御装置3の識別情報および観察情報を記憶する。ここで、識別情報には、制御装置3の固有情報(ID)、年式、制御部309のスペック情報および伝送レート情報が含まれる。   The storage unit 308 is realized using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory). The storage unit 308 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1. The storage unit 308 stores identification information and observation information of the control device 3. Here, the identification information includes the unique information (ID) of the control device 3, the year, the specification information of the control unit 309, and the transmission rate information.

制御部309は、CPU等を用いて構成され、内視鏡2および光源装置4を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部309は、撮像制御のための設定データをコネクタ部27のFPGA272に送信し、撮像素子244に必要な信号およびデータを集合ケーブル224,245に含まれる所定の信号線を介して制御部244eに送信する。また、制御部309は、内視鏡2の同期において制御装置3側から同期信号を撮像素子244へ出力するスレーブモードと、内視鏡2の同期において内視鏡2側で同期信号を生成し、制御装置3に出力させるマスターモードとの間のモード切り替えを内視鏡2(制御部244e)に行わせるための制御信号を出力する切替制御部309aを有する。   The control unit 309 is configured using a CPU or the like, and performs drive control of each component including the endoscope 2 and the light source device 4, input / output control of information with respect to each component, and the like. The control unit 309 transmits setting data for imaging control to the FPGA 272 of the connector unit 27, and transmits signals and data necessary for the imaging device 244 via a predetermined signal line included in the collective cables 224 and 245. Send to. The control unit 309 generates a synchronization signal on the endoscope 2 side in the slave mode in which the synchronization signal is output from the control device 3 side to the image sensor 244 in synchronization with the endoscope 2 and in the synchronization of the endoscope 2. The switching control unit 309a outputs a control signal for causing the endoscope 2 (control unit 244e) to perform mode switching between the master mode to be output to the control device 3.

基準クロック生成部310は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。   The reference clock generation unit 310 generates a reference clock signal that serves as a reference for the operation of each component of the endoscope system 1 and supplies the generated reference clock signal to each component of the endoscope system 1.

つぎに、光源装置4の構成について説明する。光源装置4は、光源41と、光源ドライバ42と、回転フィルタ43と、駆動部44と、駆動ドライバ45と、光源制御部46と、を備える。   Next, the configuration of the light source device 4 will be described. The light source device 4 includes a light source 41, a light source driver 42, a rotary filter 43, a drive unit 44, a drive driver 45, and a light source control unit 46.

光源41は、白色LED(Light Emitting Diode)またはキセノンランプ等を用いて構成され、光源制御部46の制御のもと、白色光を発生する。光源ドライバ42は、光源41に対して光源制御部46の制御のもとで電流を供給することにより、光源41に白色光を発生させる。光源41が発生した光は、回転フィルタ43および集光レンズ(図示せず)およびライトガイド241を経由して先端部24の先端から照射される。   The light source 41 is configured using a white LED (Light Emitting Diode), a xenon lamp, or the like, and generates white light under the control of the light source control unit 46. The light source driver 42 causes the light source 41 to generate white light by supplying current to the light source 41 under the control of the light source control unit 46. Light generated by the light source 41 is irradiated from the tip of the tip portion 24 via the rotary filter 43, a condenser lens (not shown), and the light guide 241.

回転フィルタ43は、光源41が発した白色光の光路上に配置され、回転することにより、光源41が発する白色光を所定の波長帯域を有する光のみを透過させる。具体的には、回転フィルタ43は、赤色光(R)、緑色光(G)および青色光(B)のそれぞれの波長帯域を有する光を透過させる赤色フィルタ431、緑色フィルタ432および青色フィルタ433を有する。回転フィルタ43は、回転することにより、赤、緑および青の波長帯域(例えば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)を有する光を順次透過させる。これにより、光源41が発する白色光は、狭帯域化した赤色光、緑色光および青色光のいずれかの光を内視鏡2に順次出射することができる。   The rotary filter 43 is disposed on the optical path of white light emitted from the light source 41, and rotates to transmit only the light having a predetermined wavelength band through the white light emitted from the light source 41. Specifically, the rotating filter 43 includes a red filter 431, a green filter 432, and a blue filter 433 that transmit light having respective wavelength bands of red light (R), green light (G), and blue light (B). Have. The rotary filter 43 sequentially transmits light having wavelength bands of red, green, and blue (for example, red: 600 nm to 700 nm, green: 500 nm to 600 nm, blue: 400 nm to 500 nm) by rotating. As a result, the white light emitted from the light source 41 can sequentially emit one of the narrow-band red light, green light, and blue light to the endoscope 2.

駆動部44は、ステッピングモータやDCモータ等を用いて構成され、制御装置3から送信される同期信号を基準として回転フィルタ43を回転動作させる。駆動ドライバ45は、光源制御部46の制御のもと、駆動部44に所定の電流を供給する。   The drive unit 44 is configured using a stepping motor, a DC motor, or the like, and rotates the rotary filter 43 with reference to the synchronization signal transmitted from the control device 3. The drive driver 45 supplies a predetermined current to the drive unit 44 under the control of the light source control unit 46.

光源制御部46は、調光部304から送信された調光信号に従って光源41に供給する電流量を制御する。また、光源制御部46は、制御部309の制御のもと、駆動ドライバ45を介して駆動部44を駆動することにより、回転フィルタ43を回転させる。   The light source control unit 46 controls the amount of current supplied to the light source 41 according to the dimming signal transmitted from the dimming unit 304. Further, the light source control unit 46 rotates the rotary filter 43 by driving the drive unit 44 via the drive driver 45 under the control of the control unit 309.

表示装置5は、映像ケーブルを介して制御装置3が生成した体内画像を制御装置3から受信して表示する機能を有する。表示装置5は、液晶または有機EL(Electro Luminescence)等を用いて構成される。   The display device 5 has a function of receiving and displaying the in-vivo image generated by the control device 3 via the video cable from the control device 3. The display device 5 is configured using liquid crystal, organic EL (Electro Luminescence), or the like.

以上の構成を有する内視鏡システム1において、内視鏡2の各モード(マスターモードおよびスレーブモード)での信号の入出力態様について説明する。図3は、本実施の形態にかかる内視鏡システム1において、内視鏡2がマスターの場合の信号伝送を模式的に示すタイミングチャートである。図4は、本実施の形態にかかる内視鏡システム1において、内視鏡2が出力する出力信号の一例を模式的に示す図である。本実施の形態では、内視鏡2の制御部244e(モード切替部)によって、上述したスレーブモード(制御装置3がマスター)およびマスターモードの2つのモードを選択可能である。   In the endoscope system 1 having the above configuration, a signal input / output mode in each mode (master mode and slave mode) of the endoscope 2 will be described. FIG. 3 is a timing chart schematically showing signal transmission when the endoscope 2 is a master in the endoscope system 1 according to the present embodiment. FIG. 4 is a diagram schematically illustrating an example of an output signal output from the endoscope 2 in the endoscope system 1 according to the present embodiment. In the present embodiment, the control unit 244e (mode switching unit) of the endoscope 2 can select two modes of the slave mode (the control device 3 is a master) and the master mode.

まず、内視鏡システム1において内視鏡2がマスターの場合(マスターモード)、内視鏡2の制御部244eは、タイミングジェネレータ244dが発生したパルスに基づき生成される垂直同期信号(VD)の垂直同期タイミングによってセンサ部244aを駆動し(CIS駆動)、この駆動期間においてP/S変換部244cに信号を出力させる(CIS出力)。ここで、垂直同期信号(VD)は、独立で設けてもよいし、設定データに重畳させてもよい。制御部244eは、2次元マトリックス状に配設された複数の画素のうち、この垂直同期信号(VD)によって1方向(1ライン)ごとに読み出し部244gの読み出し動作の制御を行う。1ラインに対応する映像信号ごとに、タイミングジェネレータ244dが水平同期信号(HD)を重畳し、1フレームごとに垂直同期信号(VD)を重畳する。先端部24を駆動するクロックは、基準クロック生成部273で生成されたクロックでもよいし、基準クロック生成部310で生成されたクロックでもよい。   First, in the endoscope system 1, when the endoscope 2 is a master (master mode), the control unit 244e of the endoscope 2 generates a vertical synchronization signal (VD) generated based on a pulse generated by the timing generator 244d. The sensor unit 244a is driven by the vertical synchronization timing (CIS drive), and a signal is output to the P / S conversion unit 244c during this drive period (CIS output). Here, the vertical synchronization signal (VD) may be provided independently, or may be superimposed on the setting data. The control unit 244e controls the reading operation of the reading unit 244g for each direction (one line) by the vertical synchronization signal (VD) among the plurality of pixels arranged in a two-dimensional matrix. For each video signal corresponding to one line, the timing generator 244d superimposes a horizontal synchronizing signal (HD) and superimposes a vertical synchronizing signal (VD) for each frame. The clock for driving the front end portion 24 may be a clock generated by the reference clock generation unit 273 or a clock generated by the reference clock generation unit 310.

上述したように、内視鏡システム1において内視鏡2がマスターの場合、撮像素子244の内部(タイミングジェネレータ244d)において垂直同期信号(VD)が生成され、制御部244eが、この垂直同期信号によって撮像素子244の駆動や電気信号の送信動作を行なう。このとき、コネクタ部27から制御装置3に対する電気信号の送信期間には、例えば、図4に示すように、1ラインに応じた映像信号に対して水平同期信号(HD)が重畳された出力信号Osが所定数(画像数)含まれている。なお、面順次方式の場合、図3においてCIS駆動期間終了後から次の垂直同期信号が生成されるまでの間には、露光処理が行われる。例えば、出射される光が回転フィルタ43によって赤色光(R)、緑色光(G)、青色光(B)の順で制御され、直前に撮像素子244(センサ部244a)から出力された映像信号が、赤色光(R)によるものである場合、その直後の露光処理は、緑色光(G)の波長帯によるものとなる。また、この露光期間(映像信号出力期間外)において、撮像素子244は、EMI対策として、映像データレートよりも周波数が低い低周波クロックを重畳して出力するようにしてもよい。   As described above, when the endoscope 2 is a master in the endoscope system 1, the vertical synchronization signal (VD) is generated inside the image sensor 244 (timing generator 244 d), and the control unit 244 e performs this vertical synchronization signal. Thus, the image sensor 244 is driven and an electric signal is transmitted. At this time, in the transmission period of the electrical signal from the connector unit 27 to the control device 3, for example, as shown in FIG. 4, an output signal in which a horizontal synchronizing signal (HD) is superimposed on a video signal corresponding to one line. A predetermined number (number of images) of Os is included. In the case of the frame sequential method, exposure processing is performed from the end of the CIS drive period to the generation of the next vertical synchronization signal in FIG. For example, the emitted light is controlled by the rotary filter 43 in the order of red light (R), green light (G), and blue light (B), and the video signal output from the image sensor 244 (sensor unit 244a) immediately before. However, when it is based on red light (R), the exposure processing immediately after that is based on the wavelength band of green light (G). Further, during this exposure period (outside the video signal output period), the imaging device 244 may superimpose and output a low frequency clock having a frequency lower than the video data rate as a measure against EMI.

なお、内視鏡2がマスターの場合、映像信号に重畳した垂直同期信号VD(R),VD(G),VD(B)を基準に制御装置3との同期や、光源装置4の回転フィルタ43の同期を確立する。垂直同期信号VD(R),VD(G),VD(B)は、重畳するコードをRGBでそれぞれ異なるコードにしてもよいし、垂直同期信号VDのクロックをRGBごとに異なる数にして、制御装置3や光源装置4で判別できるようにしてもよい。   When the endoscope 2 is a master, it is synchronized with the control device 3 based on the vertical synchronization signals VD (R), VD (G), and VD (B) superimposed on the video signal, and the rotation filter of the light source device 4 is used. 43 synchronization is established. The vertical synchronization signals VD (R), VD (G), and VD (B) may be controlled by superimposing codes that are different in RGB, or by using different numbers of clocks for the vertical synchronization signal VD for each RGB. The determination may be made by the device 3 or the light source device 4.

図5は、本実施の形態にかかる内視鏡システム1において、制御装置3がマスターの場合の信号伝送を模式的に示すタイミングチャートである。切替制御部309aの切り替え動作によって、制御装置3がマスターとなった場合(内視鏡2がスレーブとなった場合:スレーブモード)、内視鏡2の制御部244eは、記憶部244kのマスター/スレーブ設定情報を参照して内視鏡2をスレーブモードに設定する。制御部244eは、スレーブモード基準においては、基準クロック生成部310が生成した基準クロック信号および駆動信号生成部306が生成した水平同期信号(HD)や垂直同期信号(VD)の入力(CIS入力(VD)のパルスの立ち上がり)により、この水平同期タイミングでセンサ部244aを駆動し(CIS駆動)、この駆動期間においてP/S変換部244cに信号を出力させる(CIS出力)。   FIG. 5 is a timing chart schematically showing signal transmission when the control device 3 is a master in the endoscope system 1 according to the present embodiment. When the control device 3 becomes the master by the switching operation of the switching control unit 309a (when the endoscope 2 becomes the slave: slave mode), the control unit 244e of the endoscope 2 performs the master / storage of the storage unit 244k. The endoscope 2 is set to the slave mode with reference to the slave setting information. In the slave mode reference, the control unit 244e receives the reference clock signal generated by the reference clock generation unit 310 and the horizontal synchronization signal (HD) and vertical synchronization signal (VD) generated by the drive signal generation unit 306 (CIS input ( VD), the sensor unit 244a is driven at this horizontal synchronization timing (CIS drive), and a signal is output to the P / S converter 244c during this drive period (CIS output).

制御部244eは、2次元マトリックス状に配設された複数の画素のうち、この垂直同期信号(VD)によって1方向(1ライン)ごとに読み出し部244gの読み出し動作の制御を行う。また、制御部244eは、1ラインに対応する映像信号ごとに、タイミングジェネレータ244dが発生したパルスにより決定される水平同期信号(HD)を重畳し、この重畳した信号を出力信号(図4参照)としてP/S変換部244cに出力させる。   The control unit 244e controls the reading operation of the reading unit 244g for each direction (one line) by the vertical synchronization signal (VD) among the plurality of pixels arranged in a two-dimensional matrix. Further, the control unit 244e superimposes a horizontal synchronization signal (HD) determined by a pulse generated by the timing generator 244d for each video signal corresponding to one line, and outputs the superimposed signal as an output signal (see FIG. 4). To the P / S converter 244c.

上述したように、内視鏡システム1において制御装置3がマスターの場合(内視鏡2がスレーブの場合)、制御装置3において生成された垂直同期信号(VD)を用いて制御部244eが撮像素子244の駆動や電気信号の送信動作を行なう。なお、コネクタ部27から制御装置3に対する電気信号の送信期間には、例えば、図4に示すように、1つの画像を構成する1ラインに応じた映像信号に対して水平同期信号(HD)が重畳された出力信号Osが所定数(画像数)含まれている。なお、図5,6においてCIS駆動期間終了後から次の垂直同期信号が生成されるまでの間には、露光処理が行われる。例えば、出射される光が回転フィルタ43によって赤色光(R)、緑色光(G)、青色光(B)の順で制御され、直前に撮像素子244(センサ部244a)から出力された映像信号が、赤色光(R)によるものである場合、その直後の露光処理は、緑色光(G)の波長帯によるものとなる。   As described above, when the control device 3 is a master in the endoscope system 1 (when the endoscope 2 is a slave), the control unit 244e captures an image using the vertical synchronization signal (VD) generated by the control device 3. The element 244 is driven and an electric signal is transmitted. Note that, during the transmission period of the electrical signal from the connector unit 27 to the control device 3, for example, as shown in FIG. 4, a horizontal synchronization signal (HD) is generated for a video signal corresponding to one line constituting one image. A predetermined number (number of images) of the superimposed output signal Os is included. In FIGS. 5 and 6, the exposure process is performed after the end of the CIS drive period until the next vertical synchronization signal is generated. For example, the emitted light is controlled by the rotary filter 43 in the order of red light (R), green light (G), and blue light (B), and the video signal output from the image sensor 244 (sensor unit 244a) immediately before. However, when it is based on red light (R), the exposure processing immediately after that is based on the wavelength band of green light (G).

ここで、FPGA272は、P/S変換部244cによる電気信号(画像情報)のFPGA272側への送信を送信状態または停止状態のいずれかに設定するスタンバイ信号を生成し、FPGA272から設定データとして制御部244eに出力する。制御部244eは、入力されたスタンバイ信号の入力レベルに応じて、P/S変換部244cからFPGA272への電気信号の送信を送信状態または停止状態(スタンバイ状態)のいずれかに設定する。なお、以降、電気信号の送信が停止される状態をスタンバイ状態という。また、FPGA272から先端部24へクロック供給する時点でFPGA272の受信が可能なシステムの場合は、先端部24の制御部244eでスタンバイ信号を生成し、P/S変換部244cへ供給するような構成にしてもよい。   Here, the FPGA 272 generates a standby signal for setting the transmission of the electrical signal (image information) to the FPGA 272 side by the P / S conversion unit 244c to either the transmission state or the stop state, and the control unit receives setting information from the FPGA 272 as setting data. Output to 244e. The control unit 244e sets the transmission of the electrical signal from the P / S conversion unit 244c to the FPGA 272 in either a transmission state or a stopped state (standby state) according to the input level of the input standby signal. Hereinafter, a state in which transmission of an electric signal is stopped is referred to as a standby state. Further, in the case of a system that can receive the FPGA 272 at the time when the clock is supplied from the FPGA 272 to the tip portion 24, the controller 244e of the tip portion 24 generates a standby signal and supplies it to the P / S converter 244c. It may be.

図6は、本実施の形態にかかる内視鏡システム1におけるスタンバイ信号の入力による信号伝送を模式的に示すタイミングチャートである。ここで、撮像素子244では、垂直同期信号(VD)にしたがってセンサ部244aから電気信号が出力されている(センサ部出力)。このとき、スタンバイ信号がタイミングジェネレータ244dにロー(L)レベルで入力されている状態(スタンバイ状態)では、送信制御部244lは、センサ部244aからの電気信号の出力に関わらず、FPGA272側への電気信号の送信は行わないよう制御する(CIS出力)。   FIG. 6 is a timing chart schematically showing signal transmission by input of a standby signal in the endoscope system 1 according to the present embodiment. Here, in the image sensor 244, an electrical signal is output from the sensor unit 244a in accordance with the vertical synchronization signal (VD) (sensor unit output). At this time, in a state where the standby signal is input to the timing generator 244d at a low (L) level (standby state), the transmission control unit 244l outputs the signal to the FPGA 272 regardless of the output of the electrical signal from the sensor unit 244a. Control is performed so as not to transmit electrical signals (CIS output).

このスタンバイ状態において、先端部24が安定した出力を出せる準備が整った後、タイミングジェネレータ244dまたは制御部244eからP/S変換部244cにHレベルのスタンバイ信号が出力される。   In this standby state, after the tip 24 is ready for stable output, an H level standby signal is output from the timing generator 244d or the controller 244e to the P / S converter 244c.

送信状態において、送信制御部244lは、撮像素子244から出力される電気信号を、垂直同期信号による同期タイミングにしたがってP/S変換部244cに送信する。ここで、送信される電気信号には、上述した1ラインごとに水平同期信号(HD)が重畳された出力信号や、マスター/スレーブモードの設定情報等の各種設定情報が含まれる。なお、このときにP/S変換部244cが電気信号を送信するための同期タイミングは、センサ部244aにおける垂直同期信号の同期タイミングと一致していることが好ましい。   In the transmission state, the transmission controller 244l transmits the electrical signal output from the image sensor 244 to the P / S converter 244c according to the synchronization timing of the vertical synchronization signal. Here, the transmitted electric signal includes the output signal on which the horizontal synchronization signal (HD) is superimposed for each line described above, and various setting information such as master / slave mode setting information. At this time, it is preferable that the synchronization timing for the P / S conversion unit 244c to transmit the electrical signal coincides with the synchronization timing of the vertical synchronization signal in the sensor unit 244a.

上述したようなスタンバイ信号によって内視鏡2内部の通信状態を制御することにより、内視鏡2と制御装置3との間の通信状態を制御することができる。これにより、例えば制御装置3を再起動等による立ち上げ動作時やFPGA272の初期化動作時、この動作時において撮像素子244から映像信号等の電気信号を送信することを防止するとともに、安定状態となった後に撮像素子244から電気信号を送信することによって、安定した送受信状態を維持することが可能となる。   By controlling the communication state inside the endoscope 2 by the standby signal as described above, the communication state between the endoscope 2 and the control device 3 can be controlled. As a result, for example, during the startup operation by restarting the control device 3 or the initialization operation of the FPGA 272, it is possible to prevent an electrical signal such as a video signal from being transmitted from the image sensor 244 during this operation, Then, by transmitting an electrical signal from the image sensor 244, a stable transmission / reception state can be maintained.

以上説明した本実施の形態によれば、切替制御部309aによる内視鏡2のマスター/スレーブモードの切り替えを行うシステムにおいて、スタンバイ信号によって撮像素子から出力された電気信号の送信を制御するようにしたので、モード切り替えによる制御に加え、安定した状態の駆動タイミングにおける信号伝送を行なうことによって、内視鏡2の内部、および内視鏡2と制御装置3との間で安定した信号伝送を行うことができる。また、内視鏡システム1起動時に内視鏡2側で生成するクロックが不安定となる場合は、内視鏡システム1起動時は内視鏡2(撮像素子244)がスレーブモードとなるように予め設定しておくことによって、起動時は、制御装置3からのより安定したクロック(駆動信号)を用いて撮像素子244の各部の駆動タイミングを決定するようにしてもよい。   According to the present embodiment described above, in the system that switches the master / slave mode of the endoscope 2 by the switching control unit 309a, the transmission of the electrical signal output from the image sensor by the standby signal is controlled. Therefore, in addition to control by mode switching, stable signal transmission is performed inside the endoscope 2 and between the endoscope 2 and the control device 3 by performing signal transmission at a stable driving timing. be able to. Further, when the clock generated on the endoscope 2 side becomes unstable when the endoscope system 1 is activated, the endoscope 2 (imaging device 244) is in the slave mode when the endoscope system 1 is activated. By setting in advance, the drive timing of each part of the image sensor 244 may be determined using a more stable clock (drive signal) from the control device 3 at the time of startup.

なお、上述した実施の形態では、制御部244e(モード切替部)によって、内視鏡2に対してマスターモードからスレーブモードに移行するものとして説明したが、スレーブモードからマスターモードに移行する場合も同様に、制御部244eの制御のもとで同期信号の取得元が切り替えられる。   In the above-described embodiment, the control unit 244e (mode switching unit) has been described as shifting from the master mode to the slave mode with respect to the endoscope 2, but there may be a case of shifting from the slave mode to the master mode. Similarly, the acquisition source of the synchronization signal is switched under the control of the control unit 244e.

また、切替制御部が、制御装置3に設けられるものとして説明したが、コネクタ部27に設けられるものであってもよいし、撮像素子244に設けられるものであってもよい。   In addition, although the switching control unit has been described as being provided in the control device 3, the switching control unit may be provided in the connector unit 27 or may be provided in the imaging element 244.

なお、光源装置4が、回転フィルタ43を有する面順次式であるものとして説明したが、撮像素子244側でカラーフィルターを有するものであれば、回転フィルタ43を透明にした同時式や回転フィルタ43自体有さない同時式であるものであってもよい。   Although the light source device 4 has been described as a surface sequential type having the rotation filter 43, if the image pickup device 244 has a color filter, a simultaneous type or a rotation filter 43 in which the rotation filter 43 is made transparent. It may be a simultaneous type that does not have itself.

1 内視鏡システム
2 内視鏡
3 制御装置
4 光源装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
28 電気コネクタ部
41 光源
42 光源ドライバ
43 回転フィルタ
44 駆動部
45 駆動ドライバ
46 光源制御部
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
223a 第1入力スイッチ
223b 第2入力スイッチ
224,245 集合ケーブル
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
244a センサ部
244b アナログフロントエンド
244c P/S変換部
244d タイミングジェネレータ
244e,271,309 制御部
244f 受光部
244g 読み出し部
244h ノイズ低減部
244i AGC部
244j A/D部
244k,308 記憶部
244l 送信制御部
272 FPGA
273,310 基準クロック生成部
274 第1EEPROM
275 第2EEPROM
302 画像処理部
303 明るさ検出部
304 調光部
305 読出アドレス設定部
306 駆動信号生成部
307 入力部
309a 切替制御部
DESCRIPTION OF SYMBOLS 1 Endoscope system 2 Endoscope 3 Control apparatus 4 Light source device 5 Display apparatus 21 Insertion part 22 Operation part 23 Universal code 24 Tip part 25 Bending part 26 Flexible tube part 27 Connector part 28 Electrical connector part 41 Light source 42 Light source driver DESCRIPTION OF SYMBOLS 43 Rotation filter 44 Drive part 45 Drive driver 46 Light source control part 221 Curve knob 222 Treatment tool insertion part 223 Switch 223a 1st input switch 223b 2nd input switch 224,245 Assembly cable 241 Light guide 242 Illumination lens 243 Optical system 244 Image sensor 244a Sensor unit 244b Analog front end 244c P / S conversion unit 244d Timing generator 244e, 271, 309 Control unit 244f Light receiving unit 244g Reading unit 244h Noise reduction unit 244i AGC unit 2 44j A / D unit 244k, 308 Storage unit 244l Transmission control unit 272 FPGA
273, 310 Reference clock generation unit 274 First EEPROM
275 2nd EEPROM
302 Image processing unit 303 Brightness detection unit 304 Dimming unit 305 Read address setting unit 306 Drive signal generation unit 307 Input unit 309a Switching control unit

Claims (2)

複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、
前記撮像部が出力した前記画像情報を外部に送信する送信部と、
所定の周期を有する同期信号を発生する同期信号発生部と、
外部から送られてくる同期信号を受信する受信部と、
前記受信部が受信した同期信号に基づいて前記送信部が画像情報を送信するスレーブモード、および前記同期信号発生部が発生する同期信号に基づいて前記送信部が画像情報を送信するマスターモードを切り替えるモード切替部と、
前記受信部が外部から受信する信号であって、前記送信部による前記画像情報の送信を送信状態または停止状態のいずれかに設定するスタンバイ信号に基づいて前記送信部の送信動作を制御する送信制御部と、
を備えたことを特徴とする撮像装置。
An imaging unit that outputs electric signals after photoelectric conversion from a plurality of pixels as image information;
A transmission unit for transmitting the image information output by the imaging unit to the outside;
A synchronization signal generator for generating a synchronization signal having a predetermined period;
A receiver for receiving a synchronization signal sent from the outside;
A slave mode in which the transmission unit transmits image information based on a synchronization signal received by the reception unit and a master mode in which the transmission unit transmits image information based on a synchronization signal generated by the synchronization signal generation unit are switched. A mode switching unit;
Transmission control for controlling the transmission operation of the transmission unit based on a standby signal that is received from the outside by the reception unit and sets the transmission of the image information by the transmission unit to either a transmission state or a stop state And
An imaging apparatus comprising:
請求項1に記載の撮像装置と、前記撮像装置が撮像した画像に所定の画像処理を施す制御装置とを備えた撮像システムであって、
前記スレーブモードと前記マスターモードとの間のモード切り替えを前記モード切替部に行わせる切替制御部と、
前記撮像装置を駆動するための駆動用のタイミング信号、および前記スタンバイ信号を生成して前記撮像装置へ出力する駆動信号生成部と、
を備えたことを特徴とする撮像システム。
An imaging system comprising: the imaging device according to claim 1; and a control device that performs predetermined image processing on an image captured by the imaging device,
A switching control unit that causes the mode switching unit to perform mode switching between the slave mode and the master mode;
A driving timing signal for driving the imaging device, and a drive signal generation unit that generates the standby signal and outputs the standby signal to the imaging device;
An imaging system comprising:
JP2012176196A 2012-08-08 2012-08-08 Imaging system Active JP5885617B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012176196A JP5885617B2 (en) 2012-08-08 2012-08-08 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012176196A JP5885617B2 (en) 2012-08-08 2012-08-08 Imaging system

Publications (2)

Publication Number Publication Date
JP2014033788A true JP2014033788A (en) 2014-02-24
JP5885617B2 JP5885617B2 (en) 2016-03-15

Family

ID=50283159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012176196A Active JP5885617B2 (en) 2012-08-08 2012-08-08 Imaging system

Country Status (1)

Country Link
JP (1) JP5885617B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072515A (en) * 2015-07-24 2017-08-18 奥林巴斯株式会社 Image data transmission system
US9960775B2 (en) 2015-06-30 2018-05-01 Olympus Corporation Processing apparatus and processing system
EP3524131A1 (en) 2015-06-22 2019-08-14 Olympus Corporation Image pickup apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0277227A (en) * 1988-09-13 1990-03-16 Olympus Optical Co Ltd Electronic endoscope device
JPH02162470A (en) * 1988-12-15 1990-06-22 Fuji Electric Co Ltd Picture input device
JPH05228109A (en) * 1992-02-21 1993-09-07 Fuji Photo Optical Co Ltd Narrow place insertion type observing device
JPH11169339A (en) * 1997-12-09 1999-06-29 Asahi Optical Co Ltd Automatic dimmer for electronic endoscope system
US6515271B1 (en) * 1999-05-21 2003-02-04 Olympus Optical Co., Ltd. CMOS image sensor unit with serial transmitting function
JP2007049218A (en) * 2005-08-05 2007-02-22 Matsushita Electric Ind Co Ltd Clock switching device
JP2008068021A (en) * 2006-09-15 2008-03-27 Olympus Corp Electronic endoscope apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0277227A (en) * 1988-09-13 1990-03-16 Olympus Optical Co Ltd Electronic endoscope device
JPH02162470A (en) * 1988-12-15 1990-06-22 Fuji Electric Co Ltd Picture input device
JPH05228109A (en) * 1992-02-21 1993-09-07 Fuji Photo Optical Co Ltd Narrow place insertion type observing device
JPH11169339A (en) * 1997-12-09 1999-06-29 Asahi Optical Co Ltd Automatic dimmer for electronic endoscope system
US6515271B1 (en) * 1999-05-21 2003-02-04 Olympus Optical Co., Ltd. CMOS image sensor unit with serial transmitting function
JP2007049218A (en) * 2005-08-05 2007-02-22 Matsushita Electric Ind Co Ltd Clock switching device
JP2008068021A (en) * 2006-09-15 2008-03-27 Olympus Corp Electronic endoscope apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3524131A1 (en) 2015-06-22 2019-08-14 Olympus Corporation Image pickup apparatus
US9960775B2 (en) 2015-06-30 2018-05-01 Olympus Corporation Processing apparatus and processing system
CN107072515A (en) * 2015-07-24 2017-08-18 奥林巴斯株式会社 Image data transmission system

Also Published As

Publication number Publication date
JP5885617B2 (en) 2016-03-15

Similar Documents

Publication Publication Date Title
JP5452785B1 (en) Imaging system
US8866893B2 (en) Imaging apparatus
JP5620612B2 (en) Imaging apparatus and imaging system
CN106256123B (en) Processing device, imaging device, and endoscope system
JP5769892B2 (en) Endoscope
JP5467182B1 (en) Imaging system
JP5927370B1 (en) Imaging apparatus and processing apparatus
JP6058235B1 (en) Endoscope system
WO2015114906A1 (en) Imaging system and imaging device
JP5847368B1 (en) Imaging apparatus and endoscope apparatus
JPWO2020178962A1 (en) Endoscope system, image processing equipment, total processing time detection method and processing equipment
JP5926980B2 (en) Imaging apparatus and imaging system
JP5810016B2 (en) Endoscope system
JP5885617B2 (en) Imaging system
JP6489644B2 (en) Imaging system
JP5815162B2 (en) Imaging device
US12082773B2 (en) Control device, endoscope, and control method
JP2014183908A (en) Imaging system
JP2013172765A (en) Endoscope system
JP2015177425A (en) Communication system, transmitter, and receiver

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140917

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160209

R151 Written notification of patent or utility model registration

Ref document number: 5885617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250