JP2014033788A - Imaging device and imaging system - Google Patents
Imaging device and imaging system Download PDFInfo
- Publication number
- JP2014033788A JP2014033788A JP2012176196A JP2012176196A JP2014033788A JP 2014033788 A JP2014033788 A JP 2014033788A JP 2012176196 A JP2012176196 A JP 2012176196A JP 2012176196 A JP2012176196 A JP 2012176196A JP 2014033788 A JP2014033788 A JP 2014033788A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- transmission
- imaging
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 18
- 230000008054 signal transmission Effects 0.000 abstract description 16
- 230000001360 synchronised effect Effects 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 18
- 238000003780 insertion Methods 0.000 description 13
- 230000037431 insertion Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 11
- 238000001727 in vivo Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、例えば、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画像情報として出力可能である撮像装置および撮像システムに関する。 The present invention relates to, for example, an imaging apparatus and an imaging system capable of outputting, as image information, an electrical signal after photoelectric conversion from a pixel arbitrarily designated as a readout target among a plurality of pixels for imaging.
従来から、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像部と、撮像部が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像部が体内画像を撮像する。医師等のユーザは、表示部が表示する体内画像に基づいて被検体の臓器の観察を行う。撮像部では、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設されている。 Conventionally, in the medical field, an endoscope system is used when observing an organ of a subject such as a patient. An endoscope system has, for example, an elongated shape having flexibility, an insertion unit that is inserted into a body cavity of a subject, an imaging unit that is provided at a distal end of the insertion unit and captures an in-vivo image, and an imaging unit And a display unit capable of displaying the captured in-vivo image. When acquiring an in-vivo image using an endoscope system, after inserting the insertion portion into the body cavity of the subject, irradiate the living tissue in the body cavity with illumination light such as white light from the distal end of the insertion portion. The imaging unit captures an in-vivo image. A user such as a doctor observes the organ of the subject based on the in-vivo image displayed by the display unit. In the imaging unit, a plurality of pixels each having a photodiode for accumulating charges according to the amount of light and an amplifier for amplifying the charges accumulated by the photodiodes are arranged in a two-dimensional matrix.
内視鏡システムを用いて撮像を行う場合、撮像部の各画素における映像信号の読み出しタイミングと、この映像信号に対する画像処理の処理開始タイミングとを合わせるため、このタイミングを同期させる信号として同期信号が用いられる。同期信号は、画面の各行の画素の読み出し開始を示す水平同期信号(HD)と、1画面の各フィールドの開始を示す垂直同期信号(VD)とからなる。また、同期をとる方式としては、撮像部において生成された同期信号によって画像処理系の同期をとる内部同期方式と、画像処理系において生成された同期信号によって撮像部から映像信号を出力させる外部同期方式とがある。 When performing imaging using an endoscope system, a synchronization signal is used as a signal to synchronize this timing in order to match the readout timing of the video signal in each pixel of the imaging unit with the processing start timing of image processing for this video signal. Used. The synchronization signal is composed of a horizontal synchronization signal (HD) indicating the start of reading pixels in each row of the screen and a vertical synchronization signal (VD) indicating the start of each field of one screen. In addition, as synchronization methods, an internal synchronization method that synchronizes the image processing system with a synchronization signal generated in the imaging unit, and an external synchronization that outputs a video signal from the imaging unit with a synchronization signal generated in the image processing system. There is a method.
上述した同期方式を用いる撮像装置として、内部同期方式にかかる内部同期パルスまたは外部同期方式にかかる外部同期パルスのいずれかの入力によって同期信号(外部同期信号または内部同期信号)の同期方式を自動的に選択するとともに、内部同期パルスおよび外部同期パルスの入力がない場合は、同期信号の同期方式として内部同期方式を選択する撮像装置(自動切換装置)が開示されている(例えば、特許文献1参照)。 As an imaging device using the synchronization method described above, the synchronization method of the synchronization signal (external synchronization signal or internal synchronization signal) is automatically set by inputting either the internal synchronization pulse according to the internal synchronization method or the external synchronization pulse according to the external synchronization method. In addition, an imaging device (automatic switching device) that selects an internal synchronization method as a synchronization method of a synchronization signal when there is no input of an internal synchronization pulse and an external synchronization pulse is disclosed (for example, see Patent Document 1). ).
また、撮像の際は、撮像部に設けられた同期信号発生回路によって発生した同期信号(内部同期信号)によって映像信号を形成し、画像表示を行う際は、VTR部に設けられた同期信号分離回路によって取り出された同期信号(外部同期信号)によって画像表示を行う撮像装置(録画再生装置)が開示されている(例えば、特許文献2参照)。 Further, when imaging, a video signal is formed by a synchronization signal (internal synchronization signal) generated by a synchronization signal generation circuit provided in the imaging unit, and when image display is performed, synchronization signal separation provided in the VTR unit is performed. An imaging apparatus (recording / reproducing apparatus) that displays an image using a synchronization signal (external synchronization signal) extracted by a circuit is disclosed (for example, see Patent Document 2).
ところで、従来の撮像装置では、内部同期信号および外部同期信号による同期方式を選択することが可能であるものの、信号自体の安定度によって選択するものではない。すなわち、装置起動時などの外部から受信する信号が不安定となるおそれのある状態において、内部同期方式および外部同期方式を選択するものにはなっていなかった。これにより、例えば装置起動時に外部同期方式を選択している場合、ノイズなどに起因する外部同期信号の乱れによって、安定した信号伝送が行えなくなるというおそれがあった。 By the way, in the conventional imaging apparatus, although it is possible to select a synchronization method using an internal synchronization signal and an external synchronization signal, it is not selected depending on the stability of the signal itself. That is, the internal synchronization method and the external synchronization method are not selected in a state where a signal received from the outside may become unstable, such as when the apparatus is activated. Thereby, for example, when the external synchronization method is selected at the time of starting the apparatus, there is a possibility that stable signal transmission cannot be performed due to disturbance of the external synchronization signal caused by noise or the like.
本発明は、上記に鑑みてなされたものであって、安定した信号伝送を行うことができる撮像装置および撮像システムを提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide an imaging apparatus and an imaging system capable of performing stable signal transmission.
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、前記撮像部が出力した前記画像情報を外部に送信する送信部と、所定の周期を有する同期信号を発生する同期信号発生部と、外部から送られてくる同期信号を受信する受信部と、前記受信部が受信した同期信号に基づいて前記送信部が画像情報を送信するスレーブモード、および前記同期信号発生部が発生する同期信号に基づいて前記送信部が画像情報を送信するマスターモードを切り替えるモード切替部と、前記受信部が外部から受信する信号であって、前記送信部による前記画像情報の送信を送信状態または停止状態のいずれかに設定するスタンバイ信号に基づいて前記送信部の送信動作を制御する送信制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that outputs electrical signals after photoelectric conversion from a plurality of pixels as image information, and the image output by the imaging unit. A transmission unit that transmits information to the outside, a synchronization signal generation unit that generates a synchronization signal having a predetermined period, a reception unit that receives a synchronization signal transmitted from the outside, and a synchronization signal received by the reception unit Based on a slave mode in which the transmission unit transmits image information, a mode switching unit for switching a master mode in which the transmission unit transmits image information based on a synchronization signal generated by the synchronization signal generation unit, and the reception unit Transmission of the transmission unit based on a standby signal that is an externally received signal that sets the transmission of the image information by the transmission unit to either a transmission state or a stopped state Characterized by comprising a transmission control section for controlling the work.
また、本発明にかかる撮像システムは、上記の発明にかかる撮像装置と、前記撮像装置が撮像した画像に所定の画像処理を施す制御装置とを備えた撮像システムであって、前記スレーブモードと前記マスターモードとの間のモード切り替えを前記モード切替部に行わせる切替制御部と、前記撮像装置を駆動するための駆動用のタイミング信号、および前記スタンバイ信号を生成して前記撮像装置へ出力する駆動信号生成部と、を備えたことを特徴とする。 An imaging system according to the present invention is an imaging system including the imaging device according to the above invention and a control device that performs predetermined image processing on an image captured by the imaging device. A switching control unit that causes the mode switching unit to perform mode switching between the master mode, a driving timing signal for driving the imaging device, and a drive that generates and outputs the standby signal to the imaging device And a signal generation unit.
本発明によれば、制御装置と通信可能に接続された撮像装置において、モード切替部による撮像装置のマスター/スレーブモードの切り替えによって、撮像装置における駆動タイミングを制御するようにしたので、安定した信号伝送を行うことができるという効果を奏する。 According to the present invention, in the imaging device that is communicably connected to the control device, the drive timing in the imaging device is controlled by switching the master / slave mode of the imaging device by the mode switching unit. There is an effect that transmission can be performed.
以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。なお、以下の説明では、撮像システムの例として内視鏡システムを説明する。 Hereinafter, as a mode for carrying out the present invention (hereinafter, referred to as “embodiment”), a medical endoscope system that captures and displays an image of a body cavity of a subject such as a patient will be described. Moreover, this invention is not limited by this embodiment. Furthermore, the same code | symbol is attached | subjected to the same part in description of drawing. Furthermore, the drawings are schematic, and it should be noted that the relationship between the thickness and width of each member, the ratio of each member, and the like are different from the actual ones. Moreover, the part from which a mutual dimension and ratio differ also in between drawings. In the following description, an endoscope system will be described as an example of an imaging system.
図1は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す図である。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。図1に示すように、内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被写体の体内画像を撮像する内視鏡2と、内視鏡2が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する制御装置3と、内視鏡2の先端から出射する照明光を発生する光源装置4と、制御装置3が画像処理を施した体内画像を表示する表示装置5と、を備える。
FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a functional configuration of a main part of the endoscope system 1. As shown in FIG. 1, an endoscope system 1 includes an
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、制御装置3および光源装置4と接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
The
挿入部21は、後述する撮像素子を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
The
先端部24は、グラスファイバ等を用いて構成されて光源装置4が発生した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像装置としての撮像素子244と、内視鏡2用の処置具が通る処置具チャンネル(図示せず)と、を有する。光学系243は、1または複数のレンズからなる。
The
図2を参照して、撮像素子244の構成を説明する。図2に示すように、撮像素子244は、光学系243からの光を光電変換して電気信号を画像情報として出力するセンサ部244a(撮像部)と、センサ部244aが出力した電気信号に対してノイズ除去やA/D変換を行うアナログフロントエンド244b(以下、「AFE部244b」という)と、AFE部244bが出力したデジタル信号をパラレル/シリアル変換して外部に送信するP/S変換部244c(送信部)と、センサ部244aの駆動タイミング、AFE部244bおよびP/S変換部244cにおける各種信号処理のパルスを発生するタイミングジェネレータ244d(同期信号発生部)と、撮像素子244の動作を制御する制御部244eと、各種設定情報を記憶する記憶部244kと、を有する。撮像素子244は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(CIS)である。タイミングジェネレータ244dは、制御装置3から送信される各種駆動信号(同期信号)を受信する。また、制御部244eは、後述するスレーブモードおよびマスターモードの切り替えを行なうための信号を受信する。なお、制御装置3から送信される各種駆動信号を受信する受信部を別個設けてもよい。
The configuration of the
センサ部244aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設された受光部244fと、受光部244fの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部244gと、を有する。
The
AFE部244bは、電気信号(アナログ)に含まれるノイズ成分を低減するノイズ低減部244hと、電気信号の増幅率(ゲイン)を調整して一定の出力レベルを維持するAGC(Auto Gain Control)部244iと、AGC部244iを介して出力された電気信号をA/D変換するA/D変換部244jと、を有する。ノイズ低減部244hは、たとえば相関二重サンプリング(Correleted Double Sampling)法を用いてノイズの低減を行う。
The
制御部244eは、制御装置3から受信した設定データにしたがって、先端部24の各種動作を制御する。制御部244eは、CPU(Central Processing Unit)等を用いて構成される。また、制御部244eは、モード切替部として、撮像素子244において、タイミングジェネレータ244dが受信した同期信号に基づいてP/S変換部244cが画像情報を送信するスレーブモード(制御装置3がマスター)と、タイミングジェネレータ244dが発生する同期信号に基づいてP/S変換部244cが画像情報を送信するマスターモードとの切り替え制御を行なう。制御部244eは、送信制御部244lを有する。
The
送信制御部244lは、制御装置3から受信した設定データに基づいて、制御装置3への画像信号の伝送を制御する。送信制御部244lは、タイミングジェネレータ244dまたは制御装置3側で生成された同期信号に基づいてP/S変換部244cから操作部22側への信号の送信の制御を行う。また、送信制御部244lは、後術するスタンバイ信号によって信号の送信の制御を行う。
The transmission control unit 244 l controls transmission of the image signal to the
記憶部244kは、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、制御装置3の識別情報および面順次式または同時式の観察方式を示す観察情報、撮像素子244の撮像速度(フレームレート)、およびセンサ部244aの任意の画素からの画素情報の読み出し速度やシャッタ制御設定、内視鏡2のマスター/スレーブ設定等の設定情報、ならびにAFE部244bが読み出した画素情報の伝送制御情報等を記憶する。
The
操作部22と先端部24との間には、制御装置3との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル245が接続され、操作部22とコネクタ部27との間には集合ケーブル224が接続されている。複数の信号線には、撮像素子244が出力した画像信号を制御装置3へ伝送する信号線および制御装置3が出力する制御信号を撮像素子244へ伝送する信号線等が含まれる。また、電気信号の送受信には、2本の信号線(差動信号線)を用いて一つの信号を伝送する方式(差動伝送)が用いられる。差動信号線間の電圧をそれぞれ正(+)および負(−、位相反転)とすることによって、各線にノイズが混入してもキャンセルできるため、シングルエンド信号に比べてノイズに強く、データの高速伝送が可能となる。なお、上述した差動伝送は、ユニバーサルコード23や可撓管部26の長さが長い場合に用いられることが好ましく、この長さが短い場合は、シングルエンド信号を用いるシングルエンド信号伝送であっても適用可能である。
A
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部222と、送気手段、送水手段、送ガス手段等の切り替えを行う信号を入力する複数の第1入力スイッチ223a、および制御装置3、光源装置4の設定を入力する複数の第2入力スイッチ223bからなるスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネルを経由して開口部から表出する(図示せず)。ここで、コネクタ部27から先端部24に信号を伝送する場合において、ユニバーサルコード23で信号を中継して、差動信号をシングルエンド信号に変換する回路を配設する。また、差動信号を先端部24まで伝送させる場合、この差動信号からシングルエンド信号に変換する変換回路を差動バッファとしてもよいし、先端部24からコネクタ部27に伝送する差動信号を一度操作部22で中継し、差動バッファを配置するようにしてもよい。なお、例えば、ユニバーサルコード23内の差動の信号伝達にはツイナックス線、挿入部21内のシングルエンド信号伝送には同軸線を適用するというように、挿入部21およびユニバーサルコード23でそれぞれの伝送に適した撮像ケーブルで構成することが好ましい。
The
ユニバーサルコード23は、ライトガイド241と、集合ケーブル224と、を少なくとも内蔵している。ユニバーサルコード23は、光源装置4に着脱自在なコネクタ部27(図1を参照)を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置3と着脱自在な電気コネクタ部28を有する。コネクタ部27は、内部に内視鏡2の制御を行う制御部271と、FPGA(Field Programmable Gate Array)272と、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、68MHzのクロック)を生成する基準クロック生成部273と、コンフィグレーションデータを記録する第1EEPROM274と、撮像情報を含む内視鏡固有データを記録する第2EEPROM275と、を有する。
The
つぎに、制御装置3の構成について説明する。制御装置3は、S/P変換部301と、画像処理部302と、明るさ検出部303と、調光部304と、読出アドレス設定部305と、駆動信号生成部306と、入力部307と、記憶部308と、制御部309と、基準クロック生成部310と、を備える。なお、本実施の形態では、制御装置3として面順次の構成を例に説明するが、同時式であっても適用することができる。
Next, the configuration of the
S/P変換部301は、先端部24から受信した画像信号(デジタル信号)をシリアル/パラレル変換する。
The S /
画像処理部302は、S/P変換部301から出力されたパラレル形態の画像信号をもとに、表示装置5が表示する体内画像を生成する。画像処理部302は、同時化部302aと、ホワイトバランス(WB)調整部302bと、ゲイン調整部302cと、γ補正部302dと、D/A変換部302eと、フォーマット変更部302fと、サンプル用メモリ302gと、静止画像用メモリ302hと、を有する。
The
同時化部302aは、画素情報として入力された画像信号を、画素ごとに設けられた3つのメモリ(図示せず)に入力し、読み出し部244gが読み出した受光部244fの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら3つのメモリの画像信号をRGB画像信号として同時化する。同時化部302aは、同時化したRGB画像信号をホワイトバランス調整部302bへ順次出力するとともに、一部のRGB画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ302gへ出力する。
The
ホワイトバランス調整部302bは、RGB画像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整部302bは、RGB画像信号に含まれる色温度に基づいて、RGB画像信号のホワイトバランスを自動的に調整する。
The white
ゲイン調整部302cは、RGB画像信号のゲイン調整を行う。ゲイン調整部302cは、ゲイン調整を行ったRGB信号をγ補正部302dへ出力するとともに、一部のRGB信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ302hへ出力する。
The
γ補正部302dは、表示装置5に対応させてRGB画像信号の階調補正(γ補正)を行う。
The γ correction unit 302 d performs gradation correction (γ correction) of the RGB image signal in correspondence with the
D/A変換部302eは、γ補正部302dが出力した階調補正後のRGB画像信号をアナログ信号に変換する。 The D / A conversion unit 302e converts the RGB image signal after gradation correction output from the γ correction unit 302d into an analog signal.
フォーマット変更部302fは、アナログ信号に変換された画像信号をハイビジョン方式等の動画用のファイルフォーマットに変更して表示装置5に出力する。
The
明るさ検出部303は、サンプル用メモリ302gが保持するRGB画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部309へ出力する。また、明るさ検出部303は、検出した明るさレベルをもとに、ホワイトバランス調整値、ゲイン調整値および光照射量を算出し、ホワイトバランス調整値をホワイトバランス調整部302bへ、ゲイン調整値をゲイン調整部302cへ、光照射量を調光部304へ出力する。
The
調光部304は、制御部309の制御のもと、明るさ検出部303が算出した光照射量をもとに光源装置4が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置4へ送信する。
Under the control of the
読出アドレス設定部305は、センサ部244aの受光面における読み出し対象の画素および読み出し順序を、内視鏡2内の制御部271と通信することにより設定する機能を有する。制御部271は、第2EEPROM275に格納されているセンサ部224aの種類情報を読み出し、制御装置3へ送信する。読出アドレス設定部305は、AFE部244bが読み出すセンサ部244aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部305は、設定した読み出し対象の画素のアドレス情報を同時化部302aへ出力する。
The read
駆動信号生成部306は、内視鏡2を駆動するための駆動用のタイミング信号(水平同期信号(HD)および垂直同期信号(VD))を生成し、FPGA272、集合ケーブル224,245に含まれる所定の信号線を介してタイミングジェネレータ244d(撮像素子244)へ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。また、駆動信号生成部306は、内視鏡2から制御装置3に送信される電気信号の送信制御を行なうためのスタンバイ信号を生成する。ここで、スタンバイ信号は、P/S変換部244cによる電気信号(画像情報)のFPGA272側への送信を送信状態または停止状態(スタンバイ状態)のいずれかに設定する信号である。
The drive
入力部307は、フロントパネルやキーボードにより設定されるフリーズ、レリーズ、各種画像調整(強調、電子拡大、色調など)等、内視鏡システム1の動作を指示する動作指示信号の入力を受け付ける。
The
記憶部308は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部308は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部308は、制御装置3の識別情報および観察情報を記憶する。ここで、識別情報には、制御装置3の固有情報(ID)、年式、制御部309のスペック情報および伝送レート情報が含まれる。
The
制御部309は、CPU等を用いて構成され、内視鏡2および光源装置4を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部309は、撮像制御のための設定データをコネクタ部27のFPGA272に送信し、撮像素子244に必要な信号およびデータを集合ケーブル224,245に含まれる所定の信号線を介して制御部244eに送信する。また、制御部309は、内視鏡2の同期において制御装置3側から同期信号を撮像素子244へ出力するスレーブモードと、内視鏡2の同期において内視鏡2側で同期信号を生成し、制御装置3に出力させるマスターモードとの間のモード切り替えを内視鏡2(制御部244e)に行わせるための制御信号を出力する切替制御部309aを有する。
The
基準クロック生成部310は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。 The reference clock generation unit 310 generates a reference clock signal that serves as a reference for the operation of each component of the endoscope system 1 and supplies the generated reference clock signal to each component of the endoscope system 1.
つぎに、光源装置4の構成について説明する。光源装置4は、光源41と、光源ドライバ42と、回転フィルタ43と、駆動部44と、駆動ドライバ45と、光源制御部46と、を備える。
Next, the configuration of the light source device 4 will be described. The light source device 4 includes a light source 41, a
光源41は、白色LED(Light Emitting Diode)またはキセノンランプ等を用いて構成され、光源制御部46の制御のもと、白色光を発生する。光源ドライバ42は、光源41に対して光源制御部46の制御のもとで電流を供給することにより、光源41に白色光を発生させる。光源41が発生した光は、回転フィルタ43および集光レンズ(図示せず)およびライトガイド241を経由して先端部24の先端から照射される。
The light source 41 is configured using a white LED (Light Emitting Diode), a xenon lamp, or the like, and generates white light under the control of the light
回転フィルタ43は、光源41が発した白色光の光路上に配置され、回転することにより、光源41が発する白色光を所定の波長帯域を有する光のみを透過させる。具体的には、回転フィルタ43は、赤色光(R)、緑色光(G)および青色光(B)のそれぞれの波長帯域を有する光を透過させる赤色フィルタ431、緑色フィルタ432および青色フィルタ433を有する。回転フィルタ43は、回転することにより、赤、緑および青の波長帯域(例えば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)を有する光を順次透過させる。これにより、光源41が発する白色光は、狭帯域化した赤色光、緑色光および青色光のいずれかの光を内視鏡2に順次出射することができる。
The
駆動部44は、ステッピングモータやDCモータ等を用いて構成され、制御装置3から送信される同期信号を基準として回転フィルタ43を回転動作させる。駆動ドライバ45は、光源制御部46の制御のもと、駆動部44に所定の電流を供給する。
The
光源制御部46は、調光部304から送信された調光信号に従って光源41に供給する電流量を制御する。また、光源制御部46は、制御部309の制御のもと、駆動ドライバ45を介して駆動部44を駆動することにより、回転フィルタ43を回転させる。
The light
表示装置5は、映像ケーブルを介して制御装置3が生成した体内画像を制御装置3から受信して表示する機能を有する。表示装置5は、液晶または有機EL(Electro Luminescence)等を用いて構成される。
The
以上の構成を有する内視鏡システム1において、内視鏡2の各モード(マスターモードおよびスレーブモード)での信号の入出力態様について説明する。図3は、本実施の形態にかかる内視鏡システム1において、内視鏡2がマスターの場合の信号伝送を模式的に示すタイミングチャートである。図4は、本実施の形態にかかる内視鏡システム1において、内視鏡2が出力する出力信号の一例を模式的に示す図である。本実施の形態では、内視鏡2の制御部244e(モード切替部)によって、上述したスレーブモード(制御装置3がマスター)およびマスターモードの2つのモードを選択可能である。
In the endoscope system 1 having the above configuration, a signal input / output mode in each mode (master mode and slave mode) of the
まず、内視鏡システム1において内視鏡2がマスターの場合(マスターモード)、内視鏡2の制御部244eは、タイミングジェネレータ244dが発生したパルスに基づき生成される垂直同期信号(VD)の垂直同期タイミングによってセンサ部244aを駆動し(CIS駆動)、この駆動期間においてP/S変換部244cに信号を出力させる(CIS出力)。ここで、垂直同期信号(VD)は、独立で設けてもよいし、設定データに重畳させてもよい。制御部244eは、2次元マトリックス状に配設された複数の画素のうち、この垂直同期信号(VD)によって1方向(1ライン)ごとに読み出し部244gの読み出し動作の制御を行う。1ラインに対応する映像信号ごとに、タイミングジェネレータ244dが水平同期信号(HD)を重畳し、1フレームごとに垂直同期信号(VD)を重畳する。先端部24を駆動するクロックは、基準クロック生成部273で生成されたクロックでもよいし、基準クロック生成部310で生成されたクロックでもよい。
First, in the endoscope system 1, when the
上述したように、内視鏡システム1において内視鏡2がマスターの場合、撮像素子244の内部(タイミングジェネレータ244d)において垂直同期信号(VD)が生成され、制御部244eが、この垂直同期信号によって撮像素子244の駆動や電気信号の送信動作を行なう。このとき、コネクタ部27から制御装置3に対する電気信号の送信期間には、例えば、図4に示すように、1ラインに応じた映像信号に対して水平同期信号(HD)が重畳された出力信号Osが所定数(画像数)含まれている。なお、面順次方式の場合、図3においてCIS駆動期間終了後から次の垂直同期信号が生成されるまでの間には、露光処理が行われる。例えば、出射される光が回転フィルタ43によって赤色光(R)、緑色光(G)、青色光(B)の順で制御され、直前に撮像素子244(センサ部244a)から出力された映像信号が、赤色光(R)によるものである場合、その直後の露光処理は、緑色光(G)の波長帯によるものとなる。また、この露光期間(映像信号出力期間外)において、撮像素子244は、EMI対策として、映像データレートよりも周波数が低い低周波クロックを重畳して出力するようにしてもよい。
As described above, when the
なお、内視鏡2がマスターの場合、映像信号に重畳した垂直同期信号VD(R),VD(G),VD(B)を基準に制御装置3との同期や、光源装置4の回転フィルタ43の同期を確立する。垂直同期信号VD(R),VD(G),VD(B)は、重畳するコードをRGBでそれぞれ異なるコードにしてもよいし、垂直同期信号VDのクロックをRGBごとに異なる数にして、制御装置3や光源装置4で判別できるようにしてもよい。
When the
図5は、本実施の形態にかかる内視鏡システム1において、制御装置3がマスターの場合の信号伝送を模式的に示すタイミングチャートである。切替制御部309aの切り替え動作によって、制御装置3がマスターとなった場合(内視鏡2がスレーブとなった場合:スレーブモード)、内視鏡2の制御部244eは、記憶部244kのマスター/スレーブ設定情報を参照して内視鏡2をスレーブモードに設定する。制御部244eは、スレーブモード基準においては、基準クロック生成部310が生成した基準クロック信号および駆動信号生成部306が生成した水平同期信号(HD)や垂直同期信号(VD)の入力(CIS入力(VD)のパルスの立ち上がり)により、この水平同期タイミングでセンサ部244aを駆動し(CIS駆動)、この駆動期間においてP/S変換部244cに信号を出力させる(CIS出力)。
FIG. 5 is a timing chart schematically showing signal transmission when the
制御部244eは、2次元マトリックス状に配設された複数の画素のうち、この垂直同期信号(VD)によって1方向(1ライン)ごとに読み出し部244gの読み出し動作の制御を行う。また、制御部244eは、1ラインに対応する映像信号ごとに、タイミングジェネレータ244dが発生したパルスにより決定される水平同期信号(HD)を重畳し、この重畳した信号を出力信号(図4参照)としてP/S変換部244cに出力させる。
The
上述したように、内視鏡システム1において制御装置3がマスターの場合(内視鏡2がスレーブの場合)、制御装置3において生成された垂直同期信号(VD)を用いて制御部244eが撮像素子244の駆動や電気信号の送信動作を行なう。なお、コネクタ部27から制御装置3に対する電気信号の送信期間には、例えば、図4に示すように、1つの画像を構成する1ラインに応じた映像信号に対して水平同期信号(HD)が重畳された出力信号Osが所定数(画像数)含まれている。なお、図5,6においてCIS駆動期間終了後から次の垂直同期信号が生成されるまでの間には、露光処理が行われる。例えば、出射される光が回転フィルタ43によって赤色光(R)、緑色光(G)、青色光(B)の順で制御され、直前に撮像素子244(センサ部244a)から出力された映像信号が、赤色光(R)によるものである場合、その直後の露光処理は、緑色光(G)の波長帯によるものとなる。
As described above, when the
ここで、FPGA272は、P/S変換部244cによる電気信号(画像情報)のFPGA272側への送信を送信状態または停止状態のいずれかに設定するスタンバイ信号を生成し、FPGA272から設定データとして制御部244eに出力する。制御部244eは、入力されたスタンバイ信号の入力レベルに応じて、P/S変換部244cからFPGA272への電気信号の送信を送信状態または停止状態(スタンバイ状態)のいずれかに設定する。なお、以降、電気信号の送信が停止される状態をスタンバイ状態という。また、FPGA272から先端部24へクロック供給する時点でFPGA272の受信が可能なシステムの場合は、先端部24の制御部244eでスタンバイ信号を生成し、P/S変換部244cへ供給するような構成にしてもよい。
Here, the
図6は、本実施の形態にかかる内視鏡システム1におけるスタンバイ信号の入力による信号伝送を模式的に示すタイミングチャートである。ここで、撮像素子244では、垂直同期信号(VD)にしたがってセンサ部244aから電気信号が出力されている(センサ部出力)。このとき、スタンバイ信号がタイミングジェネレータ244dにロー(L)レベルで入力されている状態(スタンバイ状態)では、送信制御部244lは、センサ部244aからの電気信号の出力に関わらず、FPGA272側への電気信号の送信は行わないよう制御する(CIS出力)。
FIG. 6 is a timing chart schematically showing signal transmission by input of a standby signal in the endoscope system 1 according to the present embodiment. Here, in the
このスタンバイ状態において、先端部24が安定した出力を出せる準備が整った後、タイミングジェネレータ244dまたは制御部244eからP/S変換部244cにHレベルのスタンバイ信号が出力される。
In this standby state, after the
送信状態において、送信制御部244lは、撮像素子244から出力される電気信号を、垂直同期信号による同期タイミングにしたがってP/S変換部244cに送信する。ここで、送信される電気信号には、上述した1ラインごとに水平同期信号(HD)が重畳された出力信号や、マスター/スレーブモードの設定情報等の各種設定情報が含まれる。なお、このときにP/S変換部244cが電気信号を送信するための同期タイミングは、センサ部244aにおける垂直同期信号の同期タイミングと一致していることが好ましい。
In the transmission state, the transmission controller 244l transmits the electrical signal output from the
上述したようなスタンバイ信号によって内視鏡2内部の通信状態を制御することにより、内視鏡2と制御装置3との間の通信状態を制御することができる。これにより、例えば制御装置3を再起動等による立ち上げ動作時やFPGA272の初期化動作時、この動作時において撮像素子244から映像信号等の電気信号を送信することを防止するとともに、安定状態となった後に撮像素子244から電気信号を送信することによって、安定した送受信状態を維持することが可能となる。
By controlling the communication state inside the
以上説明した本実施の形態によれば、切替制御部309aによる内視鏡2のマスター/スレーブモードの切り替えを行うシステムにおいて、スタンバイ信号によって撮像素子から出力された電気信号の送信を制御するようにしたので、モード切り替えによる制御に加え、安定した状態の駆動タイミングにおける信号伝送を行なうことによって、内視鏡2の内部、および内視鏡2と制御装置3との間で安定した信号伝送を行うことができる。また、内視鏡システム1起動時に内視鏡2側で生成するクロックが不安定となる場合は、内視鏡システム1起動時は内視鏡2(撮像素子244)がスレーブモードとなるように予め設定しておくことによって、起動時は、制御装置3からのより安定したクロック(駆動信号)を用いて撮像素子244の各部の駆動タイミングを決定するようにしてもよい。
According to the present embodiment described above, in the system that switches the master / slave mode of the
なお、上述した実施の形態では、制御部244e(モード切替部)によって、内視鏡2に対してマスターモードからスレーブモードに移行するものとして説明したが、スレーブモードからマスターモードに移行する場合も同様に、制御部244eの制御のもとで同期信号の取得元が切り替えられる。
In the above-described embodiment, the
また、切替制御部が、制御装置3に設けられるものとして説明したが、コネクタ部27に設けられるものであってもよいし、撮像素子244に設けられるものであってもよい。
In addition, although the switching control unit has been described as being provided in the
なお、光源装置4が、回転フィルタ43を有する面順次式であるものとして説明したが、撮像素子244側でカラーフィルターを有するものであれば、回転フィルタ43を透明にした同時式や回転フィルタ43自体有さない同時式であるものであってもよい。
Although the light source device 4 has been described as a surface sequential type having the
1 内視鏡システム
2 内視鏡
3 制御装置
4 光源装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
28 電気コネクタ部
41 光源
42 光源ドライバ
43 回転フィルタ
44 駆動部
45 駆動ドライバ
46 光源制御部
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
223a 第1入力スイッチ
223b 第2入力スイッチ
224,245 集合ケーブル
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
244a センサ部
244b アナログフロントエンド
244c P/S変換部
244d タイミングジェネレータ
244e,271,309 制御部
244f 受光部
244g 読み出し部
244h ノイズ低減部
244i AGC部
244j A/D部
244k,308 記憶部
244l 送信制御部
272 FPGA
273,310 基準クロック生成部
274 第1EEPROM
275 第2EEPROM
302 画像処理部
303 明るさ検出部
304 調光部
305 読出アドレス設定部
306 駆動信号生成部
307 入力部
309a 切替制御部
DESCRIPTION OF SYMBOLS 1
273, 310 Reference
275 2nd EEPROM
302
Claims (2)
前記撮像部が出力した前記画像情報を外部に送信する送信部と、
所定の周期を有する同期信号を発生する同期信号発生部と、
外部から送られてくる同期信号を受信する受信部と、
前記受信部が受信した同期信号に基づいて前記送信部が画像情報を送信するスレーブモード、および前記同期信号発生部が発生する同期信号に基づいて前記送信部が画像情報を送信するマスターモードを切り替えるモード切替部と、
前記受信部が外部から受信する信号であって、前記送信部による前記画像情報の送信を送信状態または停止状態のいずれかに設定するスタンバイ信号に基づいて前記送信部の送信動作を制御する送信制御部と、
を備えたことを特徴とする撮像装置。 An imaging unit that outputs electric signals after photoelectric conversion from a plurality of pixels as image information;
A transmission unit for transmitting the image information output by the imaging unit to the outside;
A synchronization signal generator for generating a synchronization signal having a predetermined period;
A receiver for receiving a synchronization signal sent from the outside;
A slave mode in which the transmission unit transmits image information based on a synchronization signal received by the reception unit and a master mode in which the transmission unit transmits image information based on a synchronization signal generated by the synchronization signal generation unit are switched. A mode switching unit;
Transmission control for controlling the transmission operation of the transmission unit based on a standby signal that is received from the outside by the reception unit and sets the transmission of the image information by the transmission unit to either a transmission state or a stop state And
An imaging apparatus comprising:
前記スレーブモードと前記マスターモードとの間のモード切り替えを前記モード切替部に行わせる切替制御部と、
前記撮像装置を駆動するための駆動用のタイミング信号、および前記スタンバイ信号を生成して前記撮像装置へ出力する駆動信号生成部と、
を備えたことを特徴とする撮像システム。 An imaging system comprising: the imaging device according to claim 1; and a control device that performs predetermined image processing on an image captured by the imaging device,
A switching control unit that causes the mode switching unit to perform mode switching between the slave mode and the master mode;
A driving timing signal for driving the imaging device, and a drive signal generation unit that generates the standby signal and outputs the standby signal to the imaging device;
An imaging system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012176196A JP5885617B2 (en) | 2012-08-08 | 2012-08-08 | Imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012176196A JP5885617B2 (en) | 2012-08-08 | 2012-08-08 | Imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014033788A true JP2014033788A (en) | 2014-02-24 |
JP5885617B2 JP5885617B2 (en) | 2016-03-15 |
Family
ID=50283159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012176196A Active JP5885617B2 (en) | 2012-08-08 | 2012-08-08 | Imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5885617B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107072515A (en) * | 2015-07-24 | 2017-08-18 | 奥林巴斯株式会社 | Image data transmission system |
US9960775B2 (en) | 2015-06-30 | 2018-05-01 | Olympus Corporation | Processing apparatus and processing system |
EP3524131A1 (en) | 2015-06-22 | 2019-08-14 | Olympus Corporation | Image pickup apparatus |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0277227A (en) * | 1988-09-13 | 1990-03-16 | Olympus Optical Co Ltd | Electronic endoscope device |
JPH02162470A (en) * | 1988-12-15 | 1990-06-22 | Fuji Electric Co Ltd | Picture input device |
JPH05228109A (en) * | 1992-02-21 | 1993-09-07 | Fuji Photo Optical Co Ltd | Narrow place insertion type observing device |
JPH11169339A (en) * | 1997-12-09 | 1999-06-29 | Asahi Optical Co Ltd | Automatic dimmer for electronic endoscope system |
US6515271B1 (en) * | 1999-05-21 | 2003-02-04 | Olympus Optical Co., Ltd. | CMOS image sensor unit with serial transmitting function |
JP2007049218A (en) * | 2005-08-05 | 2007-02-22 | Matsushita Electric Ind Co Ltd | Clock switching device |
JP2008068021A (en) * | 2006-09-15 | 2008-03-27 | Olympus Corp | Electronic endoscope apparatus |
-
2012
- 2012-08-08 JP JP2012176196A patent/JP5885617B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0277227A (en) * | 1988-09-13 | 1990-03-16 | Olympus Optical Co Ltd | Electronic endoscope device |
JPH02162470A (en) * | 1988-12-15 | 1990-06-22 | Fuji Electric Co Ltd | Picture input device |
JPH05228109A (en) * | 1992-02-21 | 1993-09-07 | Fuji Photo Optical Co Ltd | Narrow place insertion type observing device |
JPH11169339A (en) * | 1997-12-09 | 1999-06-29 | Asahi Optical Co Ltd | Automatic dimmer for electronic endoscope system |
US6515271B1 (en) * | 1999-05-21 | 2003-02-04 | Olympus Optical Co., Ltd. | CMOS image sensor unit with serial transmitting function |
JP2007049218A (en) * | 2005-08-05 | 2007-02-22 | Matsushita Electric Ind Co Ltd | Clock switching device |
JP2008068021A (en) * | 2006-09-15 | 2008-03-27 | Olympus Corp | Electronic endoscope apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3524131A1 (en) | 2015-06-22 | 2019-08-14 | Olympus Corporation | Image pickup apparatus |
US9960775B2 (en) | 2015-06-30 | 2018-05-01 | Olympus Corporation | Processing apparatus and processing system |
CN107072515A (en) * | 2015-07-24 | 2017-08-18 | 奥林巴斯株式会社 | Image data transmission system |
Also Published As
Publication number | Publication date |
---|---|
JP5885617B2 (en) | 2016-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5452785B1 (en) | Imaging system | |
US8866893B2 (en) | Imaging apparatus | |
JP5620612B2 (en) | Imaging apparatus and imaging system | |
CN106256123B (en) | Processing device, imaging device, and endoscope system | |
JP5769892B2 (en) | Endoscope | |
JP5467182B1 (en) | Imaging system | |
JP5927370B1 (en) | Imaging apparatus and processing apparatus | |
JP6058235B1 (en) | Endoscope system | |
WO2015114906A1 (en) | Imaging system and imaging device | |
JP5847368B1 (en) | Imaging apparatus and endoscope apparatus | |
JPWO2020178962A1 (en) | Endoscope system, image processing equipment, total processing time detection method and processing equipment | |
JP5926980B2 (en) | Imaging apparatus and imaging system | |
JP5810016B2 (en) | Endoscope system | |
JP5885617B2 (en) | Imaging system | |
JP6489644B2 (en) | Imaging system | |
JP5815162B2 (en) | Imaging device | |
US12082773B2 (en) | Control device, endoscope, and control method | |
JP2014183908A (en) | Imaging system | |
JP2013172765A (en) | Endoscope system | |
JP2015177425A (en) | Communication system, transmitter, and receiver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140917 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150422 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5885617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |