JP2014236475A - Imaging device and endoscope device - Google Patents
Imaging device and endoscope device Download PDFInfo
- Publication number
- JP2014236475A JP2014236475A JP2013118899A JP2013118899A JP2014236475A JP 2014236475 A JP2014236475 A JP 2014236475A JP 2013118899 A JP2013118899 A JP 2013118899A JP 2013118899 A JP2013118899 A JP 2013118899A JP 2014236475 A JP2014236475 A JP 2014236475A
- Authority
- JP
- Japan
- Prior art keywords
- output
- image
- sensor information
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000003780 insertion Methods 0.000 description 25
- 230000037431 insertion Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000005452 bending Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、光を光電変換して電荷信号を出力する画素回路が2次元状に配列された撮像素子およびその撮像素子を備えた内視鏡装置に関するものである。 The present invention relates to an imaging device in which pixel circuits that photoelectrically convert light and output a charge signal are arranged two-dimensionally, and an endoscope apparatus including the imaging device.
従来、体内の組織を観察する内視鏡装置が広く知られており、体内の被観察部を撮像素子によって撮像して可視画像を得、この可視画像をモニタ画面上に表示する電子式内視鏡装置が広く実用化されている。 2. Description of the Related Art Conventionally, endoscope apparatuses for observing tissue in the body are widely known, and an electronic endoscope that obtains a visible image by imaging a portion to be observed in the body with an imaging device and displays the visible image on a monitor screen. Mirror devices are widely used.
ここで、上述したような内視鏡装置においては、撮像素子によって得られる被観察部の画像情報だけではなく、たとえば挿入部先端が向いている方向や、挿入部先端の周囲の温度などの情報も得たい場合がある。 Here, in the endoscope apparatus as described above, not only the image information of the observed portion obtained by the image sensor, but also information such as the direction in which the distal end of the insertion portion faces and the temperature around the distal end of the insertion portion. You may also want to get.
そこで、たとえば特許文献1においては、挿入部先端に加速度センサを設け、その加速度センサによって検出された重力方向に基づいて、モニタに表示される可視画像内に重力方向を示す指標を表示させる方法が提案されている。 Therefore, for example, in Patent Document 1, there is a method in which an acceleration sensor is provided at the distal end of the insertion portion, and an index indicating the direction of gravity is displayed in the visible image displayed on the monitor based on the direction of gravity detected by the acceleration sensor. Proposed.
また、特許文献2においては、温度センサによって検出された温度情報を撮像素子によって撮像された画像情報とともに出力する撮像素子が提案されている。 Patent Document 2 proposes an image sensor that outputs temperature information detected by a temperature sensor together with image information captured by the image sensor.
また、特許文献3においては、CMOSセンサで画像データを増幅する際のゲインや、CMOSセンサの動作モードなどいったCMOSセンサ内で行われる処理に関する情報をCMOS内に設けられたレジスタ群に記憶し、そのレジスタ群に記憶された情報を画像データとともに外部に出力する方法が提案されている。 In Patent Document 3, information on processing performed in the CMOS sensor, such as a gain when the image data is amplified by the CMOS sensor and an operation mode of the CMOS sensor, is stored in a register group provided in the CMOS. There has been proposed a method of outputting information stored in the register group together with image data to the outside.
また、特許文献4においては、内視鏡装置を制御するプロセッサ装置から出力された制御データをCMOSセンサ内に設けられたレジスタに記憶させ、そのレジスタに記憶された制御データに基づいてCMOSセンサが各種処理を行うとともに、その処理によって得られた画像データとレジスタに記憶された制御データとをプロセッサ装置に出力させる方法が提案されている。 In Patent Document 4, control data output from a processor device that controls an endoscope apparatus is stored in a register provided in the CMOS sensor, and the CMOS sensor is based on the control data stored in the register. There has been proposed a method of performing various processes and outputting image data obtained by the processes and control data stored in a register to a processor device.
しかしながら、特許文献1では、上述したように可視画像上に重力方向を示す指標が表示された映像信号を生成するため、映像信号に対して重力方向判別信号を同期させる重畳タイミングを生成する演算部や、上記重畳タイミングに基づいて映像信号に重力方向判別信号を重畳させる重畳回路などを設ける必要があり、回路規模が大きくなり、コストアップとなる。 However, in Patent Document 1, as described above, in order to generate a video signal in which an index indicating the direction of gravity is displayed on a visible image, an arithmetic unit that generates a superimposition timing for synchronizing the gravity direction determination signal with the video signal In addition, it is necessary to provide a superimposing circuit for superimposing the gravity direction determination signal on the video signal based on the above superimposition timing, which increases the circuit scale and increases the cost.
また、特許文献2では、1ライン分の画素データを水平方向に走査して出力させるためのスイッチ素子以外に、温度センサの検出信号を出力させるためのスイッチ素子を新たに設け、このスイッチ素子を画素データが出力されていないタイミングでオンすることによって温度センサの検出信号を画像データとともに出力させる構成が提案されているが、この構成では、上述したように温度センサの検出信号を出力させるためのスイッチ素子を新たに設ける必要があり、また、そのスイッチ素子をオンするための制御信号を新たに生成する必要がある。 Further, in Patent Document 2, a switch element for outputting a detection signal of a temperature sensor is newly provided in addition to a switch element for scanning and outputting pixel data for one line in the horizontal direction. A configuration has been proposed in which the detection signal of the temperature sensor is output together with the image data by turning it on at a timing when the pixel data is not output. In this configuration, as described above, the detection signal of the temperature sensor is output. It is necessary to newly provide a switch element, and it is necessary to newly generate a control signal for turning on the switch element.
また、特許文献3に記載のCMOSセンサにおいては、画像データやレジスタに記憶された情報をパラレルインターフェースによって出力させるようにしているので、多数の信号線を挿入部内に配設する必要があり、挿入部の径が太くなってしまう問題がある。 In the CMOS sensor described in Patent Document 3, image data and information stored in a register are output by a parallel interface. Therefore, it is necessary to arrange a large number of signal lines in the insertion portion. There is a problem that the diameter of the portion becomes thick.
また、特許文献4においては、画像データやレジスタに記憶された制御データをLVDS(Low Voltage Differential signal)伝送方式により出力しているので、差動信号を出力するための2本の信号線が必要となる。また、特許文献4においては、レジスタに記憶された制御データを画像データに付加するためにヘッダ部を設ける必要がある。 In Patent Document 4, control data stored in image data or a register is output by an LVDS (Low Voltage Differential signal) transmission method, so two signal lines for outputting a differential signal are necessary. It becomes. Further, in Patent Document 4, it is necessary to provide a header portion in order to add control data stored in a register to image data.
本発明は、上記の問題に鑑みてなされたものであり、より簡易な回路構成で画像データと画像データ以外の外部データとの両方を出力することができる撮像素子およびその撮像素子を備えた内視鏡装置を提供することを目的とする。 The present invention has been made in view of the above problems, and includes an image pickup device capable of outputting both image data and external data other than image data with a simpler circuit configuration, and an image pickup device including the image pickup device. An object of the present invention is to provide an endoscope apparatus.
本発明の撮像素子は、光を光電変換して電荷信号を出力する画素回路が2次元状に配列され、画素回路から出力された電荷信号をシリアルデータの画像データとして出力する撮像素子であって、外部から入力された外部データを記憶する記憶部と、外部データを記憶部に記憶させる書込制御部と、画像データと外部データとを周期的に時分割で出力させる出力制御部とを備えたことを特徴とする。 An image sensor of the present invention is an image sensor in which pixel circuits that photoelectrically convert light and output a charge signal are arranged two-dimensionally, and the charge signal output from the pixel circuit is output as image data of serial data. A storage unit for storing external data input from the outside, a writing control unit for storing the external data in the storage unit, and an output control unit for periodically outputting the image data and the external data in a time-sharing manner It is characterized by that.
また、上記本発明の撮像素子においては、書込制御部を、記憶部に外部データが記憶されたタイミングに関する情報も記憶部に記憶させるものとし、出力制御部を、画像データと、外部データおよびタイミングに関する情報とを時分割で出力させるものとできる。 In the imaging device of the present invention, the write control unit also stores information related to the timing at which the external data is stored in the storage unit in the storage unit, and the output control unit includes the image data, the external data, and Timing information can be output in a time-sharing manner.
また、1行分の画像データを出力する毎に出力される水平同期信号の数をカウントするカウンタ部を設け、タイミングに関する情報を、カウンタ部における水平同期信号のカウント数とできる。 In addition, a counter unit that counts the number of horizontal synchronization signals that are output every time image data for one row is output can be provided, and the timing information can be used as the horizontal synchronization signal count number in the counter unit.
また、カウンタ部を、さらに1画面分の画像データを出力する毎に出力される垂直同期信号の数をカウントするものとし、タイミングに関する情報を、カウンタ部における水平同期信号および垂直同期信号のカウント数とできる。 In addition, the counter unit counts the number of vertical synchronization signals that are output every time image data for one screen is further output, and the timing information is used to count the number of horizontal synchronization signals and vertical synchronization signals in the counter unit. And can.
また、記憶部としてレジスタを用いることができる。 A register can be used as the storage unit.
また、出力制御部を、ブランキングタイムに外部データを出力するものとできる。 The output control unit can output external data at the blanking time.
また、外部データをセンサ情報とすることができる。 Moreover, external data can be used as sensor information.
また、センサ情報を、温度センサ情報、湿度センサ情報、圧力センサ情報、加速度センサ情報またはズームレンズの位置検出情報とすることができる。 The sensor information can be temperature sensor information, humidity sensor information, pressure sensor information, acceleration sensor information, or zoom lens position detection information.
また、画像データの出力と外部データとの出力を切り替えるスイッチ素子を設けることができる。 In addition, a switch element that switches between output of image data and output of external data can be provided.
また、撮像素子として、CMOS(Complementary Metal-Oxide Semiconductor)を用いることができる。 Further, a CMOS (Complementary Metal-Oxide Semiconductor) can be used as the image sensor.
本発明の内視鏡装置は、上記撮像素子を備えたことを特徴とするものである。 An endoscope apparatus according to the present invention includes the above-described imaging element.
本発明の撮像素子および内視鏡装置によれば、外部から入力された外部データを記憶部に記憶させ、その記憶させた外部データと画像データとをシリアルデータで周期的に時分割で出力させるようにしたので、より簡易な回路構成で外部データと画像データとの両方を出力させることができ、コストダウンを図ることができる。 According to the imaging device and the endoscope apparatus of the present invention, external data input from the outside is stored in the storage unit, and the stored external data and image data are periodically and time-divisionally output as serial data. Since it did in this way, both external data and image data can be output with a simpler circuit structure, and cost reduction can be aimed at.
以下、図面を参照して本発明の撮像素子および内視鏡装置の一実施形態を用いた内視鏡システムについて詳細に説明する。本実施形態の内視鏡システムは、撮像素子の構成に特徴を有するものであるが、まずは、システム全体の構成から説明する。図1は、本実施形態の内視鏡システムの概略構成を示す外観図である。 Hereinafter, an endoscope system using an embodiment of an imaging device and an endoscope apparatus of the present invention will be described in detail with reference to the drawings. The endoscope system according to the present embodiment is characterized by the configuration of the image sensor. First, the configuration of the entire system will be described. FIG. 1 is an external view showing a schematic configuration of the endoscope system of the present embodiment.
本実施形態の内視鏡システムは、図1に示すように、内視鏡装置10と、内視鏡装置10に一端が接続されるユニバーサルケーブル13と、ユニバーサルケーブル13の他端が接続されるプロセッサ装置18および光源装置19と、プロセッサ装置18から出力された表示制御信号に基づいて画像を表示するモニタ20とを備えている。
As shown in FIG. 1, the endoscope system according to the present embodiment is connected to an
内視鏡装置10は、体内に挿入される挿入部11と、操作者の所定の操作を受け付ける操作部12とを備えている。挿入部11は管状に形成されたものであり、具体的には、図1に示すように、先端から順に、先端硬質部14と湾曲部15と可撓管部16とを備えている
先端硬質部14は、硬質な金属材料などから形成されるものであり、また、可撓管部16は、操作部12と湾曲部15との間を細径で長尺状に繋ぐ部分であり、可撓性を有するものである。湾曲部15は、操作部12に設けられたアングルノブ12aの操作に連動して挿入部11内に挿設されたアングルワイヤが押し引きされることによって湾曲動作するものである。これにより先端硬質部14が体内の所望の方向に向けられ、先端硬質部14内に設けられた後述する撮像素子によって所望の被観察部が撮像される。また、操作部12には、処置具が挿通される鉗子口21が設けられており、この鉗子口21は挿入部11内に配される後述する鉗子チューブ26に接続される。
The
図2は、挿入部の可撓管部の内部を示す断面図である。図2に示すように、撓管部16は、可撓性管23の内部に、先端硬質部14の照明用レンズに照明光を導くためのライトガイド24,25、鉗子チューブ26、送気・送水チューブ27およびケーブル28などの複数本の内容物を遊挿した構成になっている。ケーブル28は、プロセッサ装置18から撮像素子を駆動するための制御信号を送るための制御信号配線42aと、撮影素子によって撮像された画像データをプロセッサ装置18に送るための画像データ配線42bとをまとめたものであり、これらの信号配線を保護被膜で覆ったものである。なお、本実施形態においては、撮像素子から出力される画像データは、シリアルデータのデジタルデータであるので、画像データ配線42bは1本の配線から構成されるものである。
FIG. 2 is a cross-sectional view showing the inside of the flexible tube portion of the insertion portion. As shown in FIG. 2, the
図3は、先端硬質部14の先端面14aを示すものである。図3に示すように、先端硬質部14の先端面14aには、観察窓31、照明窓32,33、鉗子出口35、送気・送水ノズル36などが設けられている。観察窓31には、体内の被観察部位の像光を取り込むための対物光学系の一部が配されている。照明窓32,33は、照明用レンズの一部が組み込まれており、光源装置19から発せられ、ライトガイド24,25によって導光された照明光を体内の被観察部位に照射するものである。鉗子出口35は、鉗子チューブ26を介して操作部12に設けた鉗子口21と連通されるものである。送気・送水ノズル36は、操作部12に設けた送気・送水ボタンを操作することによって観察窓31の汚れを落とすための洗浄水やエアーを噴射するものである。なお、送気・送水ノズル36から噴射される液体や気体を供給する送気・送水装置については図示省略している。
FIG. 3 shows the
図4は、挿入部の先端の内部を示す縦断面図である。図4に示すように、観察窓31に対向する位置に対物光学系37が配置されている。照明窓32,33から発せられる照明光は、被観察部位を反射して観察窓31に入射する。観察窓31から入射した被観察部の像は、対物光学系37を通ってプリズム38に入射し、プリズム38の内部で屈曲することによって撮像素子39の撮像面に結像される。
FIG. 4 is a longitudinal sectional view showing the inside of the distal end of the insertion portion. As shown in FIG. 4, an objective
回路基板40は、撮像素子39に入力される制御信号や撮像素子39から出力される画像データを、ケーブル28の制御信号配線42aや画像データ配線42bに受け渡すための配線パターンが形成されたものである。
The
挿入部11の長手方向に平行に配設されたケーブル28の端部からは制御信号配線42aと画像データ配線42bとが露呈されており、この制御信号配線42aと画像データ配線42bとは回路基板40の配線パターンに電気的に接続される。
The
また、挿入部11の先端内部には、温度センサを備えたセンサ部41(外部データ出力部に相当する)が設けられている。センサ部41は、図5に示すように、温度センサ41aと温度センサ41aから出力されたアナログ信号の温度センサ情報をデジタルデータに変換するA/D変換器41bとを備えている。温度センサ41aによって検出された温度センサ情報は、A/D変換器41bによってデジタルデータに変換され、撮像素子39に対して所定のタイミングで外部データとして出力される。温度センサ41aとしては、サーミスタ、熱電対、測温抵抗体が使用可能である。
A sensor unit 41 (corresponding to an external data output unit) including a temperature sensor is provided inside the distal end of the
また、湾曲部15の内部には、合成樹脂製のフレキシブル管44が配されている。フレキシブル管44の一端には、鉗子チューブ26が接続されており、他端には先端硬質部14の内部に配した硬質管45が接続されている。この硬質管45は、先端硬質部14の内部で固定されており、先端が鉗子出口35に接続されている。
Further, a
ここで、本実施形態の撮像素子39について、以下、詳細に説明する。
Here, the
撮像素子39は、撮像面に結像された像を光電変換し、プロセッサ装置18の制御部56から出力された所定の同期信号に応じてフレーム毎の画像データを出力するものである。撮像素子39の撮像面には、3原色の赤(R)、緑(G)および青(B)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
The
撮像素子39としては、CMOS(Complementary Metal Oxide Semiconductor)センサやCCDセンサなどを用いることができる。本実施形態においては、撮像素子39としてカラーフィルタがベイヤー配列のCMOSセンサを用いるものとする。
As the
図5は、本実施形態の撮像素子39の詳細な構成を示す図である。本実施形態の撮像素子39は、図5に示すように、画素回路71がマトリクス状に配置された画素部70と、各画素回路71から出力された画素信号に対して相関二重サンプリング処理を施すCDS回路72と、画素部70の垂直方向の走査を制御するとともに画素部70のリセット動作を制御する垂直走査回路73と、水平方向の走査を制御する水平走査回路74と、CDS回路72から出力された画素信号を増幅して出力するアンプ75と、アンプ75から出力されたアナログ信号の画素信号をデジタル信号に変換して画素データを出力するA/D変換器76と、撮像素子39全体の動作を制御する制御部77とを備えている。
FIG. 5 is a diagram showing a detailed configuration of the
画素回路71は、フォトダイオードD1、リセット用トランジスタM1、駆動用トランジスタM2および行選択用トランジスタM3とを備えている。各画素回路71の行選択用トランジスタM3には走査線L1が接続され、駆動用トランジスタM2には信号線L2に接続されており、垂直走査回路73と水平走査回路74によって順次走査される。
The
制御部77は、画素回路71の行および列を走査するために垂直走査回路73および水平走査回路74に入力される制御信号、フォトダイオードD1に蓄積された信号電荷をリセットするために垂直走査回路73に入力される制御信号、および画素回路71とCDS回路72との接続を制御するためにCDS回路72に入力される制御信号などをそれぞれ生成して出力するものである。
The
また、制御部77は、センサ部41から所定のタイミングで出力された温度センサ情報を後述するレジスタ80に記憶させる書込制御部78と、A/D変換器76から出力された画像データとレジスタ80に記憶された温度センサ情報とを周期的に時分割で出力させる出力制御部79とを備えている。
Further, the
A/D変換器76の出力端子とレジスタの出力端子とには、スイッチ素子81が設けられており、出力制御部79は、このスイッチ素子81を切り替えることとによって画像データの出力と温度センサ情報の出力とを周期的に時分割で切り替えるものである。本実施形態の出力制御部79は、フレーム間の垂直ブランキングタイムに温度センサ情報が出力されるようにスイッチ素子81を切り替えるものである。なお、温度センサ情報の出力タイミングは、これに限らず、たとえば複数フレーム毎に出力させるようにしてもよいし、1フレームの画像データを読み出す途中における行間の水平ブランキングタイムに温度センサ情報を出力させるようにしてもよい。
A
CDS回路72は、信号線L2ごとに区分して設けられており、垂直走査回路73によって選択された走査線L1に接続された各画素回路71から出力された画素信号に対して相関二重サンプリング処理を施した後、水平走査回路74が出力する水平走査信号に従って順次にアンプ75に出力する。水平走査回路74は、CDS回路72と、アンプ75に接続された出力バスラインL3との間に設けられた列選択用トランジスタM4のオン/オフを水平走査信号により制御する。垂直走査回路73によって全ての行が走査されるとともに、各行の画素信号が水平走査回路74によって順次水平走査されることによって1フレームの画像データが出力されることになる。
The
アンプ75は、上述したようにCDS回路72から出力された画素信号を増幅して出力するものであり、アンプ75から出力された画素信号は、A/D変換器76によってデジタル信号に変換される。
The
また、撮像素子39には、レジスタ80とパラレル/シリアル変換器82とが設けられている。
The
レジスタ80は、センサ部41から出力された温度センサ情報を記憶するものである。レジスタ80への温度センサ情報の書き込みは書込制御部78によって制御される。レジスタ80の出力端子には、上述したスイッチ素子81が接続されている。
The
パラレル/シリアル変換器82は、スイッチ素子81の出力端子から時分割で出力されるデジタルデータの画像データと温度センサ情報とをシリアルデータに変換してプロセッサ装置18に出力するものである。
The parallel /
本実施形態の撮像素子39は、上述したように画像データと温度センサ情報とを時分割に出力し、かつこれらをシリアルデータで出力するので、1本の画像データ配線42bだけで画像データと温度センサ情報との両方をプロセッサ装置18に出力することができる。これにより温度センサ情報を出力するための配線を設ける必要がなく、挿入部11を細径化することができる。また、全体的な回路構成としても簡易な構成とすることができる。
As described above, the
また、本実施形態における撮像素子39は、図5に示すセンサ部41を除く各部を全て1チップのICに集積したものである。ただし、この構成に限らず、たとえばセンサ部41におけるA/D変換器41bも1チップのIC内に設けるようにしてもよいし、温度センサ41aも1チップのIC内に設けるようにしてもよい。
Further, the
図9は、プロセッサ装置18および光源装置19の内部の概略構成を示す図である。プロセッサ装置18は、図9に示すように、画像入力コントローラ51、画像処理部52、メモリ53、ビデオ出力部54、入力部55および制御部56を備えている。
FIG. 9 is a diagram illustrating a schematic configuration inside the
画像入力コントローラ51は、内視鏡装置10の撮像素子39から出力された1フレーム毎の画像データを一時的に記憶するものである。
The
ここで、本実施形態においては、上述したようにシリアルデータの画像データと温度センサ情報とが時分割で画像入力コントローラ51に入力される。画像入力コントローラ51は、受信したデータをパラレル変換した後、画像データと温度センサ情報とを分離し、画像データについてはバスを介してメモリ53に記憶させる。また、温度センサ情報については制御部56に出力する。なお、画像入力コントローラ51には、温度センサ情報が挿入されているタイミング情報が予め設定されており、画像入力コントローラ51は、その設定されたタイミング情報に基づいて温度センサ情報を分離するものである。本実施形態においては、垂直ブランキング期間に温度情報が挿入されているので、画像入力コントローラ51にはフレームレートに相当するタイミング情報が設定されている。
Here, in the present embodiment, as described above, the image data of the serial data and the temperature sensor information are input to the
画像処理部52は、メモリ53から読み出された1フレーム毎の画像データが入力され、これらの画像データに所定の画像処理を施し、バスに出力するものである。
The
ビデオ出力部54は、画像処理部52から出力された画像データがバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ20に出力するものである。
The
入力部55は、所定の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。
The
制御部56はシステム全体を制御するものであるが、本実施形態においては、特に、入力された温度センサ情報に基づいて所定の制御を行うものである。具体的には、たとえば温度センサ情報をモニタ20に表示させたり、温度センサ情報が予め設定された閾値以上になった場合にモニタ20に警告を表示させたりするものである。
The
光源装置19は、図6に示すように、白色光を照射する白色光光源60と、入力された白色光を内視鏡装置10に設けられたライトガイド24,25との両方に同時に入射する光ファイバスプリッタ62とを備えている。白色光光源60としては、たとえばハロゲンランプを使用することができる。ハロゲンランプから発せられる白色光は、400nm〜1800nmの波長域を有している。なお、ハロゲンランプに限らず、LEDなどその他の光源を用いるようにしてもよい。
As shown in FIG. 6, the
次に、本実施形態の内視鏡システムの作用について説明する。なお、本実施形態における内視鏡システムは、上述したように温度センサ情報の出力方法に特徴を有するものであるので、その点を中心に説明する。 Next, the operation of the endoscope system of this embodiment will be described. In addition, since the endoscope system in this embodiment has the characteristic in the output method of temperature sensor information as mentioned above, it demonstrates centering on the point.
まず、プロセッサ装置18の入力部55において、ユーザによって撮像指示が設定入力されると、制御部56から光源装置19と内視鏡装置10とに制御信号が出力され、白色光光源60からの白色光の照射と撮像素子39における白色光像の撮像とが開始される。
First, when an imaging instruction is set and input by the user at the
そして、撮像素子39の画素部70において検出された画像情報は、上述したようにA/D変換器76によってデジタルデータの画像データに変換されてスイッチ素子81に出力される。
The image information detected in the
一方、内視鏡装置10のセンサ部41の温度センサ41aによって検出された温度センサ情報についても、A/D変換器41bによってデジタルデータに変換されて所定のタイミングで撮像素子39に出力される。撮像素子39の書込制御部78は、入力された温度センサ情報をレジスタ80に対して順次更新しながら記憶する。
On the other hand, temperature sensor information detected by the
そして、出力制御部79は、スイッチ素子81をフレーム毎に切り替えることによって、図7に示すように、フレーム毎の画像データとレジスタ80に記憶された温度センサ情報とを交互に出力させる。
And the
スイッチ素子81の出力端子から出力された画像データおよび温度センサ情報は、パラレル/シリアル変換器82に入力され、パラレル/シリアル変換器82においてシリアルデータに変換されてプロセッサ装置18に出力される。
Image data and temperature sensor information output from the output terminal of the
撮像素子39から出力された画像データおよび温度センサ情報は、挿入部11およびユニバーサルケーブル13内の画像データ配線42bを介してプロセッサ装置18に入力される。
The image data and temperature sensor information output from the
そして、プロセッサ装置18に入力された画像データおよび温度センサ情報は、画像入力コントローラにおいてパラレル変換された後、画像データと温度センサ情報とにそれぞれ分離され、画像データについてはメモリ53に格納され、温度センサ情報については制御部56に出力される。
The image data and temperature sensor information input to the
そして、メモリ53から読み出された1フレーム毎の画像データは、画像処理部52において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部54に順次出力される。
The image data for each frame read from the
ビデオ出力部54は、入力された画像データに所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ20に順次出力する。そして、モニタ20は、入力された表示制御信号に基づいて可視画像を表示する。
The
一方、制御部56は、入力された温度センサ情報に基づいて、上述したようにモニタ20の現在の挿入部先端の温度を表示させたり、その温度が所定の閾値以上である場合には、警告メッセージなどを表示させたりする。
On the other hand, the
なお、上記実施形態においては、スイッチ素子81の出力端子側にパラレル/シリアル変換器82を接続するようにしたが、図8に示すようにスイッチ素子81の入力側に設けるようにしてもよい。すなわち、A/D変換器76から出力された画像データをシリアルデータに変換する第1のパラレル/シリアル変換器83と、レジスタ80から出力された温度センサ情報をシリアルデータに変換する第2のパラレル/シリアル変換器84とをそれぞれ設けるようにしてもよい。
In the above embodiment, the parallel /
また、上記実施形態においては、レジスタ80に対して温度センサ情報を記憶させるようにしたが、これに限られるものではない。すなわち、外部データ出力部としては温度センサに限らず、たとえば、挿入部先端に湿度センサを設け、その湿度センサによって検出された湿度センサ情報をレジスタ80に記憶するようにしてもよい。
Moreover, in the said embodiment, although temperature sensor information was memorize | stored in the register |
また、挿入部先端に加速度センサを設け、その加速度センサによって検出された加速度センサ情報をレジスタ80に記憶するようにしてもよい。これにより挿入部先端の動きをプロセッサ装置18側で把握することができる。加速度センサを設ける場合にも、温度センサと同様に、撮像素子39と同じ1チップのIC内に設けるようにしてもよい。
Further, an acceleration sensor may be provided at the distal end of the insertion portion, and acceleration sensor information detected by the acceleration sensor may be stored in the
また、挿入部先端に圧力センサを設け、その圧力センサによって検出された圧力センサ情報をレジスタ80に記憶するようにしてもよい。これにより挿入部先端の周囲の気圧や、挿入部先端が接触している部位に対する圧力をプロセッサ装置18側で把握することができる。
Further, a pressure sensor may be provided at the distal end of the insertion portion, and pressure sensor information detected by the pressure sensor may be stored in the
また、たとえば挿入部11の先端に設けられた対物光学系37をズームレンズで構成した場合には、そのズームレンズの位置検出情報をレジスタ80に記憶するようにしてもよい。ズームレンズの位置検出情報を検出する構成としては、たとえば複数の光学センサを設けるようにしてもよいし、ロータリエンコーダやリニアエンコーダを設けるようにしてもよく、その他、公知な構成を用いることができる。このようにズームレンズの位置検出情報をレジスタ80に記憶してプロセッサ装置18に出力することによって、ズームレンズが正常に動作しているか否かをプロセッサ装置18側で把握することができる。
For example, when the objective
次に、上記実施形態の内視鏡システムの変形例について説明する。 Next, a modification of the endoscope system of the above embodiment will be described.
上記実施形態の内視鏡システムにおいては、外部のセンサ情報をレジスタ80に記憶し、フレーム間のブランキング期間にそのセンサ情報をプロセッサ装置18に出力するようにしているので、センサ情報はブランキング期間の周期でしかプロセッサ装置18に出力することができず、実際にセンサでセンサ情報を検出した時点と、プロセッサ装置18がセンサ情報を取得した時点とが異なることになり、プロセッサ装置18側で、センサ情報が検出された時点を把握することはできない。
In the endoscope system of the above embodiment, external sensor information is stored in the
以下、プロセッサ装置18側でセンサ情報が実際に検出された時点を把握することができる変形例について説明する。
Hereinafter, a modification in which the time point at which sensor information is actually detected on the
上記実施形態の変形例は、図9に示すように、制御部77にカウンタ部90が設けられている。カウンタ部90は、1行分の画像データを出力する毎に出力される水平同期信号の数をカウントするものである。なお、水平同期信号の数は、垂直同期信号が出力される毎にリセットされるものとする。
In the modification of the above embodiment, as shown in FIG. 9, the
また、書込制御部78は、レジスタ80にセンサ情報などが記憶されたタイミングに関する情報としてカウンタ部90におけるカウント数を取得し、このカウント数をセンサ情報などとともにレジスタ80に記憶させるものである。
Further, the
そして、出力制御部79は、レジスタ80に記憶されたセンサ情報およびカウント数と、画像データとを時分割で出力させるものである。
The
次に、上記実施形態の変形例の作用について、図10を参照しながら説明する。図10は、センサ情報がレジスタ80に書き込まれたタイミングと、センサ情報がレジスタ80に書き込まれた時点におけるカウンタ部90のカウント数と、垂直同期信号が出力されたタイミングと、プロセッサ装置18がセンサ情報を受信したタイミングと、カウント数に基づいてプロセッサ装置18側で再現される実際の時間軸とを示したものである。
Next, the effect | action of the modification of the said embodiment is demonstrated, referring FIG. FIG. 10 shows the timing at which sensor information is written in the
まず、n(nは1以上の自然数)フレームを撮像中の時刻t1においてレジスタ80に第1のセンサ情報が記憶された場合、カウンタ部90によって時刻t1までにカウントされた水平同期信号の数がカウント数C1として書込制御部78により取得され、そのカウント数C1も第1のセンサ情報とともにレジスタ80に記憶される。
First, when the first sensor information is stored in the
次に、同じnフレームを撮像中であって、時刻t1よりも後の時刻t2においてレジスタ80に第2のセンサ情報が更新されて記憶された場合、カウンタ部90によって時刻t2までにカウントされた垂直同期信号の数がカウント数C2として書込制御部78により取得され、そのカウント数C2も第2のセンサ情報とともにレジスタ80に更新されて記憶される。
Next, when the same n frames are being imaged and the second sensor information is updated and stored in the
次いで、nフレームと(n+1)フレーム間のブランキングタイムT2において、nフレームの撮像中にレジスタ80に記憶されたセンサ情報とそのセンサ情報が記憶された時点のカウント数とが出力制御部79によって出力されるが、このときセンサ情報の内容としては、最新の更新情報である第2のセンサ情報と第2のセンサ情報が記憶された時点のカウント数C2とが出力される。
Next, at the blanking time T2 between n frames and (n + 1) frames, the sensor information stored in the
そして、プロセッサ装置18においては、ブランキングタイムT2において第2のセンサ情報とカウンタ数C2とが制御部56によって取得される。そして、制御部56は、nフレームのフレーム数と入力されたカウント数C2とに基づいて、レジスタ80に第2のセンサ情報が実際に記憶された時刻t2を再現することができる。
In the
次に、(n+1)フレームを撮像中の時刻t3においてレジスタ80に第3のセンサ情報が記憶された場合、カウンタ部90によって時刻t3までにカウントされた水平同期信号の数がカウント数C3として書込制御部78により取得され、そのカウント数C3も第3のセンサ情報とともにレジスタ80に記憶される。
Next, when the third sensor information is stored in the
次に、同じ(n+1)フレームを撮像中にセンサ情報がレジスタ80に更新記憶されなかった場合には、(n+1)フレームと(n+2)フレーム間のブランキングタイムT3において、(n+1)フレームの撮像中にレジスタ80に記憶された第3のセンサ情報と第3のセンサ情報が記憶された時点のカウント数C3とが出力制御部79によって出力される。
Next, when the sensor information is not updated and stored in the
そして、プロセッサ装置18においては、ブランキングタイムT3において第3のセンサ情報とカウンタ数C3とが制御部56によって取得される。そして、制御部56は、(n+1)フレームのフレーム数と入力されたカウント数C3とに基づいて、レジスタ80に第3のセンサ情報が実際に記憶された時刻t3を再現することができる。
In the
次に、(n+2)フレームを撮像中の時刻t4においてレジスタ80に第4のセンサ情報が記憶された場合、カウンタ部90によって時刻t4までにカウントされた水平同期信号の数がカウント数C4として書込制御部78により取得され、そのカウント数C4も第4のセンサ情報とともにレジスタ80に記憶される。
Next, when the fourth sensor information is stored in the
次に、同じ(n+2)フレームを撮像中にセンサ情報がレジスタ80に更新記憶されなかった場合には、(n+2)フレームと(n+3)フレーム間のブランキングタイムT4において、(n+2)フレームの撮像中にレジスタ80に記憶された第4のセンサ情報と第4のセンサ情報が記憶された時点のカウント数C4とが出力制御部79によって出力される。
Next, when the sensor information is not updated and stored in the
そして、プロセッサ装置18においては、ブランキングタイムT4において第4のセンサ情報とカウンタ数C4とが制御部56によって取得される。そして、制御部56は、(n+2)フレームのフレーム数と入力されたカウント数C4とに基づいて、レジスタ80に第4のセンサ情報が実際に記憶された時刻t4を再現することができる。
In the
次に、(n+3)フレームを撮像中の時刻t5においてレジスタ80に第5のセンサ情報が記憶された場合、カウンタ部90によって時刻t5までにカウントされた水平同期信号の数がカウント数C5として書込制御部78により取得され、そのカウント数C5も第5のセンサ情報とともにレジスタ80に記憶される。
Next, when the fifth sensor information is stored in the
次に、同じ(n+3)フレームを撮像中であって、時刻t5よりも後の時刻t6においてレジスタ80に第6のセンサ情報が更新されて記憶された場合、カウンタ部90によって時刻t6までにカウントされた垂直同期信号の数がカウント数C6として書込制御部78により取得され、そのカウント数C6も第6のセンサ情報とともにレジスタ80に更新されて記憶される。
Next, when the same (n + 3) frame is being imaged and the sixth sensor information is updated and stored in the
次いで、(n+3)フレームと(n+4)フレーム間のブランキングタイムT6において、(n+3)フレームの撮像中にレジスタ80に記憶されたセンサ情報とそのセンサ情報が記憶された時点のカウント数とが出力制御部79によって出力されるが、このときセンサ情報の内容としては、最新の更新情報である第6のセンサ情報と第6のセンサ情報が記憶された時点のカウント数C6とが出力される。
Next, at the blanking time T6 between the (n + 3) frame and the (n + 4) frame, the sensor information stored in the
そして、プロセッサ装置18においては、ブランキングタイムT6において第6のセンサ情報とカウンタ数C6とが制御部56によって取得される。そして、制御部56は、(n+3)フレームのフレーム数と入力されたカウント数C2とに基づいて、レジスタ80に第6のセンサ情報が実際に記憶された時刻t6を再現することができる。
Then, in the
上述したように上記実施形態の変形例によれば、プロセッサ装置18側でセンサ情報が検出された時点を把握することができる。
As described above, according to the modification of the embodiment, it is possible to grasp the time point when the sensor information is detected on the
なお、上記変形例においては、カウンタ部90において水平同期信号の数のみをカウントするようにしたが、カウンタ部90において垂直同期信号の数もカウントするようにしてもよい。そして、垂直同期信号の数もレジスタ80に記憶するとともに、プロセッサ装置18に出力するようにし、プロセッサ装置18において、水平同期信号のカウント数と垂直同期信号のカウント数との両方に基づいて、センサ情報が実際に記憶された時刻を再現するようにしてもよい。
In the above modification, the
10 内視鏡装置
18 プロセッサ装置
19 光源装置
20 モニタ
28 ケーブル
39 撮像素子
41 センサ部
41a 温度センサ
42a 制御信号配線
42b 画像データ配線
70 画素部
71 画素回路
78 書込制御部
79 出力制御部
80 レジスタ
81 スイッチ素子
82 パラレル/シリアル変換器
83 第1のパラレル/シリアル変換器
84 第2のパラレル/シリアル変換器
90 カウンタ部
DESCRIPTION OF
Claims (11)
外部から入力された外部データを記憶する記憶部と、
前記外部データを前記記憶部に記憶させる書込制御部と、
前記画像データと前記外部データとを周期的に時分割で出力させる出力制御部とを備えたことを特徴とする撮像素子。 A pixel circuit that photoelectrically converts light and outputs a charge signal is two-dimensionally arranged, and an image sensor that outputs the charge signal output from the pixel circuit as image data of serial data,
A storage unit for storing external data input from the outside;
A write control unit for storing the external data in the storage unit;
An image pickup device comprising: an output control unit that periodically outputs the image data and the external data in a time-sharing manner.
前記出力制御部が、前記画像データと、前記外部データおよび前記タイミングに関する情報とを時分割で出力させるものである請求項1記載の撮像素子。 The write control unit also stores in the storage unit information related to the timing at which the external data is stored in the storage unit;
The imaging device according to claim 1, wherein the output control unit outputs the image data, the external data, and information related to the timing in a time division manner.
前記タイミングに関する情報が、前記カウンタ部における前記水平同期信号のカウント数である請求項1または2記載の撮像素子。 A counter unit that counts the number of horizontal synchronization signals that are output each time the image data for one row is output;
The imaging device according to claim 1, wherein the information related to the timing is a count number of the horizontal synchronization signal in the counter unit.
前記タイミングに関する情報が、前記カウンタ部における前記水平同期信号および前記垂直同期信号のカウント数である請求項3記載の撮像素子。 The counter unit counts the number of vertical synchronization signals that are output every time the image data for one screen is output,
The imaging device according to claim 3, wherein the information regarding the timing is a count number of the horizontal synchronization signal and the vertical synchronization signal in the counter unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013118899A JP6082658B2 (en) | 2013-06-05 | 2013-06-05 | Imaging device and endoscope apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013118899A JP6082658B2 (en) | 2013-06-05 | 2013-06-05 | Imaging device and endoscope apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014236475A true JP2014236475A (en) | 2014-12-15 |
JP6082658B2 JP6082658B2 (en) | 2017-02-15 |
Family
ID=52138850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013118899A Active JP6082658B2 (en) | 2013-06-05 | 2013-06-05 | Imaging device and endoscope apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6082658B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109310408A (en) * | 2016-06-21 | 2019-02-05 | 安多卓思公司 | Endoscopic system with the multiple connecting interfaces connected from different video data signal sources |
CN113141478A (en) * | 2021-04-21 | 2021-07-20 | 中国科学院长春光学精密机械与物理研究所 | Controllable dynamic correction training method for serial image data |
WO2023223381A1 (en) * | 2022-05-16 | 2023-11-23 | オリンパスメディカルシステムズ株式会社 | Imaging unit, endoscope, and method for manufacturing imaging unit |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036414A (en) * | 2009-08-11 | 2011-02-24 | Hoya Corp | Electronic endoscope and electronic endoscope system |
WO2012081617A1 (en) * | 2010-12-14 | 2012-06-21 | オリンパスメディカルシステムズ株式会社 | Imaging device |
JP2013081132A (en) * | 2011-10-05 | 2013-05-02 | Nikon Corp | Imaging device and control program for imaging device |
-
2013
- 2013-06-05 JP JP2013118899A patent/JP6082658B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036414A (en) * | 2009-08-11 | 2011-02-24 | Hoya Corp | Electronic endoscope and electronic endoscope system |
WO2012081617A1 (en) * | 2010-12-14 | 2012-06-21 | オリンパスメディカルシステムズ株式会社 | Imaging device |
JP2013081132A (en) * | 2011-10-05 | 2013-05-02 | Nikon Corp | Imaging device and control program for imaging device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109310408A (en) * | 2016-06-21 | 2019-02-05 | 安多卓思公司 | Endoscopic system with the multiple connecting interfaces connected from different video data signal sources |
CN109310408B (en) * | 2016-06-21 | 2021-11-23 | 安多卓思公司 | Endoscope system with multiple connection interfaces for connection to different video data signal sources |
CN113141478A (en) * | 2021-04-21 | 2021-07-20 | 中国科学院长春光学精密机械与物理研究所 | Controllable dynamic correction training method for serial image data |
CN113141478B (en) * | 2021-04-21 | 2022-03-22 | 中国科学院长春光学精密机械与物理研究所 | Controllable dynamic correction training method for serial image data |
WO2023223381A1 (en) * | 2022-05-16 | 2023-11-23 | オリンパスメディカルシステムズ株式会社 | Imaging unit, endoscope, and method for manufacturing imaging unit |
Also Published As
Publication number | Publication date |
---|---|
JP6082658B2 (en) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5245022B1 (en) | Imaging device | |
EP2868255B1 (en) | Imaging device and imaging system | |
JP5863709B2 (en) | Endoscope system | |
US9538108B2 (en) | Endoscope system and pixel correction method | |
JP5996319B2 (en) | Stereo measurement device and method of operating stereo measurement device | |
JP5384409B2 (en) | Method of operating a CMOS image sensor in an endoscope apparatus | |
WO2013128764A1 (en) | Medical system | |
JP5847017B2 (en) | Electronic endoscope apparatus and method for operating the same | |
JP6082658B2 (en) | Imaging device and endoscope apparatus | |
JP2017124128A (en) | Medical signal processor and medical observation system | |
JP5959331B2 (en) | Endoscope device | |
US9247863B2 (en) | Endoscope apparatus which controls clamping of optical black included in an image pickup signal | |
US11399700B2 (en) | Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel | |
JP2017045268A (en) | Touch panel device | |
JP5289371B2 (en) | Endoscope device and processor device in endoscope system | |
JP6654051B2 (en) | Medical observation system | |
JP5932191B1 (en) | Transmission system and processing device | |
JP5889483B2 (en) | Endoscope system | |
JP2018023612A (en) | Endoscope system | |
JP6489671B1 (en) | Imaging device | |
JP5827868B2 (en) | Electronic endoscope and fixed pattern noise removal method | |
JP6639920B2 (en) | Medical signal processing device and medical observation system | |
JP2013126002A (en) | Endoscope device | |
WO2021161394A1 (en) | Image processing device, imaging system, image processing method, and program | |
JP5393534B2 (en) | Electronic endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6082658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |