JP2009225851A - Processor device of endoscope - Google Patents
Processor device of endoscope Download PDFInfo
- Publication number
- JP2009225851A JP2009225851A JP2008071801A JP2008071801A JP2009225851A JP 2009225851 A JP2009225851 A JP 2009225851A JP 2008071801 A JP2008071801 A JP 2008071801A JP 2008071801 A JP2008071801 A JP 2008071801A JP 2009225851 A JP2009225851 A JP 2009225851A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image processing
- image
- data
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、内視鏡の撮像手段で得られる撮像信号から画像を形成及び画像処理を施す内視鏡のプロセッサ装置に関する。 The present invention relates to an endoscope processor device that forms an image and processes an image from an imaging signal obtained by an imaging means of an endoscope.
内視鏡のプロセッサ装置は、内視鏡の撮像手段(CCD等の固体撮像素子)で被検体内を撮像した撮像信号を取り込み、この撮像信号から画像データを形成し、さらに形成した画像データにノイズ軽減やブレ補正、色補正や、ホワイトバランス補正などの画像処理、あるいは輪郭強調、色強調などの特殊な画像処理を行って出力し、モニタに画像を表示させる。 The processor device of the endoscope takes in an imaging signal obtained by imaging the inside of the subject with an imaging means (solid-state imaging device such as a CCD) of the endoscope, forms image data from the imaging signal, and further converts the image data into the formed image data Image processing such as noise reduction, blur correction, color correction, and white balance correction, or special image processing such as contour enhancement and color enhancement is performed for output, and an image is displayed on the monitor.
プロセッサ装置では、上述した画像データの形成や画像処理を実行するために、例えば特許文献1に記載されているように、FPGA(Field Programmable Gate Array)などのプログラマブル集積回路を用いている。プログラマブル集積回路は、画像データの形成や画像処理を実行するために独自の回路を設計する必要が無く、予め記憶された論理回路プログラムを読み込むことで論理回路が自由に書き換えられ、上述した複数種の処理をワンチップで実行することができる。またプロセッサ装置の仕様にあわせた論理回路の変更も容易に行うことができる。
しかしながら、プログラマブル集積回路は、外的なノイズの影響を受けて論理回路が破壊されることがある。特に内視鏡を用いた手術中は、電気メスなど高電圧で駆動される器具を使用することがあるので、ノイズの影響を受け易い。論理回路データが破壊されると、画像に乱れが生じたり、画像が出力されなくなって被検体内の観察が困難になる。この場合、一度電源を落として再投入することで、プログラマブル集積回路に論理回路が再構築され、画像を観察することが可能となるが、電源を落として再投入し、画像が表示されるまでに長い時間が掛かる。この間は患者の体内視野を確保できていないため、不測の事態が生じても対処することができず、患者を危険な状態にさらすことになる。 However, in the programmable integrated circuit, the logic circuit may be destroyed due to the influence of external noise. In particular, during an operation using an endoscope, an instrument driven by a high voltage such as an electric knife may be used, and therefore, it is easily affected by noise. When the logic circuit data is destroyed, the image is disturbed or the image is not output, making it difficult to observe the inside of the subject. In this case, once the power is turned off and turned on again, the logic circuit is reconstructed in the programmable integrated circuit and the image can be observed. However, the power is turned off and turned on again until the image is displayed. Takes a long time. During this time, the patient's internal visual field cannot be secured, so that even if an unexpected situation occurs, it cannot be dealt with, and the patient is exposed to a dangerous state.
また、画像データを形成する際には、水平同期、垂直同期をとりつつ形成を行うが、ノイズの影響で画像データを形成する回路の垂直同期を管理する部分が誤動作すると、フレームの切り替わりにずれが生じて画像データを正確に形成することができなくなり、上記同様の不具合が生じる。 In addition, when forming image data, it is formed with horizontal synchronization and vertical synchronization, but if the part that manages the vertical synchronization of the circuit that forms the image data malfunctions due to noise, it will shift to frame switching. Occurs, image data cannot be formed accurately, and the same problem as described above occurs.
この問題に対処する方法として、フレームの切り替わりを確実に認識させるために、垂直同期のタイミングで画像形成回路にソフト的なリセット処理を施すことが考えられる。しかしながら、この考えは、動画のみを取り扱う、垂直同期信号が定期的に入力される処理系が前提であり、内視鏡システムは、動画だけでなく静止画も扱うので、垂直同期のタイミング毎にソフト的なリセット処理を施す機能は設けられていない。 As a method of coping with this problem, it is conceivable to perform a software reset process on the image forming circuit at the timing of vertical synchronization in order to make sure that the frame is switched. However, this idea presupposes a processing system that handles only moving images and periodically receives vertical synchronization signals, and the endoscope system handles not only moving images but also still images. There is no function to perform a soft reset process.
このため、画像形成回路に誤動作が発生した場合は、ハード的なリセット処理を施すしかないが、ハード的なリセット処理は、動画にして数フレーム分の時間が掛かるので、ハード的なリセット処理を垂直同期のタイミング毎に行うことは、非現実的である。 For this reason, if a malfunction occurs in the image forming circuit, there is no choice but to perform a hardware reset process. It is unrealistic to perform each timing of vertical synchronization.
本発明は、上記事情を考慮してなされたものであり、画像処理が正常に実行されている状態に容易に復帰することが可能で、ノイズの影響を受けることなく安定した画像表示を行うことができる内視鏡のプロセッサ装置を提供することを目的とする。 The present invention has been made in consideration of the above circumstances, and can easily return to a state in which image processing is normally executed, and can perform stable image display without being affected by noise. An object of the present invention is to provide an endoscopic processor device capable of performing the above-described operation.
上記目的を達成するために、本発明の内視鏡のプロセッサ装置は、内視鏡の撮像手段で得られる撮像信号から画像データを形成し、形成した画像データに画像処理を施す画像処理手段を備えた内視鏡のプロセッサ装置において、前記画像データの形成、または前記画像処理のうち少なくとも1つの処理を行う前に、前記撮像信号、または前記画像データに検出データを付加する検出データ付加手段と、前記画像データの形成、または前記画像処理のうち少なくとも1つの処理を行った後に、前記画像データを所定の判定データと照合して、前記画像処理手段に異常があるか否かを判定する判定手段と、前記判定手段により、異常ありと判定されたとき、前記画像処理手段を初期化する初期化手段とを備えたことを特徴とする。 In order to achieve the above object, an endoscope processor device according to the present invention includes an image processing unit that forms image data from an imaging signal obtained by an imaging unit of an endoscope and performs image processing on the formed image data. And a detection data adding means for adding detection data to the imaging signal or the image data before performing at least one of the formation of the image data or the image processing. Determination of whether or not the image processing means is abnormal by comparing at least one of the image data formation or the image processing with the predetermined determination data And an initialization unit that initializes the image processing unit when the determination unit determines that there is an abnormality.
前記画像処理手段は、複数種の前記画像処理を実行可能に構成されており、前記複数種の前記画像処理毎に対応する前記判定データが格納される判定データ格納手段を備え、前記判定手段は、前記画像処理の内容に応じた前記判定データを前記判定データ格納手段から読み出して、前記判定を行うことが好ましい。 The image processing unit is configured to be capable of executing a plurality of types of image processing, and includes a determination data storage unit that stores the determination data corresponding to each of the plurality of types of image processing. Preferably, the determination is performed by reading out the determination data corresponding to the content of the image processing from the determination data storage means.
前記検出データは、前記画像データを形成する際の垂直同期のずれを判定するためのものであり、前記初期化手段は、前記垂直同期のタイミングで前記初期化を行うことが好ましい。 The detection data is for determining a vertical synchronization shift when the image data is formed, and the initialization unit preferably performs the initialization at the timing of the vertical synchronization.
なお、前記画像処理手段は、論理回路の書き換えが不可能な非プログラマブル集積回路を有し、前記初期化手段は、前記非プログラマブル集積回路にリセット処理を施すことが好ましい。 Note that the image processing unit preferably includes a non-programmable integrated circuit in which a logic circuit cannot be rewritten, and the initialization unit performs a reset process on the non-programmable integrated circuit.
また、前記画像処理手段は、論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路を有し、前記初期化手段は、前記プログラマブル集積回路に前記論理回路プログラムを再読み込みさせることが好ましい。さらにまた、前記検出データ付加手段は、前記プログラマブル集積回路を有し、前記初期化手段は、前記画像処理手段の前記プログラマブル集積回路に加えて、前記検出データ付加手段の前記プログラマブル集積回路に前記論理回路プログラムを再読み込みさせることが好ましい。 Further, the image processing means has a programmable integrated circuit that can rewrite the logic circuit by reading the logic circuit program, and the initialization means can cause the programmable integrated circuit to reread the logic circuit program. preferable. Furthermore, the detection data adding means includes the programmable integrated circuit, and the initialization means adds the logic to the programmable integrated circuit of the detection data adding means in addition to the programmable integrated circuit of the image processing means. It is preferable to reload the circuit program.
前記プログラマブル集積回路は、FPGA(Field Programmable Gate Array)であることが好ましい。前記検出データ付加手段は、前記画像データで表される画像の無効表示領域に、前記検出データを付加することが好ましい。 The programmable integrated circuit is preferably an FPGA (Field Programmable Gate Array). The detection data adding means preferably adds the detection data to an invalid display area of an image represented by the image data.
また、前記画像処理手段は、前記画像データの形成を行う画像形成部と、前記画像処理を行う画像処理部とから構成され、これらは別の基板に設けられていることが好ましい。 Further, the image processing means includes an image forming unit that forms the image data and an image processing unit that performs the image processing, and these are preferably provided on separate substrates.
本発明の内視鏡のプロセッサ装置によれば、撮像信号、または画像データに検出データを付加して、画像データの形成、または画像処理のうち少なくとも1つの処理を行った後に、画像データを所定の判定データと照合して、画像処理手段に異常があるか否かを判定し、異常ありと判定されたとき、画像処理手段を初期化するので、装置自体の電源を再投入したり、ハード的なリセット処理をするよりも容易に画像処理が正常に実行されている状態に復帰することが可能であり、ノイズの影響を受けることなく安定した画像表示を行うことができる。 According to the processor device of the endoscope of the present invention, the detection data is added to the imaging signal or the image data, and at least one of the image data formation and the image processing is performed, and then the image data is predetermined. The image processing means is initialized by checking whether the image processing means is abnormal or not, and when it is determined that there is an abnormality, the apparatus itself is turned on again, It is possible to return to a state in which image processing is normally executed more easily than when performing a general reset process, and stable image display can be performed without being affected by noise.
図1において、電子内視鏡システム2は、電子内視鏡10と、プロセッサ装置11と、光源装置12とから構成される。プロセッサ装置11の前面には、電子内視鏡システム2全体の電源をオン/オフするための電源スイッチ13が設けられ、光源装置12の前面には、光源52(図2参照)を点灯/消灯するための点灯スイッチ14が設けられている。電子内視鏡10は、体腔内に挿入される可撓性の挿入部15と、挿入部15の基端部分に連設された操作部16と、プロセッサ装置11に接続される通信用コネクタ17と、光源装置12に接続される光源用コネクタ18と、操作部16とコネクタ17,18とを繋ぐユニバーサルコード19とを備えている。プロセッサ装置11は、電子内視鏡10及び光源装置12と電気的に接続しており、電子内視鏡システム2全体の動作を統括的に制御する。
In FIG. 1, the electronic endoscope system 2 includes an electronic endoscope 10, a
挿入部15の先端には、体腔内撮影用のCCD20(図2参照)などが内蔵された先端部15aが連設されている。先端部15aの後方には、複数の湾曲駒を連結した湾曲部15bが設けられている。湾曲部15bは、操作部16に設けられたアングルノブ21が操作されて、挿入部15内に挿設されたワイヤが押し引きされることにより、上下左右方向に湾曲動作する。これにより、先端部15aが体腔内の所望の方向に向けられる。
At the distal end of the
図2において、先端部15aには、観察窓22、照明窓23が設けられている。観察窓22の奥には、被検体内の像光を取り込むための光学系24が取り付けられ、さらに光学系24の奥には、CCD20が取り付けられている。CCD20は、例えばインターライントランスファ型の構造で、さらにハニカム配列の画素配置となっている。なお、撮像素子としては、ハニカム配列のCCD20に限らず、ベイヤー配列のCCDでもよく、またCCDに限らず、CMOSを用いてもよい。
In FIG. 2, an
図3において、ハニカム配列のCCD20は、画素を構成する受光部25を一列ごとに半ピッチずらして市松格子(ハニカム)状に配列している。受光部25には、カラーフィルタがそれぞれ設けられている。符号R,G,Bは、受光部25にそれぞれ配置されたカラーフィルタが透過させる色で、Rは赤、Gは緑、Bは青をそれぞれ示す。このCCD20では、Gのカラーフィルタが水平方向に並ぶ列と、R、Bのカラーフィルタが1つおきに水平方向に並ぶ列とが、交互に配されている。CCD20に被写体光が入射されると、カラーフィルタを透過してR,G,Bの被写体光が受光部25にそれぞれ入射し、受光部25が光電変換して生成した信号電荷が蓄積される。そして、後述するタイミング/ドライバ回路37の読み出しパルスに応じて信号電荷を垂直転送し、さらに水平転送して撮像信号が出力される。
In FIG. 3, the honeycomb-arranged
図2に戻って、CCD20には、挿入部15、操作部16、ユニバーサルコード19の内部を通る信号ライン26,27が接続されている。信号ライン26は、ユニバーサルコード19及び通信用コネクタ17を介してプロセッサ装置11に接続される。
Returning to FIG. 2,
通信用コネクタ17の内部には、信号ライン27と接続された増幅器(以下、AMPと略す)28と、相関二重サンプリング/プログラマブルゲインアンプ(以下、CDS/PGAと略す)29と、A/D変換器(以下、A/Dと略す)30とが設けられている。AMP28は、CCD20から出力された撮像信号に所定のゲインで増幅を施し、これをCDS/PGA29に出力する。
Inside the
CDS/PGA29は、AMP28で増幅された撮像信号に相関二重サンプリングを施してノイズ低減し、A/D30に出力する。A/D30は、CDS/PGA29から出力されたアナログの撮像信号を、デジタルの撮像信号に変換して出力する。A/D30から出力されたデジタルの撮像信号は、信号ライン31を介してプロセッサ装置11に送られる。
The CDS /
照明窓23の奥には、照射レンズ32が設けられる。この照射レンズ32には、ライトガイド33の出射端が面している。ライトガイド33は、挿入部15、操作部16、ユニバーサルコード19、及び光源用コネクタ18の内部を通っており、光源用コネクタ18の後方から入射端33aが露呈する。ライトガイド33は、多数の光ファイバ(例えば、石英からなる)を束ねて形成されたものである。
An
プロセッサ装置11には、患者基板34及びメイン基板35が設けられており、患者基板34には、画像形成回路36、タイミング/ドライバ回路37、これら画像形成回路36及びタイミング/ドライバ回路37を制御するサブコントローラ38が設けられている。メイン基板35には、検出データ付加回路39、画像処理回路40、判定回路41、ROM42(判定データ格納手段)、初期化回路43、表示回路44、及びプロセッサ装置11を統括的に制御するシステムコントローラ45が設けられている。電子内視鏡10の通信用コネクタ17がプロセッサ装置11に接続されたとき、CCD20は信号ライン26を介してタイミング/ドライバ回路37に接続され、A/D30は信号ライン31を介して画像形成回路36にそれぞれ接続される。
The
画像形成回路36は、デジタルの撮像信号から画像データを形成するための各種信号処理を行う。この画像形成回路36は、非プログラマブル集積回路からなるDSP(Digital Signal Processor)46から構成される。DSP46は、多数の演算器から構成され、上記各種信号処理を行う論理回路が1チップの中に納められている。画像形成回路36が行う信号処理としては、RGB信号(撮像信号)を輝度信号及び色差信号に分離する色分離処理、分離された色差信号に対する擬色の除去処理、分離した輝度信号及び色差信号をマトリクス演算してRGB信号からなる画像データを形成するマトリクス演算処理、及び上述したハニカム配列のCCD20の欠損画素を補間する画素補間処理、ゲイン補正、ホワイトバランス調整、ガンマ補正などを行う。
The
画像形成回路36では、タイミング/ドライバ回路37から出力される水平同期信号及び垂直同期信号に同期して上記信号処理を行う。例えば色分離処理を施す場合、水平同期信号及び垂直同期信号に同期してRGB信号を輝度信号及び色差信号に分離して出力する。
The
なお、画像形成回路36が行う信号処理としては、これらのものに限らず、例えば、黒レベルを調整するレベル調整処理、表示または記憶に適した水平方向及び垂直方向の画素数に変換するサイズ変換処理などが含まれていてもよい。
The signal processing performed by the
画像形成回路36で形成された画像データは、検出データ付加回路39へ出力される。検出データ付加回路39では、画像データに検出データを付加する。本実施形態で画像データに付加する検出データとしては、図4に示すように、画像データの有効画素領域47のうち、後述する表示回路44でマスキングされる無効表示領域47bに位置する所定の画素を、所定の色及び階調値とするように設定されており、例えば、画像データの4隅に近接する画素48a〜48dを、所定の色としてR色、階調値を最大値とする検出データを画像データに付加する。検出データ付加回路39で検出データが付加された画像データは、画像処理回路40へ出力される。
The image data formed by the
画像処理回路40は、FPGA49及びROM50から構成される。FPGA49は、ROM50から論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路の一種であり、後述する初期化回路43によって初期化されたとき、ROM50から画像処理用の論理回路プログラムを読み込むことにより、論理回路を書き換える。これによって画像処理回路40に構築された論理回路は、検出データが付加された画像データに複数種の画像処理を実行する。なお、画像処理回路40は、FPGAに限らずCPLD(Complex Programmable Logic Device)など他のプログラマブル集積回路を用いてもよい。
The
この画像処理回路40で画像データに施される画像処理としては、例えば、輪郭強調処理、あるいは特定の色や領域の強調処理、明度の調整処理などである。なお、患者基板34とメイン基板35とは、フォトカプラなどのアイソレーションデバイス(図示せず)を介して接続されている。これにより、電子内視鏡10とプロセッサ装置11とが絶縁分離される。
The image processing performed on the image data by the
画像処理回路40で画像処理が施された画像データは、判定回路41へ出力される。ROM42には、画像処理回路40で行われる複数種の画像処理毎に対応する判定データが格納されている。判定回路41は、ROM42から所定の判定データを読み出し、この判定データと、画像処理が施された画像データとを照合して、画像処理回路40に異常があるか否かを判定する。異常が無い場合、判定回路41は画像データを表示回路44に出力し、異常がある場合、判定回路41は初期化指示信号を初期化回路43に出力する。
The image data that has been subjected to image processing by the
この判定回路41での照合に用いられる判定データとしては、画像処理回路40で実行される画像処理の内容に応じて、上述した検出データ48a〜48dに画像処理が施された状態の画像データが記憶されている。この判定データと画像処理が施された画像データとを照合して、位置、色、階調が一致したときは異常なしと判定し、一致しなかったときは異常ありと判定する。
As the determination data used for the collation in the
初期化回路43は、初期化指示信号を受けたとき、画像処理回路40を初期化する。本実施形態の場合、画像処理回路40がFPGA49で構成されているため、初期化処理としては、FPGA49に書き込まれている論理回路プログラムを消去し、ROM50から論理回路プログラムを再読み込みさせることにより、FPGA49に論理回路を構築させる。なお、初期化回路43は、上述したように判定回路41で異常ありと判定されたときの他、電源投入時にシステムコントローラ45から初期化指示信号が入力されたとき、画像処理回路40を初期化する。
The
表示回路44は、判定回路41から出力された画像データにマスキングを施すとともに、映像信号にエンコードして出力し、プロセッサ装置11にケーブル接続されたモニタ51(図1も参照)に内視鏡画像として表示させる。この表示回路44では、図4に示すように、画像データの有効画素領域47のうち、観察に適した円形状の観察領域47aの外側を無効表示領域47bとしてマスキングする。
The
タイミング/ドライバ回路37は、CCD20の蓄積電荷の読み出しタイミング、CCD20の電子シャッタのシャッタ速度などを制御するための駆動パルス(垂直/水平走査パルス等)、また画像形成回路36や画像処理回路40での各種信号処理を行うための水平同期信号及び垂直同期信号を生成する。
The timing /
光源装置12は、照明光を発する光源52、集光レンズ53、光源制御回路54、光源装置12を統括的に制御するCPU55を備える。光源52から発せられる照明光は、集光レンズ53によって集光されてライトガイド33の入射端33aに導かれる。なお、光源52としては、キセノンランプなどの放電ランプが用いられるが、これに限らず、ハロゲンランプ、LED(発光ダイオード)、蛍光発光素子ランプ、またはLD(レーザーダイオード)などを用いてもよい。
The
光源制御回路54は、電源スイッチ13が操作されたとき供給される電源電圧を変圧し、点灯スイッチ14が操作されたときCPU55から入力される点灯指示信号に応じて点灯電力を供給して光源52を点灯させる。
The light
上記構成の作用について、図5のフローチャートを用いて説明する。電子内視鏡システム2で検査を行う際には、電子内視鏡10のコネクタ17,18をプロセッサ装置11及び光源装置12に差し込み、プロセッサ装置11と光源装置12とを接続した状態でプロセッサ装置11の電源スイッチ13をオンする。電源スイッチ13をオンすると、プロセッサ装置11及び光源装置12の電源がオンになるとともに、プロセッサ装置11から電子内視鏡10へ電力が供給される。
The operation of the above configuration will be described with reference to the flowchart of FIG. When performing inspection with the electronic endoscope system 2, the
電子内視鏡10は、プロセッサ装置11からの電力供給によりオン状態となり、CCD20を起動して撮像を開始する。CCD20により出力された撮像信号は、AMP28、CDS/PGA29、A/D30でそれぞれ増幅、ノイズ低減、デジタル変換されて画像形成回路36へ出力される。画像形成回路36は、デジタルの撮像信号から画像データを形成して検出データ付加回路39へ出力する。検出データ付加回路39では、画像データの無効表示領域47bに検出データ48a〜48dが付加される。検出データが付加された画像データは画像処理回路40で画像処理が施されて判定回路41へ出力される。
The electronic endoscope 10 is turned on by the supply of power from the
そして、判定回路41は、画像処理回路40から送られた画像データと、ROM42から読み出した判定データとを照合し、これらが一致する場合、判定回路41は異常なしと判定して表示回路44へ画像データを出力する。表示回路44でマスキング処理された画像データは、モニタに表示され、使用者はモニタに表示された画像で、被検体内を観察することができる。
Then, the
一方、画像データと判定データとが一致しなかった場合、判定回路41は異常ありと判定して初期化指示信号を初期化回路43に送信する。初期化指示信号が入力された初期化回路43は、ROM50の論理回路プログラムをFPGA49に読み込ませ、画像処理回路40を初期化して論理回路を再構築させる。これによって、画像処理回路40が原因で、画像データに異常がある状態から、正常な状態に瞬時に復帰する。
On the other hand, if the image data and the determination data do not match, the
上述したように、画像データに異常がある場合、画像処理回路40を初期化しているので、従来のようにプロセッサ装置11の電源を一度落として再投入する場合よりも短時間で、確実に正常な状態に容易に復帰することができる。これにより、高周波メスなど駆動電圧の高い機器を近くで使用していてもノイズの影響を受けることなく安定してモニタに画像を表示しつづけることができる。
As described above, when there is an abnormality in the image data, the
上記実施形態では、表示回路44でマスキングされる無効表示領域47bに検出データ48a〜48dを付加する構成としているが、本発明はこれに限らず、例えば、図6に示すように、CCD20で撮像して取得した画像データの有効画素領域47の外にダミー領域56を検出データとして付加するようにしてもよい。ダミー領域56は、例えば、有効画素領域47の垂直方向の画素数が480ラインだとすると481ライン目に設けられる。この481ライン目のダミー領域56を所定の色、輝度値にする。そして、このダミー領域56が正常に画像処理されているか判定回路41で判定する。なお、このダミー領域56は、表示回路44でマスキングするとき削除して表示用の画像データとしては出力しないようにする。
In the above embodiment, the detection data 48a to 48d are added to the
また、上記実施形態では、画像処理回路40をFPGA49及びROM50から構成しているが、図7に示すように、検出データ付加回路39についてもFPGA57及びROM58から構成するようにしてもよい。FPGA57は、ROM58から論理回路プログラムを読み込むことにより論理回路が構築される。この構成の場合、判定回路41が画像データに異常ありと判定したとき、初期化回路43がFPGA49とともにFPGA57を初期化してROM50及びROM58から、FPGA49及びFPGA57へ論理回路プログラムをそれぞれ再読み込みさせる。FPGA57の論理回路データが破壊されていた場合、判定回路41で異常と判定しても、FPGA49だけ初期化するだけでは、正常な状態に復帰しないが、FPGA57もFPGA49と同じく初期化するので、確実に正常な状態に復帰することができる。
In the above embodiment, the
上記実施形態においては、画像データに異常があると判定された場合、画像処理回路を初期化して、正常な状態に復帰させるようにしているが、本発明はこれに限るものではなく、異常があると判定された場合、画像形成回路36についても初期化を実行して正常な状態に復帰させる構成としてもよい。以下で説明する本発明の第2実施形態では、画像形成回路36から出力された画像データに異常があるとき、画像形成回路36を初期化する構成とする。この場合、図8に示すように、A/D30の出力側且つ画像形成回路36を構成するDSP46の入力側に配された検出データ付加回路59と、DSP46の出力側且つ検出データ付加回路39の入力側に配された判定回路60と、DSP46を初期化する初期化回路61とを設けている。検出データ付加回路59では、例えば、A/D30から出力されたデジタルの撮像信号に対して、所定位置のRとGの画素に対して、階調値がR<Gとなる撮像信号を検出データとしてそれぞれ付加する。なお、この検出データが付加される所定位置としては、上記実施形態と同様、無効表示領域47bの画素である。
In the above embodiment, when it is determined that there is an abnormality in the image data, the image processing circuit is initialized and returned to a normal state. However, the present invention is not limited to this, and the abnormality is detected. If it is determined that there is, the
画像形成回路36を構成するDSP46は、電源投入後、単体で動作して各種信号処理を実行する。そこで、タイミング/ドライバ回路37からの垂直同期信号、水平同期信号と、DSP46の動作にズレが生じたとき、特にタイミング/ドライバ回路37の垂直同期信号に対してDSP46の動作にズレが生じた場合、画像データに異常が発生することがある。図9は、タイミング/ドライバ回路37からの垂直同期信号にDSP46が同期して正常に動作した場合(図9(A))、及びタイミング/ドライバ回路37からの垂直同期信号に対してDSP46の動作にズレが生じた場合、(図9(B))を示す概念図である。
The
図9(A)に示す正常な状態のときは、G色の撮像信号が並ぶ列62a,62c,62e・・・、R,B色の撮像信号が並ぶ列62b,62d,62f・・・が、水平同期信号Hに同期して交互に出力され、さらに水平同期信号Hに同期して出力された撮像信号が垂直同期信号Vに同期して各種信号処理が順次施されて出力される。
In the normal state shown in FIG. 9A, the
一方、図9(B)に示すように、タイミング/ドライバ回路37からの垂直同期信号に対して、DSP46の動作にズレが生じた場合の一例では、最初のG色の撮像信号が並ぶ列62aが飛ばされて、次のR,B色の撮像信号が並ぶ列62bを列62aと誤認識してしまい、列62aの撮像信号が信号処理が施されない状態となる。そして、DSP46はG色の撮像信号が並ぶ列62c,62e・・・をR,B色の撮像信号が並ぶ列62b,62d,62fとして信号処理を施して出力してしまう。このように、ズレが生じることにより、異なる位置、及び色の画素に基づいて画像データが形成されてしまうため、モニタ51には、位置及び色が正常な状態とは掛け離れた画像が表示されてしまう。
On the other hand, as shown in FIG. 9B, in an example in which the operation of the
判定回路60は、画像データに対して、検出データを付加したときと同じ状態、すなわち、検出データとして付加した所定位置のRとGの画素が、階調値がR<Gとなっているか否かを判定する。画像形成回路36が正常な状態のときは、この所定位置のRとGの画素は、階調値がR<Gのまま、正常な画像データとして出力されるが、上述したように画像形成回路36を構成するDSP46の動作が、タイミング/ドライバ回路37からの垂直同期信号に対してズレを生じた場合、G色の撮像信号が並ぶ列をR,B色の撮像信号が並ぶ列として信号処理を施して出力してしまうことがあるため、所定位置のRとGの画素に付加した検出データが逆の大きさの階調値、すなわちR>Gとなってしまう。 よって、判定回路60は、所定位置の画素の階調値がR<Gのときは、異常なしと判定し、階調値がR>Gのときは異常ありと判定する。異常が無い場合、判定回路60は画像データを出力し、異常がある場合、判定回路60は初期化指示信号を初期化回路61に出力する。
The determination circuit 60 is in the same state as when the detection data is added to the image data, that is, whether or not the R and G pixels at predetermined positions added as the detection data have a gradation value R <G. Determine whether. When the
初期化回路61は、初期化指示信号を受けたとき、画像形成回路36を初期化する。本実施形態の場合、画像形成回路36がDSP46から構成されているため、初期化処理としては、タイミング/ドライバ回路37の垂直同期信号と同期するタイミングでDSP46をリセットする。なお、初期化回路61は、上述したように判定回路60で異常ありと判定されたときの他、電源投入時にシステムコントローラ45から初期化指示信号が入力されたとき、画像形成回路36を構成するDSP46を初期化する。このようにして、画像データに異常がある場合、画像形成回路36を構成するDSP46を初期化しているので、上記実施形態と同様、プロセッサ装置11の電源を一度落として再投入する場合よりも短時間で、確実に正常な状態に容易に復帰することができる。
The
上記実施形態で例示した検出データの実体や付加位置は、本発明を限定するものではない。例えば、検出データとして、特定のマークを付加してもよく、観察領域47aに付加してもよい。さらに、上記実施形態では、判定回路41、60で一回異常ありと判定してすぐに初期化回路43、60で初期化しているが、これに限らず、所定フレーム数を連続して異常ありと判定した場合に初期化する構成としてもよい。
The substance and the added position of the detection data exemplified in the above embodiment do not limit the present invention. For example, a specific mark may be added as detection data, or may be added to the observation region 47a. Furthermore, in the above-described embodiment, the
なお、上記実施形態においては、画像形成回路36を非プログラマブル集積回路から、画像処理回路40をプログラマブル集積回路から構成しているが、これに限らず、画像形成回路36をプログラマブル集積回路から、画像処理回路40を非プログラマブル集積回路から構成してもよい。
In the above-described embodiment, the
また、上記実施形態においては、プロセッサ装置及び光源装置を別体にした構成を例に挙げているが、本発明はこれに限らず、プロセッサ装置と光源装置とを一体型にした構成としてもよい。さらに、上記実施形態では、電子内視鏡を例示しているがこれに限らず、超音波トランスデューサが先端部に一体化された超音波内視鏡にも適用することができる。 Moreover, in the said embodiment, although the structure which separated the processor apparatus and the light source device was mentioned as an example, this invention is not restricted to this, It is good also as a structure which integrated the processor apparatus and the light source device. . Furthermore, in the said embodiment, although the electronic endoscope is illustrated, it is not restricted to this, It can apply also to the ultrasonic endoscope with which the ultrasonic transducer was integrated in the front-end | tip part.
2 電子内視鏡システム
10 電子内視鏡
11 プロセッサ装置
12 光源装置
20 CCD
36 画像形成回路
40 検出データ付加回路
40 画像処理回路
41 判定回路
43 初期化回路
46 DSP
49,57 FPGA
2 Electronic Endoscope System 10
36
49,57 FPGA
Claims (9)
前記画像データの形成、または前記画像処理のうち少なくとも1つの処理を行う前に、前記撮像信号、または前記画像データに検出データを付加する検出データ付加手段と、
前記画像データの形成、または前記画像処理のうち少なくとも1つの処理を行った後に、前記画像データを所定の判定データと照合して、前記画像処理手段に異常があるか否かを判定する判定手段と、
前記判定手段により、異常ありと判定されたとき、前記画像処理手段を初期化する初期化手段とを備えたことを特徴とする内視鏡のプロセッサ装置。 In an endoscope processor device including image processing means for forming image data from an imaging signal obtained by an imaging means of an endoscope and performing image processing on the formed image data,
Detection data adding means for adding detection data to the imaging signal or the image data before performing at least one of the formation of the image data or the image processing;
Determination means for determining whether or not there is an abnormality in the image processing means by comparing the image data with predetermined determination data after performing at least one of the formation of the image data or the image processing When,
An endoscope processor apparatus, comprising: an initialization unit that initializes the image processing unit when the determination unit determines that there is an abnormality.
前記複数種の前記画像処理毎に対応する前記判定データが格納される判定データ格納手段を備え、
前記判定手段は、前記画像処理の内容に応じた前記判定データを前記判定データ格納手段から読み出して、前記判定を行うことを特徴とする請求項1記載の内視鏡のプロセッサ装置。 The image processing means is configured to be capable of executing a plurality of types of image processing,
Determination data storage means for storing the determination data corresponding to each of the plurality of types of the image processing;
The endoscope processor apparatus according to claim 1, wherein the determination unit reads the determination data corresponding to the content of the image processing from the determination data storage unit and performs the determination.
前記初期化手段は、前記垂直同期のタイミングで前記初期化を行うことを特徴とする請求項1または2記載の内視鏡のプロセッサ装置。 The detection data is for determining a vertical synchronization shift when forming the image data,
The endoscope processor device according to claim 1, wherein the initialization unit performs the initialization at the timing of the vertical synchronization.
前記初期化手段は、前記非プログラマブル集積回路にリセット処理を施すことを特徴とする請求項1ないし3いずれか記載の内視鏡のプロセッサ装置。 The image processing means has a non-programmable integrated circuit in which the logic circuit cannot be rewritten,
4. The endoscope processor device according to claim 1, wherein the initialization unit performs a reset process on the non-programmable integrated circuit.
前記初期化手段は、前記プログラマブル集積回路に前記論理回路プログラムを再読み込みさせることを特徴とする請求項1ないし4いずれか記載の内視鏡のプロセッサ装置。 The image processing means has a programmable integrated circuit capable of rewriting a logic circuit by reading a logic circuit program,
5. The endoscope processor device according to claim 1, wherein the initialization unit causes the programmable integrated circuit to re-read the logic circuit program.
前記初期化手段は、前記画像処理手段の前記プログラマブル集積回路に加えて、前記検出データ付加手段の前記プログラマブル集積回路に前記論理回路プログラムを再読み込みさせることを特徴とする請求項5記載の内視鏡のプロセッサ装置。 The detection data adding means has the programmable integrated circuit,
6. The endoscope according to claim 5, wherein the initialization unit causes the programmable integrated circuit of the detection data adding unit to reread the logic circuit program in addition to the programmable integrated circuit of the image processing unit. Mirror processor device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008071801A JP2009225851A (en) | 2008-03-19 | 2008-03-19 | Processor device of endoscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008071801A JP2009225851A (en) | 2008-03-19 | 2008-03-19 | Processor device of endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009225851A true JP2009225851A (en) | 2009-10-08 |
Family
ID=41241992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008071801A Pending JP2009225851A (en) | 2008-03-19 | 2008-03-19 | Processor device of endoscope |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009225851A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011099364A1 (en) * | 2010-02-10 | 2011-08-18 | オリンパス株式会社 | Fluorescence endoscope device |
CN102346227A (en) * | 2010-08-04 | 2012-02-08 | 河南省电力公司安阳供电公司 | Endoscope technology-based discharge-trace inspection system |
JP2012192004A (en) * | 2011-03-15 | 2012-10-11 | Olympus Corp | Surgical system |
EP3085297A1 (en) * | 2015-04-24 | 2016-10-26 | Fujifilm Corporation | Endoscope system |
EP3131013A4 (en) * | 2014-04-11 | 2018-01-10 | Sony Corporation | Signal processing device and signal processing method |
US10409956B2 (en) * | 2016-03-16 | 2019-09-10 | Sony Olympus Medical Solutions Inc. | Medical signal processing apparatus and medical observation system |
-
2008
- 2008-03-19 JP JP2008071801A patent/JP2009225851A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102753080A (en) * | 2010-02-10 | 2012-10-24 | 奥林巴斯株式会社 | Fluorescence endoscope device |
JP2011161046A (en) * | 2010-02-10 | 2011-08-25 | Olympus Corp | Fluorescence endoscope |
WO2011099364A1 (en) * | 2010-02-10 | 2011-08-18 | オリンパス株式会社 | Fluorescence endoscope device |
CN102346227A (en) * | 2010-08-04 | 2012-02-08 | 河南省电力公司安阳供电公司 | Endoscope technology-based discharge-trace inspection system |
US9585724B2 (en) | 2011-03-15 | 2017-03-07 | Olympus Corporation | Surgical system |
JP2012192004A (en) * | 2011-03-15 | 2012-10-11 | Olympus Corp | Surgical system |
EP2687181B1 (en) * | 2011-03-15 | 2019-03-06 | Olympus Corporation | Surgical system |
EP3131013A4 (en) * | 2014-04-11 | 2018-01-10 | Sony Corporation | Signal processing device and signal processing method |
US10395334B2 (en) | 2014-04-11 | 2019-08-27 | Sony Corporation | Three-dimensional deposition device and three-dimensional deposition method |
JP2020054834A (en) * | 2014-04-11 | 2020-04-09 | ソニー株式会社 | Signal processing device and signal processing method |
US11182874B2 (en) | 2014-04-11 | 2021-11-23 | Sony Corporation | Signal processing device and signal processing method |
EP3085297A1 (en) * | 2015-04-24 | 2016-10-26 | Fujifilm Corporation | Endoscope system |
US10409956B2 (en) * | 2016-03-16 | 2019-09-10 | Sony Olympus Medical Solutions Inc. | Medical signal processing apparatus and medical observation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5620612B2 (en) | Imaging apparatus and imaging system | |
JP5191329B2 (en) | Image acquisition device | |
JP6588043B2 (en) | Image processing apparatus, endoscope system, method of operating image processing apparatus, and program | |
JP6378846B2 (en) | Image processing device | |
US20140354788A1 (en) | Endoscope system | |
JP5384409B2 (en) | Method of operating a CMOS image sensor in an endoscope apparatus | |
JP2009225851A (en) | Processor device of endoscope | |
JP2015160098A (en) | endoscope system | |
WO2016084257A1 (en) | Endoscope apparatus | |
WO2016185734A1 (en) | Endoscope system | |
WO2020178962A1 (en) | Endoscope system and image processing device | |
JP5926980B2 (en) | Imaging apparatus and imaging system | |
JP5371702B2 (en) | Electronic endoscope system, processor device for electronic endoscope, and method for operating electronic endoscope system | |
JP2006346196A (en) | Endoscope imaging system | |
JP6242552B1 (en) | Image processing device | |
JP7224963B2 (en) | Medical controller and medical observation system | |
JPH06335449A (en) | Electronic endoscope equipment | |
WO2016047563A1 (en) | Transmission system and processing device | |
JP2003153859A (en) | Electronic endoscope | |
JP4448320B2 (en) | Electronic endoscope device | |
WO2021192644A1 (en) | Endoscope and endoscope system | |
JP2015047440A (en) | Processor | |
JP6370604B2 (en) | Endoscope system | |
JP2010279457A (en) | Electronic endoscope, electronic endoscopic system, and color adjusting method | |
JP2007125069A (en) | Image signal processor and electronic endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100618 |