JP2011010880A - Electronic endoscope system - Google Patents
Electronic endoscope system Download PDFInfo
- Publication number
- JP2011010880A JP2011010880A JP2009157832A JP2009157832A JP2011010880A JP 2011010880 A JP2011010880 A JP 2011010880A JP 2009157832 A JP2009157832 A JP 2009157832A JP 2009157832 A JP2009157832 A JP 2009157832A JP 2011010880 A JP2011010880 A JP 2011010880A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- electronic endoscope
- frame
- digital data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、内視鏡観察画像を出力してモニタに表示させる電子内視鏡システムに関する。 The present invention relates to an electronic endoscope system that outputs an endoscopic observation image and displays it on a monitor.
従来の電子内視鏡システムにおいては、特許文献1に示すように、出力信号の形式としてアナログRGB、複合同期信号、コンポジットビデオ信号、Sビデオ信号、およびデジタルビデオ信号が採用されている。また、画像はSD(Standard Definition)フォーマット(有効画素数:720×480)で伝送されてモニタに表示される。これらの電子内視鏡システムでは、画像処理のフレームレートが所定の規格よりも遅い電子内視鏡を使用して遠隔地にあるモニタにコマ送り画像のデジタルビデオ信号を伝送する場合もある。
In the conventional electronic endoscope system, as shown in
近年では、施術時に電子内視鏡で撮像した観察画像をリアルタイムで別の部屋や病院、研究室等に送信し、遠隔地にいる医師が観察画像を確認しながら施術者に遠隔指導や遠隔支援を行うなど、遠隔医療においても電子内視鏡を利用できることが望まれている。 In recent years, observation images taken with an electronic endoscope at the time of surgery are transmitted in real time to another room, hospital, laboratory, etc., and a remote doctor provides remote guidance and remote support to the practitioner while checking the observation images It is desired that an electronic endoscope can be used also in telemedicine.
しかし、上記のような従来の構成では、撮像素子(CCDイメージセンサやCMOSイメージセンサ等)のうち解像度がSDフォーマット以上である撮像素子を使用して撮像した画像を遠隔地にあるモニタに表示する場合、SDフォーマット対応の周辺機器へは画像情報をすべて伝送して表示することができなくなるケースが考えられる。このようなケースが生じると、当該遠隔地にいる医師が、モニタに表示される画像をどのような観点で確認、判断すればよいかがわかりにくくなる等、遠隔医療に不都合をもたらす可能性がある。また、より大容量の画像情報の伝送や表示を実現するためにHD(High Definition)フォーマット(有効画素数:1920×1080)に対応するシステムを構築することもできるが、導入する際のコストがかさむおそれがある。 However, in the conventional configuration as described above, an image picked up using an image pickup device (such as a CCD image sensor or a CMOS image sensor) having a resolution equal to or higher than the SD format is displayed on a remote monitor. In this case, there may be a case where all image information cannot be transmitted and displayed to a peripheral device compatible with the SD format. If such a case occurs, it may be inconvenient for telemedicine, such as it becomes difficult for doctors in the remote area to confirm and judge from what viewpoint the image displayed on the monitor should be confirmed and judged. . In addition, a system corresponding to the HD (High Definition) format (effective pixel number: 1920 × 1080) can be constructed in order to realize transmission and display of larger-capacity image information. May be bulky.
本発明は、上記に鑑みてなされたものである。本発明の目的は、所定のフォーマット以上の情報量を有する画像情報を、所定のフォーマット対応の伝送系を利用して情報量を減少させることなく長距離伝送することができる電子内視鏡システムを提供することである。 The present invention has been made in view of the above. An object of the present invention is to provide an electronic endoscope system capable of transmitting image information having an information amount equal to or greater than a predetermined format over a long distance using a transmission system corresponding to the predetermined format without reducing the information amount. Is to provide.
本発明に係る電子内視鏡システムは、第1の解像度に対応した撮像素子を有する電子内視鏡と、電子内視鏡により生成される画像データに所定の画像処理を施してデジタルデータを生成する画像処理装置と、第1の解像度よりも低い第2の解像度に対応しており、画像処理装置から出力されるデジタルデータを伝送する伝送手段と、伝送手段を介して入力されたデジタルデータを復調し、観察画像としてモニタに出力する受信装置とを有し、画像処理装置は、撮像素子のフレームレートが所定の値より小さく観察画像がコマ送り表示されるかどうかを判定する判定手段と、判定手段により観察画像がコマ送り表示されると判定された場合に、所定の規則に基づいて、デジタルデータを最大で1コマ内のフレーム数と同数の分割データに分割する画像分割手段を有し、受信装置は、所定の規則に基づいて、分割データからデジタルデータを復調する。このため、既存のSDフォーマット対応のシステムにおいてSDフォーマット以上の画像データを、情報量を減少させることなく遠隔地に伝送することができる。 An electronic endoscope system according to the present invention generates digital data by performing predetermined image processing on an electronic endoscope having an image sensor corresponding to a first resolution and image data generated by the electronic endoscope. Corresponding to a second resolution lower than the first resolution, transmitting means for transmitting digital data output from the image processing apparatus, and digital data input via the transmitting means A receiving device that demodulates and outputs the image as an observation image to a monitor, and the image processing device includes: When it is determined by the determination means that the observation image is frame-by-frame displayed, the digital data is divided into the maximum number of divided data equal to the number of frames in one frame based on a predetermined rule. And an image dividing means, the receiving device, based on a predetermined rule, and demodulates the digital data from the divided data. For this reason, in an existing SD format compatible system, image data of the SD format or higher can be transmitted to a remote location without reducing the amount of information.
好ましくは、所定の規則は、1コマ内のフレーム数を超えないp×q(p,qは自然数;p×q≧2)個の画素のグループを作成し、該グループ内の各画素に番地を割り当て、該グループを並べて撮像素子の有効画素全体を分割することで観察画像を分割することであり、画像処理装置は、複数の記憶領域を有し、各領域に格納可能な画素数が多くとも第2の解像度の画素数と同数である第1の記憶手段と、観察画像の画像信号を番地別に第1の記憶手段に格納する第1の画像信号格納手段と、第1の記憶手段に格納された画像信号をデジタルデータの連続する複数のフレームに順次書き込む画像信号書き込み手段とを有し、受信装置は、記憶領域の数が少なくとも第1の記憶手段と同数であり、各領域に格納可能な画素数が少なくとも第2の解像度の画素数と同数である第2の記憶手段を有する。このため、間引かれた画像データのうちいずれかのフレームの情報が欠けてしまう現象が発生しても、画像信号を復調して観察画像を合成した際に、情報が欠けた分だけ画像が見難くはなるものの観察画像全体をモニタに表示できる。 Preferably, the predetermined rule is to create a group of p × q (p and q are natural numbers; p × q ≧ 2) pixels that do not exceed the number of frames in one frame, and assign an address to each pixel in the group. The image processing apparatus has a plurality of storage areas, and the number of pixels that can be stored in each area is large. The first storage means having the same number as the number of pixels of the second resolution, the first image signal storage means for storing the image signal of the observation image in the first storage means by address, and the first storage means Image signal writing means for sequentially writing stored image signals into a plurality of consecutive frames of digital data, and the receiving device has at least the same number of storage areas as the first storage means, and stores in each area The number of possible pixels is at least a second Second storage means having the same number of pixels as the resolution is included. For this reason, even if a phenomenon occurs in which information of any frame in the thinned image data is lost, when the image signal is demodulated and the observation image is synthesized, the image is lost by the amount of the missing information. Although it is difficult to see, the entire observation image can be displayed on the monitor.
さらに好ましくは、画像処理装置は、撮像素子の画素と第1の記憶手段に格納された画像信号と番地との対応関係を示す識別信号を生成する識別信号生成手段と、識別信号をデジタルデータに書き込む識別信号書き込み手段とを有し、受信装置は、記識別信号に基づいて、複数のフレームに書き込まれた画像信号を番地別に第2の記憶手段に格納する第2の画像信号格納手段と、識別信号に基づいて、第2の記憶手段に格納された画像信号を合成して観察画像を復元する画像信号合成手段とを有する。また、識別信号がデジタルデータのブランキング期間に書き込まれる。さらに、画像処理装置は、複数種類の電子内視鏡を接続することができるように構成される。そして、第1の解像度はHD規格に準拠しており、第2の解像度はSD規格に準拠している。 More preferably, the image processing device includes an identification signal generating unit that generates an identification signal indicating a correspondence relationship between the pixel of the image sensor and the image signal stored in the first storage unit and the address, and the identification signal is converted into digital data. An identification signal writing means for writing, and the receiving device stores a second image signal storage means for storing the image signals written in the plurality of frames in the second storage means by address based on the identification signal; Image signal combining means for combining the image signals stored in the second storage means to restore the observation image based on the identification signal. An identification signal is written in the blanking period of the digital data. Furthermore, the image processing apparatus is configured so that a plurality of types of electronic endoscopes can be connected. The first resolution conforms to the HD standard, and the second resolution conforms to the SD standard.
本発明によれば、画像処理のフレームレートが所定の規格よりも遅い電子内視鏡を使用してコマ送りの画像を伝送する電子内視鏡システムにおいて、画像情報の情報量を欠落させることなく遠隔地に伝送することができるため、伝送効率を上げることができる。また、所定のフォーマット対応の伝送系を利用して伝送することができ、かつ長距離伝送も実現することができる。さらに、遠隔地にある所定のフォーマット対応の周辺機器にも画像情報を直接入力することができる。そして、ダウンコンバータ等で画像情報を間引く必要がないため、ダウンコンバータ等を備えるシステムよりも多くの画像情報を伝送することができる。 According to the present invention, in an electronic endoscope system that transmits a frame-by-frame image using an electronic endoscope whose image processing frame rate is slower than a predetermined standard, the amount of image information is not lost. Since it can transmit to a remote place, transmission efficiency can be raised. In addition, transmission can be performed using a transmission system corresponding to a predetermined format, and long-distance transmission can also be realized. Furthermore, image information can be directly input to a peripheral device corresponding to a predetermined format at a remote location. And since it is not necessary to thin out image information with a down converter etc., more image information can be transmitted than the system provided with a down converter etc.
以下、図面を参照して、本発明の実施形態における電子内視鏡システムについて説明する。なお、複数の図にまたがって同じ部材を示す場合は同じ番号を付すこととする。 Hereinafter, an electronic endoscope system according to an embodiment of the present invention will be described with reference to the drawings. In addition, the same number is attached | subjected, when showing the same member over several figures.
図1は、本発明の一実施形態における電子内視鏡システム全体の概略を示すブロック図である。なお、本実施形態では、撮像素子の性能上、画像処理のフレームレートが5fps(frames per second)であるため画像表示がコマ送りとなり、かつSDフォーマットにおける有効画素数以上の画素数を有する撮像素子を備えた電子内視鏡1がビデオプロセッサ2に接続されている。ビデオプロセッサ2からデジタルデータとして出力されるデジタルビデオ信号は、NTSC(National Television System Committee)方式で遠隔地の受信装置3に転送される。NTSCレートの場合、1秒間に30枚の画像が転送される。ところが、本実施形態におけるコマ送り表示の場合、1秒間に5コマの画像しか転送できず、1コマあたり6枚の同じ画像が転送される。電子内視鏡1の電気的消去可能読み取り専用メモリ(EEPROM)10には、画素数やフレームレート等、撮像素子6固有のプロパティ情報があらかじめ格納されている。電子内視鏡1がビデオプロセッサ2に接続されると、EEPROM10に格納されているプロパティ情報がペリフェラルドライブ14によって読み込まれた後にシステムコントロール部15に送られる。EEPROM10内のプロパティ情報のうち、ビデオプロセッサ2から送信されるデジタルビデオ信号の復調や出力を行うために必要な画素数やフレームレート等の情報は受信装置3に送られる。
FIG. 1 is a block diagram showing an outline of the entire electronic endoscope system according to an embodiment of the present invention. In the present embodiment, because of the performance of the image sensor, the image processing frame rate is 5 fps (frames per second). Is connected to a
ビデオプロセッサ2の光源部17で発生した光は、ライトガイド7によって電子内視鏡1の挿入部の先端に伝搬され、照明光として患者の体腔内の観察対象物に照射される。なお、光源部17は、いずれも図示しないものの、ハロゲンランプやキセノンランプや白色LED等の光源、光源の光を集光する集光レンズ、光源からの白色光を赤(R)、緑(G)、青(B)の光に順次色分解するためのカラーフィルタ、画像信号をフレームメモリに書き込む際のタイミングパルスや垂直同期信号に同期してカラーフィルタが回転するようにカラーフィルタの速度と位相を制御するためのカラーフィルタ回転制御回路、照明光の光量を調整するための光量絞り、光量絞りを制御する回路等を有し、面順次方式にて照明光を生成する。撮像素子6の撮像面は、電子内視鏡1の挿入部において、挿入部の先端に設けられた対物光学系(図示せず)によって観察対象物の像が結ばれる位置に配置されている。また、内視鏡の操作部に設けられた各種操作用のボタン8を操作することにより、操作信号がビデオプロセッサ2のシステムコントロール部15に送られ、静止画像や動画の記録、送気、送水等の種々の処理が行われる。
The light generated by the light source unit 17 of the
撮像素子6によって光電変換された撮像信号はドライブ回路9によってプリプロセス部11に送られる。プリプロセス部11は、撮像信号に増幅、サンプルホールド処理、A/D変換、ノイズ除去等の前処理を施すことにより、画像信号を抽出する。抽出された画像信号はタイミング回路12を介してホストプロセス部13に送られる。ホストプロセス部13は、例えば施術室内に設置されているテレビモニタ(図示せず)等で画像を表示するためにアナログ形式のビデオ信号を出力するだけでなく、遠隔地のテレビモニタ4で画像を表示するためにデジタル形式のビデオ信号を出力する。なお、遠隔地で画像を表示する場合は、出力されたデジタルビデオ信号を受信装置3にて受信する。受信装置3は、デジタルビデオ信号から画像信号や文字信号、音声信号を抽出する。また、受信装置3は、画像信号をデジタルビデオ信号やRGBビデオ信号、コンポジットビデオ信号、Sビデオ信号等に変換して各種モニタにて画像の表示を行ったり、文字情報の表示や音声の再生を行ったりする。また、受信装置3にVTR5を接続して、画像、文字情報、音声等を記録することもできる。
The imaging signal photoelectrically converted by the imaging element 6 is sent to the preprocessing
システムコントロール部15は、電子内視鏡1のEEPROM10から得られる撮像素子6の有効画素数やフレームレートに関する情報に基づいて撮像素子6の有効画素数が720×480以上であるかどうかや画像表示がコマ送りになるかどうかを判定し、撮像素子6やビデオプロセッサ2等の制御を切り替える。また、システムコントロール部15は、電子内視鏡1のEEPROM10に格納されている情報、ボタン8やパネルスイッチ18の操作、およびキーボード19からの入力に基づいてプリプロセス部11、タイミング回路12、ホストプロセス部13の動作を制御する。例えば、システムコントロール部15はフレームレートの情報に基づいてタイミング回路12の動作を制御する。なお、撮像素子6により撮像された観察画像のサイズが720×480に収まると判定された場合や画像表示がコマ送りにならないと判定された場合は、システムコントロール部15は従来の画像処理に従って信号を出力するように画像処理装置内の各部の動作を制御する。
The
ビデオプロセッサ2の表示部(図示せず)には、パネルスイッチ18における設定に従って、現在の電子内視鏡の操作状況や観察画像の処理状況を示す情報が表示される。また、施術室内に設置されているテレビモニタや遠隔地のテレビモニタ4には、内視鏡観察画像の他に、現在時刻や患者名、施術者の所見やコメント等、種々の文字情報が、自動的またはキーボード19からの入力に従って表示される。
Information indicating the current operation status of the electronic endoscope and the processing status of the observation image is displayed on the display unit (not shown) of the
図2は、本発明の一実施形態における上記の構成を具体的に示すブロック図である。撮像素子6から出力される撮像信号は、プリプロセス部11の増幅器(AMP)20において増幅された後、サンプルホールド回路21により画像信号が抽出され、アナログデジタル変換回路22にてデジタル信号化されてタイミング回路12に送られる。タイミング回路12は、システムコントロール部15の制御により、撮像素子6から蓄積電荷が送出されるタイミングと同期して、順次、赤(R)、緑(G)、青(B)の各色の画像信号を各々対応するフレームメモリR23a、フレームメモリG23b、フレームメモリB23cに記憶させる。三色の画像信号は、各フレームメモリ23a,23b,23cから同時に読み出されて、デジタルアナログ変換回路24a,24b,24cおよびデジタル信号処理回路25に送られる。R,G,Bの各フレームメモリ用のデジタルアナログ変換回路24a,24b,24cに送られた画像信号は、アナログ信号に変換された後、そのままRGBのビデオ信号として出力されたり、RGBエンコーダ(図示せず)を介してコンポジットビデオ信号やSビデオ信号として出力されたりして、施術室内のモニタに表示される。
FIG. 2 is a block diagram specifically showing the above-described configuration in one embodiment of the present invention. An imaging signal output from the imaging device 6 is amplified by an amplifier (AMP) 20 of the
デジタル信号処理回路25には、複数の画像メモリ30が設けられている。なお、画像メモリ30はデジタル信号処理回路25の外部に設けてもよい。1つの画像メモリに格納可能な画像データの画素数は、多くとも1フレーム分にする、すなわち720×480を超えないようにする。そのため、デジタル信号処理回路25に送られた画像は、720×480のサイズに収まるように間引かれて画像メモリ30に格納される。ここで、画像を間引く際の処理の概略を図3に示す。撮像素子の有効画素数が1440×960である場合、図に示すように、番地1〜4が割り当てられた4画素を1群とする正方形の画素領域を縦横に並べて撮像素子の有効画素全体を覆い画像を分割する。そして、画像から番地1に対応する画素の画像信号が間引かれて複数の画像メモリ30のうちの1つの画像メモリに格納される。同様に番地2〜4に対応する画素についても間引かれて番地別に画像メモリに格納される。
The digital
また、図4に別の間引き処理の概略を示す。この場合の撮像素子の有効画素数は、1800×960である。図に示すように、番地1〜6が割り当てられた6画素を1群とする長方形の画素領域が並べられて撮像素子の有効画素全体を覆い画像が分割される。そして、図3と同様に画像から番地1に対応する画素の画像信号が間引かれて1つの画像メモリに格納される。このとき番地1に対応する画素数は600×480となるが、720×480を超えないため、1つの画像メモリに格納することができる。したがって、間引かれる画素数は必ずしも720×480に限られず、720×480を超えなければ任意の画素数で間引くことができる。番地2〜6に対応する画素についても間引かれて番地別に画像メモリに格納される。
FIG. 4 shows an outline of another thinning process. In this case, the effective number of pixels of the image sensor is 1800 × 960. As shown in the figure, a rectangular pixel region having a group of 6 pixels to which addresses 1 to 6 are assigned is arranged to cover the entire effective pixels of the image sensor and the image is divided. As in FIG. 3, the image signal of the pixel corresponding to the
なお、デジタル信号処理回路25では、有効画像期間に書き込まれる画像信号がどの画素に対応するかやどの画素にどの番地が割り当てられているかを示す識別信号が生成される。これらの処理の後、番地1に対応する画像メモリから順に画像信号がマトリクス回路26に送られる。また、識別信号はマトリクス回路26を介してマルチプレクサ27に送られる。
The digital
なお、番地をどのように割り当てて画像を間引くかについては、上記の方法に限らず、撮像素子の有効画素数や画像メモリの数に応じて種々の方法が可能である。なお、図3,4に示すように画像信号を間引くと、デジタルビデオ信号の伝送時や受信装置における画像信号の復調時に何らかの不具合が生じて、間引かれた画像データのうちいずれかのフレームの情報が欠けてしまう場合でも、画像信号を復調して観察画像を合成した際に、情報が欠けた分だけ画像が見難くはなるものの観察画像全体をモニタに表示できる。仮に、図3に示す画像を間引く際に、有効画素を左上、右上、左下、右下の720×480の画素領域に分けてそれぞれ1,2,3,4の番地を割り当てて画像メモリに格納した場合、いずれかのフレームの情報が欠けると、モニタでは画像が一切表示されない720×480の領域が発生してしまう。したがって、画素に番地を割り当てる際は、同一の番地が間引き対象の画像全体に一様に分布するように割り当てることが好ましい。つまり、撮像素子の有効画素数をm×n(m,nは自然数)とすると、p×q個(p,qは自然数;p×q≧2)の画素を1群とする画素領域を作成して当該画素領域内の各画素に番地を割り当て、この画素領域を並べてm×nの有効画素を覆い、各番地ごとに画像信号を間引いて画像メモリに格納する。なお、p×qの値は1コマ内のフレーム数を超えないようにする。使用する画像メモリの数が1コマ内のフレーム数を超えると、画像メモリに格納された画像信号の書き込み先となるフレームがなくなってしまうためである。使用する画像メモリの数やp,qの値は、システムコントロール部15がEEPROM10から取得するフレームレートおよび有効画素数に基づいて決定する。
Note that how to assign addresses and thin out an image is not limited to the above method, and various methods are possible depending on the number of effective pixels of the image sensor and the number of image memories. As shown in FIGS. 3 and 4, when the image signal is thinned out, some trouble occurs when the digital video signal is transmitted or when the image signal is demodulated in the receiving apparatus, and any frame of the thinned image data is lost. Even when information is missing, when the image signal is demodulated and the observation image is synthesized, the entire observation image can be displayed on the monitor, although the image is difficult to see by the amount of lack of information. If the image shown in FIG. 3 is thinned out, the effective pixels are divided into 720 × 480 pixel areas in the upper left, upper right, lower left, and lower right, and addresses 1, 2, 3, and 4 are assigned and stored in the image memory. In this case, if any frame information is missing, a 720 × 480 area where no image is displayed on the monitor is generated. Therefore, when assigning addresses to pixels, it is preferable to assign the same addresses so that they are uniformly distributed throughout the thinning target image. In other words, if the effective pixel number of the image sensor is m × n (m and n are natural numbers), a pixel region is created in which p × q pixels (p and q are natural numbers; p × q ≧ 2) are grouped. Then, an address is assigned to each pixel in the pixel area, the pixel areas are arranged to cover m × n effective pixels, and an image signal is thinned out for each address and stored in the image memory. Note that the value of p × q does not exceed the number of frames in one frame. This is because when the number of image memories to be used exceeds the number of frames in one frame, there is no frame to which the image signal stored in the image memory is written. The number of image memories to be used and the values of p and q are determined based on the frame rate and the number of effective pixels acquired from the
ビデオプロセッサ2には、撮像素子の有効画素数がそれぞれ異なる複数種類の電子内視鏡が接続され、当該有効画素数に応じて上記のように画像データが間引かれる。そして、デジタル信号処理回路25により分割された画像を格納する画像メモリは、少なくとも1コマ内のフレーム数を下回らない数だけ設ける。また、伝送系は画素数サイズが720×480以下である画像データの伝送に対応しているため、各画像メモリに格納される画像信号の画素数は、720×480以下にする。また、受信装置3における処理の詳細については後述するが、受信装置3においてデジタルビデオ信号から復調した画像信号を格納する画像メモリは、デジタル信号処理回路25により分割された画像を格納する画像メモリと小さくとも同じ大きさだけ、かつ少なくとも同じ数だけ設ける。
The
マトリクス回路26では、R,G,Bの各デジタル信号は、例えば輝度信号Y、色差信号Cr,Cbのサンプリング周波数の比率が4:2:2となるように、輝度信号Y、色差信号Cr(=R−Y)およびCb(=B−Y)に変換される。サンプリング周波数は、ここではYについては13.5MHz、Cr,Cbについてはそれぞれ6.75MHzとし、クロック周波数はYのサンプリング周波数の2倍の27MHzとする。サンプリングは、Cb,Y,Crの順に行われる。また、各信号の走査線1ラインの有効画像期間のサンプル数は、Yが720サンプル、Cr,Cbがそれぞれ360サンプルで、合計1440サンプルとする。
In the
マトリクス回路26から出力された輝度信号Y、色差信号Cr,Cbは、マルチプレクサ27に送られて識別信号とともに多重化される。この際、同期ワード発生回路29から出力される同期ワードが有効画像期間の前後に付加される。なお、識別信号は、デジタルビデオ信号のブランキング期間に割り当てられる。ブランキング期間とは、画像の1ライン分に相当する有効画像期間を特定する同期ワードの間、すなわち、デジタルビデオ信号において、ある有効画像期間の終了を示す同期ワードと次の有効画像期間の開始を示す同期ワードとの間に介在し、本来は何らの情報も有しない期間を意味する。したがって、デジタルビデオ信号のブランキング期間に上記のような信号を割り当てても、有効画像期間に割り当てられている信号自体には何ら影響を及ぼさない。
The luminance signal Y and the color difference signals Cr and Cb output from the
図6は、有効画像期間における信号の多重化を示す図である。マトリクス回路26からデジタル信号処理回路25を介して出力された輝度信号Y1,Y2,Y3,Y4・・・と色差信号Cr1,Cr2,Cr3・・・およびCb1,Cb2,Cb3・・・は、マルチプレクサ27において、Cb1,Y1,Cr1,Y2,Cb2,Y3,Cr2,Y4,Cb3・・・の順に多重化される。この多重化処理により、1系統のパラレルデジタル信号が生成される。 FIG. 6 is a diagram illustrating signal multiplexing in the effective image period. The luminance signals Y1, Y2, Y3, Y4... And the color difference signals Cr1, Cr2, Cr3... And Cb1, Cb2, Cb3. 27, multiplexing is performed in the order of Cb1, Y1, Cr1, Y2, Cb2, Y3, Cr2, Y4, Cb3. By this multiplexing processing, one parallel digital signal is generated.
このように多重化された信号は、パラレルデジタルビデオ信号としてデジタル出力回路28に送られ、デジタル出力回路28によってシリアルデジタルビデオ信号に変換された後、最下位ビット(LSB)から遠隔地に向けてSDフォーマット対応の伝送系にて伝送される。デジタルの輝度信号Yおよび色差信号Cb,Crはそれぞれ、10ビットのビット列からなり、ホストプロセス部13内において10本の信号線(バス)で伝送されている。デジタル出力回路28では、1ビットずつデジタルビデオ信号を外部へ出力するため、ビット列のLSBからのビットデータ読出しと最上位ビット(MSB)へ向けての右シフト演算とが交互に実行される。これにより、デジタルビデオ信号が受信装置3へシリアル伝送される。なお、デジタルビデオ信号に圧縮処理を施してIEEE1394規格に沿って出力してもよい。
The multiplexed signal is sent to the
図5(a)および(b)は、アナログビデオ信号とデジタルビデオ信号における、有効画像期間とブランキング期間と同期ワードの関係を示す図である。図5(a)がアナログビデオ信号を示し、図5(b)がそのアナログビデオ信号に対応するデジタルビデオ信号を示す。上記の処理により、図5(a)に示すようなアナログ形式の画像信号は、図5(b)に示すようなデジタル形式の画像信号に変換されて、マルチプレクサ27から出力される。デジタル形式の画像信号では、走査線1ライン分の有効画像期間の前後に、同期ワード発生回路29から出力される同期ワードが付加される。受信装置3は、この同期ワードを検出し、同期ワードで挟まれている信号を画像信号として抽出する。
FIGS. 5A and 5B are diagrams illustrating the relationship between the effective image period, the blanking period, and the synchronization word in the analog video signal and the digital video signal. FIG. 5A shows an analog video signal, and FIG. 5B shows a digital video signal corresponding to the analog video signal. Through the above processing, an analog image signal as shown in FIG. 5A is converted into a digital image signal as shown in FIG. In the digital image signal, the synchronization word output from the synchronization
図7は、画像表示がコマ送りである場合に、ビデオプロセッサから出力されるデジタルビデオ信号の伝送状態を示す模式図である。なお、便宜上、フレーム104と106の間の1フレームとフレーム204と206の間の1フレームは省略している。まず、フレーム101〜106について考える。図に示すように、撮像素子のフレームレートが5fpsであってコマ送りのデジタルビデオ信号を伝送する場合は、1コマ分の表示時間の間に伝送される連続する6つのフレーム101〜106の先頭のフレーム101に、番地1に対応する画像メモリに格納されている画像信号が書き込まれ、フレーム102,103,104にはそれぞれ番地2,3,4に対応する画像メモリに格納されている画像信号が書き込まれている。なお、有効画像期間に書き込む画像信号がない場合は、フレーム106のように有効画像期間は空の領域とされ、空の有効画像期間の前後に同期ワードが付加されて伝送される。また、フレーム106から次のコマのフレーム201に切り替わるタイミングは、システムコントロール部15において撮像素子6のフレームレートに基づいて決定される。次のコマに切り替わると、フレーム201〜206について、フレーム101〜106と同様に、間引きされた新しい画像信号が先頭のフレーム201から順次書き込まれていく。なお、これらの処理は、フレーム301以降に順次生成されるフレームについても同様に行う。
FIG. 7 is a schematic diagram illustrating a transmission state of a digital video signal output from the video processor when the image display is frame advance. For convenience, one frame between the
次に遠隔地側にある受信装置3における処理について、再び図2を参照しながら説明する。受信装置3のビデオデコーダ回路31およびタイミング回路32は、ビデオプロセッサ2から送られてきた撮像素子6に関するプロパティ情報に基づいて信号処理を行う。伝送されてきたシリアルデジタルビデオ信号は、ビデオデコーダ回路31においてパラレルデジタルビデオ信号に再変換される。そして、ビデオデコーダ回路31は、タイミング回路32が出力する同期信号に基づいてビデオ信号内のブランキング期間や同期ワードを検出し、画像信号等をビデオ信号から分離する。分離された画像信号は復調された後、1〜4の各番地に対応する画像メモリ33に格納される。1コマ分の画像信号がすべて画像メモリ33に格納されると、各画像メモリ内の画像信号が合成回路34に送られ、識別信号に基づいて元の1440×960のフォーマットの画像に合成される。合成された画像は、デジタルエンコーダ35に送られ、RGBのビデオ信号やコンポジットビデオ信号、Sビデオ信号等のアナログコンポーネント信号に変換されて出力される。
Next, processing in the receiving
以上が、本発明の電子内視鏡システムに関する説明である。なお、本発明を実施する上で、デジタルビデオ信号のサンプル数および周波数や、撮像素子のフレームレートは上述した値に限られず、本発明を適用するシステムの態様に合わせて適宜変更することができる。また、コマ送り表示になるかどうかの判定は、撮像素子のフレームレートの他、モニタ等の映像機器のフレームレートを考慮して行うことも可能である。上記の説明では面順次方式で撮像した場合を想定しているが、同時方式の撮像方式を採用してもよい。すなわち、光源の白色光をそのままライトガイドに集光して伝送させて観察対象物に照射し、撮像素子上にオンチップ化された補色フィルタによって補色信号を分離し、この補色信号をRGBの原色信号に変換して、この原色信号を色差マトリクスによって色差信号R−Y,B−Yを得ることができる。そして、上記説明では、画像メモリを複数設けて画像信号を格納しているが、複数の画像メモリの全容量に相当する1つの画像メモリを設け、この画像メモリ内に複数のメモリ領域を設けて画像信号を格納するようにしてもよい。したがって、複数の画像メモリを画像格納領域とすることも、1つの画像メモリ内の複数のメモリ領域を画像格納領域とすることもできる。 The above is the description regarding the electronic endoscope system of the present invention. In implementing the present invention, the number and frequency of the digital video signal and the frame rate of the image sensor are not limited to the above-described values, and can be changed as appropriate according to the mode of the system to which the present invention is applied. . Further, it is possible to determine whether or not to perform frame advance display in consideration of the frame rate of a video device such as a monitor in addition to the frame rate of the image sensor. In the above description, it is assumed that an image is captured by the frame sequential method, but a simultaneous imaging method may be employed. In other words, the white light of the light source is collected as it is on the light guide and transmitted to irradiate the object to be observed, and the complementary color signal is separated by an on-chip complementary color filter on the image sensor, and this complementary color signal is converted into the RGB primary color. It is possible to obtain color difference signals RY and BY by converting the primary color signal into a signal and using a color difference matrix. In the above description, a plurality of image memories are provided to store image signals. However, one image memory corresponding to the total capacity of the plurality of image memories is provided, and a plurality of memory areas are provided in the image memory. An image signal may be stored. Therefore, a plurality of image memories can be used as image storage areas, and a plurality of memory areas in one image memory can be used as image storage areas.
1 電子内視鏡
2 ビデオプロセッサ
3 受信装置
6 撮像素子
15 システムコントロール部
25 デジタル信号処理回路
30,33 画像メモリ
27 マルチプレクサ
28 デジタル出力回路
31 ビデオデコーダ回路
34 合成回路
DESCRIPTION OF
Claims (6)
前記電子内視鏡により生成される画像データに所定の画像処理を施してデジタルデータを生成する画像処理装置と、
前記第1の解像度よりも低い第2の解像度に対応しており、前記画像処理装置から出力される前記デジタルデータを伝送する伝送手段と、
前記伝送手段を介して入力された前記デジタルデータを復調し、観察画像としてモニタに出力する受信装置と、を有し、
前記画像処理装置は、
前記撮像素子のフレームレートが所定の値より小さく前記観察画像がコマ送り表示されるかどうかを判定する判定手段と、
前記判定手段により前記観察画像がコマ送り表示されると判定された場合に、所定の規則に基づいて、前記デジタルデータを最大で1コマ内のフレーム数と同数の分割データに分割する画像分割手段、を有し、
前記受信装置は、前記所定の規則に基づいて、前記分割データから前記デジタルデータを復調することを特徴とする電子内視鏡システム。 An electronic endoscope having an image sensor corresponding to the first resolution;
An image processing device that performs predetermined image processing on image data generated by the electronic endoscope to generate digital data;
A transmission unit corresponding to a second resolution lower than the first resolution and transmitting the digital data output from the image processing device;
A receiving device that demodulates the digital data input via the transmission means and outputs it to a monitor as an observation image;
The image processing apparatus includes:
A determination unit that determines whether or not the observation image is frame-by-frame displayed with a frame rate of the image sensor smaller than a predetermined value;
An image dividing unit that divides the digital data into the same number of divided data as the number of frames in one frame based on a predetermined rule when the determination unit determines that the observation image is displayed by frame advance. Have
The electronic endoscope system, wherein the receiving device demodulates the digital data from the divided data based on the predetermined rule.
前記1コマ内のフレーム数を超えないp×q(p,qは自然数;p×q≧2)個の画素のグループを作成し、該グループ内の各画素に番地を割り当て、該グループを並べて前記撮像素子の有効画素全体を分割することで前記観察画像を分割することであり、
前記画像処理装置は、
複数の記憶領域を有し、各領域に格納可能な画素数が多くとも前記第2の解像度の画素数と同数である第1の記憶手段と、
前記観察画像の画像信号を前記番地別に前記第1の記憶手段に格納する第1の画像信号格納手段と、
前記第1の記憶手段に格納された画像信号を前記デジタルデータの連続する複数のフレームに順次書き込む画像信号書き込み手段と、を有し、
前記受信装置は、
記憶領域の数が少なくとも前記第1の記憶手段と同数であり、各領域に格納可能な画素数が少なくとも前記第2の解像度の画素数と同数である第2の記憶手段、を有する、
ことを特徴とする請求項1に記載の電子内視鏡システム。 The predetermined rule is:
A group of pixels of p × q (p and q are natural numbers; p × q ≧ 2) that does not exceed the number of frames in one frame is created, an address is assigned to each pixel in the group, and the groups are arranged. Dividing the observation image by dividing the entire effective pixel of the image sensor;
The image processing apparatus includes:
First storage means having a plurality of storage areas, wherein the number of pixels that can be stored in each area is at most equal to the number of pixels of the second resolution;
First image signal storage means for storing the image signal of the observation image in the first storage means for each address;
Image signal writing means for sequentially writing image signals stored in the first storage means into a plurality of consecutive frames of the digital data;
The receiving device is:
Second storage means having at least the same number of storage areas as that of the first storage means, and having at least the same number of pixels as that of the second resolution.
The electronic endoscope system according to claim 1.
前記撮像素子の画素と前記第1の記憶手段に格納された画像信号と前記番地との対応関係を示す識別信号を生成する識別信号生成手段と、
前記識別信号を前記デジタルデータに書き込む識別信号書き込み手段と、を有し、
前記受信装置は、
前記識別信号に基づいて、前記複数のフレームに書き込まれた画像信号を前記番地別に前記第2の記憶手段に格納する第2の画像信号格納手段と、
前記識別信号に基づいて、前記第2の記憶手段に格納された画像信号を合成して前記観察画像を復元する画像信号合成手段と、を有する、
ことを特徴とする請求項2に記載の電子内視鏡システム。 The image processing apparatus includes:
Identification signal generating means for generating an identification signal indicating a correspondence relationship between the pixel of the image sensor and the image signal stored in the first storage means and the address;
Identification signal writing means for writing the identification signal to the digital data,
The receiving device is:
Second image signal storage means for storing the image signals written in the plurality of frames in the second storage means by the address based on the identification signal;
Image signal combining means for recovering the observation image by combining the image signals stored in the second storage means based on the identification signal,
The electronic endoscope system according to claim 2.
ことを特徴とする請求項3に記載の電子内視鏡システム。 The identification signal is written in the blanking period of the digital data;
The electronic endoscope system according to claim 3.
ことを特徴とする請求項1から請求項4のいずれか1項に記載の電子内視鏡システム。 The image processing apparatus is configured to connect a plurality of types of electronic endoscopes.
The electronic endoscope system according to any one of claims 1 to 4, wherein the electronic endoscope system is characterized in that:
前記第2の解像度はSD(Standard Definition)規格に準拠している、
ことを特徴とする請求項1から請求項5のいずれか1項に記載の電子内視鏡システム。 The first resolution conforms to the HD (High Definition) standard,
The second resolution conforms to the SD (Standard Definition) standard.
The electronic endoscope system according to any one of claims 1 to 5, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009157832A JP2011010880A (en) | 2009-07-02 | 2009-07-02 | Electronic endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009157832A JP2011010880A (en) | 2009-07-02 | 2009-07-02 | Electronic endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011010880A true JP2011010880A (en) | 2011-01-20 |
Family
ID=43590312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009157832A Withdrawn JP2011010880A (en) | 2009-07-02 | 2009-07-02 | Electronic endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011010880A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513446A (en) * | 2020-11-17 | 2022-05-17 | 通快医疗系统两合公司 | Operating room control and communication system |
-
2009
- 2009-07-02 JP JP2009157832A patent/JP2011010880A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513446A (en) * | 2020-11-17 | 2022-05-17 | 通快医疗系统两合公司 | Operating room control and communication system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7821529B2 (en) | Image pickup system | |
JP4435029B2 (en) | Endoscope device | |
CN100508873C (en) | Signal processing device for endoscope | |
JP2004305373A (en) | Electronic endoscope system | |
US10104331B2 (en) | Camera control unit with stereoscopic video recording and archive | |
JP2002271667A (en) | Digital camera suitable for image input in video conference system | |
JP2011010880A (en) | Electronic endoscope system | |
JP2000139833A (en) | Electronic endoscope device | |
JP2002044682A (en) | Electronic endoscope system with electronic endoscope device for outputting digital video signal and decoder for receiving digital video signal | |
JP2011010879A (en) | Electronic endoscope system | |
JP2001157665A (en) | Processor in electronic endoscopic device for outputting digital image signal | |
JP4272857B2 (en) | Image signal processing apparatus and electronic endoscope apparatus including the same | |
JP2011010881A (en) | Electronic endoscope system | |
JP4904082B2 (en) | Electronic endoscope system | |
JP2004159295A (en) | Image processing apparatus and picture imaging apparatus | |
JP2001078174A (en) | Image processor | |
JP2004080565A (en) | Electronic endoscope capable of outputting digital video signal | |
JP2003190087A (en) | Electronic endoscopic equipment | |
JP4493390B2 (en) | Electronic endoscope device | |
JP4360823B2 (en) | Electronic endoscope system | |
JP2007216021A (en) | Endoscopic signal processor | |
JP4554730B2 (en) | Electronic endoscope and electronic endoscope system | |
JP2007174097A (en) | Video image signal processor | |
JP4197925B2 (en) | Electronic endoscope device | |
JPWO2020080118A1 (en) | Transmitter, receiver, transmission system, and transmission method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |