JP2011125617A - Endoscope apparatus - Google Patents
Endoscope apparatus Download PDFInfo
- Publication number
- JP2011125617A JP2011125617A JP2009289265A JP2009289265A JP2011125617A JP 2011125617 A JP2011125617 A JP 2011125617A JP 2009289265 A JP2009289265 A JP 2009289265A JP 2009289265 A JP2009289265 A JP 2009289265A JP 2011125617 A JP2011125617 A JP 2011125617A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame period
- image signal
- pixel
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、照明光を器官内壁などの観察対象に向けて走査させ、観察画像を取得する内視鏡装置に関し、特に、画像の乱れを抑えるための画像処理に関する。 The present invention relates to an endoscope apparatus that scans illumination light toward an observation target such as an inner wall of an organ to acquire an observation image, and particularly relates to image processing for suppressing image disturbance.
内視鏡装置として、スコープ先端部に撮像素子を設ける代わりに、光ファイバ先端部を共振させて照明光を走査させる内視鏡装置(以下、走査型内視鏡装置という)が知られている(例えば、特許文献1参照)。そこでは、走査型光ファイバがスコープ内部に設けられ、ファイバ先端部分が圧電素子によって2次元振動することによって、照明光が螺旋状に走査される。 As an endoscope apparatus, an endoscope apparatus (hereinafter referred to as a scanning endoscope apparatus) that scans illumination light by resonating an optical fiber distal end instead of providing an imaging element at the distal end of a scope is known. (For example, refer to Patent Document 1). In this case, a scanning optical fiber is provided inside the scope, and the tip of the fiber is two-dimensionally vibrated by a piezoelectric element, so that illumination light is scanned in a spiral shape.
ファイバ先端部は、定められたフレームレート(例えば1/30秒間隔)に従って周期的に螺旋運動し、観察対象エリアを照明する。そして、観察対象からの反射光をフォトセンサによって順次受光し、画素信号を時系列的に検出する。検出される一連の画素信号をファイバ先端部の走査位置と対応させることによって、観察画像を得る。 The fiber tip part periodically spirals according to a predetermined frame rate (for example, at an interval of 1/30 seconds) to illuminate the observation target area. Then, the reflected light from the observation target is sequentially received by the photosensor, and the pixel signals are detected in time series. An observation image is obtained by making a series of detected pixel signals correspond to the scanning position of the fiber tip.
一方、CCDなどの撮像素子を備えたビデオスコープを使用する従来型内視鏡装置では、画像のランダムノイズを除去するため、画像の動きがないときには巡回型のノイズリダクション処理を実行する(特許文献2参照)。前回のフレーム期間の画像信号を利用した画像信号が生成されることによって、ノイズが抑えられる。画像に動きがあるときには、ノイズリダクション処理を抑制し、残像効果のない観察画像を表示する。 On the other hand, in a conventional endoscope apparatus using a video scope equipped with an image pickup device such as a CCD, a cyclic noise reduction process is executed when there is no movement of an image in order to remove random noise in the image (Patent Document). 2). Noise is suppressed by generating an image signal using an image signal of the previous frame period. When there is movement in the image, the noise reduction process is suppressed and an observation image without an afterimage effect is displayed.
走査型内視鏡装置の場合、1フレーム走査期間中にスコープ先端部が動き、画面中心部走査期間と周辺部走査期間との間に観察対象エリアが変わってしまうと、得られる1フレーム分の画像は、不連続な画像を繋ぎ合わせた異常な画像となる。破綻した画像がモニタに表示されると、オペレータは突然の乱れた画像に気を捕らわれ、内視鏡作業に支障を来す。 In the case of a scanning endoscope apparatus, if the scope tip moves during one frame scanning period and the observation target area changes between the screen center scanning period and the peripheral scanning period, one frame is obtained. The image is an abnormal image obtained by connecting discontinuous images. When a broken image is displayed on the monitor, the operator is distracted by the suddenly disturbed image, which hinders endoscopic work.
このようなスコープ先端部の動きに基づく画像の乱れは、従来のように画質を優先したノイズリダクション処理で対処することはできず、走査型内視鏡装置において画像の乱れを抑える処理が必要とされる。 Such image disturbance based on the movement of the scope tip cannot be dealt with by noise reduction processing that prioritizes image quality as in the past, and processing that suppresses image disturbance in a scanning endoscope apparatus is required. Is done.
本発明の内視鏡装置は、フレーム周期に従い、光ファイバ先端部から射出される照明光を観察対象に向けて走査させる走査手段と、観察対象からの反射光を受光し、一連の画素信号を出力するフォトセンサと、一連の画素信号に基づいて1フレーム分の画像信号を順次生成する画像処理手段とを備える。走査手段としては、例えば、光ファイバ先端部を駆動し、照明光を螺旋状に走査させる。プロセッサ内のフォトセンサまで反射光をイメージセンサで伝達してもよく、あるいは、スコープ先端部にフォトセンサを設ける構成にすることも可能である。 The endoscope apparatus of the present invention receives scanning light that scans illumination light emitted from an optical fiber tip toward an observation target according to a frame period, receives reflected light from the observation target, and outputs a series of pixel signals. A photosensor for outputting, and image processing means for sequentially generating image signals for one frame based on a series of pixel signals. As the scanning means, for example, the tip of the optical fiber is driven to scan the illumination light in a spiral shape. The reflected light may be transmitted by the image sensor to the photosensor in the processor, or a photosensor may be provided at the distal end of the scope.
さらに本発明の内視鏡装置は、スコープ先端部の動きが所定量以上であるか否かを検出する動き検出手段を備える。ここで、スコープ先端部の動きが所定量以上である状態とは、1フレーム期間走査中にスコープ先端部が動くことによって全体の照射対象領域が一致しない異なるイメージを組み合わせた断続的部分を有する観察画像が得られる状態を示し、オペレータが画像として認識し難い破綻した画像が表示される状態のことをいう。 Furthermore, the endoscope apparatus according to the present invention further includes a motion detection means for detecting whether or not the movement of the scope distal end portion is a predetermined amount or more. Here, the state in which the movement of the scope tip is equal to or greater than a predetermined amount means an observation having an intermittent portion in which different images in which the entire irradiation target area does not match due to the movement of the scope tip during scanning for one frame period are combined. This indicates a state in which an image is obtained, and a state in which a broken image that is difficult for an operator to recognize as an image is displayed.
本発明では、画像処理手段が、スコープ先端部の動きが所定量以上である場合、前フレーム期間の画像信号を用いて現フレーム期間の画像信号を生成する。すなわち、以前のフレーム期間の画像信号をフィードバックさせて現フレーム期間の画像信号を生成する。 In the present invention, the image processing means generates an image signal of the current frame period using the image signal of the previous frame period when the movement of the scope tip is a predetermined amount or more. That is, the image signal of the current frame period is generated by feeding back the image signal of the previous frame period.
例えば、巡回型、あるいは非巡回型フィルタ処理によって画像信号を生成可能であり、所定の割合で前フレーム期間、あるいはそれ以前のフレーム期間の画像情報を現フレームの観察画像に取り入れる。前フレーム期間の画像信号をそのまま現フレーム期間の画送信号として出力することも可能である。 For example, an image signal can be generated by cyclic or non-cyclic filter processing, and image information of the previous frame period or previous frame period is taken into the observation image of the current frame at a predetermined rate. It is also possible to output the image signal of the previous frame period as it is as the image transmission signal of the current frame period.
スコープ先端部が動いたときに前フレーム期間の画像情報を含めると、その先端部の実際の動きに基づく画像の変動が観察画像に現れず、観察画像の動きの変化は小さくなる。その結果、動画像である観察画像から認識される動きは、残像効果により連続的な動きとなって見える。 If the image information of the previous frame period is included when the scope tip moves, the image variation based on the actual movement of the tip does not appear in the observation image, and the change in the movement of the observation image becomes small. As a result, the movement recognized from the observation image that is a moving image appears to be a continuous movement due to the afterimage effect.
一般的に、ブレが多少ある画像に対して前フレーム期間の観察増画像をフィードバックさせると、残像効果によって観察画像の動きがスムーズに見えず、観察しづらくなる。しかしながら、本発明では、断続的画像を表示する程スコープ先端部に大きな動きがある場合、残像効果を逆に利用することによって連続的な観察画像の動きを視認させ、オペレータが内視鏡作業に支障を来すことを防ぐ。 In general, when an observation increase image in the previous frame period is fed back to an image with some blurring, the movement of the observation image does not look smooth due to the afterimage effect, and it is difficult to observe. However, in the present invention, when there is a large movement at the distal end of the scope to display intermittent images, the afterimage effect is used in reverse to make the movement of the continuous observation image visible so that the operator can perform endoscopic work. Preventing trouble.
スコープ先端部の動きを検出する構成としては、前回あるいはそれ以前のフレームの画像信号を再帰させる画像処理を利用することを考え、連続するフレーム間の画像信号の差分を検出すればよい。この場合、動き検出手段は、前フレーム期間の一連の画素信号と現フレーム期間の一連の画素信号との間で差分のある画素を検出し、差分画素の全体画素数に対する割合(以下、差分画素割合という)が閾値以上であるか否かを判断する。画素値の差が許容範囲以上である場合、あるいは画素値がいくらかでも相違する場合、差分が生じていると判断すればよい。また、G成分などの一つの色成分の画素信号に基づいて差分を検出すればよい。 As a configuration for detecting the movement of the distal end of the scope, it is only necessary to detect the difference between the image signals between successive frames in consideration of using image processing that recurs the image signal of the previous or previous frame. In this case, the motion detection means detects pixels having a difference between a series of pixel signals in the previous frame period and a series of pixel signals in the current frame period, and the ratio of the difference pixels to the total number of pixels (hereinafter, difference pixels). It is determined whether or not (the ratio) is equal to or greater than a threshold value. If the difference in pixel values is greater than or equal to the allowable range, or if the pixel values are somewhat different, it may be determined that a difference has occurred. Further, a difference may be detected based on a pixel signal of one color component such as a G component.
閾値に関しては、スコープ先端部の動きによって画像の乱れが生じる範囲を考慮してその値を定めればよい。例えば、画素差分割合が30%以上の時に破断した画像が表示されると判断することも可能である。あくまでも異常な画像状態だけ前フレームの画像信号を再帰させ、残像効果による観察画像の見にくさをなるべく避けるため、画素差分割合の閾値としておよそ50%、60%、あるいは70%以上と定めるのがよい。 Regarding the threshold value, the value may be determined in consideration of the range in which the image is disturbed by the movement of the scope tip. For example, it is possible to determine that a broken image is displayed when the pixel difference ratio is 30% or more. In order to recurse the image signal of the previous frame only in an abnormal image state and avoid the difficulty in viewing the observed image due to the afterimage effect, it is preferable to set the threshold value of the pixel difference ratio to about 50%, 60%, or 70% or more. .
前フレームの画像信号をフィードバックさせる構成としては、連続的な画像の動きを表示させるため、以前の画像情報が蓄積される巡回型フィルタ処理回路を設けるのがよい。画像処理手段は、差分画素割合が閾値以上の場合、前フレーム期間の画像信号と現フレーム期間の画素信号から構成される画像信号とをそれぞれ重み付けして加算することにより、現フレーム期間の画像信号を生成する。 As a configuration for feeding back the image signal of the previous frame, it is preferable to provide a cyclic filter processing circuit in which previous image information is stored in order to display continuous image movement. When the difference pixel ratio is equal to or greater than the threshold, the image processing means weights and adds the image signal of the previous frame period and the image signal composed of the pixel signal of the current frame period, thereby adding the image signal of the current frame period Is generated.
画素差分割合が大きいほど前フレームの画像と現フレームの画像が大きく相違している。そのため、画像処理手段が、差分画素割合が閾値以上のとき、差分画素割合が大きいほど前フレーム期間の画像信号に対する重み付けを相対的に大きくするのが望ましい。特に、前フレームの画像情報を多く取り入れるため、その割合を現フレームの画像信号の割合より大きくするように重み付けするのがよい。 The larger the pixel difference ratio, the larger the difference between the previous frame image and the current frame image. For this reason, when the difference pixel ratio is equal to or larger than the threshold, it is desirable that the image processing unit relatively increases the weighting of the image signal in the previous frame period as the difference pixel ratio is larger. In particular, in order to incorporate a large amount of image information of the previous frame, it is preferable to weight the ratio so as to be larger than the ratio of the image signal of the current frame.
一方、巡回型フィルタ処理はノイズリダクション機能を備える。そのため、スコープ先端部のブレが小さい状況では、積極的に重み付け加算するのがよい。このとき、画像処理手段は、差分画素割合が閾値以下の範囲において(例えば25%以下)、差分画素割合が小さいほど、前フレーム期間の画像信号に対する重み付けを相対的に大きくする。ある程度ブレが大きくなると、観察画像の動きが断続的になって見にくいため、重み付けを抑える。 On the other hand, the cyclic filter processing has a noise reduction function. Therefore, in a situation where the blur at the distal end of the scope is small, it is better to perform weighted addition positively. At this time, the image processing means relatively increases the weighting of the image signal in the previous frame period as the difference pixel ratio is smaller in the range where the difference pixel ratio is equal to or less than the threshold (for example, 25% or less). If blurring increases to some extent, the movement of the observation image becomes intermittent and difficult to see, so weighting is suppressed.
動き検出に関しては、実際にスコープ先端部の動きを検出する構成にしても良い。例えば、動き検出手段は、スコープ先端部の動きを検出する動き検出センサを有し、動きに関連する変位量(例えば加速度)が閾値以上であるか否かを判断する。 Regarding motion detection, a configuration may be adopted in which the motion of the scope tip is actually detected. For example, the motion detection unit includes a motion detection sensor that detects the motion of the distal end portion of the scope, and determines whether or not a displacement amount (for example, acceleration) related to the motion is greater than or equal to a threshold value.
また、重み付け加算処理などを用いず、簡易な画像処理によって画像の乱れを抑えることを考えれば、画像処理手段は、変位量が閾値以上である場合、前フレーム期間の画像信号をそのまま現フレーム期間の画像信号としてもよい。 Further, in consideration of suppressing image disturbance by simple image processing without using weighted addition processing or the like, the image processing means, when the displacement amount is equal to or greater than the threshold value, directly uses the image signal of the previous frame period as it is. It is good also as an image signal.
このように本発明によれば、走査型内視鏡装置において、スコープ先端部に動きが生じても乱れのない観察画像を得ることができる。 As described above, according to the present invention, in the scanning endoscope apparatus, it is possible to obtain an observation image that is not disturbed even if movement occurs in the distal end portion of the scope.
以下では、図面を参照して本実施形態である走査型内視鏡装置について説明する。 Below, the scanning endoscope apparatus which is this embodiment is demonstrated with reference to drawings.
図1は、第1の実施形態である走査型内視鏡装置のブロック図である。図2は、スコープ先端部の内部構成を概略的に示した図である。図3は、走査パターンを示した図である。 FIG. 1 is a block diagram of a scanning endoscope apparatus according to the first embodiment. FIG. 2 is a diagram schematically showing the internal configuration of the distal end portion of the scope. FIG. 3 is a diagram showing a scanning pattern.
走査型内視鏡装置は、スコープ10とプロセッサ30とを備え、スコープ10の内部には、照明用のシングルモード型光ファイバ(以下、走査型光ファイバという)12と観察対象からの反射光を伝送するイメージファイバ(ここでは図示せず)が設けられている。スコープ10は、プロセッサ30と着脱自在に接続可能であり、プロセッサ30にはモニタ60が接続される。
The scanning endoscope apparatus includes a
プロセッサ30には、R,G,Bの光をそれぞれ発光するレーザー光源20R,20G,20Bが設けられ、レーザードライバ22によってそれぞれ駆動される。レーザー光源20R、20G、20BからR,G,Bが同時発光し、走査型光ファイバ12の接続される結合部23に光が入射する。結合部23は、光学レンズ、ハーフミラー群から構成されており、R,G,Bの光を混合する。R,G,Bの混合した光(白色光)は、走査型光ファイバ12を通ってスコープ先端部10Tから射出し、これによって観察対象が照明される。
The
スコープ先端部10Tには、スコープ先端部10Tから射出される照明光を螺旋状に走査させるスキャナデバイス(以下、SFEスキャナという)16が設けられており、プロセッサ30内のピエゾ駆動回路46から送られてくる駆動信号に基づいて動作する。図2に示すように、SFEスキャナ16は、スコープ先端部10Tのハウジング10H内部に装着されており、走査型光ファイバ12は、チューブ状アクチュエータ18の軸に挿通される形で保持されている。
The
筒状固定部材15によって固定されたアクチュエータ18は、ピエゾ素子によって構成された圧電素子であり、走査型光ファイバ12の先端部12Tを二次元的に共振させる。すなわち、直交する2方向に沿って所定の共振モードでファイバ先端部12Tを共振させる。アクチュエータ18によってカンチレバー状に支持されるファイバ先端部12Tは、その先端面12Sが周期的に螺旋運動するように振動する。ここでは、走査期間(フレーム期間)を1/30秒に定めている。
The
ファイバ先端部12Tの先端面12Sから射出した照明光は、レンズ群19を通って観察部位に到達する。ファイバ先端部12Tが螺旋状に駆動するため、観察対象エリアにおける照明光の軌跡PTは、螺旋状の走査線になる(図3参照)。走査線PTの径方向間隔が密になるように走査することで、観察対象全体が(中心から周囲に向けて順に)照射される。
The illumination light emitted from the
観察対象において反射した光は、ハウジング10Hの周囲に延びているイメージファイバ17に入射し、プロセッサ30へ導かれる。イメージファイバ17を通った反射光は、光学レンズ、ハーフミラー群から構成される色分離部24に入射し(図1参照)、R,G,Bの光に分離される。R,G,Bの光はそれぞれフォトセンサ26R、26G、26Bに入射する。
The light reflected from the observation target is incident on the
フォトセンサ26R、26G、26Bでは、光電変換によってR,G,Bに応じた画素信号が生成される。螺旋走査期間は、所定の時間間隔(ここでは、1/30秒間隔)に定められており、1フレーム分のR,G,B画素信号が照明光走査に合わせて読み出される。
In the
R,G,B画素信号は、A/D変換器28R、28G、28Bにおいてデジタル信号に変換された後、初期回路32へ送られ、R,G,B画素信号毎に信号処理される。初期回路32では、順次送られてくる一連のR,G,Bデジタル画素信号と照明光の走査位置とをマッピング、すなわち対応づけることにより、時系列的に取得される画素信号の画素位置が特定される。これにより、1フレーム分の画素信号が2次元画像データ(ラスタデータ)として生成される。
The R, G, and B pixel signals are converted into digital signals by the A /
マッピングによって得られた2次元画像データは、係数算出回路33、巡回型フィルタ処理回路34へ送られる。巡回型フィルタ処理回路34は、前回のフレーム期間に生成、出力された画像信号と今回のフレーム期間の2次元画像データから構成される画像信号とを重み付けして加算する。FPGAなどによって構成される係数算出回路33は、連続する2フレーム期間の画素信号間の差分に基づいて重み付け係数を演算する。
The two-dimensional image data obtained by the mapping is sent to the
巡回型フィルタ処理回路34から順次出力される1フレーム分の画像信号は、画像信号処理回路36に送られる。そこでは、デジタル画素信号に対してホワイトバランス調整などの画像信号処理が施され、映像信号が生成される。映像信号はエンコーダ38を介してモニタ60に送られる。これにより、観察画像がモニタ60に表示される。
The image signals for one frame sequentially output from the recursive
CPU、ROM、RAMを含むシステムコントロール回路40は、プロセッサ30の動作を制御し、初期回路32、タイミングコントローラ42、レーザードライバ22など各回路へ制御信号を出力する。タイミングコントローラ42は、同期信号をフォトセンサ26R、26G、26B、レーザードライバ22、初期回路32、巡回型フィルタ処理回路34、スキャナ制御回路44等に出力し、ファイバ先端部12Tの螺旋状運動と発光タイミング、画像処理タイミングを同期させる。
A
図4は、初期回路、巡回型フィルタ処理回路、係数算出回路のブロック図である。 FIG. 4 is a block diagram of an initial circuit, a cyclic filter processing circuit, and a coefficient calculation circuit.
初期回路32は、マッピング回路62、イメージバッファメモリ64、遅延バッファメモリ66を備える。マッピング回路62は、時系列的に入力される一連のR,G,B画素信号を画素位置(アドレス)に対応づける。これにより、各画素信号がイメージバッファメモリ64の特定のアドレスに格納され、ラスタ展開された画素信号がR,G,B成分毎に得られる。遅延バッファメモリ64には、一フレーム分のR,G,B画素信号のうちG成分の画素信号が順次格納される。
The
係数算出回路33は、差分検出器68、二値化回路70、カウンタ72、係数決定回路74を備える。差分検出器68は、所定のフレーム期間の画素信号Gn−1と次のフレーム期間の画素信号Gnとの差分を各画素に対して検出する。二値化回路70は、各画素の差分値が閾値を超えているか否かを判断し、閾値を超えている場合には1を出力し、閾値を超えていない場合には0を出力する。
The
カウンタ72は、二値化回路70から出力される信号に基づき、差分値が閾値以上である画素の数をカウントする。そして、係数決定回路74では、カウント数に基づいて重み付け係数kが決定される。カウント数と重み付け係数とを関連づけたルックアップテーブルのデータがシステムコントロール回路30のメモリにあらかじめ格納されており、ルックアップテーブルに基づいて係数kが決定される。
Based on the signal output from the
巡回型フィルタ処理回路34は、バッファメモリ76、積算器80、82、加算器84を備える。積算器82に入力した現フレーム期間の画像信号に対して重み付け係数(1−k)が乗じられる。一方、バッファメモリ76を介して積算器80に入力する画像信号は、前回のフレーム期間に生成、出力された画像信号であり、画像信号に対して重み付け係数kが乗じられる。
The recursive
加算器84では、それぞれ重み付けされたフィードバック画像信号と新たに生成された画像信号とが合算される。合算することによって生成された1フレーム分の画像信号が画像信号処理回路36等を経てモニタ60へ出力されるとともに、バッファメモリ76に送られる。
In the
図5は、観察時における信号処理のタイミングチャートを示した図である。 FIG. 5 is a timing chart of signal processing during observation.
ファイバ先端部12Tを駆動する駆動信号は、フレームレート(1/30秒)に従って出力される。フレーム期間には、ファイバ先端部12Tを最大振幅位置から中心位置へ戻すためのブレーキ期間が設けられている。イメージング期間において各画素の差分が計算され、イメージング期間終了とともに、前回のフレーム期間の画素信号に対する重み付け係数kが決定される。
A drive signal for driving the
イメージング期間に取得される画素信号が、観察画像を形成する画素信号となってイメージバッファメモリ32に格納される。バッファ出力用クロック信号に基づき、ラスタ展開された画素信号がイメージバッファメモリ32から出力される。モニタ出力用のクロック信号がデジタルビデオ信号のサンプリング周波数に従って出力されており、映像データ更新のクロック信号がモニタ出力用クロック信号に合わせて立ち上がると、それに合わせて画像信号(映像データ)がモニタ60へ出力される。
Pixel signals acquired during the imaging period are stored in the
図6は、画素差分と重み付け係数kとの関係を表すグラフを示した図である。図7は、スコープ先端部の動きに起因する画像の乱れを示した図である。 FIG. 6 is a graph showing a relationship between the pixel difference and the weighting coefficient k. FIG. 7 is a diagram showing image distortion caused by the movement of the distal end portion of the scope.
図6では、横軸を画素差分割合、すなわち連続するフレーム間で閾値(許容値)以上に差のある画素の割合とし、縦軸を重み付け係数kの値としている。画素差分割合が小さい場合、スコープ先端部10Tのブレがほとんどない状態と考えてよく、オペレータは破綻のない安定した観察画像を視認することができる。
In FIG. 6, the horizontal axis represents the pixel difference ratio, that is, the ratio of pixels having a difference equal to or greater than the threshold value (allowable value) between consecutive frames, and the vertical axis represents the value of the weighting coefficient k. When the pixel difference ratio is small, it may be considered that there is almost no blurring of the
一方、画素差分割合がおよそ70%以上である場合、前回のフレーム期間の画像信号と現フレーム期間の画像信号との間に大きな相違が生じている。この2フレーム期間における観察画像の相違は、1フレーム走査期間の途中でスコープ先端部10Tに大きなブレが生じたとき等に発生する。
On the other hand, when the pixel difference ratio is approximately 70% or more, there is a large difference between the image signal of the previous frame period and the image signal of the current frame period. The difference between the observed images in the two frame periods occurs when a large blur occurs in the scope
図7では、1フレーム期間の途中でブレが生じたために断続した画像が表示される様子を示している。中心部に相当する部分画像A1と周辺部に相当する部分画像A2は、スコープ先端部10Tの捉える走査対象領域、すなわち観察対象領域の異なる画像であり、不連続な2つの部分画像A1、A2を繋ぎ合わせた観察画像がモニタ60に表示される。
FIG. 7 shows a state in which an intermittent image is displayed because blurring occurs in the middle of one frame period. A partial image A1 corresponding to the central portion and a partial image A2 corresponding to the peripheral portion are images of different scanning target areas captured by the
本実施形態では、画素差分割合が大きい場合、破綻した画像が表示されると判断する。そして、前フレーム期間に生成された画像信号をフィードバックさせ、現フレーム期間の画像信号とともに重み付けして合算する。そして、前フレーム期間の画像情報が含まれる画像を現フレーム期間の観察画像として表示する。 In this embodiment, when the pixel difference ratio is large, it is determined that a broken image is displayed. Then, the image signal generated in the previous frame period is fed back and weighted together with the image signal in the current frame period. Then, an image including image information of the previous frame period is displayed as an observation image of the current frame period.
ここでは、画素差分割合が70%以上の場合に観察不能な破綻画像の表示状態へ確実に導かれると考え、前フレーム期間の画像信号に対して重み付け係数kを乗じる。画素差分割合が大きいほど係数kの値が大きく、現フレーム期間の画像信号の割合よりも前フレーム期間の画像信号の割合が大きくなるように係数kが定められている。ここでは、重み付け係数kは0.8〜1.0に定められる。 Here, it is considered that when the pixel difference ratio is 70% or more, the display state of the unobservable broken image is surely led, and the image signal of the previous frame period is multiplied by the weighting coefficient k. The coefficient k is determined such that the larger the pixel difference ratio is, the larger the value of the coefficient k is, and the ratio of the image signal in the previous frame period is larger than the ratio of the image signal in the current frame period. Here, the weighting coefficient k is set to 0.8 to 1.0.
上述した巡回型フィルタ処理回路34は、前フレームの画像信号を再帰させる回路であり、前フレームの画像信号がさらにその前のフレームの画像信号を再帰させた画像信号であれば、以前の画像情報を蓄積した観察画像が得られる。そのため、スコープ先端部10Tのブレによって重み付け加算された観察画像信号を生成すると、残像効果によってある程度連続的な動きのある観察画像をオペレータは視認することになる。
The recursive
また、画素差分割合が小さい範囲(0〜25%)においても、重み付け加算処理を行って画像信号を生成する。スコープ先端部10Tの動きがない実質的にない場合、ノイズリダクション機能が作用し、現フレーム画像信号に生じるノイズが抑制されて高画質の観察画像が得られる。しかしながら、ブレが幾分大きくなって画素差分割合が多少大きくなると、観察画像の動きが滑らかな動きにならず、オペレータは観察しにくい。そのため、画素差分割合が大きくなるほど重み付け係数kの値は小さい値に設定される。
Even in a range where the pixel difference ratio is small (0 to 25%), an image signal is generated by performing weighted addition processing. When there is substantially no movement of the scope
図8は、係数算出回路によって実行される係数演算処理を示したフローチャートである。観察動作に従って処理が実行開始される。 FIG. 8 is a flowchart showing a coefficient calculation process executed by the coefficient calculation circuit. Processing is started according to the observation operation.
現フレームと前フレーム期間のG成分の画素信号が画素毎に比較され、差が求められる(S101)。そして、画素値の差が閾値以上である場合、差分のある画素としてカウントされる(S102〜S105)。すべての画素について比較が終了すると(S106)、カウント数、すなわち全体の画素に対して差分のある画素の割合(差分画素割合)がどの程度あるのか判断される(S107)。カウント数が画素差分割合25%以下の範囲に該当する場合、スコープ先端部10Tに大きなブレがなく観察画像は破綻しないと判断し、図6に示した重み付け係数kが定められる(S108)。一方、カウント数が画素差分割合70%以上の範囲に該当する場合、重み付け係数kが図6に示す値に決定される(S110)。
The G component pixel signals of the current frame and the previous frame period are compared for each pixel, and a difference is obtained (S101). And when the difference of a pixel value is more than a threshold value, it counts as a pixel with a difference (S102-S105). When the comparison is completed for all the pixels (S106), it is determined how much the count number, that is, the ratio of pixels having a difference (difference pixel ratio) with respect to all the pixels (S107). If the count number falls within the range of the pixel difference ratio of 25% or less, it is determined that there is no large blurring at the
一方、ステップS109において、カウント数が画素差分割合70%以上の範囲に該当しない、すなわち、画素差分割合が中間範囲にある場合(25%〜70%)、重み付けせずにステップS111へ進み、現フレーム期間の画素信号から構成される画像信号をそのまま出力する。観察作業が終了するまでステップS101〜S111が繰り返し実行される。 On the other hand, in step S109, when the count number does not fall within the range of the pixel difference ratio of 70% or more, that is, when the pixel difference ratio is in the intermediate range (25% to 70%), the process proceeds to step S111 without weighting, An image signal composed of pixel signals in the frame period is output as it is. Steps S101 to S111 are repeatedly executed until the observation work is completed.
このように本実施形態によれば、照明光を螺旋状に走査させる走査型内視鏡装置において、前フレーム期間のG成分の画素信号と現フレーム期間のG成分の画素信号の差分を画素ごとに検出し、差分画素割合が70%以上である場合、不連続の断続した画像が生じるスコープ先端部の動きがあると判断し、前フレーム期間の画像信号と現フレーム期間の画素信号から構成される画像信号とを重み付け合算する。 As described above, according to this embodiment, in the scanning endoscope apparatus that scans illumination light in a spiral manner, the difference between the G component pixel signal in the previous frame period and the G component pixel signal in the current frame period is calculated for each pixel. When the difference pixel ratio is 70% or more, it is determined that there is a movement of the scope tip that causes a discontinuous intermittent image, and it is composed of the image signal of the previous frame period and the pixel signal of the current frame period. And the image signal to be weighted.
以前の画像情報をフィードバックさせた観察画像を表示することによって、観察に支障を来すような破綻画像を表示することを防止し、残像効果により滑らかではなくてもある程度連続的な動きを視認することができる。一方、ブレがほとんど生じない、あるいは多少ぶれる場合に重み付け加算を行うことにより、ノイズリダクション効果によって高画質の観察画像を得ることができる。 By displaying an observation image obtained by feeding back the previous image information, it is possible to prevent the display of a broken image that interferes with the observation, and the afterimage effect allows a certain degree of continuous movement even if it is not smooth. be able to. On the other hand, a high-quality observation image can be obtained by the noise reduction effect by performing weighted addition when there is almost no blurring or some blurring.
連続するフレーム間の画像信号の差分によってスコープ先端部の動きを検出するため、動きを検出する特別なセンサを設ける必要が無く、画像信号を再帰させる巡回型フィルタ処理を活用して動きを検出することができる。また、点順次走査によって画像信号をフレーム周期で取得する構成であるため、画素差分割合が大きいときには画像の乱れが確実に生じる。したがって、画素差分割合を常時検出することでスコープ先端部の動きを検出し、破綻した画像の表示を防ぐことができる。 Because the movement of the scope tip is detected by the difference in the image signal between consecutive frames, there is no need to provide a special sensor to detect the movement, and the movement is detected using a recursive filter process that recursively moves the image signal. be able to. In addition, since the image signal is acquired at the frame period by dot sequential scanning, the image is surely disturbed when the pixel difference ratio is large. Therefore, by constantly detecting the pixel difference ratio, it is possible to detect the movement of the distal end portion of the scope and prevent display of a broken image.
重み付け係数kの値は、図6に示すように段階的に変更するだけでなく、画素差分割合の大きさに比例させてもよい。また、重み付け係数kの値は0.8〜1.0に限定されることなく、重み付け係数kの増加率も任意に設定可能である。ただし、前フレームの画像信号の割合を相対的に大きくするように重み付け係数kを定めるのが望ましい。一方、画素差分割合の閾値を70%以外の値に設定してもよく、ある程度の画像の乱れにも対処するため、例えば閾値を30%に定めてもよい。 The value of the weighting coefficient k is not only changed stepwise as shown in FIG. 6, but may be proportional to the size of the pixel difference ratio. Further, the value of the weighting coefficient k is not limited to 0.8 to 1.0, and the increasing rate of the weighting coefficient k can be arbitrarily set. However, it is desirable to determine the weighting coefficient k so that the ratio of the image signal of the previous frame is relatively large. On the other hand, the threshold value of the pixel difference ratio may be set to a value other than 70%, and the threshold value may be set to 30%, for example, in order to cope with some degree of image disturbance.
重み付け合算処理については、巡回型フィルタ処理に限定されず、非巡回型フィルタ処理でもよい。また、重み付け係数kの演算処理に関しては、システムコントロール回路によるソフトウェア処理で演算を行うように構成してもよい。 The weighted summing process is not limited to the cyclic filter process, and may be a non-cyclic filter process. Further, the calculation processing of the weighting coefficient k may be configured to perform calculation by software processing by the system control circuit.
次に、図9〜11を用いて、第2の実施形態である内視鏡装置について説明する。第2の実施形態では、スコープ先端部の動きをセンサで検出し、スコープ先端部に動きが生じた場合、前フレーム期間の画像信号をそのまま利用する。それ以外の構成については、実質的に第1の実施形態と同じである。 Next, the endoscope apparatus which is 2nd Embodiment is demonstrated using FIGS. In the second embodiment, the movement of the scope tip is detected by a sensor, and when the scope tip moves, the image signal of the previous frame period is used as it is. Other configurations are substantially the same as those in the first embodiment.
図9は、第2の実施形態である内視鏡装置のブロック図である。 FIG. 9 is a block diagram of an endoscope apparatus according to the second embodiment.
初期回路32において順次生成される1フレーム分の画像信号は、画像信号処理回路36’に送られる。画像信号処理回路36’は、生成した1フレーム期間の画像信号を一時的に格納するバッファメモリ(ビデオメモリ)を備える。システムコントロール回路40からの制御信号に基づいて画像信号はモニタ60へ出力される。
The image signals for one frame sequentially generated in the
ビデオスコープ10’の先端部10Tには、加速度センサ56が設けられている。システムコントロール回路40は、加速度センサ56からの信号を検知し、画像信号処理回路36’へ制御信号を出力して画像信号の出力タイミングを調整する。
An
図10は、第2の実施形態における画像処理のタイミングチャートである。 FIG. 10 is a timing chart of image processing in the second embodiment.
加速度センサ56から送られてくる信号によってスコープ先端部10Tの動きが検出されない間、映像データ更新用のクロック信号がデジタルサンプリング周波数に合わせて出力される。これにより、画像信号処理回路36’のバッファメモリに格納された画像信号が出力される。
While the movement of the
加速度センサ56によってスコープ先端部10Tの動きが検出されると、映像データ更新のクロック信号が出力されない。その結果、以前のフレーム期間の画像信号がそのままモニタ60へ出力される。
When the movement of the
図11は、第2の実施形態における画像信号出力のフローチャートである。 FIG. 11 is a flowchart of image signal output in the second embodiment.
モニタ60へ画像信号を出力するためのクロック信号がデジタルサンプリング周波数に従って出力されたことを確認すると(S201)、加速度センサ202から出力される電圧信号のレベルが閾値より低いか否かが判断される(S202)。信号レベルが閾値より低いとスコープ先端部10Tの動きが生じていないとみなし、バッファメモリに格納されていた画像信号がモニタ60へ出力される(S203)。一方、信号レベルが閾値以上である場合、スコープ先端部10Tのブレが生じていると判断し、モニタ60へ出力する画像信号は更新されない。検査終了まで(S204)画像処理が繰り返し実行される。
When it is confirmed that the clock signal for outputting the image signal to the
なお、スコープ先端部の動きを加速度センサ以外のセンサによって検出してもよく、また、第1の実施形態のように画素差分割合を検出してもよい。逆に、第1の実施形態において加速度センサを設ける構成にしてもよい。 Note that the movement of the distal end of the scope may be detected by a sensor other than the acceleration sensor, or the pixel difference ratio may be detected as in the first embodiment. Conversely, an acceleration sensor may be provided in the first embodiment.
第1の実施形態では重み付け加算処理を行っているが、第2の実施形態のように前フレーム期間の画像信号をそのまま表示させてもよい。逆に、第1の実施形態のような重み付け加算を第2の実施形態で実行してもよい。 Although weighted addition processing is performed in the first embodiment, the image signal of the previous frame period may be displayed as it is as in the second embodiment. Conversely, weighted addition as in the first embodiment may be performed in the second embodiment.
10 スコープ
12 走査型光ファイバ
12T ファイバ先端部
16 SFEスキャナ(走査手段)
26R、26G、26B フォトセンサ
30 プロセッサ
32 初期回路 (画像処理手段)
33 計数算出回路 (画像処理手段)
34 巡回型フィルタ処理回路 (画像処理手段)
36、36’ 画像信号処理回路 (画像処理手段)
k 重み付け係数
10
26R, 26G,
33 Count calculation circuit (Image processing means)
34 recursive filter processing circuit (image processing means)
36, 36 'Image signal processing circuit (image processing means)
k Weighting factor
Claims (8)
観察対象からの反射光を受光し、一連の画素信号を出力するフォトセンサと、
前記一連の画素信号に基づいて1フレーム分の画像信号を順次生成する画像処理手段と、
スコープ先端部の動きが所定量以上であるか否かを検出する動き検出手段とを備え、
前記画像処理手段が、前記スコープ先端部の動きが所定量以上である場合、前フレーム期間の画像信号を用いて現フレーム期間の画像信号を生成することを特徴とする内視鏡装置。 Scanning means for scanning the illumination light emitted from the tip of the optical fiber toward the observation object according to the frame period;
A photosensor that receives reflected light from an observation target and outputs a series of pixel signals;
Image processing means for sequentially generating image signals for one frame based on the series of pixel signals;
Movement detecting means for detecting whether or not the movement of the scope tip is a predetermined amount or more,
An endoscope apparatus, wherein the image processing unit generates an image signal of a current frame period using an image signal of a previous frame period when the movement of the distal end portion of the scope is a predetermined amount or more.
The endoscope apparatus according to claim 7, wherein the image processing unit directly uses the image signal of the previous frame period as the image signal of the current frame period when the displacement amount is equal to or greater than the threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289265A JP2011125617A (en) | 2009-12-21 | 2009-12-21 | Endoscope apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289265A JP2011125617A (en) | 2009-12-21 | 2009-12-21 | Endoscope apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011125617A true JP2011125617A (en) | 2011-06-30 |
Family
ID=44288867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009289265A Pending JP2011125617A (en) | 2009-12-21 | 2009-12-21 | Endoscope apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011125617A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014144127A (en) * | 2013-01-29 | 2014-08-14 | Olympus Corp | Endoscope |
WO2015111413A1 (en) | 2014-01-24 | 2015-07-30 | オリンパス株式会社 | Optical fiber connection adapter and endoscope device |
WO2016092909A1 (en) * | 2014-12-12 | 2016-06-16 | オリンパス株式会社 | Scanning endoscope |
WO2016117162A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Optical scanning observation system |
CN106061357A (en) * | 2014-05-28 | 2016-10-26 | 奥林巴斯株式会社 | Optical scan observation device and optical scan observation device operation method |
JP2017147651A (en) * | 2016-02-18 | 2017-08-24 | 東芝メディカルシステムズ株式会社 | Signal processing apparatus and image noise reduction method |
EP3100665A4 (en) * | 2014-01-29 | 2018-01-10 | Olympus Corporation | Scanning endoscopic device and control method therefor |
-
2009
- 2009-12-21 JP JP2009289265A patent/JP2011125617A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014144127A (en) * | 2013-01-29 | 2014-08-14 | Olympus Corp | Endoscope |
WO2015111413A1 (en) | 2014-01-24 | 2015-07-30 | オリンパス株式会社 | Optical fiber connection adapter and endoscope device |
EP3100665A4 (en) * | 2014-01-29 | 2018-01-10 | Olympus Corporation | Scanning endoscopic device and control method therefor |
CN106061357A (en) * | 2014-05-28 | 2016-10-26 | 奥林巴斯株式会社 | Optical scan observation device and optical scan observation device operation method |
WO2016092909A1 (en) * | 2014-12-12 | 2016-06-16 | オリンパス株式会社 | Scanning endoscope |
JP5993537B1 (en) * | 2014-12-12 | 2016-09-14 | オリンパス株式会社 | Scanning endoscope |
WO2016117162A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Optical scanning observation system |
JPWO2016117162A1 (en) * | 2015-01-20 | 2017-04-27 | オリンパス株式会社 | Optical scanning observation system |
JP2017147651A (en) * | 2016-02-18 | 2017-08-24 | 東芝メディカルシステムズ株式会社 | Signal processing apparatus and image noise reduction method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011125617A (en) | Endoscope apparatus | |
JP2010142597A (en) | Endoscope system | |
JP5467756B2 (en) | Endoscope device | |
US11666209B2 (en) | Video endoscopy | |
JP6230333B2 (en) | Image processing apparatus, image processing method, and program | |
JP5523124B2 (en) | Imaging device | |
JP4994422B2 (en) | Detection system, signal processing method of detection system, and smoke detector | |
US20180227476A1 (en) | Endoscope apparatus, method of operating endoscope apparatus, and recording medium | |
JP2008304809A (en) | Imaging device and focus control method | |
US20070195164A1 (en) | Endoscope processor, computer program product, and endoscope system | |
WO2013180147A1 (en) | Endoscope device | |
US20100157038A1 (en) | Endoscope system with scanning function | |
JP6517573B2 (en) | Image processing apparatus and endoscope apparatus | |
JP2010131112A (en) | Endoscope system | |
JP5440245B2 (en) | Imaging device | |
JP2020151090A (en) | Medical light source device and medical observation system | |
JP4064001B2 (en) | camera | |
KR100749096B1 (en) | Video camera having an auto focusing device and auto focusing method using the same | |
JP6231271B2 (en) | Electronic endoscope system | |
CN106937065B (en) | Video display method, system and endoscope device comprising video display system | |
JP2010131110A (en) | Endoscope system | |
JP6053449B2 (en) | microscope | |
JP6482745B2 (en) | Imaging apparatus and endoscope system | |
JP2013255746A (en) | Endoscope apparatus | |
WO2016129010A1 (en) | Scanning endoscope device and method for controlling same |