JP2015225393A - Image emphasis processing system and electronic endoscope system - Google Patents
Image emphasis processing system and electronic endoscope system Download PDFInfo
- Publication number
- JP2015225393A JP2015225393A JP2014108348A JP2014108348A JP2015225393A JP 2015225393 A JP2015225393 A JP 2015225393A JP 2014108348 A JP2014108348 A JP 2014108348A JP 2014108348 A JP2014108348 A JP 2014108348A JP 2015225393 A JP2015225393 A JP 2015225393A
- Authority
- JP
- Japan
- Prior art keywords
- image
- biased
- images
- processing system
- time axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。 The present invention relates to image processing on moving images, and more particularly to image processing of moving images in consideration of motion sharpening that is characteristic of human visual functions.
動画から静止画を作成する際には、動画では見えていたものが静止画にすると見えなくなる現象が発生することがある。このような問題に対して、動画を構成する一連の画像に対し、モーションシャープニング類似のコントラストが得られるように画像処理を施して静止画を作成する方法が提唱されている（特許文献１）。特許文献１では、処理基準画像を中心とする前後複数のフレーム画像から画素毎に画素値の時間軸平均を求め時間軸平均画像を生成している。そして、処理基準画像の時間軸平均画像からの偏差を算出しこれを増幅する。そして、増幅された偏差を時間軸平均画像に加算して強調画像を求めている。 When creating a still image from a moving image, there may occur a phenomenon in which what was visible in the moving image becomes invisible when it is converted into a still image. For such a problem, a method has been proposed in which a still image is created by performing image processing on a series of images constituting a moving image so as to obtain a contrast similar to motion sharpening (Patent Document 1). . In Patent Literature 1, a time axis average of pixel values is obtained for each pixel from a plurality of front and rear frame images centered on a processing reference image, and a time axis average image is generated. Then, the deviation of the processing reference image from the time axis average image is calculated and amplified. Then, the amplified deviation is obtained by adding the amplified deviation to the time axis average image.
特許文献１の画像強調処理でも一定のモーションシャープニング効果は得られるものの、同画像処理は時間軸方向に対称な処理であるため、時間軸方向に非対称である人の知覚に十分に適合しているとは言えない。 Although a certain motion sharpening effect can be obtained even with the image enhancement processing of Patent Document 1, since the image processing is symmetric in the time axis direction, it is sufficiently adapted to human perception that is asymmetric in the time axis direction. I can't say.
本発明は、動画像からモーションシャープニングにより適合する強調画像を得ることを課題としている。 An object of the present invention is to obtain an enhanced image that is suitable for motion sharpening from a moving image.
本発明の画像強調処理システムは、動画を形成する時系列に撮影された複数の画像を記憶する記憶手段と、複数の画像から、時間軸方向の第１時間軸平均画像を生成する平均画像生成手段と、第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む偏倚画像の第１時間軸平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、差分画像を第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む処理基準画像に加算して強調画像を得る強調画像生成手段とを備えることを特徴としている。 The image enhancement processing system of the present invention includes a storage unit that stores a plurality of images taken in time series for forming a moving image, and an average image generation that generates a first time-axis average image in the time-axis direction from the plurality of images. And a difference image generation means for generating a difference image by calculating a deviation from the first time axis average image of a biased image including information biased in one direction with respect to the time axis direction with respect to the first time axis average image. And an enhanced image generating means for obtaining an enhanced image by adding the difference image to a processing reference image including information biased in one direction with respect to the time axis direction with respect to the first time axis average image.
人の知覚により適合させるには、偏倚画像および処理基準画像は、未来側へ偏った情報を含むことが好ましい。処理基準画像は、例えば上記複数の画像の中の１枚の画像である。また処理基準画像は、例えば第１時間軸平均画像の生成に用いられる枚数よりも少ない上記複数の画像から生成される第２時間軸平均画像である。偏倚画像は、例えば上記複数の画像の中の１枚の画像である。また偏倚画像は、例えば第１時間軸平均画像の生成に用いられる枚数よりも少ない上記複数の画像から生成される第２時間軸平均画像である。強調画像生成手段は、差分画像を増幅して処理基準画像に加算することが好ましい。差分画像の増幅は、例えば処理基準画像のオプティカルフローに基づき重み付けられる。処理対象の共通化を図り処理負担軽減するには、偏倚画像と処理基準画像とを同一の画像とすることが好ましい。モーションシャープニングの効果をより高めるには、偏倚画像が複数の画像の中の最新画像であることが好ましい。 In order to make it more suitable for human perception, it is preferable that the biased image and the processing reference image include information biased toward the future side. The processing reference image is, for example, one image among the plurality of images. The processing reference image is, for example, a second time axis average image generated from the plurality of images smaller than the number used for generating the first time axis average image. The bias image is, for example, one image among the plurality of images. The biased image is a second time-axis average image generated from the plurality of images, for example, less than the number used for generating the first time-axis average image. The enhanced image generating means preferably amplifies the difference image and adds it to the processing reference image. The amplification of the difference image is weighted based on the optical flow of the processing reference image, for example. In order to standardize the processing target and reduce the processing load, it is preferable that the biased image and the processing reference image are the same image. In order to further enhance the effect of motion sharpening, the biased image is preferably the latest image among a plurality of images.
本発明の電子内視鏡システムは、上記画像強調処理システムを備えたことを特徴としている。 An electronic endoscope system according to the present invention includes the above-described image enhancement processing system.
本発明によれば、動画像からモーションシャープニングにより適合する強調画像を得ることができる。 According to the present invention, an enhanced image suitable for motion sharpening can be obtained from a moving image.
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態である画像強調処理システムの構成を示すブロック図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image enhancement processing system according to the first embodiment of the present invention.
本実施形態の画像強調処理システムは、例えば電子内視鏡システム１０に搭載される。電子内視鏡システム１０は、主にスコープ本体１１、プロセッサ装置１２、モニタ装置１３から構成される。スコープ本体１１は、体内などに挿入される可撓管からなる挿入部１４と、挿入部１４を操作する操作部１５と、操作部１５とプロセッサ装置１２を接続するユニバーサルコード１６から主に構成される。挿入部１４の先端には撮像素子が設けられ、先端から照射される光を照明として動画像が撮影される。撮像素子で得られた映像は、プロセッサ装置１２へと送られ、各種画像処理を施された後、モニタ装置１３へと出力され表示される。 The image enhancement processing system of this embodiment is mounted on, for example, the electronic endoscope system 10. The electronic endoscope system 10 mainly includes a scope body 11, a processor device 12, and a monitor device 13. The scope main body 11 is mainly composed of an insertion portion 14 made of a flexible tube to be inserted into the body, an operation portion 15 for operating the insertion portion 14, and a universal cord 16 for connecting the operation portion 15 and the processor device 12. The An imaging element is provided at the distal end of the insertion portion 14, and a moving image is taken using light emitted from the distal end as illumination. The video obtained by the image sensor is sent to the processor device 12, subjected to various image processing, and then output to the monitor device 13 for display.
また、プロセッサ装置１２は、映像処理部１７、映像出力部１８、画像メモリ１９、静止画生成部２０、コントローラ２１、外部メモリ２２等を備える。映像処理部１７には、撮像素子から動画像信号が順次入力され、ゲイン補正、ホワイトバランス処理など従来周知の所定の信号処理が施される。デジタル画像信号は、映像処理部１７から画像メモリ１９へと出力され、画像メモリ１９では、フレーム画像（あるいはフィールド画像）を単位に所定のフレーム数（Ｎフレーム）の画像データが順次記録され、同フレーム数を維持しながら順次最新の画像に更新される。 The processor device 12 includes a video processing unit 17, a video output unit 18, an image memory 19, a still image generation unit 20, a controller 21, an external memory 22, and the like. A moving image signal is sequentially input from the image sensor to the video processing unit 17 and is subjected to conventionally known predetermined signal processing such as gain correction and white balance processing. The digital image signal is output from the video processing unit 17 to the image memory 19, and the image memory 19 sequentially records image data of a predetermined number of frames (N frames) in units of frame images (or field images). The latest image is sequentially updated while maintaining the number of frames.
映像処理部１７で処理された動画像信号は、内視鏡観察中の通常の動作環境では、映像出力部１８へ出力される。映像出力部１８では、入力された動画像信号が例えばコンポジット信号や輝度色差信号などの所定規格のアナログ映像信号に変換され、モニタ装置１３へ出力される。すなわち、モニタ装置１３の画面には、撮像素子で撮影される動画像がリアルタイムで表示される。 The moving image signal processed by the video processing unit 17 is output to the video output unit 18 in a normal operating environment during endoscopic observation. In the video output unit 18, the input moving image signal is converted into an analog video signal of a predetermined standard such as a composite signal or a luminance color difference signal, and is output to the monitor device 13. That is, on the screen of the monitor device 13, a moving image captured by the image sensor is displayed in real time.
一方、静止画生成部２０は、例えば操作部１５に設けられた静止画取得ボタン１５Ａの操作に連動して駆動される。この操作がなされたとき、映像出力部１８からモニタ装置１３へ出力される映像信号も映像処理部１７から静止画生成部２０へと一時的に（所定時間）切り替えられる。すなわち静止画取得ボタン１５Ａが操作されると、静止画生成部２０では、画像メモリ１９に記憶された画像データを用いて後述する第１実施形態の静止画生成処理（画像強調処理）が実行されて静止画像が作成され、映像出力部１８を通してモニタ装置１３へ一時的に表示される。また、静止画生成部２０で作成された静止画像データは、必要に応じて、例えばハードディスクやメモリカードなどの不揮発性の外部メモリ２２に記憶され、あるいはプリンタ（図示せず）などで印刷される。 On the other hand, the still image generation unit 20 is driven in conjunction with an operation of a still image acquisition button 15A provided in the operation unit 15, for example. When this operation is performed, the video signal output from the video output unit 18 to the monitor device 13 is also temporarily switched (predetermined time) from the video processing unit 17 to the still image generation unit 20. That is, when the still image acquisition button 15 </ b> A is operated, the still image generation unit 20 executes a still image generation process (image enhancement process) of a first embodiment described later using image data stored in the image memory 19. A still image is created and displayed on the monitor device 13 through the video output unit 18 temporarily. Still image data created by the still image generation unit 20 is stored in a non-volatile external memory 22 such as a hard disk or a memory card, for example, or printed by a printer (not shown) as necessary. .
コントローラ２１は、プロセッサ装置１２全体の処理を制御する回路であり、静止画取得ボタン１５Ａの操作に対応する映像出力部１８における出力信号の切替えもコントローラ２１によって制御される。 The controller 21 is a circuit that controls processing of the entire processor device 12, and switching of the output signal in the video output unit 18 corresponding to the operation of the still image acquisition button 15 </ b> A is also controlled by the controller 21.
図２は、静止画生成部２０における静止画生成の手順を模式的に説明する図である。図２に示されるように、第１実施形態では、画像メモリ１９に記憶されたＮフレーム分（図２では３枚、つまりＮ＝３）の画像データの平均を取り、第１時間軸平均画像ｆav1を作成する。そして、画像メモリ１９に記憶されたＮフレームの中の最新のフレーム画像ｆを偏倚画像とし、偏倚画像ｆから第１時間軸平均画像ｆav1を引いた差分画像ｆde1（＝ｆ−ｆav1）を求める。最後に差分画像ｆde1をα倍し、処理基準画像に加算して、モーションシャープニングの視覚効果が強調された静止画像（強調画像）ｆ1’を生成する（ｆ1’＝ｆ＋α・ｆde1）。なお、処理基準画像とは、強調処理を施す対象となる画像のことであり、本実施形態では強調効果をより端的に奏するべく最新のフレーム画像ｆを選択している。 FIG. 2 is a diagram schematically illustrating a procedure for generating a still image in the still image generating unit 20. As shown in FIG. 2, in the first embodiment, the average of the image data for N frames (three images in FIG. 2, that is, N = 3) stored in the image memory 19 is averaged, and the first time-axis average image is obtained. f Create av1 . Then, the latest frame image f in the N frames stored in the image memory 19 is set as a biased image, and a difference image f de1 (= f−f av1 ) obtained by subtracting the first time-axis average image f av1 from the biased image f. Ask for. Finally, the difference image f de1 is multiplied by α and added to the processing reference image to generate a still image (enhanced image) f 1 ′ in which the visual effect of motion sharpening is enhanced (f 1 ′ = f + α · f de1 ). The processing reference image is an image to be subjected to enhancement processing, and in the present embodiment, the latest frame image f is selected in order to achieve the enhancement effect more simply.
ここで、偏倚画像に最新画像を使う利点は、図４を参照して後述する人の知覚に合致した自然なモーションシャープニングが得られることである。また最新画像を偏倚画像とともに処理基準画像とすることは、処理負担の軽減の観点からも有利であり、偏倚画像と処理基準画像に異なる画像を使うと生じる恐れのある画像ブレの防止にも効果がある。また、偏倚画像として過去に偏った情報を使用することも可能であるが、その場合人の知覚に合致しない強調が行われることとなる。 Here, an advantage of using the latest image as the biased image is that natural motion sharpening that matches human perception described later with reference to FIG. 4 can be obtained. In addition, using the latest image as the processing reference image together with the biased image is advantageous from the viewpoint of reducing the processing load, and is also effective in preventing image blurring that may occur if different images are used for the biased image and the processing reference image. There is. In addition, information biased in the past can be used as a biased image, but in this case, emphasis that does not match human perception is performed.
なお、上記計算は、例えば画素毎（例えばＲＧＢ毎）に行われる。ここで上記計算対象としては、フレーム間で同じ画面上の位置に対応する画像データであれば、加工された画像データ（例えば輝度値など）を対象としてもよい。また、ここで倍率αは一定値でもよいが、例えばオプティカルフローなどから、各画素での動きを評価し、動きの大きい画素（例えばオプティカルフローの絶対値や、発散が大きい画素）ほど小さな値を与えることにより、より人の視覚機能に対して自然な知覚を促す強調処理を施すことができる。 The above calculation is performed for each pixel (for example, for each RGB). Here, the calculation target may be processed image data (for example, a luminance value) as long as it is image data corresponding to a position on the same screen between frames. Here, the magnification α may be a constant value, but the movement at each pixel is evaluated from, for example, an optical flow. As a result, emphasis processing that promotes natural perception of human visual functions can be performed.
次に図３を参照して、第１実施形態の静止画生成処理（画像強調処理）の作用および効果について説明する。図３（ａ）〜（ｃ）において、横軸は画像の水平方向に対応し、縦軸は画素値に対応する。図３（ｂ）、（ｃ）には、図３（ａ）の矩形の画像信号Ｓが横軸に沿って左側から右側へと移動するときの、従来の静止画生成処理における画像信号の強調の様子、および本実施形態の静止画生成処理における画像信号の強調の様子が示される。 Next, operations and effects of the still image generation process (image enhancement process) of the first embodiment will be described with reference to FIG. 3A to 3C, the horizontal axis corresponds to the horizontal direction of the image, and the vertical axis corresponds to the pixel value. FIGS. 3B and 3C show image signal enhancement in conventional still image generation processing when the rectangular image signal S of FIG. 3A moves from the left side to the right side along the horizontal axis. And a state of image signal enhancement in the still image generation processing of the present embodiment.
従来の手法では、時系列にメモリに記録された画像群の中央の画像を処理基準画像とし、処理基準画像の時間軸平均画像からの偏差（つまり、差分画像）を時間軸平均画像に加算して強調画像を求めている。そのため図３（ｂ）に示されるように、画像信号は移動する画像信号Ｓ（図３（ａ））の進行方向における前側（右側）のエッジＬＥおよび後側（左側）のエッジＴＥに対応する位置で、共に同じように強調され、強調画像信号Ｓ’は、左右対称になる。すなわち、画像信号Ｓ’は、両エッジＬＥ、ＴＥの内側で共にオーバーシュートＰｏし、外側で共にアンダーシュートＰｕする。 In the conventional method, the central image of the group of images recorded in the memory in time series is used as the processing reference image, and the deviation of the processing reference image from the time axis average image (that is, the difference image) is added to the time axis average image. Looking for enhanced images. Therefore, as shown in FIG. 3B, the image signal corresponds to the front (right) edge LE and the rear (left) edge TE in the traveling direction of the moving image signal S (FIG. 3A). Both are emphasized in the same way at the position, and the enhanced image signal S ′ is symmetrical. That is, the image signal S 'overshoots Po both inside the edges LE and TE, and undershoots Pu both outside.
一方、本実施形態の静止画生成処理（画像強調処理）では、図２で説明した通り、第１時間軸平均画像ｆav1に対して、時系列において未来側に偏倚した最新のフレーム画像を用いて差分画像ｆde1を求めている。そのため、図３（ｂ）において、強調画像信号Ｓ’の前側でアンダーシュートしていた信号成分が、前側のオーバーシュートに加算されるとともに、後側でオーバーシュートしていた信号成分が、後側のアンダーシュートに加算される。そして、第１実施形態の静止画生成処理（画像強調処理）で得られる強調画像信号Ｓ1’では、図３（ｃ）に示されるように、移動する矩形画像信号Ｓの前側（右側）からアンダーシュートが除去され、その分オーバーシュートが増幅され、後側（左側）からオーバーシュートが除去され、その分アンダーシュートが増幅される。 On the other hand, in the still image generation process (image enhancement process) of the present embodiment, as described with reference to FIG. 2, the latest frame image biased toward the future in the time series is used with respect to the first time axis average image f av1 . Thus, the difference image f de1 is obtained. Therefore, in FIG. 3B, the signal component undershooting on the front side of the enhanced image signal S ′ is added to the front overshoot, and the signal component overshooting on the rear side is added to the rear side. Is added to the undershoot. Then, in the enhanced image signal S 1 ′ obtained by the still image generation process (image enhancement process) of the first embodiment, as shown in FIG. 3C, from the front side (right side) of the moving rectangular image signal S. The undershoot is removed, the overshoot is amplified accordingly, the overshoot is removed from the rear side (left side), and the undershoot is amplified accordingly.
次に図４を参照して、図３（ｃ）に示される本実施形態の静止画生成処理（画像強調処理）による視覚効果について説明する。図４は、図３（ｃ）で示された画像強調処理による視覚効果をインパルス応答モデルでシミュレートするときのフィルタモデルの構成を示すグラフである。図４において、横軸は単位インパルス入力時（ｔ０）からの経過時間を、縦軸は刺激値（ゲイン）である。図示されるように、刺激値は単位インパルスの入力から急速に上昇し、僅かに遅れて最大値となり、その後急速に下降してマイナスに振れてから０へと収束する。これは、まさに横軸を上記同様の経過時間、縦軸を応答強度としたときの、人の知覚における視神経のインパルス応答とほぼ一致する。つまり、本実施形態では、従来の画像強調処理では考慮されていなかった人の視覚機能に対応した画像強調を実現していることがわかる。 Next, with reference to FIG. 4, the visual effect by the still image generation process (image enhancement process) of this embodiment shown in FIG. 3C will be described. FIG. 4 is a graph showing a configuration of a filter model when the visual effect by the image enhancement processing shown in FIG. 3C is simulated by an impulse response model. In FIG. 4, the horizontal axis represents the elapsed time from the unit impulse input (t0), and the vertical axis represents the stimulus value (gain). As shown in the figure, the stimulus value rises rapidly from the input of the unit impulse, reaches a maximum value with a slight delay, then falls rapidly, swings to minus, and converges to 0. This is almost the same as the impulse response of the optic nerve in human perception when the horizontal axis is the same elapsed time as described above and the vertical axis is the response intensity. That is, in this embodiment, it can be seen that image enhancement corresponding to the visual function of a person that has not been considered in the conventional image enhancement processing is realized.
次に図５を参照して、第１実施形態の静止画像生成処理(画像強調処理)における時間軸平均の幅（フレーム数Ｎ）、すなわち時間軸方向のフィルタサイズの違いによる効果の違いを説明する。図５（ａ）〜（ｃ）は、それぞれフレーム数Ｎが２フレーム、１０フレーム、２０フレームのときの静止画（強調画像）ｆ1’（上段）と、その信号波形（下段）の図である。なお、下段の信号波形は、（ａ）〜（ｃ）の何れも同一の矩形波形に、第１実施形態の静止画像生成処理（画像強調処理）を施したものに対応し、同処理により何れも右側エッジにオーバーシュート、左側エッジにアンダーシュートが発生している。 Next, with reference to FIG. 5, a difference in effect due to a difference in filter size in the time axis direction in the time axis average width (number of frames N) in the still image generation process (image enhancement process) of the first embodiment will be described. To do. FIGS. 5A to 5C are diagrams of still images (enhanced images) f 1 ′ (upper) and signal waveforms (lower) when the number of frames N is 2, 10 and 20 frames, respectively. is there. Note that the signal waveform in the lower stage corresponds to the same rectangular waveform in any of (a) to (c), and the still image generation process (image enhancement process) of the first embodiment is performed. Also has overshoot on the right edge and undershoot on the left edge.
図５（ａ）〜（ｃ）の上段は、何れも、左側から右側に正方形の動体Ｍが一定の速度で一様な背景の前を移動するときの強調画像である。図５（ａ）〜（ｃ）の下段は、上段の画像において、動体Ｍを横切る横軸（水平画素の列）に沿った画素値の変化を示すグラフである。なお差分画像ｆde1の倍率αは、比較対象を明確にするために全て同じである（例えばα＝１）。図５に示されるように、時間軸平均の幅（フレーム数Ｎ）が大きくなるほど、移動方向前側のエッジが明るく、後側のエッジが暗く強調される。 5A to 5C are all emphasized images when the square moving body M moves from the left side to the right side in front of a uniform background at a constant speed. 5A to 5C are graphs showing changes in pixel values along the horizontal axis (horizontal pixel column) crossing the moving object M in the upper image. Note that the magnification α of the difference image f de1 is all the same in order to clarify the comparison target (for example, α = 1). As shown in FIG. 5, as the time-axis average width (the number of frames N) increases, the edge on the front side in the moving direction becomes brighter and the edge on the rear side becomes darker.
以上のように、第１実施形態の画像強調処理を用いれば、モーションシャープニングの視覚効果をより人の知覚により近い形で反映した静止画像を動画像データから生成することができる。 As described above, by using the image enhancement processing according to the first embodiment, a still image that reflects the visual effect of motion sharpening more closely to human perception can be generated from moving image data.
次に図６を参照して、本発明の第２実施形態の静止画像生成処理（画像強調処理）について説明する。第１実施形態の静止画像生成処理(画像強調処理)では、最新フレーム画像ｆを偏倚画像とし、同画像の第１時間軸平均画像ｆav1からの偏差を差分画像ｆde1とした。これに対して第２実施形態の静止画像生成処理（画像強調処理）では、第２時間軸平均画像ｆav2を偏倚画像とし、この偏倚画像の第１時間軸平均画像ｆav1からの偏差を差分画像ｆde2とする。そして第２時間軸平均画像ｆav2を処理基準画像として、差分画像ｆde2のα倍を加算することで強調画像を生成する。なお、その他の構成は第１実施形態と同様であり、その説明を省略する。 Next, a still image generation process (image enhancement process) according to the second embodiment of the present invention will be described with reference to FIG. In the still image generation process (image enhancement process) of the first embodiment, the latest frame image f is a biased image, and the deviation of the image from the first time-axis average image f av1 is a difference image f de1 . On the other hand, in the still image generation processing (image enhancement processing) of the second embodiment, the second time-axis average image f av2 is used as a biased image, and the deviation of this biased image from the first time-axis average image f av1 is a difference. Let it be an image f de2 . Then, using the second time axis average image f av2 as a processing reference image, an enhanced image is generated by adding α times the difference image f de2 . Other configurations are the same as those of the first embodiment, and the description thereof is omitted.
例えば第２時間軸平均画像ｆav2としては、画像メモリ１９に記憶されたＮフレームの画像のうち、最新の画像からＮ１フレーム（Ｎ１＜Ｎ）分の画像の平均を用いる。また、第１時間軸平均画像ｆav1としては、例えばＮフレーム全ての画像の平均を用いる。図示例では最新の画像から２フレーム分の画像の平均を第２時間軸平均画像ｆav2とし、最新の画像から３フレーム分の画像の平均を第１時間軸平均画像ｆav1としている。すなわち、差分画像ｆde2は、第１時間軸平均画像ｆav1からの第２時間軸平均画像ｆav2の偏差（ｆav2−ｆav1）により算出され、第２実施形態の強調画像ｆ2’は、ｆ2’＝ｆav2＋α・ｆde2として求められる。 For example, as the second time-axis average image f av2 , an average of N1 frames (N1 <N) of images from the latest image among N frames stored in the image memory 19 is used. Further, as the first time axis average image f av1 , for example, the average of all N frames is used. In the illustrated example, the average of two frames from the latest image is the second time axis average image f av2, and the average of three frames from the latest image is the first time axis average image f av1 . That is, the difference image f de2 is calculated by the deviation (f av2 −f av1 ) of the second time axis average image f av2 from the first time axis average image f av1 , and the enhanced image f 2 ′ of the second embodiment is , F 2 ′ = f av2 + α · f de2 .
以上のように、第２実施形態の静止画像生成処理（画像強調処理）において、第１実施形態と略同様の効果を得ることができる。特に本実施形態の場合、画像強調処理を行うにあたり、第１実施形態とは異なり二種の平均画像を使用する。従って、単一の偏倚画像を用いる第１実施形態よりも生成される静止画像におけるノイズ除去効果が高いという利点を有する。この点については図８を用いて後述する。なお、第１実施形態は、Ｎ１＝１としたときに対応する。 As described above, in the still image generation process (image enhancement process) of the second embodiment, substantially the same effect as that of the first embodiment can be obtained. In particular, in the case of the present embodiment, two types of average images are used in performing image enhancement processing, unlike the first embodiment. Therefore, there is an advantage that the noise removal effect in the still image generated is higher than that in the first embodiment using a single biased image. This will be described later with reference to FIG. The first embodiment corresponds to the case where N1 = 1.
次に、図７を参照して第３実施形態の静止画像生成処理（画像強調処理）について説明する。第３実施形態では、第２実施形態と同様の手法をとりつつも、最新フレーム画像ｆそのものを処理基準画像とする。すなわち第２時間軸平均画像ｆav2から第１時間軸平均画像ｆav1の偏差である差分画像ｆde2のα倍を処理基準画像ｆに加算することで強調画像ｆ3’を生成する。したがって、第１、第２時間軸平均画像ｆav1、ｆav2、差分画像ｆde2は、第２実施形態と同様に算出され、強調画像ｆ3’は、ｆ3’＝ｆ＋α・ｆde2として求められる。なお、その他の構成は第１、２実施形態と同様であり、その説明を省略する。 Next, still image generation processing (image enhancement processing) of the third embodiment will be described with reference to FIG. In the third embodiment, the latest frame image f itself is used as a processing reference image while using the same method as in the second embodiment. That generates an enhanced image f 3 'by adding the α times the difference image f de2 which is a deviation from the second time-axis average image f av2 first time-axis average image f av1 the processing reference image f. Therefore, the first and second time axis average images f av1 and f av2 and the difference image f de2 are calculated in the same manner as in the second embodiment, and the enhanced image f 3 ′ is obtained as f 3 ′ = f + α · f de2. It is done. Other configurations are the same as those in the first and second embodiments, and a description thereof will be omitted.
以上のように、第３実施形態の静止画像生成処理（画像強調処理）においては、第１、２実施形態で得られる効果を重畳した効果を得ることができる。この点については図８を用いて後述する。 As described above, in the still image generation process (image enhancement process) of the third embodiment, an effect obtained by superimposing the effects obtained in the first and second embodiments can be obtained. This will be described later with reference to FIG.
次に図８を参照して、第１〜第３実施形態の静止画像生成処理（画像強調処理）の効果の違いについて説明する。図８は、ノイズが重畳された矩形信号Ｓを画面左側から右側へと水平ラインに沿って移動したときの各実施形態の画像強調処理による出力結果を模式的に示したものである。 Next, with reference to FIG. 8, the difference in effect of the still image generation processing (image enhancement processing) of the first to third embodiments will be described. FIG. 8 schematically shows an output result by the image enhancement processing of each embodiment when the rectangular signal S on which noise is superimposed is moved along the horizontal line from the left side to the right side of the screen.
図８（ａ）は、１ピクセル／秒で左から右へ移動するノイズを含む矩形信号ＳＳを３画面分、時系列に下から上に並べて示したもので、各グラフにおいて縦軸は画素値に対応し、横軸は画像の水平ラインに対応する。また、図８（ｂ）〜（ｄ）は、それぞれ、図８（ａ）に示される３つの画像信号ＳＳから第１〜第３実施形態の画像強調処理（図２、７、８）により生成される強調画像の信号波形を示す図であり、各グラフにおいて縦軸は画素値に対応し、横軸は画像の水平ラインに対応する。 FIG. 8A shows three screens of rectangular signals SS including noise moving from left to right at 1 pixel / second, arranged in chronological order from bottom to top. In each graph, the vertical axis represents the pixel value. The horizontal axis corresponds to the horizontal line of the image. 8B to 8D are respectively generated from the three image signals SS shown in FIG. 8A by the image enhancement processing (FIGS. 2, 7, and 8) of the first to third embodiments. In each graph, the vertical axis corresponds to the pixel value, and the horizontal axis corresponds to the horizontal line of the image.
第１実施形態では、図８（ｂ）に示されるように、信号ＳＳの前側エッジ、後側エッジにおけるオーバーシュート、アンダーシュートが共に他の実施形態よりも際立って大きく強調されていることが分かる。つまり第１実施形態は、より大きな強調効果を得たい場合に有効である。第２実施形態では、図８（ｃ）に示されるように、第１実施形態に比べ両エッジにおける強調は抑えられるもののノイズの増幅を低減することができる。つまり第２実施形態では、ノイズ除去を重視したい場合に有効である。第３実施形態では、両エッジにおける強調を保ちつつ、一定のノイズの低減効果も得られる。つまり第３実施形態では、第１実施形態と第２実施形態の各効果を重畳して享受することができる。 In the first embodiment, as shown in FIG. 8B, it can be seen that overshoot and undershoot at the front edge and the rear edge of the signal SS are both significantly emphasized as compared with the other embodiments. . That is, the first embodiment is effective when it is desired to obtain a greater enhancement effect. In the second embodiment, as shown in FIG. 8C, although the enhancement at both edges can be suppressed as compared with the first embodiment, the amplification of noise can be reduced. In other words, the second embodiment is effective when it is important to remove noise. In the third embodiment, it is possible to obtain a certain noise reduction effect while maintaining emphasis at both edges. That is, in the third embodiment, the effects of the first embodiment and the second embodiment can be enjoyed in a superimposed manner.
なお、第２、第３実施形態において、第１時間軸平均画像ｆav1の算出には、記憶された全ての画像（Ｎフレーム）を用いたが、全てを用いる必要はない。ｆav1は、第２時間軸平均画像ｆav2よりも多くのフレームを含む時間軸平均であればよい。また第２時間軸平均画像ｆav2には、最新のフレームからＮ１（＜Ｎ）フレーム分の画像データを用いたが、本発明の画像強調処理は、時間軸に対し異方性を持っていればよく、例えば最も過去のフレームからＮ１フレーム分の画像データを用いて第２時間軸平均画像ｆav2を作成することも可能である。 In the second and third embodiments, all the stored images (N frames) are used for calculating the first time-axis average image f av1 , but it is not necessary to use all of them. f av1 may be a time axis average including more frames than the second time axis average image f av2 . The second time-axis average image f av2 uses image data for N1 (<N) frames from the latest frame, but the image enhancement processing of the present invention has anisotropy with respect to the time axis. For example, it is possible to create the second time-axis average image f av2 using image data for N1 frames from the oldest frame.
更に、第１、第３実施形態の処理基準画像ｆは、記憶された最新フレーム画像を用いたが、時間軸に対して一定の異方性を与えることができれば、最新フレーム画像である必要はなく、例えば最も過去のフレーム画像を用いることも可能である。 Furthermore, as the processing reference image f of the first and third embodiments, the stored latest frame image is used. However, if a certain degree of anisotropy can be given to the time axis, it is necessary to be the latest frame image. For example, the oldest frame image can be used.
なお第１、第２、第３実施形態では、ともに第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む画像を偏倚画像とし、偏倚画像の第１時間軸平均画像からの差分画像を算出している。そして第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む画像を処理基準画像とし、差分画像を加算することで強調画像を得ている。すなわち第１、第２、第３実施形態は、これらの構成により、時間軸方向に異方性をもたせた強調画像を生成し、モーションシャープニングにより適合した強調画像を得ている。 In the first, second, and third embodiments, an image including information that is biased in one direction with respect to the time axis direction with respect to the first time axis average image is defined as a biased image, and the first time axis average image of the biased image. The difference image from is calculated. Then, an image including information biased in one direction with respect to the first time-axis average image is used as a processing reference image, and an enhanced image is obtained by adding the difference images. That is, in the first, second, and third embodiments, with these configurations, an enhanced image having anisotropy in the time axis direction is generated, and an enhanced image adapted by motion sharpening is obtained.
また、時間軸平均画像の算出に用いられる各画像または処理基準画像に対してアンシャープマスクなどの空間平均を取る処理を施してもよい。空間平均を取る処理を施す場合、各画像または処理基準画像に対して、同処理を同時に施してもよい。なお本実施形態の画像強調処理は、静止画像生成処理に用いられたが、強調画像を随時作成し、動画像を構成するフレーム画像として出力することも可能である。 Further, a process for taking a spatial average such as an unsharp mask may be performed on each image or processing reference image used for calculating the time-axis average image. When performing the process of taking the spatial average, the same process may be performed simultaneously on each image or the process reference image. Note that the image enhancement processing of the present embodiment has been used for still image generation processing, but it is also possible to create an enhancement image at any time and output it as a frame image constituting a moving image.
１０ 電子内視鏡システム
１１ スコープ本体
１２ プロセッサ装置
１３ モニタ装置
１５Ａ 静止画取得ボタン
１７ 映像処理部
１８ 映像出力部
１９ 画像メモリ
２０ 静止画生成部
２１ コントローラ
DESCRIPTION OF SYMBOLS 10 Electronic endoscope system 11 Scope main body 12 Processor apparatus 13 Monitor apparatus 15A Still image acquisition button 17 Video processing part 18 Video output part 19 Image memory 20 Still picture generation part 21 Controller
Claims (11)
前記複数の画像から、時間軸方向の第１時間軸平均画像を生成する平均画像生成手段と、
前記第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む偏倚画像の前記第１時間軸平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、
前記差分画像を前記第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む処理基準画像に加算して強調画像を得る強調画像生成手段と
を備えることを特徴とする画像強調処理システム。 Storage means for storing a plurality of images taken in time series to form a moving image;
Average image generation means for generating a first time axis average image in the time axis direction from the plurality of images;
Difference image generation means for generating a difference image by calculating a deviation from the first time axis average image of a biased image including information biased in one direction with respect to the time axis direction with respect to the first time axis average image;
An enhanced image generating means for obtaining an enhanced image by adding the difference image to a processing reference image including information biased in one direction with respect to the time axis direction with respect to the first time axis average image. Emphasis processing system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014108348A JP2015225393A (en) | 2014-05-26 | 2014-05-26 | Image emphasis processing system and electronic endoscope system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014108348A JP2015225393A (en) | 2014-05-26 | 2014-05-26 | Image emphasis processing system and electronic endoscope system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015225393A true JP2015225393A (en) | 2015-12-14 |
Family
ID=54842112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014108348A Pending JP2015225393A (en) | 2014-05-26 | 2014-05-26 | Image emphasis processing system and electronic endoscope system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015225393A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017187954A (en) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | Image synthesis device, program and data structure |
| KR20240006947A (en) * | 2022-07-07 | 2024-01-16 | 엘지전자 주식회사 | Display device and the control method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039795A (en) * | 2009-08-11 | 2011-02-24 | Hoya Corp | Moving image enhancing system and method |
-
2014
- 2014-05-26 JP JP2014108348A patent/JP2015225393A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011039795A (en) * | 2009-08-11 | 2011-02-24 | Hoya Corp | Moving image enhancing system and method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017187954A (en) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | Image synthesis device, program and data structure |
| KR20240006947A (en) * | 2022-07-07 | 2024-01-16 | 엘지전자 주식회사 | Display device and the control method thereof |
| KR102640670B1 (en) * | 2022-07-07 | 2024-02-27 | 엘지전자 주식회사 | Display device and the control method thereof |
| US12027140B2 (en) | 2022-07-07 | 2024-07-02 | Lg Electronics Inc. | Display device for image quality control and method for controlling display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7552002B2 (en) | Light level adaptive filter and method | |
| JP6198426B2 (en) | Fluorescence observation apparatus and fluorescence observation method | |
| US11025835B2 (en) | Imaging device, endoscope apparatus, and method for operating imaging device | |
| JP6020950B1 (en) | Endoscope system, operation method of endoscope system, and program | |
| US20160065865A1 (en) | Imaging device and imaging system | |
| US9635343B2 (en) | Stereoscopic endoscopic image processing apparatus | |
| WO2016009728A1 (en) | Signal processing device, imaging apparatus, and signal processing method | |
| JP2011097375A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| KR20160135662A (en) | Method and camera for producing an image stabilized video | |
| JP2007050110A (en) | Image processor and electronic endoscope system | |
| US11272092B2 (en) | Imaging device, endoscope apparatus, and operating method of imaging device | |
| JP2007306982A (en) | Endoscope processor, image processing program, and endoscope system | |
| WO2017175452A1 (en) | Image processing device, image pickup device, image processing method, and program | |
| US11356608B2 (en) | System and method to obtain a moving endoscopic image | |
| JP2015225393A (en) | Image emphasis processing system and electronic endoscope system | |
| CN102274037B (en) | Image processing method and radiographic apparatus using the same | |
| JP2012003584A (en) | Moving image emphasis processing system and method | |
| US11010882B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2010276968A (en) | Image display and image display method | |
| JP2020187160A (en) | Image processing method, program, image processing device, image processing system, and microscope system | |
| JP5653082B2 (en) | Moving image enhancement processing system for electronic endoscope and method of operating the same | |
| JP5528122B2 (en) | Endoscope device | |
| JP2011039795A (en) | Moving image enhancing system and method | |
| JP2014094175A (en) | Image processing system for electronic endoscope | |
| JP2011087087A (en) | Apparatus, program and method for processing image signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181218 |