JP2012147044A - Digital microscope - Google Patents

Digital microscope Download PDF

Info

Publication number
JP2012147044A
JP2012147044A JP2011001392A JP2011001392A JP2012147044A JP 2012147044 A JP2012147044 A JP 2012147044A JP 2011001392 A JP2011001392 A JP 2011001392A JP 2011001392 A JP2011001392 A JP 2011001392A JP 2012147044 A JP2012147044 A JP 2012147044A
Authority
JP
Japan
Prior art keywords
image
motion vector
unit
storage unit
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011001392A
Other languages
Japanese (ja)
Inventor
Yasuhiro Komiya
康宏 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011001392A priority Critical patent/JP2012147044A/en
Publication of JP2012147044A publication Critical patent/JP2012147044A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a digital microscope capable of improving image quality even in a short-time photographing and presence of vibration, while suppressing an increase in cost.SOLUTION: A digital microscope 1 includes: an imaging part 11 which generates a captured image of a subject 13; an image shake correction part 20 provided with a motion vector detection part 201 which detects a motion vector of the captured image and with an image correction part 202 which corrects the shake of the captured image by using the motion vector; and an image quality improvement part 30 comprising a moving image storage part 301 which stores the captured image, a motion vector storage part 302 which stores a motion vector corresponding to the captured image stored in the moving image storage part 301, and an image arithmetic operation part 303 which performs image arithmetic operation using the captured image stored in the moving image storage part 301 and the motion vector stored in the motion vector storage part 302. The motion vector storage part 302 stores the motion vector detected by the motion vector detection part 201.

Description

本発明は、デジタル画像入力が可能なデジタル顕微鏡に関するものである。   The present invention relates to a digital microscope capable of inputting a digital image.

従来、病理検査など微小物体の観察では、光学顕微鏡が用いられてきた。光学顕微鏡は、対物レンズ、接眼レンズ、及び被写体を照射するための照明光源などで構成される。また、近年では、CCDやCMOSなどの2次元撮像素子を用いたデジタル顕微鏡の普及が始まっている。特に、接眼レンズを具備せず、モニタだけで観察するデジタル顕微鏡の市場規模が大きくなってきている。   Conventionally, optical microscopes have been used for observation of minute objects such as pathological examinations. The optical microscope includes an objective lens, an eyepiece lens, and an illumination light source for irradiating a subject. In recent years, digital microscopes using a two-dimensional image sensor such as a CCD or CMOS have begun to spread. In particular, the market size of digital microscopes that do not have an eyepiece and are observed only with a monitor is increasing.

デジタル顕微鏡では、一般的に130万〜200万画素程度の撮像素子を用いて、ステージ移動や対物レンズの切り替えを行いながら観察したい注目被写体を探索する「ライブモード」と、注目被写体が決まってから注目被写体の画像を静止して撮像、表示する「静止画モード」とを有する。「ライブモード」では観察すべき注目被写体を短時間で探すため、フレームレートの高い撮像が必要となり、例えば200万画素で15フレーム/秒の撮像を行い、モニタに撮像画像を表示する。一方、「静止画モード」では高画質が求められ、200万画素程度では画像観察において十分な解像度とはいえない。そのため、撮像素子を移動させて画素シフトにより高解像度撮影を行う技法(以下、画像シフト法と称する)が知られている(例えば、特許文献1参照)。この画素シフト法によれば、1000万画素相当の解像度を得ることが可能である。   Digital microscopes generally use an imaging device with about 1.3 million to 2 million pixels, and search for the subject of interest to be observed while moving the stage and switching the objective lens. “Still image mode” for capturing and displaying the image of the subject of interest still. In the “live mode”, in order to find a subject of interest to be observed in a short time, imaging with a high frame rate is required. For example, imaging is performed at 2 million pixels at 15 frames / second and a captured image is displayed on a monitor. On the other hand, the “still image mode” requires high image quality, and about 2 million pixels cannot be said to have a sufficient resolution for image observation. For this reason, a technique (hereinafter referred to as an image shift method) that performs high-resolution imaging by pixel shift by moving the image sensor is known (see, for example, Patent Document 1). According to this pixel shift method, a resolution equivalent to 10 million pixels can be obtained.

ところで、接眼レンズを具備しないデジタル顕微鏡では、観察者はモニタ画面のみを観察することとなる。観察者は顕微鏡をライブモードに設定して、モニタ画面を見ながらステージ移動やフォーカス調整、倍率(対物レンズ)変更などを行うが、ステージ移動などの操作により顕微鏡筐体や顕微鏡を設置してある机などが揺れ、モニタに拡大表示する画像に画像ブレが生じ、非常に見づらい画像となってしまう。このような画像ブレを補正するために、ビデオカメラなどで広く普及している、フレーム毎の画像の位置を検出して表示位置を補正する画像ブレ補正を行うことが可能である。   By the way, in a digital microscope without an eyepiece, an observer observes only a monitor screen. The observer sets the microscope to live mode and moves the stage, adjusts the focus, and changes the magnification (objective lens) while watching the monitor screen. The microscope case and the microscope are installed by operations such as moving the stage. The desk or the like shakes, and the image that is enlarged and displayed on the monitor is blurred, resulting in an image that is very difficult to see. In order to correct such image blur, it is possible to perform image blur correction that detects a position of an image for each frame and corrects a display position, which is widely used in video cameras and the like.

特開2009―128726号公報JP 2009-128726 A

画素シフト法では解像度の高い画像を得ることはできるが、同一被写体に対して4乃至9枚程度の画像が必要であり、画素ピッチ以下の精度でステージ又は撮像素子を移動させて撮影を行う。4枚入力する場合には1/2画素ピッチ、9枚入力する場合には1/3画素ピッチで移動する必要があり、高精度な駆動機構が必要となり、また、動き検出する処理部が新たに必要となるため、コストが増大する。また、駆動そのものに時間がかかるため1枚の静止画の撮影に3〜5秒程度の時間がかかる。また、撮影時間が長いことから、この撮影中に振動などの影響を受けることがあり、想定した移動距離に必ずしも動いていないことがあり、その場合には解像度を向上させることはできない。   With the pixel shift method, an image with high resolution can be obtained, but about 4 to 9 images are required for the same subject, and shooting is performed by moving the stage or the image sensor with an accuracy equal to or less than the pixel pitch. When inputting 4 images, it is necessary to move at a 1/2 pixel pitch, when inputting 9 images, it is necessary to move at a 1/3 pixel pitch, which requires a highly accurate drive mechanism, and a new motion detection processing unit has been added. Therefore, the cost increases. In addition, since it takes time to drive itself, it takes about 3 to 5 seconds to shoot one still image. In addition, since the shooting time is long, it may be affected by vibration during the shooting, and may not always move at the assumed moving distance. In this case, the resolution cannot be improved.

このように画素シフト法では、コストが増大する、撮影に時間がかかる、振動がある場合には必ずしも画質が向上しない、といった課題があった。また、振動を抑えるために筐体などを堅固なものすると、さらにコストが増大するという課題もあった。なお、画素シフト法以外の高解像度化を行う方法としては、対物レンズを高倍率に切り替えて画像を拡大し、複数枚の画像を撮影して、それらの画像を貼り合わせて高解像度な画像を得る方法もあるが、この手法でも高価かつ時間がかかるという同様の課題があった。   As described above, the pixel shift method has a problem that the cost is increased, it takes time to shoot, and the image quality is not necessarily improved when there is vibration. In addition, if the housing or the like is made firm in order to suppress vibration, there is a problem that the cost further increases. In addition, as a method for increasing the resolution other than the pixel shift method, the objective lens is switched to a high magnification to enlarge the image, a plurality of images are taken, and these images are combined to form a high-resolution image. Although there is a method to obtain, there is a similar problem that this method is expensive and time-consuming.

本発明の目的は、上記問題を解決するため、短時間の撮影で、振動がある場合でも画質を向上させることが可能で、且つ、コストの増大を抑えたデジタル顕微鏡を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a digital microscope that can improve the image quality even when there is vibration in short-time shooting, and suppresses an increase in cost, in order to solve the above problems.

画像ブレ補正の機能は近年のデジタル顕微鏡では標準装備されつつある。画像ブレ補正は、フレーム間の画像移動量(動きベクトル)を検出し、検出した動きベクトルに応じて画像表示位置(メモリからの読み出し位置など)を変更することにより、モニタ上での画像の動きを止めている。そこで、画像ブレ補正で検出している動きベクトルを利用して、複数フレームの撮像画像を用いて高画質化処理を行う。   The image blur correction function is becoming standard equipment in recent digital microscopes. Image blur correction detects the amount of image movement (motion vector) between frames, and changes the image display position (reading position from memory, etc.) according to the detected motion vector, thereby moving the image on the monitor. Has stopped. Therefore, image quality enhancement processing is performed using captured images of a plurality of frames using a motion vector detected by image blur correction.

すなわち、上記課題を解決するため、本発明に係るデジタル顕微鏡は、被写体の撮像画像を生成する撮像部と、前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とする。   That is, in order to solve the above-described problem, a digital microscope according to the present invention includes an imaging unit that generates a captured image of a subject, and a motion that detects a motion vector between frames of a plurality of captured images generated by the imaging unit. An image blur correction unit having a vector detection unit and an image correction unit that corrects blur of the captured image using the motion vector, and a moving image storage unit that stores a plurality of frames of captured images generated by the imaging unit A motion vector storage unit that stores motion vectors corresponding to a plurality of frames of captured images stored in the moving image storage unit, and a plurality of frames of captured images and motion vector storage units that are stored in the moving image storage unit. An image quality improvement unit having an image calculation unit for performing image quality improvement processing on the captured image using a stored motion vector, Torr storage unit, and to store the motion vector detected by said motion vector detecting section.

また、本発明に係るデジタル顕微鏡において、前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する。   Further, in the digital microscope according to the present invention, when the image calculation unit starts a still image mode for obtaining a high-quality image, the plurality of frames immediately before the start stored in the moving image storage unit The captured image and the motion vector stored in the motion vector storage unit are acquired.

また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する。   Further, in the digital microscope according to the present invention, the image calculation unit corresponds to the motion vector corresponding from the motion vector storage unit in synchronization with acquiring captured images of sequential frames stored in the moving image storage unit. It is characterized by acquiring.

また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する。   Further, in the digital microscope according to the present invention, the image calculation unit estimates a pixel value between pixels using a captured image of a plurality of frames acquired from the moving image storage unit and a motion vector acquired from the motion vector storage unit. And a super-resolution processing unit for generating a super-resolution image.

また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する。   In the digital microscope according to the present invention, the image calculation unit uses the motion vector acquired from the motion vector storage unit so that the positions of the captured images of a plurality of frames acquired from the moving image storage unit overlap each other. And a noise reduction unit that reduces the noise based on the geometrically corrected image.

本発明によれば、画像ブレ補正部で算出した動きベクトルを用いて高画質化処理を行うため、動き検出のための新たな処理部を必要とせず、コストアップを抑えることができる。   According to the present invention, since the image quality enhancement processing is performed using the motion vector calculated by the image blur correction unit, a new processing unit for motion detection is not required, and an increase in cost can be suppressed.

また、ライブモード中に撮影した複数フレームの撮像画像及び動きベクトルを用いて高画質化処理を行うことにより、高画質化処理後の画像をモニタに表示するまでの時間を短縮することができる。   In addition, by performing the image quality improvement process using the captured images and motion vectors of a plurality of frames taken during the live mode, it is possible to shorten the time until the image after the image quality improvement process is displayed on the monitor.

本発明による第1の実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the image process part of the digital microscope of 1st Embodiment by this invention. 本発明による実施形態のデジタル顕微鏡の外観図である。1 is an external view of a digital microscope according to an embodiment of the present invention. 本発明による第1の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the image process part of the digital microscope of 1st Embodiment by this invention. 本発明による第1の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。It is a figure explaining operation | movement of the image processing part of the digital microscope of 1st Embodiment by this invention. 本発明による第2の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。It is a figure explaining operation | movement of the image processing part of the digital microscope of 2nd Embodiment by this invention. 本発明による第3の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the image process part of the digital microscope of 3rd Embodiment by this invention. 本発明による第3の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。It is a figure explaining operation | movement of the image processing part of the digital microscope of 3rd Embodiment by this invention.

以下、本発明によるデジタル顕微鏡の実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of a digital microscope according to the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
図1は、本発明による実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。画像処理部10は、画像のブレを補正する画像ブレ補正機能と、画像を高画質化する高画質化機能を有し、撮像部11から入力される撮像画像を画像処理してモニタ19に出力する処理部であり、画像ブレ補正部20と、高画質化部30と、静止画像記憶部80とを備える。
(First embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of an image processing unit of a digital microscope according to an embodiment of the present invention. The image processing unit 10 has an image blur correction function for correcting image blur and an image quality enhancement function for improving the image quality. The captured image input from the imaging unit 11 is processed and output to the monitor 19. The image blur correction unit 20, the image quality enhancement unit 30, and the still image storage unit 80.

画像処理部10は、観察者から画像ブレ補正処理を行うように指示された場合には、画像ブレ補正部20により撮像画像のブレを補正し、観察者から高画質化処理を行うように指示された場合には、高画質化部30により撮像画像を高画質化する。   When the image processing unit 10 is instructed by the observer to perform image blur correction processing, the image processing unit 10 corrects the blur of the captured image by the image blur correction unit 20 and instructs the observer to perform image quality improvement processing. If it has been done, the image quality improvement unit 30 improves the image quality of the captured image.

画像ブレ補正部20は、動きベクトル検出部201と、画像補正部202とを備える。動きベクトル検出部201は、撮像部11により生成された複数フレームの撮像画像を連続して取り込み、フレーム間の動きベクトルを検出する。画像補正部202は、撮像部11により生成された複数フレームの撮像画像及び動きベクトル検出部201により検出される動きベクトルを用いて、モニタ19上に表示される画像にブレが生じないように、画像の読み出し位置の制御や、画像の補間演算などによる画像幾何変形を行う。   The image blur correction unit 20 includes a motion vector detection unit 201 and an image correction unit 202. The motion vector detection unit 201 continuously captures a plurality of frames of captured images generated by the imaging unit 11 and detects a motion vector between frames. The image correction unit 202 uses a plurality of frames of captured images generated by the imaging unit 11 and a motion vector detected by the motion vector detection unit 201 so that an image displayed on the monitor 19 does not blur. Image geometric deformation is performed by controlling the image readout position, image interpolation, or the like.

高画質化部30は、動画像記憶部301と、動きベクトル記憶部302と、画像演算部303とを備える。動画像記憶部301は、撮像部11により生成された撮像画像を複数フレーム記憶する。動きベクトル記憶部302は、動画像記憶部301に記憶された複数フレームの撮像画像に対応した動きベクトルを、動きベクトル検出部201から取得して記憶する。画像演算部303は、動画像記憶部301に記憶された複数フレームの撮像画像、及び動きベクトル記憶部302に記憶された動きベクトルを用いて、撮像画像を高画質化処理する。   The image quality improving unit 30 includes a moving image storage unit 301, a motion vector storage unit 302, and an image calculation unit 303. The moving image storage unit 301 stores a plurality of captured images generated by the imaging unit 11. The motion vector storage unit 302 acquires the motion vectors corresponding to the captured images of a plurality of frames stored in the moving image storage unit 301 from the motion vector detection unit 201 and stores them. The image calculation unit 303 uses the captured images of a plurality of frames stored in the moving image storage unit 301 and the motion vectors stored in the motion vector storage unit 302 to perform high quality processing on the captured images.

静止画像記憶部80は、静止画像モード時には、高画質化部30による高画質画像が生成されるまでの間、撮像部11により生成された同一フレームの静止画像を保持する。   In the still image mode, the still image storage unit 80 holds a still image of the same frame generated by the imaging unit 11 until a high quality image is generated by the image quality improving unit 30.

図2は、画像処理部10を備えるデジタル顕微鏡を示す図である。デジタル顕微鏡1は、撮像部11と、対物レンズ12と、ステージ14と、モータ15(X軸用モータ15−1、Y軸用モータ15−2、及びZ軸用モータ15−3)と、エンコーダ16(X軸用エンコーダ16−1、Y軸用エンコーダ16−2、及びZ軸用エンコーダ16−3)と、光源17と、顕微鏡制御部18と、画像処理部10と、モニタ19とを備える。   FIG. 2 is a diagram illustrating a digital microscope including the image processing unit 10. The digital microscope 1 includes an imaging unit 11, an objective lens 12, a stage 14, a motor 15 (an X-axis motor 15-1, a Y-axis motor 15-2, and a Z-axis motor 15-3), and an encoder. 16 (X-axis encoder 16-1, Y-axis encoder 16-2, and Z-axis encoder 16-3), a light source 17, a microscope control unit 18, an image processing unit 10, and a monitor 19. .

撮像部11は、1600×1200画素のRGBベイヤー配列を有するCCDやCMOSなどの撮像素子により、対物レンズ12を介して被写体13を撮像し、被写体13のアナログの画像信号を取得する。そして、アナログの画像信号をデジタル信号に変換した撮像画像を生成する。   The imaging unit 11 captures an image of the subject 13 via the objective lens 12 using an imaging element such as a CCD or CMOS having an RGB Bayer array of 1600 × 1200 pixels, and acquires an analog image signal of the subject 13. Then, a captured image obtained by converting an analog image signal into a digital signal is generated.

ステージ14は、対物レンズ12の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義すると、XYZ方向に移動自在に構成されている。すなわち、ステージ14は、モータ15及びモータ15の駆動を制御する顕微鏡制御部18によってXYZ方向に移動自在である。エンコーダ16は、それぞれモータ15に取り付けられており、モータ15の回転量を検出し、顕微鏡制御部18に出力する。顕微鏡制御部18は、ステージ14を移動させて被写体13の位置を制御し、撮像部11により生成した撮像画像をPCなどで構成される画像処理部10に送出する。被写体13は、ステージ14の上に置かれ、光源17により照射される。モニタ19は、画像処理部10から入力される画像を表示する。   The stage 14 is configured to be movable in the XYZ directions when the optical axis direction of the objective lens 12 is defined as the Z direction and a plane perpendicular to the Z direction is defined as the XY plane. That is, the stage 14 is movable in the XYZ directions by the motor 15 and the microscope control unit 18 that controls the driving of the motor 15. Each encoder 16 is attached to the motor 15, detects the amount of rotation of the motor 15, and outputs it to the microscope control unit 18. The microscope control unit 18 moves the stage 14 to control the position of the subject 13 and sends the captured image generated by the imaging unit 11 to the image processing unit 10 configured with a PC or the like. The subject 13 is placed on the stage 14 and irradiated by the light source 17. The monitor 19 displays an image input from the image processing unit 10.

図3は、上述した画像処理部10のより詳細な構成を示すブロック図である。画像処理部10aは、画像ブレ補正部20と、高画質化部30と、信号処理部40と、画像ブレ補正指示部50と、画像ブレ補正選択部60と、静止画モード指示部70と、静止画像記憶部80と、表示制御部90とを備える。画像ブレ補正部20は、動きベクトル検出部201と、画像補正部202とを備え、画像補正部202は、画像記憶部203と、動きベクトル累積部204と、画像幾何補正部205とを有する。高画質化部30は、動画像記憶部301と、動きベクトル記憶部302と、画像演算部303とを備え、画像演算部303は、超解像処理部304を有する。なお、図3では、信号処理部40は撮像部11から直接撮像画像が入力される構成を図示しているが、図2に示すように、顕微鏡制御部18を介して入力されるようにしてもよいのは勿論である。   FIG. 3 is a block diagram showing a more detailed configuration of the image processing unit 10 described above. The image processing unit 10a includes an image blur correction unit 20, an image quality enhancement unit 30, a signal processing unit 40, an image blur correction instruction unit 50, an image blur correction selection unit 60, a still image mode instruction unit 70, A still image storage unit 80 and a display control unit 90 are provided. The image blur correction unit 20 includes a motion vector detection unit 201 and an image correction unit 202, and the image correction unit 202 includes an image storage unit 203, a motion vector accumulation unit 204, and an image geometric correction unit 205. The image quality improvement unit 30 includes a moving image storage unit 301, a motion vector storage unit 302, and an image calculation unit 303. The image calculation unit 303 includes a super-resolution processing unit 304. In FIG. 3, the signal processing unit 40 shows a configuration in which the captured image is directly input from the imaging unit 11. However, as illustrated in FIG. 2, the signal processing unit 40 is input via the microscope control unit 18. Of course, it is good.

信号処理部40は、オートホワイトバランス、デモザイキング処理、色補正や階調補正などの現像処理を行い、RGB画像やYCC画像を生成し、画像ブレ補正選択部60及び動画像記憶部301に出力する。また、静止画モード指示部70から静止画モードが指示された場合には、生成した画像を静止画像記憶部80に出力する。   The signal processing unit 40 performs development processing such as auto white balance, demosaicing processing, color correction and gradation correction, generates an RGB image and a YCC image, and outputs them to the image blur correction selection unit 60 and the moving image storage unit 301. To do. When the still image mode is instructed from the still image mode instruction unit 70, the generated image is output to the still image storage unit 80.

画像ブレ補正指示部50は、画像ブレ補正機能のオンを検知する。画像ブレ補正機能は、例えば、画像処理インターフェース部(図示せず)のボタンが押下される、あるいは、マウスなどによりモニタ19に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。画像ブレ補正指示部50は、画像ブレ補正機能がオンかオフかを示す信号を信号処理部40に出力する。   The image blur correction instructing unit 50 detects that the image blur correction function is on. The image blur correction function is turned on by, for example, an act of pressing a button of an image processing interface unit (not shown) or clicking a button of application software displayed on the monitor 19 with a mouse or the like. The The image blur correction instructing unit 50 outputs a signal indicating whether the image blur correction function is on or off to the signal processing unit 40.

画像ブレ補正選択部60は、画像ブレ補正機能がオンの場合には、信号処理部40から連続して入力される撮像画像を画像ブレ補正部20に出力し、画像ブレ補正機能がオフの場合には、信号処理部40から入力される信号を表示制御部90に出力する。   When the image blur correction function is on, the image blur correction selection unit 60 outputs captured images continuously input from the signal processing unit 40 to the image blur correction unit 20, and when the image blur correction function is off. The signal input from the signal processing unit 40 is output to the display control unit 90.

動きベクトル検出部201は、連続するフレーム間の撮像画像の動き(移動量)を検出する。動きベクトルは、公知技術であるパターンマッチングや位相相関演算(例えば、特開平7−200832号公報参照)によって検出することがきるため、説明を省略する。動きベクトル検出部201は、検出した動きベクトルを画像補正部202に出力するとともに、高画質化部30にも出力する。   The motion vector detection unit 201 detects the motion (movement amount) of the captured image between successive frames. Since the motion vector can be detected by pattern matching or phase correlation calculation (for example, see Japanese Patent Laid-Open No. 7-200242), which is a known technique, description thereof is omitted. The motion vector detection unit 201 outputs the detected motion vector to the image correction unit 202 and also outputs it to the image quality improvement unit 30.

動きベクトル累積部204は、動きベクトル検出部201により得られた動きベクトルから、画像ブレ補正がオンされたときの画像フレームを基準として累積の動きベクトルを検出し、画像ブレ補正がオンされたときの画像位置に、その後に撮影画像の位置を合わせる。   The motion vector accumulation unit 204 detects a cumulative motion vector from the motion vector obtained by the motion vector detection unit 201 with reference to the image frame when the image blur correction is turned on, and when the image blur correction is turned on. Then, the position of the captured image is adjusted to the image position.

画像幾何補正部205は、動きベクトル累積部204から入力される累積動きベクトルを用いて、画像の幾何補正を行う。特に、工業顕微鏡の場合には、被写体13が回路基板などの局所変形しないものであり、かつ、ステージ14は水平移動するが傾いたりはしないため、画像幾何補正部205は、画像記憶部203に記憶された画像データの読み出し位置を変更する処理を行う。但し、画像のゆれを確実に抑えるために、読み出し位置はサブピクセル精度が必要であり、画像の補間演算を行う。なお、画像幾何補正部205は、動きベクトル累積部204により累積した動きベクトルのノルムが閾値を超えるか否かを判定し、閾値を超えない場合には幾何補正(画像ブレ補正処理)を行い、閾値を超える場合には、被写体13は移動したものとみなし、幾何補正を解除する。   The image geometric correction unit 205 performs geometric correction of the image using the accumulated motion vector input from the motion vector accumulation unit 204. In particular, in the case of an industrial microscope, the subject 13 is not locally deformed, such as a circuit board, and the stage 14 moves horizontally but does not tilt. Therefore, the image geometric correction unit 205 is stored in the image storage unit 203. A process for changing the reading position of the stored image data is performed. However, in order to reliably suppress the image shake, the readout position needs to have sub-pixel accuracy, and an image interpolation operation is performed. The image geometric correction unit 205 determines whether or not the norm of the motion vector accumulated by the motion vector accumulation unit 204 exceeds a threshold value, and performs geometric correction (image blur correction processing) if the threshold value is not exceeded. If the threshold value is exceeded, the subject 13 is considered to have moved and the geometric correction is canceled.

静止画モード指示部70は、ライブモードで観察していた被写体13の静止画モードのオンを検知する。静止画モードは、例えば、画像処理インターフェース部(図示せず)のボタンが押下される、あるいは、マウスなどによりモニタ19に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。静止画モード指示部70は、静止画モードがオンかオフかを示す信号を高画質化部30に出力する。   The still image mode instruction unit 70 detects that the still image mode of the subject 13 observed in the live mode is on. The still image mode is turned on by, for example, an action such as pressing a button of an image processing interface unit (not shown) or clicking a button of application software displayed on the monitor 19 with a mouse or the like. . The still image mode instruction unit 70 outputs a signal indicating whether the still image mode is on or off to the image quality improving unit 30.

動画像記憶部301は、信号処理部40から入力される撮像画像を複数フレーム(例えば、30フレーム)記憶する。   The moving image storage unit 301 stores a plurality of frames (for example, 30 frames) of the captured image input from the signal processing unit 40.

動きベクトル記憶部302は、動画像記憶部301で記憶される撮像画像に対応した動きベクトルを、画像ブレ補正部20の動きベクトル検出部201から取得して記憶する。mフレームの撮像画像が記憶される場合には、m−1個のフレーム間動きベクトルが記憶される。   The motion vector storage unit 302 acquires and stores a motion vector corresponding to the captured image stored in the moving image storage unit 301 from the motion vector detection unit 201 of the image blur correction unit 20. When m frames of captured images are stored, m-1 inter-frame motion vectors are stored.

本実施形態の画像演算部303は、超解像処理部304を有する。超解像処理部304は、静止画モード指示部70から静止画モードが指示されると、動画像記憶部301から取得した複数フレームの撮像画像、及び動きベクトル記憶部302から取得した動きベクトルを用いて、画素間の画素値を推定し、現画像(例えば、1600×1200画素)よりも多くの画素数を有する超解像画像を生成し、静止画記憶部40に記憶する。例えば、30枚の画像フレームを用いての超解像処理を行った場合には、3200×2400画素程度の超解像画像を生成することができる。超解像処理は、例えば、特開2010−110500号公報、特開2008−306651号公報、国際公開第2007/102377号パンフレット等に記載の公知技術により実現することができるので、説明を省略する。   The image calculation unit 303 according to the present embodiment includes a super-resolution processing unit 304. When the still image mode is instructed from the still image mode instruction unit 70, the super-resolution processing unit 304 receives the captured images of a plurality of frames acquired from the moving image storage unit 301 and the motion vector acquired from the motion vector storage unit 302. The pixel value between the pixels is estimated, and a super-resolution image having a larger number of pixels than the current image (for example, 1600 × 1200 pixels) is generated and stored in the still image storage unit 40. For example, when super-resolution processing is performed using 30 image frames, a super-resolution image of about 3200 × 2400 pixels can be generated. The super-resolution processing can be realized by a known technique described in, for example, JP 2010-110500 A, JP 2008-306651 A, International Publication No. 2007/102377 pamphlet, and the description thereof is omitted. .

表示制御部90は、画像ブレ補正選択部60から入力されるライブ画像又は静止画像記憶部80から入力される静止画像を選択して表示する。ライブ画像を表示している場合に、画像ブレ補正機能がオンされたときには、画像ブレ補正部20から入力される画像ブレ補正処理した画像を表示する。また、高画質化部30による高画質化処理が終了すると、静止画像を高画質化処理された画像に切り替えて表示する。なお、静止画像は、画素数や階調数(ビット数)がライブ画像と異なる場合があるため、表示制御部90はモニタ19に合わせた変換処理も行う。   The display control unit 90 selects and displays a live image input from the image blur correction selection unit 60 or a still image input from the still image storage unit 80. When a live image is displayed and the image blur correction function is turned on, an image subjected to image blur correction processing input from the image blur correction unit 20 is displayed. When the image quality enhancement processing by the image quality enhancement unit 30 ends, the still image is switched to the image subjected to the image quality enhancement processing and displayed. In addition, since the number of pixels and the number of gradations (number of bits) may differ from a live image, the display control unit 90 also performs conversion processing in accordance with the monitor 19.

次に、このように構成される画像処理部10の動作について説明する。図4は、画像処理部10の動作を説明する図である。図4(a)は、撮像画像のフレームを概念的に示している。例えば、秒15フレームで順次、画像が入力される。撮像動作に入るとデフォルトでライブモードが選択される。観察者は、ステージ14をXY方向(水平方向)に動かしたり、ピント調整のためにZ方向(垂直方向)に動かしたり、対物レンズ12を変更させたりしながら、被写体13の観察(キズや欠陥検査など)を行う。観察者は、観察したい注目領域が決まったところで、画像ブレ補正をオンにする。すると、図4(b)に示すように、動きベクトル検出部201により、動きベクトルを検出し、画像補正部202により、画像ブレ補正がオンにされた画像を基準として画像ブレ補正を行う。   Next, the operation of the image processing unit 10 configured as described above will be described. FIG. 4 is a diagram for explaining the operation of the image processing unit 10. FIG. 4A conceptually shows a frame of a captured image. For example, images are sequentially input at 15 frames per second. When the imaging operation starts, the live mode is selected by default. The observer moves the stage 14 in the XY direction (horizontal direction), moves it in the Z direction (vertical direction) for focus adjustment, or changes the objective lens 12 to observe the subject 13 (scratches and defects). (Such as inspection). The observer turns on image blur correction when a region of interest to be observed is determined. Then, as shown in FIG. 4B, the motion vector detection unit 201 detects a motion vector, and the image correction unit 202 performs image blur correction on the basis of the image for which image blur correction is turned on.

そして、観察者により静止画モードがオンされると、静止画モード指示部70により静止画モードの指示を出す。すると、図4(b)に示すように、超解像処理部304により、超解像度処理用に複数フレームの画像を入力し、第Nフレームから、N+m−1の合計mフレームの画像を動画像記憶部301に記憶する。この間、図4(c)に示すように、モニタ19には、静止画モードの開始直前に撮像された第Nフレームの撮像画像が表示される。   When the still image mode is turned on by the observer, the still image mode instruction unit 70 issues an instruction for the still image mode. Then, as shown in FIG. 4B, the super-resolution processing unit 304 inputs a plurality of frames of images for super-resolution processing, and images of a total of m frames from Nth frame to N + m−1 are moving images. Store in the storage unit 301. During this time, as shown in FIG. 4C, the monitor 19 displays a captured image of the Nth frame captured immediately before the start of the still image mode.

この後は、これらのフレーム間の動きベクトルも同時に演算され、動きベクトル記憶部302に記憶される。mフレーム分全ての映像入力と動きベクトル演算が完了した後に、超解像処理部304により超解像処理を行い、図4(c)に示すように、超解像処理された画像をモニタ19に表示する。   Thereafter, the motion vectors between these frames are also calculated and stored in the motion vector storage unit 302. After completion of video input and motion vector calculation for all m frames, super-resolution processing is performed by the super-resolution processing unit 304, and the super-resolution processed image is displayed on the monitor 19 as shown in FIG. To display.

このように、第1の実施形態のデジタル顕微鏡1によれば、画像ブレ補正部20の動きベクトル検出部201を用いることにより、超解像処理時の画像入力が完了するとほぼ同時に動きベクトル演算が完了する。新たな動きベクトル演算部を付加すること無しに動きベクトルを得ることができることからコストアップを抑えることができる。
また、超解像の画像入力と対応する動きベクトル検出が同時行われることから、超解像画像の算出にかかる時間を削減することができる。
As described above, according to the digital microscope 1 of the first embodiment, by using the motion vector detection unit 201 of the image blur correction unit 20, the motion vector calculation is performed almost simultaneously with the completion of the image input during the super-resolution processing. Complete. Since a motion vector can be obtained without adding a new motion vector calculation unit, an increase in cost can be suppressed.
In addition, since the motion vector detection corresponding to the super-resolution image input is performed at the same time, the time required to calculate the super-resolution image can be reduced.

また、高画質化処理として超解像処理を行うことにより、解像度を飛躍的に高めることができる。特に、超解像処理を行うことで、顕微鏡の振動を抑えるための堅固な筐体が不要となることから、低コスト化が可能である。また、高倍率の対物レンズを用いなくとも低倍率の対物レンズだけで同等解像度の画像を得ることができるため、コストを大幅に低減することができる。   Further, by performing super-resolution processing as image quality enhancement processing, the resolution can be dramatically increased. In particular, the super-resolution processing eliminates the need for a rigid housing for suppressing the vibration of the microscope, thereby reducing the cost. Further, since an image with the same resolution can be obtained with only a low-magnification objective lens without using a high-magnification objective lens, the cost can be significantly reduced.

(第2の実施形態)
次に、本発明による第2の実施形態のデジタル顕微鏡1について説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。第2の実施形態のデジタル顕微鏡1は、第1の実施形態と構成は同一であるが、超解像処理部304の処理タイミングが相違する。
(Second Embodiment)
Next, a digital microscope 1 according to a second embodiment of the present invention will be described. In addition, the same reference number is attached | subjected to the same component as 1st Embodiment, and description is abbreviate | omitted. The digital microscope 1 of the second embodiment has the same configuration as that of the first embodiment, but the processing timing of the super-resolution processing unit 304 is different.

本実施形態では、画像演算部303は、高画質化処理した画像を得るための静止画モードを開始する際に、動画像記憶部301に記憶された、静止画モードの開始直前の複数フレームの撮像画像、及び動きベクトル記憶部302に記憶された動きベクトルを取得する。また、画像演算部303は、動画像記憶部301に記憶された順次のフレームの撮像画像を取得するのに同期して、動きベクトル記憶部302から対応する動きベクトルを取得する。   In the present embodiment, when starting the still image mode for obtaining an image with high image quality, the image calculation unit 303 stores a plurality of frames stored in the moving image storage unit 301 immediately before the start of the still image mode. The captured image and the motion vector stored in the motion vector storage unit 302 are acquired. In addition, the image calculation unit 303 acquires a corresponding motion vector from the motion vector storage unit 302 in synchronization with acquiring captured images of sequential frames stored in the moving image storage unit 301.

つまり、第1の実施形態では、超解像処理に必要な画像フレーム数m=30とした場合、画像の入力(動きベクトルの検出と同時進行)に約2秒、更に超解像処理に数秒の時間を要するが、本実施形態では画像ブレ補正がオンされた時に同時に超解像画像入力を開始することにより、静止画モードが指示されてからすぐに超解像処理に入ることができる。   That is, in the first embodiment, when the number of image frames m required for the super-resolution processing is m = 30, about 2 seconds are required for image input (simultaneous with the detection of the motion vector), and several seconds are required for the super-resolution processing However, in this embodiment, when the image blur correction is turned on, the super-resolution image input is started at the same time, so that the super-resolution processing can be started immediately after the still image mode is instructed.

図5は、本実施形態の画像処理部10の動作を示す図である。図5(b)に示すように、画像ブレ補正がオンされた時に、超解像処理部304により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、m=30の場合には2秒間のフレーム画像を記憶するようになっているが、常に最新の30枚の画像データを動画像記憶部301に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が5秒であった場合、画像ブレ補正オンから3秒間に撮影された画像は消去され、その後に撮像された30枚の撮像画像を超解像処理のために記憶する。   FIG. 5 is a diagram illustrating the operation of the image processing unit 10 of the present embodiment. As shown in FIG. 5B, when the image blur correction is turned on, the super-resolution processing unit 304 starts inputting a plurality of frames of images for super-resolution processing. For example, when m = 30, a frame image of 2 seconds is stored, but the latest 30 pieces of image data are always stored in the moving image storage unit 301. For example, if the time from image blur correction on to still image mode instruction is 5 seconds, the image shot in 3 seconds after image blur correction is turned on is erased, and the 30 captured images captured thereafter are Store for resolution processing.

観察者により静止画モードがオンされると、静止画モード指示部70により静止画モードの指示を出す。すると、図5(b)に示すように、超解像処理部304により、動画像記憶部301に記憶された最新の30枚の画像データを用いて直ちに超解像処理を行い、図5(c)に示すように、超解像処理された画像をモニタ19に表示する。   When the still image mode is turned on by the observer, the still image mode instruction unit 70 instructs the still image mode. Then, as shown in FIG. 5B, the super-resolution processing unit 304 immediately performs super-resolution processing using the latest 30 pieces of image data stored in the moving image storage unit 301. As shown in c), the super-resolution processed image is displayed on the monitor 19.

第2の実施形態によれば、画像ブレ補正がオンされた時に、超解像処理部304により、超解像度処理用に複数フレームの画像の入力を開始するため、第1の実施形態に比較して、更に高速な超解像処理を行うことができる。   According to the second embodiment, when the image blur correction is turned on, the super-resolution processing unit 304 starts to input a plurality of frames of images for super-resolution processing. Therefore, compared with the first embodiment. Thus, higher-speed super-resolution processing can be performed.

(第3の実施形態)
次に、第3の実施形態のデジタル顕微鏡1について説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
(Third embodiment)
Next, a digital microscope 1 according to the third embodiment will be described. In addition, the same reference number is attached | subjected to the same component as 1st Embodiment, and description is abbreviate | omitted.

図6は、本実施形態の画像処理部の構成を示すブロック図である。本実施形態の画像処理部10bは第1の実施形態の画像処理部10(10a)と比較して、画像演算部303の構成のみ相違する。本実施形態の画像演算部303は、ノイズ低減部305を備え、ノイズ低減部305は、画像幾何補正部306と、画像累積部307とを有する。   FIG. 6 is a block diagram showing the configuration of the image processing unit of this embodiment. The image processing unit 10b of the present embodiment is different from the image processing unit 10 (10a) of the first embodiment only in the configuration of the image calculation unit 303. The image calculation unit 303 of the present embodiment includes a noise reduction unit 305, and the noise reduction unit 305 includes an image geometric correction unit 306 and an image accumulation unit 307.

画像幾何補正部306は、動きベクトル記憶部302から取得した動きベクトルを用いて、動画像記憶部301から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行う。画像累積部307は、複数フレームの撮像画像は、画像幾何補正部306から入力される画像を累積加算して平均化することにより、ノイズが低減されSN比の向上した画像を生成する。累積加算する画像フレーム数は4枚〜16枚程度である。なお、画像幾何補正部306は、画像ブレ補正部20の画像幾何補正部205と同等の機能であり、兼用して用いてもよい。   The image geometric correction unit 306 uses the motion vector acquired from the motion vector storage unit 302 to perform geometric correction so that the positions of the captured images of a plurality of frames acquired from the moving image storage unit 301 overlap each other. The image accumulating unit 307 generates an image with reduced noise and an improved SN ratio by accumulating and averaging the images input from the image geometric correcting unit 306 for the captured images of a plurality of frames. The number of image frames to be cumulatively added is about 4 to 16. Note that the image geometric correction unit 306 has the same function as the image geometric correction unit 205 of the image blur correction unit 20 and may be used in combination.

次に、このように構成される画像処理部10bの動作について説明する。図7は、画像処理部10bの動作を説明する図である。図7(b)に示すように、画像ブレ補正がオンされた時に、ノイズ低減部305により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、m=30の場合には2秒間のフレーム画像を記憶するようになっているが、常に最新の30枚の画像データを動画像記憶部301に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が5秒であった場合、画像ブレ補正オンから3秒間に撮影された画像は消去され、その後に撮像された30枚の撮像画像をノイズ低減処理のために記憶する。   Next, the operation of the image processing unit 10b configured as described above will be described. FIG. 7 is a diagram for explaining the operation of the image processing unit 10b. As shown in FIG. 7B, when image blur correction is turned on, the noise reduction unit 305 starts inputting a plurality of frames of images for super-resolution processing. For example, when m = 30, a frame image of 2 seconds is stored, but the latest 30 pieces of image data are always stored in the moving image storage unit 301. For example, if the time from image blur correction on to still image mode instruction is 5 seconds, images shot in 3 seconds after image blur correction is turned on are erased, and 30 captured images captured thereafter are Store for reduction processing.

観察者により静止画モードがオンされると、静止画モード指示部70により静止画モードの指示を出す。すると、図5(b)に示すように、ノイズ低減部305により、動画像記憶部301に記憶された最新の30枚の画像データを用いて直ちにノイズ低減処理を行い、図5(c)に示すように、ノイズ低減処理された高SN画像をモニタ19に表示する。   When the still image mode is turned on by the observer, the still image mode instruction unit 70 instructs the still image mode. Then, as shown in FIG. 5B, the noise reduction unit 305 immediately performs noise reduction processing using the latest 30 pieces of image data stored in the moving image storage unit 301, and FIG. As shown, a high SN image that has been subjected to noise reduction processing is displayed on the monitor 19.

なお、上記はノイズ低減処理を行う例であるが、画像データをフレームごとに露光を変化させて入力しおくと、これらの複数画像を利用してダイナミックレンジの向上した画像を得ることもできる。この場合には、例えば、露光量を少しつつずらした4枚〜8枚程度の画像を用いる。   Although the above is an example in which noise reduction processing is performed, if image data is input while changing the exposure for each frame, an image with an improved dynamic range can be obtained using these plural images. In this case, for example, about 4 to 8 images with slightly different exposure amounts are used.

第3の実施形態によれば、ノイズを低減し、SN比を向上させることができる。さらに、異なる露光の画像を利用した場合には、ダイナミックレンジを拡大することができる。   According to the third embodiment, noise can be reduced and the SN ratio can be improved. Furthermore, when images with different exposures are used, the dynamic range can be expanded.

上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、第三の実施形態のノイズ低減部305は、第一の実施形態と同様に、静止画モード指示部70により静止画モードの指示が出されてから、ノイズ低減処理用に複数フレームの画像を入力するようにしてもよい。   Each of the above embodiments has been described as a representative example, but it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, as in the first embodiment, the noise reduction unit 305 according to the third embodiment receives a plurality of frames of images for noise reduction processing after the still image mode instruction is issued by the still image mode instruction unit 70. May be input.

1 デジタル顕微鏡
10,10a,10b 画像処理部
11 撮像部
12 対物レンズ
13 被写体
14 ステージ
15(15−1〜15−3) モータ
16(16−1〜16−3) エンコーダ
17 光源
18 顕微鏡制御部
19 モニタ
20 画像ブレ補正部
30 高画質化部
40 信号処理部
50 画像ブレ補正指示部
60 画像ブレ補正選択部
70 静止画モード指示部
80 静止画像記憶部
90 表示制御部
201 動きベクトル検出部
202 画像補正部
203 画像記憶部
204 動きベクトル累積部
205 画像幾何補正部
301 動画像記憶部
302 動きベクトル記憶部
303 画像演算部
304 超解像処理部
305 ノイズ低減部
306 画像幾何補正部
307 画像累積部
DESCRIPTION OF SYMBOLS 1 Digital microscope 10, 10a, 10b Image processing part 11 Imaging part 12 Objective lens 13 Subject 14 Stage 15 (15-1 to 15-3) Motor 16 (16-1 to 16-3) Encoder 17 Light source 18 Microscope control part 19 Monitor 20 Image blur correction unit 30 High image quality improvement unit 40 Signal processing unit 50 Image blur correction instruction unit 60 Image blur correction selection unit 70 Still image mode instruction unit 80 Still image storage unit 90 Display control unit 201 Motion vector detection unit 202 Image correction Unit 203 image storage unit 204 motion vector accumulation unit 205 image geometric correction unit 301 moving image storage unit 302 motion vector storage unit 303 image calculation unit 304 super-resolution processing unit 305 noise reduction unit 306 image geometric correction unit 307 image accumulation unit

Claims (5)

被写体の撮像画像を生成する撮像部と、
前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、
前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、
前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とするデジタル顕微鏡。
An imaging unit that generates a captured image of the subject;
Image blur correction comprising: a motion vector detection unit that detects a motion vector between frames of a plurality of captured images generated by the imaging unit; and an image correction unit that corrects blur of the captured image using the motion vector. And
A moving image storage unit that stores captured images of a plurality of frames generated by the imaging unit, a motion vector storage unit that stores motion vectors corresponding to the captured images of a plurality of frames stored in the moving image storage unit, and the moving image An image quality improvement unit comprising: a plurality of frames of captured images stored in the image storage unit; and an image calculation unit that performs image quality improvement processing on the captured image using the motion vectors stored in the motion vector storage unit. ,
The digital microscope characterized in that the motion vector storage unit stores a motion vector detected by the motion vector detection unit.
前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する、請求項1に記載のデジタル顕微鏡。   When the image calculation unit starts a still image mode for obtaining a high-quality image, the captured image of a plurality of frames immediately before the start stored in the moving image storage unit, and the motion vector storage unit The digital microscope according to claim 1, wherein the motion vector stored in the step is acquired. 前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する、請求項2に記載のデジタル顕微鏡。   The image calculation unit acquires a corresponding motion vector from the motion vector storage unit in synchronization with acquiring captured images of sequential frames stored in the moving image storage unit. 2. The digital microscope according to 2. 前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する、請求項1〜3のいずれか一項に記載のデジタル顕微鏡。   The image calculation unit generates a super-resolution image by estimating pixel values between pixels using a plurality of frames of captured images acquired from the moving image storage unit and a motion vector acquired from the motion vector storage unit. The digital microscope according to claim 1, further comprising an image processing unit. 前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する、請求項1〜3のいずれか一項に記載のデジタル顕微鏡。   The image calculation unit uses the motion vector acquired from the motion vector storage unit to perform geometric correction so that the positions of the captured images of a plurality of frames acquired from the moving image storage unit overlap, and the geometric correction is performed. The digital microscope according to claim 1, further comprising a noise reduction unit that reduces noise based on the obtained image.
JP2011001392A 2011-01-06 2011-01-06 Digital microscope Withdrawn JP2012147044A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011001392A JP2012147044A (en) 2011-01-06 2011-01-06 Digital microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011001392A JP2012147044A (en) 2011-01-06 2011-01-06 Digital microscope

Publications (1)

Publication Number Publication Date
JP2012147044A true JP2012147044A (en) 2012-08-02

Family

ID=46790216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011001392A Withdrawn JP2012147044A (en) 2011-01-06 2011-01-06 Digital microscope

Country Status (1)

Country Link
JP (1) JP2012147044A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127771A (en) * 2013-12-27 2015-07-09 株式会社キーエンス Device, method, and program for magnifying observation, and computer readable recording medium
JP2019096963A (en) * 2017-11-20 2019-06-20 キヤノン株式会社 Imaging apparatus, control method therefor, and control program
JP7418715B2 (en) 2016-09-02 2024-01-22 フェムトニクス・カーエフテー Scanning method along three-dimensional lines and method of scanning region of interest by scanning multiple three-dimensional lines

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127771A (en) * 2013-12-27 2015-07-09 株式会社キーエンス Device, method, and program for magnifying observation, and computer readable recording medium
JP7418715B2 (en) 2016-09-02 2024-01-22 フェムトニクス・カーエフテー Scanning method along three-dimensional lines and method of scanning region of interest by scanning multiple three-dimensional lines
JP2019096963A (en) * 2017-11-20 2019-06-20 キヤノン株式会社 Imaging apparatus, control method therefor, and control program
JP7039262B2 (en) 2017-11-20 2022-03-22 キヤノン株式会社 Imaging device, its control method, and control program

Similar Documents

Publication Publication Date Title
KR101062502B1 (en) Image pickup device having a panning mode for picking up panning images
JP5764740B2 (en) Imaging device
JP5574423B2 (en) Imaging apparatus, display control method, and program
JP5531194B2 (en) Image processing apparatus, image processing method, and image processing program
JP5657235B2 (en) Image capturing apparatus and image capturing method
US20130342734A1 (en) Super-resolution digital zoom
JP2010273245A (en) Image pickup device and deflection correction method
JP2007043637A (en) Image pick-up apparatus, image pick-up program, and image processing program
JP5729237B2 (en) Image processing apparatus, image processing method, and program
JP2013232780A (en) Image pickup device, control method, and program
JP4125331B2 (en) Imaging apparatus and control method thereof
JP4636979B2 (en) Imaging apparatus and control method thereof
JP2010062671A (en) Imaging apparatus, control method thereof, and program
JP2019138982A (en) Endoscope device, endoscope device control method, endoscope device control program and storage medium
JP2012147044A (en) Digital microscope
JP2006284965A (en) Microscope device and enlarged image generating method
JP5424068B2 (en) Image processing apparatus, image processing method, image processing program, and storage medium
JP6223135B2 (en) Imaging apparatus and control method thereof
JP2012244243A (en) Imaging apparatus and method of controlling imaging apparatus
JP5831492B2 (en) Imaging apparatus, display control method, and program
JP2008235958A (en) Imaging apparatus
JP2009027437A (en) Image processor, image processing method and imaging device
JP6547742B2 (en) Imaging control apparatus, imaging apparatus and imaging control method
JP5401696B2 (en) Image processing apparatus, image processing method, and image processing program
JP2013150170A (en) Imaging apparatus and microscope system

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140401