JP2010130408A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2010130408A JP2010130408A JP2008303533A JP2008303533A JP2010130408A JP 2010130408 A JP2010130408 A JP 2010130408A JP 2008303533 A JP2008303533 A JP 2008303533A JP 2008303533 A JP2008303533 A JP 2008303533A JP 2010130408 A JP2010130408 A JP 2010130408A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hdr
- mosaic
- frame
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus capable of displaying a moving image generated by a camera that captures an inspection object on a mosaic image having a wider field of view than the actual field of view of the camera.
視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。 An image mosaic is conventionally known as a technique for creating a single wide-field image having a wider field of view than the actual field of view of the camera by pasting together a plurality of still images taken while changing the field of view. In the case of an imaging apparatus such as a digital microscope that photographs a subject magnified by an objective lens, the field of view can be changed by moving a movable stage on which an inspection target is placed. The wide-field image is called a mosaic image, and is created by connecting a plurality of still images captured while changing the field of view based on the relative positions between the images.
例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。 For example, in the case of a conventional imaging device that includes a sensor that detects the position of the movable stage and automatically captures an imaging range designated by the user, the relative positional relationship between the images is determined from the control information of the movable stage, The still images are joined together. In such an imaging apparatus, once the shooting range is designated and shooting is started, the shooting range cannot be changed midway. Further, since it is necessary to detect the position of the movable stage with high accuracy, there is a problem that the system configuration becomes complicated and the cost is increased.
一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。 On the other hand, there is also an imaging device that determines the relative positional relationship between images by pattern matching between images and performs still image joining. However, there has been no imaging apparatus that can capture a still image and connect it to the mosaic image while allowing the user to confirm the positional relationship between the field of view being photographed and the mosaic image being created on the display.
また、露光時間を異ならせて撮影した複数の静止画像を合成することによって、白とびや黒とびを抑制させたハイダイナミックレンジ（ＨＤＲ）画像を生成する技術が従来から知られている。ＨＤＲ画像は、露光時間が異なる複数の静止画像の画素データとカメラの入出力特性とから各受光素子の実際の入射光量を推定することによって作成され、元の静止画像に比べてダイナミックレンジを拡大させた画像となっている。この様なＨＤＲ画像を用いてモザイク画像を作成すれば、視野が広くて高画質のＨＤＲモザイク画像を得ることができる。 A technique for generating a high dynamic range (HDR) image in which overexposure and overexposure are suppressed by combining a plurality of still images taken with different exposure times has been known. HDR images are created by estimating the actual incident light intensity of each light receiving element from the pixel data of multiple still images with different exposure times and the input / output characteristics of the camera, expanding the dynamic range compared to the original still image. The image is If a mosaic image is created using such an HDR image, a high-quality HDR mosaic image with a wide field of view can be obtained.
そこで、撮影中の視野と作成中のＨＤＲモザイク画像との位置関係をユーザに認識させるために、リアルタイムにＨＤＲ画像を取得して、作成中のＨＤＲモザイク画像上の適切な位置に表示させることが考えられる。ところが、ＨＤＲ画像は、合成される静止画像間で視野に変動があれば、偽像が生じて画質が劣化する。このため、リアルタイムに取得したＨＤＲ画像と作成中のＨＤＲモザイク画像との相対的位置関係をこれらの画像間のパターンマッチングによって判断しようとしても、視野の変動による偽像の影響で位置合わせができないという問題があった。 Therefore, in order for the user to recognize the positional relationship between the field of view being shot and the HDR mosaic image being created, the HDR image is acquired in real time and displayed at an appropriate position on the HDR mosaic image being created. Conceivable. However, in the HDR image, if the field of view varies between the synthesized still images, a false image is generated and the image quality is deteriorated. For this reason, even if an attempt is made to determine the relative positional relationship between the HDR image acquired in real time and the HDR mosaic image being created by pattern matching between these images, the alignment cannot be performed due to the influence of the false image due to the fluctuation of the visual field. There was a problem.
本発明は、上記事情に鑑みてなされたものであり、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識することができる撮像装置を提供することを目的とする。特に、撮影中の動画像を作成中のモザイク画像上の適切な位置に表示させることができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an imaging apparatus capable of easily recognizing the positional relationship between a field of view being shot and a mosaic image being created without complicating the system configuration. The purpose is to do. In particular, it is an object of the present invention to provide an imaging apparatus capable of displaying a moving image being photographed at an appropriate position on a mosaic image being created.
第１の本発明による撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラを用いて２以上の静止画像を取得する静止画像取得手段と、上記２以上の静止画像を合成した合成画像として、上記フレーム画像よりも輝度の分解能の高い高分解能画像及び／又は輝度のダイナミックレンジの広いＨＤＲ画像を生成する合成画像生成手段と、上記合成画像を張り合わせて、上記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記モザイク画像の一部に対応する画像であって、上記フレーム画像と分解能又はダイナミックレンジが略同一の基準画像を保持する基準画像保持手段と、上記フレーム画像及び上記基準画像から特徴量を抽出する特徴量抽出手段と、上記特徴量の比較によって、上記フレーム画像及び上記基準画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備えて構成される。 An imaging apparatus according to a first aspect of the present invention includes a movable stage that can be moved in two different directions while placing an inspection object thereon, and a plurality of continuous stages that are arranged to face the movable stage and photograph the inspection object. As a composite image obtained by synthesizing the two or more still images, a camera that generates a moving image composed of a plurality of frame images, a still image acquisition unit that acquires two or more still images using the camera, and more than the frame image A composite image generating unit that generates a high-resolution image with high luminance resolution and / or an HDR image with a wide dynamic range of luminance and the composite image are combined to generate a mosaic image with a wider field of view than the actual field of view of the camera. A mosaic image generating means and an image corresponding to a part of the mosaic image, wherein the frame image has a resolution or dynamic range; Relative position between the frame image and the reference image by comparing the feature quantity with a reference image holding means for holding the same reference image, a feature quantity extracting means for extracting the feature quantity from the frame image and the reference image, and the feature quantity And a live image display means for updating the display position of the frame image with respect to the mosaic image and displaying the moving image on the mosaic image based on the determination result of the relative position. It is prepared for.
この撮像装置では、フレーム画像及び基準画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定し、その判定結果に基づいてモザイク画像上に動画像を表示するので、撮影中の動画像を作成中のモザイク画像上の適切な位置にライブ画像として表示させることができる。この様な構成によれば、撮影中の動画像が作成中のモザイク画像上の適切な位置にライブ画像として表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながらＨＤＲ画像や高分解能画像を取得してモザイク画像と連結させることができる。また、フレーム画像及び基準画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。 In this imaging apparatus, a relative position between these images is determined by comparing feature amounts extracted from the frame image and the reference image, and a moving image is displayed on the mosaic image based on the determination result. The image can be displayed as a live image at an appropriate position on the mosaic image being created. According to such a configuration, since the moving image being shot is displayed as a live image at an appropriate position on the mosaic image being created, the positional relationship between the field of view being shot and the mosaic image being created is shown to the user. An HDR image or a high-resolution image can be acquired and confirmed and connected to a mosaic image. In addition, since the relative position between these images is determined by comparing the feature amounts extracted from the frame image and the reference image, it is possible to suppress the system configuration from becoming complicated.
第２の本発明による撮像装置は、上記構成に加え、上記静止画像取得手段が、上記２以上の静止画像として露光時間の異なる静止画像を取得し、上記合成画像生成手段が、上記露光時間の異なる２以上の静止画像を合成することによって上記ＨＤＲ画像又は高分解能画像を生成するように構成される。 In addition to the above configuration, the image pickup apparatus according to the second aspect of the invention acquires the still image having different exposure times as the two or more still images, and the composite image generating unit has the exposure time of the exposure time. The HDR image or the high-resolution image is generated by combining two or more different still images.
第３の本発明による撮像装置は、上記構成に加え、上記静止画像取得手段が、上記２以上の静止画像として露光時間が略同一の静止画像を取得し、上記合成画像生成手段が、上記露光時間が略同一の複数の静止画像を合成することによって上記高分解能画像を生成するように構成される。 In the imaging device according to a third aspect of the present invention, in addition to the above configuration, the still image acquisition unit acquires a still image having substantially the same exposure time as the two or more still images, and the composite image generation unit includes the exposure The high-resolution image is generated by combining a plurality of still images having substantially the same time.
第４の本発明による撮像装置は、上記構成に加え、上記カメラの入出力特性に基づいて、上記フレーム画像と略同一の露光時間の上記基準画像を上記モザイク画像から生成する基準画像生成手段を備えて構成される。この様な構成によれば、適切な基準画像を必要に応じて作成させることができるので、ＨＤＲ用の静止画像の取得時にフレーム画像を取り込むものに比べて、データ蓄積量の増大を抑制することができる。 In addition to the above-described configuration, the image pickup apparatus according to a fourth aspect of the present invention includes reference image generation means for generating, from the mosaic image, the reference image having substantially the same exposure time as the frame image based on the input / output characteristics of the camera. It is prepared for. According to such a configuration, an appropriate reference image can be created as necessary, so that an increase in the amount of accumulated data can be suppressed as compared with the case of capturing a frame image when acquiring a still image for HDR. Can do.
第５の本発明による撮像装置は、上記構成に加え、上記基準画像が、上記２以上の静止画像の取得時に取り込まれた上記フレーム画像であるように構成される。この様な構成によれば、ＨＤＲ用の静止画像の取得時に位置合わせ用のフレーム画像を取り込むことによって基準画像が予め作成されるので、モザイク画像から作成するものに比べて、処理負荷の増大を抑制することができる。 In addition to the above-described configuration, the imaging device according to the fifth aspect of the present invention is configured such that the reference image is the frame image captured when the two or more still images are acquired. According to such a configuration, since a reference image is created in advance by capturing a frame image for alignment when acquiring a still image for HDR, the processing load is increased compared to that created from a mosaic image. Can be suppressed.
第６の本発明による撮像装置は、上記構成に加え、上記動画像を構成するフレーム画像を縮小して位置合わせ用フレーム画像を生成し、上記基準画像を縮小して位置合わせ用基準画像を生成する位置合わせ用縮小手段と、上記動画像を構成するフレーム画像を縮小して表示用フレーム画像を生成し、上記モザイク画像を縮小して表示用モザイク画像を生成する表示用縮小手段とを備え、上記特徴量抽出手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像から特徴量を抽出し、上記相対位置判定手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像間の相対位置を判定し、上記ライブ画像表示手段が、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像をライブ画像として表示し、上記モザイク画像生成手段が、上記位置合わせ用基準画像よりも高い解像度で上記ＨＤＲ画像及び上記モザイク画像間の相対位置を推定して当該ＨＤＲ画像を当該モザイク画像に張り合わせ、新たなモザイク画像を生成するように構成される。 In addition to the above-described configuration, the image pickup apparatus according to the sixth aspect of the present invention reduces the frame image constituting the moving image to generate an alignment frame image, and reduces the reference image to generate an alignment reference image Reduction means for alignment, and a display reduction means for generating a display mosaic image by reducing the mosaic image by generating a display frame image by reducing a frame image constituting the moving image, The feature amount extraction unit extracts a feature amount from the alignment frame image and the alignment reference image, and the relative position determination unit calculates a relative value between the alignment frame image and the alignment reference image. The position is determined, and the live image display means displays the moving image constituted by the display frame image on the display mosaic image as a live image. The mosaic image generating means estimates a relative position between the HDR image and the mosaic image at a higher resolution than the reference image for alignment, and combines the HDR image with the mosaic image to generate a new mosaic image. Configured to do.
本発明による撮像装置によれば、撮影中の動画像が作成中のモザイク画像上の適切な位置にライブ画像として表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながらＨＤＲ画像や高分解能画像を取得してモザイク画像と連結させることができる。また、フレーム画像及び基準画像から抽出した特徴量の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。従って、システム構成を複雑化させることなく、撮影中の視野と作成中のモザイク画像との位置関係を容易に認識できる撮像装置を実現することができる。 According to the imaging apparatus of the present invention, since the moving image being shot is displayed as a live image at an appropriate position on the mosaic image being created, the positional relationship between the field of view being shot and the mosaic image being created is determined by the user. It is possible to acquire an HDR image or a high-resolution image while confirming the image and connect it to a mosaic image. In addition, since the relative position between these images is determined by comparing the feature amounts extracted from the frame image and the reference image, it is possible to suppress the system configuration from becoming complicated. Therefore, it is possible to realize an imaging apparatus that can easily recognize the positional relationship between the field of view being shot and the mosaic image being created without complicating the system configuration.
＜拡大観察装置＞
図１は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。
<Magnification observation device>
FIG. 1 is a system diagram illustrating an example of a schematic configuration of an imaging apparatus according to an embodiment of the present invention. As an example of the imaging apparatus, a magnification observation apparatus 1 including a system main body unit 100, a camera unit 200, and a console 300 is illustrated. It is shown. The magnification observation apparatus 1 is a digital microscope that can capture a subject magnified by an objective lens, generate a moving image, and display the moving image on the display 110 of the system main body 100.
カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、ＣＣＤイメージセンサー、照明装置などを配置して構成されている。 The camera unit 200 is an imaging unit for imaging an inspection object while changing the field of view, and includes a camera 210, a movable holder 220, and a movable stage 230. The camera 210 is a reading device that photographs an inspection object as a subject and generates a moving image composed of a plurality of frame images continuous at a constant frame rate, and includes an objective lens, a CCD image sensor, and an illumination in a cylindrical casing. It is configured by arranging devices and the like.
可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。 The movable holder 220 is a holding unit that holds the camera 210 so as to be movable in a direction parallel to the central axis of the objective lens. Here, the direction parallel to the central axis of the objective lens of the camera 210 is referred to as the z-axis direction, and the position of the camera 210 in the z-axis direction can be adjusted by turning the position adjustment knob 221.
可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。 The movable stage 230 is a holding unit that holds the inspection target, and is movable in a plane that intersects the z-axis with the inspection target placed thereon. Here, a plane perpendicular to the z-axis is referred to as an xy plane, and the position of the movable stage 230 in the xy plane can be adjusted by turning the position adjustment knobs 231 and 232. That is, the movable stage 230 is a stage that can be moved in two different directions while the inspection object is placed by turning the position adjustment knobs 231 and 232.
具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。 Specifically, the position in the x-axis direction can be adjusted by turning the position adjustment knob 231, and the position in the y-axis direction can be adjusted by turning the position adjustment knob 232. The camera 210 is arranged to face such a movable stage 230.
コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。 The console 300 is an input device for instructing the system main body unit 100 to start and end shooting and to take captured image data.
システム本体部１００は、カメラ２１０によって撮影された動画像をディスプレイ１１０上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。 The system main unit 100 displays a moving image captured by the camera 210 on the display 110, and combines the frame images constituting the moving image to generate a mosaic image having a wider field of view than the actual field of view of the camera 210. It is.
＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１２９、表示用ＨＤＲモザイク記憶部１２２、ライブ画像更新部１２３、保存用ＨＤＲモザイク記憶部１２４、非ＨＤＲ基準画像生成部１２５ａ、非ＨＤＲ基準画像記憶部１２５ｂ、ライブ位置合わせ部１２６、静止画像取得部１２７及びＨＤＲモザイク画像生成部１２８を備えて構成される。
<System body>
FIG. 2 is a block diagram illustrating a configuration example of a main part of the magnification observation apparatus 1 in FIG. 1, and illustrates an example of a functional configuration in the system main body 100. In addition to the display 110, the system main body 100 includes display reduction units 121 and 129, a display HDR mosaic storage unit 122, a live image update unit 123, a storage HDR mosaic storage unit 124, and a non-HDR reference image generation unit 125a. , A non-HDR reference image storage unit 125b, a live alignment unit 126, a still image acquisition unit 127, and an HDR mosaic image generation unit 128.
表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。 The display reduction unit 121 performs the operation of processing the moving image data from the camera 210 and generating reduced moving image data with a reduced image size. Specifically, an operation of generating frame images for display by reducing frame images continuously obtained from the camera 210 at a predetermined reduction ratio and outputting the frame images to the live image update unit 123 is performed. The reduction of the frame image is performed by, for example, pixel thinning processing or pixel value averaging processing. Here, it is assumed that the reduction process is performed so that the aspect ratio of the frame image does not change before and after the reduction.
表示用ＨＤＲモザイク記憶部１２２は、表示用ＨＤＲモザイク画像を保持するＨＤＲモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用ＨＤＲモザイク画像に対する表示位置を更新することによって、表示用ＨＤＲモザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。 The display HDR mosaic storage unit 122 is an HDR mosaic image holding unit that holds a display HDR mosaic image, and includes, for example, a volatile semiconductor memory. The live image update unit 123 controls the display 110 based on the reduction rate information from the display reduction unit 121, and the display position of the display frame image continuously obtained from the display reduction unit 121 with respect to the display HDR mosaic image Is updated to display a live image on the display HDR mosaic image. A live image is a moving image composed of a plurality of continuous display frame images.
保存用ＨＤＲモザイク記憶部１２４は、保存用ＨＤＲモザイク画像を保持するＨＤＲモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。 The storage HDR mosaic storage unit 124 is an HDR mosaic image storage unit that stores a storage HDR mosaic image, and includes a nonvolatile storage element, for example, an HDD (Hard Disk Drive) device.
非ＨＤＲ基準画像生成部１２５ａは、一定のフレームレートで生成されるフレーム画像と略同一の露光時間の非ＨＤＲ基準画像を保存用ＨＤＲモザイク画像から生成する動作を行っている。この非ＨＤＲ基準画像は、フレーム画像とＨＤＲモザイク画像との間の相対的位置関係を判定するための画像であり、フレーム画像とダイナミックレンジが略同一の画像となっている。非ＨＤＲ基準画像は、例えば、保存用ＨＤＲモザイク記憶部１２４から保存用ＨＤＲモザイク画像の一部を読み出して作成される。 The non-HDR reference image generation unit 125a performs an operation of generating a non-HDR reference image having substantially the same exposure time as a frame image generated at a constant frame rate from the storage HDR mosaic image. This non-HDR reference image is an image for determining the relative positional relationship between the frame image and the HDR mosaic image, and is an image having substantially the same dynamic range as the frame image. The non-HDR reference image is created by, for example, reading a part of the storage HDR mosaic image from the storage HDR mosaic storage unit 124.
非ＨＤＲ基準画像記憶部１２５ｂは、保存用ＨＤＲモザイク画像の一部に対応する上記非ＨＤＲ基準画像を保持する非ＨＤＲ基準画像保持手段である。 The non-HDR reference image storage unit 125b is a non-HDR reference image holding unit that holds the non-HDR reference image corresponding to a part of the storage HDR mosaic image.
ライブ位置合わせ部１２６は、位置合わせ用縮小部１２６ａ，１２６ｂ及びマッチング処理部１２６ｃからなり、カメラ２１０から連続して得られるフレーム画像と非ＨＤＲ基準画像とをそれぞれ縮小してマッチング処理する動作を行っている。 The live registration unit 126 includes registration reduction units 126a and 126b and a matching processing unit 126c, and performs an operation of performing a matching process by reducing a frame image continuously obtained from the camera 210 and a non-HDR reference image. ing.
位置合わせ用縮小部１２６ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２６ｃへ出力する動作を行っている。位置合わせ用縮小部１２６ｂは、非ＨＤＲ基準画像記憶部１２５ｂから読み出した非ＨＤＲ基準画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用基準画像を生成し、マッチング処理部１２６ｃへ出力する動作を行っている。 The alignment reduction unit 126a performs an operation of generating a frame image for alignment by reducing the frame image from the camera 210 at a constant reduction rate for alignment and outputting it to the matching processing unit 126c. The alignment reduction unit 126b reduces the non-HDR reference image read from the non-HDR reference image storage unit 125b at a constant reduction rate for alignment, generates a registration reference image, and outputs the alignment reference image to the matching processing unit 126c. The operation to be performed.
マッチング処理部１２６ｃは、位置合わせ用フレーム画像及び位置合わせ用基準画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。 The matching processing unit 126c determines the relative position between these images by pattern matching between the alignment frame image and the alignment reference image, generates relative position information, and outputs the relative position information to the live image update unit 123. It is carried out.
ライブ画像更新部１２３では、ライブ位置合わせ部１２６からの相対位置情報に基づいて、表示用フレーム画像及び表示用ＨＤＲモザイク画像間の相対位置を決定し、表示用フレーム画像の表示用ＨＤＲモザイク画像に対する表示位置を更新する動作が行われる。 The live image update unit 123 determines a relative position between the display frame image and the display HDR mosaic image based on the relative position information from the live position alignment unit 126, and the display frame image with respect to the display HDR mosaic image is determined. An operation for updating the display position is performed.
静止画像取得部１２７は、コンソール３００からの取込み指示に基づいてカメラ２１０に撮影させ、複数の静止画像を取得する動作を行っている。ここでは、露光時間を変更しながらカメラ２１０に撮影させ、露光時間の異なる複数の静止画像を取得する動作が行われるものとする。 The still image acquisition unit 127 performs an operation of causing the camera 210 to take an image based on a capture instruction from the console 300 and acquiring a plurality of still images. Here, it is assumed that an operation is performed in which the camera 210 is photographed while changing the exposure time, and a plurality of still images having different exposure times are acquired.
ＨＤＲモザイク画像生成部１２８は、ＨＤＲ画像生成部１２８ａ、保存用位置合わせ部１２８ｂ及び画像連結部１２８ｃからなり、露光時間の異なる複数の静止画像を合成してＨＤＲ画像を生成し、ＨＤＲ画像を保存用ＨＤＲモザイク画像に張り合わせて新たな保存用ＨＤＲモザイク画像を生成する動作を行っている。 The HDR mosaic image generation unit 128 includes an HDR image generation unit 128a, a storage registration unit 128b, and an image connection unit 128c. The HDR mosaic image generation unit 128 generates a HDR image by combining a plurality of still images having different exposure times, and stores the HDR image. An operation for generating a new storage HDR mosaic image by pasting it to the HDR mosaic image is performed.
ＨＤＲ画像生成部１２８ａは、静止画像取得部１２７によって取得された複数の静止画像を合成してＨＤＲ画像を生成し、保存用位置合わせ部１２８ｂ及び画像連結部１２８ｃへ出力する動作を行っている。ＨＤＲ画像は、同一のシーンに対して露光時間を変えながら撮影した複数の静止画像を合成することによって、輝度のダイナミックレンジを元の静止画像やフレーム画像よりも拡大させた合成画像であり、カメラ２１０の入出力特性から実際の入射光量を推定することによって作成される。 The HDR image generation unit 128a performs an operation of generating an HDR image by combining a plurality of still images acquired by the still image acquisition unit 127 and outputting the HDR image to the storage alignment unit 128b and the image connection unit 128c. An HDR image is a composite image in which the dynamic range of brightness is expanded from the original still image or frame image by combining a plurality of still images taken while changing the exposure time for the same scene. It is created by estimating the actual incident light quantity from the input / output characteristics of 210.
具体的には、カメラ２１０の各受光素子の入射光量が露光時間の異なる複数の静止画像から推定する動作が行われる。例えば、各受光素子の入射光量をＬ、露光時間をｔ、静止画像の各画素値をＩとすると、画素値Ｉは、受光素子の入出力特性を示す関数Ｆ（Ｌｔ）を用いて、Ｉ＝Ｆ（Ｌｔ）と表すことができる。 Specifically, an operation is performed in which the incident light amount of each light receiving element of the camera 210 is estimated from a plurality of still images having different exposure times. For example, if the incident light quantity of each light receiving element is L, the exposure time is t, and each pixel value of the still image is I, the pixel value I is calculated using the function F (Lt) indicating the input / output characteristics of the light receiving element. = F (Lt).
関数Ｆ（Ｌｔ）は、通常、カメラ２１０の入出力特性をキャリブレーションすることによって求めることができる。関数Ｆ（Ｌｔ）の逆関数をＧとすれば、入射光量Ｌは、Ｌ＝Ｇ（Ｉ）／ｔと表すことができる。つまり、ＨＤＲ画像の各画素値は、露光時間ｔの異なる複数の静止画像の画素値Ｉに基づいて、上式から入射光量Ｌとして求められる。 The function F (Lt) can be usually obtained by calibrating the input / output characteristics of the camera 210. If the inverse function of the function F (Lt) is G, the incident light quantity L can be expressed as L = G (I) / t. That is, each pixel value of the HDR image is obtained as the incident light amount L from the above formula based on the pixel values I of a plurality of still images having different exposure times t.
一般に、カメラ２１０の受光素子がフォトダイオードである場合、フォトダイオードが電気信号に変換できる光の明るさの範囲は、６０デシベル程度であり、カメラ２１０は、最も明るい領域と最も暗い領域との明るさの比が１０００倍以下の被写体しか撮像できない。つまり、この明るさの範囲よりも暗い領域が被写体に存在すれば、その領域は暗い背景に埋もれ（黒とび又は黒つぶれという）、明るい領域が存在すれば、その領域は露出オーバーとなって白く飛ぶ（白とびという）こととなる。 In general, when the light receiving element of the camera 210 is a photodiode, the range of light brightness that can be converted into an electric signal by the photodiode is about 60 dB, and the camera 210 has a brightness between the brightest area and the darkest area. Only a subject whose ratio is 1000 times or less can be imaged. In other words, if there is a darker area in the subject than the brightness range, the area is buried in a dark background (called blackout or blackout), and if a bright area exists, the area is overexposed and white. It will fly (called white jump).
これに対し、露光時間ｔの異なる複数の静止画像を画素単位で合成することによって、ダイナミックレンジを拡大させたＨＤＲ画像では、被写体の暗い部分が明瞭に撮像され、明るい部分が白とびすることなく撮像される。 In contrast, by synthesizing a plurality of still images with different exposure times t in units of pixels, in an HDR image with an expanded dynamic range, a dark part of a subject is clearly captured and a bright part is not overexposed. Imaged.
ここでは、カメラ２１０から静止画像として取得する静止画データが、８ビットデータであるのに対して、ＨＤＲ画像として１６ビットの画像データが生成されるものとする。つまり、ＨＤＲ画像は、フレーム画像や元の静止画像よりも画素値の分解能の高い高分解能画像となっている。また、非ＨＤＲ基準画像は、フレーム画像と分解能が略同一の画像となっている。 Here, it is assumed that still image data acquired as a still image from the camera 210 is 8-bit data, whereas 16-bit image data is generated as an HDR image. That is, the HDR image is a high-resolution image having a higher pixel value resolution than the frame image or the original still image. Further, the non-HDR reference image is an image having substantially the same resolution as the frame image.
保存用位置合わせ部１２８ｂは、ＨＤＲ画像生成部１２８ａからのＨＤＲ画像と、保存用ＨＤＲモザイク記憶部１２４から読み出した保存用ＨＤＲモザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、位置合わせ用基準画像よりも高い解像度でＨＤＲ画像及び保存用ＨＤＲモザイク画像間の相対位置を推定することによって行われる。 The storage alignment unit 128b performs an operation of determining a relative position between the HDR image from the HDR image generation unit 128a and the storage HDR mosaic image read from the storage HDR mosaic storage unit 124. The relative position is determined by estimating the relative position between the HDR image and the storage HDR mosaic image at a higher resolution than the reference image for alignment.
画像連結部１２８ｃは、保存用位置合わせ部１２８ｂによる判定結果に基づいて、ＨＤＲ画像及び保存用ＨＤＲモザイク画像を張り合わせ、新たな保存用ＨＤＲモザイク画像を生成して保存用ＨＤＲモザイク記憶部１２４内の保存用ＨＤＲモザイク画像を更新する動作を行っている。 The image concatenation unit 128c combines the HDR image and the storage HDR mosaic image based on the determination result by the storage registration unit 128b, generates a new storage HDR mosaic image, and stores it in the storage HDR mosaic storage unit 124. An operation of updating the storage HDR mosaic image is performed.
具体的には、ＨＤＲ画像生成部１２８ａからのＨＤＲ画像と、保存用ＨＤＲモザイク記憶部１２４から読み出した保存用ＨＤＲモザイク画像とが、保存用位置合わせ部１２８ｂによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用ＨＤＲモザイク画像が生成される。 Specifically, the HDR image from the HDR image generation unit 128a and the storage HDR mosaic image read from the storage HDR mosaic storage unit 124 are at relative positions between the images estimated by the storage registration unit 128b. Based on this, a new preservation HDR mosaic image is generated.
ＨＤＲ画像及び保存用ＨＤＲモザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、ＨＤＲ画像及び保存用ＨＤＲモザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。 The HDR image and the storage HDR mosaic image are joined together by connecting both images based on the relative position between these images. Further, when connecting the HDR image and the storage HDR mosaic image, a blending process of pixel values is performed on the overlapping region of both images in order to make the joint inconspicuous. The blending process is an image process in which pixel values are weighted and averaged between both images to obtain a pixel value of a composite image, and the weight at the time of weighted average is appropriately changed according to the position of the pixel to make the joint inconspicuous. ing.
表示用縮小部１２９は、保存用ＨＤＲモザイク画像が更新されるごとに保存用ＨＤＲモザイク画像記憶部１２４から更新後の保存用ＨＤＲモザイク画像を読み出し、読み出した保存用ＨＤＲモザイク画像を表示用に縮小して表示用ＨＤＲモザイク画像を生成する動作を行っている。 Each time the storage HDR mosaic image is updated, the display reduction unit 129 reads the updated storage HDR mosaic image from the storage HDR mosaic image storage unit 124, and reduces the read storage HDR mosaic image for display. Thus, an operation of generating a display HDR mosaic image is performed.
ここで、ライブ位置合わせ部１２６は、保存用位置合わせ部１２８ｂに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。 Here, the live alignment unit 126 is a processing unit that executes a lower-precision matching process than the storage alignment unit 128b and outputs low-accuracy coordinate data as relative position information.
表示用縮小部１２９では、保存用ＨＤＲモザイク画像から表示用ＨＤＲモザイク画像を生成する際に、１６ビットの画像データから８ビットの画像データにフォーマットを変換する動作が行われる。 The display reduction unit 129 performs an operation of converting the format from 16-bit image data to 8-bit image data when generating a display HDR mosaic image from the storage HDR mosaic image.
非ＨＤＲ基準画像生成部１２５ａでは、関数Ｆ（Ｌｔ）に基づいて、保存用ＨＤＲモザイク画像の画素値Ｌからフレーム画像と同じ所定の露光時間ｔの画素値Ｉをシミュレートすることによって、非ＨＤＲ基準画像を生成する動作が行われる。また、非ＨＤＲ基準画像生成部１２５ａでは、保存用ＨＤＲモザイク画像の一部から非ＨＤＲ基準画像を生成する際に、１６ビットの画像データから８ビットの画像データにフォーマットを変換する動作が行われる。 The non-HDR reference image generation unit 125a simulates the pixel value I having the same predetermined exposure time t as that of the frame image from the pixel value L of the storage HDR mosaic image based on the function F (Lt). An operation for generating a reference image is performed. The non-HDR reference image generation unit 125a performs an operation of converting the format from 16-bit image data to 8-bit image data when generating a non-HDR reference image from a part of the storage HDR mosaic image. .
ここで、ＨＤＲ画像は、基本的に複数枚の画像の合成画像であるので、画像合成によって画素値の分解能を元の画像、例えば、０〜２５５の２５６階調の画像よりも向上させることができる。一般に、実際のカメラ画像では、ノイズや量子化誤差の影響によって、たとえ同一の露光時間ｔで複数枚のカメラ画像を撮影したとしても得られる画素値は異なる。例えば、同じ露光時間ｔであったとしてもノイズの影響により、得られる画素値は、１００，１０１，９９，１０１，１００などと変化する。この５枚の画像の平均を取ると１００．２となり、通常の０〜２５５の画素値では現れない値が出現する。ノイズが０平均のランダムノイズであること、量子化の際の小数点切捨て誤差もランダムに発生することを考慮すると、この１００．２が真値であると考えられる。このように複数枚の画像の平均を取ることにより、Ｓ／Ｎ比や分解能を向上させることができる。 Here, since the HDR image is basically a composite image of a plurality of images, it is possible to improve the resolution of the pixel value by image composition over the original image, for example, an image of 256 gradations from 0 to 255. it can. In general, in an actual camera image, pixel values obtained are different even if a plurality of camera images are captured with the same exposure time t due to the influence of noise and quantization error. For example, even if the exposure time t is the same, the obtained pixel value changes to 100, 101, 99, 101, 100, etc. due to the influence of noise. When the average of these five images is taken, it becomes 100.2, and a value that does not appear with the normal pixel values of 0 to 255 appears. Considering that the noise is 0-average random noise and that the decimal point truncation error occurs randomly, this 100.2 is considered to be a true value. Thus, by taking the average of a plurality of images, the S / N ratio and resolution can be improved.
上記の例は簡単な平均化の処理についての説明だが、ＨＤＲ画像も露光時間ｔを変えて撮影した複数枚の画像からそれぞれＬ＝Ｇ（Ｉ）／ｔを計算し、ＨＤＲ画像の各画素値をＬｊ＝｛ΣＧ（Ｉｉ）／ｔｉ｝×１／Ｎによって上記Ｌの平均値Ｌｊとして求めることができる。このため、ＨＤＲ撮影においては、ダイナミックレンジの向上と、Ｓ／Ｎ比及び分解能の向上との２つの効果が期待できる。 In the above example, a simple averaging process is described, but the HDR image also calculates L = G (I) / t from a plurality of images taken with different exposure times t, and each pixel value of the HDR image Can be obtained as the average value L j of L by L j = {ΣG (I i ) / t i } × 1 / N. For this reason, in HDR photography, two effects of improving the dynamic range and improving the S / N ratio and resolution can be expected.
あえて露光時間ｔを変化させず、Ｓ／Ｎ比及び分解能の向上だけを狙うことも可能である。このとき得られる合成画像は、通常の画像よりもノイズを低減させた低ノイズ画像となる。２つの効果はどちらもＨＤＲ撮影を行うことで同時に得られるが、露光時間ｔをどのように変化させるかによってどちらの効果が強く得られるかが異なってくる。前述のように露光時間ｔをほとんど変化させない場合は、Ｓ／Ｎ比及び分解能の向上効果が強く、露光時間ｔを大きく変化させると、ダイナミックレンジの向上効果が強くなる。露光時間ｔを大きく変化させたとき、各画素について最適な露光時間(白とび、黒とびがない露光時間)で撮影された画像の枚数が少なくなる（白とび、黒とびした画像が増える）ので、Ｓ／Ｎ比及び分解能の向上効果は薄くなる。これらの効果のどちらを狙うかはユーザーが撮影時に選択することも、撮影時に自動認識させることも可能である。 It is also possible to aim only at improving the S / N ratio and resolution without changing the exposure time t. The synthesized image obtained at this time is a low-noise image in which noise is reduced as compared with a normal image. Both effects can be obtained at the same time by performing HDR photography, but which effect is strongly obtained depends on how the exposure time t is changed. As described above, when the exposure time t is hardly changed, the effect of improving the S / N ratio and resolution is strong. When the exposure time t is changed greatly, the effect of improving the dynamic range is strong. When the exposure time t is changed greatly, the number of images shot with the optimal exposure time (exposure time without overexposure and overexposure) for each pixel decreases (the overexposure and overexposure images increase) , The effect of improving the S / N ratio and resolution is reduced. Either of these effects can be selected by the user at the time of shooting, or can be automatically recognized at the time of shooting.
＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるマッチング処理部１２６ｃの構成例を示したブロック図である。このマッチング処理部１２６ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。
<Matching processing unit>
FIG. 3 is a block diagram illustrating a configuration example of the matching processing unit 126c in the system main body 100 of FIG. The matching processing unit 126c includes a feature amount extraction unit 131 and a relative position determination unit 132.
特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用基準画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。 The feature amount extraction unit 131 performs an operation of extracting feature amounts from the alignment frame image and the alignment reference image. The feature amount may be anything as long as it serves as a mark for comparing images. Here, it is assumed that a vertex at which a plurality of edges intersect is extracted as a feature point.
相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用基準画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。 The relative position determination unit 132 includes a comparison unit 141, a relative position calculation unit 142, and an overlapping region estimation unit 143, and performs an operation of determining a relative position between the alignment frame image and the alignment reference image by comparing feature points. Is going. The comparison unit 141 compares the feature points extracted from the alignment frame image with the feature points extracted from the alignment reference image, and outputs the comparison result to the relative position calculation unit 142. Yes.
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。 The feature points are compared by, for example, extracting a region including the feature points from one image as a template and searching for the region most similar to the template region from the other image. As an index for measuring the similarity between regions, there are a method using a sum of squared errors of luminance values obtained for pixels in the region, and a method using a normalized correlation obtained by normalizing the luminance value of each pixel in the region by the average luminance. Conceivable.
相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。 The relative position calculation unit 142 determines the relative position between the alignment frame image and the alignment reference image based on the comparison result of the comparison unit 141, and outputs the determination result to the overlapping region estimation unit 143. An operation of outputting information to the live image update unit 123 is performed.
重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用基準画像との重複領域を定め、この重複領域が現在のフレーム画像と基準画像との重複領域であると判断する動作が行われる。 The overlapping area estimation unit 143 performs an operation of estimating an overlapping area between the current positioning frame image and the positioning reference image based on the determination result of the relative position regarding the past positioning frame image. For example, an overlapping area between the frame image and the alignment reference image is determined from the relative position determination result regarding the alignment frame image one frame before, and the overlapping area is an overlapping area between the current frame image and the reference image. The operation of determining that there is is performed.
比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像の全特徴点と位置合わせ用基準画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。 In the comparison unit 141, the feature points in the overlap region estimated by the overlap region estimation unit 143 are compared, and an operation of outputting the comparison result to the relative position calculation unit 142 is performed. Then, as a result of comparing the feature points in the overlapping region, if the relative position cannot be determined, the comparison is made by comparing all the feature points of the alignment frame image with all the feature points of the alignment reference image. An operation of outputting the result to the relative position calculation unit 142 is performed.
また、最初の位置合わせ用フレーム画像について、位置合わせ用フレーム画像の全特徴点と位置合わせ用基準画像の全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、各画像の全特徴点を比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、各画像の全特徴点を比較して相対位置が判定される。 Further, for the first alignment frame image, all feature points of the alignment frame image are compared with all feature points of the alignment reference image, and an operation of outputting the comparison result to the relative position calculation unit 142 is performed. . That is, for the first alignment frame image, the relative position is determined by comparing all the feature points of each image. On the other hand, for the second and subsequent frame images for alignment, first, the relative position is determined by comparing the feature points in the overlapping region estimated from the relative position determination result for the past frame image. At this time, if the relative position cannot be determined, the relative position is determined by comparing all the feature points of the images.
ここで、最初のフレーム画像とは、例えば、ＨＤＲモザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。 Here, the first frame image is, for example, a frame image that is first acquired after resuming photographing in a case where photographing is temporarily interrupted during the creation of the HDR mosaic image and then photographing is resumed.
一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。 In general, when extracting feature points from two still images that overlap part of an image and finding a pair of corresponding feature points between these images, extract the feature points from the overlapping area of both images. Searching for a pair of corresponding feature points has a lower probability of occurrence of a false response than extracting and searching for feature points from the entire image. That is, by comparing the feature points in the overlapping region with priority and determining the relative position, it is possible to improve the probability of successful alignment of the alignment frame image. Furthermore, the alignment speed can be improved as compared with the case where all feature points in the image are compared.
ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。 Here, when the feature amount extraction unit 131 extracts feature points from the current alignment frame image, the feature amount extraction unit 131 extracts feature points from the overlap region estimated by the overlap region estimation unit 143. Then, when the relative position cannot be determined only by the feature points in the overlapping area, an operation of extracting the feature points from the area other than the overlapping area is performed.
ライブ画像更新部１２３では、表示用ＨＤＲモザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。 The live image update unit 123 updates the display position when displaying the moving image constituted by the display frame image on the display HDR mosaic image as a live image based on the relative position determination result by the relative position calculation unit 142. Then, an operation of outputting the display data to the display 110 is performed.
＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用ＨＤＲモザイク画像Ａ３が示されている。また、図５には、ＨＤＲモザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。
<Live screen>
4 and 5 are explanatory views schematically showing an example of an operation at the time of displaying a live image in the magnification observation apparatus 1 of FIG. FIG. 4 shows a moving image A1 and a display HDR mosaic image A3 taken by the camera 210. FIG. 5 shows a live screen 111 in which the moving image A1 is arranged as a live image on the HDR mosaic image A3.
動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。 The moving image A1 is composed of a display frame image A2 that is repeatedly generated at a constant frame rate. For example, the display frame image A2 is generated at 15 fps. Here, it is assumed that the photographing magnification and the focus position are fixed.
表示用ＨＤＲモザイク画像Ａ３は、保存用ＨＤＲモザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。 The display HDR mosaic image A3 is a mosaic image created by reducing the storage HDR mosaic image for live screen display.
ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用ＨＤＲモザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。 The live screen 111 is a monitor screen displayed on the display 110, and displays a display HDR mosaic image A3 and a moving image A1 that are being created. On the live screen 111, the moving image A1 is arranged at a display position determined from a relative position determined by pattern matching between the current alignment frame image and the alignment reference image.
つまり、撮影中の動画像Ａ１が作成中の表示用ＨＤＲモザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のＨＤＲモザイク画像との位置関係を確認しながら撮影画像を取り込んでＨＤＲモザイク画像と連結させることができる。 That is, since the moving image A1 being shot is displayed as a live image at an appropriate position on the display HDR mosaic image A3 being created, the user can determine the positional relationship between the field of view being shot and the HDR mosaic image being created. The captured image can be taken in and connected to the HDR mosaic image while confirming.
＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及びフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。
<Pattern matching>
FIGS. 6A and 6B are diagrams showing an example of the pattern matching operation in the magnification observation apparatus 1 in FIG. 1, and by comparing all feature points B3 extracted from the reference image B1 and the frame image B2, respectively. The manner in which the positive correspondence between these feature points is extracted is shown. FIG. 6A shows a state in which the feature point B3 extracted from the reference image B1 is compared with each feature point B3 in the frame image B2, and FIG. 6B shows the feature point B3. A positive correspondence between feature points extracted based on the comparison is shown.
基準画像Ｂ１は、作成中のＨＤＲモザイク画像の一部に対応する位置合わせ用基準画像であり、保存用ＨＤＲモザイク画像からマッチング対象領域を抽出して作成される。例えば、基準画像Ｂ１は、最後に連結されたＨＤＲ画像をマッチング対象領域として抽出し、カメラ２１０の入出力特性からフレーム画像と同じ露光時間の非ＨＤＲ画像を推定して作成される。 The reference image B1 is an alignment reference image corresponding to a part of the HDR mosaic image being created, and is created by extracting a matching target region from the storage HDR mosaic image. For example, the reference image B1 is created by extracting the last connected HDR image as a matching target region and estimating a non-HDR image having the same exposure time as the frame image from the input / output characteristics of the camera 210.
基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。 If the positional relationship between the reference image B1 and the frame image B2 is unknown, the feature point B3 is extracted for the entire image. Then, for each feature point B3 extracted from the reference image B1, whether or not a similar feature point exists in the frame image B2 is determined by comparison between the feature points.
特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。 The similarity between feature points can be measured by a squared error sum or normalized correlation of luminance values calculated for a predetermined region including the feature point B3, for example, a rectangular region of 5 pixels × 5 pixels.
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。 Positive correspondences between feature points are extracted based on such comparison results. For example, the correspondence between feature points moving in parallel in the same direction is extracted as a positive correspondence. The relative position between the reference image B1 and the frame image B2 determines the movement amount of the feature point in the image based on the positive correspondence between the extracted feature points, and the movement of the frame image B2 with respect to the reference image B1 based on the movement amount. It is determined by determining the amount.
一方、基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。 On the other hand, when a rough positional relationship between the reference image B1 and the frame image B2 is known in advance, a template region is appropriately extracted from one image, and by searching for the vicinity of the corresponding region of the other image, The relative position between these images can be determined with higher accuracy.
すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。 That is, the overlapping region B4 of these images is obtained from the determination result of the relative position between the (n-1) th frame image one frame before and the reference image. The overlapping area B4 is determined to be the overlapping areas B5 and B6 between the current nth frame image and the reference image. Then, for each feature point B3 in the overlapping region B5 of the reference image, a similar feature point is extracted from the overlapping region B6 of the nth frame image, thereby determining the relative position between these images.
類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。 Similar feature points are extracted by extracting a predetermined region near the position corresponding to the feature point from the overlap region B6 of the nth frame image for each feature point B3 in the overlap region B5 of the reference image. Done by exploring.
本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせに対して、重複領域内の特徴点について比較を行う方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合には、全特徴点について比較を行う方法が採用される。 In the present embodiment, a method of comparing feature points in the overlapping region is used for the alignment of the alignment frame image for the second and subsequent frames and the alignment reference image. On the other hand, if the relative position cannot be determined by alignment between the alignment frame image of the first frame and the alignment reference image, or comparison of feature points in the overlapping area, comparison is performed for all feature points. The method of doing is adopted.
＜ＨＤＲ画像＞
図７（ａ）及び（ｂ）は、図１の拡大観察装置１におけるＨＤＲ画像生成時の動作の一例を示した図であり、図７（ａ）には、露光時間が短い場合の静止画像が示され、図７（ｂ）には、露光時間が長い場合の静止画像が示されている。露光時間ｔを短く設定して検査対象物、例えば、回路基板上の電子部品を撮影した場合、端子電極などの金属部分は明瞭に写っているが、黒い電子部品に刻印されているマークなどは部品部分が黒とびして識別できなくなっている。
<HDR image>
FIGS. 7A and 7B are diagrams showing an example of the operation at the time of HDR image generation in the magnifying observation apparatus 1 of FIG. 1, and FIG. 7A shows a still image when the exposure time is short. FIG. 7B shows a still image when the exposure time is long. When an inspection object, for example, an electronic component on a circuit board is photographed with a short exposure time t, a metal part such as a terminal electrode is clearly shown, but a mark engraved on a black electronic component is The parts are black and cannot be identified.
一方、露光時間ｔを長く設定して電子部品を撮影した場合には、電子部品に刻印されているマークなどは明瞭に写っているが、金属部分が白とびして識別できなくなっている。 On the other hand, when the electronic component is photographed with a long exposure time t, the mark or the like imprinted on the electronic component is clearly visible, but the metal portion is overexposed and cannot be identified.
図８は、図１の拡大観察装置１におけるＨＤＲ画像生成時の動作の一例を示した図であり、露光時間の異なる複数の静止画像から作成されたＨＤＲ画像が示されている。ＨＤＲ画像は、図７に示されている様な露光時間ｔの異なる複数の静止画像をカメラ２１０の入出力特性に基づいて合成することによって作成される。 FIG. 8 is a diagram showing an example of the operation at the time of HDR image generation in the magnification observation apparatus 1 of FIG. 1, and shows HDR images created from a plurality of still images having different exposure times. The HDR image is created by combining a plurality of still images having different exposure times t as shown in FIG. 7 based on the input / output characteristics of the camera 210.
このＨＤＲ画像では、部品部分が黒とびせずに電子部品に刻印されているマークなどが明瞭に写っているとともに、端子電極などの金属部分も白とびせずに撮像されている。 In the HDR image, a mark or the like imprinted on the electronic component is clearly shown without blacking out the component portion, and a metal portion such as a terminal electrode is captured without overexposure.
図９（ａ）及び（ｂ）は、図１の拡大観察装置１におけるＨＤＲ画像生成時の動作の他の一例を非ＨＤＲ画像と比較して示した図である。図９（ａ）には、非ＨＤＲ画像が示され、図９（ｂ）には、ＨＤＲ画像が示されている。非ＨＤＲ画像とは、所定の露光時間ｔで撮影された通常の静止画像のことである。この例では、撮影倍率３００倍でガラス繊維配合樹脂の破断面が撮影されている。 FIGS. 9A and 9B are diagrams showing another example of the operation when generating the HDR image in the magnification observation apparatus 1 of FIG. 1 in comparison with the non-HDR image. FIG. 9A shows a non-HDR image, and FIG. 9B shows an HDR image. A non-HDR image is a normal still image taken at a predetermined exposure time t. In this example, the fracture surface of the glass fiber compound resin is photographed at a photographing magnification of 300 times.
非ＨＤＲ画像が８ビット（２５６階調）の画像であるのに対して、ＨＤＲ画像は、１６ビットの高解像度画像となっており、明暗の差が極めて小さな物体であっても、表面模様や段差をはっきりと映し出すことができる。 The non-HDR image is an 8-bit (256 gradations) image, whereas the HDR image is a 16-bit high-resolution image. The steps can be clearly projected.
図１０（ａ）及び（ｂ）は、図１の拡大観察装置１におけるライブ画像取込み時の動作の一例を示した遷移図であり、図１０（ａ）には、基準画像とその一部が重複しているライブ画像が示され、図１０（ｂ）には、取込み指示後のＨＤＲモザイク画像上のライブ画像が示されている。 FIGS. 10A and 10B are transition diagrams showing an example of an operation at the time of capturing a live image in the magnification observation apparatus 1 in FIG. 1. FIG. 10A shows a reference image and a part thereof. An overlapping live image is shown, and FIG. 10B shows a live image on the HDR mosaic image after the capture instruction.
この例では、保存用ＨＤＲモザイク画像から生成された位置合わせ用基準画像に対応する領域が、破線で示された矩形枠によって表示用ＨＤＲモザイク画像上に表示されている。これに対して、ライブ画像は、実線で示された矩形枠内に表示されている。ライブ画像を示す矩形枠の表示位置は、基準画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。 In this example, an area corresponding to the alignment reference image generated from the storage HDR mosaic image is displayed on the display HDR mosaic image by a rectangular frame indicated by a broken line. On the other hand, the live image is displayed in a rectangular frame indicated by a solid line. The display position of the rectangular frame indicating the live image is determined based on the determination result of the relative position between the reference image and the current alignment frame image.
図１０（ａ）の状態でＨＤＲ用の静止画像の取込みを指示すれば、表示中の表示用フレーム画像と同じ視野の静止画像が露光時間ｔを変えながら取り込まれ、ＨＤＲ画像が生成される。そして、ＨＤＲ画像と保存用ＨＤＲモザイク画像とを連結して新たな保存用ＨＤＲモザイク画像が作成され、表示中の表示用ＨＤＲモザイク画像が更新される。このとき、基準画像も取り込まれた静止画像に対応するものに変更される。 If an instruction to capture an HDR still image is given in the state of FIG. 10A, a still image having the same field of view as the display frame image being displayed is captured while changing the exposure time t, and an HDR image is generated. Then, the HDR image and the storage HDR mosaic image are connected to create a new storage HDR mosaic image, and the currently displayed display HDR mosaic image is updated. At this time, the reference image is also changed to one corresponding to the captured still image.
図１１及び図１２のステップＳ１０１〜Ｓ１１７は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部１３１は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する（ステップＳ１０１〜１０３）。 Steps S101 to S117 in FIGS. 11 and 12 are flowcharts showing an example of an operation at the time of displaying a live image in the magnification observation apparatus 1 in FIG. First, the feature quantity extraction unit 131 acquires a position alignment frame image, and if it is the first frame image, extracts a feature point from the entire image (steps S101 to S103).
次に、相対位置判定部１３２は、各画像の全特徴点について比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置を判定する（ステップＳ１０４）。このとき、相対位置が判定できず、位置合わせに失敗すると、ユーザに対してマッチングエラーが報知される（ステップＳ１０５，Ｓ１１４）。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が決定され、ライブ画像が更新される（ステップＳ１０５〜Ｓ１０７）。 Next, the relative position determination unit 132 compares all the feature points of each image, and determines the relative position between the current alignment frame image and the alignment reference image (step S104). At this time, if the relative position cannot be determined and alignment fails, a matching error is notified to the user (steps S105 and S114). If the alignment is successful, the display position of the live image is determined based on the relative position determination result, and the live image is updated (steps S105 to S107).
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部１３２は、前回の位置合わせの結果、すなわち、１フレーム前の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する（ステップＳ１０２，Ｓ１１０，Ｓ１１１）。特徴量抽出部１３１は、この推定された重複領域から特徴点を抽出する。 On the other hand, if the acquired alignment frame image is not the first frame image, the relative position determination unit 132 determines the result of the previous alignment, that is, the alignment frame image one frame before and the alignment reference image. With reference to the determination result of the relative position between, the overlap region between the current alignment frame image and the reference image is estimated (steps S102, S110, S111). The feature amount extraction unit 131 extracts feature points from the estimated overlap region.
次に、相対位置判定部１３２は、現在の位置合わせ用フレーム画像と位置合わせ用基準画像とから推定された重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する（ステップＳ１１２）。このとき、相対位置が判定できず、位置合わせに失敗すると、ステップＳ１０３以降の処理手順が実行される（ステップＳ１１３）。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が決定され、ライブ画像が更新される（ステップＳ１１３，Ｓ１０６，Ｓ１０７）。 Next, the relative position determination unit 132 compares the feature points in the overlap region estimated from the current alignment frame image and the alignment reference image, and determines the relative position between these images ( Step S112). At this time, if the relative position cannot be determined and the alignment fails, the processing procedure after step S103 is executed (step S113). When the alignment is successful, the display position of the live image is determined based on the relative position determination result, and the live image is updated (steps S113, S106, and S107).
静止画像取得部１２７は、ライブ画像の更新後、ＨＤＲ用の静止画像の取込み指示があれば、当該取込み指示に基づいて、露光時間ｔを変更しながらカメラ２１０に撮影させ、露光時間ｔの異なる複数の静止画像を取り込む。そして、ＨＤＲモザイク画像生成部１２８は、取り込まれた複数の静止画像を合成してＨＤＲ画像を生成し、保存用ＨＤＲモザイク画像との連結処理を行って新たな保存用ＨＤＲモザイク画像を生成する（ステップＳ１０８，Ｓ１１５，Ｓ１１６）。表示用及び保存用のＨＤＲモザイク画像は、この新たに作成された保存用ＨＤＲモザイク画像によって更新される（ステップＳ１１７）。ステップＳ１０１からＳ１０８までの処理手順は、撮影終了が指示されるまで繰り返される（ステップＳ１０９）。 If there is an instruction for taking in a still image for HDR after updating the live image, the still image acquisition unit 127 causes the camera 210 to take an image while changing the exposure time t based on the fetch instruction, and the exposure time t is different. Capture multiple still images. Then, the HDR mosaic image generation unit 128 combines the plurality of captured still images to generate an HDR image, and performs a connection process with the storage HDR mosaic image to generate a new storage HDR mosaic image ( Steps S108, S115, S116). The display and storage HDR mosaic images are updated with the newly created storage HDR mosaic image (step S117). The processing procedure from step S101 to S108 is repeated until the end of photographing is instructed (step S109).
本実施の形態によれば、撮影中の動画像が作成中のＨＤＲモザイク画像上の適切な位置にライブ画像として表示されるので、撮影中の視野と作成中のＨＤＲモザイク画像との位置関係をユーザに確認させながらＨＤＲ画像を取得してＨＤＲモザイク画像と連結させることができる。また、位置合わせ用のフレーム画像及び基準画像から抽出した特徴点の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。 According to the present embodiment, since the moving image being shot is displayed as a live image at an appropriate position on the HDR mosaic image being created, the positional relationship between the field of view being shot and the HDR mosaic image being created is determined. The HDR image can be acquired and linked with the HDR mosaic image while allowing the user to confirm. In addition, since the relative position between these images is determined by comparing the feature points extracted from the frame image for alignment and the reference image, it is possible to prevent the system configuration from becoming complicated.
また、適切な非ＨＤＲ基準画像を必要に応じて作成させることができるので、ＨＤＲ用の静止画像の取得時にフレーム画像を取り込むものに比べて、データ蓄積量の増大を抑制することができる。 In addition, since an appropriate non-HDR reference image can be created as necessary, an increase in the amount of accumulated data can be suppressed as compared with the case of capturing a frame image when acquiring a still image for HDR.
なお、本実施の形態では、カメラ２１０の入出力特性に基づいて、フレーム画像と同じ露光時間の非ＨＤＲ基準画像が保存用ＨＤＲモザイク画像から作成される場合の例について説明したが、本発明はこれに限られるものではない。例えば、非ＨＤＲ基準画像が、ＨＤＲ用の複数の静止画像の取得時に取り込まれたフレーム画像であっても良い。 In the present embodiment, an example in which a non-HDR reference image having the same exposure time as that of a frame image is created from a storage HDR mosaic image based on the input / output characteristics of the camera 210 has been described. It is not limited to this. For example, the non-HDR reference image may be a frame image captured when acquiring a plurality of still images for HDR.
また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用基準画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用基準画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。 Further, in the present embodiment, an example in which vertices where edges intersect is extracted as a feature amount when comparing the alignment frame image and the alignment reference image has been described. It is not limited. For example, for a predetermined area on the image, the contrast value in the area may be extracted as a feature amount from the alignment frame image and the alignment reference image, and compared between these images.
また、本実施の形態では、複数の静止画像を合成した合成画像としてフレーム画像よりも輝度のダイナミックレンジの広いＨＤＲ画像が生成される場合の例について説明したが、本発明はこれに限られるものではない。例えば、複数の静止画像の平均化によって、フレーム画像や元の静止画像よりも輝度の分解能の高い高分解能画像を上記合成画像として生成するものも本発明には含まれる。 In this embodiment, an example has been described in which an HDR image having a wider dynamic range of luminance than a frame image is generated as a combined image obtained by combining a plurality of still images. However, the present invention is not limited to this. is not. For example, the present invention includes a method of generating a high-resolution image having a higher luminance resolution than the frame image or the original still image as the composite image by averaging a plurality of still images.
１ 拡大観察装置
１００ システム本体部
１１０ ディスプレイ
１２１，１２９ 表示用縮小部
１２２ 表示用ＨＤＲモザイク記憶部
１２３ ライブ画像更新部
１２４ 保存用ＨＤＲモザイク記憶部
１２５ａ 非ＨＤＲ基準画像生成部
１２５ｂ 非ＨＤＲ基準画像記憶部
１２６ ライブ位置合わせ部
１２６ａ，１２６ｂ 位置合わせ用縮小部
１２６ｃ マッチング処理部
１２７ 静止画像取得部
１２８ ＨＤＲモザイク画像生成部
１２８ａ ＨＤＲ画像生成部
１２８ｂ 保存用位置合わせ部
１２８ｃ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用ＨＤＲモザイク画像
DESCRIPTION OF SYMBOLS 1 Magnification observation apparatus 100 System main-body part 110 Display 121,129 Display reduction part 122 Display HDR mosaic memory | storage part 123 Live image update part 124 Storage HDR mosaic memory | storage part 125a Non-HDR standard image generation part 125b Non-HDR standard image memory part 126 Live registration unit 126a, 126b Registration reduction unit 126c Matching processing unit 127 Still image acquisition unit 128 HDR mosaic image generation unit 128a HDR image generation unit 128b Storage registration unit 128c Image connection unit 131 Feature amount extraction unit 132 Relative Position determination unit 141 Comparison unit 142 Relative position calculation unit 143 Overlapping region estimation unit 200 Camera unit 210 Camera 220 Movable holder 221, 231, 232 Position adjustment knob 230 Movable stage 300 Console A1 Moving image A2 Table Use frame image A3 display for HDR mosaic image
Claims (6)
上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、
上記カメラを用いて２以上の静止画像を取得する静止画像取得手段と、
上記２以上の静止画像を合成した合成画像として、上記フレーム画像よりも輝度の分解能の高い高分解能画像及び／又は輝度のダイナミックレンジの広いＨＤＲ画像を生成する合成画像生成手段と、
上記合成画像を張り合わせて、上記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
上記モザイク画像の一部に対応する画像であって、上記フレーム画像と分解能又はダイナミックレンジが略同一の基準画像を保持する基準画像保持手段と、
上記フレーム画像及び上記基準画像から特徴量を抽出する特徴量抽出手段と、
上記特徴量の比較によって、上記フレーム画像及び上記基準画像間の相対位置を判定する相対位置判定手段と、
上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段とを備えたことを特徴とする撮像装置。 A movable stage that can be moved in two different directions with the inspection object placed thereon;
A camera that is arranged opposite to the movable stage, shoots the inspection object, and generates a moving image composed of a plurality of continuous frame images;
Still image acquisition means for acquiring two or more still images using the camera;
A combined image generating means for generating a high-resolution image having a higher luminance resolution than the frame image and / or an HDR image having a wide dynamic range of luminance as a combined image obtained by combining the two or more still images;
Mosaic image generation means for generating a mosaic image having a wider field of view than the actual field of view of the camera by laminating the composite image;
A reference image holding unit that holds a reference image that corresponds to a part of the mosaic image and that has substantially the same resolution or dynamic range as the frame image;
Feature amount extraction means for extracting feature amounts from the frame image and the reference image;
Relative position determination means for determining a relative position between the frame image and the reference image by comparing the feature amounts;
An imaging apparatus comprising: live image display means for updating a display position of the frame image with respect to the mosaic image based on the determination result of the relative position and displaying the moving image on the mosaic image. .
上記合成画像生成手段が、上記露光時間の異なる２以上の静止画像を合成することによって上記ＨＤＲ画像又は高分解能画像を生成することを特徴とする請求項１に記載の撮像装置。 The still image acquisition means acquires still images with different exposure times as the two or more still images,
The imaging apparatus according to claim 1, wherein the synthesized image generating unit generates the HDR image or the high resolution image by synthesizing two or more still images having different exposure times.
上記合成画像生成手段が、上記露光時間が略同一の複数の静止画像を合成することによって上記高分解能画像を生成することを特徴とする請求項１に記載の撮像装置。 The still image acquisition means acquires a still image having substantially the same exposure time as the two or more still images,
The imaging apparatus according to claim 1, wherein the synthesized image generating unit generates the high-resolution image by synthesizing a plurality of still images having substantially the same exposure time.
上記動画像を構成するフレーム画像を縮小して表示用フレーム画像を生成し、上記モザイク画像を縮小して表示用モザイク画像を生成する表示用縮小手段とを備え、
上記特徴量抽出手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像から特徴量を抽出し、
上記相対位置判定手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像間の相対位置を判定し、
上記ライブ画像表示手段が、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像をライブ画像として表示し、
上記モザイク画像生成手段が、上記位置合わせ用基準画像よりも高い解像度で上記ＨＤＲ画像及び上記モザイク画像間の相対位置を推定して当該ＨＤＲ画像を当該モザイク画像に張り合わせ、新たなモザイク画像を生成することを特徴とする請求項２に記載の撮像装置。 A position reduction means for reducing a frame image constituting the moving image to generate an alignment frame image, and reducing the reference image to generate an alignment reference image;
Reducing the frame image constituting the moving image to generate a display frame image, and reducing the mosaic image to generate a display mosaic image;
The feature amount extraction means extracts a feature amount from the alignment frame image and the alignment reference image;
The relative position determining means determines a relative position between the alignment frame image and the alignment reference image;
The live image display means displays a moving image constituted by the display frame image on the display mosaic image as a live image,
The mosaic image generating unit estimates a relative position between the HDR image and the mosaic image at a higher resolution than the reference image for alignment, and combines the HDR image with the mosaic image to generate a new mosaic image. The imaging apparatus according to claim 2.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008303533A JP5096297B2 (en) | 2008-11-28 | 2008-11-28 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008303533A JP5096297B2 (en) | 2008-11-28 | 2008-11-28 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010130408A true JP2010130408A (en) | 2010-06-10 |
| JP5096297B2 JP5096297B2 (en) | 2012-12-12 |
Family
ID=42330448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008303533A Expired - Fee Related JP5096297B2 (en) | 2008-11-28 | 2008-11-28 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5096297B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9007452B2 (en) | 2011-08-31 | 2015-04-14 | Keyence Corporation | Magnification observation device, magnification observation method, and magnification observation program |
| KR20160002458A (en) * | 2014-06-30 | 2016-01-08 | 세안기술 주식회사 | An image acquisition method for the measurement object when measuring the vibration displacement using camera image and image photographing assist device therefore |
| US9380229B2 (en) | 2014-02-28 | 2016-06-28 | Samsung Electronics Co., Ltd. | Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion |
| US9383569B2 (en) | 2011-10-14 | 2016-07-05 | Keyence Corporation | Magnification observation device |
| US9690088B2 (en) | 2013-12-27 | 2017-06-27 | Keyence Corporation | Magnifying observation apparatus, magnified image observing method and computer-readable recording medium |
| US9690089B2 (en) | 2013-12-27 | 2017-06-27 | Keyence Corporation | Magnifying observation apparatus, magnified image observing method and computer-readable recording medium |
| US9726873B2 (en) | 2013-12-27 | 2017-08-08 | Keyence Corporation | Microscope and magnifying observation method using the same |
| WO2020075932A1 (en) * | 2018-10-10 | 2020-04-16 | 엘지전자 주식회사 | Apparatus and method for generating three-dimensional image |
| WO2021140591A1 (en) * | 2020-01-08 | 2021-07-15 | オリンパス株式会社 | Image processing device, microscope system, and image processing method |
| WO2022037152A1 (en) * | 2020-08-20 | 2022-02-24 | 合肥维信诺科技有限公司 | Image acquisition method and system, and display panel |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08181903A (en) * | 1994-12-26 | 1996-07-12 | Olympus Optical Co Ltd | Image pickup device |
| JPH09322060A (en) * | 1996-05-28 | 1997-12-12 | Canon Inc | Image pickup device, image composing device and image composition system |
| JP2000078463A (en) * | 1998-08-28 | 2000-03-14 | Nikon Corp | Image fetching device |
| US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
| JP2001298667A (en) * | 2000-04-17 | 2001-10-26 | Olympus Optical Co Ltd | Image pickup device |
| JP2003010132A (en) * | 2001-07-02 | 2003-01-14 | Canon Inc | Ophthalmologic photographing device |
| JP2003175004A (en) * | 2001-12-10 | 2003-06-24 | Topcon Corp | Ophthalmic imaging device |
| JP2004180308A (en) * | 2002-11-22 | 2004-06-24 | Eastman Kodak Co | Method and apparatus for generating image used for expanded range panorama synthesis |
| JP2006023491A (en) * | 2004-07-07 | 2006-01-26 | Olympus Corp | Microscopic imaging apparatus and biological material observation system |
| JP2010074535A (en) * | 2008-09-18 | 2010-04-02 | Fujifilm Corp | Photographing apparatus and photographing method |
-
2008
- 2008-11-28 JP JP2008303533A patent/JP5096297B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08181903A (en) * | 1994-12-26 | 1996-07-12 | Olympus Optical Co Ltd | Image pickup device |
| JPH09322060A (en) * | 1996-05-28 | 1997-12-12 | Canon Inc | Image pickup device, image composing device and image composition system |
| US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
| JP2000078463A (en) * | 1998-08-28 | 2000-03-14 | Nikon Corp | Image fetching device |
| JP2001298667A (en) * | 2000-04-17 | 2001-10-26 | Olympus Optical Co Ltd | Image pickup device |
| JP2003010132A (en) * | 2001-07-02 | 2003-01-14 | Canon Inc | Ophthalmologic photographing device |
| JP2003175004A (en) * | 2001-12-10 | 2003-06-24 | Topcon Corp | Ophthalmic imaging device |
| JP2004180308A (en) * | 2002-11-22 | 2004-06-24 | Eastman Kodak Co | Method and apparatus for generating image used for expanded range panorama synthesis |
| JP2006023491A (en) * | 2004-07-07 | 2006-01-26 | Olympus Corp | Microscopic imaging apparatus and biological material observation system |
| JP2010074535A (en) * | 2008-09-18 | 2010-04-02 | Fujifilm Corp | Photographing apparatus and photographing method |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9007452B2 (en) | 2011-08-31 | 2015-04-14 | Keyence Corporation | Magnification observation device, magnification observation method, and magnification observation program |
| US9383569B2 (en) | 2011-10-14 | 2016-07-05 | Keyence Corporation | Magnification observation device |
| US9690089B2 (en) | 2013-12-27 | 2017-06-27 | Keyence Corporation | Magnifying observation apparatus, magnified image observing method and computer-readable recording medium |
| US9690088B2 (en) | 2013-12-27 | 2017-06-27 | Keyence Corporation | Magnifying observation apparatus, magnified image observing method and computer-readable recording medium |
| US9726873B2 (en) | 2013-12-27 | 2017-08-08 | Keyence Corporation | Microscope and magnifying observation method using the same |
| US9380229B2 (en) | 2014-02-28 | 2016-06-28 | Samsung Electronics Co., Ltd. | Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion |
| KR101680122B1 (en) * | 2014-06-30 | 2016-12-13 | 세안기술 주식회사 | A image photographing assist device for acquisition in imagers to the measurement object when measuring the vibration displacement using camera image |
| KR20160002458A (en) * | 2014-06-30 | 2016-01-08 | 세안기술 주식회사 | An image acquisition method for the measurement object when measuring the vibration displacement using camera image and image photographing assist device therefore |
| WO2020075932A1 (en) * | 2018-10-10 | 2020-04-16 | 엘지전자 주식회사 | Apparatus and method for generating three-dimensional image |
| KR20210029269A (en) * | 2018-10-10 | 2021-03-15 | 엘지전자 주식회사 | 3D image generating apparatus and method |
| KR102431989B1 (en) * | 2018-10-10 | 2022-08-12 | 엘지전자 주식회사 | 3D image generating apparatus and method |
| US11483539B2 (en) | 2018-10-10 | 2022-10-25 | Lg Electronics Inc. | Apparatus and method for generating three-dimensional image using optical system directing light in a dot pattern |
| WO2021140591A1 (en) * | 2020-01-08 | 2021-07-15 | オリンパス株式会社 | Image processing device, microscope system, and image processing method |
| WO2022037152A1 (en) * | 2020-08-20 | 2022-02-24 | 合肥维信诺科技有限公司 | Image acquisition method and system, and display panel |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5096297B2 (en) | 2012-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5096297B2 (en) | Imaging device | |
| JP5154392B2 (en) | Imaging device | |
| KR102306304B1 (en) | Dual camera-based imaging method and device and storage medium | |
| JP5096302B2 (en) | Imaging device | |
| KR101156991B1 (en) | Image capturing apparatus, image processing method, and recording medium | |
| US8570402B2 (en) | Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction | |
| JP5096301B2 (en) | Imaging device | |
| JP5096303B2 (en) | Imaging device | |
| WO2012132486A1 (en) | Imaging device, imaging method, program, and program storage medium | |
| JP2018107526A (en) | Image processing device, imaging apparatus, image processing method and computer program | |
| JP5091099B2 (en) | Imaging device | |
| JP2013232780A (en) | Image pickup device, control method, and program | |
| WO2019124289A1 (en) | Device, control method, and storage medium | |
| JP2010154306A (en) | Device, program and method for imaging control | |
| JP5149984B2 (en) | Imaging device | |
| JP5209100B2 (en) | Imaging device | |
| JP2005227931A (en) | Image processing apparatus | |
| JP2011135380A (en) | Image capturing apparatus, image sharing method, and image sharing program | |
| JP5209137B2 (en) | Imaging device | |
| JP2009152725A (en) | Automatic tracing apparatus and method | |
| JP5587083B2 (en) | Imaging apparatus and control method thereof | |
| JP2011135379A (en) | Imaging apparatus, imaging method and program | |
| JP5209139B2 (en) | Imaging device | |
| JP2008311907A (en) | Image data collating device, image composition device, and program | |
| JP5209138B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5096297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |