JP2007324770A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2007324770A
JP2007324770A JP2006150689A JP2006150689A JP2007324770A JP 2007324770 A JP2007324770 A JP 2007324770A JP 2006150689 A JP2006150689 A JP 2006150689A JP 2006150689 A JP2006150689 A JP 2006150689A JP 2007324770 A JP2007324770 A JP 2007324770A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
images
noise
pixel
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006150689A
Other languages
Japanese (ja)
Other versions
JP3974633B1 (en )
Inventor
Ryuichi Sawada
隆一 澤田
Original Assignee
Kyocera Corp
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus and an imaging method capable of acquiring images with no blurring and with suppressed noise, by the small number of sheets of the images under different expose condition. <P>SOLUTION: An imaging apparatus 10 photographs by an optical system 11 and an imaging element 12 a plurality of sheets of images including an image with a shorter exposure time, a higher resolution but much noise, and an image with a longer exposure time but a lower resolution and less noise. After signal processing at a signal processor 13, a CPU 14 locates and separates edges, blurring, and noise from a difference image of two sheets according to a threshold; and synthesizes the difference image of two sheets by changing a synthesis ratio for the image to form an image without blurring and with reduced noise. Changing the threshold according to the size of image data brings much more noise reduction. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像画像を合成することによりノイズを低減可能な撮像装置および撮像方法に関するものである。 The present invention relates can reduce imaging apparatus and an imaging method of noise by synthesizing the captured image.

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。 Recently, miniaturization of the camera advances, image stabilization techniques have been of interest as an imaging device.
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。 The miniaturization of the camera, decrease or hold properties in photography, as an imaging method, such as a mobile phone camera mounted, it is expanding freedom than the imaging, such as conventional imaging mode with one hand.

このように、撮影する際に、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて手振れが発生してしまう。 Thus, when taking, when photographing in various ways and no stable state, camera shake Te shake occurs when the shutter button is pressed.
たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。 For example, the shutter speed when it comes to taking a long darkness exposure time cases resulting in slower becomes blur are many.
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。 Also when the exposure time increased sensitivity to the shorter shot with exposure conditions, it becomes rough image will be noise riding.

この問題を解消すべく、手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。 In order to solve this problem, a device for camera shake correction, have also been installed in the compact camera is a single-lens reflex and recent.
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。 For example, it is inclined to correct the lens to fit the blur, but the optical image stabilizer is commercialized, it is very difficult to be incorporated in recent miniaturization and mobile phone cameras consideration of space manner to be.

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている(たとえば特許文献1参照)。 Further, as another method, such as an imaging apparatus capable of obtaining a free image blur from a plurality of images by image processing it has been proposed (e.g. see Patent Document 1).
特開平10−108079号公報 JP 10-108079 discloses

しかし、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。 However, in the imaging apparatus it has been proposed conventionally, there is the disadvantage that a memory which holds a plurality of images worth becomes expensive required.
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。 Further, in accordance with the number of shots increases, the processing time for correcting the positional deviation between images there is the disadvantage that becomes long occurring between imaging.

本発明の目的は、異なる露出条件の少ない画像枚数でブレのない、かつよりノイズを抑えた画像を得ることができ、処理時間を短縮することが可能な撮像装置および撮像方法を提供することにある。 An object of the present invention, without blurring a small number of images of different exposure conditions, and more noise can be obtained an image with suppressed, to provide an imaging apparatus and an imaging method which can shorten the processing time is there.

本発明の第1の観点は、異なる露出条件で撮影した複数枚の撮影画像を合成する機能を有する撮像装置であって、前記複数枚の画像間のブレ量を検出して補正する補正手段と、前記補正手段の検出結果を基に位置ズレを補正した複数枚の画像を合成する合成手段と、を有し、前記合成手段は位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成し、前記第1の画像は、ノイズはあるが解像度が高い画像を含む。 The first aspect of the present invention is an imaging apparatus having a function of combining a plurality of photographed images taken with different exposure conditions, and correcting means for detecting and correcting blur amount between the plurality of images , the detection result includes synthesizing means for synthesizing a plurality of images obtained by correcting the positional deviation based on, and the combining unit pixels than the first image and the second image obtained by correcting the positional deviation of the correction means to take a difference, increasing the mixing ratio of the first image if it is determined that pixel and the edges of the image exceeding a threshold value determined for each pixel in relation to the output level of the pixel of the first image each and, when the value of each pixel is less than the threshold value by combining the images by increasing the mixing ratio of the second image, the first image, the noise is including resolution high image.

好適には、前記第2の画像は、解像度は低いがノイズの少ない画像を含む。 Preferably, the second image, the resolution comprises the lesser image with little noise.

好適には、前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともG成分に基づいて行う。 Preferably, the combining means, of the data which is the output of the image sensor image synthesis is performed based on at least a G component.

好適には、前記合成手段は、画像の合成を輝度信号Y、色差信号U,Vのうち、少なくとも輝度信号に基づいて行う。 Preferably, the combining means, the luminance signal Y of image synthesis, the color difference signals U, among and V, performed on the basis of at least the luminance signal.

好適には、前記合成手段は、エッジからの距離が大きくなるに従い、長時間露光による前記第2の画像の比率を大きくし、エッジ部分は短時間露光による前記第1の画像の比率が大きくなるように設定する。 Preferably, the combining means in accordance with the distance from the edge increases, to increase the ratio of the second image by the long-time exposure, a ratio of the first image by the edge portion short exposure increases set to.

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、前記第1の画像の比率を大きくして画像を合成する。 Preferably, the combining means, when the distance from the edge is closer than the distance set in advance, to synthesize the image by increasing the ratio of the first image.

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、前記第2の画像の比率を大きくして画像を合成する。 Preferably, the combining means, when farther than the distance the distance from the edge is set in advance, to synthesize the image by increasing the ratio of the second image.

好適には、前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である。 Preferably, the threshold value to be set in said combining means is changeable by the gain ratio to the image signals determined by the exposure condition at the time of capturing an image.

好適には、前記補正手段は、画像間のブレ量を複数枚の画像の差分画像から抽出する。 Preferably, the correcting means extracts a blur amount between the image from the difference image of a plurality of images.

本発明の第2の観点は、異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、前記複数枚の画像間のブレ量を検出して補正する第1ステップと、検出結果を基に位置ズレを補正した複数毎の画像を合成する第2ステップと、を有し、前記第2ステップは、位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとるステップと、画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くして合成するステップと、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成するステップと、を含み、前記第1の画像は、ノイズはあるが解像度が高い画像を含む。 The second aspect of the present invention is an imaging method of synthesizing a plurality of captured images captured with different exposure conditions, the first step to detect and correct blur amount between the plurality of images, the detection the results and a second step of synthesizing an image for each of a plurality of correcting the positional deviation based on, and the second step, the first image and the difference for each pixel from the second image to correct the position deviation a step of taking, a higher mixing ratio of the first image if it is determined that pixel and the edges of the image value of each pixel exceeds a threshold determined in relation to the output level of the pixel of the first image includes a step of combining the steps when the value of each pixel is below the threshold for synthesizing an image by increasing the mixing ratio of the second image, the Te, the first image, the noise is the resolution including the high image.

本発明によれば、異なる露出条件の少ない画像枚数でブレのない、かつよりノイズを抑えた画像を得ることができ、処理時間を短縮することができる。 According to the present invention, different blur-free with less number of images having the exposure conditions, and it is possible to obtain an image with suppressed more noise, it is possible to shorten the processing time.

以下、本発明の実施形態を図面に関連付けて説明する。 Hereinafter, an embodiment of the present invention with reference to the drawings.

図1は、本発明に係る撮像装置の一実施形態を示すブロック図である。 Figure 1 is a block diagram showing an embodiment of an imaging apparatus according to the present invention.

本撮像装置10は、光学系11、撮像素子12、信号処理部13、制御および演算処理ユニットしてのCPU14、およびメモリ15を有している。 The imaging device 10, an optical system 11, the imaging device 12, and a signal processing unit 13, CPU 14 of the control and processing unit to, and a memory 15.

本実施形態の撮像装置10は、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する機能を有している。 The imaging device 10 of the present embodiment, the exposure time is short resolution is high but large image and exposure times of the noise is long but has a function of photographing a plurality of images including low resolution image with less noise.
そして、撮像装置10は、位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像の画素の出力レベルに関連して決まる閾値Thを越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、一方、画素毎の値が閾値Th以下の場合は第2の画像の合成比率を高くして、画像を合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。 Then, the imaging device 10 takes the first image and the difference for each pixel from the second image to correct the position deviation, the threshold value Th determined value of each pixel in relation to the output level of the pixels in the first image if it exceeds the higher the mixing ratio of the first image to determine the pixels and the edges of the image, whereas, when the value of each pixel is equal to or smaller than the threshold value Th by increasing the mixing ratio of the second image, It has a function of forming an image which aimed noise reduction without blur by combining images.

本実施形態の合成処理はセンサからのRGBベイヤー配列の出力(RAWデータ)に対して行うことができるが、撮影画像の信号処理後のYUV(Yは輝度信号、U,Vは色差信号)形式における輝度信号Yを画像合成に用いる場合にも適用できる。 Although synthesis process of the present embodiment can be carried out with respect to the output of the RGB Bayer arrangement from the sensor (RAW data), YUV after the signal processing of the photographed image (Y luminance signal, U, V color difference signal) format It can be applied to the case of using the luminance signal Y to the image synthesis in.

撮像素子12は、CCDまたはCMOSセンサ等により形成され、光学系11を通った被写体の光学像を受けて光電変換して信号処理部13に供給する。 The imaging device 12 is formed by a CCD or CMOS sensor or the like, and supplies to the signal processing unit 13 converts photoelectrically receiving an optical image of a subject through the optical system 11. 以下の説明では、撮像素子12はCCDにより形成されているものとして説明する。 In the following description, the image pickup device 12 is described as being formed by CCD.

本実施形態の光学系11と撮像素子12は、たとえばCPU14の制御の下、CCD感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影と、CCD感度を変えてノイズは多いが露出時間の短い撮影と、を行うことが可能である。 Optical system 11 and the imaging device 12 of the present embodiment, for example, under the control of the CPU 14, a low CCD sensitivity state, i.e. a slow long exposure shooting is less noise shutter speed, the noise is often changing the CCD sensitivity a short shot of the exposure time, it is possible to perform.

信号処理部13は、カラー補間、ホワイトバランス、YUV変換処理、圧縮、フィルタリング等の処理を行い、メモリ15への格納等を行う。 The signal processing unit 13 performs color interpolation, white balance, YUV conversion processing, compression, processing such as filtering, and stores this like in the memory 15.
本実施形態の信号処理部13は、光学系11と撮像素子12における各撮影データから輝度信号部分を抽出する機能と、輝度信号Yのノイズ成分を除去するフィルタリング処理機能を有する。 The signal processing unit 13 of this embodiment has a function of extracting the luminance signal portion from the photographic data in the optical system 11 and the imaging device 12, a filtering process functions to remove noise components of the luminance signal Y. フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。 Filtering performs processing with the filter coefficient to reduce the noise component without reducing the resolution. 一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。 The common ones such as a median filter or an edge-preserving filter is applicable.
信号処理部13は、各撮影データに応じたフィルタリング処理後の画像をメモリ15に格納する。 The signal processing unit 13 stores the image after the filtering process corresponding to each captured data in the memory 15.

CPU14は、露出制御を行うとともに、図示しない操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系11、撮像素子12、信号処理部13等を制御し、システム全体の調停制御を司るものである。 CPU14 may performs exposure control has an operation input such as an operation unit (not shown), in response to those inputs, to determine the operation of the entire system, the optical system 11, image sensor 12, controls the signal processor 13, etc. and, those responsible for arbitrating control of the entire system.

また、CPU14は、メモリ13に格納された信号処理部13の信号処理後のデータに基づいて、撮影画像間の位置ズレを検出・補正し、合成するに際して、合成する2枚の画像の差分画像を生成する。 Further, CPU 14, based on the data after the signal processing of the signal processing unit 13 stored in the memory 13, to detect and correct the positional deviation between the captured image, when synthesized, a difference image of two images to be combined to generate. この画像には2枚の画像のエッジ成分とブレ成分、およびノイズ成分が抽出される。 The two images of the edge component and shake component in the image, and the noise component is extracted.
CPU14は、差分画像から閾値Thを用いて、エッジ・ブレ成分とノイズ成分を切り分け、エッジもしくはブレと判断した部分はブレのない短時間露光の画像の比率を高くし、それ以外の部分はノイズの少ない長時間露光の画像の比率を高くして合成することにより、ブレがなく、かつノイズ低減をはかる。 CPU14 using the threshold value Th from the difference image, isolate edge blur and noise components, the edge or shake the determination portion has a higher ratio of the image of the short time exposure blur-free, other portions noise less prolonged by increasing the ratio of exposure of the images by combining, no blurring, and reduce noise. その際、CPU14は、短時間露光の画像の画素毎の出力レベルが大きいか小さいかで閾値Thを変える。 At that time, CPU 14 changes the threshold value Th at whether the output level of each pixel of the short-time exposure image is large or small.
この構成により、撮像装置10は、異なる露出条件の少ない画像枚数でブレのない、かつよりノイズを抑えた画像を生成することができる。 With this configuration, the imaging apparatus 10 may be different exposures without blurring the image number less condition, and generates an image with suppressed more noise.
より具体的には、CPU14は、異なる露出条件で撮影した複数枚画像間のブレ量を検出して補正する補正機能と位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像のその画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成する合成機能とを有している。 More specifically, CPU 14 may first image and the difference for each pixel from the second image obtained by correcting the correction function and the position deviation is corrected by detecting the amount of blur between the different exposure conditions a plurality images taken by It was taken, to increase the mixing ratio of the first image if it is determined that pixel and the edges of the image exceeding a threshold value determined for each pixel in relation to the output level of the pixels in the first image, the pixel If the value of each is less than the threshold value and a synthesizing function to synthesize an image by increasing the mixing ratio of the second image.

CPU14は、複数枚の撮影画像間の位置ずれを補正した後、複数画像のRAW画素データよりGr成分を抽出して差分をとり、この差分画像からエッジ、ブレ成分とノイズ成分を閾値により切り分ける。 CPU14, after correcting the positional deviation between the plurality of captured images, taking the differences by extracting the Gr components from RAW pixel data of a plurality of images, isolate from the difference image edge, the threshold blur and noise components.
CPU14は、たとえば補正機能において、位置ズレを補正処理した各画像の差分画像(短時間露出画像S1―長時間画像露出S2)の絶対値を算出する。 CPU14, for example, in correction function, calculates the absolute value of the difference image for each image obtained by correction the positional deviation (short exposure image S1- long image exposure S2).
この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。 This image is obtained by subtracting the image with a blur prolonged exposure from short exposure images, so that the image of the inclusive edge noise and vibration are generated.
CPU14は、エッジからの距離が大きくなるに従い、長時間露光のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露光の解像感が高い画像の比率が大きくなるように設定する。 CPU14, in accordance with the distance from the edge increases, to increase the proportion of long exposure of less noise image, the edge portion is resolution of short exposure setting as the ratio of the high image increases.
たとえば、エッジ部分およびエッジ近傍は、短時間露光の画像の比率を100%とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で50%ずつの比率とすればよい。 For example, the edge portion and the edge vicinity, and the ratio of the short exposure image and 100%, stepwise raising the ratio of the long-time exposure image with distance from the edge may be the ratio of 50% each in the noise portion .
そして、CPU14は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。 Then, CPU 14, when the distance from the edge is closer than the distance set in advance, the image synthesizing by increasing the proportion of short exposure images, if the distance from the edge is farther than a distance set in advance, a long time exposure image combining images by increasing the ratio.
CPU14は、処理後の画像データをメモリ15に格納する。 CPU14 stores the processed image data to the memory 15.

以下、異なる露出条件で撮影した複数枚の画像例、撮像素子の出力であるRAWデータのうち少なくもとG(r)成分を画像の合成に用いる理由等についてさらに詳細に説明する。 Hereinafter, it will be described in more detail why the like used example image of a plurality captured with different exposure conditions, the original G (r) component less of RAW data output from the imaging device to image synthesis.

図2(a)〜(c)は、異なる露出条件で撮影した2枚の画像とその合成の画像例を示す図である。 Figure 2 (a) ~ (c) is a diagram showing an image example of synthetic and two images captured with different exposure conditions.
図2(a)は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。 2 (a) is the exposure time is no shorter blurring, sensitivity indicates a noisy image for high. たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが感度を上げたため画像全体にノイズがのったものである。 For example the shutter speed is intended photographed with the high short-sensitivity conditions, the resolution is intended to high but the noise is superimposed on the entire image due to increase sensitivity.
図2(b)は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。 2 (b) is the exposure time is long blurring, sensitivity indicates an image with little noise due to the low. たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるがノイズの少ない画像である。 For example those photographed with the state of low long sensitive shutter speed, resolution is less image is but noisy is likely to be a camera shake less. 図2(c)は図2(a),(b)を合成した画像である。 FIG. 2 (c) FIG. 2 (a), an image obtained by synthesizing (b).
複数枚の画像は連続して撮影しても図2(a)〜(c)に示すように、撮影間で位置ズレを生じる。 The plurality of images as shown in FIG. 2 be taken continuously (a) ~ (c), resulting in positional deviation between shooting.

図3(a)〜(c)は、図2のように撮影した複数画像のRAW画像信号より、Gr成分を抽出して差分をとった画像を示している。 Figure 3 (a) ~ (c), from the RAW image signal of a plurality of images captured as shown in FIG. 2 shows an image taken of differences by extracting the Gr component. RAW画像信号は、アナログ段階で既にホワイトバランスのゲインがR・Bに対してかけられているため、G成分に比べてR・B成分はノイズが多い。 RAW image signal, the gain of the already white balance analog stage is multiplied relative to R · B, R · B component as compared with the G component noisy. そのため、本実施形態では、ノイズが少ないGr成分を抽出している。 Therefore, in this embodiment, it is extracted less noise Gr component.
ここではGr成分のみで差分を行っているが、その他のR、B、Gbで行ってもよい。 Here, although performing only the difference in Gr components, other R, B, may be performed by Gb. 本実施形態においては、複数枚の画像撮影間の位置ズレを補正した後で差分をとっており、短時間露光のエッジとノイズ、長時間露光のブレを含んだ画像となる。 In the present embodiment, it takes the difference of the positional deviation between the plurality of images captured after the correction, the short-time exposure of the edges and the noise, the image including the blur of the long exposure. この差分画像からエッジ・ブレ成分とノイズ成分を閾値Thにより切り分ける。 The edge blurring and noise components from the differential image carving by the threshold Th.

図4(a)〜(c)は、差分画像と合成における比率との関係を示す図であって、図4(a)はノイズ低減処理前の画像を、図4(b)は被写体部分を拡大した画像を、図4(c)は出力画像をそれぞれ示している。 Figure 4 (a) ~ (c) is a diagram showing the relationship between the ratio of the difference image synthesis, 4 (a) shows an image before the noise reduction process, the FIG. 4 (b) subject portion the enlarged image, FIG. 4 (c) shows an output image, respectively.

図4(a)〜(c)は図3の被写体部分を拡大したものである。 Figure 4 (a) ~ (c) is an enlarged view of the subject portion of Fig.
図4(b)に示すように、差分画像にはエッジ・ブレとノイズ成分が残る。 As shown in FIG. 4 (b), edge blur and noise components remain in the difference image. エッジから所定距離以上離れると比較的変化の少ない画像となる。 Upon leaving a predetermined distance or more from the edge is relatively changed little image.
図3の説明のように、差分画像は短時間露光のエッジとノイズ、長時間露光のブレを抽出した画像となる。 As in the description of FIG. 3, the difference image is the short time exposure of edge and noise image obtained by extracting the blur long exposure. これを画素毎にあらかじめ設定した閾値Thにより切り分け、信号が閾値よりも大きい画素はエッジ・ブレと判断し、短時間露光の合成比率を大きくする。 This cut the threshold Th set in advance for each pixel, larger pixels than the signal threshold, it is determined that edge blur, increasing the mixing ratio of the short time exposure.
信号が閾値Thよりも小さい画素はノイズと判断し、長時間露光の合成比率を大きく設定する。 Signal is judged smaller pixel noise than the threshold value Th, setting a large mixing ratio of the long exposure. 個々の画素で合成比率を設定して、その比率に基づいて2枚の画像の合成を行う。 Set the mixing ratio at each pixel, to synthesize the two images on the basis of the ratio. 背景の一様な面ではノイズが目立ちやすいが、この処理を行うことによりノイズの低減が図れる。 Noise is conspicuous is a uniform plane of background, but the reduction of noise can be reduced by performing this process.

しかし実際は、画像の中の明るいところと暗いところでは、ノイズによる出力レベルのばらつきの幅が異なる。 However, in practice, when a bright in the image and dark where the width of variations in the output level due to noise is different. 明るいところではばらつき幅が大きく、暗いところではばらつきの幅が比較的小さい。 Bright place in variation width is large, a relatively small width of variation in the dark.
したがって、上記の閾値Thが一様であると、暗いところではノイズ成分を切り分けることができたが、明るいところではエッジと見なしてしまうことがある。 Therefore, when the threshold Th is uniform, it was possible to isolate the noise component in a dark place, it may sometimes be regarded as an edge in a bright place.
たとえば、明るい壁などの一様な面では、差分画像の値が閾値を超えてしまいノイズをエッジと見なしてしまうことで、短時間露光の合成比率を高く設定してしまい、ノイズの低減効果が発揮できない。 For example, a uniform surface, such as a bright wall, that value of the difference image may be regarded as edge noise exceeds the threshold value, will set high the mixing ratio of the short time exposure, the effect of reducing the noise It can not be exhibited.

本実施形態においては、この課題に対し、画像の画素毎の出力レベルの大小を加味することで、その大小に応じて閾値を変えることで解決をする。 In the present embodiment, with respect to this problem, by considering the magnitude of the output level of each pixel of the image, the resolution by changing the threshold depending on the magnitude.

図5は、たとえば日なたと日陰のような、画像中に明るいところと暗いところがある場合の例を示す図である。 Figure 5, for example, such as sun and shade, is a diagram illustrating an example of a case where there is something bright place and a dark in the image.

図5中の線A上の画像データを見ると、明るい場所ではノイズによるばらつき幅が大きく、暗い場所ではばらつきの幅は小さい。 Looking at the image data on the line A in FIG. 5, a bright large variation range due to noise in a place, the width of variation less in a dark place.
ノイズの多い短時間露光の画像とブレが生じた長時間露光の画像の差分をとると、エッジ・ブレ成分とノイズ成分が残る。 Taking the difference between the long-time exposure image in which the image and blurring of more short exposure noise occurs, edge blur and noise components remain.
この差分画像より合成比率を設定する際、閾値ThAを一様に適用すると暗い部分のノイズは抑えることができるが、明るい部分ではノイズ成分を切り分けきれずに短時間露光の合成比率を高く設定してしまう。 The time of from the difference image to set the mixing ratio, it is possible to suppress the noise in the dark portion when uniformly applying a threshold ThA, set high and the mixing ratio of the short time exposure not completely isolate the noise component in a bright portion and will.
また、閾値ThAより大きいThBを適用すると、明るい部分のノイズ成分まで抑えることはできるが、エッジ・ブレ成分まで切り捨ててしまうことが起こる。 Further, when applying a threshold ThA larger ThB, although it is possible to suppress to the noise component of the bright portion, that happen to become truncated to edge blur component. この場合、ブレを除去しきれない。 In this case, not be removed blur.
そこで、本発明は短時間露光画像(第1の画像)を参照し、当該画素のデータの大小により閾値を変えることを特徴とする。 The present invention refers to the short-time exposure image (first image), characterized in that changing the threshold depending on the magnitude of the data of the pixel.

たとえばここでは、短時間露光画像の出力(RAWデータが10bitの場合)が0〜2047の場合と2048〜4095の2通りに分けるとする。 For example here, the output of the short time exposure image (if RAW data is 10bit) is to divide the two types of cases and 2048-4095 of 0 to 2047.
前者の場合には閾値をTh1とし、後者の場合には閾値をTh2とする。 In the former case the threshold value is Th1, in the latter case the threshold and Th2. このとき、それぞれの値はTh1<Th2となるような値にする。 In this case, each value to a value such that Th1 <Th2.
差分画像より画素毎に合成比率設定を行う際、短時間画像での対象画素の出力を参照し、その値が2047以下であれば閾値をTh1として、差分画像の対象画素のデータxとTh1を比較し、x>Th1のときは短時間画像の合成比率を高く、x<Th1であれば長時間露光の合成比率を高くする。 When performing the mixing ratio set for each pixel from the differential image, with reference to the output of the target pixel in a short time the image, the threshold value if the value is 2047 or less as Th1, the data x and Th1 of the target pixel of the difference image comparison, x> when the Th1 higher the mixing ratio of short image, to increase the mixing ratio of the long exposure if x <Th1.
一方、短時間画像での対象画素の値が2048以上であれば閾値をTh2とし、x>Th2のときは短時間画像の合成比率を高く、x<Th2であれば長時間露光の合成比率を高くする。 On the other hand, the threshold value if the value of the target pixel in a short time the image is 2048 or more and Th2, x> when the Th2 higher the mixing ratio of short image, the mixing ratio of the long exposure if x <Th2 higher.
この処理を差分画像の全画素に対して行い、合成比率を設定した上で、その比率に従って画像を行う。 This processing is performed for all pixels of the difference image, upon setting the mixing ratio, it performs an image in accordance with the ratio. ここでは短時間露光画像の出力に応じて閾値を2通りに分けたが、3通り以上の値に分けてもよい。 Although here in two ways the threshold value according to the output of the short time exposure image may be divided to a value of at least three ways.

次に、上記構成による動作を、図6のフローチャートに関連付けて説明する。 Next, the operation by the above configuration will be explained with reference to the flowchart of FIG.
まず、CPU14の制御の下、光学系11および撮像素子12を撮影するために駆動し、ステップST1において、CCD感度の高い状態、すなわちノイズが多いがシャッター速度の速い短時間露光撮影を行う。 First, under the control of the CPU 14, driven to shoot an optical system 11 and the imaging device 12, in step ST1, high CCD sensitivity state, i.e. noisy perform fast short-exposure shooting a shutter speed.
次に、ステップST2において、CCD感度を変えてノイズは少ないが露光時間の長い撮影を行う。 Next, in step ST2, the noise is small performs the long photographing exposure time by changing the CCD sensitivity.
ステップST3において、撮影データからGr成分を抽出し、ステップST4において、信号のノイズ成分を除去するフィルタ処理を行う。 In step ST3, the extracts Gr components from the imaging data, in step ST4, performs filter processing for removing noise components of the signal. フィルタ処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。 Filtering performs processing with the filter coefficient to reduce the noise component without reducing the resolution. 一般的なものにはメディアンフィルタやエッジ保存フィルタなどがある。 The common ones, and the like median filter or an edge-preserving filter.
次に、ステップST5において、ステップST4で処理された各画像の位置ズレを検出し、補正する。 Next, in step ST5, to detect the positional deviation of each image processed in step ST4, corrected. ここではズレを検出・補正する方法は問わない。 Here it does not matter the method of detecting and correcting the deviation.
ステップST6において、位置ズレを補正処理した各画像の差分画像(短時間露光画像S1―長時間画像露光S2)の絶対値を算出する。 In step ST6, and calculates the absolute value of the difference image for each image obtained by correction the positional deviation (short exposure image S1- long image exposure S2). この画像は短時間露光の画像から長時間露光のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。 This image is obtained by subtracting the image with a blur long exposure from short exposure images, so that the image of the inclusive edge noise and vibration are generated.
この差分画像を使って画素毎に合成比率を設定する。 Using this difference image sets the mixing ratio for each pixel.
そして、ステップST7において、短時間露光画像の対象画素データxが2047以下か2048以上かの判定を行い、その判定結果に応じて閾値としてTh1かTh2を適用する。 Then, in step ST7, the target pixel data x of the short-time exposure image is a judgment of whether 2047 or less or 2048 or more, applying a Th1 or Th2 as the threshold value in accordance with the determination result.
前者(2047以下)のときは、ステップST8において差分画像の対象画素の値ΔSと設定した閾値Th1を比較する。 When the former (2047 hereinafter), compares the threshold value Th1 is set to the value ΔS of the target pixel of the difference image in step ST8. 一方、後者(2048以上)の場合は、ステップST9において、差分画像の対象画素の値ΔSと設定した閾値Th2を比較する。 On the other hand, in the latter case (2048 or higher), in step ST9, comparing the threshold value Th2 is set to a value ΔS of the target pixel of the difference image.
そして、ΔSがTh1もしくはTh2より小さければ長時間露光の合成比率を高く設定する(ST10,ST11)。 Then, [Delta] S is set higher the mixing ratio of the long time exposure is smaller than Th1 or Th2 (ST10, ST11). 反対にΔSがTh1もしくはTh2より大きければ短時間露光の合成比率を高く設定する(ST12,ST13)。 ΔS Conversely to set higher the mixing ratio of the short time exposure is greater than Th1 or Th2 (ST12, ST13).
ステップST14において、この比率設定を全画素に対して行い、ステップST15において、この比率を基に2枚の画像の合成を行う。 In step ST14, it performs the ratio set for all the pixels, at step ST15, performs the synthesis of the two images based on this ratio.
この比率設定を全画素に対して行い(ST14)、この比率を基に2枚の画像の合成を行う(ST15)。 Perform this ratio set for all the pixels (ST14), to synthesize the two images based on this ratio (ST15).

なお、閾値Thは、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である。 The threshold Th can be changed by the gain ratio to the image signals determined by the exposure condition at the time of capturing an image.
これは、撮影時に設定されたセンサの信号に対するゲイン倍率によって、閾値Thの値を変えるというものである。 This is the gain factor for the signal of the set at the time of photographing sensor, is that changing the value of the threshold Th.
暗い被写体などでは、撮影時のISO感度が高く設定され、センサの出力に対するゲイン倍率が高くなる。 Etc. The dark object, is set higher the ISO speed at the time of shooting, the gain factor is increased to the output of the sensor. ゲインが高くなればノイズが多くなるため、ゲイン倍率に対応して差分画像によるエッジとノイズの切り分け閾値を変えるようにする。 Since the gain is more noise than the higher, to alter the segmentation threshold edge and noise due to the difference image corresponding to the gain factor.

なお、本実施形態では、2枚の画像を合成した場合について説明したが、3枚以上の画像を合成するようにしてもよい。 In this embodiment, a case has been described in which by combining the two images may be synthesized three or more images. たとえば3枚合成の場合、それぞれの露出条件に応じてエッジからの距離により合成における比率を設定すればよい。 For example, in the case of three synthetic, it may be set the ratio in the synthesis by the distance from the edge in accordance with the respective exposure conditions.

以上の説明のように、本実施形態によれば、異なる露出条件で撮影した複数の画像から、差分画像によるエッジ・ブレとノイズを閾値により切り分けて合成比率を変えることにより、ノイズ低減効果がはかれ、撮影画像間の位置ズレやブレにも対応した撮影が行える。 As described above, according to the present embodiment, a plurality of images captured under different exposure conditions, by changing the mixing ratio of the edge blur and noise due to the difference image isolate by the threshold, the noise reduction effect is it also performed photographing corresponding to the positional deviation and blurring between captured images. 従来技術に対して、メモリ容量の低減、処理時間の短縮、部品実装スペースの確保、コストの削減と大きな効果が得られる。 The prior art, reduction of the memory capacity, shorten the processing time, ensuring of the component mounting space and reduce the great effect of the cost obtained.

なお、以上の説明において、合成処理は撮像素子(センサ)からのRGBベイヤー配列の出力(RAWデータ)に対して行うが、撮影画像の信号処理後のYUV形式における輝度信号Yを画像合成に用いる場合にも適用できる。 In the above description, the synthesis process is performed on the output of the RGB Bayer arrangement from the imaging element (sensor) (RAW data), using the luminance signal Y in the YUV format after the signal processing of the photographed image to the image combining It can also be applied to the case.

この場合、CPU14は、たとえば補正機能において、信号処理部13で処理された露出条件の異なる各撮影の輝度信号Yの差(短時間露出画像YS―長時間画像露出YL)を算出し、位置ズレとブレ量を検出するように構成される。 In this case, CPU 14, for example calculates the correction function, the difference between the luminance signal Y of each different imaging of exposure conditions that have been processed by the signal processing section 13 (short exposure image YS- long image exposure YL), misalignment configured to detect shake amount and. この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。 This image is obtained by subtracting the image with a blur prolonged exposure from short exposure images, so that the edges of the image including the blur is generated.

撮影画像のYUV形式について説明する。 It will be described YUV format of the captured image.
この形式で扱われる信号は、輝度信号Y、色差信号U、および色差信号Vである。 Signals handled in this format, the luminance signal Y, color difference signals U, and the color difference signal V. これらの信号YUVのうち、解像度を決める要素としてY信号成分が大きく影響する。 Of these signals YUV, Y signal component greatly influences as a factor that determines the resolution.
画像圧縮の原理としてJPEGなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Yの画像合成を行うことによりノイズの大きな低減効果が図ることができる。 Such as JPEG as the principle of image compression, because the human eye, such as compression by reducing the color difference signal is insensitive with respect to relatively color information, is possible to achieve significant reduction of the noise by performing an image synthesis of the luminance signal Y it can.
この場合、YUVのY成分のみでノイズ除去を行うことで処理時間の短縮を図っている。 In this case, thereby shortening the processing time by performing only the noise removal Y component of YUV.

また位置ズレやブレに関して、本実施形態では複数画像の差分画像から抽出しているが、パターンマッチングなどにより正確なズレ量を検出して合成比率を変化させたりすることも可能である。 Also with respect to positional displacement or vibration, in the present embodiment are extracted from the difference image of a plurality of images, it is also possible to or changing the detected and combining ratio accurate shift amount by pattern matching.

本発明に係る撮像装置の一実施形態を示すブロック図である。 Is a block diagram showing an embodiment of an imaging apparatus according to the present invention. 異なる露出条件で撮影した複数毎の画像例を示す図である。 Is a diagram illustrating an image example of each of a plurality captured with different exposure conditions. 短時間露出で撮影したY信号成分の画像、長時間露出で撮影したY信号成分の画像、および複数画像のY信号成分の差分画像を示す図である。 Photographed Y signal component of the image in a short time exposure is a diagram showing a differential image of the Y signal component of the long exposure taken with Y signal component of the image, and multiple images. 差分画像と合成における比率との関係を示す図である。 Is a diagram showing the relationship between the ratio of the difference image synthesis. 日なたと日陰のような、画像中に明るいところと暗いところがある場合の例を示す図である。 Such as sun and shade, is a diagram illustrating an example of a case where there is something bright place and a dark in the image. 本実施形態の動作を説明するためのフローチャートである。 It is a flowchart for explaining the operation of this embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

10・・・撮像装置、11・・・光学系、12・・・撮像素子、13・・・信号処理部、14・・・CPU、15・・・メモリ。 10 ... imaging apparatus, 11 ... optical system, 12 ... imaging device, 13 ... signal processing unit, 14 ... CPU, 15 ... memory.

Claims (10)

  1. 異なる露出条件で撮影した複数枚の撮影画像を合成する機能を有する撮像装置であって、 An imaging apparatus having a function of combining a plurality of photographed images taken with different exposure conditions,
    前記複数枚の画像間のブレ量を検出して補正する補正手段と、 And correcting means for detecting and correcting blur amount between the plurality of images,
    前記補正手段の検出結果を基に位置ズレを補正した複数枚の画像を合成する合成手段と、を有し、 Anda combining means for combining a plurality of images obtained by correcting the positional deviation on the basis of the detection result of the correction means,
    前記合成手段は位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成し、 Said combining means takes a first image and the difference for each pixel from the second image to correct the position deviation, and if the difference exceeds a threshold value determined for each pixel in relation to the output level of the pixel of the first image the higher the mixing ratio of the first image to determine the pixels and the edges of the image, if the value of each pixel is below the threshold value the image synthesized by high mixing ratio of the second image,
    前記第1の画像は、ノイズはあるが解像度が高い画像を含む 撮像装置。 The first image, the noise is but an imaging apparatus including a resolution higher image.
  2. 前記第2の画像は、解像度は低いがノイズの少ない画像を含む 請求項1記載の撮像装置。 The second image, the resolution is low but the image pickup apparatus of claim 1 further comprising an image with little noise.
  3. 前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともG成分に基づいて行う 請求項1または2記載の撮像装置。 The combining means, of the data which is the output of the image sensor image synthesis, the image pickup apparatus according to claim 1 or 2, wherein performed based on at least a G component.
  4. 前記合成手段は、画像の合成を輝度信号Y、色差信号U,Vのうち、少なくとも輝度信号に基づいて行う 請求項1または2記載の撮像装置。 It said combining means, a luminance signal synthesizing image Y, the color difference signals U, among and V, at least performed based on the luminance signal imaging apparatus according to claim 1 or 2 wherein.
  5. 前記合成手段は、エッジからの距離が大きくなるに従い、長時間露光による前記第2の画像の比率を大きくし、エッジ部分は短時間露光による前記第1の画像の比率が大きくなるように設定する 請求項1から4のいずれか一に記載の撮像装置。 Said combining means in accordance with the distance from the edge increases, to increase the ratio of the second image by the long exposure is set such that the ratio of the first image by the edge portion short exposure increases the imaging apparatus according to any of claims 1 4.
  6. 前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、前記第1の画像の比率を大きくして画像を合成する 請求項5記載の撮像装置。 The combining means, when the distance from the edge is closer than the distance set in advance, the imaging apparatus according to claim 5, wherein the combining images by increasing the ratio of the first image.
  7. 前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、前記第2の画像の比率を大きくして画像を合成する 請求項5または6記載の撮像装置。 It said combining means, if farther than the distance the distance from the edge is set in advance, the imaging apparatus according to claim 5 or 6, wherein combining images by increasing the ratio of the second image.
  8. 前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である 請求項1から7のいずれか一に記載の撮像装置。 The threshold value to be set in synthesizing means, the imaging device according to any one of claims 1 to 7 can be changed by the gain ratio to the image signals determined by the exposure condition at the time of capturing an image.
  9. 前記補正手段は、画像間のブレ量を複数枚の画像の差分画像から抽出する 請求項1から8のいずれか一に記載の撮像装置。 Wherein the correction means, the image pickup apparatus according to any one of claims 1 to 8 for extracting a shift amount between images from the difference image of a plurality of images.
  10. 異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、 An imaging method of synthesizing a plurality of captured images captured with different exposure conditions,
    前記複数枚の画像間のブレ量を検出して補正する第1ステップと、 A first step of detecting and correcting blur amount between the plurality of images,
    検出結果を基に位置ズレを補正した複数毎の画像を合成する第2ステップと、を有し、 And a second step of synthesizing an image for each of a plurality of correcting the positional deviation on the basis of the detection result, and
    前記第2ステップは、 The second step,
    位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとるステップと、 A step of obtaining the difference for each pixel from the first image and the second image obtained by correcting the positional deviation,
    画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くして合成するステップと、 A step higher to synthesize the mixing ratio of the first image to determine the pixels and the edges of the image if it exceeds a threshold value for each pixel is determined in relation to the output level of the pixel of the first image ,
    画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成するステップと、を含み、 If the value of each pixel is less than the threshold value includes a step of synthesizing an image by increasing the mixing ratio of the second image, and
    前記第1の画像は、ノイズはあるが解像度が高い画像を含む 撮像方法。 The first image is an imaging method noise is including image resolution high but.
JP2006150689A 2006-05-30 2006-05-30 An imaging apparatus and an imaging method Expired - Fee Related JP3974633B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006150689A JP3974633B1 (en) 2006-05-30 2006-05-30 An imaging apparatus and an imaging method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006150689A JP3974633B1 (en) 2006-05-30 2006-05-30 An imaging apparatus and an imaging method
US12159587 US8115818B2 (en) 2005-12-27 2006-12-15 Imaging device and image processing method of same
PCT/JP2006/325061 WO2007077719A8 (en) 2005-12-27 2006-12-15 Imaging device and its image processing method

Publications (2)

Publication Number Publication Date
JP3974633B1 JP3974633B1 (en) 2007-09-12
JP2007324770A true true JP2007324770A (en) 2007-12-13

Family

ID=38556253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006150689A Expired - Fee Related JP3974633B1 (en) 2006-05-30 2006-05-30 An imaging apparatus and an imaging method

Country Status (1)

Country Link
JP (1) JP3974633B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284001A (en) * 2008-05-19 2009-12-03 Sanyo Electric Co Ltd Image processing device, image shooting device, and image processing method
JP2010141657A (en) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd Imaging apparatus and imaging method
JP2011199786A (en) * 2010-03-23 2011-10-06 Olympus Corp Apparatus, method and program for processing image
JP2011239266A (en) * 2010-05-12 2011-11-24 Ricoh Co Ltd Image data processor and image data processing method
JP2012032217A (en) * 2010-07-29 2012-02-16 Hitachi-Ge Nuclear Energy Ltd Visual inspection device and creation method of video for visual inspection
US8300110B2 (en) 2008-12-19 2012-10-30 Sanyo Electric Co., Ltd. Image sensing apparatus with correction control
US8305468B2 (en) 2009-02-26 2012-11-06 Olympus Corporation Image acquisition apparatus and image acquisition program
US8373776B2 (en) 2008-12-12 2013-02-12 Sanyo Electric Co., Ltd. Image processing apparatus and image sensing apparatus
EP2639769A2 (en) 2012-03-16 2013-09-18 Fujitsu Limited Image synthesis device and computer program for image synthesis
US8730318B2 (en) 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
US8818127B2 (en) 2011-04-08 2014-08-26 Panasonic Intellectual Property Corporation Of America Image processing apparatus and image processing method
US8842187B2 (en) 2012-02-24 2014-09-23 Kabushiki Kaisha Toshiba Image processing device, image processing method, and solid-state imaging device
KR101605129B1 (en) 2009-11-26 2016-03-21 삼성전자주식회사 Digital photographing apparatus, controlling method thereof and recording medium for the same

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284001A (en) * 2008-05-19 2009-12-03 Sanyo Electric Co Ltd Image processing device, image shooting device, and image processing method
US8223223B2 (en) 2008-12-12 2012-07-17 Sanyo Electric Co., Ltd. Image sensing apparatus and image sensing method
JP2010141657A (en) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd Imaging apparatus and imaging method
US8373776B2 (en) 2008-12-12 2013-02-12 Sanyo Electric Co., Ltd. Image processing apparatus and image sensing apparatus
US8300110B2 (en) 2008-12-19 2012-10-30 Sanyo Electric Co., Ltd. Image sensing apparatus with correction control
US8305468B2 (en) 2009-02-26 2012-11-06 Olympus Corporation Image acquisition apparatus and image acquisition program
KR101605129B1 (en) 2009-11-26 2016-03-21 삼성전자주식회사 Digital photographing apparatus, controlling method thereof and recording medium for the same
JP2011199786A (en) * 2010-03-23 2011-10-06 Olympus Corp Apparatus, method and program for processing image
JP2011239266A (en) * 2010-05-12 2011-11-24 Ricoh Co Ltd Image data processor and image data processing method
JP2012032217A (en) * 2010-07-29 2012-02-16 Hitachi-Ge Nuclear Energy Ltd Visual inspection device and creation method of video for visual inspection
US8730318B2 (en) 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
US8818127B2 (en) 2011-04-08 2014-08-26 Panasonic Intellectual Property Corporation Of America Image processing apparatus and image processing method
US8842187B2 (en) 2012-02-24 2014-09-23 Kabushiki Kaisha Toshiba Image processing device, image processing method, and solid-state imaging device
EP2639769A2 (en) 2012-03-16 2013-09-18 Fujitsu Limited Image synthesis device and computer program for image synthesis
US9007483B2 (en) 2012-03-16 2015-04-14 Fujitsu Limited Image synthesis device and computer program for image synthesis for synthesizing a plurality of images of different exposure times

Also Published As

Publication number Publication date Type
JP3974633B1 (en) 2007-09-12 grant

Similar Documents

Publication Publication Date Title
US20090096897A1 (en) Imaging Device, Image Processing Device, and Program
US20070014554A1 (en) Image processor and image processing program
US20080112644A1 (en) Imaging device
JP2000069352A (en) Method and device for image input
JP2008271240A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
US20100026823A1 (en) Imaging Device and Image Processing Method of Same
JP2004343483A (en) Device and method for correcting camera-shake and device for detecting camera shake
US20100053349A1 (en) Imaging Apparatus and Imaging Method
US20020180876A1 (en) Intelligent motion blur minimization
US20110037877A1 (en) Image processing method, image processing apparatus, computer readable medium, and imaging apparatus
US20070285521A1 (en) Image sensing apparatus, and control method, program, and storage medium of image sensing apparatus
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
US7853134B2 (en) Imaging device with image blurring reduction function
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP2008175995A (en) Imaging apparatus
US20100149384A1 (en) Image Processing Apparatus And Image Sensing Apparatus
US20110205403A1 (en) Imaging device and automatic focus adjustment method
US20100073529A1 (en) Imaging apparatus and imaging method
JP2007053617A (en) Exposure value operation method and imaging apparatus
JP2007124292A (en) Imaging apparatus, imaging method, and imaging program
JP2009177503A (en) Imaging apparatus
JP2007300581A (en) Moving image photographing apparatus and moving image photographing program
JP2008099159A (en) Imaging apparatus, framing control method and program
JP2008118348A (en) Electronic camera and program
US20080181506A1 (en) Imaging apparatus

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees