New! View global litigation for patent families

JP2014039169A - Image processor, image processing method, and program - Google Patents

Image processor, image processing method, and program Download PDF

Info

Publication number
JP2014039169A
JP2014039169A JP2012180529A JP2012180529A JP2014039169A JP 2014039169 A JP2014039169 A JP 2014039169A JP 2012180529 A JP2012180529 A JP 2012180529A JP 2012180529 A JP2012180529 A JP 2012180529A JP 2014039169 A JP2014039169 A JP 2014039169A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
motion
compensation
estimation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012180529A
Other languages
Japanese (ja)
Inventor
Yasunobu Hitomi
康宣 人見
Hiroaki Takahashi
宏彰 高橋
Tomoo Mitsunaga
知生 光永
Masaki Handa
正樹 半田
Tomotsune Masuno
智経 増野
Haruka Asai
晴香 浅井
Makoto Yoshimura
真 吉村
Yasushi Shibata
康史 柴田
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/50Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles
    • H04N5/23229Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles comprising further processing of the captured image without influencing the image pickup process
    • H04N5/23235Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles comprising further processing of the captured image without influencing the image pickup process by using a single image in order to influence the resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles
    • H04N5/23248Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23254Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles
    • H04N5/23248Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23264Vibration or motion blur correction
    • H04N5/23267Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2355Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by increasing the dynamic range of the final image compared to the dynamic range of the electronic image sensor, e.g. by adding correct exposed portions of short and long exposed images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • H04N5/35536Control of the dynamic range involving multiple exposures
    • H04N5/35572Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields
    • H04N5/35581Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Abstract

PROBLEM TO BE SOLVED: To reduce noise and to generate a highly dynamic range image and the like by synthesizing images where a motion compensation image by highly precise motion estimation is applied.SOLUTION: A moving amount between images is estimated, motion compensation processing where one image is position-adjusted to another image is performed, a motion compensation image is generated, and an image where noise is reduced by synthesis processing of the motion compensation image and the positioned image is generated. A motion compensation image generation section generates the motion compensation image using a selected image selected in accordance with a previously specified image selection standard. An image processor includes a motion estimation appropriateness determination section for determining whether the input image is an appropriate image suitable for motion estimation or not, for example. Only when the input image is the appropriate image, the input image is stored in a frame memory as a reference image applied for motion estimation.

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。 The present disclosure relates to an image processing apparatus, image processing method, and a program. 特に、複数画像の合成処理により、例えば画像のノイズ低減処理やダイナミックレンジ拡大処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。 In particular, the synthesis process of the plurality of images, for example, an image processing apparatus for performing noise reduction processing and the dynamic range expansion processing of the image, and an image processing method, and a program.

例えば、画像のノイズ低減処理(NR:Noise Reduction)を実行する場合、連続撮影された複数枚の画像を利用した合成処理が行われる。 For example, image noise reduction processing (NR: Noise Reduction) If the run, using a plurality of images continuously captured synthesis process is performed. すなわち、連続撮影画像から同一被写体の撮影画素領域である対応画素を検出し、これらの複数の対応画素の画素値を利用して出力画像の画素値を算出する処理が行われる。 That is, to detect the corresponding pixel is an imaging pixel region of the same subject from continuous shooting image, processing for calculating the pixel value of the output image using pixel values ​​of the plurality of corresponding pixel.

具体的には、例えば、 More specifically, for example,
撮影時刻t−1の先行撮影画像、 Taking time t-1 of the preceding photographed image,
撮影時刻tの後続撮影画像、 Subsequent captured image of the imaging time t,
これらの2枚の撮影画像を利用して、後続撮影画像のノイズ低減を行う場合、以下のような処理を実行する。 Using these two photographed images, if the noise reduction of the subsequent captured image, executing the following processing.

まず、撮影時刻t−1の先行撮影画像を時刻tの後続撮影画像の位置に併せる処理を行なう。 First, the process of combining the preceding photographed image capturing time t-1 to the position of the subsequent photographed image at the time t. これは、連続撮影された2つの画像は、手振れなどにより画像位置が移動している場合が多く、このずれを修正するための位置合わせである。 This two images continuously photographed, often the image position moves due to camera shake, which is aligned to correct this deviation. この処理は、動き補償(または位置補償)と呼ばれ、位置合わせのための移動を行った画像を動き補償(MC:Motion Compensation)画像と呼ぶ。 This process is called a motion compensation (or position compensation), motion compensation image subjected to movement for alignment: referred to as (MC Motion Compensation) image.

動き補償画像(MC画像)を生成するためには、まず、撮影時刻t−1の先行撮影画像と、撮影時刻tの後続撮影画像との2つの画像間の動き量や方向を推定する動き推定を行う。 To produce a motion compensation image (MC image), first, a preceding photographed image photographed at time t-1, the estimated motion estimation the motion amount and direction between the two images with a subsequent photographed image photographing time t I do. この動き推定情報に基づいて、撮影時刻t−1の先行撮影画像を、撮影時刻tの後続撮影画像の画像位置に併せる動き補償処理(MC)を行なう。 Based on the motion estimation information, the previous captured image of the imaging time t-1, performs motion compensation processing (MC) for combining the image position of the subsequent photographed image photographing time t.

撮影時刻t−1の先行撮影画像に対する動き補償によって生成した動き補償画像(MC画像)は、撮影時刻tの後続撮影画像の対応画素位置に同一被写体が撮影された画像となる。 Motion compensation image generated by the motion compensation for photographing time t-1 of the preceding photographed image (MC image) is an image of the same subject in the corresponding pixel positions of the subsequent captured image was captured in the photographing time t. これらの2つの画像の対応画素の2つの画素値を利用して補正画素値を算出する。 It utilizes two pixel values ​​of the corresponding pixels in the two images to calculate the correction pixel value. 例えば撮影時刻tの後続撮影画像の画素にノイズが含まれている場合、撮影時刻t−1の先行撮影画像の画素値を利用することで、ノイズを軽減することができる。 For example, if it contains noise pixel of the subsequent photographed image capturing time t, by using the pixel values ​​of the imaging time t-1 of the preceding captured image, it is possible to reduce noise.

なお、複数画像を利用したノイズ低減等の画像処理手法について開示した従来技術として、例えば、特許文献1(特開2009−194700)、あるいは特許文献2(特開2009−290827号公報)等がある。 As the prior art discloses an image processing technique such as noise reduction using a plurality images, for example, Patent Document 1 (JP 2009-194700), or and the like Patent Document 2 (JP 2009-290827) .

このような複数の連続撮影画像に基づく出力画像の生成処理は、上記のノイズ低減処理のみならず、低解像度の画像から高解像度の画像を生成する超解像処理(SR:Super Resolution)と呼ばれる画像の高解像化処理においても利用される。 Generation processing of the output image based on such a plurality of continuously captured images, in addition to the aforementioned noise reduction processing only, super-resolution processing for generating a high-resolution image from a low resolution image is called a (SR Super Resolution) also used in the high-resolution processing of the image. あるいは、異なる露光時間の連続撮影画像を用いたダイナミックレンジ拡大画像の生成処理等においても利用される。 Alternatively, it is also used in the generation processing of the dynamic range expanded image using continuous photographed images having different exposure times.

図を参照して、連続撮影画像を利用した画像補正処理のシーケンスについて説明する。 Referring to FIG, it will be described a sequence of image correction process using the continuous shooting images. 図1は、例えば動画像などの連続した入力画像に対して、動き推定処理と、画像位置合わせとしての動き補償画像の生成、さらに、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。 Figure 1, for example for successive input images, such as moving images, a motion estimation process, generation of the motion compensation image as an image registration, further sequential signal processing such as noise reduction, in the case of executing processing sequence is a diagram illustrating a.

時間軸に沿って撮影された画像が順次、画像処理装置、例えば撮像装置の信号処理部に入力される。 Images taken along the time axis is sequentially the image processing apparatus, for example, it is input to the signal processing unit of the imaging apparatus. 時間t−1の撮影画像である入力画像t−1が信号処理部に入力されると、信号処理部は、ステップS01aにおいて、1つ前の撮影画像である格納画像t−2をフレームメモリ(FM)から取得して、この格納画像t−2と入力画像t−1を利用した処理を実行する。 When the input image t-1 is a photographic image of time t-1 is inputted to the signal processing unit, signal processing unit, in step S01A, 1 previous stored image t-2 frame memories is photographed image ( acquired from FM), it executes a process using the input image t-1 and the storage image t-2.
具体的には、これら2つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。 Specifically, these two image motion estimation process using the process of generating the motion-compensated image based on the motion estimation result, further performs signal processing such as noise reduction processing using the motion compensation image.
なお、動き補償画像の生成処理においては、例えば格納画像t−2の画像位置を移動させて入力画像t−1の画像位置に合わせる位置合わせが行われる。 In the generation processing of the motion compensation image, alignment is performed to align for example by moving the image position of the stored images t-2 to the image position of the input image t-1.

さらに、ステップS01bにおいて、入力画像t−1をフレームメモリ(FM)に格納する。 Further, in step S01B, it stores the input image t-1 to the frame memory (FM).
なお、図1には、ステップS01aを時間軸の時刻t−1より左に記載しているが、ステップS01aの処理、ステップS01bの処理は、いずれも時刻t以後に実行される処理である。 Incidentally, in FIG. 1, it has been described in left step S01A from time t-1 of the time axis, the processing in step S01A, the process of step S01b is a process both of which are executed at time t after.

次に、新たな入力画像tが信号処理部に入力されると、信号処理部は、ステップS02aにおいて、1つ前の撮影画像である格納画像t−1をフレームメモリ(FM)から取得して、この格納画像t−1と入力画像tを利用した処理を実行する。 Then, when a new input image t is input to the signal processing unit, signal processing unit, in step S02a, it acquires the stored image t-1 is the immediately preceding captured image from the frame memory (FM) , it executes the process using the stored image t-1 and the input image t.
具体的には、これら2つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。 Specifically, these two image motion estimation process using the process of generating the motion-compensated image based on the motion estimation result, further performs signal processing such as noise reduction processing using the motion compensation image.
さらに、ステップS02bにおいて、入力画像tをフレームメモリ(FM)に格納する。 Further, in step S02B, it stores the input image t in the frame memory (FM).

信号処理部は、この一連の処理を順次実行して、各画像に対するノイズ低減等の処理を行ない、処理結果を出力、あるいは記憶部に格納するといった処理を行なう。 The signal processing unit, the series of processes are sequentially executed, performs processing such as noise reduction for each image, a processing result output, or performs processing such stored in the storage unit.

しかし、このように連続撮影画像を2つ組み合わせて処理を実行する場合、動き推定に適さない画像が存在した場合、その画像に対する処理精度が低下するのみならず、隣接画像に対する信号処理の処理精度も低下させてしまうという問題が発生する。 However, when executing processing in this manner the sequences of shots two combination, if the image which is not suitable for motion estimation were present, not only the processing accuracy for the image is reduced, the signal processing for the adjacent image processing precision is a problem that also would reduce.
例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難となり、正しい動き推定が実行されない。 For example, is fit not blurred area is large image focus on the subject becomes difficult corresponding region search between the front and rear of the captured image, it is not correct motion estimation performed.

このように正確な動き推定が困難となる不適切な画像を入力した場合の問題点について図2を参照して説明する。 Thus accurate motion estimation is described with reference to FIG problems when inputting inappropriate images difficult.
図2において、例えば入力画像t−1が動き推定に適さない不適切画像であるとする。 2, for example, an input image t-1 is assumed to be inappropriate images unsuitable for motion estimation.

この場合、図2に示すステップS01aの処理、すなわち、 In this case, the process of step S01a of FIG. 2, i.e.,
フレームメモリ(FM)格納画像t−2と、入力画像t−1を適用した動き推定、動き補償画像の生成、その後のノイズ低減等の信号処理の精度が低下する。 A frame memory (FM) storing image t-2, the motion estimation according to the input image t-1, generating a motion compensation image, subsequent precision signal processing noise reduction, etc. decreases.
さらに、図2に示すステップS02aの処理、すなわち、 Furthermore, the process of step S02a of FIG. 2, i.e.,
フレームメモリ(FM)格納画像t−1と、入力画像tを適用した動き推定、動き補償画像の生成、その後のノイズ低減等の信号処理の精度が低下する。 A frame memory (FM) storing image t-1, motion estimation according to the input image t, generation of the motion compensation image, subsequent precision signal processing noise reduction, etc. decreases.
このように、1つの不適格画像の存在によって、2つの連続画像に対する処理が不正確となり、例えば信号処理としてノイズ低減処理を実行する場合、誤った処理によってノイズの低減されない2つの連続画像が生成され出力されてしまうといった事態が発生する。 Thus, by the presence of one of the disqualified image, processing for two consecutive images is inaccurate, for example, when performing noise reduction processing as signal processing, two consecutive images are not reduced in noise by incorrect treatment product is a situation occurs, such as would be output.

なお、前述したように、2つの画像間の動き推定に基づいて生成した動き補償画像を適用した画像信号処理としては、ノイズ低減処理(NR)の他、例えば超解像処理(SR)、高ダイナミックレンジ画像(HDR画像)生成処理などがある。 As described above, as the image signal processing using the motion compensation image generated based on the motion estimation between two images, other noise reduction processing (NR), for example, super-resolution processing (SR), high dynamic range image (HDR image) generation processing, and the like.
これらの様々な信号処理においても、図2を参照して説明した問題は共通に存在し、1つの不適切画像によって複数の出力画像の品質を低下させるという問題がある。 In these various signal processing, present on the shared problems described with reference to FIG. 2, there is a problem of lowering the quality of the plurality of output images by one of the inappropriate images.

なお、高ダイナミックレンジ画像(HDR画像)生成処理については、例えば特許文献3(特開2008−160881号公報)に記載されている。 Note that the high dynamic range image (HDR image) generation process, for example, described in Patent Document 3 (JP 2008-160881).

特開2009−194700号公報 JP 2009-194700 JP 特開2009−290827号公報 JP 2009-290827 JP 特開2008−160881号公報 JP 2008-160881 JP

本開示は、例えば上記問題点に鑑みてなされたものであり、正確な動き推定が困難である画像が入力された場合においても、その影響を最小限にとどめ、より品質の高い処理画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。 The present disclosure is, for example, been made in view of the above problems, in a case where the image is difficult accurate motion estimation is also input, to minimize the impact, it generates a higher quality processed image possible and the image processing apparatus, an image processing method, and an object thereof is to provide a program.

本開示の第1の側面は、 The first aspect of the present disclosure,
異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定する動き推定部と、 A motion estimation unit that estimates a motion amount between two images of the first image and the second image is a photographed image of different timing,
前記動き推定部の推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、 Based on the estimated motion of the motion estimator, a motion-compensated image generating unit for generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image,
前記動き補償画像と、前記第1画像との合成処理により合成画像を生成する信号処理部を有し、 And the motion compensation image has a signal processor for generating a composite image by combining the processing of the first image,
前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置にある。 The motion-compensated image generation unit is an image processing apparatus for generating a motion compensation image using the selected image selected in accordance with image selection criteria previously defined.

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the image processing apparatus, the input image has a determined motion estimation preferred degree determination unit that determines whether a suitable qualified image motion estimation, the motion estimation preferred degree determination unit, only when the input image is a qualified image, executes a control for storing the input image in the frame memory as a reference image applied to the motion estimation, the motion estimation unit, said frame It performs motion estimation according to the reference image stored in the memory, the motion-compensated image generation unit generates the motion compensated image using the reference image.

さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the motion estimation unit, a determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image , based on the determination information, in the case where the input image is determined to be a qualified image, performs motion estimation of applying the reference image and input image.

さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the motion estimation unit, a determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image , based on the determination information, in the case where the input image is determined to be ineligible image not suitable for motion estimation, without executing a motion estimation of applying the reference image and input image, the motion estimation unit a motion amount correcting unit for outputting when the motion estimation is not performed, the exception motion amount determined according to the algorithm defined in advance in the motion-compensated image generation unit in.

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the signal processing unit, as the determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image , based on the determination information, it performs signal processing on the input image.

さらに、本開示の画像処理装置の一実施態様において、前記動き推定好適度判定部は、前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the motion estimation preferred degree determination unit, blurred areas in the input image, the saturation pixel region, at least one large region of the noise, or at the time of input image photographing camera motion or the input image by applying one of the indicators of the luminance range of the input image to perform the determination process whether or not the suitable image in the motion estimation.

さらに、本開示の画像処理装置の一実施態様において、前記動き推定好適度判定部は、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う。 Further, in an embodiment of the image processing apparatus of the present disclosure, the motion estimation preferred degree determination unit, as the input image, to enter the continuous shot image set in different exposure times, the effective pixel values ​​of each exposure image an image with a wider effective pixel area than the area control is performed to a reference image stored in the frame memory.

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the image processing apparatus further images stored in the frame memory as a reference image, to match the image position of the input image to the image position of the reference image run into a motion estimation direction switching unit that performs switching processing of the motion estimation direction.

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、 Further, in an embodiment of the image processing apparatus of the present disclosure, the image processing apparatus further as the input image, different exposure times to enter the set continuous shooting image, exposure ratio correction for performing the exposure ratio correction has a section, the motion estimation unit is configured to perform motion estimation between successive photographed images subjected to the exposure ratio correction at the exposure ratio correction unit calculates the motion amount between the continuously captured images, said motion compensated image generation unit, by using the motion amount, to generate a motion compensated image to match one image position of the continuous shooting image to the other image location,
前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する。 The signal processing unit performs the motion compensation image, a synthesis processing of a reference image stored in the frame memory.

さらに、本開示の画像処理装置の一実施態様において、前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the reference image stored in the frame memory is an image of a predetermined exposure time set in advance, the exposure ratio correction unit, said input image, said frame run the exposure ratio correction between the reference images stored in memory, the motion estimation unit executes the motion estimation between the input image and the reference image subjected to the exposure ratio correction in the exposure ratio correction unit.

さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する。 Further, in an embodiment of the image processing apparatus of the present disclosure, the motion estimation unit calculates a motion vector between are set to the same exposure time image, and inputs the calculated motion vector of the motion estimator, the the linear operation on a motion vector, a motion vector calculation unit for calculating a motion vector to be applied to generate motion compensation image in the motion-compensated image generation unit.

さらに、本開示の第2の側面は、 Further, a second aspect of the present disclosure,
画像処理装置において実行する画像処理方法であり、 An image processing method performed in an image processing apparatus,
動き推定部が、異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定する動き推定ステップと、 A motion estimation step motion estimation unit, estimating motion amount between two images of the first image and the second image is a photographed image of different timing,
動き補償画像生成部が、前記動き推定ステップにおいて推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成ステップと、 Motion compensation image generating unit based on the motion amount estimated in the motion estimation step, the motion compensated image generation step of generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image When,
信号処理部が、前記動き補償画像と、前記第1画像との合成処理により合成画像を生成する信号処理ステップを実行し、 Signal processing unit performs the motion compensation image, a signal processing step of generating a synthesized image by synthesizing processing between the first image,
前記動き補償画像生成ステップは、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理方法にある。 The motion-compensated image generating step, in the image processing method of generating a motion compensated image using the selected selection image according to the image selection criteria previously defined.

さらに、本開示の第3の側面は、 Furthermore, a third aspect of the present disclosure,
画像処理装置において画像処理を実行させるプログラムであり、 A program for executing the image processing in the image processing apparatus,
動き推定部に、異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定させる動き推定ステップと、 The motion estimator, a motion estimation step of estimating a motion amount between two images of the first image and the second image is a photographed image of different timing,
動き補償画像生成部に、前記動き推定ステップにおいて推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成させる動き補償画像生成ステップと、 The motion-compensated image generating unit, based on the motion amount estimated in the motion estimation step, the motion compensated image generation step of generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image When,
信号処理部に、前記動き補償画像と、前記第1画像との合成処理により合成画像を生成させる信号処理ステップを実行し、 The signal processing unit performs the motion compensation image, a signal processing step of generating a composite image by combining the processing of the first image,
前記動き補償画像生成ステップにおいては、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成させるプログラムにある。 Wherein in the motion compensation image generating step, in a program to generate a motion compensated image using the selected selection image according to the image selection criteria previously defined.

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。 The program of the present disclosure is, for example, a variety of program code for executing an information processing apparatus or a computer system, a storage medium for providing a computer-readable format, the program that can be provided by the communication medium. このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。 By providing such a program in a computer-readable format, processing corresponding to the program on the information processing apparatus or the computer system.

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。 Other objects, features, and advantages of the present disclosure will become apparent from the following detailed description based on embodiments of the present disclosure and the appended drawings described below. なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 A system in this specification is a logical set of plural apparatuses and is not limited to apparatuses of respective configurations are in the same casing.

本開示の一実施例の構成によれば、高精度な動き推定による動き補償画像を適用した画像の合成処理により、高品質なノイズ低減や高ダイナミックレンジ画像等を生成する構成が実現される。 According to an embodiment of the present disclosure, by the synthesis processing of the image to which the motion compensation image with high precision motion estimation, configured to generate a high quality noise reduction and high dynamic range images and the like are realized.
具体的には、画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。 Specifically, between the image motion amount it is estimated, and performs motion compensation processing to match one of the images at the position of the other image to generate a motion compensated image, the aligned image with the motion compensation image the synthesis process to generate an image that has been subjected to such noise reduction. 動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。 Motion-compensated image generation unit generates the motion compensated image using the selected selection image according to the image selection criteria previously defined. 例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。 For example, the input image has a determined motion estimation preferred degree determination unit that determines whether a suitable qualified image motion estimation, only when the input image is a qualified image, to apply the input image to the motion estimation stored as a reference image in the frame memory.
これらの処理により、高精度な動き推定による動き補償画像を適用した画像の合成処理により、品質の高いノイズ低減や高ダイナミックレンジ画像を生成することが可能となる。 By these processes, the synthesis processing of the image to which the motion compensation image with high precision motion estimation, it is possible to generate a high noise reduction and high dynamic range image quality.

動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。 Motion estimation process to a continuous input image such as a moving image, generates the motion compensated image, the signal processing such as noise reduction sequential diagrams for explaining the processing sequence for executing. 動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。 Motion estimation process to a continuous input image such as a moving image, generates the motion compensated image, the signal processing such as noise reduction sequential diagrams for explaining the processing sequence for executing. 本開示の処理に従って、動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。 According to the process of the present disclosure, the motion estimation process to a continuous input image such as a moving image, generates the motion compensated image, the signal processing such as noise reduction sequential diagrams for explaining the processing sequence for executing. 信号処理としてのノイズ低減処理構成について説明する図である。 It is a diagram illustrating a noise reduction processing configuration as the signal processing. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 高ダイナミックレンジ画像の生成処理について説明する図である。 Is a diagram for describing generation processing of a high dynamic range image. 高ダイナミックレンジ画像生成処理とノイズ低減処理を併せて実行する構成例について説明する図である。 It is a diagram for explaining a configuration example of executing in conjunction with high dynamic range image generation processing and the noise reduction processing. 高ダイナミックレンジ画像生成処理とノイズ低減処理を併せて実行する構成例について説明する図である。 It is a diagram for explaining a configuration example of executing in conjunction with high dynamic range image generation processing and the noise reduction processing. 本開示の画像処理装置の一実施例において、入力する画像シーケンスの例について説明する図である。 In an embodiment of the image processing apparatus of the present disclosure, it is a diagram illustrating an example of an image sequence to be input. 本開示の画像処理装置の一実施例において実行する画像合成処理について説明する図である。 Is a diagram illustrating an image synthesis process performed in an embodiment of the image processing apparatus of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理について説明する図である。 Is a diagram for describing processing of an image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。 It is a diagram for explaining the configuration and processing of the image processing apparatus according to an embodiment of the present disclosure. 本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。 It is a diagram showing a flowchart illustrating a processing sequence of the image processing apparatus according to an embodiment of the present disclosure. 本開示の画像処理装置の構成例について説明する図である。 It is a diagram illustrating a configuration example of an image processing apparatus of the present disclosure.

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。 Hereinafter, the image processing apparatus of the present disclosure with reference to the drawings, an image processing method, and program details will be described. なお、説明は以下の項目に従って行う。 The description will be carried out in accordance with the following items.
1. 1. 画像に対する動き推定の適否判定を実行する処理例について 1−1. 1-1 processing example for executing the propriety determination of motion estimation for image. 処理の概要について 1−2. For an overview of the processing 1-2. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例1) The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 1)
1−3. 1-3. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例2) The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 2)
1−4. 1-4. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例3) The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 3)
1−5. 1-5. 動き推定好適度判定処理の詳細について 1−6. 1-6 details of the motion estimation preferred determination process. 連続撮影画像の重ね合わせによるノイズ低減を行う実施例(実施例4) Example of performing noise reduction by superposition of successive photographed images (Example 4)
1−7. 1-7. 高ダイナミックレンジ画像の生成処理を行なう実施例(実施例5) Example of performing a process of generating a high dynamic range image (Example 5)
2. 2. 複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について 2−1. Noise reduction by synthesis of a plurality of images, for example to perform together a high dynamic range processing 2-1. ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について 2−2. And noise reduction processing, a general configuration example and problems to run along a high dynamic range processing 2-2. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要 2−3. Summary of processing executed in conjunction noise reduction and high dynamic range image produced in accordance with the present disclosure 2-3. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例(実施例6) Example executing together the noise reduction and high dynamic range image produced in accordance with the present disclosure (Example 6)
2−4. 2-4. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例(実施例7) Example executing together the noise reduction and high dynamic range image produced in accordance with the present disclosure (Example 7)
2−5. 2-5. 露光時間の同じ画像同士で動き推定を行う実施例(実施例8) Example for motion estimation in the same image each other exposure time (Example 8)
3. 3. 画像処理装置の全体構成例について 4. The overall arrangement of an image processing apparatus 4. 本開示の構成のまとめ Summary of the configuration of the present disclosure

[1. [1. 各画像に対する動き推定の適否判定を実行し、動き推定に適した画像を選択適用した信号処理を実行する実施例について] Run the appropriateness determination of the motion estimation for each image, for example to perform a selected application signal processing an image suitable for the motion estimation '
まず、本開示の画像処理装置の第1実施例として、画像に対する動き推定の適否判定を実行して、動き推定に適切な画像を選択適用した動き推定を実行し、その動き推定結果を利用したノイズ低減等の信号処理を実行する実施例について説明する。 First, a first embodiment of an image processing apparatus of the present disclosure, by executing the appropriateness determination of the motion estimation for image, executes the selected application motion estimation appropriate image to the motion estimation, utilizing the motion estimation result for example performs signal processing such as noise reduction will be described.

[1−1. [1-1. 処理の概要について] For an overview of the process]
図3は、本実施例における処理シーケンスを示す図である。 Figure 3 is a diagram showing a processing sequence in this embodiment. 先に説明した図1、図2と同様、例えば動画像などの連続した入力画像に対して、動き推定処理と、画像位置合わせとしての動き補償画像の生成、さらに、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。 Figure 1 described above, similarly to FIG. 2, for example for successive input images, such as moving images, a motion estimation process, generation of the motion compensation image as an image registration, further signal processing such as noise reduction sequentially, it is a diagram illustrating a processing sequence when executing.

時間軸に沿って撮影された画像が順次、画像処理装置、例えば撮像装置の信号処理部に入力される。 Images taken along the time axis is sequentially the image processing apparatus, for example, it is input to the signal processing unit of the imaging apparatus. 時間t−1の撮影画像である入力画像t−1が信号処理部に入力されると、信号処理部は、ステップS11aにおいて、1つ前の撮影画像である格納画像t−2をフレームメモリ(FM)から取得して、この格納画像t−2と入力画像t−1を利用した処理を実行する。 When the input image t-1 is a photographic image of time t-1 is inputted to the signal processing unit, signal processing unit, in step S11a, 1 previous stored image t-2 frame memories is photographed image ( acquired from FM), it executes a process using the input image t-1 and the storage image t-2.
具体的には、これら2つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。 Specifically, these two image motion estimation process using the process of generating the motion-compensated image based on the motion estimation result, further performs signal processing such as noise reduction processing using the motion compensation image.

ここで、入力画像t−1が、例えば、「ぼけた画像」であるなど、正確な動き推定が困難な画像であるとする。 Here, the input image t-1, for example, and so is a "blurred image", the accurate motion estimation is a difficult image. 以下、このような動き推定が困難な画像を不適格画像と呼ぶ。 Hereinafter, difficult images such motion estimation is referred to as disqualified image.

ステップS11aにおける処理は、この不適格画像である入力画像t−1を利用して実行される。 Processing in step S11a is performed using an input image t-1 is the unfit image. この結果、ステップS11aの処理結果として得られる処理画像は、目的とする処理効果が得られない画像となる可能性が高い。 As a result, the processed image obtained as the processing result of step S11a, it is likely that the image can not be obtained treatment effect of interest. 例えばノイズ低減処理を実行する構成では、このステップS11aにおいて生成した画像は十分なノイズ低減がなされない画像となる可能性が高くなる。 For example, in the configuration that executes a noise reduction process, the image generated in step S11a is more likely that sufficient noise reduction is non image made.

先に図2を参照して説明した処理例では、この不適格画像である入力画像t−1をフレームメモリに格納し、その次の信号処理(図2のステップS02a)においても利用していた。 In the processing example previously described with reference to FIG. 2, and stores the input image t-1 is the unfit image in the frame memory, it was also utilized in the next signal processing (step S02a in FIG. 2) . 従って、図2に示すステップS02aにおける処理画像も目的とする処理効果、例えばノイズ低減効果が得られない画像となってしまう。 Therefore, the processing effect of the processed image is also interest in step S02a of FIG. 2, for example, the noise reduction effect becomes Never image obtained.

しかし、この図3に示す実施例では、図3のステップS11bに示すように、入力画像が動き推定に適さない不適格画像であると判定した場合、フレームメモリ(FM)に対する格納処理を中止する。 However, in the embodiment shown in FIG. 3, as shown in step S11b of FIG. 3, if the input image is determined to be ineligible image which is not suitable for motion estimation, it stops the storing process for the frame memory (FM) .
この結果、フレームメモリ(FM)には、1つ前の画像、すなわち格納画像t−2がそのまま格納され続けることになる。 As a result, the frame memory (FM) would immediately preceding image, that is, it stores the image t-2 continues to be stored as it is. この格納画像t−2は不適格画像ではなく、良好な動き推定が可能な画像である。 The stored image t-2 is not a disqualified image is an image that can be better motion estimation.

図3に示すステップS12aでは、新たな入力画像tと、フレームメモリ(FM)に格納された格納画像t−2を利用した処理を実行する。 In step S12a shown in FIG. 3, to perform an input image t new, utilizing the stored images t-2 stored in the frame memory (FM) process.
具体的には、これら2つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。 Specifically, these two image motion estimation process using the process of generating the motion-compensated image based on the motion estimation result, further performs signal processing such as noise reduction processing using the motion compensation image. これらの2つの画像は、不適格画像ではなく、精度の高い動き推定が可能な画像である。 These two images are not the disqualified image is an image that can be highly accurate motion estimation. 従って、高精度な動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行することが可能となる。 Therefore, highly accurate motion estimation process, generation processing of the motion compensation image based on the motion estimation result further, it is possible to perform signal processing such as noise reduction processing using the motion compensation image.

このように、先に説明した図2に示す処理では、ステップS01a、ステップS02aの2つの処理ブロックの処理がいずれも、1つの不適格画像(入力画像t−1)の影響によって影響を受け、2つの出力画像が例えば十分なノイズ低減のなされないエラー画像となってしまう。 Thus, in the processing shown in FIG. 2 described above, the step S01A, any processing of the two processing blocks in step S02a is affected by the influence of one ineligible image (input image t-1), two output image becomes an error image that is not made for instance of sufficient noise reduction.
しかし、図3に示す処理では、不適格画像(入力画像t−1)の影響によって影響を受けるのは、ステップS11aの1つの処理ブロックのみとなり、ステップS12aの処理には影響を及ぼさない。 However, in the process shown in FIG. 3, affected by the influence of the disqualified image (input image t-1) is, becomes only one processing block in step S11a, it does not affect the processing of step S12a.

例えば各ステップにおいて実行する信号処理がノイズ低減処理である場合、ノイズ低減が不十分となる画像は、ステップS11aの1つの処理ブロックにおいて生成した画像のみとなり、ステップS12aの処理では、良好なノイズ低減のなされた画像を生成して出力することが可能となる。 For example, when the signal processing executed in each step is the noise reduction processing, image noise reduction is insufficient, becomes only image generated in one processing block in step S11a, the process of step S12a, good noise reduction it is possible to made the image generated by the output of.

画像処理装置において実行する信号処理がノイズ低減処理である場合の信号処理部の構成例を図4に示す。 An example of a configuration of a signal processing unit when the signal processing performed in the image processing device is a noise reduction processing shown in FIG.
画像処理装置の信号処理部は、図4に示すように、新たな入力画像101と、過去入力画像を、入力画像の画像位置に合わせた動き補償画像102を入力する。 The signal processing unit of the image processing apparatus, as shown in FIG. 4, a new input image 101, the past input image, and inputs the motion compensated image 102 to match the image position of the input image.
静止領域検出部111は、例えばこれらの2つの画像を比較して、静止被写体を撮影した静止領域を抽出して、静止被写体画素領域の抽出情報を持つ静止領域マップ103を生成する。 Still region detection unit 111, for example, by comparing these two images, to extract a still region obtained by photographing a still subject, generating still area map 103 having the extracted information of the still object pixel region. この静止領域判定処理は、例えば入力画像101と動き補償画像102とを所定の画素領域からなる画素ブロック間で比較して、ブロック間の類似度判定処理に基づいて実行することができる。 The still area determination process, for example, an input image 101 and the motion compensated image 102 in comparison between pixel blocks having a predetermined pixel region, it may be performed on the basis of the similarity determination processing between blocks.

画素値補正部112は、静止領域103に基づいて静止領域と判定された入力画像101の画素の画素値を、入力画像101と動き補償画像102の対応画素を用いて補正する。 Pixel value correction unit 112, the pixel values ​​of the pixels of the input image 101 is determined as the still region based on the still area 103 is corrected using the corresponding pixel of the input image 101 and the motion compensated image 102. 具体的には、例えば入力画像101と動き補償画像102の対応画素の画素値の加算平均値を補正画素値として設定する。 More specifically, for example, setting the average value of the pixel value of the corresponding pixel of the input image 101 and the motion compensated image 102 as the corrected pixel value. 動き領域と判定された画素については、補正を実行することなく、入力画像101の画素値をそのまま出力画素とする。 For the pixels which are determined to motion area, without performing the correction, and directly outputs the pixel a pixel value of the input image 101.
このようにして生成した処理画像104は、ノイズをの低減された画像として出力される。 Such processed image 104 generated in the is output as a reduced image noise.

なお、図4に示す例は、信号処理としてノイズ低減を実行する場合の信号処理構成例である。 The example shown in FIG. 4 is an example signal processing configuration for executing the noise reduction as the signal processing. 本開示の処理は、このようなノイズ低減(NR)処理のみならず、例えば解像度を高める超解像(SR)処理、あるいは複数の異なる露光時間の画像を組み合わせて生成する高ダイナミックレンジ(HDR)画像の生成処理等、様々な信号処理を実行する構成において適用可能である。 Process of the present disclosure, such noise reduction (NR) not only processing for, for example, increase the resolution super-resolution (SR) process, or a plurality of different high dynamic range to produce a combination of image exposure time (HDR) generation processing of the image, is applicable in a configuration to perform various signal processing.

[1−2. [1-2. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例1)] The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 1)
図5以下を参照して、本開示の第1実施例として、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例について説明する。 Referring to FIG. 5 below, a first embodiment of the present disclosure describes embodiments of an image processing apparatus that performs processing based on the appropriateness determination of the motion estimation.
図5は、実施例1に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。 Figure 5 is a diagram illustrating a main part configuration and processing of an image processing apparatus for performing image processing in accordance with Example 1.

図5に示す画像処理装置は、フレームメモリ201、動き推定好適度判定部202、動き推定部203、動き補償画像生成部205、信号処理部206、フレームメモリ格納画像更新制御スイッチ207を有する。 The image processing apparatus shown in FIG. 5 includes a frame memory 201, motion estimation preferred degree determination unit 202, the motion estimation unit 203, a motion compensated image generating unit 205, signal processing unit 206, a frame memory stores the image update control switch 207.
図5に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なPC等の装置の一部構成に相当する。 Configuration shown in FIG. 5, for example an imaging device for photographing a moving image or a still image, or equivalent to the image processing part construction of viable PC devices and the like.
図5には示していないが、画像処理装置は例えばプログラム実行機能を有するCPU等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。 Although not shown in FIG. 5, but the image processing apparatus includes a memory, which stores a program to be executed in the control unit, the control unit including a CPU or the like having, for example, a program execution function. 図5の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。 Action taken the configuration of FIG. 5, for example, it is executed as processing in accordance with the program executed in the control unit.

図5に示す画像処理装置は、連続撮影画像に対する処理を実行する。 The image processing apparatus shown in FIG. 5 performs the processing for successive captured images. 例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。 For example the noise reduction processing, the super-resolution processing, a signal processing such as a high dynamic range image generation processing.
これらの信号処理は、図5に示す信号処理部206において実行する。 These signal processing is performed in the signal processing unit 206 shown in FIG.
信号処理部206の出力画像である処理画像215が、ノイズ低減処理、超解像処理、高ダイナミックレンジ化、これらの少なくともいずれかの処理がなされた画像である。 Output process image 215 is an image signal processing unit 206, the noise reduction processing, the super-resolution processing, high dynamic range, it is these images at least one of the processing has been performed.

図5に示す入力画像211として、連続撮影された画像が順次入力される。 As an input image 211 shown in FIG. 5, an image continuously captured are sequentially inputted.
入力画像211は、動き推定好適度判定部202に入力される。 The input image 211 is input to the motion estimation preferred degree judgment unit 202.
動き推定好適度判定部202は、入力画像211の解析を実行して、入力画像211が、正確な動き推定処理を実行可能な画像であるか否かを判定する。 Motion estimation preferred degree determination unit 202 determines to perform the analysis of the input image 211, the input image 211, whether it is accurate motion estimation process capable of executing image.

この動き推定好適度判定処理は、例えば画像に含まれるぼけ領域の比率等に基づいて実行される。 The motion estimation preferred determination process is performed based on the ratio of the blurred area or the like contained for example in an image. 例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難みとなり、正しい動き推定が実行されない。 Such as the corresponding area search, such as the fit is not blurred area is large image focus is on the subject between before and after the shot image becomes difficult only, not correct motion estimation performed.
なお、画像に対する動き推定好適度の判定処理の処理態様としては様々な処理態様があり、この具体例については、後段で説明する。 As the processing mode determination process of motion estimation preferred degree for the image has various processing modes, this embodiment will be described later.

動き推定好適度判定部202は、入力画像211が正確な動き推定処理を実行可能な画像であると判定した場合、フレームメモリ201に格納されている参照画像を更新する制御情報を出力する。 Motion estimation preferred degree determination unit 202, when the input image 211 is determined to be a viable image accurate motion estimation process, and outputs the control information for updating the reference image stored in the frame memory 201. すなわち、更新フラグ[0]を設定した参照画像更新情報218を出力する。 That is, outputs the reference image update information 218 sets the update flag [0].
一方、入力画像211が正確な動き推定処理を実行可能な画像でないと判定した場合、フレームメモリ201に格納されている参照画像を更新せず、現状の参照画像をそのまま維持する制御情報を出力する。 On the other hand, when the input image 211 determined not to be executable images accurate motion estimation process, without updating the reference image stored in the frame memory 201, and outputs the control information to maintain the current reference image . すなわち、更新フラグ[1]を設定した参照画像更新情報218を出力する。 That is, outputs the reference image update information 218 sets the update flag [1].
フレームメモリ格納画像更新制御スイッチ207は、更新フラグの値[0],[1]の値に応じて切り替えられる。 The frame memory stores image update control switch 207, the value of the update flag [0] is switched according to the value of [1].

なお、フレームメモリ201に格納される参照画像は、動き補償画像の生成元となる画像であり、動き補償画像生成部205は、この「参照画像」を利用して、参照画像を入力画像の画像位置に合わせた動き補償画像を生成する。 The reference image stored in the frame memory 201 is an image from which you want to generate a motion compensated image, the motion compensation image generating unit 205, by utilizing the "reference image" of the input image a reference picture generating a motion compensation image in conformity with a position.

このように、本実施例1の画像処理装置においては、入力画像211が正確な動き推定処理を実行可能な画像であり、更新フラグの値が[0]である場合、入力画像211を、新たな参照画像としてフレームメモリ201に格納する処理を行なう。 Thus, in the image processing apparatus of the embodiment 1 is capable of executing image accurate motion estimation process input image 211, if the value of the update flag is [0], the input image 211, the new It performs a process of storing in the frame memory 201 as a Do reference image.
一方、入力画像211が正確な動き推定処理を実行可能な画像でなく、更新フラグの値が[1]である場合、入力画像211をフレームメモリ201に格納せず、フレームメモリ201に格納された参照画像をそのまま維持する処理を行なう。 On the other hand, the input image 211 is not a viable image accurate motion estimation process, when the value of the update flag is [1], without storing the input image 211 in the frame memory 201, stored in the frame memory 201 perform the process of maintaining the reference image as it is.

フレームメモリ201に格納された参照画像は、動き推定部203において、入力画像211と比較され、2つの画像の位置ずれに基づく画像間の動き量212を算出する動き推定処理に適用される。 Reference picture stored in the frame memory 201, the motion estimation unit 203 is compared with the input image 211 is applied to the motion estimation process of calculating the motion amount 212 between images based on the positional deviation of the two images.
例えば連続撮影画像として、画像フレームF1,F2,F3,F4・・・が、順次、入力画像211として入力されるとする。 For example as a continuous shooting image, image frames F1, F2, F3, F4 ··· are sequentially and is input as an input image 211.
これらの入力画像フレームF1,F2,F3,F4がすべて、動き推定処理に適した画像である場合、フレームメモリ201の格納画像である参照画像は、画像フレームF1,F2,F3,F4と順次更新される。 If these input image frames F1, F2, F3, F4 are all an image suitable for the motion estimation process, the reference image is a stored image in the frame memory 201 sequentially updates the image frame F1, F2, F3, F4 It is.

しかし、例えば、画像フレームF3が、動き推定に適さない不適格画像である場合、フレームメモリ201の格納画像である参照画像は、画像フレームF1,F2,F2,F4という順番で更新される。 However, for example, image frame F3 is, if ineligible image which is not suitable for motion estimation, the reference image is a stored image in the frame memory 201 is updated in the order of the image frames F1, F2, F2, F4. すなわち、不適挌画像である画像フレームF3は、フレームメモリ102に格納されることはない。 That is, the image frame F3 is unsuitable 挌 image is not to be stored in the frame memory 102.

動き推定部203は、入力画像211と、フレームメモリ201に格納された参照画像とを比較し、2つの画像の位置ずれに基づく画像間の動き量212を算出する。 Motion estimation unit 203, an input image 211 is compared with the reference image stored in the frame memory 201, and calculates the motion amount 212 between images based on the positional deviation of the two images.
動き量212は、動き補償画像生成部205に出力される。 Motion amount 212 is output to the motion compensation image generation unit 205. 動き量212には、動きベクトル情報と、動きベクトルを算出した2つの画像フレームのフレーム情報等が含まれる。 The motion amount 212, and the motion vector information, including the frame information of the two image frames to calculate the motion vectors.

動き補償画像生成部205は、動き推定部203から入力する動き量212を適用して、フレームメモリ201に格納された参照画像の画像位置を入力画像の画像位置に合わせた動き補償画像214を生成する。 Motion-compensated image generation unit 205 applies the motion amount 212 input from the motion estimation unit 203, generates a motion-compensated image 214 to match the image position of the reference image stored in the frame memory 201 to the image position of the input image to. 生成した動き補償画像214は、入力画像211とともに、信号処理部206に出力される。 Motion compensated image 214 generated, together with the input image 211 is outputted to the signal processing unit 206.

信号処理部206は、入力画像211と、入力画像211の画像位置に位置合わせを行った参照画像、すなわち動き補償画像214を適用した信号処理を実行する。 The signal processing unit 206 executes the input image 211, the reference image subjected to alignment to the image position of the input image 211, that is, the signal processing using the motion compensation image 214.
例えば、図4を参照して説明したノイズ低減処理(NR)、あるいは超解像処理(SR)、あるいは高ダイナミックレンジ(HDR)画像生成処理などを実行する。 For example, to run and reference noise reduction processing described (NR), or super-resolution processing (SR), or high dynamic range (HDR) image generation processing to FIG.
信号処理部206は、信号処理によって生成した処理画像215を出力する。 The signal processing unit 206 outputs the processed image 215 generated by the signal processing.
なお、処理画像215は、さらに、動き補償画像生成部205にフィードバック入力して、処理画像に基づく動き補償画像を生成し、生成画像を適用して信号処理部205において、さらに画像のノイズ低減を繰り返し実行する構成としてもよい。 The processing image 215, further, the feedback input to the motion compensation image generating unit 205 generates the motion compensated image based on the processed image, the signal processing unit 205 applies the generated image, the further noise reduction of the image it may be configured to be executed repeatedly.

図5に示す構成を用いた処理例について、図6を参照して説明する。 The processing example using the configuration shown in FIG. 5 will be described with reference to FIG.
入力画像が図6(1)入力に示すように、A、B、C、D、E・・・の順番で入力するものとする。 The input image is as shown in FIG. 6 (1) inputs, A, B, C, D, and is received in the order of E · · ·. これらのA〜Eの画像フレームは連続撮影のなされた画像である。 Image frame these A~E is an image subjected to the continuous shooting.
これらの画像フレームA〜Eには、動き推定に好適な画像と好適でない画像が混在する。 These image frames A-E, the image is not suitable and preferable image in motion estimation are mixed.
画像フレームA,D,Eは、動き推定に好適な画像であり、画像フレームB,Cは、動き推定に好適でない画像、すなわち不適格画像であるとする。 Image frame A, D, E is a suitable image in the motion estimation, image frame B, C is an image not suitable for motion estimation, i.e. ineligible image.

動き推定好適度判定部202は、各画像が動き推定に好適であるか不適格であるかを判別して、判別結果に応じた参照画像更新情報を出力する。 Motion estimation preferred degree determination unit 202, each image to determine whether the ineligible or is suitable for motion estimation, and outputs the reference image update information according to the determination result.
図6に示す(3)参照画像更新情報である。 6 (3) is a reference image update information.
この参照画像更新情報の値に応じて図5に示すフレームメモリ格納画像更新制御スイッチ207が切り替えられる。 The frame memory stores image update control switch 207 shown in FIG. 5 is switched in accordance with the value of the reference image update information.
このスイッチ切り替えに応じてフレームメモリ201に格納される参照画像が更新される。 Reference image stored in the frame memory 201 in response to the switch change is updated.

フレームメモリ201に格納される参照画像は、図6の(2)フレームメモリ格納参照画像に示すように、最新の好適画像が入力された場合に更新される。 Reference image stored in the frame memory 201, as shown in (2) frame memory storing reference image of FIG. 6, is updated if the latest preferred image is input.
入力画像が画像フレームAのタイミングでは、フレームメモリ201には参照画像は格納されていない。 The timing of the input image is the image frame A, the reference image is not stored in the frame memory 201.
入力画像が画像フレームBのタイミングでは、フレームメモリ201には参照画像として画像フレームAが格納されている。 The timing of the input image is an image frame B, the image frame A is stored as a reference picture in the frame memory 201.

入力画像が画像フレームCのタイミングでは、フレームメモリ201には参照画像として画像フレームAが格納されたままとなる。 The timing of the input image is the image frame C, the image frame A as a reference image will remain stored in the frame memory 201. 画像フレームBは、不適格画像であるため、フレームメモリ201に格納されないためである。 Image frame B are the disqualified image, because that is not stored in the frame memory 201.
入力画像が画像フレームDのタイミングでも、フレームメモリ201には参照画像として画像フレームAが格納されたままとなる。 Even at the timing of the input image is an image frame D, the image frame A as a reference image will remain stored in the frame memory 201. 画像フレームCも、不適格画像であるため、フレームメモリ201に格納されないためである。 Image frame C also, since ineligible image, because that is not stored in the frame memory 201.

入力画像が画像フレームEのタイミングでは、フレームメモリ201には参照画像として画像フレームDが格納された状態となる。 The timing of the input image is an image frame E, a state where the image frame D are stored as a reference picture in the frame memory 201. 画像フレームDは、動き推定に好適な画像であるため、フレームメモリ201の格納画像が更新されるためである。 Image frame D are the preferred image to the motion estimation, because the storage image in the frame memory 201 is updated.

動き推定部203は、入力画像211と、フレームメモリ201に格納された参照画像を入力して、これらの画像間の動き量を推定する。 Motion estimation unit 203, an input image 211, by entering the reference image stored in the frame memory 201, estimates a motion amount between the images.
ただし、この実施例では、フレームメモリ201に格納される参照画像は、入力画像211の1フレーム前の画像であるとは限らない。 However, in this embodiment, the reference image stored in the frame memory 201 is not necessarily the immediately preceding frame image of the input image 211. 1フレーム前てある場合、2フレーム前である場合、3フレーム前である場合など、様々な設定となる。 If there Te previous frame, if it is two frames before, such as when it is three frames prior, a variety of settings.

動き推定部203では、図6(4)に示すように、図6(2)に示すフレームメモリ201に格納された参照画像を、図6(1)に示す入力画像の画像位置に併せるための動き量を推定する。 The motion estimation unit 203, as shown in FIG. 6 (4), the reference image stored in the frame memory 201 shown in FIG. 6 (2), for combining the image position of the input image shown in FIG. 6 (1) to estimate the amount of movement.
例えば図6(4)に示すように、入力画像が画像Bである場合、フレームメモリ201に格納された参照画像である画像Aを入力画像Bの画像位置に合わせるための動き量を算出する。 For example, as shown in FIG. 6 (4), when the input image is an image B, and calculates the motion amount for adjusting the image A is a reference image stored in the frame memory 201 to the image position of the input image B.
また、入力画像が画像Cである場合、フレームメモリ201に格納された参照画像である画像Aを入力画像Cの画像位置に合わせるための動き量を算出する。 Also, when the input image is an image C, and calculates the motion amount for adjusting the image A is a reference image stored in the frame memory 201 to the image position of the input image C.
以下、同様である。 Below, it is the same.

動き補償画像生成部205は、動き推定部203から入力する動き量212を適用して、例えばフレームメモリ201に格納された参照画像の画像位置を入力画像の画像位置に併せた動き補償画像214を生成する。 Motion-compensated image generation unit 205 applies the motion amount 212 input from the motion estimation unit 203, a motion compensated image 214 in conjunction with image position of the reference image, for example stored in the frame memory 201 to the image position of the input image generated.
例えば図6(5)に示すように、入力画像が画像Bである場合、フレームメモリ201に格納された参照画像である画像Aを入力画像Bの画像位置に合わせた動き補償画像を生成する。 For example, as shown in FIG. 6 (5), when the input image is an image B, and generates a motion compensation image combined image A is a reference image stored in the frame memory 201 to the image position of the input image B.
また、入力画像が画像Cである場合、フレームメモリ201に格納された参照画像である画像Aを入力画像Cの画像位置に合わせた動き補償画像を生成する。 Also, when the input image is an image C, and generates a motion compensation image combined image A is a reference image stored in the frame memory 201 to the image position of the input image C.
以下、同様である。 Below, it is the same.
図5に示すように、動き補償画像生成部205の生成した動き補償画像214は、入力画像211とともに、信号処理部206に出力される。 As shown in FIG. 5, the motion compensated image 214 generated by the motion-compensated image generation unit 205 together with the input image 211 is outputted to the signal processing unit 206.

次に、図5に示す画像処理装置の実行する処理の処理シーケンスについて、図7に示すフローチャートを参照して説明する。 Next, the processing sequence of a process performed by the image processing apparatus shown in FIG. 5 will be described with reference to the flowchart shown in FIG.
図7に示すフローに従った処理は、例えば、図5に示す構成を持つ画像処理装置において、図5には示していないが画像処理装置の制御部の制御下で行われる。 Processing according to the flow shown in FIG. 7, for example, in an image processing apparatus having the configuration shown in FIG. 5, although not shown in FIG. 5 is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図7のフローに従った処理の制御を行う。 The control unit controls the processing according to the flowchart of FIG. 7 by executing the program stored in the memory of the image processing apparatus.
図7に示すフローは、画像処理装置が入力する連続撮影画像中の1つの入力画像に対応して実行される処理であり、各入力画像に対して図7に示すフローに従った処理が繰り返し実行される。 Flow shown in FIG. 7 is a process of the image processing apparatus corresponds to one of the input images in the continuous shooting image inputting is performed, the process is repeated according to the flow shown in FIG. 7 for each input image It is executed.

まず、ステップS101において画像を入力する。 First, inputting the image at step S101. ここでは第k画像フレームを入力するものとする。 Here, it is assumed to input the k-th image frame.
次に、ステップS102以下の処理と、ステップS111以下の処理が並行に実行される。 Next, the following processing steps S102, step S111 following processing is executed in parallel.

まず、ステップS102以下の処理について説明する。 First, step S102 for the following processing will be described.
ステップS102において、動き推定処理を実行する。 In step S102, it executes the motion estimation process. この処理は、図5に示す動き推定部203の実行する処理であり、フレームメモリ201に格納された参照画像と入力画像間の動き量を推定する処理である。 This process is a process executed by the motion estimation unit 203 shown in FIG. 5 is a process for estimating the motion amount between the input image and the reference image stored in the frame memory 201.

次に、ステップS103において、ステップS102で算出されたフレームメモリ201に格納された参照画像と入力画像間の動き量を適用して、参照画像の画像位置を入力画像の画像位置に合わせた動き補償画像を生成する。 Next, in step S103, by applying the motion amount between the stored reference image input image in the frame memory 201 calculated in step S102, the motion compensation image position of the reference image matching the image position of the input image to generate an image. この処理は、図5に示す動き補償画像生成部205の実行する処理である。 This process is a process executed by the motion-compensated image generating unit 205 shown in FIG.

次に、ステップS104において、入力画像と動き補償画像を適用した信号処理を実行する。 Next, in step S104, it executes the applied signal processing an input image and the motion compensated image. この処理は、図5に示す信号処理部206の実行する処理である。 This process is a process executed by the signal processing unit 206 shown in FIG. 信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。 The signal processing, for example, noise reduction processing, the super-resolution process is a process, such as high dynamic range image generation process.
ステップS105において、ステップS104の信号処理結果として生成した画像を出力する。 In step S105, it outputs an image generated as a result of signal processing in step S104.

次に、ステップS111以下の処理について説明する。 Next, step S111 for the following processing will be described.
ステップS111では、入力画像が動き推定に好適な画像であるか否かを判定する。 In step S111, the input image is determined whether it is suitable for image motion estimation. この処理は、図5に示す動き推定好適度判定部202の実行する処理である。 This process is a process executed by the motion estimation preferred degree judgment unit 202 shown in FIG.

ステップS112において、入力画像が動き推定に好適な画像であると判定すると、ステップS113に進む。 In step S112, the input image is determined to be the preferred image to the motion estimation, the process proceeds to step S113. ステップS113では、図5に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。 In step S113, by controlling the frame memory stores image update control switch 207 shown in FIG. 5, executes a reference image updating processing for replacing the input image the reference image stored in the frame memory 201.

一方、ステップS112において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS114に進む。 On the other hand, in step S112, the input image is determined to be ineligible image is not a preferable image in motion estimation, the process proceeds to step S114. ステップS114では、図5に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像をそのまま維持する制御を行う。 In step S114, by controlling the frame memory stores image update control switch 207 shown in FIG. 5 performs as control for maintaining the reference image stored in the frame memory 201. すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。 That is, without replacing the input image, and settings that apply to motion estimation reference picture stored in the frame memory for the next input image.

この処理によって、動き推定に適用する参照画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。 This process reference image applied to the motion estimation, always image suitable for motion estimation, so that the accurate motion estimation is always run. この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。 As a result, highly precise motion compensation image based on the highly accurate motion estimation results are generated, further, it is possible to perform a highly precise signal processing using the high-precision motion compensation image.

[1−3. [1-3. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例2)] The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 2)
次に、図8以下を参照して、本開示の第2実施例の画像処理装置について説明する。 Next, with reference to FIG. 8 below, a description is given of an image processing apparatus in the second embodiment of the present disclosure.
第2実施例も、第1実施例と同様、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例である。 The second embodiment also, similarly to the first embodiment is an example of an image processing apparatus that performs processing based on the appropriateness determination of the motion estimation.
図8は、実施例2に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。 Figure 8 is a diagram illustrating a main part configuration and processing of an image processing apparatus for performing image processing in accordance with Example 2.

図8に示す画像処理装置は、フレームメモリ201、動き推定好適度判定部202、動き推定部203、動き量補正部204、動き補償画像生成部205、信号処理部206、フレームメモリ格納画像更新制御スイッチ207を有する。 The image processing apparatus shown in FIG. 8, the frame memory 201, motion estimation preferred degree determination unit 202, the motion estimation unit 203, a motion amount correcting unit 204, a motion compensated image generating unit 205, signal processing unit 206, a frame memory stores image update control a switch 207.
図8に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なPC等の装置の一部構成に相当する。 Configuration shown in FIG. 8, for example an imaging device for photographing a moving image or a still image, or equivalent to the image processing part construction of viable PC devices and the like.
図8には示していないが、画像処理装置は例えばプログラム実行機能を有するCPU等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。 Not shown in FIG. 8, but the image processing apparatus includes a memory, which stores a program to be executed in the control unit, the control unit including a CPU or the like having, for example, a program execution function. 図8の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。 Process of applying the configuration of FIG. 8 is executed, for example, as processing according to the program executed in the control unit.

図8に示す画像処理装置は、先に図5を参照して説明した構成に、動き量補正部204を追加した点が異なる。 The image processing apparatus shown in FIG. 8, the configuration described above with reference to FIG. 5, is in adding motion amount correcting unit 204 varies.
その他の構成は、基本的に先に図5以下を参照して説明した構成部の処理と同様の処理を実行する。 Other configurations may perform essentially earlier reference same processes as components described with Figure 5 below.

図8に示す画像処理装置も図5を参照して説明した画像処理装置と同様、連続撮影画像に対する処理を実行する。 As with the image processing apparatus even the image processing apparatus described with reference to FIG. 5 shown in FIG. 8, it performs a process for continuous shooting images. 例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。 For example the noise reduction processing, the super-resolution processing, a signal processing such as a high dynamic range image generation processing.
これらの信号処理は、図8に示す信号処理部206において実行する。 These signal processing is performed in the signal processing unit 206 shown in FIG.
信号処理部206の出力画像である処理画像215が、ノイズ低減処理、超解像処理、高ダイナミックレンジ化、これらの少なくともいずれかの処理がなされた画像である。 Output process image 215 is an image signal processing unit 206, the noise reduction processing, the super-resolution processing, high dynamic range, it is these images at least one of the processing has been performed.

図8に示す入力画像211として、連続撮影された画像が順次入力される。 As an input image 211 shown in FIG. 8, the image that has been continuously captured are sequentially inputted.
入力画像211は、動き推定好適度判定部202に入力される。 The input image 211 is input to the motion estimation preferred degree judgment unit 202.
動き推定好適度判定部202は、入力画像211の解析を実行して、入力画像211が、正確な動き推定処理を実行可能な画像であるか否かを判定する。 Motion estimation preferred degree determination unit 202 determines to perform the analysis of the input image 211, the input image 211, whether it is accurate motion estimation process capable of executing image.

この動き推定好適度判定処理は、例えば画像に含まれるぼけ領域の比率等に基づいて実行される。 The motion estimation preferred determination process is performed based on the ratio of the blurred area or the like contained for example in an image. 例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難みとなり、正しい動き推定が実行されない。 Such as the corresponding area search, such as the fit is not blurred area is large image focus is on the subject between before and after the shot image becomes difficult only, not correct motion estimation performed.
なお、画像に対する動き推定好適度の判定処理の処理態様としては様々な処理態様があり、この具体例については、後段で説明する。 As the processing mode determination process of motion estimation preferred degree for the image has various processing modes, this embodiment will be described later.

動き推定好適度判定部202は、入力画像211が正確な動き推定処理を実行可能な画像であると判定した場合、フレームメモリ201に格納されている参照画像を更新する制御情報として、更新フラグ[0]を設定した参照画像更新情報218を出力する。 Motion estimation preferred degree determination unit 202, when the input image 211 is determined to be a viable image accurate motion estimation process, as control information for updating the reference image stored in the frame memory 201, the update flag [ 0] and outputs the reference image update information 218 to set the.
一方、入力画像211が正確な動き推定処理を実行可能な画像でないと判定した場合、フレームメモリ201に格納されている参照画像を更新しない制御情報として、更新フラグ[1]を設定した参照画像更新情報218を出力する。 On the other hand, when the input image 211 determined not to be executable images accurate motion estimation process, as control information that does not update the reference image stored in the frame memory 201, the reference image update you set the update flag [1] and it outputs the information 218.

フレームメモリ格納画像更新制御スイッチ207は、更新フラグの値[0],[1]の値に応じて切り替えられる。 The frame memory stores image update control switch 207, the value of the update flag [0] is switched according to the value of [1].
入力画像211が正確な動き推定処理を実行可能な画像であり、更新フラグの値が[0]である場合、入力画像211をフレームメモリ201に格納する設定とする。 An input image 211 is an executable image accurate motion estimation process, when the value of the update flag is [0], and set for storing the input image 211 in the frame memory 201.
一方、入力画像211が正確な動き推定処理を実行可能な画像でなく、更新フラグの値が[1]である場合、入力画像211をフレームメモリ201に格納しない設定とし、フレームメモリ201に格納された参照画像をそのまま維持する設定とする。 On the other hand, the input image 211 is not a viable image accurate motion estimation process, when the value of the update flag is [1], then set not to store the input image 211 in the frame memory 201, stored in the frame memory 201 as a setting for maintaining the reference image.

フレームメモリ201に格納された参照画像は、動き推定部203において、入力画像211と比較され、2つの画像の位置ずれに基づく画像間の動き量212を算出する動き推定処理に適用する画像である。 Reference picture stored in the frame memory 201, the motion estimation unit 203 is compared with the input image 211 is the image applied to the motion estimation process of calculating the motion amount 212 between images based on the positional deviation of the two images .
例えば連続撮影画像として、画像フレームF1,F2,F3,F4・・・が、順次、入力画像211として入力されるとする。 For example as a continuous shooting image, image frames F1, F2, F3, F4 ··· are sequentially and is input as an input image 211.
これらの入力画像フレームF1,F2,F3,F4がすべて、動き推定処理に適した画像である場合、フレームメモリ201の格納画像である参照画像は、画像フレームF1,F2,F3,F4と順次更新される。 If these input image frames F1, F2, F3, F4 are all an image suitable for the motion estimation process, the reference image is a stored image in the frame memory 201 sequentially updates the image frame F1, F2, F3, F4 It is.

しかし、例えば、画像フレームF3が、不適格画像である場合、フレームメモリ201の格納画像である参照画像は、画像フレームF1,F2,F2,F4という順番で更新される。 However, for example, image frame F3 is when ineligible image, the reference image is a stored image in the frame memory 201 is updated in the order of the image frames F1, F2, F2, F4. すなわち、不適挌画像である画像フレームF3は、フレームメモリ102に格納されることはない。 That is, the image frame F3 is unsuitable 挌 image is not to be stored in the frame memory 102.

動き推定部203は、入力画像211と、フレームメモリ201に格納された参照画像とを比較し、2つの画像の位置ずれに基づく画像間の動き量212を算出する。 Motion estimation unit 203, an input image 211 is compared with the reference image stored in the frame memory 201, and calculates the motion amount 212 between images based on the positional deviation of the two images.
動き量212は、動き量補正部204に出力される。 Motion amount 212 is output to the motion amount correcting unit 204. 動き量212には、動きベクトル情報と、動きベクトルを算出した2つの画像フレームのフレーム情報が含まれる。 The motion amount 212, and the motion vector information, including the frame information of the two image frames to calculate the motion vectors.

ただし、本実施例では、動き推定部203は、動き推定好適度判定部202から、入力画像が動き推定に好適な画像であるか不適格な画像であるかの情報、すなわち参照画像更新情報218を入力する構成を持つ。 However, in this embodiment, the motion estimation unit 203 of the information from the motion estimation preferred degree determination unit 202, the input image is a non-qualified image or a suitable image in the motion estimation, i.e. the reference image update information 218 It has a configuration to enter. 動き推定部203は、入力画像が動き推定に好適な画像である場合にのみ動き推定処理を実行する。 Motion estimation unit 203, an input image is performed only motion estimation process when the preferred image to the motion estimation. 入力画像が動き推定に好適な画像でなく不適格画像である場合には、動き推定処理を実行しない。 If the input image is unacceptable image not suitable image in the motion estimation does not perform motion estimation process.

動き量補正部204は、動き推定部203から動き量212を入力し、さらに、動き推定好適度判定部202から、参照画像更新情報218を入力する。 Motion amount correcting unit 204 receives the motion amount 212 from the motion estimation unit 203, further, the motion estimation preferred degree determination unit 202, and inputs the reference image update information 218.
動き量補正部204は、参照画像更新情報218に基づいて、入力画像が動き推定に好適な画像であるか、不適格な画像であるかを判別し、入力画像が動き推定に好適な画像である場合は、動き推定部203から入力した動き量212、具体的には、例えば入力画像と参照画像間の動きを示す動きベクトルを動き補償画像生成部205に出力する。 Motion amount correcting unit 204, based on the reference image update information 218, whether the input image is the preferred image to the motion estimation, to determine a non-qualified image, the input image is a suitable image to the motion estimation If so, the amount of movement 212 input from the motion estimation unit 203, specifically, outputs for example a motion vector indicating the motion between the input image reference image to the motion-compensated image generation unit 205.

一方、入力画像が動き推定に好適な画像でなく不適格画像である場合は、動き推定部203から動き量212が入力されないので、予め設定した例外動き量を動き補償画像生成部205に出力する。 On the other hand, when the input image is disqualified image not suitable image in the motion estimation, and the amount of movement 212 from the motion estimation unit 203 is not input, and outputs an exception motion amount set in advance in the motion-compensated image generating unit 205 .
例外動き量としては、例えば動きベクトルとして、動きのないベクトル情報、すなわちゼロベクトルを適用する。 Exceptions motion amount, for example, as a motion vector, applies no motion vector information, i.e. a zero vector.
または、例外動き量として、前フレームにおいて算出した動きベクトルをそのまま適用して出力してもよい。 Or, as an exception amount of motion, a motion vector calculated in the previous frame may be directly applied to the output. あるいは、次のフレームにおいて算出した動きベクトルを出力する設定としてもよい。 Alternatively, it may be set to output the motion vector calculated in the next frame. あるいは前後のフレームにおいて設定される動きベクトルに基づいて推定されるベクトルを算出して、算出したベクトルを出力する構成としてもよい。 Or it may be configured to calculate the vector is estimated based on the motion vector set in the front and rear frames, and outputs the calculated vector.
いずれにしても、動きベクトルの算出に適用する画像は不適格画像を含まない動き推定に好適な画像を利用して算出したベクトルとする。 In any case, the image to be applied to the calculation of the motion vector is a vector which is calculated by using a suitable image to the motion estimation without the ineligible image.

動き量補正部204は、参照画像更新情報218に基づく判別情報、すなわち、入力画像が動き推定に好適な画像であるか、不適格な画像であるかの判別情報に応じて、判別結果に応じた動き量情報を動き補償画像生成部205に出力する。 Motion amount correcting unit 204, determination information based on the reference image update information 218, i.e., whether the input image is the preferred image to the motion estimation, depending on whether the discrimination information is not qualified image, according to the determination result and the motion amount information output to the motion compensation image generation unit 205.
すなわち、入力画像が動き推定に好適な画像である場合は、動き推定部203から入力した動き量212を動き補償画像生成部205に出力し、入力画像が動き推定に好適な画像でなく不適格画像である場合は、例外動き量を動き補償画像生成部205に出力する。 That is, when the input image is the preferred image to the motion estimation outputs the motion amount 212 input from the motion estimation unit 203 to the motion compensation image generation unit 205, unfit input image is not a preferable image in motion estimation If an image outputs exceptions motion amount in the motion compensated image generation unit 205.

動き補償画像生成部205は、動き量補正部204から入力する動き量または例外動き量213を適用して、例えばフレームメモリ201に格納された参照画像の画像位置を入力画像の画像位置に併せた動き補償画像214を生成する。 Motion-compensated image generating unit 205 applies a motion amount or exception motion amount 213 input from the motion amount correcting unit 204, the image position of the reference image, for example stored in the frame memory 201 in conjunction with the image position of the input image generating a motion compensated image 214. 生成した動き補償画像214は、入力画像211とともに、信号処理部206に出力される。 Motion compensated image 214 generated, together with the input image 211 is outputted to the signal processing unit 206.

信号処理部206は、入力画像211と、入力画像211の画像位置に位置合わせを行った参照画像、すなわち動き補償画像214を適用した信号処理を実行する。 The signal processing unit 206 executes the input image 211, the reference image subjected to alignment to the image position of the input image 211, that is, the signal processing using the motion compensation image 214.
例えば、図4を参照して説明したノイズ低減処理(NR)、あるいは超解像処理(SR)、あるいは高ダイナミックレンジ(HDR)画像生成処理などを実行する。 For example, to run and reference noise reduction processing described (NR), or super-resolution processing (SR), or high dynamic range (HDR) image generation processing to FIG.
信号処理部206は、信号処理によって生成した処理画像215を出力する。 The signal processing unit 206 outputs the processed image 215 generated by the signal processing.
なお、処理画像215は、さらに、動き補償画像生成部205にフィードバック入力して、処理画像に基づく動き補償画像を生成し、生成画像を適用して信号処理部205において、さらに画像のノイズ低減を繰り返し実行する構成としてもよい。 The processing image 215, further, the feedback input to the motion compensation image generating unit 205 generates the motion compensated image based on the processed image, the signal processing unit 205 applies the generated image, the further noise reduction of the image it may be configured to be executed repeatedly.

図8に示す画像処理装置の実行する処理の処理シーケンスについて、図9に示すフローチャートを参照して説明する。 The processing sequence of the process performed by the image processing apparatus shown in FIG. 8, will be described with reference to a flowchart shown in FIG.
図9に示すフローに従った処理は、例えば、図8に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。 Processing according to the flow shown in FIG. 9, for example, in an image processing apparatus having the configuration shown in FIG. 8, is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図9のフローに従った処理の制御を行う。 The control unit controls the processing according to the flowchart of FIG. 9 by executing the program stored in the memory of the image processing apparatus.
図9に示すフローは、画像処理装置が入力する連続撮影画像中の1つの入力画像に対応して実行される処理であり、各入力画像に対して図9に示すフローに従った処理が繰り返し実行される。 Flow shown in FIG. 9 is a processing performed by the image processing apparatus corresponds to one of the input images in the continuous shooting image inputting is performed, processing according to the flow shown in FIG. 9 is repeated for each input image It is executed.

まず、ステップS121において画像を入力する。 First, inputting the image at step S121. ここでは第k画像フレームを入力するものとする。 Here, it is assumed to input the k-th image frame.
次に、ステップS122において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。 Next, in step S122, whether the input image is the preferred image to the motion estimation is performed whether the discrimination ineligible image not suitable.
この処理は、図8に示す動き推定好適度判定部202の実行する処理である。 This process is a process executed by the motion estimation preferred degree judgment unit 202 shown in FIG.

ステップS123において、入力画像が動き推定に好適な画像であると判定すると、ステップS124以下の処理と、ステップS131の処理を実行する。 In step S123, the input image is performed If it is determined that the image suitable to the motion estimation, the following process step S124, the processing of step S131.
一方、ステップS123において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS125の処理と、ステップS132の処理を実行する。 On the other hand, in step S123, the input image is performed If it is determined that the disqualified image is not a preferable image in motion estimation, the processing of step S125, the processing of step S132.

まず、ステップS131の処理と、ステップS132の処理について説明する。 First, the processing of step S131, the processing in step S132 will be described.
ステップS123において、入力画像が動き推定に好適な画像であると判定した場合、ステップS131において、図8に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。 In step S123, if the input image is determined to be the preferred image to the motion estimation, at step S131, the control the frame memory stores image update control switch 207 shown in FIG. 8, the reference image stored in the frame memory 201 executing a reference image updating processing for replacing the input image.

一方、ステップS123において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS132において、図8に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像をそのまま維持する制御を行う。 On the other hand, in step S123, the input image is determined to be ineligible image is not a preferable image in motion estimation, at step S132, by controlling the frame memory stores image update control switch 207 shown in FIG. 8, the frame memory 201 control is performed to maintain the stored reference image. すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。 That is, without replacing the input image, and settings that apply to motion estimation reference picture stored in the frame memory for the next input image.

この処理によって、動き推定に適用する参照画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。 This process reference image applied to the motion estimation, always image suitable for motion estimation, so that the accurate motion estimation is always run. この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。 As a result, highly precise motion compensation image based on the highly accurate motion estimation results are generated, further, it is possible to perform a highly precise signal processing using the high-precision motion compensation image.

次に、ステップS124〜S126の処理について説明する。 Next, a description is given of processing in step S124~S126.
ステップS123において、入力画像が動き推定に好適な画像であると判定した場合、ステップS124において、動き推定処理を実行する。 In step S123, if the input image is determined to be the preferred image to the motion estimation, at step S124, the performing motion estimation process. この処理は、図8に示す動き推定部203の実行する処理であり、フレームメモリ201に格納された参照画像と入力画像間の動き量を推定する処理である。 This process is a process executed by the motion estimation unit 203 shown in FIG. 8 is a process for estimating the motion amount between the input image and the reference image stored in the frame memory 201.

一方、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合、ステップS125において、予め設定したアルゴリズムに従って例外動き量を算出する。 On the other hand, if the input image is determined to be ineligible image not suitable image in the motion estimation, at step S125, the calculating the exception movement amount according to the algorithm set in advance. 具体的には例えばゼロベクトル、あるいは前後の画像フレームにおいて算出した動きベクトルに基づいて算出する入力画像対応の動きベクトルを例外動き量とする。 Specifically, with the exception the amount of movement of the input image corresponding motion vector is calculated based on the motion vector calculated at the zero vector, or before and after the image frame, for example.

ステップS126は、図8に示す動き量補正部204の処理である。 Step S126 is the processing of the motion amount correction section 204 shown in FIG. 動き推定好適度判定部202の判定結果情報に応じて以下の処理を実行する。 It executes the following processing in accordance with the determination result information of the motion estimation preferred degree judgment unit 202.
入力画像が動き推定好適度ありの場合は、ステップS124において算出した動き量を動き補償画像生成部205に出力する。 If the input image is a There motion estimation preferred degree outputs the motion amount calculated in step S124 to the motion-compensated image generation unit 205.
一方、入力画像が動き推定好適度なしの場合は、ステップS125において算出した例外動き量を動き補償画像生成部205に出力する。 On the other hand, the input image is for no motion estimation preferred degree, outputs an exception motion amount calculated in step S125 to the motion-compensated image generation unit 205.

次に、ステップS127において、動き量または例外動き量を適用して、動き補償画像を生成する。 Next, in step S127, by applying the motion amount or exception motion amount, to generate a motion compensation picture. この処理は、図8に示す動き補償画像生成部205の実行する処理である。 This process is a process executed by the motion-compensated image generating unit 205 shown in FIG. この動き補償画像生成処理は、入力画像が動き推定好適度ありの場合は、ステップS124において算出した動き量を適用して実行する。 The motion-compensated image generation processing, the input image is the case with motion estimation preferred degree, run by applying the motion amount calculated in step S124.
一方、入力画像が動き推定好適度なしの場合は、ステップS125において算出した例外動き量を適用して実行する。 On the other hand, the input image is for no motion estimation preferred degree, run by applying the exception motion amount calculated in step S125.

次に、ステップS128において、入力画像と動き補償画像を適用した信号処理を実行する。 Next, in step S128, it executes the applied signal processing an input image and the motion compensated image. この処理は、図8に示す信号処理部206の実行する処理である。 This process is a process executed by the signal processing unit 206 shown in FIG. 信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。 The signal processing, for example, noise reduction processing, the super-resolution process is a process, such as high dynamic range image generation process.
ステップS129において、ステップS128の信号処理結果として生成した画像を出力する。 In step S129, it outputs an image generated as a result of signal processing in step S128.

[1−4. [1-4. 動き推定の適否判定に基づく処理を行なう画像処理装置(実施例3)] The image processing apparatus that performs processing based on the appropriateness determination of the motion estimation (Example 3)
次に、図10以下を参照して、本開示の第3実施例について説明する。 Next, with reference to FIG. 10 will now be described a third embodiment of the present disclosure.
第3実施例も、上述した第1、第2実施例と同様、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例である。 Third embodiment also, the first described above, similarly to the second embodiment is an example of an image processing apparatus that performs processing based on the appropriateness determination of the motion estimation.
図10は、実施例3に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。 Figure 10 is a diagram illustrating a main part configuration and processing of an image processing apparatus which executes image processing according to the third embodiment.

図10に示す画像処理装置は、フレームメモリ201、動き推定好適度判定部202、動き推定部203、動き補償画像生成部205、信号処理部206、フレームメモリ格納画像更新制御スイッチ207を有する。 The image processing apparatus shown in FIG. 10 includes a frame memory 201, motion estimation preferred degree determination unit 202, the motion estimation unit 203, a motion compensated image generating unit 205, signal processing unit 206, a frame memory stores the image update control switch 207.
図10に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なPC等の装置の一部構成に相当する。 The configuration shown in FIG. 10, for example an imaging device for photographing a moving image or a still image, or equivalent to the image processing part construction of viable PC devices and the like.
図10には示していないが、画像処理装置は例えばプログラム実行機能を有するCPU等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。 Although not shown in FIG. 10, but the image processing apparatus includes a memory, which stores a program to be executed in the control unit, the control unit including a CPU or the like having, for example, a program execution function. 図10の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。 Process of applying the configuration of FIG. 10 may be executed as processing in accordance with the program executed in the control unit.

図10に示す画像処理装置は、先に図5を参照して説明した実施例1の構成と同様の構成を有する。 The image processing apparatus shown in FIG. 10 has a previously reference the same configuration the first embodiment described with configuration to FIG.
図5に示す第1実施例との相違点は、動き推定好適度判定部202の判定結果、すなわち入力画像211が、動き推定に好適な画像であるか不適格画像であるかを示す参照画像更新情報218を、動き推定部203と信号処理部206に入力している点である。 Differences from the first embodiment shown in FIG. 5, the determination result of the motion estimation preferred degree determination unit 202, that is, the input image 211, the reference image indicating which ineligible image or a suitable image to the motion estimation the update information 218 is that which is input to the motion estimation unit 203 and the signal processing section 206.

動き推定部203は、動き推定好適度判定部202の判定結果である参照画像更新情報218に応じて動き推定処理の実行または中止処理を行なう。 Motion estimation unit 203 performs the execution or stop processing of the motion estimation process in accordance with the reference image update information 218 which is the determination result of the motion estimation preferred degree judgment unit 202.
具体的には、動き推定部203は以下の処理を実行する。 Specifically, the motion estimation unit 203 executes the following processing.
動き推定好適度判定部202の判定結果である参照画像更新情報218が更新[0]、すなわち、入力画像211が動き推定に好適な画像であるとの判定結果を入力した場合は、動き推定処理を実行して動き量212を動き補償画像生成部205に出力する。 Reference image update information 218 updates a determination result of the motion estimation preferred degree judgment unit 202 [0], i.e., when the input image 211 is input a determination result to be the preferred image to the motion estimation, motion estimation process the running and outputs the motion amount 212 to the motion compensated image generation unit 205.
一方、動き推定好適度判定部202の判定結果である参照画像更新情報218が維持[1]、すなわち、入力画像211が動き推定に好適な画像でなく不適格画像であるとの判定結果を入力した場合は、動き推定処理を中止する。 On the other hand, maintains the reference image update information 218 which is the determination result of the motion estimation preferred degree judgment unit 202 [1], i.e., inputs the determination result of the input image 211 is ineligible image not suitable image in the motion estimation If you have, to stop the motion estimation process. この場合、動き量212は動き補償画像生成部205に出力されない。 In this case, the motion amount 212 is not output to the motion compensation image generation unit 205.

動き補償画像生成部205は、動き推定部203から動き量212を入力した場合にのみ動き補償画像214を生成して信号処理部206に出力する。 Motion-compensated image generation unit 205 outputs only generates a motion compensated image 214 in signal processor 206 if you enter a motion amount 212 from the motion estimation unit 203.
すなわち、入力画像211が動き推定に好適な画像である場合にのみ動き補償画像214を生成して信号処理部206に出力し、入力画像211が不適格画像である場合には、動き補償画像214を生成せず、信号処理部206には入力画像211のみを出力する。 That is, the output to the signal processing unit 206 input image 211 to generate a motion compensated image 214 only if it is suitable for image motion estimation, if the input image 211 is ineligible image, the motion compensated image 214 without generating a, the signal processing section 206 outputs only the input image 211.

信号処理部206は、動き推定好適度判定部202の判定結果である参照画像更新情報218に応じて信号処理の実行または中止処理を行なう。 The signal processing unit 206 performs the execution or stop processing of the signal processing in accordance with the reference image update information 218 which is the determination result of the motion estimation preferred degree judgment unit 202.
具体的には、信号処理部206は以下の処理を実行する。 Specifically, the signal processing unit 206 performs the following processing.
動き推定好適度判定部202の判定結果である参照画像更新情報218が更新[0]、すなわち、入力画像211が動き推定に好適な画像であるとの判定結果を入力した場合は、信号処理を実行する。 Reference image update information 218 updates a determination result of the motion estimation preferred degree judgment unit 202 [0], i.e., when the input image 211 is input a determination result to be the preferred image to the motion estimation, the signal processing Execute.
一方、動き推定好適度判定部202の判定結果である参照画像更新情報218が維持[1]、すなわち、入力画像211が動き推定に好適な画像でなく不適格画像であるとの判定結果を入力した場合は、信号処理を中止する。 On the other hand, maintains the reference image update information 218 which is the determination result of the motion estimation preferred degree judgment unit 202 [1], i.e., inputs the determination result of the input image 211 is ineligible image not suitable image in the motion estimation If, to stop the signal processing. この場合、入力画像211をそのまま処理画像215として出力する。 In this case, it outputs the input image 211 as it is as a processed image 215.

なお、信号処理部206の実行する信号処理は、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。 The signal processing performed by the signal processing unit 206, for example, noise reduction processing, the super-resolution processing, a signal processing such as a high dynamic range image generation processing.
本実施例の構成では、入力画像211が動き推定に好適な画像である場合にのみ信号処理を実行し、入力画像211が動き推定に不適格な画像である場合には、信号処理を実行しない構成である。 In the configuration of this embodiment, the input image 211 executes only the signal processing if a suitable image to the motion estimation, if the input image 211 is an ineligible image motion estimation does not execute the signal processing it is a configuration.
その他の処理部の処理は、先に図5を参照して説明した実施例1と同様である。 Processing other processing unit is the same as the first embodiment described above with reference to FIG.

本実施例3の処理シーケンスについて、図11に示すフローチャートを参照して説明する。 The processing sequence of the third embodiment will be described with reference to the flowchart shown in FIG. 11.
図11に示すフローに従った処理は、例えば、図10に示す構成を持つ画像処理装置において、図10には示していないが、画像処理装置の制御部の制御下で行われる。 It processing according to the flow shown in FIG. 11, for example, in an image processing apparatus having the configuration shown in FIG. 10, although not shown in FIG. 10, is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図11のフローに従った処理の制御を行う。 The control unit controls the processing according to the flow in FIG. 11 by executing the program stored in the memory of the image processing apparatus.
図11に示すフローは、画像処理装置が入力する連続撮影画像中の1つの入力画像に対応して実行される処理であり、各入力画像に対して図11に示すフローに従った処理が繰り返し実行される。 Flow shown in FIG. 11 is a processing by the image processing apparatus corresponds to one of the input images in the continuous shooting image inputting is performed, the process is repeated according to the flow shown in FIG. 11 for each input image It is executed.

まず、ステップS141において画像を入力する。 First, inputting the image at step S141. ここでは第k画像フレームを入力したものとする。 Here, it is assumed that entered the first k image frame.
次に、ステップS142において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。 Next, in step S142, whether the input image is the preferred image to the motion estimation is performed whether the discrimination ineligible image not suitable.
この処理は、図10に示す動き推定好適度判定部202の実行する処理である。 This process is a process executed by the motion estimation preferred degree judgment unit 202 shown in FIG. 10.

ステップS143において、入力画像が動き推定に好適な画像であると判定すると、ステップS144以下の処理と、ステップS151の処理を実行する。 In step S143, the input image is performed If it is determined that the image suitable to the motion estimation, the following processing steps S144, the processing in step S151.
一方、ステップS143において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS161の処理と、ステップS152の処理を実行する。 On the other hand, in step S143, the input image is performed If it is determined that the disqualified image is not a preferable image in motion estimation, the process of step S161, the processing in step S152.

まず、ステップS151の処理と、ステップS152の処理について説明する。 First, the processing of step S151, the processing in step S152 will be described.
ステップS143において、入力画像が動き推定に好適な画像であると判定した場合、ステップS151において、図10に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。 In step S143, if the input image is determined to be the preferred image to the motion estimation, at step S151, the control the frame memory stores image update control switch 207 shown in FIG. 10, the reference image stored in the frame memory 201 executing a reference image updating processing for replacing the input image.

一方、ステップS143において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS152において、図10に示すフレームメモリ格納画像更新制御スイッチ207を制御して、フレームメモリ201に格納された参照画像をそのまま維持する制御を行う。 On the other hand, in step S143, the input image is determined to be ineligible image is not a preferable image in motion estimation, at step S152, by controlling the frame memory stores image update control switch 207 shown in FIG. 10, the frame memory 201 control is performed to maintain the stored reference image. すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。 That is, without replacing the input image, and settings that apply to motion estimation reference picture stored in the frame memory for the next input image.

この処理によって、動き推定に適用する画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。 This process image applied to motion estimation, always image suitable for motion estimation, so that the accurate motion estimation is always run. この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。 As a result, highly precise motion compensation image based on the highly accurate motion estimation results are generated, further, it is possible to perform a highly precise signal processing using the high-precision motion compensation image.

次に、ステップS144〜S147の処理について説明する。 Next, a description is given of processing in step S144~S147.
ステップS143において、入力画像が動き推定に好適な画像であると判定した場合、ステップS144において、動き推定処理を実行する。 In step S143, if the input image is determined to be the preferred image to the motion estimation, at step S144, it executes the motion estimation process. この処理は、図10に示す動き推定部203の実行する処理であり、フレームメモリ201に格納された参照画像と入力画像間の動き量を推定する処理である。 This process is a process executed by the motion estimation unit 203 shown in FIG. 10 is a process for estimating the motion amount between the input image and the reference image stored in the frame memory 201.

ステップS145は、図10に示す動き補償画像生成部205の処理である。 Step S145 is a process of the motion compensation image generating unit 205 shown in FIG. 10. 動き補償画像生成部205は、動き推定好適度判定部202の判定結果として、入力画像が動き推定好適度ありの判定結果を入力した場合に限り、ステップS145の処理を実行する。 Motion-compensated image generating unit 205, as a determination result of the motion estimation preferred degree determination unit 202, the input image only if you enter a judgment result of there motion estimation preferred degree, performs the process of step S145. すなわち、ステップS144において推定された動き量を適用して、動き補償画像を生成する。 That is, by applying the motion amount estimated in step S144, generates a motion compensation picture.

次に、ステップS146において、信号処理を実行する。 Next, in step S146, it executes a signal processing. この処理は、図8に示す信号処理部206の実行する処理である。 This process is a process executed by the signal processing unit 206 shown in FIG. 信号処理部206は、動き推定好適度判定部202の判定結果として、入力画像が動き推定好適度ありの判定結果を入力した場合に限り、ステップS146の処理を実行する。 The signal processing unit 206, as a determination result of the motion estimation preferred degree determination unit 202, the input image only if you enter a judgment result of there motion estimation preferred degree, performs the process of step S146. すなわち、入力画像と動き補償画像を適用した信号処理を実行する。 That is, to run the applied signal processing an input image and the motion compensated image. 信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。 The signal processing, for example, noise reduction processing, the super-resolution process is a process, such as high dynamic range image generation process.
ステップS147において、ステップS146の信号処理結果として生成した画像を出力する。 In step S147, it outputs an image generated as a result of signal processing in step S146.

一方、ステップS143において、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合、ステップS161において、入力画像をそのまま処理画像に設定し、ステップS147において、入力画像を処理画像として出力する。 On the other hand, in step S143, if the input image is determined to be ineligible image not suitable image in the motion estimation, at step S161, it sets the input image as it is processed image, in step S147, processes the input image image and outputs it as.
すなわち、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合には、ステップS144〜S146の処理はすべて省略し、入力画像をそのまま処理画像として出力する。 That is, the input image is when it is determined that the ineligible image not suitable image in the motion estimation, the processing of steps S144~S146 are all omitted, and outputs the input image as it is as processed images.

[1−5. [1-5. 動き推定好適度判定処理の詳細について] Details of motion estimation preferred determination process]
次に、上述の各実施例において示した動き推定好適度判定部202の実行する処理、すなわち、入力画像211が動き推定処理に適した画像であるか不適格な画像であるかの判定処理の具体例について説明する。 Next, processing executed by the motion estimation preferred determination unit 202 shown in each embodiment described above, i.e., if the input image 211 is an ineligible image or an image suitable for the motion estimation process determination processing specific examples will be described.

入力画像211が動き推定処理に適した画像であるか不適格な画像であるかの判定処理には、様々な指標が適用可能である。 Input image 211 is the one of the determination process is not qualified image or an image suitable for the motion estimation process, a variety of indicators can be applied. 図12にこの判定処理に適用可能な指標の例を示す。 Figure 12 shows an example of applying indicia to the determination process. 図12に示すように、例えば以下の指標を利用して入力画像211が動き推定処理に適した画像であるか不適格な画像であるかの判定処理を行なうことができる。 As shown in FIG. 12, the input image 211, for example, using the following indicators may be performed whether the determination process is not qualified image or an image suitable for the motion estimation process.
(1)画像中のぼけ領域の面積 (2)画像撮影時のカメラの動き情報 (3)画像中の画素値飽和領域の面積 (4)画像中のノイズの大きい領域の面積 (5)画像の輝度範囲(最大輝度から最小輝度の範囲) (1) in the image area of ​​the blurred area (2) image motion information of the camera during shooting (3) of the pixel values ​​the saturation region of the image area (4) of a large area of ​​the noise in the image area (5) image luminance range (the range of the minimum brightness from the maximum brightness)
(6)最大露光画像と最小露光画像の有効画素領域の面積 (6) area of ​​the effective pixel region of the maximum exposure image and the minimum exposure image

例えば、動き推定好適度判定部202が、「(1)画像中のぼけ領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「ぼけ領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「ぼけ領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。 For example, motion estimation suitably determining unit 202, when performing the application to determine processes "(1) the area of ​​the blurred area in the image", the area occupancy rate of the "blurred area" in the entire image of the input image is the default if it is less than threshold, the input image is judged to image suitable for motion estimation, if the area occupying ratio of the "blurred area" or default threshold, the input image is disqualified image which is not suitable for motion estimation and it determines that there is.

また、動き推定好適度判定部202が、「(2)画像撮影時のカメラの動き情報」を適用して判定処理を行なう場合、動き推定好適度判定部202は、カメラに装着されたジャイロ等のセンサから取得された画像撮影時のカメラの動きを画像の属性情報として画像とともに入力する。 The motion estimation suitably determining unit 202, when performing the application to determine processes "(2) the motion information of the camera at the time of image photographing", motion estimation preferred degree determination unit 202, a gyro or the like which is mounted on the camera inputting together with the image of camera motion when the acquired image capturing from the sensor as the attribute information of the image. 動き推定好適度判定部202は、この情報に基づいて判定を行う。 Motion estimation preferred degree determination unit 202 performs determination on the basis of this information. 入力画像撮影時の「カメラの動き」が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「カメラの動き」が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。 If at the time of input image photographing "camera movement" is less than the predetermined threshold value, the input image is judged to image suitable for motion estimation, "camera movement" is equal to or greater than predetermined threshold value, the input image It determines that is ineligible image which is not suitable for motion estimation.

「(3)画像中の画素値飽和領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「画素値飽和領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「画素値飽和領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。 When performing the application to determine processes "(3) the area of ​​the pixel values ​​the saturation region in the image", the area occupancy rate of the "pixel value saturation region" in the entire image of the input image is less than predetermined threshold value, the input image is judged to image suitable for motion estimation, if the area occupying ratio of the "pixel value saturation area" or default threshold, the input image is determined to be ineligible image which is not suitable for motion estimation.

「(4)画像中のノイズの大きい領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「ノイズの大きい領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「ノイズの大きい領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。 When performing application to determination processing "(4) large area of ​​the region of the noise in the image", the area occupancy rate of the "region having a large noise" in the entire image of the input image is less than predetermined threshold value, the input image is judged to image suitable for motion estimation, the area occupancy rate of the "large areas of noise" is equal to or greater than predetermined threshold value, the input image is determined to be ineligible image which is not suitable for motion estimation.

「(5)画像の輝度範囲(最大輝度から最小輝度の範囲)」を適用して判定処理を行なう場合、入力画像の画像全体の画素値の範囲を解析し、最大画素値〜最小画素値の輝度範囲が既定しきい以上であれば、入力画像は動き推定に適した画像と判定し、輝度範囲が既定しきい値未満であれば、入力画像は動き推定に適さない不適格画像であると判定する。 When performing the application to determine processes "(5) luminance range (the range of the minimum brightness from the maximum brightness) of the image", analyzes the range of the entire image of the pixel values ​​of the input image, the maximum pixel value - minimum pixel value If the luminance range is predetermined threshold or more, the input image is judged to image suitable for motion estimation, if the luminance range is less than the predetermined threshold value, the input image If it is disqualified image which is not suitable for motion estimation judge.
なお、この処理を行なう場合、画像中の最大輝度と最小輝度の数%の画素を除いた画素値のみを適用して判定を行う構成としてもよい。 In the case of performing the process may be configured to make a determination by applying the pixel values ​​excluding the few percent of the pixels of the maximum luminance and the minimum luminance in the image only.
また、画素値の分散を算出して分散値に基づく判定を行ってもよい。 Further, determination may be performed based on the variance value to calculate the variance of pixel values.

「(6)最大露光画像と最小露光画像の有効画素領域の面積」を適用した判定処理は、高ダイナミックレンジ画像の生成を行う場合の処理である。 The applied determination processing "(6) the effective area of ​​the pixel area of ​​maximum exposure image and the minimum exposure image" is processing for performing the generation of high dynamic range images. 高ダイナミックレンジ画像の生成を行う場合、異なる露光時間の設定とした連続撮影画像を入力して、複数の異なる露光時間の画像を合成して1つの出力画像を生成する。 When performing generation of high dynamic range images, different exposure time setting and the enter the continuous shooting image, and generates one output image by synthesizing a plurality of images having different exposure times.
この場合、例えば長時間露光画像には多くの飽和画素が含まれ、一方、短時間露光画像には低輝度画素が多く含まれることになる。 In this case, for example, it contains a number of saturated pixels in the long-time exposure image, whereas will include many low-luminance pixels in a short time exposure image. 有効画素は、長時間露光画像では飽和していない画素であり、短時間露光画像では、極端な低輝度画素以外の有効な画素値の設定された画素となる。 Effective pixel is a pixel which is not saturated with the long-time exposure image, the short-time exposure image, the set pixel of extremely low luminance valid pixel values ​​other than the pixel. これらの有効画素をそれぞれ組み合わせる画像合成を行なうことで高ダイナミックレンジ画像を生成する。 By performing image synthesis to combine these effective pixel respectively for generating a high dynamic range image.

このような、高ダイナミックレンジ画像を生成する構成では、撮像装置において連続撮影された長時間露光画像〜短時間露光画像の複数の異なる露光時間の画像を連続入力して処理を行なう。 Such, in the configuration of generating a high dynamic range image, a continuous input and processing a plurality of images having different exposure times of long exposure image-short time exposure images continuously captured in the imaging device.
この場合、これらの複数の異なる露光時間の画像から1つの画像を基準画像としてフレームメモリに格納する。 In this case, to store one image from the plurality of different exposure times of the image in the frame memory as a reference image.

なお、基準画像は、ノイズ低減画像や高ダイナミックレンジ(HDR)画像生成時に選択される連写撮影画像中の1つの選択画像である。 The reference image is one selected image in continuous shooting image selected during noise reduced image and high dynamic range (HDR) image generation. 他の画像に基づいて、この「基準画像」の画像位置に合わせた動き補償画像を生成し、「基準画像」と「その他の画像に基づいて生成した動き補償画像」を合成することで、ノイズ低減や高ダイナミックレンジ(HDR)画像生成などの信号処理を実行する。 Based on other images, that this generates a motion compensated image to match the image position of the "reference image", to synthesize a "reference image" and "generated based on other image motion compensation image" noise It executes signal processing such as reduction and high dynamic range (HDR) image generation.

このような基準画像の選択処理において、「最大露光画像と最小露光画像の有効画素領域の面積」を適用した判定処理が有効な手法となる。 In the selection process of such a reference image, the determination process is an effective method of applying the "area of ​​the effective pixel region of the maximum exposure image and the minimum exposure image".
有効画素領域のより多い画像を動き推定に好適な画像とし、基準画像としてフレームメモリに格納する。 Enable a greater image of the pixel region to a suitable image in the motion estimation, it is stored in the frame memory as a reference image.

上述したように、動き推定好適度判定部202は、例えば図12I示す(1)〜(6)のいずれか、あるいはこれらの複数の指標の組み合わせに基づいて、各入力画像が動き推定にてきした画像であるか不適格画像であるかを判定する。 As described above, motion estimation preferred degree determination unit 202, for example, any of the FIG illustrating 12I (1) ~ (6), or based on a combination of the plurality of indicators, each input image is suitable for motion estimation It determines whether the disqualified image or an image.
さらに、動き推定好適度判定部202において動き推定に適した画像であると判定された入力画像のみがフレームメモリ201に新たに格納され、その後の動き推定に適用する参照画像、または基準画像として利用される。 Further, use the motion estimation preferred degree determination section 202 only the input image determined as an image suitable for the motion estimation is newly stored in the frame memory 201, as a reference image or reference image, to apply to the subsequent motion estimation It is.

なお、図12には、動き推定好適度判定処理に適用可能な指標として、以下の各指標を示している。 Incidentally, in FIG. 12, as an indicator that can be applied to motion estimation preferred determination process, it shows each indicator below.
(1)画像中のぼけ領域の面積 (2)画像撮影時のカメラの動き情報 (3)画像中の画素値飽和領域の面積 (4)画像中のノイズの大きい領域の面積 (5)画像の輝度範囲(最大輝度から最小輝度の範囲) (1) in the image area of ​​the blurred area (2) image motion information of the camera during shooting (3) of the pixel values ​​the saturation region of the image area (4) of a large area of ​​the noise in the image area (5) image luminance range (the range of the minimum brightness from the maximum brightness)
(6)最大露光画像と最小露光画像の有効画素領域の面積 (6) area of ​​the effective pixel region of the maximum exposure image and the minimum exposure image

これらの各指標中、以下の指標、すなわち、 During each of these indicators, the following indices, namely,
(1)画像中のぼけ領域の面積 (3)画像中の画素値飽和領域の面積 (4)画像中のノイズの大きい領域の面積 (5)画像の輝度範囲(最大輝度から最小輝度の範囲) (1) the area of ​​the blurred area in the image (3) the area of ​​the pixel values ​​the saturation region of the image (4) the area of ​​the large area of ​​the noise in the image (5) the luminance range of the image (the range of the minimum brightness from the maximum brightness)
これらの各指標を用いた判定処理は、例えば動き推定好適度判定部202が、入力画像を解析して実行することが可能である。 Determination processing using each of these indicators, for example, motion estimation preferred degree determining section 202, it is possible to interpret and run the input image.

また、(2)画像撮影時のカメラの動き情報を利用した判定処理を行なう場合は、前述したように、画像撮影時のカメラの動きのセンサ計測情報を画像対応の属性情報として取得する設定として、この属性情報に従って判定処理を行なう。 Further, (2) when performing the determination processing using the camera motion information at the time of image capturing, as described above, as the setting for acquiring sensor measurement information of camera motion during image capture as the attribute information of the image corresponding , a determination process in accordance with the attribute information.

なお、動き推定好適度判定部202が入力画像とフレームメモリに格納された参照画像との画像比較を実行する必要がある場合は、例えば図13に示すように、動き推定好適度判定部202は、入力画像211のみならず、フレームメモリ201からの画像読み出しを実行可能な構成とする。 Incidentally, if you need to perform an image comparison of the reference image motion estimation suitably determining unit 202 is stored in the input image and the frame memory, for example, as shown in FIG. 13, the motion estimation suitably determining unit 202 not only the input image 211, the configuration capable of executing an image reading from the frame memory 201.

また、(6)最大露光画像と最小露光画像の有効画素領域の面積を利用した判定処理を行なう場合は、例えば図14に示す構成を利用した判定処理を行なう。 Further, (6) when performing the determination processing using the area of ​​the effective pixel region of the maximum exposure image and the minimum exposure image, for example, a determination processing using the configuration shown in FIG. 14.
図14に示す構成は、先に実施例1として説明した図5の構成に有効領域判定部232を追加した構成である。 Configuration shown in FIG. 14 is a configuration obtained by adding the effective region judging section 232 in the configuration of FIG. 5 described above as the first embodiment.

図14に示す構成は、連続撮影された長時間露光画像と短時間露光画像を順次、入力画像として入力する構成に適用される。 Configuration shown in FIG. 14 is sequentially applied to a configuration in which input as the input image for a long time exposure image and the short exposure images continuously captured.
有効領域判定部232は、入力画像として順次入力する長時間露光画像と短時間露光画像の各々から、それぞれ有効画素値を持つ画素領域を抽出する。 Effective region judging unit 232, from each of the long exposure image and the short exposure image sequentially input as the input image, extracts a pixel region that has an active pixel values, respectively. さらに、この抽出結果を反映したマップとして以下の2つのマップを作成する。 Further, to create the following two maps as a map that reflects the extracted result.
長時間露光画像の有効画素領域の選択情報からなる最大露光有効領域マップ、 Maximum exposure effective area map consisting of selection information of the effective pixel region of the long-time exposure image,
短時間露光画像の有効画素領域の選択情報からなる最小露光有効領域マップ、 Minimum exposure effective area map consisting of selection information of the effective pixel region of the short-time exposure image,
有効領域判定部232は、これらのマップを動き推定好適度判定部202に出力する。 Effective region judging unit 232 outputs these maps the motion estimation preferred degree judgment unit 202.

動き推定好適度判定部202は、有効領域判定部232から上記2つのマップを入力し、長時間露光画像と短時間露光画像のどちらの有効画素領域が大きいかを判定する。 Motion estimation preferred degree determination unit 202, the effective region judging unit 232 inputs the two maps to determine either the effective pixel region of the long-time exposure image and the short exposure image is larger. この判定結果に応じて、有効画素領域の大きい方を基準画像として選択し、フレームメモリ201に格納する。 Depending on this determination result, the larger the effective pixel region is selected as a reference picture, is stored in the frame memory 201.

[1−6. [1-6. 連続撮影画像の重ね合わせによるノイズ低減を行う実施例(実施例4)] Example of performing noise reduction by superposition of successive photographed images (Example 4)
次に、連続撮影画像の重ね合わせによるノイズ低減を行う実施例を実施例4として説明する。 Next, an embodiment of performing noise reduction by superposition of successive photographed images as Example 4.
この第4実施例も、第1〜第3実施例と同様、動き推定の適否判定に基づく処理を行なう。 The fourth embodiment also, similarly to the first to third embodiments performs processing based on the appropriateness determination of the motion estimation. この第4実施例の画像処理装置の構成例を図15に示す。 The arrangement of an image processing apparatus of the fourth embodiment shown in FIG. 15.

連続撮影画像の重ね合わせによるノイズ低減を行う構成では、ユーザが撮像装置のシャッタ押下によって連写された複数の撮影画像中の先頭の撮影画像を基準画像とし、基準画像に後続撮影画像の位置合わせを行うのが一般的である。 In the configuration in which the noise reduction by superposition of successive photographed images, the user and the top reference image captured image in a plurality of photographed images photographed with each other by a shutter pressing of the imaging device, the alignment of the subsequent captured image as a reference image to carry out is common.

しかし、先頭の撮影画像が動き推定に好適な画像である場合もあり、このような場合には、各画像間の位置合わせがうまく実行されず、良好なノイズ低減が実行されない場合がある。 However, the head of the photographed image might be a suitable image to the motion estimation, in such a case, not executed alignment work between images, there are cases where satisfactory noise reduction is not performed.
以下に説明する実施例では、このような場合に、基準画像を適宜変更して、良好な位置合わせ、ノイズ低減を実行可能とした構成である。 In the embodiments described below, in such a case, by changing the reference image appropriately combined good position is executable and the configuration of the noise reduction.

図15に示す構成は、先に実施例2として説明した図8の構成に、動き推定方向切り替え部251を追加した構成に相当する。 The configuration shown in FIG. 15, the arrangement of Figure 8 described above as in Example 2, corresponding to the configuration obtained by adding a motion estimation direction switching unit 251.
動き推定方向切り替え部251には、入力画像211と、フレームメモリ201の基準画像が入力される。 The motion estimation direction switching unit 251, an input image 211, the reference image in the frame memory 201 is input. さらに、動き判定好適度判定部202から、入力画像が動き推定に好適か否かを示す基準画像更新情報228が入力される。 Furthermore, the motion determination preferred degree determination unit 202, the input image is the reference image update information 228 indicating whether suitable motion estimation is input.

なお、先に説明した実施例1〜3では、フレームメモリ201に格納される画像を、「参照画像」、すなわち、動き補償画像の生成元となる画像としたが、この実施例4では、フレームメモリ201に格納される画像は、「基準画像」である。 In Example 1-3 described above, the image stored in the frame memory 201, "reference image", i.e., has been an image comprising a generator of the motion compensation image, in the fourth embodiment, the frame image stored in the memory 201 is a "reference image".
「基準画像」は、出力される処理画像と同じ画像位置を持つ画像である。 "Reference image" is an image having the same image position as the outputted processed image. 基準画像以外の連写画像中のその他の入力画像については、この基準画像と同一の画像位置となる設定とした動き補償画像を生成した上で合成処理が実行され、1枚のノイズ低減画像としての処理画像215が出力されることになる。 The other input images in the continuous image other than the reference image synthesizing process on the generated set with motion compensation images having the same image position and the reference image is performed, as a single noise-reduced image so that the processed image 215 is output.
従って、本実施例では、動き判定好適度判定部202は、入力画像が動き推定に好適か否かを示す「基準画像」更新情報228を出力する。 Thus, in this embodiment, motion determination preferred degree determination unit 202, an input image and outputs a "reference image" update information 228 indicating whether suitable motion estimation.

本構成において、連写撮影画像の先頭画像が仮の基準画像としてフレームメモリ201に格納される。 In this configuration, the top image of the continuous shot image is stored in the frame memory 201 as the temporary reference image. しかし、その後、新たに入力される後続撮影画像が動き推定に好適な画像であると判定されると、基準画像をその画像に変更する処理を行なう。 But then, subsequent captured images to be newly entered is determined to be a suitable image in the motion estimation, performs processing of changing the reference image to the image. この基準画像更新処理は、先に説明した実施例1〜3における参照画像の更新処理と同様の処理である。 The reference image updating processing is the same processing as the update processing of the reference image in the first to third embodiments described above.

さらに、動き推定方向切り替え部251は、動き判定好適度判定部202から入力する基準画像更新情報228に従って、入力画像211が動き推定に好適な画像であるか否かを判定し、その判定情報に応じて動き推定方向を変更する処理を行なう。 Furthermore, motion estimation direction switching unit 251, in accordance with the reference image update information 228 input from the motion determination preferred degree determination unit 202, an input image 211 is equal to or suitable image in the motion estimation, the determination information depending performs processing of changing the motion estimation direction.

すなわち、新たに入力された入力画像が動き推定に好適な画像である場合、その画像を基準画像として設定し、その基準画像の方向に各連写画像の位置合わせを実行する設定とする。 That is, the input image newly input be a suitable image to the motion estimation, and set the image as a reference image, and set to perform the alignment of the continuous image in the direction of the reference image. 新たに入力された入力画像が動き推定に不適格な画像である場合、その画像は、基準画像として設定されず、設定済みの基準画像、あるいはその後に設定される基準画像の方向に各連写画像の位置合わせを実行する設定とする。 If the newly received input image is a non-qualified image in motion estimation, the image is not set as the reference image, the continuous shooting in the direction of the reference image is set configured of the reference image, or following and set to perform the alignment of the image.

図15に示す動き推定方向切り替え部251の出力として示す動き推定目標画像261と、動き推定参照画像262は、一方が位置合わせの目標となる画像であり、他方が位置合わせの処理対象となる画像である。 A motion estimation target image 261 shown as the output of the motion estimation direction switching unit 251 shown in FIG. 15, the motion estimation reference image 262 is an image one is the target of the alignment, image other is processed alignment it is.
その他の構成と処理は、図8を参照して説明した構成と処理と同様である。 Other configurations and processing are the same as the configuration and processing described with reference to FIG.

本実施例に従った処理シーケンスについて、図16〜図17に示すフローチャートを参照して説明する。 The processing sequence according to this embodiment will be described with reference to the flowchart shown in FIGS. 16 17.
画像処理装置が、例えば静止画のノイズ低減画像を生成して記録あるいは出力する場合、連続撮影された複数の画像を利用した合成処理を実行する。 The image processing apparatus, for example, when to generate a still image of the noise reduced image recording or output, executes using a plurality of images continuously captured synthesis process. すなわち、先に図4を参照して説明した信号処理を実行してノイズ低減画像を生成する。 That is, to generate a noise-reduced image by performing the signal processing described above with reference to FIG. 4.
図16〜図17に示すフローは、このようなノイズ低減画像の生成処理を行なう場合の処理シーケンスを説明するフローチャートである。 Flow shown in FIGS. 16 17 is a flowchart illustrating a processing sequence in the case of performing the process of generating such noise reduced image.

図16〜図17に示すフローに従った処理は、例えば、図15に示す構成を持つ画像処理装置において、図15には示していないが、画像処理装置の制御部の制御下で行われる。 Processing according to the flow shown in FIGS. 16 17, for example, in an image processing apparatus having the configuration shown in FIG. 15, although not shown in FIG. 15, is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図16〜図17に示すフローに従った処理の制御を行う。 The control unit controls the processing according to the flow shown in FIGS. 16 17 and executes a program stored in the memory of the image processing apparatus.

まず、ステップS161において、基準画像の仮決定処理を行なう。 First, in step S161, it performs the preliminary decision process of the reference image. 連続撮影画像の最初の撮影画像である先頭画像を仮の基準画像とする。 The first image is the first image captured by the continuous shooting images a provisional reference image.
以下のステップS162〜S185の処理は、連続撮影画像の各撮影画像に対して実行する。 Processing of the following steps S162~S185 is performed for each captured image of the continuous shooting image.

ステップS163において、撮影画像を入力する。 In step S163, inputs the captured image.
次に、ステップS164において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。 Next, in step S164, whether the input image is the preferred image to the motion estimation is performed whether the discrimination ineligible image not suitable. この処理は、図15に示す動き推定好適度判定部202の実行する処理である。 This process is a process executed by the motion estimation preferred degree judgment unit 202 shown in FIG. 15.

ステップS165において、基準画像が決定済みであるか否かを判定する。 In step S165, it determines whether or not a reference image has already been determined.
基準画像が決定済みである場合、ステップS166に進み、決定済みでない場合はステップS167に進む。 When the reference image has already been determined, the process proceeds to step S166, if it is not already determined, the process proceeds to step S167.

基準画像が決定済みであり、ステップS166に進むと、ステップS166において、入力画像が動き推定に好適な画像であるか否かを判定する。 Reference image is already determined, it determines the flow proceeds to step S166, in step S166, the input image whether it is suitable for image motion estimation. 好適であると判定すると、ステップS169において、入力画像と基準画像を適用した動き推定処理を実行する。 If it is determined that the preferred, in step S169, it executes the motion estimation process of applying the input and reference images. この処理は、図15示す動き推定部203の実行する処理であり、フレームメモリ201に格納された基準画像と入力画像間の動き量を推定する処理である。 This process is a process executed by the motion estimation unit 203 shown FIG. 15 is a process for estimating the motion amount between the input image and the reference image stored in the frame memory 201.

一方、ステップS166において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップS170において、例外動き量を計算する。 On the other hand, in step S166, the input image is If it is determined that the disqualified image is not a preferable image in motion estimation, at step S170, calculates the exception motion amount. これは、図15に示す動き量補正部204の処理である。 This is a process of the motion amount correction section 204 shown in FIG. 15. 例外動き量は、先に説明したように例えばゼロベクトルである。 Exceptions motion amount is a zero vector, for example, as described above.

一方、ステップS165において基準画像が決定されていないと判定した場合は、ステップS167に進む。 On the other hand, when it is determined that the reference image is not determined in step S165, the process proceeds to step S167. ステップS167において、入力画像が動き推定に好適な画像であるか否かを判定する。 In step S167, the input image is determined whether it is suitable for image motion estimation. 好適であると判定すると、ステップS168において、入力画像を次の基準画像として決定し、ステップS169の動き推定処理に進む。 If it is determined that the preferred, at step S168, determines the input image as the next reference image, the flow proceeds to a motion estimation process in step S169.
一方、ステップS167において、入力画像が動き推定に好適な画像でなく不適格画像であると判定すると、ステップS171に進む。 On the other hand, in step S167, the input image is determined to be ineligible image not suitable image in the motion estimation, the process proceeds to step S171. ステップS171では、入力画像を基準画像とせず、次の画像フレームを基準画像とする仮設定処理を行なう。 In step S171, without reference image input image, it performs tentative setting processing for the reference image for the next image frame. さらに、ステップS172において例外動き量を計算する。 Moreover, to calculate the exception movement amount in step S172. これは、図15に示す動き量補正部204の処理である。 This is a process of the motion amount correction section 204 shown in FIG. 15. 例外動き量は、先に説明したように例えばゼロベクトルなどが利用される。 Exceptions motion amount, such as zero vector, for example, as described above is utilized.

ステップS170、ステップS169、ステップS172のいずれかの処理が完了すると、図17に示すステップS181に進む。 Step S170, step S169, when any of the processing in step S172 is completed, the process proceeds to step S181 shown in FIG. 17.
ステップS181では、動き量補正処理を実行する。 In step S181, it executes the motion amount correction process. この処理は、図15に示す動き量補正部204の実行する処理である。 This process is a process executed by the motion amount correcting unit 204 shown in FIG. 15.
入力画像が動き推定に適した画像である場合、基準画像と入力画像間の動き量を算出して動き補償画像生成部205に出力する。 If the input image is an image suitable for the motion estimation, and outputs the motion compensation image generation section 205 calculates the motion amount between the reference image and the input image. 一方、入力画像が動き推定に適した画像でなく不適格画像である場合、例外動き量、例えばゼロベクトル等を動き補償画像生成部205に出力する。 On the other hand, the input image is output when ineligible image rather than an image that is suitable for motion estimation, exceptions motion amount, for example, a zero vector or the like to the motion-compensated image generation unit 205.

次に、ステップS182において、動き補償画像を生成する。 Next, in step S182, it generates a motion compensation picture. すなわち、動き量または例外動き量を適用して、動き補償画像を生成する。 That is, by applying the motion amount or exception motion amount, to generate a motion compensation picture. この処理は、図15に示す動き補償画像生成部205の実行する処理である。 This process is a process executed by the motion-compensated image generating unit 205 shown in FIG. 15. この動き補償画像生成処理は、入力画像が動き推定好適度ありの場合は、ステップS181において算出した動き量を適用して実行する。 The motion-compensated image generation processing, the input image is the case with motion estimation preferred degree, run by applying the motion amount calculated in step S181.
一方、入力画像が動き推定好適度なしの場合は、ステップS170またはステップS172において算出した例外動き量を適用して実行する。 On the other hand, the input image is for no motion estimation preferred degree, run by applying the exception motion amount calculated in step S170 or step S172.

次に、ステップS183において、入力画像と動き補償画像を適用した信号処理を実行する。 Next, in step S183, it executes the applied signal processing an input image and the motion compensated image. この処理は、図15に示す信号処理部206の実行する処理である。 This process is a process executed by the signal processing unit 206 shown in FIG. 15. 信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。 The signal processing, for example, noise reduction processing, the super-resolution process is a process, such as high dynamic range image generation process.
ステップS184において、ステップS183の信号処理結果として生成した画像を出力する。 In step S184, it outputs an image generated as a result of signal processing in step S183.
ステップS185に進むと、残りの連続撮影画像があるか否かを判定し、ある場合は、ステップS163以下の処理を繰り返す。 In step S185, it is determined whether there is remaining continuous shooting image, if there is, step S163 and repeats the process.
残りの未処理画像がない場合は処理を終了する。 If there are no remaining unprocessed image, the processing is terminated.
このようにして、連続撮影された複数の画像を適用したノイズ低減画像が生成されて出力される。 In this way, the noise reduced image to which the plurality of images continuously captured is generated and output.

本実施例の動き推定処理に適用する基準画像の設定と、動き補償画像の生成処理の態様について図18を参照して説明する。 Setting a reference image applied to the motion estimation process of the present embodiment will be described with reference to FIG. 18 for embodiment of the process of generating motion compensated image.
例えば、画像k〜k+3の4枚の画像を連続撮影し、この連写画像を合成して1つのノイズ定見画像を生成する。 For example, four images of the image k to k + 3 consecutive photographing, to generate one noise reed shaken image by combining the continuous image.
一般的には、図18(a)に示すように、先頭の撮影画像である画像kを基準画像に設定し、基準画像に他の画像位置を合わせるように動き補償画像を生成したうえで、各画像の合成処理を実行する。 In general, as shown in FIG. 18 (a), the image k is the first photographed image is set as a reference image, the reference image in terms of generating the motion-compensated image to match the other image location, executing combining processing for each image.
これに対し、本実施例に従った処理では、図18(b)に示すように例えば先頭画像kが動き推定に不適格な画像であり、次の画像k+1が動き推定に好適な画像であった場合、この画像を基準画像として設定する。 In contrast, in the process according to the present embodiment, a non-qualified image for example the top image k is the motion estimation as shown in FIG. 18 (b), the next image k + 1 is a a suitable image to the motion estimation when sets this image as a reference image. この画像k+1に他の画像の位置合わせを行った動き補償画像を生成して、画像合成に基づくノイズ低減画像を生成する。 This image k + 1 to generate a motion compensated image subjected to the alignment of the other image, to generate a noise-reduced image based on the image synthesis.

[1−7. [1-7. 高ダイナミックレンジ画像の生成処理を行なう実施例(実施例5)] Example of performing a process of generating a high dynamic range image (Example 5)
次に、高ダイナミックレンジ画像の生成処理を行なう実施例について、実施例5として説明する。 Next, an embodiment of performing a process of generating a high dynamic range image will be described as Example 5.
実施例5も前述の実施例1〜4と同様、入力画像が動き推定に適した画像であるか、適さない不適格画像であるかを判定し、判定結果に応じた処理を実行する。 Similarly to Example 5 also Examples 1-4 described above, the input image or an image that is suitable for motion estimation, determines whether the disqualified image unsuitable, executes the process corresponding to the judgment result.
高ダイナミックレンジ画像の生成処理を行なう構成では、複数の異なる露光時間の撮影画像を連続して複数枚、撮影し、これらの複数の異なる露光時間の撮影画像を合成して1枚の高ダイナミックレンジ画像を生成する。 In the configuration for performing processing for generating a high dynamic range image, a plurality of sheets are continuously photographed images of a plurality of different exposure times, photographed, high dynamic range of one to synthesize these photographic images of a plurality of different exposure times to generate an image.

この処理においても、前述の実施例4と同様、連続撮影された複数の異なる露光時間画像のどの画像に位置合わせを行うか、すなわち度の画像を基準画像とするかを選択可能である。 In this process, as in Example 4 above, which is what image or aligning the consecutive captured plurality of different exposure times image, i.e. whether the reference image an image of every selectable.
本実施例では、動き推定に適さない画像については、基準画像として設定せず、動き推定に好適な画像を選択して基準画像とする。 In the present example, the image is not suitable for motion estimation, without setting as a reference image, a reference image by selecting a suitable image to the motion estimation.
この処理は、前述の実施例4と同様の処理である。 This process is the same process as in Example 4 above.
本実施例に適用する画像処理装置の構成は、前述の実施例4と同様、図15の構成となる。 Construction of an image processing apparatus applied to this embodiment, as in Example 4 above, the configuration in FIG. 15.

[2. [2. 複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について] Noise reduction by synthesis of a plurality of images, for example to perform together a high dynamic range processing]
次に、連続撮影された異なる露光時間の撮影画像を合成してノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について説明する。 Next, a noise reduction by combining photographed images having different exposure times which are continuously captured, for example to perform together a high dynamic range processing is described.
ノイズ低減画像を生成する場合も高ダイナミックレンジ画像を生成する場合も複数の連続撮影画像を位置合わせ後に合成する処理を行なうことになる。 May also generate a high dynamic range image when generating a noise reduced image is to be performed a process of synthesizing a plurality of continuously captured images after the positioning.

[2−1. [2-1. ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について] And noise reduction processing, a general configuration example and problems to run along a high dynamic range processing]
まず、ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について説明する。 First, a noise reduction processing, a general configuration example and problems to run along a high dynamic range processing is described.
高ダイナミックレンジ画像を生成する場合、複数の異なる露光時間に設定した画像を連続撮影してこれらの複数画像を合成する処理を行なう。 When generating a high dynamic range image, a process of synthesizing these plurality of images of images set in a plurality of different exposure times consecutively photographed.
高ダイナミックレンジ画像の生成処理の基本的なシーケンスについて図19を参照して説明する。 Referring to FIG. 19 illustrating the basic sequence of a generation process of the high dynamic range image.

図19に示す例は、短時間露光画像301と長時間露光画像302、これら2種類の異なる露光時間の設定画像を利用した処理例である。 Example shown in FIG. 19, the short-time exposure image 301 and the long-time exposure image 302 is a processing example using the setting image of these two different exposure times.
短時間露光画像301と長時間露光画像302は、ユーザの1回のシャッタ操作によって連続撮影される。 Short-time exposure image 301 and the long-time exposure image 302 is continuously captured by a single shutter operation of the user.
撮像装置の撮影画像のデータ処理部は、まず、短時間露光画像301と、長時間露光画像302についてステップS201、S202において露光比に応じた定数を乗算して露出補正を行う。 The data processing unit of the photographic image of the imaging apparatus first performs a short-time exposure image 301, the exposure correction by multiplying a constant corresponding to the exposure ratio for the long exposure image 302 in step S201, S202.
例えば、短時間露光時間と長時間露光時間の露光比(=露光時間比)が1:16である場合、露出補正の段階で短時間露光画像は16倍し、長時間露光画像は1倍して、露出補正短時間露光画像303と露出補正長時間露光画像304を生成する。 For example, when the exposure ratio of the short exposure time and the long-time exposure time (= exposure time ratio) is 1:16, short-time exposure image at the stage of exposure compensation 16 multiplies long exposure image 1 multiplied by Te, generating the exposure correction long exposure image 304 and exposure correction short exposure image 303.
その後、ステップS203で対応画素の画素値を合成(ブレンド)して出力画像である高ダイナミックレンジ(HDR:High Dynamic Range)画像305の画素値を決定する。 Thereafter, a high dynamic range is a pixel value of a corresponding pixel synthesis (blend) and outputs the image in step S203: determining the pixel values ​​of (HDR High Dynamic Range) image 305.

出力画像である高ダイナミックレンジ(HDR:High Dynamic Range)画像305の画素値の決定処理シーケンスについて説明する。 High dynamic range in the output image (HDR: High Dynamic Range) processing for determining the sequence of pixel values ​​of the image 305 will be described.
例えば、 For example,
:露出補正短時間露光画像の画素値 D :露出補正長時間露光画像の画素値 D :出力する高ダイナミックレンジ画像の画素値としたとき、 D S: Exposure compensation short exposure image pixel values D L: Exposure compensation long exposure image pixel value D H: when the pixel value of the output to the high dynamic range image,
高ダイナミックレンジ(HDR:High Dynamic Range)画像305の画素値は、ステップS203のブレンド処理において、以下に示す式に従って算出する。 High dynamic range pixel values ​​(HDR High Dynamic Range) image 305, the blending process of the step S203, is calculated according to the equation shown below.
=(1.0−α)×D +α×D D H = (1.0-α) × D S + α × D L
なお、上記式に従った画素値ブレンドは、露出補正短時間露光画像と、露出補正長時間露光画像の対応画素位置ごとに行う。 Incidentally, the pixel value blend according to equation performs the exposure correction short exposure image, for each corresponding pixel position in the exposure correction long exposure image. すなわち同一被写体の撮影画素位置ごとにブレンド処理を行って出力画像(HDR画像)の各画素値を決定する。 That determines the pixel values ​​of the output image (HDR image) by performing the blend processing by shooting pixel position of the same subject.

このような処理により、例えば長時間露光画像302では飽和画素値となった画素でも短時間露光画像301の対応画素の画素値を利用することで有効画素値を算出することが可能となる。 By such processing, it is possible to calculate the effective pixel values ​​by using the pixel values ​​of corresponding pixels of even short exposure image 301 on a pixel, for example was a long saturated pixel value in the exposure image 302. また、短時間露光画像301では低輝度となりいわゆる黒つぶれが発生した画素であっても長時間露光画像302の画素値を利用することで有効画素値を設定できる。 In addition, it sets a valid pixel value by crushing the so-called black becomes short in exposure image 301 low luminance to utilize pixel values ​​of the long time even pixels generated exposure image 302.
このような処理によって、低輝度〜高輝度の各画素に有効画素値を設定することが可能となり、ダイナミックレンジを広げた高ダイナミックレンジ画像を生成することが可能となる。 Such treatment, it is possible to set the effective pixel value to each pixel of the low-intensity to high intensity, it is possible to generate a high-dynamic range image with wider dynamic range.

図19に示す構成では、2種類の露光時間の組み合わせとしたが、露光時間の設定は様々な設定が可能であり、2以上の任意数N種類の設定とすることができる。 In the configuration shown in FIG. 19, two have been a combination of exposure time, the exposure time setting is susceptible to various settings can be two or more arbitrary number N types of settings. 例えば露光時間の設定を4種類の設定とするなどの構成が可能である。 For example configurations are possible, such as the four sets the setting of the exposure time.
しかし、このように多数の異なる露光時間の撮影画像を利用して、高ダイナミックレンジ化処理と、ノイズ低減処理を併せて実行する場合、異なる露光時間の各画像を一時的に格納する多数のフレームメモリムが必要となる。 However, a number of frames thus many utilizing photographed images having different exposure times, and high dynamic range processing, storing case, each image having different exposure times temporarily to perform together the noise reduction processing Memorimu is required.

図20は、4種類の露光時間の連続撮影画像を利用して、まず、各画像の合成による高ダイナミックレンジ画像を生成し、その後、ノイズ低減処理を実行する構成例を示している。 Figure 20 utilizes a continuous shooting images of four types of exposure times, first generates a high dynamic range image according to the synthesis of each image, then, it shows a configuration example for performing the noise reduction process.
まず、以下の4種類の異なる露光時間の画像を入力する。 First, inputting the image of the following four different exposure times.
(1)最短時間露光画像XS,321、 (1) the shortest time exposure image XS, 321,
(2)短時間露光画像MS,322、 (2) short exposure image MS, 322,
(3)長時間露光画像ML,323、 (3) long exposure images ML, 323,
(4)最長時間露光画像XL,324、 (4) the maximum time exposure image XL, 324,
これらの各画像は、例えば撮像装置に対するユーザによる1回のシャッタ押下によって連続撮影される画像である。 Each of these images is, for example, images successively captured by the shutter pressing once by the user to the imaging apparatus.
露光時間は、 Exposure time,
XS<MS<ML<XL XS <MS <ML <XL
上記関係にある。 In the above relationship.

これらの各画像は、図20に示すフレームメモリa331〜フレームメモリd334にそれぞれ格納される。 Each of these images are respectively stored in the frame memory a331~ frame memory d334 shown in FIG. 20. 図20に示す高ダイナミックレンジ(HDR)画像生成部335は、これらの4種類の異なる露光画像を合成して1つの高ダイナミックレンジ(HDR)画像を生成する。 FIG high dynamic range (HDR) image generation unit 335 shown in 20, to generate a single high dynamic range (HDR) image by synthesizing these four different exposure images.
例えば、低輝度画素は最長時間露光画像XL324の画素値を優先的に採用し、高輝度画素は最短時間露光画像XS321の画素値を優先的に採用する画素値ブレンドを実行して高ダイナミックレンジ画像を生成する。 For example, the low luminance pixel a pixel value of the longest time exposure image XL324 preferentially adopted, high brightness pixel the shortest time the pixel value of the exposure image XS321 running pixel values ​​blend employed preferentially high dynamic range image to generate.

高ダイナミックレンジ(HDR)画像生成部335の生成した高ダイナミックレンジ(HDR)画像は、次に、ノイズ除去部336に入力される。 High dynamic range (HDR) generated high dynamic range of the image generating unit 335 (HDR) image is then input to the noise removing unit 336. ここでは、例えば先行して生成されている、生成済み高ダイナミックレンジ(HDR)画像をフレームメモリe337から取り出して、例えば先に図4を参照して説明した処理に従ったノイズ低減処理を実行する。 Here, for example, prior to being produced, it removed the generated high dynamic range (HDR) image from the frame memory E337, executes the noise reduction processing according to the processing described with reference to FIG. 4, for example, the above . その処理結果として、図に示すノイズ除去HDR画像338が生成され出力される。 As the processing result, the noise rejection HDR image 338 shown in FIG. Is generated and output.

図20に示すように、高ダイナミックレンジ画像とノイズ除去をシーケンシャルに実行しようとすると、各画像を一時的に格納する多数のフレームメモリ、あるいは大容量のフレームメモリが必要となる。 As shown in FIG. 20, when attempting to perform a high dynamic range image and denoising sequentially, a number of frame memory for storing the image temporarily or frame memory of a large capacity, is required.

図21は、図20と異なり、ノイズ除去を先行して実行し、ノイズ除去後に高ダイナミックレンジ画像を生成する構成例である。 Figure 21 is different from FIG. 20, and executed prior noise removal, a configuration example of generating a high dynamic range image after noise removal.
図21に示す構成では、ノイズ除去部341が、以下の4つの画像を入力する。 In the configuration shown in FIG. 21, the noise removing unit 341 inputs the following four images.
(1)最短時間露光画像XS,321、 (1) the shortest time exposure image XS, 321,
(2)短時間露光画像MS,322、 (2) short exposure image MS, 322,
(3)長時間露光画像ML,323、 (3) long exposure images ML, 323,
(4)最長時間露光画像XL,324、 (4) the maximum time exposure image XL, 324,
さらに、フレームメモリa351〜フレームメモリd354に格納した先行撮影画像に対するノイズ低減画像を適用したノイズ低減を実行し、生成した各露光時間対応のノイズ低減画像をフレームメモリa351〜フレームメモリd354に格納する。 Furthermore, running the noise reduction according to the noise reduced image to the preceding captured image stored in the frame memory a351~ frame memory D354, storing each exposure time corresponding noise reduction image generated in the frame memory a351~ frame memory D354.

その後、高ダイナミックレンジ(HDR)画像生成部355が、フレームメモリa351〜フレームメモリd354に格納されたノイズ低減処理が施された異なる露光時間の画像を取得して合成処理を実行し、ノイズ除去HDR画像356を生成して出力する。 Thereafter, a high dynamic range (HDR) image generation unit 355 executes the obtained by synthesis processing images of different exposure times the noise reduction processing stored in the frame memory a351~ frame memory d354 is applied, noise reduction HDR generating and outputting an image 356.

この構成においても、やはり、各画像を一時的に格納する多数のフレームメモリ、あるいは大容量のフレームメモリが必要となる。 In this configuration, also, a large number of frame memory for storing the image temporarily or frame memory of a large capacity, is required.
このように、図20や図21に示す構成では、フレームメモリ容量の増加や個別の動き情報の算出や位置合わせ処理などが必要となるため、回路規模、消費電力が増加するという問題もある。 Thus, in the configuration shown in FIGS. 20 and 21, for such calculation and registration process and an increase in individual motion information of the frame memory capacity is required, there circuit scale, a problem that power consumption increases. また、個別の回路による動き補償画像の生成を行うと回路間の誤差などに起因して画像のブレなどが発生し、その後の合成処理によって偽色が発生する可能性が高まることも予想される。 Further, it is expected, such as image blur is caused such an error between circuits is performed to generate a motion compensated image by the individual circuits, also increases it possible that a false color is generated by a subsequent synthesis process .
以下では、このような回路規模の増加や生成画像の品質低下を防止した処理を実現する画像処理装置の実施例について説明する。 Hereinafter, a description will be given of an embodiment of an image processing apparatus for realizing the process to prevent degradation of the quality of such a circuit scale and an increase in the generated image.

[2−2. [2-2. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要] Summary of processing executed in conjunction noise reduction and high dynamic range image produced in accordance with the present disclosure '
以下、本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要について説明する。 Hereinafter, an outline of processing executed in conjunction noise reduction and high dynamic range image produced in accordance with the present disclosure.
画像処理装置は、例えば図22に示すように複数枚の異なる露光時間で撮像された画像信号(短時間露光画像信号から長時間露光画像信号まで)を周期的に入力して処理を実行する。 The image processing apparatus executes processing for example (until long-time exposure image signal from the short-time exposure image signal) a plurality of different exposure time, the captured image signal as shown in FIG. 22 is periodically input. すなわち、 That is,
(1)最短時間露光画像XS、 (1) the shortest time exposure image XS,
(2)短時間露光画像MS、 (2) the short-time exposure image MS,
(3)長時間露光画像ML、 (3) long-exposure image ML,
(4)最長時間露光画像XL、 (4) the maximum time exposure image XL,
これらの4つの異なる露光時間の連続撮影画像を周期的に入力し、処理を実行する。 These four different continuous shooting image exposure time periodically input, executes processing.
露光時間は、以下の関係にある。 Exposure time, there is the following relationship.
XS<MS<ML<XL XS <MS <ML <XL
露光時間は、上記関係にある。 Exposure time is, in the above relationship.

画像処理装置は、これらの4つの異なる露光時間の画像を合成してノイズ低減高ダイナミックレンジ(HDR)画像を生成して出力する。 The image processing apparatus generates and outputs these four images having different exposure times combined with noise reduction and high dynamic range (HDR) image.
なお、以下では、露光時間の種類を4とした例について説明するが、本開示の処理は、任意の露光時間の種類=N、すなわちN=2以上の任意の露光時間の種類=Nの画像に対する処理として実行することが可能である。 In the following, describes an example of the 4 types of exposure time, the process of the present disclosure, any of the exposure time of the type = N, i.e. N = 2 or more arbitrary exposure time type = N images It can be executed as a process on.
また、画像信号の入力順序に関しても、短時間露光画像信号から長時間露光画像信号の順で記載しているが、その限りではない。 Also, with respect to the input sequence of image signals, it has been described in the order of long-exposure image signal from the short-time exposure image signal, not limited thereto.

まず、画像処理装置において実行する異なる露光時間の画像の合成処理の概要について図23を参照して説明する。 First, an outline of the synthesis process for the different exposure times image executed by the image processing apparatus with reference to FIG. 23 will be described.
図23に示す例は、空と家とで構成される画像に対する処理例であり、 Example shown in FIG. 23 is a processing example for the composed image in the sky and the house,
短時間露光画像、 Short-time exposure image,
長時間露光画像、 Long-time exposure image,
これら2種類の異なる露光画像を適用してダイナミックレンジを拡張する高ダイナミック化処理とノイズ除去処理を併せて実行するシーケンスを説明している。 These two kinds of by applying different exposure images describes the sequence performed in conjunction with high dynamic processing and noise removal processing for expanding the dynamic range.

図23には、上から、 In FIG. 23, from the top,
(1)入力画像 (2)前フレームの合成画像 (3)合成画像 (4)更新領域 これらの各図を示している。 (1) an input image (2) the composite image (3) of the previous frame combined image (4) shows the figures update region thereof.
時間は左から右に経過し、(1)入力画像は、短時間露光画像(fn1)、長時間露光画像(fn2)、短時間露光画像(fn3)、長時間露光画像(fn4)・・・短時間露光画像(fn(i))、短時間露光画像(fn(i+1))の順番で入力される。 Time elapsed from left to right, (1) the input image, the short-time exposure image (fn1), long-time exposure image (fn2), the short-time exposure image (fn3), long-time exposure image (fn4) ··· short-time exposure image (fn (i)), it is input in the order of the short-time exposure image (fn (i + 1)).

(1)入力画像〜(3)合成画像において、白領域は、白飛び領域、すなわち画素値が飽和画素値となっている領域を示し、黒領域は黒つぶれ領域、すなわち画素値がほぼ0に近い領域を示している。 (1) in the input image to (3) the composite image, the white area, whiteout area, i.e. a region where pixel values ​​is in the saturated pixel value, the black area blackout region, that is, the pixel value is nearly 0 It shows a close area. これらの領域の画素値は、無効な画素値の設定領域であると言える。 Pixel values ​​of these regions can be said to be setting area invalid pixel value. 一方、グレー(灰色)領域は有効画素値の設定された有効領域である。 On the other hand, gray (gray) area is set the effective region of the effective pixel values.
(1)入力画像において、短時間露光画像では、家が黒潰れしており、長時間露光画像では、空が白飛びしている。 (1) in the input image, in the short time exposure image, the house has been crushed black, in the long-time exposure image, the sky is overexposed.

また、図中の(4)更新領域には、(3)合成画像の生成処理において実行する画素値の更新領域と非更新領域を示している。 Further, (4) in FIG. The update area indicates the (3) update region and a non-updated area of ​​the pixel values ​​to be executed in the process of generating the composite image. 白い領域は更新を行う画素領域であり、黒い領域が非更新領域である。 The white region is a pixel region to be updated, a black area is the non-updated area.

白い領域で示す更新領域は、入力画像に含まれる有効画素領域に対応する。 Update area indicated by the white areas correspond to the effective pixel region included in the input image. この入力画像に含まれる有効画素領域のみを選択して、前フレームで生成した合成画像との合成処理を実行する。 Only effective pixel region included in the input image by selecting, executing a combining process of the composite image generated in the previous frame. 具体的には、これら2つの画像の有効画素値設定領域のみを利用した画素値ブレンドを実行して高ダイナミックレンジ化処理とノイズ低減処理を実行する。 Specifically, to perform these effective pixel value setting region of the two images only by executing a pixel value blending using high dynamic range processing and noise reduction processing. (4)更新領域に示す黒い領域は、非更新領域であり、前フレームで生成した合成画像の画素値をそのまま出力する。 (4) the black area shown in the update area is a non-updated area, and outputs the pixel value of the generated composite image in the previous frame as it is.

このような処理によって、ノイズ低減と高ダイナミックレンジ化処理を併せて実行した合成画像、すなわち図に示す(3)合成画像を順次、生成して出力する。 Such processing, composite image, which run together the noise reduction and high dynamic range processing, i.e. FIG. (3) the composite image sequentially generates and outputs.
図23に示すように、露光の1周期目(最初の2フレーム)にはダイナミックレンジを拡張する高ダイナミックレンジ化処理のみを行い、2周期目(3フレーム目以降)から入力画像に対応した領域にノイズ除去処理を施すことで、ダイナミックレンジ拡張処理とノイズ除去処理の統合を実現している。 As shown in FIG. 23, the first cycle of exposure (first two frames) only performs high dynamic range processing to expand the dynamic range, corresponding to the input image from the second period (the third frame and subsequent) region a by applying noise removal processing, and provides integration of the dynamic range expansion processing and noise removal processing.

露光の1周期目は、各入力画像に対して露光比に応じた露出補正を実行し、露出補正画像同士の合成処理によってダイナミック拡張処理を行なう。 1 cycle of exposure performs exposure compensation in accordance with the exposure ratio for each input image, it performs the dynamic expansion process by the synthesis process of the exposure correction image with each other. 露光の2周期目以降も同様に、各入力画像を露光比倍にゲインアップしたものを合成に用いるが、2周期目以降は、ダイナミックレンジ拡張処理に加えてノイズ除去処理も同時に行う。 Similarly 2 and subsequent cycles of exposure, but used those gains up to an exposure ratio multiplied each input image to the synthesis, the 2 and subsequent cycles, simultaneously performs the noise removal process in addition to the dynamic range expansion process.

露光の2周期目以降に取得できる合成画像には、各露光画像の成分が含まれている。 A composite image that can be acquired in the second cycle and subsequent exposure, contains components of the exposure image. この特徴を利用して、各入力画像の有効領域でのみノイズ除去処理を行い、その他の領域は前フレームの合成画像の画素値をそのまま適用して合成画像を生成する。 Using this feature, performs only noise removal processing in the effective area of ​​each input image, other areas produces as it applied to the composite image pixel values ​​of the composite image of the previous frame.

例えば、左から3番目の入力画像fn3(短時間露光画像)の入力時には、この入力画像fn3の有効画素領域、すなわち、黒つぶれとなっている「家領域」以外の「空領域」の画素値を利用して、前フレームの合成画像fn2の「空領域」の画素値との合成処理を実行して、「空領域」のみのノイズ除去処理を行う。 For example, at the time of input of the third input image from the left fn3 (short exposure image), the effective pixel region of the input image fn3, i.e., has a blackening "home area" other than the pixel values ​​of the "free area" utilizing, by performing the synthesis process of the pixel value of "free area" of the composite image fn2 of the previous frame, the noise removal processing only the "free area".

また、左から4番目の入力画像fn4(長時間露光画像)が入力された場合には、この入力画像の有効画素領域、すなわち白飛びしている「空領域」を除く「家領域」の画素値を利用して、前フレームの合成画像fn3の「家領域」の画素値との合成処理を実行して、「家領域」のみのノイズ除去処理を行う。 Further, in the case of 4-th input image from left fn4 (long exposure image) is input, the pixels of the "home region" except the effective pixel region of the input image, that is, to whiteout the "empty area" using the value, by performing the synthesis process of the pixel value of "home area" of the composite image fn3 of the previous frame, the noise removal processing only the "home area".
これらの処理を繰り返すことで、ダイナミックレンジ拡張処理とノイズ除去処理の統合処理を実現している。 By repeating these processes, thereby realizing the integration process of the dynamic range expansion processing and noise removal processing.

この統合処理における各フレームの合成結果画像は、入力画像の露光成分に応じてノイズ除去の処理が施される領域が異なるため、露光の周期1セットが終わるごとに、画像の全領域においてダイナミックレンジ拡張処理とノイズ除去処理が施されたことになる。 Synthesis result image of each frame in this integration process, since the region of the processing of the noise removal is performed in accordance with an exposure component of the input image is different each time period a set of exposure is completed, the dynamic range in the entire area of ​​the image so that expansion process and noise removal processing is performed.
以下に説明する実施例において、「合成処理」は、上記の処理、すなわちダイナミックレンジの拡張処理である高ダイナミックレンジ化処理とノイズ除去処理を実現する合成処理である。 In embodiments described below, "synthesis processing", the above processing, that is a synthetic process for realizing a high dynamic range processing and noise removal processing is expansion processing of the dynamic range.

[2−3. [2-3. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例(実施例6)] Example executing together the noise reduction and high dynamic range image produced in accordance with the present disclosure (Example 6)
以下、本開示に従った画像処理装置の実施例6として、ノイズ低減と高ダイナミックレンジ画像生成を併せて実行する画像処理装置の実施例について説明する。 Hereinafter, a sixth embodiment of an image processing apparatus in accordance with the present disclosure, embodiments of an image processing apparatus that executes in conjunction noise reduction and high dynamic range image generation will be described.
図24に、実施例6の画像処理装置の主要部構成を説明する構成図を示す。 Figure 24 shows a block diagram illustrating the configuration of the principal part of an image processing apparatus according to an embodiment 6.

24に示すように画像処理装置は、フレームメモリ401、露光比補正部402、動き推定部403、動き補償画像生成部404、信号処理部405、フレームメモリ406を有する。 24 shows an image processing apparatus as includes a frame memory 401, the exposure ratio correction unit 402, the motion estimation unit 403, a motion compensated image generating unit 404, signal processing unit 405, a frame memory 406.

入力画像411は、 The input image 411,
(1)最短時間露光画像XS、 (1) the shortest time exposure image XS,
(2)短時間露光画像MS、 (2) the short-time exposure image MS,
(3)長時間露光画像ML、 (3) long-exposure image ML,
(4)最長時間露光画像XL、 (4) the maximum time exposure image XL,
これらの4つの異なる露光時間の連続撮影画像の周期的入力となる。 The periodic input of these four different exposure times of the continuous shooting image.
露光時間は、以下の関係にある。 Exposure time, there is the following relationship.
XS<MS<ML<XL XS <MS <ML <XL
上記関係にある。 In the above relationship.

これらの画像は順次、フレームメモリ401に格納される。 These images sequentially stored in the frame memory 401.
露光比補正部402は、新規入力画像とフレームメモリ401に保持されている前フレームの入力画像の各露光時間情報に基づいて、露光比を補正する。 Exposure ratio correction unit 402, based on the exposure time information of the input image of the previous frame held in the newly input image and the frame memory 401, to correct the exposure ratio.

露光比補正された2つの画像は、図24に示すように、露光比補正済み連続撮影2画像412として動き推定部403に入力される。 Exposure ratio corrected two images, as shown in FIG. 24, is input to the motion estimation unit 403 as an exposure ratio corrected continuously captured two images 412.
動き推定部403は、露光比補正済み連続撮影2画像412を入力し、これらの2つの連続撮影画像の画素ブロック単位の類似度判別等のブロックマッチング等により2画像間の動き量を推定し、2画像間の動き情報を示す動きベクトル413を算出して動き補償画像生成部404に出力する。 Motion estimation unit 403 inputs the exposure ratio corrected continuously captured second image 412, by block matching or the like of the similarity determination or the like of a pixel block unit of the two successive captured images to estimate the amount of motion between two images, It calculates a motion vector 413 which indicates the motion information between two images and outputs the motion compensation image generation unit 404.

動き補償画像生成部404は、動き推定部403から入力する動きベクトル413を適用して、フレームメモリ406に保持されている前フレームまでの合成結果画像を移動させて入力画像の画像位置に合わせた動き補償画像を生成する。 Motion-compensated image generation unit 404 applies the motion vector 413 input from the motion estimation unit 403, matching the image position of the input image by moving the composite result image up to the previous frame stored in the frame memory 406 generating a motion compensation image.
これにより、前フレームまでの合成結果画像の位置を入力画像の位置に合わせることができる。 Thus, it is possible to align the synthesized result image up to the previous frame to the position of the input image.

信号処理部405は、フレームメモリ401から入力画像を取得し、動き補償画像生成部404から、フレームメモリ406に格納されていた前フレームの合成結果画像に基づく動き補償画像を入力する。 The signal processing unit 405 acquires an input image from the frame memory 401, a motion compensated image generating unit 404 inputs the motion compensation image based on the synthesized result image of the previous frame that has been stored in the frame memory 406.
信号処理部405は、これらの2つの画像に基づく合成処理、すなわち先に図23を参照して説明した高ダイナミックレンジ化とノイズ低減処理の双方を含む合成処理を実行する。 The signal processing unit 405 synthesizes the processing based on these two images, i.e., the synthetic process including both referring to the high dynamic range and noise reduction processing described with FIG. 23 above run. この合成結果を、図に示すノイズ除去HDR画像415として出力する。 The combined result is output as noise removal HDR image 415 shown in FIG.
なお、次の処理に適用するため、この処理結果画像は、フレームメモリ406に格納される。 In order to apply to the next process, the processing result image is stored in the frame memory 406.

図24を参照して説明した処理において、異なる露光時間の設定を4とした場合の画像位置合わせシーケンスにいて図25を参照して説明する。 In reference to the processes described to FIG. 24 will be described with reference to FIG. 25 are in the image registration sequence when the 4 set of different exposure times.
図25には、左から右に時間経過を示す時間軸(t)に沿った、入力画像のシーケンスと、図24の動き補償画像生成部404において実行される動きベクトルに従った動き補償画像生成、すなわち2つの画像の位置合わせ処理の画像の組み合わせを示している。 Figure 25, along the time axis shows the time course from left to right (t), the sequence of the input image, the motion compensation image generated in accordance with the motion vector to be executed in the motion compensation image generation unit 404 of FIG. 24 , that is, the combination of the position adjustment process of images in the two images.

入力画像と、1フレーム前の入力画像の露光時間情報に基づいて露光比補正を行ったあと、2つの画像間で動き推定を行い、動きベクトルを算出する。 An input image, after performing exposure ratio correction based on one-frame exposure time information of the previous input image, performs motion estimation between the two images, and calculates the motion vector. ここで求めた動きベクトルを使って、1フレーム前までの合成結果画像を入力画像の位置に合わせを行う。 Using the motion vector obtained here, performs combined synthesis result image to the previous frame to the position of the input image.
この位置合わせ後の2つの画像を合成することで、ダイナミックレンジ拡張処理とノイズ除去処理を同時処に実行している。 By combining the two images after the positioning, running the dynamic range expansion processing and noise removal processing at the same time treatment. この処理によって、画像の位置ズレによるアーティファクトを含まずに、ダイナミックレンジを拡張したノイズノ少ない高S/N比の画像を得ることができる。 This process, without the artifacts due to positional deviation of the image, it is possible to obtain an image of Noizuno less high S / N ratio which extends the dynamic range.

[2−4. [2-4. 本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例(実施例7)] Example executing together the noise reduction and high dynamic range image produced in accordance with the present disclosure (Example 7)
次に、本開示の画像処理装置の実施例7について説明する。 Next, a description will be given of an embodiment 7 of the image processing apparatus of the present disclosure.
上述した実施例6に従った画像処理装置においては、図25に示すシーケンス図から理解されるように、画像の位置合わせを、異なる露光時間の画像を適用して実行している。 The image processing apparatus according to an embodiment 6 described above, as will be understood from the sequence diagram shown in FIG. 25, the alignment of the image, by applying the images having different exposure times running. 露光画像の周期をまたぐ位置合わせを行う際に、最長時間露光画像と最短時間露光画像との間で動き推定を行うことになり、露光比が大きいと動き推定に失敗する可能性が高くなる。 When aligning spanning the period of exposure image, will be performing motion estimation between the longest time exposure image and the shortest time exposure image, can fail to estimate motion with the exposure ratio is large is increased.
動き推定に失敗すると、例えばIIRフィルタ等を適用したフィルタ処理によるノイズ除去の効果が途切れ、画像が破たんする等の画質劣化につながる可能性がある。 Failure to motion estimation, e.g. interrupted effect of noise removal by filtering processing using an IIR filter or the like, an image may lead to quality deterioration such as to collapse.

このような問題を解決する構成を以下に実施例7として説明する。 A configuration for solving such a problem will be described as an embodiment 7 below.
実施例7に従った画像位置合わせシーケンスについて、図26を参照して説明する。 For image registration sequence according to Example 7 will be described with reference to FIG. 26.
図26には、図25と同様、左から右に時間経過を示す時間軸(t)に沿った、入力画像のシーケンスと、図27に示す本実施例の画像処理装置の動き補償画像生成部404において実行される動きベクトルに従った動き補償画像生成、すなわち2つの画像の位置合わせ処理の画像の組み合わせを示している。 Figure 26 is similar to FIG. 25, along the time axis shows the time course from left to right (t), the sequence of the input image, the motion compensated image generating unit of the image processing apparatus of the present embodiment shown in FIG. 27 motion compensation image generated in accordance with the motion vector to be executed in 404, that is, the combination of the position adjustment process of images in the two images.

本実施例では、特定の露光時間画像を基準画像として選択する。 In this embodiment, to select a particular exposure time image as a reference image. 例えばN種類の露光時間の画像がある場合、これらのN種類の露光時間中、ほぼ中間の露光時間の画像を基準画像として選択する。 For example, if there is an image of the N type of the exposure time, during these N type of the exposure time, to select an image of substantially the middle of the exposure time as a reference image.
図26に示す例では長時間露光画像MLを基準画像として選択し、この基準画像を図27に示すフレームメモリ401に保持しておき、他の露光画像が入力された際は、入力画像と基準画像間で動き推定を行い、動きベクトルを算出する。 Is selected as a reference image for a long time exposure image ML in the example shown in FIG. 26, it holds the this reference image in the frame memory 401 shown in FIG. 27, when another exposure image is input, the input image and the reference performs motion estimation between the images, it calculates a motion vector. ここで求めた動きベクトルを使って、入力画像の画像位置を基準画像の画像位置に合わせる位置合わせ、すなわち動き補償画像を生成する。 Using the motion vector obtained here, adjust the image position of the input image to the image position of the reference image align, i.e. generates a motion compensation picture.
この位置合わせ後の2つの画像を合成する。 Combining two images after the positioning.

なお、新規入力画像として、フレームメモリ401に格納された基準画像と同じ露光時間の画像が入力された場合は、その新規入力画像を新しい基準画像としてフレームメモリ401の格納画像の更新処理を実行し、それまでの合成結果画像を最新の基準画像の画像位置に合わせて、合成を行う。 Incidentally, as a new input image, if the image of the same exposure time as the reference image stored in the frame memory 401 is input, executes the update processing of the stored images in the frame memory 401 to the new input image as the new reference image , the combined synthesis result image up to that the image position of the latest reference image, performs the synthesis.
これによって、最長時間露光画像と最短時間露光画像との間の動き推定を行わずに処理をすることが可能となり、露光比の大きさによる動き推定の失敗を防ぐことができる。 Thus, it is possible to process without motion estimation between the longest time exposure image and the shortest time exposure image, it is possible to prevent the failure of the motion estimation due to the size of the exposure ratio. 結果として、時間方向に連続して露光している画像に対して、ダイナミックレンジ拡張処理とノイズ除去処理の同時合成を際に、画質を劣化させることなく繰り返し処理を行うことが可能となる。 As a result, the image being exposed in succession in the time direction, when the simultaneous synthesis of the dynamic range expansion processing and noise removal processing, it is possible to perform an iterative process without deteriorating the image quality.

なお、図26に示す位置合わせシーケンスは、先に図25を参照して説明したシーケンス、すなわち常に最新の入力画像の位置に合成結果画像を位置合わせする位置合わせシーケンスと異なり、入力画像より過去に入力された基準画像の位置に合成結果画像を位置合わせする処理をすることになる。 Incidentally, the alignment sequence shown in FIG. 26, the sequence described with reference to FIG. 25 earlier, namely always different from the alignment sequence to align the synthesized result image to the position of the latest input image, from the input image in the past so that the process of aligning the synthesis result image to the position of the inputted reference image.

本実施例7の画像処理装置の構成と処理について、図27を参照して説明する。 The configuration and processing of the image processing apparatus of the present embodiment 7 will be described with reference to FIG. 27.
図27に示す画像処理装置は、図24を参照して説明した画像処理装置と同様、フレームメモリ401、露光比補正部402、動き推定部403、動き補償画像生成部404、信号処理部405、フレームメモリ406を有する。 The image processing apparatus shown in FIG. 27, similarly to the image processing apparatus described with reference to FIG. 24, a frame memory 401, the exposure ratio correction unit 402, the motion estimation unit 403, a motion compensated image generating unit 404, signal processing unit 405, a frame memory 406.

入力画像411は、 The input image 411,
(1)最短時間露光画像XS、 (1) the shortest time exposure image XS,
(2)短時間露光画像MS、 (2) the short-time exposure image MS,
(3)長時間露光画像ML、 (3) long-exposure image ML,
(4)最長時間露光画像XL、 (4) the maximum time exposure image XL,
これらの4つの異なる露光時間の連続撮影画像の周期的入力となる。 The periodic input of these four different exposure times of the continuous shooting image.
露光時間は、以下の設定である。 Exposure time is the following settings. すなわち、 That is,
XS<MS<ML<XL XS <MS <ML <XL
上記関係にある。 In the above relationship.

これらの画像から、特定の露光時間の画像を基準画像としてフレームメモリ401に格納される。 These images are stored in the frame memory 401 the image of a specific exposure time as a reference image.
本例では、 In the present example,
(1)最短時間露光画像XS、 (1) the shortest time exposure image XS,
(2)短時間露光画像MS、 (2) the short-time exposure image MS,
(3)長時間露光画像ML、 (3) long-exposure image ML,
(4)最長時間露光画像XL、 (4) the maximum time exposure image XL,
この4種類の露光時間画像中、「(3)長時間露光画像ML」を選択して、基準画像としてフレームメモリ401に格納する。 During this four exposure time image, and select the "(3) long-exposure image ML", it is stored in the frame memory 401 as a reference image.

露光比補正部402は、新規入力画像とフレームメモリ401に保持されている基準画像の各露光時間情報に基づいて、露光比を補正する。 Exposure ratio correction unit 402, based on the exposure time information of the reference image held in the new input image and the frame memory 401, to correct the exposure ratio.
露光比補正された2つの画像は、図27に示すように、露光比補正済み連続撮影2画像412として動き推定部403に入力される。 Exposure ratio corrected two images, as shown in FIG. 27, is input to the motion estimation unit 403 as an exposure ratio corrected continuously captured two images 412.
動き推定部403は、露光比補正済み連続撮影2画像412を入力し、これらの2つの連続撮影画像の画素ブロック単位の類似度判別等のブロックマッチング等により2画像間の動き量を推定し、2画像間の動き情報を示す動きベクトル413を算出して動き補償画像生成部404に出力する。 Motion estimation unit 403 inputs the exposure ratio corrected continuously captured second image 412, by block matching or the like of the similarity determination or the like of a pixel block unit of the two successive captured images to estimate the amount of motion between two images, It calculates a motion vector 413 which indicates the motion information between two images and outputs the motion compensation image generation unit 404.

動き補償画像生成部404は、動き推定部403から入力する動きベクトル413を適用して、入力画像を移動させてフレームメモリ401に格納されている基準画像の画像位置に合わせた動き補償画像を生成する。 Motion-compensated image generating unit 404, generated by applying the motion vector 413 input from the motion estimation unit 403, a motion compensated image to match the image position of the reference image is moved is stored in the frame memory 401 the input image to.
これにより、入力画像の画像位置を基準画像の位置に合わせることができる。 This makes it possible to adjust the image position of the input image to the position of the reference image.

信号処理部405は、動き補償画像生成部404から、入力画像の画像位置を基準画像の位置に合わせた動き補償画像を入力し、さらにフレームメモリ406に格納されていた前フレームの合成結果画像を入力する。 The signal processing unit 405, a motion-compensated image generating unit 404, the synthesis result image of the previous frame to enter a motion compensated image to match the image position of the input image to the position of the reference image, has been further stored in the frame memory 406 input.
信号処理部405は、これらの2つの画像に基づく合成処理、すなわち先に図23を参照して説明した高ダイナミックレンジ化とノイズ低減処理の双方を含む合成処理を実行する。 The signal processing unit 405 synthesizes the processing based on these two images, i.e., the synthetic process including both referring to the high dynamic range and noise reduction processing described with FIG. 23 above run. この合成結果を、図に示すノイズ除去HDR画像415として出力する。 The combined result is output as noise removal HDR image 415 shown in FIG.
なお、次の処理に適用するため、この処理結果画像は、フレームメモリ406に格納される。 In order to apply to the next process, the processing result image is stored in the frame memory 406.

この図27に示す画像処理装置と、先に図24を参照して説明した画像処理装置との違いは、動き補償画像生成部404と、信号処理部405の処理である。 The image processing apparatus shown in FIG. 27, the difference between the image processing apparatus described with reference to FIG. 24 earlier, the motion-compensated image generating unit 404 is a processing of the signal processing unit 405. すなわち、以下の点が異なっている。 In other words, it is different in the following point.

図24に示す実施例6の構成では、動き補償画像生成部404は、動き推定部403から入力する動きベクトル413を適用して、フレームメモリ406に保持されている前フレームまでの合成結果画像を移動させて入力画像の画像位置に合わせた動き補償画像を生成する。 In the arrangement of Embodiment 6 shown in FIG. 24, the motion-compensated image generation unit 404 applies the motion vector 413 input from the motion estimation unit 403, the synthesis result image up to the previous frame stored in the frame memory 406 the moved to generate a motion compensated image to match the image position of the input image.
一方、図27に示す実施例7の構成では、動き推定部403から入力する動きベクトル413を適用して、入力画像を移動させてフレームメモリ401に格納されている基準画像の画像位置に合わせた動き補償画像を生成する。 On the other hand, in the configuration of Embodiment 7 shown in FIG. 27, by applying the motion vector 413 input from the motion estimation unit 403, combined to move the input image to the image position of the reference image stored in the frame memory 401 generating a motion compensation image.

また、図24に示す実施例6の構成では、信号処理部405が、フレームメモリ401から入力画像を取得し、動き補償画像生成部404からフレームメモリ406に格納されていた前フレームの合成結果画像に基づく動き補償画像を入力し、これらの2つの画像に基づく画像合成処理を実行してノイズ除去HDR画像415として出力する。 In the configuration of Example 6 shown in FIG. 24, the signal processing unit 405, the frame obtains the input image from the memory 401, a motion compensated image generation unit 404 from the previous frame that has been stored in the frame memory 406 synthesized result image enter the motion compensation image based on, and outputs it as noise removal HDR image 415 by performing the image combining process based on these two images.
一方、図27に示す実施例7の構成では、信号処理部405は、動き補償画像生成部404から入力画像の画像位置を基準画像の位置に合わせた動き補償画像を入力し、さらにフレームメモリ406に格納されていた前フレームの合成結果画像を入力する。 On the other hand, in the configuration of Embodiment 7 shown in FIG. 27, the signal processing unit 405 receives the motion compensated image to match the image position of the input image from the motion compensated image generating unit 404 to the position of the reference image, further the frame memory 406 inputting the synthesized result image of the previous frame that has been stored in.
信号処理部405は、これらの2つの画像に基づく合成処理を実行してノイズ除去HDR画像415として出力する。 The signal processing unit 405 executes a combining process based on these two images is output as noise removal HDR image 415.

次に、上述した実施例7の画像処理の処理シーケンスについて図28、図29に示すフローチャートを参照して説明する。 Next, FIG. 28 for processing a sequence of image processing in Example 7 described above will be described with reference to a flowchart shown in FIG. 29.
図28、図29に示す処理は、例えば、図27に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。 28, the processing shown in FIG. 29, for example, in an image processing apparatus having the configuration shown in FIG. 27, is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図28、図29のフローに従った処理の制御を行う。 The control unit controls the processing according to the flow of FIG. 28, FIG. 29 by executing the program stored in the memory of the image processing apparatus.

まず、ステップS301において画像を入力する。 First, inputting the image at step S301. 例えばN種類の異なる露光時間の連続撮影画像中の特定の露光時間の画像を入力する。 Entered, for example, the particular image of the exposure time during continuous shooting images of N different exposure times.
次に、ステップS302において、フレームメモリ401に保持してある基準画像を取得し、ステップS303において、フレームメモリ406に保持された前フレーム合成画像を取得する。 Next, at step S302, it acquires a reference image that is held in the frame memory 401, at step S303, acquires the frame composite image before stored in the frame memory 406.

次に、ステップS304において、入力画像の露光時間と基準像像の露光時間を比較し、入力画像の露光時間が基準画像の露光時間と同じか否かを判定する。 Next, in step S304, it compares the exposure time of the exposure time of the input image and the reference image picture, or the same or not the exposure time of the exposure time reference images of the input image.
入力画像の露光時間と基準画像の露光時間が異なる場合、ステップS305に進み、さらに、入力画像の露光時間が、基準画像の露光時間より長いか否かを判定する。 If the exposure time of the exposure time and the reference image of the input image is different, the process proceeds to step S305, further, the exposure time of the input image, determines longer or not than the exposure time of the reference image.
入力画像の露光時間の方が長い場合、ステップS307において、基準画像に対して露光比補正を行う。 If towards the exposure time of the input image is long, in step S307, it performs the exposure ratio correction with respect to the reference image.
一方、基準画像の露光時間の方が長い場合、ステップS306において、入力画像に対して露光比補正を行う。 On the other hand, if the direction of the exposure time of the reference image is long, in step S306, it performs the exposure ratio correction on the input image.
これらの露光比補正処理は、図27に示す露光比補正部402において実行する処理である。 These exposure ratio correction process is a process performed in the exposure ratio correction unit 402 shown in FIG. 27.
この露光比補正によって、入力画像と基準画像の明るさが揃うことになる。 This exposure ratio correction, the brightness of the input image and the reference image are aligned.

次に、ステップS321において、明るさの揃った基準画像と入力画像の間で動き推定を行い、これらの2画像間の移動量に相当する動きベクトルを算出する。 Next, in step S321, it performs motion estimation between the input image and the reference image with uniform brightness, and calculates a motion vector corresponding to the movement amount between these two images.
この処理は、図27に示す動き推定部403において実行する処理である。 This process is a process executed in the motion estimation unit 403 shown in FIG. 27.

さらに、ステップS322において、求めた動きベクトルを用いて、入力画像に対して動き補償を行い、動き補償画像を生成する。 Further, in step S322, using the motion vector obtained, it performs motion compensation for the input image to generate a motion compensation picture.
この処理は、図27に示す動き補償画像生成部404において実行する処理である。 This process is a process executed in the motion compensation image generation section 404 shown in FIG. 27.
この動き補償によって、入力画像が基準画像の位置に合わせられたことになる。 This motion compensation, so that the input image is aligned with the position of the reference image.
ステップS323では、動き補償をした入力画像と、前フレーム合成画像を合成することで、合成画像を生成する。 In step S323, an input image obtained by the motion compensation, by combining the previous frame synthetic image to generate a composite image.
この処理は、図27に示す信号処理部405の実行する処理である。 This process is a process executed by the signal processing unit 405 shown in FIG. 27.
ステップS324において、以上の処理で生成された合成画像をフレームメモリに格納し、ステップする。 In step S324, the above synthetic image generated by the processing is stored in the frame memory, steps.

一方、ステップS304の判定処理において、入力画像の露光時間と基準画像の露光時間が同じと判定した場合は、ステップS331において、この2つの画像間で動き推定を行い、2画像間の動きを示す動きベクトルを算出する。 On the other hand, in the determination process of step S304, if the exposure time of the exposure time and the reference image of the input image is determined to the same, in step S331, it performs motion estimation between the two images, showing the motion between two images to calculate a motion vector.
この処理は、図27に示す動き推定部403において実行する処理である。 This process is a process executed in the motion estimation unit 403 shown in FIG. 27.

次に、ステップS332において、求めた動きベクトルを用いて、前フレーム合成画像に対する動き補償を行い動き補償画像を生成する。 Next, in step S332, using the motion vector obtained to generate a motion compensated image performs motion compensation to the previous frame the synthesized image.
この処理は、図27に示す動き補償画像生成部404において実行する処理である。 This process is a process executed in the motion compensation image generation section 404 shown in FIG. 27.

さらに、ステップS333において、前フレーム合成画像に基づいて生成した動き補償画像と入力画像を合成することで、合成画像を生成する。 Further, in step S333, to synthesize the input image and the motion compensation image generated based on the previous frame combined image to generate a composite image.
この処理は、図27に示す信号処理部405の実行する処理である。 This process is a process executed by the signal processing unit 405 shown in FIG. 27.
ステップS334において、入力画像をフレームメモリに格納する。 In step S334, it stores the input image in the frame memory.

ステップS323の処理、またはステップS334の処理後、ステップS324に進み、ステップS324では、以上の処理で生成された合成画像をフレームメモリに格納し、さらに、ステップS325において生成した合成画像を出力する。 Processing in step S323, or after the process of step S334, the process proceeds to step S324. In step S324, in step S324, the synthesized image generated by the above processing is stored in the frame memory, further, it outputs a composite image generated in step S325.

[2−5. [2-5. 露光時間の同じ画像同士で動き推定を行う実施例(実施例8)] Example for motion estimation in the same image each other exposure time (Example 8)
次に、本開示の画像処理装置の実施例8として、露光時間の同じ画像同士で動き推定を行う実施例について説明する。 Next, the eighth embodiment of the image processing apparatus of the present disclosure describes embodiments for motion estimation in the same image each other exposure times.
図30は、本実施例8の画像処理装置の構成を示す図である。 Figure 30 is a diagram showing a configuration of an image processing apparatus of the eighth embodiment.
入力画像511は、N種類の異なる露光時間の連続撮影画像の周期的入力となる。 The input image 511 is a periodic input of N different exposure times of the continuous shooting image.
これらのN種類の異なる露光画像は、N個のフレームメモリからなるフレームメモリ群501の各フレームメモリ1〜Nに各画像単位で格納する。 These N different exposure images stores in each image unit in each frame memory 1~N frame memory group 501 of N frame memory.
すなわち、露光画像の周期1セット分の画像を全てフレームメモリに保持する。 That holds all periodic one set image of the exposure image in the frame memory.

動き推定部502は、その次の周期の画像が入力された時に、N枚のフレームメモリの中に含まれる入力画像と露光時間が同じ画像との間で動き推定を行い、同一露光画像間動きベクトル512を算出して動きベクトル演算部503に出力する。 Motion estimation unit 502, when the image of the next cycle is input, performs motion estimation and exposure time input image included in the N frames memory with the same image, the same exposure motion between images and it outputs the motion vector calculating unit 503 calculates the vector 512.
動きベクトル演算部503は、動き推定部502から、同一露光画像間動きベクトル512を入力し、この同一露光画像間動きベクトル512に基づいて、異なる露光時間の連続撮影2画像間の動き量を示す連続撮影画像間動きベクトル513を算出して、動き補償画像精製部504に出力する。 Motion vector calculating unit 503, the motion estimation unit 502 receives the same exposure image between motion vectors 512, based on the same exposure image between motion vector 512 indicates the amount of motion between successive shot two images having different exposure times to calculate the continuous shooting image between motion vectors 513, and outputs the motion compensation image purification unit 504. 動きベクトル演算部512は、例えば、動き推定部502の算出した動きベクトルに対する線型演算により、動き補償画像生成部504における動き補償画像の生成に適用する動きベクトルを算出する。 Motion vector calculating unit 512, for example, by linear operation on the calculated motion vector of the motion estimation unit 502 calculates a motion vector to be applied to the generation of the motion compensation image in the motion-compensated image generation unit 504.

動き推定部502の算出する同一露光画像間動きベクトル512と、 The same exposure image between motion vector 512 to calculate the motion estimation unit 502,
動きベクトル演算部503の算出する連続撮影画像間動きベクトル513との関係について図31を参照して説明する。 Referring to Figure 31 the relationship between the continuous shot image among motion vectors 513 to calculate the motion vector calculating unit 503 will be described.
図31に示すように、動き推定部502の算出する同一露光画像間動きベクトル512は、動きベクトル演算部503の算出する連続撮影画像間動きベクトル513の集合であると考えることができる。 As shown in FIG. 31, the same exposure image between motion vector 512 to calculate the motion estimation unit 502 can be considered as a set of continuously captured image among motion vectors 513 to calculate the motion vector calculating unit 503.

すなわち、動き推定によって求めた露光時間が同じ画像同士の動きベクトルに対して線形演算することで、そのベクトルに含まれる、露光時間が異なる画像同士の動きベクトルを求めることができる。 In other words, by the exposure time determined by the motion estimation is a linear operation on the motion vector of the same image with each other, included in the vector, the exposure time can be determined motion vector different images to each other.

なお、動きベクトル演算部503の実行するベクトルの演算に関しては、露光枚数や露光比を利用して分割する方法等が適用できる。 Regarding the calculation of the vector to perform motion vector calculation unit 503 can be applied a method in which splitting using the exposure number and the exposure ratio. また、求めた動きベクトルを保持しておけば、過去のベクトル情報を利用して算出する方法等も適用でき、露光時間が同じ画像同士で求めた動きベクトルから、露光時間が異なる画像間の動きベクトルを算出する方法は特に限定されるものではない。 Also, if holding a motion vector obtained can be applied a method in which calculated using past vector information from the motion vector the exposure time determined in the same image with each other, the motion between the images different exposure times method of calculating the vector is not particularly limited.

図30に示す画像処理装置の構成を参照して、処理シーケンスについて説明する。 Referring to the configuration of the image processing apparatus shown in FIG. 30, it describes the processing sequence.
画像撮像が開始されてから最初に位置合わせを行うN+1枚目の画像(最短時間露光画像)が入力された際の処理について説明する。 First aligning N + 1 th image (shortest time exposure image) explaining processing when input from the image captured is started.

まず、動き推定部502は、入力画像である最短時間露光画像と1枚目の入力画像(最短時間露光画像)が保持されているフレームメモリ1の格納画像との間で動き推定を行い、同一露光画像間動きベクトル512を算出して動きベクトル演算部503に出力する。 First, the motion estimation unit 502 performs motion estimation between a storage image of the frame memory 1 shortest time exposure image and the first sheet of the input image is the input image (shortest time exposure image) is held, the same and outputs the motion vector calculating unit 503 calculates an exposure image between motion vector 512.

動きベクトル演算部503は、同一露光画像間動きベクトル512を入力して、フレームメモリ1とフレームメモリ2に格納された連続撮影画像の間、すなわち露光が異なる画像間の動きベクトルを求める。 Motion vector calculation section 503 inputs the same exposure image between motion vectors 512, between successive captured image stored in the frame memory 1 and the frame memory 2, i.e. obtains a motion vector between images exposed is different. ここで求めた動きベクトルを連続撮影画像間動きベクトル513として動き補償画像生成部504に出力する。 Here and outputs the motion compensation image generating unit 504 a motion vector obtained as a continuous captured image among motion vectors 513.

動き補償画像生成部504は、フレームメモリ1の格納画像の画像位置を、フレームメモリ2の格納画像の画像位置に合わせた動き補償画像514を生成する。 Motion-compensated image generating unit 504, the image position of the stored images in the frame memory 1 to generate a motion compensated image 514 to match the image position of the stored images in the frame memory 2.
動き補償画像生成部504は、生成した動き補償画像514を信号処理部505に出力する。 Motion-compensated image generating unit 504 outputs the generated motion-compensated image 514 to the signal processing unit 505.

信号処理部505は、フレームメモリ2に格納された画像と、動き補償画像生成部504の生成した動き補償画像514の合成処理を実行してノイズ除去HDR画像515を生成して出力する。 The signal processing unit 505, an image stored in the frame memory 2, to run the synthesis process of the motion compensation image 514 generated by the motion-compensated image generating unit 504 generates a noise removal HDR image 515 output. 出力画像は、フレームメモリ505に格納する。 The output image is stored in the frame memory 505.
以下、N種類の露光時間の各画像、すなわち、同一の露光時間の入力画像とフレームメモリ格納画像との間で同様の処理を繰り返し実行する。 Hereinafter, each image of the N type of the exposure time, i.e., the same procedure is repeated between the input image and the frame memory stores image of the same exposure time.

図32は、N+2枚目以降の画像が入力される際、すなわち図30を参照して説明した処理の後に連続入力する画像に対する処理を説明する図である。 Figure 32 is when the image of the N + 2 and subsequent sheets are inputted, that is, a view for explaining processing for an image to be continuous input after the processing described with reference to FIG. 30.
画像撮像が開始されてからN+2枚目の画像(第2短時間露光画像)が入力された際の処理について説明する。 The process when the N + 2 th image (second short exposure image) is input from the image capturing is started will be described.

まず、動き推定部502は、入力画像である第2短時間露光画像と同一の露光時間の画像(第2短時間露光画像)が保持されているフレームメモリ2の格納画像との間で動き推定を行い、同一露光画像間動きベクトル512を算出して動きベクトル演算部503に出力する。 First, the motion estimation unit 502, a motion estimation between the second short exposure image and the same exposure time image (second short exposure image) is stored in image frame memory 2 held the input image It was carried out, and outputs the motion vector calculating unit 503 calculates the same exposure image between motion vector 512.

動きベクトル演算部503は、同一露光画像間動きベクトル512を入力して、フレームメモリ2とフレームメモリ3に格納された連続撮影画像の間、すなわち露光が異なる画像間の動きベクトルを求める。 Motion vector calculation section 503 inputs the same exposure image between motion vectors 512, between successive captured image stored in the frame memory 2 and the frame memory 3, i.e. obtains a motion vector between images exposed is different. ここで求めた動きベクトルを連続撮影画像間動きベクトル513として動き補償画像生成部504に出力する。 Here and outputs the motion compensation image generating unit 504 a motion vector obtained as a continuous captured image among motion vectors 513.

動き補償画像生成部504は、動きベクトル513を適用してフレームメモリ506の格納画像の画像位置を、フレームメモリ3の格納画像の画像位置に合わせた動き補償画像514を生成する。 Motion-compensated image generating unit 504, the image position of the stored images in the frame memory 506 by applying motion vector 513 to generate a motion compensated image 514 to match the image position of the stored images in the frame memory 3.
動き補償画像生成部504は、生成した動き補償画像514を信号処理部505に出力する。 Motion-compensated image generating unit 504 outputs the generated motion-compensated image 514 to the signal processing unit 505.

信号処理部505は、フレームメモリ3に格納された画像と、動き補償画像生成部504の生成した動き補償画像514の合成処理を実行してノイズ除去HDR画像515を生成して出力する。 The signal processing unit 505, an image stored in the frame memory 3, to run the synthesis process of the motion compensation image 514 generated by the motion-compensated image generating unit 504 generates a noise removal HDR image 515 output. 出力画像は、フレームメモリ505に格納する。 The output image is stored in the frame memory 505.
以下、N種類の露光時間の各画像、すなわち、同一の露光時間の入力画像とフレームメモリ格納画像との間で同様の処理を繰り返し実行する。 Hereinafter, each image of the N type of the exposure time, i.e., the same procedure is repeated between the input image and the frame memory stores image of the same exposure time.
これらの処理によって、動き推定を行う画像間の露光比によらず、画像の位置ズレによるアーティファクトを含まずに、ダイナミックレンジを拡張した高S/N画像を得ることができる。 These processes, regardless of the exposure ratio between the images for motion estimation, without the artifacts due to positional deviation of the image, it is possible to obtain a high S / N image that extends the dynamic range.

本実施例の画像処理装置の処理シーケンスについて、図33に示すフローチャートを参照して説明する。 The processing sequence of the image processing apparatus of this embodiment will be described with reference to a flowchart shown in FIG. 33.
図33に示す処理は、例えば、図30、図32に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。 The process shown in FIG. 33, for example, FIG. 30, an image processing apparatus having the configuration shown in FIG. 32, is performed under the control of the control unit of the image processing apparatus. 制御部は画像処理装置のメモリに格納されたプログラムを実行して図33のフローに従った処理の制御を行う。 The control unit controls the processing according to the flowchart of FIG. 33 by executing the program stored in the memory of the image processing apparatus.

まず、ステップS401において画像を入力する。 First, inputting the image at step S401. 例えばN種類の異なる露光時間の連続撮影画像中の特定の露光時間の画像を入力する。 Entered, for example, the particular image of the exposure time during continuous shooting images of N different exposure times.
次に、ステップS402において、入力画像が連続撮影されるN枚の異なる露光時間の露光画像セットの1周期目であるか否かの判定を行う。 Next, in step S402, it is determined whether the input image is a first period of N frames of different exposure time exposure image set being continuously captured.
1周期目である場合、ステップS421に進み、取得した入力画像をフレームメモリに格納し、次フレームの入力画像を取得する処理へ戻る。 If it is the first period, the process proceeds to step S421, and stores the input image acquired in the frame memory, returns to the process of acquiring an input image of the next frame.
すなわち、入力画像が露光セットの2周期目に入るまでは、異なる露光時間で撮像した入力画像をそれぞれフレームメモリに保持する処理を繰り返す。 That is, until the input image is two periods eyes exposure set repeats the process for holding the input image captured at different exposure times in the frame memory, respectively.

入力画像が2周期目以降になると、入力された画像と同じ露光時間で撮像された過去の入力画像がフレームメモリに格納済みになる。 When the input image is the second cycle subsequent past input image captured at the same exposure time as the input image is already stored in the frame memory.
このような状態において新しく画像が入力されると、ステップS403以下の処理が開始される。 When a new image is input in this state, step S403 following process is started.

ステップS403において、入力画像と同じ露光時間で撮像された過去入力画像(以降、同露光過去入力画像と記述する)をフレームメモリから取得する。 In step S403, the previous input image (hereinafter, referred to as the exposure past input images) captured by the same exposure time as the input image to acquire from the frame memory.
次に、ステップS404において、取得した同露光過去入力画像と入力画像の間で動き推定を行う。 Next, in step S404, it performs motion estimation between the input image and the exposure past input image acquired.
次に、ステップS405において、露光セット1周期分の動きベクトル、すなわち、同一露光画像間動きベクトルを算出する。 Next, in step S405, the exposure set one period of the motion vectors, i.e., calculates a motion vector between the same exposure image.
この処理は、図30、図32に示す動き推定部502の実行する処理である。 This process, FIG. 30, a process performed by the motion estimation unit 502 shown in FIG. 32.
ステップS406では、入力画像をフレームメモリに格納する。 In step S406, it stores the input image in the frame memory.

次にステップS407において、同一露光画像間動きベクトルに基づいて、連続撮影画像間動きベクトルを算出する。 In step S407, based on the inter same exposure image motion vectors, it calculates a motion vector between consecutive captured images. この動きベクトル演算で、露光時間の異なる入力画像(以降、異露光過去入力画像と記述する)の間の動きベクトルを求める。 In this motion vector calculation, different input image (hereinafter, referred to as different exposure past input image) exposure times obtains a motion vector between.
この処理は、図30、図32に示す動きベクトル演算部503の実行する処理である。 This process, FIG. 30, a process performed by the motion vector calculating unit 503 shown in FIG. 32.

次に、ステップS408において、前フレーム合成画像を取得し、ステップS409において、異露光過去入力画像をフレームメモリから取得する。 Next, at step S408, it acquires the previous frame combined image, in step S409, the obtaining of different exposure past input image from the frame memory.
次に、ステップS410において、フレームメモリから取得した前フレーム合成画像に対して、ステップS407で算出した連続撮影画像間動きベクトルを用いて動き補償を行い、動き補償画像を生成する。 Next, in step S410, for the previous frame synthesized image acquired from the frame memory, performs motion compensation using the continuous shooting image among motion vectors calculated in step S407, it generates a motion compensation picture.
この処理は、図30、図32に示す動き補償画像生成部504の実行する処理である。 This process, FIG. 30, a process performed by the motion-compensated image generating unit 504 shown in FIG. 32.
前フレーム合成画像は、同露光過去入力画像と同じ位置にあるので、この動き補償によって、前フレーム合成画像が異露光過去入力画像の位置に合わせられたことになる。 Previous frame composite image, since the same position as the exposure past input image, by the motion compensation, so that the front frame composite image is aligned with the position of the different exposure past input image.

次に、ステップS411において、動き補償した前フレーム合成画像と、異露光過去入力画像を合成して、合成画像を生成する。 Next, in step S411, the previous frame composite image motion compensation, by combining the different exposure past input image to generate a composite image.
この処理は、図30、図32に示す信号処理部505の実行する処理である。 This process, FIG. 30, a process performed by the signal processing unit 505 shown in FIG. 32.
ステップS412において、以上の処理で生成した合成画像をフレームメモリに格納し、ステップS413において生成した合成画像を出力する。 In step S412, the composite image generated in the above processing is stored in the frame memory, and outputs the synthesized image generated in step S413.

上述した実施例6,7、すなわち複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例の画像処理装置の処理によって、例えば以下の効果がもたらされる。 Examples 6 and 7 described above, i.e. the noise reduction by synthesis of a plurality of images, by processing of the image processing apparatus of the embodiment executes together high dynamic range processing, for example, the following effects are brought about.
最短時間露光画像と最長時間露光画像の露光比に関わらず、動きズレによるアーティファクトを含まずに逐次的にダイナミックレンジ拡張処理とノイズ除去処理を行うことが可能となる。 Regardless exposure ratio of the shortest time exposure image and the longest time exposure image, and sequentially can be performed dynamic range expansion processing and noise removal processing without the artifacts due to the motion displacement. これによって、動き推定の失敗を避けることができ、画質を劣化させることなくダイナミックレンジ拡張処理とノイズ除去処理の統合を行うことが可能となる。 This makes it possible to avoid the failure of the motion estimation, it is possible to perform the integration of dynamic range expansion process and noise removal process without deteriorating the image quality.

また、露光時間が同じ画像同士でのみ動き推定を行うことで、連続する画像間の露光比にも関わらず、動き推定の失敗を避けることができる。 Further, since the exposure time is performed only motion estimation in the same image with each other, despite the exposure ratio between successive images, it is possible to avoid the failure of the motion estimation. 求めた動きベクトル情報を演算することで、ダイナミックレンジ拡張処理とノイズ除去処理の各処理で必要となる動きベクトル情報を1つの動き推定ブロック・動き補償ブロックで実現することができ、それはすなわち少ない回路規模、消費電力でダイナミックレンジ拡張処理とノイズ除去処理の統合を行うことが可能となる。 By calculating the motion vector information obtained, it is possible to realize a motion vector information are required for each processing in the dynamic range expansion processing and noise removal processing in one motion estimation block motion compensation block, which is to say less circuit scale, it is possible to perform the integration of dynamic range expansion processing and noise removal processing in power consumption.

[3. [3. 画像処理装置の全体構成例について] The overall arrangement of an image processing apparatus]
最後に、上述した各実施例に従った処理を実行する画像処理装置の全体構成例について説明する。 Finally, a description will be given of the overall configuration of an image processing apparatus which executes processing according to the embodiments described above.
図34は、本開示の画像処理装置の一実施例としての撮像装置600の構成例を示す図である。 Figure 34 is a diagram showing a configuration example of an imaging apparatus 600 as an embodiment of the image processing apparatus of the present disclosure. 光学レンズ601を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像デバイス602に入射し、光電変換による画像データを出力する。 Light imaging unit which is incident through the optical lens 601, is incident on the configured imaging device 602 by, for example, a CMOS image sensor, and outputs the image data by photoelectric conversion. 出力画像データは画像処理部603に入力される。 The output image data is input to the image processing unit 603.

画像処理部603は、上述した各実施例に従った処理、すなわち複数画像の合成処理を伴う出力画像の生成処理を実行する。 The image processing unit 603, processing according to the embodiments described above, i.e., executes a process of generating an output image with the synthesis process of the plurality of images. さらに、画像処理部603は、撮像データに対する一般的なカメラ信号処理、例えば、ホワイトバランス(WB)調整、ガンマ補正等の信号処理も実行して、出力画像620を生成する。 Further, the image processing unit 603, general camera signal processing on the imaging data, for example, a white balance (WB) adjustment, and also perform signal processing such as gamma correction, and generates an output image 620. 出力画像620は図示しない記憶部に格納される。 The output image 620 is stored in the storage unit, not shown. あるいは表示部に出力される。 Or it is outputted to the display unit.

制御部605は、例えばメモリ606に格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。 Control unit 605, for example, outputs a control signal to each unit according to a program stored in the memory 606, and controls the various processes.

[4. [4. 本開示の構成のまとめ] Summary of the configuration of the present disclosure]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。 Above with reference to specific embodiments have been described in detail embodiments of the present disclosure. しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present disclosure can make modifications and substitutions of the embodiments. すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting. 本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 In order to determine the scope of the present disclosure, it should be referred to the appended claims.

なお、本明細書において開示した技術は、以下のような構成をとることができる。 Incidentally, the techniques disclosed herein may be configured as below.
(1)異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定する動き推定部と、 (1) a motion estimation unit that estimates a motion amount between two images of the first image is a captured image of the different timings and the second image,
前記動き推定部の推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、 Based on the estimated motion of the motion estimator, a motion-compensated image generating unit for generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image,
前記動き補償画像と、前記第1画像との合成処理により合成画像を生成する信号処理部を有し、 And the motion compensation image has a signal processor for generating a composite image by combining the processing of the first image,
前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置。 The motion-compensated image generation unit, an image processing apparatus for generating a motion compensation image using the selected selection image according to the image selection criteria previously defined.

(2)前記画像処理装置は、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する前記(1)に記載の画像処理装置。 (2) The image processing apparatus includes a determining motion estimation preferred degree determination unit that determines whether the input image is a suitable qualified image motion estimation, the motion estimation preferred degree determination unit, the input image is only if it is eligible image, the input image to perform a control of storing in the frame memory as a reference image applied to the motion estimation, motion said motion estimation unit, to which the reference image stored in the frame memory run the estimation, the motion-compensated image generation unit, an image processing apparatus according to (1) for generating a motion compensation image using the reference image.

(3)前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する前記(2)に記載の画像処理装置。 (3) the motion estimation unit, a determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the judgment information, the input image There when it is determined as a qualified image, the image processing apparatus according to the performing motion estimation of applying the reference image and the input image (2).
(4)前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する前記(3)に記載の画像処理装置。 (4) the motion estimation unit, a determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the judgment information, the input image If There are determined to be ineligible image not suitable for motion estimation, without executing a motion estimation of applying the reference image and the input image, when the motion estimation is not performed in the motion estimation unit, previously defined the image processing apparatus according to having a motion amount correcting unit (3) for outputting the exceptions motion amount determined according to the algorithm in the motion-compensated image generation unit.

(5)前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する前記(2)〜(4)いずれかに記載の画像処理装置。 (5) the signal processing unit, as the determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the judgment information, the input image the image processing apparatus according to any of (2) to (4) to perform signal processing on.
(6)前記動き推定好適度判定部は、前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する前記(2)〜(5)いずれかに記載の画像処理装置。 (6) the motion estimation preferred degree determination unit, blurred areas in the input image, the saturation pixel region, at least any one of a large area of ​​the noise or the input image shooting camera motion, or the brightness range of the input image, wherein the input image by applying any of the indicator executes the determination process whether or not the suitable image to the motion estimation (2) - (5) the image processing apparatus according to any one.

(7)前記動き推定好適度判定部は、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う前記(2)〜(6)いずれかに記載の画像処理装置。 (7) the motion estimation preferred degree determination unit, as the input image, to enter the continuous shot image set in different exposure times, a wider effective pixel area than the effective pixel value area of ​​each exposed image the image processing apparatus according to (2) to (6) or for performing control as a reference image for storing an image in the frame memory with.
(8)前記画像処理装置は、さらに、前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する前記(2)〜(7)いずれかに記載の画像処理装置。 (8) The image processing apparatus further the image stored in the frame memory as a reference image, perform the switching process of the motion estimation direction to run in order to match the image position of the input image to the image position of the reference image the image processing apparatus according to any one of having a motion estimation direction switching unit (2) to (7) to.

(9)前記画像処理装置は、さらに、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する前記(1)〜(8)いずれかに記載の画像処理装置。 (9) The image processing apparatus further as the input image, enter the continuous shot image set in different exposure times, it has an exposure ratio correction unit that performs an exposure ratio correction, the motion estimation unit, wherein performs motion estimation between successive photographed images subjected to the exposure ratio correction at the exposure ratio correction unit calculates the motion amount between the continuously captured images, said motion-compensated image generation unit may use the motion amount to, one image position of the continuous shooting image to generate a motion compensated image to match the other image location, the signal processing unit, the combining process and the motion compensated image, the reference image stored in the frame memory to perform the (1) - (8) the image processing apparatus according to any one.

(10)前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する前記(9)に記載の画像処理装置。 (10) the reference image stored in the frame memory is an image of a predetermined exposure time set in advance, the exposure ratio correction unit, the input image, the exposure ratio correction between the reference images stored in the frame memory It is executed, and the motion estimation unit, an image processing apparatus according to (9) performing motion estimation of the input image and the reference image subjected to the exposure ratio correction in the exposure ratio correction unit.
(11)前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する前記(9)または(10)に記載の画像処理装置。 (11) the motion estimation unit calculates a motion vector between are set to the same exposure time image, and inputs the calculated motion vector of the motion estimator, the linear operation on the motion vector, the motion compensated image the image processing apparatus according to with the motion vector calculation unit for calculating a motion vector to be applied to generate motion compensation image (9) or (10) in the generator.

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。 Furthermore, a method of processing to be executed in the apparatus and system described above, a program for executing the processing is also included in the configuration of the present disclosure.

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combination of both. ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 When the processes are executed by software, it recorded a program having a processing sequence may be installed into a memory within a computer embedded in dedicated hardware, or a program for various processes performed general purpose computer it is possible to install and run. 例えば、プログラムは記録媒体に予め記録しておくことができる。 For example, the program can be recorded in advance on a recording medium. 記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 Other than installing from a recording medium into the computer, LAN (Local Area Network), the program may be received via a network such as the Internet, can be installed in a recording medium such as a built-in hard disk.

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 Note that the various processes described herein may when not only executed in sequence, also in parallel or individually depending on the processing capacity or need of an apparatus for performing the process as described. また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 The system in this specification is a logical set of plural apparatuses and is not limited to apparatuses of respective configurations are in the same casing.

以上、説明したように、本開示の一実施例の構成によれば、高精度な動き推定による動き補償画像を適用した画像の合成処理により、高品質なノイズ低減や高ダイナミックレンジ画像等を生成する構成が実現される。 As described above, according to the configuration of an embodiment of the present disclosure, by the synthesis processing of the image to which the motion compensation image with high precision motion estimation, generates a high quality noise reduction and high dynamic range image, etc. configuration that can be realized.
具体的には、画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。 Specifically, between the image motion amount it is estimated, and performs motion compensation processing to match one of the images at the position of the other image to generate a motion compensated image, the aligned image with the motion compensation image the synthesis process to generate an image that has been subjected to such noise reduction. 動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。 Motion-compensated image generation unit generates the motion compensated image using the selected selection image according to the image selection criteria previously defined. 例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。 For example, the input image has a determined motion estimation preferred degree determination unit that determines whether a suitable qualified image motion estimation, only when the input image is a qualified image, to apply the input image to the motion estimation stored as a reference image in the frame memory.
これらの処理により、高精度な動き推定による動き補償画像を適用した画像の合成処理により、品質の高いノイズ低減や高ダイナミックレンジ画像を生成することが可能となる。 By these processes, the synthesis processing of the image to which the motion compensation image with high precision motion estimation, it is possible to generate a high noise reduction and high dynamic range image quality.

111 静止領域検出部 112 画素値補正部 201 フレームメモリ 202 動き推定好適度判定部 203 動き推定部 204 動き量補正部 205 動き補償画像生成部 206 信号処理部 207 フレームメモリ格納画像更新制御スイッチ 251 動き推定方向切り替え部 331〜334 フレームメモリ 335 高ダイナミックレンジ画像生成部 336 ノイズ除去部 337 フレームメモリ 341 ノイズ除去部 351〜354 フレームメモリ 355 高ダイナミックレンジ画像生成部 401 フレームメモリ 402 露光比補正部 403 動き推定部 404 動き補償画像生成部 405 信号処理部 406 フレームメモリ 501 フレームメモリ群 502 動き推定部 503 動きベクトル演算部 504 動き補償画像生成部 505 信号処理部 111 still region detection unit 112 a pixel value correcting unit 201 frame memory 202 motion estimation preferred degree judgment unit 203 the motion estimation unit 204 motion amount correcting unit 205 motion-compensated image generating unit 206 signal processing unit 207 a frame memory storing an image update control switch 251 motion estimation direction switching unit 331 to 334 frame memory 335 high dynamic range image generating unit 336 a noise removing unit 337 frame memory 341 the noise removing unit 351 to 354 frame memory 355 high dynamic range image generator 401 frame memory 402 exposed ratio correction unit 403 the motion estimation unit 404 motion-compensated image generating unit 405 signal processing unit 406 the frame memory 501 frame memory group 502 motion estimator 503 motion vector calculating unit 504 motion-compensated image generating unit 505 signal processing unit 506 フレームメモリ 600 撮像装置 601 光学レンズ 602 撮像デバイス 603 画像処理部 605 制御部 606 メモリ 506 frame memory 600 the image pickup apparatus 601 optical lens 602 imaging device 603 image processing unit 605 control unit 606 memory

Claims (13)

  1. 異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定する動き推定部と、 A motion estimation unit that estimates a motion amount between two images of the first image and the second image is a photographed image of different timing,
    前記動き推定部の推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、 Based on the estimated motion of the motion estimator, a motion-compensated image generating unit for generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image,
    前記動き補償画像と、前記第1画像との合成処理により合成画像を生成する信号処理部を有し、 And the motion compensation image has a signal processor for generating a composite image by combining the processing of the first image,
    前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置。 The motion-compensated image generation unit, an image processing apparatus for generating a motion compensation image using the selected selection image according to the image selection criteria previously defined.
  2. 前記画像処理装置は、 The image processing apparatus,
    入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、 The input image has a determined motion estimation preferred degree determination unit that determines whether a suitable qualified image motion estimation,
    前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、 The motion estimation preferred degree determination unit, only when the input image is a qualified image, executes a control for storing the input image in the frame memory as a reference image applied to the motion estimation,
    前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、 The motion estimation unit executes the motion estimation according to the reference image stored in the frame memory,
    前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する請求項1に記載の画像処理装置。 The motion-compensated image generation unit, an image processing apparatus according to claim 1 for generating a motion compensation image using the reference image.
  3. 前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する請求項2に記載の画像処理装置。 The motion estimation unit, as the determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the judgment information, the input image Eligible image If it is determined that the image processing apparatus according to claim 2 to perform the motion estimation of applying the reference image and input image.
  4. 前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、 The motion estimation unit, as the determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the judgment information, the input image is a motion estimation If it is determined that ineligible image not suitable for, without executing a motion estimation of applying the reference image and input image,
    前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する請求項3に記載の画像処理装置。 If the motion estimation in the motion estimation unit is not executed, the image processing apparatus according to claim 3 having a motion amount correcting unit for outputting exceptions motion amount determined according to the algorithm defined in advance in the motion-compensated image generation unit.
  5. 前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する請求項2に記載の画像処理装置。 Wherein the signal processing unit, as the determination information of the motion estimation preferred degree determination unit, and inputs the determination information which the input image indicating whether or not qualified image, based on the determination information, the signal processing for the input image the image processing apparatus according to claim 2 to perform.
  6. 前記動き推定好適度判定部は、 The motion estimation preferred degree determination unit,
    前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する請求項2に記載の画像処理装置。 Blurred regions in the input image, the saturation pixel region, at least any one of a large area of ​​the noise or the input image shooting camera motion or input image is a motion to apply one of the indicators of the luminance range of the input image, the image processing apparatus according to claim 2 for performing the process of determining whether it is suitable for image estimation.
  7. 前記動き推定好適度判定部は、 The motion estimation preferred degree determination unit,
    前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う請求項2に記載の画像処理装置。 As the input image, to enter the continuous shot image set in different exposure times, the reference image storing an image having a wider effective pixel area than the effective pixel value area of ​​each exposure image in the frame memory the image processing apparatus according to claim 2 for performing control of.
  8. 前記画像処理装置は、さらに、 The image processing apparatus further
    前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する請求項2に記載の画像処理装置。 As a reference image the image stored in the frame memory, according to claim 2 having a motion estimation direction switching unit that performs switching processing of the motion estimation direction to run in order to match the image position of the input image to the image position of the reference image the image processing apparatus according to.
  9. 前記画像処理装置は、さらに、 The image processing apparatus further
    前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、 Wherein as the input image, enter the continuous shot image set in different exposure times, has an exposure ratio correction unit that performs an exposure ratio correction,
    前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、 The motion estimation unit is configured to perform motion estimation between successive photographed images subjected to the exposure ratio correction at the exposure ratio correction unit calculates the motion amount between the continuously captured images,
    前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、 The motion-compensated image generating unit, by using the motion amount, to generate a motion compensated image to match one image position of the continuous shooting image to the other image location,
    前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する請求項1に記載の画像処理装置。 Wherein the signal processing unit, an image processing apparatus according to claim 1 to perform the motion compensated image, a synthesis processing of a reference image stored in the frame memory.
  10. 前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、 Reference image stored in the frame memory is an image of a predetermined exposure time set in advance,
    前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、 The exposure ratio correcting unit executes said input image, the exposure ratio correction between the reference images stored in the frame memory,
    前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する請求項9に記載の画像処理装置。 The motion estimation unit, an image processing apparatus according to claim 9 to perform motion estimation between the input image and the reference image subjected to the exposure ratio correction in the exposure ratio correction unit.
  11. 前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、 The motion estimation unit calculates a motion vector between are set to the same exposure time image,
    前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する請求項9に記載の画像処理装置。 Enter the calculated motion vector of the motion estimator, the linear operation on the motion vector, according to claim 9 having a motion vector calculation unit for calculating a motion vector to be applied to generate motion compensation image in the motion-compensated image generating unit the image processing apparatus according to.
  12. 画像処理装置において実行する画像処理方法であり、 An image processing method performed in an image processing apparatus,
    動き推定部が、異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定する動き推定ステップと、 A motion estimation step motion estimation unit, estimating motion amount between two images of the first image and the second image is a photographed image of different timing,
    動き補償画像生成部が、前記動き推定ステップにおいて推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成ステップと、 Motion compensation image generating unit based on the motion amount estimated in the motion estimation step, the motion compensated image generation step of generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image When,
    信号処理部が、前記動き補償画像と、前記第1画像との合成処理により合成画像を生成する信号処理ステップを実行し、 Signal processing unit performs the motion compensation image, a signal processing step of generating a synthesized image by synthesizing processing between the first image,
    前記動き補償画像生成ステップは、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理方法。 The motion-compensated image generating step, the image processing method of generating a motion compensated image using the selected selection image according to the image selection criteria previously defined.
  13. 画像処理装置において画像処理を実行させるプログラムであり、 A program for executing the image processing in the image processing apparatus,
    動き推定部に、異なるタイミングの撮影画像である第1画像と第2画像の二画像間の動き量を推定させる動き推定ステップと、 The motion estimator, a motion estimation step of estimating a motion amount between two images of the first image and the second image is a photographed image of different timing,
    動き補償画像生成部に、前記動き推定ステップにおいて推定した動き量に基づいて、前記第2画像を第1画像の位置に合わせる動き補償処理を実行して動き補償画像を生成させる動き補償画像生成ステップと、 The motion-compensated image generating unit, based on the motion amount estimated in the motion estimation step, the motion compensated image generation step of generating a motion compensated image by performing motion compensation processing to match the second image to the position of the first image When,
    信号処理部に、前記動き補償画像と、前記第1画像との合成処理により合成画像を生成させる信号処理ステップを実行し、 The signal processing unit performs the motion compensation image, a signal processing step of generating a composite image by combining the processing of the first image,
    前記動き補償画像生成ステップにおいては、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成させるプログラム。 The motion in the compensated image generation step, the program for generating a motion compensation image using the selected selection image according to the image selection criteria previously defined.
JP2012180529A 2012-08-16 2012-08-16 Image processor, image processing method, and program Pending JP2014039169A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012180529A JP2014039169A (en) 2012-08-16 2012-08-16 Image processor, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012180529A JP2014039169A (en) 2012-08-16 2012-08-16 Image processor, image processing method, and program
PCT/JP2013/070140 WO2014027551A1 (en) 2012-08-16 2013-07-25 Image processing device, image processing method, and program

Publications (1)

Publication Number Publication Date
JP2014039169A true true JP2014039169A (en) 2014-02-27

Family

ID=50286980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012180529A Pending JP2014039169A (en) 2012-08-16 2012-08-16 Image processor, image processing method, and program

Country Status (2)

Country Link
JP (1) JP2014039169A (en)
WO (1) WO2014027551A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154423A1 (en) * 2016-03-10 2017-09-14 キヤノン株式会社 Image processing device, image processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282113B2 (en) * 1998-07-24 2009-06-17 オリンパス株式会社 Imaging apparatus and an imaging method, and a recording medium recording an image pickup program
JP2003101862A (en) * 2001-09-21 2003-04-04 Ricoh Co Ltd Image pickup device and image pickup method
JP4777116B2 (en) * 2006-03-30 2011-09-21 キヤノン株式会社 Image processing apparatus and method, and an imaging apparatus
JP5388059B2 (en) * 2009-07-02 2014-01-15 国立大学法人九州工業大学 Object detecting method and an object detecting apparatus according to the background image estimation
JP4970516B2 (en) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 Ambient confirmation support device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154423A1 (en) * 2016-03-10 2017-09-14 キヤノン株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date Type
WO2014027551A1 (en) 2014-02-20 application

Similar Documents

Publication Publication Date Title
US8169486B2 (en) Image acquisition method and apparatus
US20120281111A1 (en) Image processing device, image processing method, and program
JP2008042874A (en) Image processing device, method for restoring image and program
US20090213231A1 (en) Video camera
US20090067752A1 (en) Image-registration method, medium, and apparatus
US20100321510A1 (en) Image processing apparatus and method thereof
JP2007072573A (en) Image processor and image processing method
US20080013850A1 (en) Image processing apparatus and image restoration method and program
JP2004088234A (en) Noise reduction device
JP2006270238A (en) Image processing apparatus, electronic camera, and image processing program
JP2006295626A (en) Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus
JP2007199633A (en) Focusing detector
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP2005102116A (en) Image processing method, image processing device, and computer program
US20090059017A1 (en) Imaging device and image processing apparatus
JP2009135561A (en) Blur detection apparatus, and apparatus and method for blur correction
JP2011135563A (en) Image capturing apparatus, and image processing method
US20130093909A1 (en) Image capturing apparatus and method for controlling image capturing apparatus
WO2011099244A1 (en) Image processing device and method
JP2010087614A (en) Image processing apparatus, image processing method and program
US20100128108A1 (en) Apparatus and method for acquiring wide dynamic range image in an image processing apparatus
US8830360B1 (en) Method and apparatus for optimizing image quality based on scene content
US20130063622A1 (en) Image sensor and method of capturing an image
US20160125575A1 (en) Image processing device, image processing method, and program