JP2015041984A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2015041984A
JP2015041984A JP2013173699A JP2013173699A JP2015041984A JP 2015041984 A JP2015041984 A JP 2015041984A JP 2013173699 A JP2013173699 A JP 2013173699A JP 2013173699 A JP2013173699 A JP 2013173699A JP 2015041984 A JP2015041984 A JP 2015041984A
Authority
JP
Japan
Prior art keywords
image
exposure image
short
motion
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013173699A
Other languages
Japanese (ja)
Other versions
JP6227935B2 (en
Inventor
毅 都築
Takeshi Tsuzuki
毅 都築
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Techwin Co Ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Priority to JP2013173699A priority Critical patent/JP6227935B2/en
Publication of JP2015041984A publication Critical patent/JP2015041984A/en
Application granted granted Critical
Publication of JP6227935B2 publication Critical patent/JP6227935B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a technique for obtaining a WDR composite image in which artifact is suppressed during WDR synthesis, while suppressing noise.SOLUTION: An image processing apparatus 1A includes a determination unit 50 for determining whether or not a motion area and a short exposure use area are overlapping on the basis of the motion detection results and the use image selection results, and a WDR synthesis unit 60 for creating a composite image by using a short exposure image for the motion area, when a determination is made that the motion area and short exposure use area are overlapping, and using a short exposure image and a long exposure image for the non-motion area according to the use image selection results. An image processing apparatus 1B further includes an NR processing section 70 performing noise reduction processing only for a short exposure image corresponding to a motion area.

Description

本発明は、画像処理装置および画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

近年、短時間露光の画像(以下、単に「短露光画像」とも言う。)と長時間露光の画像(以下、単に「長露光画像」とも言う。)を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るWDR(ワイドダイナミックレンジ)もしくはHDR(ハイダイナミックレンジ)という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。   In recent years, a short-exposure image (hereinafter also simply referred to as “short-exposure image”) and a long-exposure image (hereinafter also simply referred to as “long-exposure image”) are continuously photographed and combined. An imaging function called WDR (wide dynamic range) or HDR (high dynamic range) that obtains an image that captures a dynamic range that exceeds the dynamic range that the sensor can shoot is increasing. Such a photographing function is particularly effective in a scene with a very large contrast ratio such as a composition of backlight.

しかし、短露光画像と長露光画像とを合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題がある。このようなアーティファクトを低減するための技術として様々な技術が開示されている。   However, due to the mechanism of synthesizing the short-exposure image and the long-exposure image, there is a problem that if the subject moves, a shift occurs during the synthesis and artifacts such as doubled contours occur. Various techniques have been disclosed as techniques for reducing such artifacts.

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してWDR合成を行う技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、動きのある物体(以下、「動物体」ともいう。)が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。   For example, a technique for detecting the presence or absence of motion for each pixel and using a short exposure image for pixels with motion and performing a WDR synthesis using a short exposure image or a long exposure image for pixels without motion is disclosed. (For example, refer to Patent Document 1). According to such a technique, it is possible to generate a composite image in which blurring generated by combining a moving object (hereinafter also referred to as “animal body”) is reduced.

また、例えば、動きベクトルに基づいて時間的に隣接する2枚の長露光画像の中間に位置する補間フレームを生成し、この補間フレームと短露光画像とを使用してWDR合成を行う技術が開示されている(例えば、特許文献2参照)。かかる技術によれば、短露光画像と時間的に揃った補間フレームが合成されるため、動物体が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。   In addition, for example, a technique for generating an interpolation frame located in the middle of two long-exposure images that are temporally adjacent based on a motion vector and performing WDR synthesis using the interpolation frame and the short-exposure image is disclosed. (For example, refer to Patent Document 2). According to such a technique, the short exposure image and the interpolation frame aligned in time are synthesized, so that it is possible to generate a synthesized image with reduced blur caused by the synthesis of the moving object.

特開2012−231273号公報JP 2012-231273 A 特開2012−253674号公報JP 2012-253694 A

しかしながら、特許文献1に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。さらに、特許文献1に記載された技術によれば、動き領域に対しては必ず短露光画像が使用されることから、動きオブジェクトが常にノイジーとなり得る。   However, according to the technique described in Patent Literature 1, a moving object can be noisy because a short-exposure image is brightened by applying a large gain to the motion region and then used for the composite image. Furthermore, according to the technique described in Patent Document 1, since a short exposure image is always used for a motion region, a motion object can always be noisy.

また、特許文献2に記載された技術によれば、WDR合成時に生じるアーティファクトは低減され得るが、補間フレーム生成時の補間ミスによって新たなアーティファクトが生じてしまう可能性がある。さらに、正確な動きベクトルを検出するためには大きな回路規模が必要となってしまう。   Further, according to the technique described in Patent Document 2, artifacts generated at the time of WDR synthesis can be reduced, but new artifacts may occur due to an interpolation error at the time of generating an interpolation frame. Furthermore, a large circuit scale is required to detect an accurate motion vector.

そこで、本発明は、WDR合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたWDR合成画像を得ることが可能な技術を提供する。   Therefore, the present invention provides a technique capable of obtaining a WDR synthesized image in which artifacts during WDR synthesis are suppressed and noise is also suppressed.

本発明のある実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部と、前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用して合成画像を生成する合成部と、を備える画像処理装置が提供される。   According to an embodiment of the present invention, based on the motion detection result and the use image selection result, a determination unit that determines whether or not the motion region and the short exposure image use region overlap, and the motion region If it is determined that the short-exposure image use area overlaps, the short-exposure image is used for the motion area and the short-exposure image and / or the non-motion area according to the use-image selection result. Alternatively, an image processing apparatus is provided that includes a combining unit that generates a combined image using a long exposure image.

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像及び/または長露光画像を使用したWDR合成が行われる。したがって、かかる構成によれば、WDR合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたWDR合成画像を得ることが可能である。   According to this configuration, when the condition that the motion region and the short exposure image use region overlap is satisfied, the short exposure image is used for the motion region and the short exposure image and / or the non-motion region. WDR synthesis using a long exposure image is performed. Therefore, according to such a configuration, it is possible to obtain a WDR synthesized image in which artifacts at the time of WDR synthesis are suppressed and noise is suppressed as compared with a case where a short exposure image is unconditionally used for a motion region. Is possible.

前記判定部は、前記動き領域と前記短露光画像使用領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記短露光画像使用領域とが重複しているか否かを判定してもよい。例えば、閾値は、動き検出の精度に応じて設定されてよい。   The determination unit measures the number of overlapping pixels between the motion region and the short-exposure image use region, and determines whether the overlap pixel number exceeds a threshold, thereby determining whether the motion region and the short-exposure image are used. It may be determined whether or not the area overlaps. For example, the threshold value may be set according to the accuracy of motion detection.

また、例えば、前記合成部は、前記動き領域と前記短露光画像使用領域とが重複していないと判定された場合、前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用してもよい。   Further, for example, when it is determined that the motion region and the short exposure image use region do not overlap, the combining unit uses the short exposure image and / or the long exposure image according to the use image selection result. Also good.

また、前記画像処理装置は、前記動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うノイズ低減処理部をさらに備えてもよい。かかる構成によれば、動き領域に対応する短露光画像領域のノイズが抑制され、一層ノイズの少ないWDR合成画像を得ることが可能である。   The image processing apparatus may further include a noise reduction processing unit that performs noise reduction processing only on the short-exposure image region corresponding to the motion region. According to this configuration, it is possible to suppress the noise in the short-exposure image region corresponding to the motion region and obtain a WDR composite image with much less noise.

また、本発明の別の実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定するステップと、前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用して合成画像を生成するステップと、を含む画像処理方法が提供される。   According to another embodiment of the present invention, the step of determining whether the motion region and the short-exposure image use region overlap based on the motion detection result and the use image selection result, and the motion When it is determined that the region and the short exposure image use region overlap, a short exposure image is used for the motion region and a short exposure image is used for the non-motion region according to the use image selection result. And / or generating a composite image using the long exposure image.

かかる方法によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像及び/または長露光画像を使用したWDR合成が行われる。したがって、かかる方法によれば、WDR合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたWDR合成画像を得ることが可能である。   According to such a method, when the condition that the motion region and the short exposure image use region overlap is satisfied, the short exposure image is used for the motion region, and the short exposure image and / or the non-motion region is used. WDR synthesis using a long exposure image is performed. Therefore, according to this method, it is possible to obtain a WDR synthesized image in which artifacts at the time of WDR synthesis are suppressed and noise is suppressed as compared with a case where a short exposure image is unconditionally used for a motion region. Is possible.

以上説明したように、本発明によれば、WDR合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたWDR合成画像を得ることが可能である。   As described above, according to the present invention, it is possible to obtain a WDR synthesized image in which artifacts during WDR synthesis are suppressed and noise is also suppressed.

一般的な画像処理装置の機能構成例を示す図である。It is a figure which shows the function structural example of a general image processing apparatus. 一般的なWDR合成技術における各種情報の例を示す図である。It is a figure which shows the example of the various information in a general WDR synthetic | combination technique. 周知のWDR合成技術における各種情報の例を示す図である。It is a figure which shows the example of the various information in a well-known WDR synthetic | combination technique. 本発明の第1の実施形態に係る画像処理装置の機能構成例を示す図である。It is a figure which shows the function structural example of the image processing apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る判定部の詳細構成例を示す図である。It is a figure which shows the detailed structural example of the determination part which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る判定部の動作の流れの例を示すフローチャートである。It is a flowchart which shows the example of the flow of operation | movement of the determination part which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るWDR合成部の動作の流れの例を示すフローチャートである。It is a flowchart which shows the example of the flow of operation | movement of the WDR synthetic | combination part which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る画像処理装置の機能構成を示す図である。It is a figure which shows the function structure of the image processing apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る画像処理装置によって生成される合成画像について説明するための図である。It is a figure for demonstrating the synthesized image produced | generated by the image processing apparatus which concerns on the 2nd Embodiment of this invention. 本発明の実施形態に係る画像処理装置の効果を説明するための図である。It is a figure for demonstrating the effect of the image processing apparatus which concerns on embodiment of this invention.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。   In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different alphabets after the same reference numeral. However, when it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.

(一般的なWDR合成技術)
まず、一般的なWDR合成技術を実現するための画像処理装置9の機能構成例を図1に示す。画像処理装置9は、センサ10の露光設定を変えて2枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ21に書き込まれる。画像処理装置9は、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ22に書き込まれる。
(General WDR synthesis technology)
First, FIG. 1 shows a functional configuration example of an image processing apparatus 9 for realizing a general WDR synthesis technique. The image processing device 9 changes the exposure setting of the sensor 10 and continuously shoots two images. Here, it is assumed that short exposure shooting is performed first, and then long exposure shooting is performed. The short exposure image taken by the short exposure is written in the short exposure image memory 21. When the short exposure shooting is completed, the image processing apparatus 9 changes the exposure setting and performs the long exposure shooting. The long exposure image taken by the long exposure is written in the long exposure image memory 22.

なお、図1に示した例では、画像処理装置9は、長露光画像および短露光画像を出力するための共通の系統を1つ有し、センサ10が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置9は、センサ10から長露光画像を出力するための系統と短露光画像を出力するための系統との2つの系統を有すればよい。   In the example shown in FIG. 1, the image processing apparatus 9 has one common system for outputting the long exposure image and the short exposure image, and the sensor 10 sometimes outputs the long exposure image and the short exposure image. Although the output is divided, the long exposure image and the short exposure image may be output simultaneously. In such a case, the image processing device 9 may have two systems, that is, a system for outputting a long exposure image from the sensor 10 and a system for outputting a short exposure image.

使用画像選択部30は、短露光画像メモリ21から読み出した短露光画像と長露光画像メモリ22から読み出した長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。WDR合成部60は、使用画像選択部30からの使用画像選択結果を受け、当該使用画像選択結果に基づいて短露光画像と長露光画像とを合成することによりWDR画像を生成する。   The use image selection unit 30 refers to the short exposure image read from the short exposure image memory 21 and the long exposure image read from the long exposure image memory 22, and determines the saturation state and movement of each of the long exposure image and the short exposure image. It detects and generates a use image selection result for selecting either a short exposure image or a long exposure image as a use image. The WDR synthesis unit 60 receives the use image selection result from the use image selection unit 30 and generates a WDR image by synthesizing the short exposure image and the long exposure image based on the use image selection result.

階調圧縮部80は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、WDR合成部60により生成されたWDR画像に対して行う。当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。   The gradation compression unit 80 uses the WDR synthesis unit 60 to perform compression processing for bringing the bit range of an image signal having a wide dynamic range into a predetermined bit range and gradation correction that approximates a scene viewed by human eyes. This is performed on the generated WDR image. The compression process and the gradation correction may be performed simultaneously or at different timings.

図2は、一般的なWDR合成技術における、短露光画像、長露光画像、使用画像選択結果および合成画像それぞれの例を示す図である。図2に示した短露光画像および長露光画像それぞれは、日中の明るい屋外が見える窓を背景にして屋内を撮影して得られた画像である。手前に映っている人物は左に向かって移動している。   FIG. 2 is a diagram illustrating examples of a short exposure image, a long exposure image, a use image selection result, and a composite image in a general WDR composition technique. Each of the short-exposure image and the long-exposure image shown in FIG. 2 is an image obtained by photographing indoors against a background of a bright outdoor daylight. The person in the foreground is moving toward the left.

例えば、使用画像選択部30によって生成される使用画像選択結果が長露光画像および短露光画像のいずれを使用するかを示す2値データの集合である場合、図2に示した使用画像選択結果のように、長露光画像を使用する領域を黒い領域、短露光画像を使用する領域を白い領域として表すことができる。   For example, when the use image selection result generated by the use image selection unit 30 is a set of binary data indicating which of the long exposure image and the short exposure image is used, the use image selection result shown in FIG. As described above, a region using a long exposure image can be represented as a black region, and a region using a short exposure image as a white region.

続いて、WDR合成部60は、このようにして生成された使用画像選択結果に基づいて、短露光画像および長露光画像を合成する。このようにして合成を行った場合には、図2に示した合成画像のように、明るい窓と動いた人物との境界で合成時に位置ずれが起こり、輪郭が二重になる顕著なアーティファクトを生じるという問題が起こり得る。かかるアーティファクトを低減するための技術として様々な技術が開示されている。   Subsequently, the WDR combining unit 60 combines the short exposure image and the long exposure image based on the use image selection result generated in this way. When the composition is performed in this way, as shown in the composite image shown in FIG. 2, a noticeable artifact whose position is shifted at the time of composition at the boundary between the bright window and the moving person and the contour is doubled is generated. The problem of occurring can occur. Various techniques have been disclosed as techniques for reducing such artifacts.

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してWDR合成を行う周知技術が開示されている(例えば、特許文献1参照)。図3は、周知のWDR合成技術における、動き検出結果、使用画像選択結果および合成画像A11、A12それぞれの例を示す図である。図3に示した「動き検出結果」を参照すると、動きオブジェクトをカバーするように動き領域が検出されている。   For example, there is a well-known technique that detects the presence or absence of motion for each pixel and uses a short exposure image for pixels with motion, and performs WDR synthesis using a short exposure image or a long exposure image for pixels without motion. It is disclosed (for example, see Patent Document 1). FIG. 3 is a diagram illustrating an example of a motion detection result, a use image selection result, and composite images A11 and A12 in the well-known WDR composition technique. Referring to the “motion detection result” shown in FIG. 3, a motion region is detected so as to cover a moving object.

また、図3に示した「動き検出結果」を参照して動き領域に対して使用画像として短露光画像を選択するようにすれば、図3に示した「使用画像選択結果」が得られる。図3に示した「使用画像選択結果」に基づいて短露光画像と長露光画像とを合成すると、図3に示した「合成画像A11」のような二重像のない合成画像が得られる。   If the short exposure image is selected as the use image for the motion region with reference to the “motion detection result” shown in FIG. 3, the “use image selection result” shown in FIG. 3 is obtained. When the short-exposure image and the long-exposure image are combined based on the “use image selection result” shown in FIG. 3, a composite image without a double image such as “composite image A11” shown in FIG. 3 is obtained.

しかし、特許文献1に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。さらに、特許文献1に記載された技術によれば、動き領域に対しては必ず短露光画像が使用されることから、動きオブジェクトが常にノイジーとなり得る。例えば、図3に示した「合成画像A12」にように、明るい窓から離れた場所に動きオブジェクトが存在する場合であっても、この動きオブジェクトに対して短露光画像が使用されてしまうため、ノイジーな領域がむやみに増加してしまう可能性がある。   However, according to the technique described in Patent Literature 1, a moving object can be noisy because a short-exposure image is brightened by applying a large gain to the motion region and then used for the composite image. Furthermore, according to the technique described in Patent Document 1, since a short exposure image is always used for a motion region, a motion object can always be noisy. For example, even if a moving object exists in a place away from a bright window as shown in “Composite image A12” shown in FIG. 3, a short exposure image is used for this moving object. There is a possibility that the noisy area will increase unnecessarily.

また、例えば、動きベクトルに基づいて時間的に隣接する2枚の長露光画像の中間に位置する補間フレームを生成し、この補間フレームと短露光画像とを使用してWDR合成を行う技術が開示されている(例えば、特許文献2参照)。かかる技術によれば、短露光画像と時間的に揃った補間フレームが合成されるため、動物体が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。   In addition, for example, a technique for generating an interpolation frame located in the middle of two long-exposure images that are temporally adjacent based on a motion vector and performing WDR synthesis using the interpolation frame and the short-exposure image is disclosed. (For example, refer to Patent Document 2). According to such a technique, the short exposure image and the interpolation frame aligned in time are synthesized, so that it is possible to generate a synthesized image with reduced blur caused by the synthesis of the moving object.

しかし、特許文献2に記載された技術によれば、WDR合成時に生じるアーティファクトは低減され得るが、補間フレーム生成時の補間ミスによって新たなアーティファクトが生じてしまう可能性がある。例えば、動きオブジェクトの境界領域や、テクスチャがない領域、市松模様などの規則的な図形が繰り返される領域などにおいては、動き検出や動き補正が正確に行われないために輪郭が破綻したり不自然なアーティファクトを発生させたりする。さらに、正確な動きベクトルを検出するためには大きな回路規模が必要となってしまう。   However, according to the technique described in Patent Document 2, artifacts generated at the time of WDR synthesis can be reduced, but new artifacts may be generated due to an interpolation error when generating an interpolation frame. For example, in boundary areas of moving objects, areas where there is no texture, or areas where regular figures such as checkered patterns are repeated, the contours are broken or unnatural due to the fact that motion detection and correction are not performed accurately. Cause some artifacts. Furthermore, a large circuit scale is required to detect an accurate motion vector.

そこで、本明細書においては、WDR合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたWDR合成画像を得ることが可能な技術を提案する。   Therefore, the present specification proposes a technique capable of obtaining a WDR synthesized image in which artifacts during WDR synthesis are suppressed and noise is also suppressed.

(第1の実施形態)
続いて、本発明の第1の実施形態について説明する。まず、本発明の第1の実施形態に係る画像処理装置1Aの機能構成について説明する。図4は、本発明の第1の実施形態に係る画像処理装置1Aの機能構成を示す図である。図4に示すように、画像処理装置1Aは、センサ10、短露光画像メモリ21、長露光画像メモリ22、使用画像選択部30、動き検出部40、判定部50、WDR合成部60および階調圧縮部80を備える。以下、画像処理装置1Aが備える各機能ブロックの機能について順次詳細に説明する。
(First embodiment)
Subsequently, a first embodiment of the present invention will be described. First, the functional configuration of the image processing apparatus 1A according to the first embodiment of the present invention will be described. FIG. 4 is a diagram showing a functional configuration of the image processing apparatus 1A according to the first embodiment of the present invention. As shown in FIG. 4, the image processing apparatus 1A includes a sensor 10, a short exposure image memory 21, a long exposure image memory 22, a use image selection unit 30, a motion detection unit 40, a determination unit 50, a WDR synthesis unit 60, and a gradation. A compression unit 80 is provided. Hereinafter, the functions of the respective functional blocks provided in the image processing apparatus 1A will be sequentially described in detail.

画像処理装置1Aは、センサ10の露光設定を変えて2枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ21に書き込まれる。画像処理装置1Aは、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ22に書き込まれる。   The image processing apparatus 1A changes the exposure setting of the sensor 10 and continuously shoots two images. Here, the short exposure shooting is performed first, and then the long exposure shooting is performed. The short exposure image taken by the short exposure is written in the short exposure image memory 21. The image processing apparatus 1A changes the exposure setting when the short exposure shooting is completed, and performs the long exposure shooting. The long exposure image taken by the long exposure is written in the long exposure image memory 22.

なお、図4に示した例では、画像処理装置1Aは、長露光画像および短露光画像を出力するための共通の系統を1つ有し、センサ10が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置1Aは、センサ10から長露光画像を出力するための系統と短露光画像を出力するための系統との2つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。   In the example shown in FIG. 4, the image processing apparatus 1A has one common system for outputting the long exposure image and the short exposure image, and the sensor 10 sometimes outputs the long exposure image and the short exposure image. Although the output is divided, the long exposure image and the short exposure image may be output simultaneously. In such a case, the image processing apparatus 1A only needs to have two systems, that is, a system for outputting a long exposure image from the sensor 10 and a system for outputting a short exposure image. Each shutter time is determined by, for example, a dynamic range of a subject to be imaged, a sensor specification, and the like.

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された2つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる2つの画像が撮影された場合に、当該2つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。   Here, in the embodiment of the present invention, the terms short exposure image and long exposure image are used, but these terms do not limit the absolute exposure time of each of the two captured images. Therefore, when two images with different exposure times are taken, an image with a relatively short exposure time corresponds to a short exposure image and an image with a relatively long exposure time is a long exposure. Corresponds to an image.

センサ10は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、CCD(Charge Coupled Device)であってもよいし、CMOS(Complementary Metal Oxide Semiconductor)であってもよい。   The sensor 10 is configured by an image sensor that forms an image of light from the outside on the light receiving plane of the image sensor, photoelectrically converts the imaged light into a charge amount, and converts the charge amount into an electric signal. The type of the image sensor is not particularly limited, and may be, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

使用画像選択部30は、短露光画像メモリ21から読み出した短露光画像と長露光画像メモリ22から読み出した長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。   The use image selection unit 30 refers to the short exposure image read from the short exposure image memory 21 and the long exposure image read from the long exposure image memory 22, and determines the saturation state and movement of each of the long exposure image and the short exposure image. It detects and generates a use image selection result for selecting either a short exposure image or a long exposure image as a use image. As an algorithm for selecting either the short exposure image or the long exposure image, various algorithms are assumed.

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。   For example, since a region that has been saturated in the long exposure image is highly likely not to be saturated in the short exposure image, the short exposure image may be selected as the use image of the region. However, with this process alone, artifacts such as a double outline may occur in an area where there is a large movement. Therefore, a process of detecting a motion and reducing a phenomenon that the contour becomes double may be performed. An algorithm for selecting either a short exposure image or a long exposure image including such processing is not particularly limited.

なお、上記したように使用画像選択結果は短露光画像および長露光画像のいずれを選択するかを示す2値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、使用画像選択部30は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、使用画像選択部30は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。   Note that, as described above, the use image selection result may be a set of binary data indicating which of the short exposure image and the long exposure image is to be selected. It may be a set of mixing ratios indicating whether to mix at a ratio. For example, the use image selection unit 30 may increase the mixing ratio of the short-exposure images as the degree of saturation of the long-exposure images increases. In addition, the use image selection unit 30 may increase the mixing ratio of the short exposure image as the movement of the short exposure image or the long exposure image increases. The algorithm for calculating the mixing ratio of the short exposure image and the long exposure image is not particularly limited.

以下では、使用画像選択部30が長露光画像と短露光画像とにおいて対応する画素毎の混合比率を示す使用画像選択結果を生成し、当該使用画像選択結果を判定部50およびWDR合成部60に出力する場合を例として説明する。   In the following, the use image selection unit 30 generates a use image selection result indicating a mixing ratio for each corresponding pixel in the long exposure image and the short exposure image, and the use image selection result is sent to the determination unit 50 and the WDR synthesis unit 60. The case of outputting will be described as an example.

動き検出部40は、動きを検出する。動きの検出手法は特に限定されないが、例えば、長露光画像と短露光画像との差分から動きを検出する手法であってもよいし、複数枚の長露光画像の差分から動きを検出する手法であってもよいし、複数枚の短露光画像の差分から動きを検出する手法であってもよいし、他の手法であってもよい。長露光画像と短露光画像との差分から動きを検出する手法を採用する場合には、そのままでは長露光画像と短露光画像との間で明るさが異なるため、動き検出部40は、短露光画像に対して露光量に応じたゲインを乗じた上で差分を算出するのがよい。   The motion detector 40 detects motion. The motion detection method is not particularly limited. For example, the motion detection method may be a method for detecting motion from the difference between the long exposure image and the short exposure image, or may be a method for detecting motion from the difference between a plurality of long exposure images. There may be a method of detecting motion from the difference between a plurality of short-exposure images, or another method. When the method of detecting motion from the difference between the long exposure image and the short exposure image is adopted, since the brightness differs between the long exposure image and the short exposure image as it is, the motion detection unit 40 performs the short exposure. It is preferable to calculate the difference after multiplying the image by a gain corresponding to the exposure amount.

さらに、動き検出部40は、検出した動きに基づいて動き領域と非動き領域とを検出して動き検出情報を得る。例えば、動き領域は、動きが閾値よりも大きい領域であり、非動き領域は、動きが閾値よりも小さい領域である。動きが閾値と同一の領域はいずれの領域として検出されてもよい。   Furthermore, the motion detection unit 40 detects a motion region and a non-motion region based on the detected motion to obtain motion detection information. For example, the motion region is a region where the motion is larger than the threshold, and the non-motion region is a region where the motion is smaller than the threshold. An area where the motion is the same as the threshold value may be detected as any area.

判定部50は、動き検出部40からの動き検出結果と使用画像選択部30からの使用画像選択結果とに基づいて、動き検出部40によって検出された動き領域と使用画像選択結果における短露光画像使用領域とが重複しているか否かを判定する。例えば、判定部50は、動き領域と短露光画像使用領域との重複画素数を計測し、重複画素数が閾値を超えているか否かを判定することにより動き領域と短露光画像使用領域とが重複しているか否かを判定すればよい。かかる場合、閾値は、動き検出の精度に応じて設定されてよい。   The determination unit 50 uses the motion detection result from the motion detection unit 40 and the use image selection result from the use image selection unit 30 to detect the short exposure image in the motion region detected by the motion detection unit 40 and the use image selection result. It is determined whether or not the use area overlaps. For example, the determination unit 50 measures the number of overlapping pixels between the motion region and the short exposure image use region, and determines whether the motion region and the short exposure image use region are determined by determining whether the number of overlap pixels exceeds a threshold value. What is necessary is just to determine whether it overlaps. In such a case, the threshold value may be set according to the accuracy of motion detection.

ここで、判定部50が有する機能について、図5および図6を参照しながらさらに詳細に説明する。図5は、本発明の第1の実施形態に係る判定部50の詳細構成例を示す図である。図5に示すように、判定部50は、比較判定部51とカウンタ52と重複判定部53とを有している。また、図6は、本発明の第1の実施形態に係る判定部50の動作の流れの例を示すフローチャートである。   Here, the function of the determination unit 50 will be described in more detail with reference to FIGS. 5 and 6. FIG. 5 is a diagram illustrating a detailed configuration example of the determination unit 50 according to the first embodiment of the present invention. As illustrated in FIG. 5, the determination unit 50 includes a comparison determination unit 51, a counter 52, and an overlap determination unit 53. FIG. 6 is a flowchart showing an example of the operation flow of the determination unit 50 according to the first embodiment of the present invention.

まず、図6に示すように、比較判定部51は、対象の画素が、動き領域内の画素であり、かつ、短露光使用領域内の画素であるか否かを判定する(ステップS11)。比較判定部51は、対象の画素が、動き領域内の画素であり、かつ、短露光使用領域内の画素であると判定した場合には、カウンタ52を加算する(ステップS12)。一方、比較判定部51は、対象の画素が、非動き領域内の画素であるか、または、短露光使用領域内ではない画素である場合には、カウンタ52を加算しない。   First, as shown in FIG. 6, the comparison / determination unit 51 determines whether or not the target pixel is a pixel in the motion region and a pixel in the short exposure use region (step S11). When the comparison determination unit 51 determines that the target pixel is a pixel in the motion region and a pixel in the short exposure use region, the comparison determination unit 51 adds the counter 52 (step S12). On the other hand, the comparison determination unit 51 does not add the counter 52 when the target pixel is a pixel in the non-motion area or a pixel that is not in the short exposure use area.

比較判定部51は、全画素についての判定が終了していない場合には(ステップS13で「No」)、ステップS11に戻る。一方、全画素についての判定が終了した場合には(ステップS13で「Yes」)、動き領域と短露光画像使用領域との重複画素数の計測が終了するため、重複判定部53は、重複画素数が閾値を超えているか否かを判定する(ステップS14)。   If the determination for all the pixels has not been completed (“No” in step S13), the comparison determination unit 51 returns to step S11. On the other hand, when the determination for all the pixels is completed (“Yes” in step S13), since the measurement of the number of overlapping pixels between the motion region and the short exposure image using region ends, the overlapping determination unit 53 It is determined whether or not the number exceeds a threshold value (step S14).

重複判定部53は、重複画素数が閾値を超えている場合には(ステップS14で「Yes」)、動き領域と短露光画像使用領域とが重複していると判定する(ステップS15)。一方、重複判定部53は、重複画素数が閾値を超えていない場合には(ステップS14で「No」)、動き領域と短露光画像使用領域とが重複していないと判定する(ステップS16)。   If the number of overlapping pixels exceeds the threshold (“Yes” in step S14), the overlap determination unit 53 determines that the motion area and the short exposure image use area overlap (step S15). On the other hand, when the number of overlapping pixels does not exceed the threshold (“No” in step S14), the overlap determining unit 53 determines that the motion region and the short exposure image use region do not overlap (step S16). .

WDR合成部60は、動き検出部40からの動き検出結果と使用画像選択部30からの使用画像選択結果と判定部50からの判定結果とを受け、当該動き検出結果と当該使用画像選択結果と当該判定結果とに基づいて短露光画像と長露光画像とを合成することによりWDR画像を生成する。具体的には、WDR合成部60は、判定部50によって動き領域と短露光画像使用領域とが重複していると判定された場合、動き領域に対しては短露光画像を使用し、非動き領域に対しては使用画像選択結果に従って短露光画像と長露光画像を使用して合成画像を生成する。   The WDR synthesis unit 60 receives the motion detection result from the motion detection unit 40, the use image selection result from the use image selection unit 30, and the determination result from the determination unit 50, and the motion detection result and the use image selection result A WDR image is generated by combining the short exposure image and the long exposure image based on the determination result. Specifically, when the determination unit 50 determines that the motion region and the short exposure image use region overlap, the WDR synthesis unit 60 uses the short exposure image for the motion region and does not move For the region, a composite image is generated using the short exposure image and the long exposure image according to the use image selection result.

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像と長露光画像を使用したWDR合成が行われる。したがって、かかる構成によれば、WDR合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたWDR合成画像を得ることが可能である。   According to this configuration, when the condition that the motion region and the short exposure image use region overlap is satisfied, the short exposure image is used for the motion region, and the short exposure image and the long exposure are used for the non-motion region. WDR synthesis using images is performed. Therefore, according to such a configuration, it is possible to obtain a WDR synthesized image in which artifacts at the time of WDR synthesis are suppressed and noise is suppressed as compared with a case where a short exposure image is unconditionally used for a motion region. Is possible.

なお、WDR合成部60は、判定部50によって動き領域と短露光画像使用領域とが重複していないと判定された場合には、どのようにして合成を行ってもよいが、例えば、使用画像選択結果に従って短露光画像と長露光画像を使用すればよい。   Note that the WDR composition unit 60 may perform composition when the determination unit 50 determines that the motion region and the short-exposure image use region do not overlap. A short exposure image and a long exposure image may be used according to the selection result.

WDR合成部60による合成手法は特に限定されない。例えば、長露光画像を選択する旨を示す値が「0」であり、短露光画像を選択する旨を示す値が「1」である場合を想定する。かかる場合には、WDR合成部60は、使用画像選択結果を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×(短露光画像の画素値)+(1−α)×(長露光画像の画素値)を算出し、算出結果を合成後の画像(WDR画像)とすることができる。   The combining method by the WDR combining unit 60 is not particularly limited. For example, it is assumed that a value indicating that a long exposure image is selected is “0” and a value indicating that a short exposure image is selected is “1”. In such a case, the WDR synthesizing unit 60 sets α as the mixing ratio constituting the use image selection result, and α × (pixel value of the short exposure image) + (for the corresponding pixels in the long exposure image and the short exposure image. 1−α) × (pixel value of the long exposure image) can be calculated, and the calculation result can be used as a combined image (WDR image).

WDR合成部60が有する機能について、図7を参照しながらさらに詳細に説明する。図7は、本発明の第1の実施形態に係るWDR合成部60の動作の流れの例を示すフローチャートである。まず、図7に示すように、WDR合成部60は、判定部50によって動き領域と短露光画像使用領域とが重複していないと判定された場合(ステップS21で「No」)、対象の画素について使用画像選択結果に従って短露光画像と長露光画像を使用して(ステップS22)、WDR合成を行う(ステップS25)。   The functions of the WDR synthesis unit 60 will be described in more detail with reference to FIG. FIG. 7 is a flowchart showing an example of an operation flow of the WDR synthesis unit 60 according to the first embodiment of the present invention. First, as illustrated in FIG. 7, if the determination unit 50 determines that the motion region and the short-exposure image use region do not overlap (“No” in step S21), the WDR synthesis unit 60 performs the target pixel. Using the short exposure image and the long exposure image according to the use image selection result (step S22), WDR composition is performed (step S25).

一方、WDR合成部60は、判定部50によって動き領域と短露光画像使用領域とが重複していると判定された場合(ステップS21で「Yes」)、対象の画素が動き領域内の画素であるか否かを判定する。WDR合成部60は、対象の画素が動き領域内の画素であると判定した場合には(ステップS23で「Yes」)、対象の画素について短露光画像を使用して(ステップS24)、WDR合成を行う(ステップS25)。一方、WDR合成部60は、対象の画素が動き領域内の画素ではないと判定した場合には(ステップS23で「No」)、使用画像選択結果に従って短露光画像と長露光画像を使用して(ステップS22)、WDR合成を行う(ステップS25)。   On the other hand, if the determination unit 50 determines that the motion region and the short-exposure image use region overlap (“Yes” in step S21), the WDR synthesis unit 60 is a pixel in the motion region. It is determined whether or not there is. When the WDR synthesis unit 60 determines that the target pixel is a pixel in the motion region (“Yes” in step S23), the WDR synthesis is performed using the short exposure image for the target pixel (step S24). Is performed (step S25). On the other hand, when the WDR synthesis unit 60 determines that the target pixel is not a pixel in the motion region (“No” in step S23), the WDR synthesis unit 60 uses the short exposure image and the long exposure image according to the use image selection result. (Step S22), WDR composition is performed (Step S25).

WDR合成部60は、全画素についての合成が終了していない場合には(ステップS26で「No」)、ステップS21に戻る。一方、WDR合成部60は、全画素についての合成が終了した場合には(ステップS26で「Yes」)、短露光画像と長露光画像とのWDR合成を終了する。   When the synthesis for all the pixels has not been completed (“No” in step S26), the WDR synthesis unit 60 returns to step S21. On the other hand, when the composition for all the pixels has been completed (“Yes” in step S26), the WDR composition unit 60 terminates the WDR composition of the short exposure image and the long exposure image.

階調圧縮部80は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、WDR合成部60により生成されたWDR画像に対して行う。階調圧縮部80の後段は、例えば、ベイヤーデータからRGBプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部80からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように(例えば、12bit程度に)調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。   The gradation compression unit 80 performs a compression process on the WDR image generated by the WDR synthesis unit 60 so that the bit range of the image signal having a wide dynamic range falls within a predetermined bit range. The subsequent stage of the gradation compression unit 80 is connected to an image processing engine including, for example, a demosaic unit that generates an RGB plane from Bayer data, a contour enhancement unit, and color management. For this reason, it is preferable that the data amount of the output signal from the gradation compression unit 80 is adjusted so as to match the size of the input data to the image processing engine (for example, about 12 bits). If the data size is simply reduced, the image is converted into a dark image. Therefore, it is preferable that the high luminance side is strongly compressed so as to approximate human visual characteristics.

(第2の実施形態)
続いて、本発明の第2の実施形態について説明する。まず、本発明の第2の実施形態に係る画像処理装置1Bの機能構成について説明する。図8は、本発明の第2の実施形態に係る画像処理装置1Bの機能構成を示す図である。図8に示すように、本発明の第2の実施形態に係る画像処理装置1Bは、本発明の第1の実施形態に係る画像処理装置1Aと比較して、NR(Noise Reduction)処理部70をさらに備える。以下、NR処理部70について主に詳細に説明する。
(Second Embodiment)
Subsequently, a second embodiment of the present invention will be described. First, the functional configuration of the image processing apparatus 1B according to the second embodiment of the present invention will be described. FIG. 8 is a diagram showing a functional configuration of an image processing apparatus 1B according to the second embodiment of the present invention. As shown in FIG. 8, the image processing apparatus 1B according to the second embodiment of the present invention is compared with the image processing apparatus 1A according to the first embodiment of the present invention in an NR (Noise Reduction) processing unit 70. Is further provided. Hereinafter, the NR processing unit 70 will be mainly described in detail.

NR処理部70は、動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行う。ノイズ低減処理は特に限定されないが、エッジ情報を保存できる2次元の畳みこみ演算フィルタなどが好ましい。一方、NR処理部70は、非動き領域に対応する短露光画像領域に対してはノイズ低減処理を行わない。このようなノイズ低減を行う目的について説明する。   The NR processing unit 70 performs noise reduction processing only on the short-exposure image region corresponding to the motion region. The noise reduction processing is not particularly limited, but a two-dimensional convolution filter that can store edge information is preferable. On the other hand, the NR processing unit 70 does not perform noise reduction processing on the short-exposure image region corresponding to the non-motion region. The purpose of performing such noise reduction will be described.

短露光画像の中で適正に露光されている明るい領域はノイズが目立たないため、この領域に対しては、ぼけが発生するおそれがあるノイズ低減処理を行わないのがよい。また、短露光画像の中で暗く撮影されている領域の使用画像としては、通常は長露光画像が選択されるため、WDR合成には使われない可能性が高い。一方、短露光画像の中の動き領域は、大きなゲインをかけてWDR合成に使われ、ノイズが目立つ可能性があるため、この領域のみに対してノイズ低減処理を行うのがよい。   Since a bright area that is properly exposed in the short-exposure image has no noticeable noise, it is preferable not to perform noise reduction processing that may cause blur on this area. In addition, since a long exposure image is usually selected as a use image of an area that is captured darkly in a short exposure image, there is a high possibility that it will not be used for WDR composition. On the other hand, a motion region in a short exposure image is used for WDR synthesis with a large gain, and noise may be noticeable. Therefore, it is preferable to perform noise reduction processing only on this region.

図3の「動き検出結果」を参照して一例を説明すれば、動き領域に対してのみノイズ低減処理を行い、非動き領域である窓領域などに対してはノイズ低減処理を行わないのがよい。このようなノイズ低減を行なえば、動きと関係のない領域でノイズ低減処理の副作用であるぼけが目立つことはない。また、短露光画像中の動き領域に対してのみノイズ低減処理が行われることによって、不必要なぼけの発生を防いで、ノイズが目立つおそれがある領域に対してのみノイズ低減処理を行うことができる。   If an example is described with reference to the “motion detection result” in FIG. 3, the noise reduction processing is performed only on the motion region, and the noise reduction processing is not performed on the window region that is a non-motion region. Good. If such noise reduction is performed, the blur, which is a side effect of the noise reduction process, does not stand out in an area unrelated to movement. In addition, noise reduction processing is performed only on a motion area in a short-exposure image, thereby preventing unnecessary blurring and performing noise reduction processing only on an area where noise may be noticeable. it can.

図9は、本発明の第2の実施形態に係る画像処理装置1Bによって生成される合成画像について説明するための図である。合成画像A21は、短露光画像使用領域(この例では、窓が存在する領域)を動きオブジェクト(この例では、人物が存在する領域)が横切るシーンでの合成結果の例である。合成画像A21を参照すると、動きオブジェクトに対してノイズ低減処理が行われるため、ノイズが低減された動きオブジェクトが得られる。それでいて、動きオブジェクト以外の領域においてはノイズ低減処理の副作用であるぼけは発生していない。   FIG. 9 is a diagram for explaining a composite image generated by the image processing apparatus 1B according to the second embodiment of the present invention. The composite image A21 is an example of a composite result in a scene in which a moving object (in this example, a region in which a person exists) crosses a short exposure image use region (in this example, a region in which a window exists). Referring to the composite image A21, since the noise reduction process is performed on the moving object, a moving object with reduced noise is obtained. Nevertheless, no blur, which is a side effect of noise reduction processing, has occurred in the area other than the moving object.

また、合成画像A22は、短露光画像使用領域(この例では、壁が存在する領域)の外部でオブジェクトが動いているシーンでの合成結果の例である。図3の合成画像A12を参照すると、周知技術においては動きオブジェクトの使用画像として短露光画像が選択されるために、動きオブジェクトに対応する領域の合成結果がノイジーになってしまう。一方、合成画像A22を参照すると、本発明の第2の実施形態によれば、動きオブジェクトに対応する領域では長露光画像が使用され、ノイズが目立たない高品質な合成画像が得られている。   The composite image A22 is an example of a composite result in a scene in which an object is moving outside a short-exposure image use region (in this example, a region where a wall exists). Referring to the composite image A12 in FIG. 3, since the short exposure image is selected as the use image of the moving object in the known technique, the composite result of the area corresponding to the moving object becomes noisy. On the other hand, referring to the composite image A22, according to the second embodiment of the present invention, a long exposure image is used in the region corresponding to the moving object, and a high-quality composite image in which noise is not noticeable is obtained.

図10は、本発明の実施形態に係る画像処理装置1の効果を説明するための図である。図10の「NRなしの合成画像」は、周知技術による合成結果を示している。すなわち、「NRなしの合成画像」は、動きオブジェクト(この例では、人物の顔)に対応する領域の使用画像として短露光画像が選択された場合における合成結果を示している。「NRなしの合成画像」を参照すると、露光不足の短露光画像使用領域を強く持ち上げる処理が施されているため、動きオブジェクトに対応する領域のノイズが目立ってしまっている。   FIG. 10 is a diagram for explaining the effect of the image processing apparatus 1 according to the embodiment of the present invention. A “composite image without NR” in FIG. 10 shows a synthesis result by a known technique. That is, “composited image without NR” indicates a composite result when a short-exposure image is selected as a use image of an area corresponding to a moving object (in this example, a human face). With reference to “composite image without NR”, since the process of strongly lifting the short-exposure image use area underexposure is performed, the noise in the area corresponding to the moving object is conspicuous.

図10の「NRありの合成画像」は、本発明の第2の実施形態による合成結果を示している。すなわち、「NRありの合成画像」は、動きオブジェクト(この例では、人物の顔)に対応する領域の使用画像として短露光画像が選択され、かつ、この領域に対してノイズ低減処理が施されている場合における合成結果を示している。「NRありの合成画像」を参照すると、露光不足の短露光画像使用領域に対してノイズ低減処理が施されているため、動きオブジェクトに対応する領域のノイズが目立たなくなっている。   A “composite image with NR” in FIG. 10 shows a synthesis result according to the second embodiment of the present invention. That is, in the “composite image with NR”, a short-exposure image is selected as a use image of an area corresponding to a moving object (in this example, a human face), and noise reduction processing is performed on this area. The result of synthesis is shown. Referring to “composite image with NR”, noise reduction processing is performed on the underexposed short-exposure image use region, so that noise in the region corresponding to the moving object is inconspicuous.

以上、本発明の第1の実施形態および第2の実施形態について説明した。本発明の第1実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部50と、動き領域と短露光画像使用領域とが重複していると判定された場合、動き領域に対しては短露光画像を使用し、非動き領域に対しては使用画像選択結果に従って短露光画像と長露光画像を使用して合成画像を生成するWDR合成部60と、を備える、画像処理装置1Aが提供される。   Heretofore, the first embodiment and the second embodiment of the present invention have been described. According to the first embodiment of the present invention, the determination unit 50 that determines whether or not the motion region and the short-exposure image use region overlap based on the motion detection result and the use image selection result, and the motion region If it is determined that the short-exposure image use area overlaps, the short-exposure image is used for the motion area, and the short-exposure image and the long-exposure image according to the use image selection result for the non-motion area. An image processing apparatus 1A is provided that includes a WDR combining unit 60 that generates a combined image using

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像と長露光画像を使用したWDR合成が行われる。したがって、かかる構成によれば、WDR合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたWDR合成画像を得ることが可能である。   According to this configuration, when the condition that the motion region and the short exposure image use region overlap is satisfied, the short exposure image is used for the motion region, and the short exposure image and the long exposure are used for the non-motion region. WDR synthesis using images is performed. Therefore, according to such a configuration, it is possible to obtain a WDR synthesized image in which artifacts at the time of WDR synthesis are suppressed and noise is suppressed as compared with a case where a short exposure image is unconditionally used for a motion region. Is possible.

また、本発明の第2実施形態によれば、動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うNR処理部70をさらに備える、画像処理装置1Bが提供される。かかる構成によれば、動き領域に対応する短露光画像領域のノイズがさらに抑制されたWDR合成画像を得ることが可能である。   In addition, according to the second embodiment of the present invention, there is provided an image processing apparatus 1B further including an NR processing unit 70 that performs noise reduction processing only on the short-exposure image region corresponding to the motion region. With this configuration, it is possible to obtain a WDR composite image in which noise in the short-exposure image region corresponding to the motion region is further suppressed.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

1(1A、1B) 画像処理装置
10 センサ
21 短露光画像メモリ
22 長露光画像メモリ
30 使用画像選択部
40 動き検出部
50 判定部
51 比較判定部
52 カウンタ
53 重複判定部
60 WDR合成部(合成部)
80 階調圧縮部
70 NR処理部(ノイズ低減処理部)
DESCRIPTION OF SYMBOLS 1 (1A, 1B) Image processing apparatus 10 Sensor 21 Short exposure image memory 22 Long exposure image memory 30 Use image selection part 40 Motion detection part 50 Determination part 51 Comparison determination part 52 Counter 53 Overlapping determination part 60 WDR composition part (composition part) )
80 gradation compression unit 70 NR processing unit (noise reduction processing unit)

Claims (5)

動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部と、
前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用して合成画像を生成する合成部と、
を備える、画像処理装置。
A determination unit that determines whether or not the motion region and the short-exposure image use region overlap based on the motion detection result and the use image selection result;
If it is determined that the motion region and the short exposure image use region overlap, a short exposure image is used for the motion region, and a short motion image is used for the non-motion region according to the use image selection result. A combining unit that generates a combined image using the exposure image and / or the long exposure image;
An image processing apparatus comprising:
前記判定部は、前記動き領域と前記短露光画像使用領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記短露光画像使用領域とが重複しているか否かを判定する、
請求項1に記載の画像処理装置。
The determination unit measures the number of overlapping pixels between the motion region and the short-exposure image use region, and determines whether the overlap pixel number exceeds a threshold, thereby determining whether the motion region and the short-exposure image are used. Determine whether the area overlaps,
The image processing apparatus according to claim 1.
前記合成部は、前記動き領域と前記短露光画像使用領域とが重複していないと判定された場合、前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用する、
請求項1に記載の画像処理装置。
The composition unit uses a short exposure image and / or a long exposure image according to the use image selection result when it is determined that the motion region and the short exposure image use region do not overlap.
The image processing apparatus according to claim 1.
前記画像処理装置は、
前記動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うノイズ低減処理部をさらに備える、
請求項1に記載の画像処理装置。
The image processing apparatus includes:
A noise reduction processing unit that performs noise reduction processing only on the short-exposure image region corresponding to the motion region;
The image processing apparatus according to claim 1.
動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定するステップと、
前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び/または長露光画像を使用して合成画像を生成するステップと、
を含む、画像処理方法。
Determining whether the motion region and the short exposure image use region overlap based on the motion detection result and the use image selection result;
If it is determined that the motion region and the short exposure image use region overlap, a short exposure image is used for the motion region, and a short motion image is used for the non-motion region according to the use image selection result. Generating a composite image using the exposure image and / or the long exposure image;
Including an image processing method.
JP2013173699A 2013-08-23 2013-08-23 Image processing apparatus and image processing method Active JP6227935B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013173699A JP6227935B2 (en) 2013-08-23 2013-08-23 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013173699A JP6227935B2 (en) 2013-08-23 2013-08-23 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2015041984A true JP2015041984A (en) 2015-03-02
JP6227935B2 JP6227935B2 (en) 2017-11-08

Family

ID=52695878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173699A Active JP6227935B2 (en) 2013-08-23 2013-08-23 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP6227935B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203966A1 (en) * 2015-06-15 2016-12-22 ソニーセミコンダクタソリューションズ株式会社 Imaging device, imaging method, and program
JP2017216657A (en) * 2016-06-02 2017-12-07 キヤノン株式会社 Image processing device, image processing method, and program
JP2021526248A (en) * 2018-06-07 2021-09-30 ドルビー ラボラトリーズ ライセンシング コーポレイション HDR image generation from a single shot HDR color image sensor
CN113824873A (en) * 2021-08-04 2021-12-21 荣耀终端有限公司 Image processing method and related electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222793A1 (en) * 2010-03-09 2011-09-15 Sony Corporation Image processing apparatus, image processing method, and program
US20130016253A1 (en) * 2011-07-11 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222793A1 (en) * 2010-03-09 2011-09-15 Sony Corporation Image processing apparatus, image processing method, and program
JP2011188277A (en) * 2010-03-09 2011-09-22 Sony Corp Image processor, image processing method and program
US20130016253A1 (en) * 2011-07-11 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013021490A (en) * 2011-07-11 2013-01-31 Canon Inc Image processing apparatus and control method for image processing apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203966A1 (en) * 2015-06-15 2016-12-22 ソニーセミコンダクタソリューションズ株式会社 Imaging device, imaging method, and program
JP2017216657A (en) * 2016-06-02 2017-12-07 キヤノン株式会社 Image processing device, image processing method, and program
JP2021526248A (en) * 2018-06-07 2021-09-30 ドルビー ラボラトリーズ ライセンシング コーポレイション HDR image generation from a single shot HDR color image sensor
JP7130777B2 (en) 2018-06-07 2022-09-05 ドルビー ラボラトリーズ ライセンシング コーポレイション HDR image generation from a single-shot HDR color image sensor
US11922639B2 (en) 2018-06-07 2024-03-05 Dolby Laboratories Licensing Corporation HDR image generation from single-shot HDR color image sensors
CN113824873A (en) * 2021-08-04 2021-12-21 荣耀终端有限公司 Image processing method and related electronic equipment

Also Published As

Publication number Publication date
JP6227935B2 (en) 2017-11-08

Similar Documents

Publication Publication Date Title
JP6184290B2 (en) Image processing apparatus and image processing method
JP5102374B2 (en) Method and apparatus for moving blur and ghost prevention in an imaging system
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
CN104980652B (en) Image processing apparatus and image processing method
JP2012234393A (en) Image processing device, image processing method, and program
JP2011086275A (en) Image processing device, imaging apparatus and imaging processing method, and program
JP6678376B2 (en) Motion detection device and motion detection method
KR20160138685A (en) Apparatus For Generating Low Complexity High Dynamic Range Image, and Method Thereof
WO2014020970A1 (en) Image processing device, image processing method, and program
JP6227935B2 (en) Image processing apparatus and image processing method
JP6045894B2 (en) Image processing apparatus and image processing method
US9460492B2 (en) Apparatus and method for image processing
JP6543787B2 (en) Image processing apparatus and image processing method
JP6376339B2 (en) Image processing apparatus and image processing method
JP6324235B2 (en) Image processing apparatus and image processing method
JP6173027B2 (en) Image processing apparatus and image processing method
JP6563646B2 (en) Image processing apparatus and image processing method
JP6603557B2 (en) Image processing apparatus and image processing method
JP6121234B2 (en) Image processing apparatus and image processing method
JP2016213717A (en) Image processing apparatus, image processing method, program, and storage medium
US20210366084A1 (en) Deblurring process for digital image processing
JP2015204489A (en) Image processing apparatus and image processing method
WO2015079481A1 (en) Image capture method and image capture apparatus
JP6700028B2 (en) Vector calculating device and vector calculating method
JP6014343B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171012

R150 Certificate of patent or registration of utility model

Ref document number: 6227935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250