JP2008294524A - Image processor and image processing method - Google Patents

Image processor and image processing method Download PDF

Info

Publication number
JP2008294524A
JP2008294524A JP2007135300A JP2007135300A JP2008294524A JP 2008294524 A JP2008294524 A JP 2008294524A JP 2007135300 A JP2007135300 A JP 2007135300A JP 2007135300 A JP2007135300 A JP 2007135300A JP 2008294524 A JP2008294524 A JP 2008294524A
Authority
JP
Japan
Prior art keywords
image
resolution
low
resolution image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007135300A
Other languages
Japanese (ja)
Inventor
Shigeru Tsuchiida
茂 土井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007135300A priority Critical patent/JP2008294524A/en
Priority to PCT/JP2008/000037 priority patent/WO2008090730A1/en
Priority to US12/312,983 priority patent/US8149283B2/en
Publication of JP2008294524A publication Critical patent/JP2008294524A/en
Priority to US13/409,675 priority patent/US20120162463A1/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve the picture quality of a composite image with a wide dynamic range. <P>SOLUTION: The image processor has: an image input means for acquiring a plurality of low-resolution images obtained by photographing the same subject under a plurality of exposure conditions and a high-resolution image obtained by photographing the subject under a suitable exposure condition; and a compositing means for compositing a low-resolution image selected out of the plurality of low-resolution images with the high-resolution image to generate a composite image having nearly the same resolution with that of the high-resolution image. The compositing means has: an adjusting means for reflecting grayscale values of pixels constituting the selected low-resolution image and corresponding pixel values of the high-resolution image and adjusting grayscale values of corresponding pixels of the composite image; and a control means for controlling the adjustment processing on grayscale values of the respective pixels of the composite image by the adjusting means, based upon at least one of histograms of grayscale values found as to the plurality of low-resolution images respectively, a histogram of grayscale values found as to the high-resolution image, and the number of the low-resolution images acquired by the image input means. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、デジタルカメラなどの撮像装置によって撮影された画像を処理対象とする画像処理装置に関する。   The present invention relates to an image processing apparatus that processes an image captured by an imaging apparatus such as a digital camera.

デジタルカメラなどの撮像装置によって得られる画像データのダイナミックレンジは、撮像に用いられる撮像素子(例えばＣＣＤなど)のダイナミックレンジによって制限される。このため、特に、逆光などの露出条件で撮影した場合などに、画面内の明るい部分と暗い部分との一方または双方に、画素値が飽和していることを示す同一の階調の画素データが連なる領域、いわゆる「白とび」あるいは「黒つぶれ」の領域が生じる場合があった。   The dynamic range of image data obtained by an imaging device such as a digital camera is limited by the dynamic range of an imaging device (for example, a CCD) used for imaging. For this reason, pixel data of the same gradation indicating that the pixel value is saturated in one or both of the bright part and the dark part in the screen, particularly when shooting under exposure conditions such as backlight. In some cases, a continuous region, a so-called “whiteout” or “blackout” region occurs.

このような画素値が飽和した領域について画質の向上を図る技法として、複数種類の露出条件で同一の被写体を撮影し、得られた画像データを合成して、ダイナミックレンジの広い高品質の画像データを得る手法が提案されている(特許文献１参照)。
特開２００２−３０５６８４号公報 As a technique for improving the image quality in such regions where pixel values are saturated, the same subject is shot under multiple types of exposure conditions, and the resulting image data is combined to produce high-quality image data with a wide dynamic range. Has been proposed (see Patent Document 1).
JP 2002-305684 A

上述した特許文献１の技法では、様々な露出条件において同一の被写体を撮影して得られる複数の高解像度の画像データをメモリに蓄積し、これらの画像データを読み出して合成処理を行っている。このため、複数の高解像度の画像データを蓄積しておくための大容量のメモリが必要である上に、大容量の画像データを読み出す処理に要する時間のために、撮影速度を向上することが難しかった。   In the technique of Patent Document 1 described above, a plurality of high-resolution image data obtained by photographing the same subject under various exposure conditions is stored in a memory, and these image data are read out and combined. For this reason, a large-capacity memory for storing a plurality of pieces of high-resolution image data is required, and the shooting speed can be improved due to the time required to read out the large-capacity image data. was difficult.

本出願人は、メモリ量の増大および読み込み処理負担の増大を抑制しつつ、広いダイナミックレンジを有する高解像度画像を合成することが可能な技術として、特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を既に出願している。   As a technology capable of synthesizing a high-resolution image having a wide dynamic range while suppressing an increase in memory amount and an increase in reading processing burden, the present applicant has disclosed Japanese Patent Application No. 2007-012516 “Image processing apparatus, electronic camera”. And an image processing program "have already been filed.

この技法では、本撮影で適用された露出条件とは異なる露出条件に対応する高解像度の画像データの代わりに、デジタルカメラに備えられた液晶表示部による表示に供される低解像度画像(スルー画像)を利用し、露出条件を変えて取得した複数のスルー画像を本撮影で得られた高解像度画像との合成処理に供することにより、画像処理装置の小型化および高速撮影への対応を実現している。   In this technique, instead of high-resolution image data corresponding to an exposure condition different from the exposure condition applied in the main shooting, a low-resolution image (through image) used for display by a liquid crystal display unit provided in the digital camera is used. ) And using multiple through images acquired with different exposure conditions combined with the high-resolution image obtained by actual shooting, the image processing device can be made smaller and compatible with high-speed shooting. ing.

更に、この技法を適用する際に、スルー画像の合成手法を工夫することにより、合成処理によって得られる広いダイナミックレンジを有する高解像度画像の画質を向上することが可能である。   Furthermore, when applying this technique, it is possible to improve the image quality of a high-resolution image having a wide dynamic range obtained by the synthesis process by devising a synthesis method of the through image.

本発明は、露出条件の異なる画像を合成して広いダイナミックレンジを持つ画像を生成する画像処理装置および画像処理方法において、画像処理装置の小型化および高速化とともに生成される広ダイナミックレンジの画像の画質を向上可能な画像処理装置および画像処理方法を提供することを目的とする。   The present invention relates to an image processing apparatus and an image processing method for generating an image having a wide dynamic range by combining images having different exposure conditions. An object is to provide an image processing apparatus and an image processing method capable of improving image quality.

本発明にかかわる第１の画像処理装置は、以下のように構成される。   The first image processing apparatus according to the present invention is configured as follows.

画像入力手段は、複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、撮像手段によって適切な露出条件において被写体を撮影して得られる高解像度画像とを取得する。合成手段は、複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、高解像度画像と同等の解像度を持つ合成画像を生成する。この合成手段において、調整手段は、選択された低解像度画像を構成する各画素の階調値と高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する。制御手段は、複数の低解像度画像それぞれについて求めた階調値のヒストグラムと高解像度画像について求めた階調値のヒストグラムと画像入力手段によって取得された低解像度画像の数との少なくとも一方に基づいて、調整手段による合成画像の各画素についての階調値の調整処理を制御する。   The image input means includes a plurality of low-resolution images obtained by photographing the same subject under a plurality of exposure conditions by an imaging means for photographing a subject image at a plurality of different resolutions, and a subject under an appropriate exposure condition by the imaging means. A high-resolution image obtained by photographing is acquired. The synthesizing unit synthesizes the low resolution image selected from the plurality of low resolution images and the high resolution image to generate a synthesized image having a resolution equivalent to that of the high resolution image. In this composition means, the adjustment means adjusts the gradation value of the corresponding pixel of the composite image by reflecting the gradation value of each pixel constituting the selected low resolution image and the corresponding pixel value of the high resolution image. To do. The control means is based on at least one of the gradation value histogram obtained for each of the plurality of low resolution images, the gradation value histogram obtained for the high resolution image, and the number of low resolution images acquired by the image input means. The gradation value adjustment processing for each pixel of the composite image by the adjusting means is controlled.

本発明にかかわる第２の画像処理装置は、以下のように構成される。   The second image processing apparatus according to the present invention is configured as follows.

上述した第１の画像処理装置に備えられる制御手段において、解析手段は、複数の低解像度画像それぞれおよび高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する。変換曲線調整手段は、解析手段による解析結果に基づいて、調整手段において合成画像の各画素の階調値を所定の範囲に収めるために用いられる階調変換曲線を調整する。   In the control means provided in the first image processing apparatus described above, the analysis means has a distribution of pixels in a predetermined range of gradation values for each of a plurality of low-resolution images and a histogram of gradation values obtained for the high-resolution images. Is analyzed. The conversion curve adjusting means adjusts the gradation conversion curve used for the gradation value of each pixel of the composite image to fall within a predetermined range in the adjustment means based on the analysis result by the analysis means.

本発明にかかわる第３の画像処理装置は、以下のように構成される。   The third image processing apparatus according to the present invention is configured as follows.

上述した第１の画像処理装置に備えられる制御手段において、解析手段は、複数の低解像度画像それぞれおよび高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する。選択手段は、解析手段による解析結果に基づいて、調整手段による調整処理に供する低解像度画像を選択する。   In the control means provided in the first image processing apparatus described above, the analysis means has a distribution of pixels in a predetermined range of gradation values for each of a plurality of low-resolution images and a histogram of gradation values obtained for the high-resolution images. Is analyzed. The selection unit selects a low-resolution image to be subjected to the adjustment process by the adjustment unit based on the analysis result by the analysis unit.

本発明にかかわる第４の画像処理装置は、以下のように構成される。   The fourth image processing apparatus according to the present invention is configured as follows.

上述した第１の画像処理装置に備えられる制御手段において、範囲決定手段は、調整手段による合成処理に供される低解像度画像の数に応じて、調整手段による合成画像を構成する各画素の階調値の調整において反映すべき低解像度画像の範囲の大きさを決定する。   In the control unit provided in the first image processing apparatus described above, the range determination unit is configured to determine the level of each pixel constituting the composite image by the adjustment unit according to the number of low-resolution images to be subjected to the synthesis process by the adjustment unit. The size of the range of the low resolution image to be reflected in the adjustment of the tone value is determined.

本発明にかかわる第５の画像処理装置は、以下のように構成される。   The fifth image processing apparatus according to the present invention is configured as follows.

上述した第１の画像処理装置に備えられる制御手段において、輝度重み決定手段は、調整手段による合成画像を構成する各画素の輝度成分に、選択された低解像度画像の画素に対応する輝度成分を反映する際に適応すべき輝度重みを決定する。色差重み決定手段は、調整手段による合成画像を構成する各画素の色差成分に、選択された低解像度画像の画素に対応する色差成分を反映する際に適応すべき色差重みを決定する。この色差重み決定手段において、重み調整手段は、高解像度画像の各画素に対応する輝度成分の大きさに応じて、色差重みの値を調整する。   In the control means provided in the first image processing apparatus described above, the luminance weight determining means assigns the luminance component corresponding to the pixel of the selected low-resolution image to the luminance component of each pixel constituting the composite image by the adjusting means. The luminance weight to be applied when reflecting is determined. The color difference weight determining means determines the color difference weight to be applied when reflecting the color difference component corresponding to the pixel of the selected low-resolution image in the color difference component of each pixel constituting the composite image by the adjusting means. In this color difference weight determining means, the weight adjusting means adjusts the value of the color difference weight according to the size of the luminance component corresponding to each pixel of the high resolution image.

本発明にかかわる第１の画像処理方法は、以下のように構成される。   The first image processing method according to the present invention is configured as follows.

画像入力ステップは、複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、撮像手段によって適切な露出条件において被写体を撮影して得られる高解像度画像とを取得する。合成ステップは、複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、高解像度画像と同等の解像度を持つ合成画像を生成する。この合成ステップにおいて、調整ステップは、選択された低解像度画像を構成する各画素の階調値と高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する。制御ステップは、複数の低解像度画像それぞれについて求めた階調値のヒストグラムと高解像度画像について求めた階調値のヒストグラムと画像入力ステップにおいて取得された低解像度画像の数との少なくとも一方に基づいて、調整ステップによる合成画像の各画素についての階調値の調整処理を制御する。   The image input step includes a plurality of low-resolution images obtained by photographing the same subject under a plurality of exposure conditions by an imaging unit that captures images of the subject at a plurality of different resolutions, and a subject under an appropriate exposure condition by the imaging unit. A high-resolution image obtained by photographing is acquired. In the combining step, a low resolution image selected from a plurality of low resolution images and a high resolution image are combined to generate a combined image having a resolution equivalent to that of the high resolution image. In this synthesis step, the adjustment step adjusts the tone value of the corresponding pixel of the synthesized image by reflecting the tone value of each pixel constituting the selected low resolution image and the corresponding pixel value of the high resolution image. To do. The control step is based on at least one of a gradation value histogram obtained for each of the plurality of low resolution images, a gradation value histogram obtained for the high resolution image, and the number of low resolution images acquired in the image input step. The gradation value adjustment processing for each pixel of the composite image in the adjustment step is controlled.

本発明にかかわる画像処理装置および画像処理方法によれば、露出条件の異なる複数の低解像度画像を高解像度画像に合成することにより、階調再現域を拡大と処理の高速性とを両立させるとともに、合成処理に供される高解像度画像と低解像度画像の特徴を考慮した適切な合成手法を選択的に適用することで、最終的に得られる合成画像の画質の向上を図ることができる。   According to the image processing apparatus and the image processing method according to the present invention, by combining a plurality of low-resolution images with different exposure conditions into a high-resolution image, both the gradation reproduction range and high-speed processing can be achieved. The image quality of the finally obtained synthesized image can be improved by selectively applying an appropriate synthesis method that takes into consideration the characteristics of the high-resolution image and the low-resolution image used for the synthesis process.

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる画像処理装置の第１の実施形態を示す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 shows a first embodiment of an image processing apparatus according to the present invention.

図１に示したデジタルカメラにおいて、画像の撮影の際に撮影光学系２１によって撮像素子２２上に結像された光は、撮像素子２２によってその強度に応じた電気信号に変換され、更に、アナログ／デジタル(Ａ／Ｄ)変換器２３によってデジタルデータに変換されてメモリ２４に保持される。図１に示したメモリ２４は、バスを介して本発明にかかわる画像処理装置２５、画像圧縮部２６、記録処理部２７および撮影制御部２８に接続されており、この撮影制御部２８により、撮像素子２２に対する読み出しモードの切り換えが行われる。   In the digital camera shown in FIG. 1, the light imaged on the image sensor 22 by the imaging optical system 21 at the time of capturing an image is converted into an electric signal corresponding to the intensity by the image sensor 22, and further analog / Digital (A / D) converter 23 converts it into digital data and holds it in memory 24. The memory 24 shown in FIG. 1 is connected to an image processing device 25, an image compression unit 26, a recording processing unit 27, and a shooting control unit 28 according to the present invention via a bus. The reading mode for the element 22 is switched.

図１に示した撮影制御部２８は、利用者によるレリーズボタンの操作に応じて、上述した撮像素子２２に全ての画素に対応するデータの読出を指示する高解像度モードを指示し、これに応じて撮像素子２２から読み出された電気信号から得られた高解像度画像データはメモリ２４に蓄積されるとともに画像処理装置２５の処理に供される。一方、レリーズボタンが操作される時点の前後では、撮影制御部２８により、撮像素子２２からの読み出しモードは、スルー画モードに切り換えられ、これに応じて、撮像素子２２内部での画素間引きや画素加算によって得られる低解像度画像データがメモリ２４を介して表示部２９による表示処理に供され、利用者に撮像範囲に関する情報を提供する。   The imaging control unit 28 shown in FIG. 1 instructs the above-described image sensor 22 in the high resolution mode for instructing reading of data corresponding to all pixels in accordance with the operation of the release button by the user. The high-resolution image data obtained from the electrical signal read from the image sensor 22 is stored in the memory 24 and used for processing by the image processing device 25. On the other hand, before and after the time when the release button is operated, the readout mode from the image sensor 22 is switched to the through image mode by the imaging control unit 28, and in accordance with this, pixel thinning and pixels within the image sensor 22 are performed. The low-resolution image data obtained by the addition is subjected to display processing by the display unit 29 via the memory 24, and provides information regarding the imaging range to the user.

上述したスルー画モードが適用されている期間において、様々な露出条件の下で取得された撮像素子２２の出力信号から得られた低解像度画像データがメモリ２４に保持され、上述した高解像度画像データとともに画像処理装置２５の処理に供される。また、この画像処理装置２５による処理が完了した画像データは、画像圧縮部２６によって圧縮された後にバスを介して記録処理部２７に渡され、記憶媒体３０に記録される。   During the period in which the above-described through image mode is applied, low-resolution image data obtained from the output signal of the image sensor 22 acquired under various exposure conditions is held in the memory 24, and the above-described high-resolution image data is stored. At the same time, it is used for processing of the image processing device 25. Further, the image data that has been processed by the image processing device 25 is compressed by the image compression unit 26, transferred to the recording processing unit 27 via the bus, and recorded on the storage medium 30.

図１に示した画像処理装置２５において、位置合わせ処理部３２により、メモリ２４から受け取った高解像度画像と複数の低解像度画像とについてそれぞれ特徴抽出が行われ、抽出された特徴に基づいて互いの位置ずれが補正される。また、図１に示したゲイン補正部３１により、高解像度画像と個々の低解像度画像との露出条件の違いに応じたゲイン補正が行われ、補正後の低解像度画像が、階調合成部３３により、上述した位置合わせ処理部３２による処理結果に基づいて高解像度画像と合成され、画像圧縮部２６の処理に供される。   In the image processing apparatus 25 shown in FIG. 1, the alignment processing unit 32 performs feature extraction for each of the high-resolution image and the plurality of low-resolution images received from the memory 24, and based on the extracted features, Misalignment is corrected. Further, the gain correction unit 31 shown in FIG. 1 performs gain correction in accordance with the difference in exposure conditions between the high resolution image and each low resolution image, and the corrected low resolution image is converted into a tone synthesis unit 33. Thus, the high-resolution image is synthesized based on the processing result by the alignment processing unit 32 described above, and is provided to the processing of the image compression unit 26.

なお、上述した位置合わせ処理部３２および階調合成部３３の詳細構成および詳細な動作については、本出願人が先に出願した特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を参照されたい。   As for the detailed configuration and detailed operation of the alignment processing unit 32 and the gradation synthesis unit 33 described above, Japanese Patent Application No. 2007-012516 “Image Processing Device, Electronic Camera, and Image Processing Program” previously filed by the present applicant. Please refer to.

図１に示した画像処理装置２５において、分布解析部３４は、ゲイン補正部３１によって補正された高解像度画像および低解像度画像について、階調値のヒストグラムをそれぞれ作成し、後述するようにして、このヒストグラムの解析を行い、解析結果を合成制御部３５の処理に供する。   In the image processing apparatus 25 shown in FIG. 1, the distribution analysis unit 34 creates gradation value histograms for the high-resolution image and the low-resolution image corrected by the gain correction unit 31, as will be described later. The histogram is analyzed, and the analysis result is provided to the processing of the synthesis control unit 35.

また、図１に示した合成制御部３５は、分布解析部３４による解析結果に基づいて、階調合成部３３における階調合成処理に適用すべき様々なパラメータを決定し、これらのパラメータを階調合成部３３の処理に供することにより、この階調合成部３３の処理を制御する。   Further, the synthesis control unit 35 shown in FIG. 1 determines various parameters to be applied to the tone synthesizing process in the tone synthesizing unit 33 on the basis of the analysis result by the distribution analysis unit 34, and sets these parameters to the level. By using the processing of the tone synthesizing unit 33, the processing of the tone synthesizing unit 33 is controlled.

以下、本撮影で得られた適正露出の高解像度画像と適正露出に対して１段および２段アンダーで取得されたスルー画像(低解像度画像)とを合成して、階調再現域が拡大された広ダイナミックレンジの高解像度画像を生成する場合を例にとって、分布解析部３４および合成制御部３５の詳細な動作を説明する。   The gradation reproduction range is expanded by combining the high-resolution image with the proper exposure obtained in the actual shooting and the through image (low-resolution image) acquired with the first and second steps below the appropriate exposure. The detailed operation of the distribution analysis unit 34 and the synthesis control unit 35 will be described taking as an example the case of generating a high-resolution image with a wide dynamic range.

図２に、画像合成処理を表す流れ図を示す。また、図３に、分布解析処理を説明する図を示す。   FIG. 2 is a flowchart showing the image composition process. FIG. 3 is a diagram for explaining the distribution analysis process.

メモリ２４に蓄積されていたスルー画像から本撮影で適用された露出条件に比べて低い露出値が適用されたスルー画像が抽出され、本撮影で得られた高解像度画像とともに画像処理装置２５に読み込まれる(ステップＳ１)。メモリ２４には、本撮影に先立って露出値決定処理のために様々な露出条件で取得されたスルー画像が蓄積されており、これらのスルー画像の中から、例えば、本撮影で適用された適正露出に対して１段アンダーで取得されたスルー画像と２段アンダーで取得されたスルー画像とがメモリ２４から読み出され、以降の処理に供される。   A through image to which a lower exposure value is applied than the exposure condition applied in the main photographing is extracted from the through image stored in the memory 24 and is read into the image processing device 25 together with the high-resolution image obtained in the main photographing. (Step S1). In the memory 24, through images acquired under various exposure conditions for exposure value determination processing prior to the main shooting are stored, and from these through images, for example, an appropriate value applied in the main shooting is stored. The through image acquired with one step under the exposure and the through image acquired with two steps under are read from the memory 24 and are used for the subsequent processing.

このようにして読み出されたスルー画像について、ゲイン補正部３１により、スルー画像を構成する各画素の階調値に、それぞれに適用された露出値と適正露出との比に応じた定数を乗算することにより、ゲイン補正が行われる(ステップＳ２)。ここで、読み出されたスルー画像について既にガンマ変換が施されている場合には、ゲイン補正に先立って、逆ガンマ変換が施される。これにより、１段アンダーで取得されたスルー画像のヒストグラム(図３(ｂ)参照)および２段アンダーで取得されたスルー画像のヒストグラム(図３(ｄ)参照)は、適正露出で撮影された高解像度画像のヒストグラムにおける画素の分布(図３(ａ)参照)とリニアな空間で比較可能なヒストグラムに変換される(図３(ｃ)、(ｅ)参照)。   For the through image read in this way, the gain correction unit 31 multiplies the gradation value of each pixel constituting the through image by a constant corresponding to the ratio between the exposure value applied to each pixel and the appropriate exposure. Thus, gain correction is performed (step S2). Here, when gamma conversion has already been performed on the read through image, inverse gamma conversion is performed prior to gain correction. As a result, the through-image histogram (see FIG. 3 (b)) acquired with one step under and the through-image histogram (see FIG. 3 (d)) acquired with two steps under were taken with appropriate exposure. It is converted into a histogram that can be compared in a linear space with the distribution of pixels in the histogram of the high-resolution image (see FIG. 3A) (see FIGS. 3C and 3E).

このようにして得られたスルー画像のヒストグラムについて、分布解析部３４は、適正露出が適用されたときに飽和状態となる高輝度領域(図３において、破線で示した階調値以上の範囲)において、所定の閾値以上の画素が分布している範囲を探索し、該当する範囲を高輝度領域における階調変化の特徴として抽出する(ステップＳ３)。   With respect to the histogram of the through image obtained in this way, the distribution analysis unit 34 is a high-luminance region that is saturated when appropriate exposure is applied (a range equal to or greater than the gradation value indicated by the broken line in FIG. 3). In step S3, a range in which pixels having a predetermined threshold value or more are distributed is searched, and the corresponding range is extracted as a feature of gradation change in the high luminance region (step S3).

ステップＳ３において、例えば、図３(ｃ)、(ｅ)に破線で囲んで示すような範囲が検出された場合に、分布解析部３４は、高輝度領域における階調変化の特徴が抽出された旨を合成制御部３５に通知し、これに応じて、合成制御部３５は、階調変化の特徴が抽出されたスルー画像を合成対象の低解像度画像として選択する(ステップＳ４)。   In step S3, for example, when a range surrounded by a broken line in FIGS. 3C and 3E is detected, the distribution analysis unit 34 has extracted a feature of gradation change in the high luminance region. In response to this, the synthesis control unit 35 selects the through image from which the characteristics of gradation change have been extracted as a low-resolution image to be synthesized (step S4).

合成処理を実行する場合に、分布解析部３４は、メモリ２４から読み込んだ高解像度画像について、所定の閾値以上の階調値を持つ高輝度領域の画素の数を集計し、この高輝度領域の画素数が全画素数に占める割合を算出し(ステップＳ５)、この割合に基づいて、合成制御部３５は、最終的に階調値を表示装置などの制約に合わせて８ビットの階調値に変換するための階調変換曲線における屈曲点の位置(図４(ａ)において符号(イ)を付して示す)を決定する(ステップＳ６)。   When executing the synthesis process, the distribution analysis unit 34 counts the number of pixels in the high luminance area having a gradation value equal to or higher than a predetermined threshold for the high resolution image read from the memory 24, and The ratio of the number of pixels to the total number of pixels is calculated (step S5), and based on this ratio, the composition control unit 35 finally adjusts the gradation value to an 8-bit gradation value according to the restrictions of the display device or the like. The position of the inflection point (shown with a symbol (A) in FIG. 4A) in the gradation conversion curve for conversion into (1) is determined (step S6).

このとき、分布解析部３４は、例えば、１２ビットの階調値を８ビットの階調値に変換するための一般的な階調変換曲線(図４において、太い破線で示す)を用いた変換によって所定の値(例えば、数値２００)以上に変換される階調値を持つ画素の割合を算出する。この割合が所定の閾値よりも大きい場合に、合成制御部３５は、例えば、上述した割合と閾値との差に応じて、屈曲点の位置を入力階調値の小側(図４の左側)に移動させる。逆に、上述した割合が所定の閾値よりも小さい場合に、合成制御部３５は、上述した割合と閾値との差に応じて、屈曲点の位置を入力階調値の大側(図４の右側)に移動させる。   At this time, the distribution analysis unit 34 uses, for example, a conversion using a general gradation conversion curve (indicated by a thick broken line in FIG. 4) for converting a 12-bit gradation value into an 8-bit gradation value. The ratio of pixels having a gradation value converted to a predetermined value (for example, a numerical value 200) or more is calculated by the above. When this ratio is larger than a predetermined threshold, the composition control unit 35, for example, sets the position of the inflection point on the small side of the input gradation value (left side in FIG. 4) according to the difference between the ratio and the threshold. Move to. On the contrary, when the above-described ratio is smaller than the predetermined threshold, the composition control unit 35 determines the position of the inflection point according to the difference between the above-described ratio and the threshold (see FIG. 4). Move to the right).

例えば、明るく輝く雲が画面において無視できない大きさを占めているような構図で被写体が撮影された場合に、ステップＳ５において分布解析部３４によって得られる高輝度領域の割合は大きくなり、これに応じて、階調変換曲線の屈曲点の位置は、図４に符号(イ)で示した位置よりも入力階調値が小さい側にずらされる。   For example, when a subject is photographed in such a composition that brightly shining clouds occupy a size that cannot be ignored on the screen, the ratio of the high brightness area obtained by the distribution analysis unit 34 in step S5 increases. Thus, the position of the bending point of the gradation conversion curve is shifted to the side where the input gradation value is smaller than the position indicated by the symbol (A) in FIG.

次いで、分布解析部３４は、上述したステップＳ４において合成対象として選択されたスルー画像について、個々のスルー画像において階調値が飽和していない範囲であって、高解像度画像における階調値の分布範囲を超える範囲に分布している画素について、階調値の平均値を算出し(ステップＳ７)、この平均値に基づいて、合成処理部３５は、上述した階調変換曲線による階調再現域の上限の位置(図４(ａ)において符号(ロ)を付して示す)を決定する(ステップＳ８)。   Next, the distribution analysis unit 34 is a range in which the gradation value is not saturated in the individual through images of the through image selected as the synthesis target in step S4 described above, and the distribution of the gradation values in the high resolution image. For the pixels distributed in the range exceeding the range, the average value of the gradation values is calculated (step S7), and based on this average value, the synthesis processing unit 35 performs the gradation reproduction area based on the gradation conversion curve described above. The upper limit position (indicated by a symbol (B) in FIG. 4A) is determined (step S8).

例えば、図３に示したヒストグラムを持つ１段アンダーのスルー画像と２段アンダーのスルー画像について、それぞれ上述したステップＳ３で抽出した範囲(図３(ｃ)、(ｅ)参照)に分布している画素について階調値の平均値を求め、これらを更に平均した値に応じて、階調再現域の上限は、図４に符号(ロ)で示した位置(つまり、１２ビットの階調値の上限)よりも入力階調値が大きい側にずらされる。ここで、露出値の異なるスルー画像が複数枚取得されている場合は、これらについてそれぞれ求めた平均値を更に平均した値に応じて、階調再現域の上限を決定すればよい。このとき、合成制御部３５は、例えば、上述した平均値と１２ビットの階調値の上限、即ち、高解像度画像の階調値の上限との差分をこの平均値に加えた位置に階調再現域の上限をずらすこともできる。   For example, the through image with 1-stage under and the through image with 2-stage under having the histogram shown in FIG. 3 are distributed in the ranges (see FIGS. 3C and 3E) extracted in step S3 described above. The average value of the gradation values is obtained for the pixels, and the upper limit of the gradation reproduction range is determined by the position (in other words, the 12-bit gradation value) shown in FIG. Is shifted to the side where the input gradation value is larger than the upper limit). Here, when a plurality of through images having different exposure values are acquired, the upper limit of the gradation reproduction range may be determined according to a value obtained by further averaging the average values obtained for the respective through images. At this time, for example, the composition control unit 35 determines the gradation at the position obtained by adding the difference between the above-described average value and the upper limit of the 12-bit gradation value, that is, the upper limit of the gradation value of the high resolution image, to the average value. The upper limit of the reproduction range can also be shifted.

このようにして、中程度以下の輝度を持つ領域における階調変化を圧縮して、高輝度に対応する階調値の変化が８ビットの階調値の変化として再現される範囲を広げることにより、高輝度領域における階調変化を８ビットの階調値によって再現可能な階調変換曲線が生成され、この階調変換曲線が合成処理部３５において得られたスルー画像と高解像度画像とを合成して得られた合成画像の階調変換処理に適用される(ステップＳ９)。   In this way, by compressing the gradation change in the area having a medium or lower luminance, the range in which the gradation value change corresponding to the high luminance is reproduced as the 8-bit gradation value change is expanded. Then, a gradation conversion curve that can reproduce the gradation change in the high luminance area with an 8-bit gradation value is generated, and this gradation conversion curve is combined with the through image obtained in the composition processing unit 35 and the high resolution image. This is applied to the gradation conversion processing of the composite image obtained in this way (step S9).

なお、ステップＳ３において、全てのスルー画像で上述した範囲に所定数以上の画素が分布している範囲が抽出されなかった場合は、高解像度画像に反映すべき高輝度領域における階調変化の特徴はないと判断して、合成処理を実施しないで終了することも可能である。   In step S3, if a range in which a predetermined number or more of pixels are distributed in the above-described range is not extracted in all through images, the feature of gradation change in the high luminance region to be reflected in the high resolution image It is also possible to terminate the process without executing the synthesis process.

また、高解像度画像において「黒つぶれ」状態となっているような低輝度領域については、図４(ｂ)に示すように、複数の屈曲点を持つ階調変換曲線を適用することで、階調再現可能域の低輝度方向への拡大を図ることも可能である。   For a low luminance region that is in a “blackout” state in a high resolution image, a gradation conversion curve having a plurality of inflection points is applied as shown in FIG. It is also possible to expand the tone reproduction range in the low luminance direction.

次に、階調合成部３３による合成処理について説明する。   Next, the synthesis process by the gradation synthesis unit 33 will be described.

位置合わせ処理部３２によって高解像度画像と取得された各スルー画像との間の位置合わせが行われ、この位置合わせ処理結果に基づいて、階調合成部３３により、スルー画像を構成する各画素の輝度成分および色差成分が、図５に示すように、高解像度画像と同密度の画素空間に再配置される。   The alignment processing unit 32 performs alignment between the high-resolution image and each acquired through image, and based on the alignment processing result, the gradation synthesis unit 33 determines each pixel constituting the through image. As shown in FIG. 5, the luminance component and the color difference component are rearranged in a pixel space having the same density as the high-resolution image.

このとき、階調合成部３３は、高解像度画像の露出値を基準として各スルー画像について、上述したゲイン補正部３１によってゲイン補正を施して得られた輝度成分を上述したようにして再配置することにより、再配置画像の輝度成分Ｂ'y（ｉ，ｊ）を得ることができる。 At this time, the tone synthesizing unit 33 rearranges the luminance components obtained by performing gain correction by the above-described gain correction unit 31 for each through-image with reference to the exposure value of the high-resolution image as described above. Thus, the luminance component B ′ y (i, j) of the rearranged image can be obtained.

次いで、階調合成部３３は、高解像度画像について既にガンマ変換が施されている場合は、高解像度画像の画素値Ａy（ｉ，ｊ）に逆ガンマ変換を施して、リニア空間における画素値を求め、このリニア変換された高解像度画像の輝度成分Ａ'y（ｉ，ｊ）に、同じくリニア空間の再配置画像の輝度成分Ｂ'y（ｉ，ｊ）を重み付け加算することにより、合成画像の輝度成分ｇ'y（ｉ，ｊ）を求める。 Next, when gamma conversion has already been performed on the high-resolution image, the tone composition unit 33 performs inverse gamma conversion on the pixel value A y (i, j) of the high-resolution image to obtain a pixel value in the linear space. Is obtained by weighting and adding the luminance component B ′ y (i, j) of the rearranged image in the linear space to the luminance component A ′ y (i, j) of the linear-converted high-resolution image. The luminance component g ′ y (i, j) of the image is obtained.

この階調合成部３３は、例えば、式(１)に示すように、高解像度画像の注目画素(ｉ、ｊ)の画素値ｐに近い値を持つ再配置画像の輝度成分Ｂ'y（ｉ，ｊ）に大きな重みを与える重み関数Ｇ（ｉ，ｊ，ｐ）を用いて、式(２)に示すように、注目画素を中心とするフィルタサイズｍの重み付け加算処理を行うことで、合成画像のリニア空間における輝度成分ｇ'y（ｉ，ｊ）を求めることができる。 For example, as shown in Expression (1), the tone synthesizing unit 33 uses the luminance component B ′ y (i of the rearranged image having a value close to the pixel value p of the target pixel (i, j) of the high-resolution image. , J) using a weight function G (i, j, p) that gives a large weight, and performing weighted addition processing with a filter size m centered on the target pixel, as shown in Equation (2), The luminance component g ′ y (i, j) in the linear space of the image can be obtained.

Figure 2008294524
また一方、階調合成部３３は、高解像度画像と合成対象のスルー画像との画素値に基づいて、上述と同様にして、高解像度画像の色差成分Ａ'CbCr（ｉ，ｊ）および再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を求め、これらを重み付け加算することにより、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）を求める。
Figure 2008294524
 On the other hand, the tone synthesizing unit 33 performs color difference component A ′ CbCr (i, j) and rearrangement of the high resolution image based on the pixel values of the high resolution image and the through image to be synthesized in the same manner as described above. The color difference component B ′ CbCr (i, j) of the image is obtained, and these are weighted and added to obtain the color difference component g ′ CbCr (i, j) of the composite image.

このとき、高解像度画像において「白とび」状態となっている高輝度領域では、色差成分が小さくなっていることを考慮して、階調合成部３３は、式(４)に示すように、輝度成分に基づく重み付けを再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）に施して足し合わせることで得られた色差成分ｇ'CbCr（ｉ，ｊ）と、高解像度画像の色差成分Ａ'CbCr（ｉ，ｊ）とを、式(３)で表される重みをつけて加算する(式(５)参照)。 At this time, in consideration of the fact that the color difference component is small in the high luminance region that is in the “overexposed” state in the high resolution image, the tone synthesizing unit 33, as shown in Expression (4), The color difference component g ′ CbCr (i, j) obtained by adding the weighting based on the luminance component to the color difference component B ′ CbCr (i, j) of the rearranged image and adding together, and the color difference component A ′ of the high resolution image CbCr (i, j) is added with the weight represented by Equation (3) (see Equation (5)).

Figure 2008294524
これにより、高輝度領域では再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）に、より高い重みで反映させ、自然な色差成分を復元することができる。
Figure 2008294524
 As a result, the color difference component B ′ CbCr (i, j) of the rearranged image is reflected to the color difference component g ′ CbCr (i, j) of the composite image with a higher weight in the high luminance region, and the natural color difference component is reflected. Can be restored.

同様にして、「黒つぶれ」状態となっている低輝度領域についても、再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）により高い重みで反映させることにより、自然な色差成分を復元することができる。 Similarly, also in the low luminance region in the “blackout” state, the color difference component B ′ CbCr (i, j) of the rearranged image is higher than the color difference component g ′ CbCr (i, j) of the composite image. By reflecting the weight, a natural color difference component can be restored.

ここで、図５に示したように、高解像度画像に合成されるスルー画像の輝度成分および式差成分は、それぞれ再配置画像にマッピングされるので、合成処理に供されるスルー画像の枚数が増えれば、再配置画像と高解像度画像とを合成する際に、重み付け加算対象となるフィルタ内にマッピングされた画素が増えるので、合成画像の画素値に反映される情報が増大する。   Here, as shown in FIG. 5, since the luminance component and the expression difference component of the through image combined with the high resolution image are mapped to the rearranged image, the number of through images used for the combining process is reduced. If the number increases, when the rearranged image and the high-resolution image are combined, the number of pixels mapped in the filter to be weighted and added increases, so that information reflected in the pixel value of the combined image increases.

したがって、合成対象のスルー画像の数に応じて、合成処理において適用するフィルタサイズｍを調整することで、合成画像における画質を維持しつつ、画像処理装置における画像合成処理にかかる処理負担を軽減することができる。例えば、合成処理に供されるスルー画像の数が、所定の枚数以下の場合には、基準となるフィルタサイズ(例えば、ｍ＝５)を適用し、スルー画像の数が上述した所定数を超える場合には、フィルタサイズを一段階縮小することで、スルー画像の枚数の増大による処理負担の増加を抑えつつ、位置合わせ誤差が合成画像の画質に与える影響を抑えることができる。   Therefore, by adjusting the filter size m applied in the synthesis process according to the number of through images to be synthesized, the processing load on the image synthesis process in the image processing apparatus is reduced while maintaining the image quality in the synthesized image. be able to. For example, when the number of through images to be subjected to the composition processing is equal to or less than a predetermined number, a reference filter size (for example, m = 5) is applied, and the number of through images exceeds the predetermined number described above. In this case, by reducing the filter size by one step, it is possible to suppress the influence of the alignment error on the image quality of the composite image while suppressing an increase in processing load due to an increase in the number of through images.

また、上述したようにして得られた合成画像の輝度成分ｇ'y（ｉ，ｊ）について、図１に示した分布解析部３４および合成制御部３５によって得られた階調変換曲線を適用することにより、高解像度画像において「白とび」状態となっていた高輝度領域の階調値の変化をスルー画像に含まれる情報を利用して復元し、ガンマ変換後の階調値(８ビット)の変化として再現することができる。 Further, the gradation conversion curve obtained by the distribution analysis unit 34 and the synthesis control unit 35 shown in FIG. 1 is applied to the luminance component g ′ y (i, j) of the synthesized image obtained as described above. By using the information contained in the through image, the change in the gradation value of the high luminance region that was in the “overexposed” state in the high resolution image is restored, and the gradation value after gamma conversion (8 bits) Can be reproduced.

上述したように、本発明にかかわる画像処理装置および画像処理方法によれば、合成処理に供される高解像度画像と低解像度画像における階調値の分布や合成に供される画像の数を含む様々な特徴を考慮して、適切な合成手法を選択的に適用することができる。   As described above, according to the image processing apparatus and the image processing method according to the present invention, the distribution of gradation values in the high-resolution image and the low-resolution image used for the synthesis process and the number of images used for the synthesis are included. An appropriate synthesis method can be selectively applied in consideration of various features.

これにより、本撮影で得られた高解像度画像とスルー画像とを合成して広いダイナミックレンジを持つ高解像度の合成画像を得る手法において、例えば、明るく輝く雲や青空を背景に撮影された桜などの被写体における階調の変化を過不足なく適切に再現することができ、画質の向上を図ることができる。
（第２の実施形態）
図６に、本発明にかかわる画像処理装置の第２の実施形態を示す。 As a result, in the method of obtaining a high-resolution composite image with a wide dynamic range by synthesizing the high-resolution image obtained in the main shooting and the through image, for example, cherry blossoms shot against a brightly shining cloud or blue sky The gradation change in the subject can be appropriately reproduced without excess and deficiency, and the image quality can be improved.
(Second Embodiment)
FIG. 6 shows a second embodiment of the image processing apparatus according to the present invention.

なお、図６に示す構成要素のうち、図１に示した各部と同等のものについては、図１に示した符号を付して示し、その説明を省略する。   6 that are the same as those shown in FIG. 1 are denoted by the same reference numerals as those shown in FIG. 1 and description thereof is omitted.

図６に示したパソコンにおいて、ＣＰＵ３８とメモリ２４、カードリーダ３６および表示処理部３７とはバスを介して接続されており、画像処理装置２５は、図１２示した画像処理装置２５の各部の処理をＣＰＵ３８に実行させるプログラムによって実現される。   In the personal computer shown in FIG. 6, the CPU 38, the memory 24, the card reader 36, and the display processing unit 37 are connected via a bus, and the image processing device 25 performs processing of each unit of the image processing device 25 shown in FIG. Is realized by a program that causes the CPU 38 to execute the above.

例えば、記憶媒体３０に、デジタルカメラによる本撮影で得られた高解像度画像とともに１段アンダーおよび２段アンダーのスルー画像を記録しておき、これらの画像データをカードリーダ３６によって読み出してメモリ２４に格納し、画像処理装置２５の処理に供することにより、合成処理に供される高解像度画像と低解像度画像における階調値の分布や合成に供される画像の数を含む様々な特徴を考慮して、適切な合成手法を選択的に適用し、広いダイナミックレンジを持つ高解像度の合成画像を得ることができる。   For example, a high-resolution image obtained by actual photographing with a digital camera is recorded on the storage medium 30 as well as a through image of one-stage under and two-stage under, and these image data are read by the card reader 36 and stored in the memory 24. By storing and using it for the processing of the image processing device 25, various characteristics including the distribution of gradation values in the high-resolution image and the low-resolution image used for the synthesis process and the number of images used for the synthesis are considered. Thus, an appropriate synthesis method can be selectively applied to obtain a high-resolution synthesized image having a wide dynamic range.

このように、高解像度画像と低解像度画像とを合成する画像処理をパソコンに分担することにより、デジタルカメラ側で必要な処理を合成処理に供される画像情報の抽出および記録に限定することができるので、デジタルカメラの更なる高速動作を可能とすることができる。また、このようにして得られた合成画像を表示処理部３７および表示部３９による表示処理に供し、利用者に提供することにより、利用者は、大きな見やすい画面に表示された画像に基づいて、上述した画像処理結果を確認することもできる。   In this way, by sharing the image processing for synthesizing the high-resolution image and the low-resolution image to the personal computer, the processing necessary on the digital camera side can be limited to the extraction and recording of image information used for the synthesis processing. Therefore, the digital camera can be operated at a higher speed. In addition, the composite image obtained in this way is subjected to display processing by the display processing unit 37 and the display unit 39 and provided to the user, so that the user can The above-described image processing result can also be confirmed.

上述したように、本発明にかかわる画像処理装置および画像処理方法によれば、本撮影で得られた高解像度画像とスルー画像とを合成して広いダイナミックレンジを持つ高解像度の合成画像を得る手法において、合成処理の高速性を維持しつつ、画質の向上を図ることができるので、デジタルカメラなどの画像取得装置およびパソコンを含む画像処理装置において極めて有用である。   As described above, according to the image processing apparatus and the image processing method according to the present invention, a method of obtaining a high-resolution composite image having a wide dynamic range by synthesizing a high-resolution image and a through image obtained by actual photographing. Therefore, it is possible to improve the image quality while maintaining the high speed of the synthesizing process. Therefore, the present invention is extremely useful in an image acquisition apparatus such as a digital camera and an image processing apparatus including a personal computer.

本発明にかかわる画像処理装置の第１の実施形態を示す図である。1 is a diagram showing a first embodiment of an image processing apparatus according to the present invention. 画像合成処理を表す流れ図である。It is a flowchart showing an image composition process. ヒストグラムに基づく分布解析処理を説明する図である。It is a figure explaining the distribution analysis process based on a histogram. 階調変換曲線の説明図である。It is explanatory drawing of a gradation conversion curve. 再配置画像を説明する図である。It is a figure explaining a rearranged image. 本発明にかかわる画像処理装置の第２の実施形態を示す図である。It is a figure which shows 2nd Embodiment of the image processing apparatus concerning this invention.

符号の説明Explanation of symbols

２１…撮像光学系、２２…撮像素子、２３…アナログ／デジタル(Ａ／Ｄ)変換器、２４…メモリ、２５…画像処理装置、２６…画像圧縮部、２７…記録処理部、２８…撮影制御部、２９、３９…表示部、３０…記憶媒体、３１…ゲイン補正部、３２…位置合わせ処理部、３３…階調合成部、３４…分布解析部、３５…合成制御部、３６…カードリーダ、３７…表示処理部、３８…ＣＰＵ。

DESCRIPTION OF SYMBOLS 21 ... Imaging optical system, 22 ... Imaging device, 23 ... Analog / digital (A / D) converter, 24 ... Memory, 25 ... Image processing apparatus, 26 ... Image compression part, 27 ... Recording processing part, 28 ... Shooting control , 29, 39 ... display unit, 30 ... storage medium, 31 ... gain correction unit, 32 ... alignment processing unit, 33 ... gradation synthesis unit, 34 ... distribution analysis unit, 35 ... synthesis control unit, 36 ... card reader 37 ... Display processing unit, 38 ... CPU.

Claims (6)

複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、前記撮像手段によって適切な露出条件において前記被写体を撮影して得られる高解像度画像とを取得する画像入力手段と、
前記複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、前記高解像度画像と同等の解像度を持つ合成画像を生成する合成手段とを備え、
前記合成手段は、
前記選択された低解像度画像を構成する各画素の階調値と前記高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する調整手段と、
前記複数の低解像度画像それぞれについて求めた階調値のヒストグラムと前記高解像度画像について求めた階調値のヒストグラムと前記画像入力手段によって取得された低解像度画像の数との少なくとも一方に基づいて、前記調整手段による合成画像の各画素についての階調値の調整処理を制御する制御手段とを備えた
ことを特徴とする画像処理装置。 A plurality of low-resolution images obtained by photographing the same subject under a plurality of exposure conditions by an imaging unit that captures images of the subject at a plurality of different resolutions, and the subject under the appropriate exposure conditions by the imaging unit. An image input means for acquiring the obtained high resolution image;
Combining a low resolution image selected from the plurality of low resolution images and a high resolution image, and generating a composite image having a resolution equivalent to the high resolution image,
The synthesis means includes
Adjusting means for adjusting the gradation value of the corresponding pixel of the composite image by reflecting the gradation value of each pixel constituting the selected low-resolution image and the corresponding pixel value of the high-resolution image;
Based on at least one of a gradation value histogram obtained for each of the plurality of low resolution images, a gradation value histogram obtained for the high resolution image, and the number of low resolution images acquired by the image input means, An image processing apparatus comprising: a control unit that controls a gradation value adjustment process for each pixel of the composite image by the adjustment unit. 請求項１に記載の画像処理装置において、
前記制御手段は、
前記複数の低解像度画像それぞれおよび前記高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記調整手段において合成画像の各画素の階調値を所定の範囲に収めるために用いられる階調変換曲線を調整する変換曲線調整手段とを備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The control means includes
Analyzing means for analyzing a distribution of pixels in a predetermined range of gradation values for each of the plurality of low resolution images and a histogram of gradation values obtained for the high resolution image;
Conversion curve adjusting means for adjusting a gradation conversion curve used for adjusting the gradation value of each pixel of the composite image in a predetermined range based on the analysis result by the analyzing means. A featured image processing apparatus. 請求項１に記載の画像処理装置において、
前記制御手段は、
前記複数の低解像度画像それぞれおよび前記高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記調整手段による調整処理に供する低解像度画像を選択する選択手段とを備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The control means includes
Analyzing means for analyzing a distribution of pixels in a predetermined range of gradation values for each of the plurality of low resolution images and a histogram of gradation values obtained for the high resolution image;
An image processing apparatus comprising: a selection unit that selects a low-resolution image to be subjected to adjustment processing by the adjustment unit based on an analysis result by the analysis unit. 請求項１に記載の画像処理装置において、
前記制御手段は、
前記調整手段による合成処理に供される低解像度画像の数に応じて、前記調整手段による前記合成画像を構成する各画素の階調値の調整において反映すべき低解像度画像の範囲の大きさを決定する範囲決定手段を備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The control means includes
Depending on the number of low-resolution images to be subjected to the composition processing by the adjustment means, the size of the range of the low-resolution image to be reflected in the adjustment of the gradation value of each pixel constituting the composite image by the adjustment means An image processing apparatus comprising range determining means for determining. 請求項１に記載の画像処理装置において、
前記制御手段は、
前記調整手段による前記合成画像を構成する各画素の輝度成分に、前記選択された低解像度画像の画素に対応する輝度成分を反映する際に適応すべき輝度重みを決定する輝度重み決定手段と、
前記調整手段による前記合成画像を構成する各画素の色差成分に、前記選択された低解像度画像の画素に対応する色差成分を反映する際に適応すべき色差重みを決定する色差重み決定手段とを備え、
前記色差重み決定手段は、前記高解像度画像の各画素に対応する色差成分の大きさに応じて、前記色差重みの値を調整する重み調整手段を備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The control means includes
Luminance weight determining means for determining a luminance weight to be applied when reflecting the luminance component corresponding to the pixel of the selected low-resolution image in the luminance component of each pixel constituting the composite image by the adjusting means;
Color difference weight determining means for determining a color difference weight to be applied when reflecting the color difference component corresponding to the pixel of the selected low-resolution image to the color difference component of each pixel constituting the composite image by the adjusting means. Prepared,
The image processing apparatus according to claim 1, wherein the color difference weight determination unit includes a weight adjustment unit that adjusts the value of the color difference weight according to a size of a color difference component corresponding to each pixel of the high resolution image. 複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、前記撮像手段によって適切な露出条件において前記被写体を撮影して得られる高解像度画像とを取得する画像入力ステップと、
前記複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、前記高解像度画像と同等の解像度を持つ合成画像を生成する合成ステップとを備え、
前記合成ステップは、
前記選択された低解像度画像を構成する各画素の階調値と前記高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する調整ステップと、
前記複数の低解像度画像それぞれについて求めた階調値のヒストグラムと前記高解像度画像について求めた階調値のヒストグラムと前記画像入力ステップにおいて取得された低解像度画像の数との少なくとも一方に基づいて、前記調整ステップによる合成画像の各画素についての階調値の調整処理を制御する制御ステップとを備えた
ことを特徴とする画像処理方法。

A plurality of low-resolution images obtained by photographing the same subject under a plurality of exposure conditions by an imaging unit that captures images of the subject at a plurality of different resolutions, and the subject under appropriate exposure conditions by the imaging unit. An image input step for obtaining the obtained high-resolution image;
Combining a low resolution image selected from the plurality of low resolution images and a high resolution image, and generating a composite image having a resolution equivalent to the high resolution image,
The synthesis step includes
An adjustment step of adjusting the gradation value of the corresponding pixel of the composite image by reflecting the gradation value of each pixel constituting the selected low-resolution image and the corresponding pixel value of the high-resolution image;
Based on at least one of the gradation value histogram obtained for each of the plurality of low resolution images, the gradation value histogram obtained for the high resolution image, and the number of low resolution images obtained in the image input step, An image processing method comprising: a control step for controlling a gradation value adjustment process for each pixel of the composite image in the adjustment step.

JP2007135300A 2007-01-23 2007-05-22 Image processor and image processing method Withdrawn JP2008294524A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007135300A JP2008294524A (en) 2007-05-22 2007-05-22 Image processor and image processing method
PCT/JP2008/000037 WO2008090730A1 (en) 2007-01-23 2008-01-17 Image processing device, electronic camera, image processing method, and image processing program
US12/312,983 US8149283B2 (en) 2007-01-23 2008-01-17 Image processing device, electronic camera, image processing method, and image processing program
US13/409,675 US20120162463A1 (en) 2007-01-23 2012-03-01 Image processing device, electronic camera, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007135300A JP2008294524A (en) 2007-05-22 2007-05-22 Image processor and image processing method

Publications (1)

Publication Number Publication Date
JP2008294524A true JP2008294524A (en) 2008-12-04

Family

ID=40168843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007135300A Withdrawn JP2008294524A (en) 2007-01-23 2007-05-22 Image processor and image processing method

Country Status (1)

Country Link
JP (1) JP2008294524A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004621A (en) * 2010-06-14 2012-01-05 Ricoh Co Ltd Image processing device, image processing method and image capturing apparatus
KR101408359B1 (en) 2009-08-03 2014-06-17 삼성테크윈 주식회사 Imaging apparatus and imaging method
JP2015139131A (en) * 2014-01-23 2015-07-30 キヤノン株式会社 Image processing device, image processing method and program
CN111798519A (en) * 2020-07-21 2020-10-20 广东博智林机器人有限公司 Method and device for extracting laser stripe center, electronic equipment and storage medium
JP2022105605A (en) * 2018-06-19 2022-07-14 キヤノン株式会社 Imaging apparatus and control method for the same, program, and storing medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408359B1 (en) 2009-08-03 2014-06-17 삼성테크윈 주식회사 Imaging apparatus and imaging method
JP2012004621A (en) * 2010-06-14 2012-01-05 Ricoh Co Ltd Image processing device, image processing method and image capturing apparatus
JP2015139131A (en) * 2014-01-23 2015-07-30 キヤノン株式会社 Image processing device, image processing method and program
JP2022105605A (en) * 2018-06-19 2022-07-14 キヤノン株式会社 Imaging apparatus and control method for the same, program, and storing medium
JP7307837B2 (en) 2018-06-19 2023-07-12 キヤノン株式会社 IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
CN111798519A (en) * 2020-07-21 2020-10-20 广东博智林机器人有限公司 Method and device for extracting laser stripe center, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
JP5713752B2 (en) Image processing apparatus and control method thereof
US8149283B2 (en) Image processing device, electronic camera, image processing method, and image processing program
JP5408053B2 (en) Image processing apparatus and image processing method
US9058640B2 (en) Image processing apparatus, image processing method and recording medium
JP5672796B2 (en) Image processing apparatus and image processing method
US8269850B2 (en) Signal processing method and signal processing system
CN105960658B (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory storage medium that can be processed by computer
JP2010136224A (en) Imaging apparatus and imaging method
US20170280066A1 (en) Image processing method by image processing apparatus
JP2013162347A (en) Image processor, image processing method, program, and device
JP2010200177A (en) Imaging device and image processing program
JP5984975B2 (en) Imaging apparatus, imaging method, and program
JP2008294524A (en) Image processor and image processing method
JP2007329619A (en) Video signal processor, video signal processing method and video signal processing program
JP2006080942A (en) Image processing apparatus, image processing program, image processing method, and imaging apparatus
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
JP2011100204A (en) Image processor, image processing method, image processing program, imaging apparatus, and electronic device
JP2009272983A (en) Image processing apparatus, method, and program
JP2002288650A (en) Image processing device, digital camera, image processing method and recording medium
JP6786273B2 (en) Image processing equipment, image processing methods, and programs
JP2006157599A (en) Imaging device
KR102282464B1 (en) Image processing apparatus and image processing method
JP2009194728A (en) Imaging system, image processing method and image processing program
JP7446827B2 (en) Image processing device, image processing method, and program
KR101408359B1 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100803