JP2012050073A - Imaging device and image synthesis program - Google Patents

Imaging device and image synthesis program Download PDF

Info

Publication number
JP2012050073A
JP2012050073A JP2011161133A JP2011161133A JP2012050073A JP 2012050073 A JP2012050073 A JP 2012050073A JP 2011161133 A JP2011161133 A JP 2011161133A JP 2011161133 A JP2011161133 A JP 2011161133A JP 2012050073 A JP2012050073 A JP 2012050073A
Authority
JP
Japan
Prior art keywords
image data
image
combining
hdr
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011161133A
Other languages
Japanese (ja)
Inventor
Kanetaka Shinoda
兼崇 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011161133A priority Critical patent/JP2012050073A/en
Priority to US13/190,062 priority patent/US8988544B2/en
Priority to CN201110219804.7A priority patent/CN102348066B/en
Publication of JP2012050073A publication Critical patent/JP2012050073A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device and an image synthesis program capable of high dynamic range photographing while suppressing image displacement.SOLUTION: An imaging device comprises: an imaging device 14 for imaging a subject to generate image data; a RAM 20 capable of temporarily storing plural pieces of image data obtained by consecutive imaging by the imaging device 14; an adding synthesizing unit for adding and synthesizing the plural pieces of image data stored in the RAM 20 to generate added image data; and a high dynamic range synthesizing unit for synthesizing some image data of the plural pieces of image data with the added image data to generate high dynamic range image data and outputting the generated high dynamic range image data.

Description

本発明は、撮像装置及び画像合成プログラムに関する。   The present invention relates to an imaging apparatus and an image composition program.

従来から、暗部と明部を有する同一の被写体を異なる露出条件で撮影して得られた複数の撮像画像を合成することにより、暗部が黒くつぶれたり明部が白く飛んだりしていない一つの合成画像を生成可能とするハイダイナミックレンジ（以下、「ＨＤＲ」という。）撮影技法が知られている（例えば、特許文献１参照）。   Conventionally, by combining multiple captured images obtained by shooting the same subject with dark and bright areas under different exposure conditions, one composition where the dark areas are not crushed black and the bright areas are not flying white A high dynamic range (hereinafter, referred to as “HDR”) imaging technique capable of generating an image is known (see, for example, Patent Document 1).

すなわち、こうした従来のＨＤＲ撮影技法では、異なる露出条件で撮影された複数の撮像画像を、位置補正した上でＨＤＲ合成することにより一つの合成画像を生成していた。   That is, in such a conventional HDR imaging technique, a single composite image is generated by performing HDR composition after position correction of a plurality of captured images photographed under different exposure conditions.

特開２００３−３１９２４０号公報JP 2003-319240 A

ところで、一般に位置補正は、撮像画像から被写体の輪郭を抽出すると共に、各撮像画像同士で抽出した輪郭を比較することによって行われている。しかし、異なる露出条件で撮影された撮像画像では、同じ輪郭を抽出するのが困難であるため、位置ずれを類推する処理に時間を要してしまう。   By the way, in general, position correction is performed by extracting the contour of the subject from the captured image and comparing the extracted contours between the captured images. However, since it is difficult to extract the same contour in captured images taken under different exposure conditions, it takes time to estimate the positional deviation.

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像のずれを抑制してハイダイナミックレンジ撮影することができる撮像装置及び画像合成プログラムを提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging apparatus and an image composition program that can perform high dynamic range imaging while suppressing image shift.

上記目的を達成するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、該第２の合成手段が生成した前記第２の画像データを出力する出力手段とを備えたことを要旨とする。   In order to achieve the above object, an imaging apparatus of the present invention includes an imaging unit that captures an image of a subject and generates image data, a storage unit that is capable of temporarily storing a plurality of image data continuously captured by the imaging unit, A first combining unit configured to add and combine the plurality of image data stored in the storage unit to generate first image data; a part of the plurality of image data; and the first image data And a second synthesizing unit for generating second image data and an output unit for outputting the second image data generated by the second synthesizing unit.

また、本発明の撮像装置において、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを要旨とする。
また、本発明の撮像装置において、前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを要旨とする。 Further, the gist of the imaging apparatus of the present invention is that the output means sequentially outputs the second image data generated by the second synthesizing means.
In the imaging apparatus of the present invention, the second combining unit uses at least one image data including image data having the lowest luminance among the plurality of image data for combining with the first image data. Is the gist.

また、本発明の撮像装置において、前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを要旨とする。   In the imaging apparatus according to the aspect of the invention, the second synthesizing unit may compare the first image data with the first image data when the luminance of the image data is relatively high compared to when the luminance is relatively low. The gist is to reduce the number of the image data used for synthesis.

また、本発明の撮像装置において、前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを要旨とする。   In the imaging apparatus of the present invention, the first combining unit generates first image data by adding and combining the plurality of image data captured by the imaging unit per predetermined time, and the output unit includes The gist is to sequentially output the second image data generated by the second synthesizing unit every predetermined time.

また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、該第２の合成手順において合成した前記第２の画像データを出力する出力手順とを実行させることを要旨とする。
また、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、を備えたことを要旨とする。
また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順とを実行させることを要旨とする。 In addition, the image composition program of the present invention includes a storage procedure for temporarily storing a plurality of image data continuously captured by an imaging unit that images a subject and generates image data, and a plurality of image data stored in the storage procedure. A first combining procedure for adding and combining the image data to generate first image data, and combining a part of the plurality of image data with the first image data to generate a second image data. The gist is to execute a second synthesis procedure for generating image data and an output procedure for outputting the second image data synthesized in the second synthesis procedure.
In addition, the imaging apparatus according to the present invention includes an imaging unit that captures an image of a subject to generate image data, and a reference image that is combined with another image other than the reference image to perform addition synthesis. First combining means for generating image data; and second combining means for combining the image data of the reference image and the first image data to generate second image data. The gist.
Further, the image composition program of the present invention positions other images other than the reference image with respect to a reference image in a plurality of images continuously captured by an imaging unit that images a subject and generates image data. A first combining procedure for generating first image data by combining and adding together, and a second image data for generating second image data by combining the image data of the reference image and the first image data. The gist is to execute the synthesis procedure of No. 2.

本発明によれば、画像のずれを抑制してハイダイナミックレンジ撮影することができる。   According to the present invention, high dynamic range imaging can be performed while suppressing image shift.

第１の実施形態におけるデジタルカメラの概略構成を示すブロック図。1 is a block diagram illustrating a schematic configuration of a digital camera according to a first embodiment. 明部と暗部を有する画像を撮影する場合の画面図。The screen figure in the case of image | photographing the image which has a bright part and a dark part. 撮像処理ルーチンを示すフローチャート。The flowchart which shows an imaging process routine. スルー画像の作成手順を説明する説明図。Explanatory drawing explaining the creation procedure of a through image. 画像合成ルーチンを示すフローチャート。The flowchart which shows an image composition routine. 画像合成の手順を説明する説明図。Explanatory drawing explaining the procedure of image composition. 画像合成の手順を説明する説明図。Explanatory drawing explaining the procedure of image composition. 第２の実施形態における画像合成の手順を説明する説明図。Explanatory drawing explaining the procedure of the image composition in 2nd Embodiment.

（第１の実施形態）
以下、本発明を静止画および動画の撮影が可能な撮像装置としてのデジタルカメラ（以下、「カメラ」という。）及びこのカメラを用いて被写体をハイダイナミックレンジ（ＨＤＲ）撮影する場合の撮像方法に具体化した第１の実施形態を図１〜図７に基づいて説明する。 (First embodiment)
Hereinafter, the present invention is a digital camera (hereinafter referred to as “camera”) as an imaging apparatus capable of capturing still images and moving images, and an imaging method in the case of shooting a subject with high dynamic range (HDR) using the camera. A specific first embodiment will be described with reference to FIGS.

図１に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光の光量を調整する絞り１３とを有している。さらに、カメラ１１は、絞り１３を通過した被写体光を撮像面となる入射側の受光面１４ａに結像させる撮像手段として機能する撮像素子１４を有している。そして、撮像素子１４の出力側には、ＡＦＥ（Analog Front End）１５と画像処理回路１６とが接続されると共に、その画像処理回路１６に対してＭＰＵ（Micro Processing Unit）１７がデータバス１８を介して接続されている。   As shown in FIG. 1, the camera 11 includes a lens unit 12 composed of a plurality of lenses such as a zoom lens (only one lens is shown in FIG. 1 for simplification of the drawing), and object light that has passed through the lens unit 12. And a diaphragm 13 for adjusting the amount of light. Furthermore, the camera 11 has an image sensor 14 that functions as an image pickup unit that forms an image of the subject light that has passed through the aperture 13 on the light-receiving surface 14a on the incident side serving as an image pickup surface. An AFE (Analog Front End) 15 and an image processing circuit 16 are connected to the output side of the image sensor 14, and an MPU (Micro Processing Unit) 17 connects the data processing circuit 18 to the image processing circuit 16. Connected through.

また、ＭＰＵ１７には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１９、記憶手段として機能するＲＡＭ２０、表示手段として機能する液晶表示のモニタ２１、及び記録媒体であるメモリカード２２を挿脱可能なカードＩ／Ｆ（Inter-Face）２３がデータバス１８を介して接続されている。さらに、カメラ本体（図示略）には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２４が、コンピュータとして機能するＭＰＵ１７に対して各々の操作信号（モード切替信号や半押し操作信号など）をデータ通信可能に設けられている。   In addition, a nonvolatile memory 19 that stores a control program for the camera 11, a RAM 20 that functions as a storage unit, a liquid crystal display monitor 21 that functions as a display unit, and a memory card 22 that is a recording medium can be inserted into and removed from the MPU 17. A card I / F (Inter-Face) 23 is connected via a data bus 18. Further, on the camera body (not shown), an operation member 24 such as a mode switching button or a release button operated by a user of the camera 11 receives each operation signal (mode switching) from the MPU 17 functioning as a computer. Signal, half-press operation signal, etc.) are provided so that data communication is possible.

撮像素子１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、電子シャッター機能を有すると共に、その受光面１４ａには多数の受光素子（図示略）が二次元的に配列されている。そして、撮像素子１４は、その受光面１４ａに結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１５に出力する。   The imaging element 14 is composed of a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor, has an electronic shutter function, and has a large number of light receiving elements (not shown) on its light receiving surface 14a. Dimensionally arranged. The image sensor 14 accumulates signal charges corresponding to the subject image formed on the light receiving surface 14a, and outputs the accumulated signal charges to the AFE 15 as analog signals called pixel signals that are the source of image data.

ＡＦＥ１５は、撮像素子１４から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）とを有している。そして、ＡＦＥ１５は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１６に出力する。   The AFE 15 samples a pixel signal of an analog signal input from the image sensor 14 at a predetermined timing (correlated double sampling), and amplifies the signal to a predetermined signal level based on ISO sensitivity, for example. And an A / D converter (not shown) for converting the amplified pixel signal into a digital signal. The AFE 15 outputs image data generated by digitizing the pixel signal of the analog signal by the A / D conversion unit to the image processing circuit 16.

画像処理回路１６は、ＡＦＥ１５から入力した画像データに対して、ＭＰＵ１７からの制御信号に基づき各種の画像処理を施す。そして、画像処理回路１６は、そのように画像処理を施した画像データを、ＲＡＭ２０に一次記憶させると共に、モニタ２１にスルー画像として表示させる。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２１に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２２に画像ファイルとして記録させる。   The image processing circuit 16 performs various image processing on the image data input from the AFE 15 based on a control signal from the MPU 17. Then, the image processing circuit 16 primarily stores the image data subjected to the image processing in the RAM 20 and causes the monitor 21 to display it as a through image. When the release button is fully pressed, the image corresponding to the image data at that time is displayed on the monitor 21 as a confirmation image, and on the other hand, predetermined image processing such as format processing for JPEG compression is performed. After that, it is recorded as an image file in the memory card 22.

ＭＰＵ１７は、不揮発性メモリ１９に記憶された画像合成プログラムなどの制御プログラムに基づき、カメラ１１における各種の処理動作（例えばＨＤＲ撮影処理等）を統括的に制御する。そして、データバス１８は、そうしたＭＰＵ１７の制御に伴う各種データの伝送路として機能する。   The MPU 17 comprehensively controls various processing operations (for example, HDR imaging processing) in the camera 11 based on a control program such as an image composition program stored in the nonvolatile memory 19. The data bus 18 functions as a transmission path for various data accompanying the control of the MPU 17.

また、操作部材２４におけるモード切り替えボタンは、カメラ１１の動作モードを切り替える場合に操作されるボタンである。すなわち、モード切り替えボタンは、例えば撮影モードを通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードなどの間で切り替える場合や、撮影した画像をモニタ２１に表示する再生モードに切り替える場合に操作される。   The mode switching button on the operation member 24 is a button operated when switching the operation mode of the camera 11. That is, the mode switching button is operated, for example, when the shooting mode is switched between the normal shooting mode, the HDR still image shooting mode, the HDR moving image shooting mode, or the like, or when the shooting mode is switched to the playback mode for displaying the captured image on the monitor 21. The

一方、レリーズボタンは、カメラ１１の動作モードが撮影モードである場合において被写体を撮影するときに押し下げ操作される。具体的には、このカメラ１１では、通常撮影モードにおいて操作部材２４のレリーズボタンが半押し操作された段階で被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行され、その後にレリーズボタンが全押し操作された段階で画像の生成処理が実行されるようになっている。   On the other hand, the release button is pressed down when shooting the subject when the operation mode of the camera 11 is the shooting mode. Specifically, in the camera 11, AF (Auto Focus) processing for focusing on a subject and AE (Auto for exposure adjustment) are performed when the release button of the operation member 24 is half-pressed in the normal shooting mode. Exposure) processing is executed, and then the image generation processing is executed when the release button is fully pressed.

また、このカメラ１１は、撮影モードがＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードに切り替えられると、図２に示す画像２５における被写体のように、暗部と明部とを有する同一の被写体を撮像することによって得た複数の画像データをＨＤＲ合成する。因みに、図２の画像２５は、太陽２６が山２７の左側上方に位置しているために山麓にある湖２８の湖面が湖畔の立木２９の日陰になって暗くなった風景と、動く馬３０とを被写体とするものである。   In addition, when the shooting mode is switched between the HDR still image shooting mode and the HDR moving image shooting mode, the camera 11 captures the same subject having a dark part and a bright part like the subject in the image 25 shown in FIG. A plurality of image data obtained in this way is HDR synthesized. Incidentally, the image 25 in FIG. 2 shows a landscape in which the surface of the lake 28 at the foot of the mountain is shaded by the standing trees 29 on the lakeside and becomes dark because the sun 26 is located above the left side of the mountain 27, and a moving horse 30. And the subject.

そして、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいては、ハイダイナミックレンジ合成（以下、「ＨＤＲ合成」という。）によって生成された第２の画像データとしてのハイダイナミックレンジ画像データ（以下、「ＨＤＲ画像データ」という。）をモニタ２１に逐次出力することにより、モニタ２１には、ＨＤＲ処理されたスルー画像が表示される。さらに、操作部材２４のレリーズボタンが全押し操作された場合には、ＨＤＲ画像データがメモリカード２２に記録されるようになっている。   In the HDR still image shooting mode and the HDR moving image shooting mode, high dynamic range image data (hereinafter referred to as “HDR”) as second image data generated by high dynamic range combining (hereinafter referred to as “HDR combining”). By sequentially outputting “image data”) to the monitor 21, the monitor 21 displays a through image that has been subjected to HDR processing. Further, when the release button of the operation member 24 is fully pressed, HDR image data is recorded on the memory card 22.

そこで次に、このカメラ１１を用いて被写体を撮影する場合の処理を図３〜図７を参照しながら説明する。まず、図３は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードが撮影モード（通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モード）に切り替えられた場合に実行される撮像処理ルーチンである。   Then, next, the process in the case of imaging | photography a to-be-photographed object using this camera 11 is demonstrated, referring FIGS. First, FIG. 3 illustrates imaging that is performed when the camera 11 is turned on and the operation mode of the camera 11 is switched to a shooting mode (normal shooting mode, HDR still image shooting mode, HDR moving image shooting mode). This is a processing routine.

すなわち、図３に示すように、ＭＰＵ１７は、まずステップＳ１０１において、不揮発性メモリ１９に記憶された初期露出条件に基づいて被写体を撮像し、その処理を次のステップＳ１０２に移行する。なお、初期露出条件は、各撮影モードごとに設定されている。なお、このカメラ１１の初期露出条件は、通常撮影モードでは３０分の１秒のシャッター速度とされている。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードでは、通常撮影モードのシャッター速度よりも速い１２０分の１秒のシャッター速度とされている。   That is, as shown in FIG. 3, first, in step S101, the MPU 17 images the subject based on the initial exposure condition stored in the nonvolatile memory 19, and the process proceeds to the next step S102. The initial exposure conditions are set for each shooting mode. The initial exposure condition of the camera 11 is a shutter speed of 1/30 second in the normal shooting mode. In the HDR still image shooting mode and the HDR moving image shooting mode, the shutter speed is set to 1/120 second, which is faster than the shutter speed in the normal shooting mode.

そして、次のステップＳ１０２において、ＭＰＵ１７は、ステップＳ１０１において撮像した画像データをＲＡＭ２０に一次記憶させた後、その処理を次のステップＳ１０３に移行する。   Then, in the next step S102, the MPU 17 primarily stores the image data picked up in step S101 in the RAM 20, and then shifts the processing to the next step S103.

そして、次のステップＳ１０３において、ＭＰＵ１７は、動作モードが再生モードに変更されたか否かを判断する。すなわち、使用者によってモード切り替えボタンが操作されて撮影モードから再生モードに変更された場合には（ステップＳ１０３＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。   In the next step S103, the MPU 17 determines whether or not the operation mode has been changed to the reproduction mode. That is, when the mode switch button is operated by the user to change from the shooting mode to the playback mode (step S103 = YES), the MPU 17 ends the imaging process routine.

また、ステップＳ１０３において、撮影モードが維持された場合には（ステップＳ１０３＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ１０４に移行する。
そして、次のステップＳ１０４において、カメラ１１の電源がオフされた場合には（ステップＳ１０４＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。一方、ステップＳ１０４において、カメラ１１の電源がオン状態に維持された場合には（ステップＳ１０４＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ１０１に移行する。 If the shooting mode is maintained in step S103 (step S103 = NO), the MPU 17 proceeds to the next step S104.
In step S104, when the camera 11 is turned off (step S104 = YES), the MPU 17 ends the imaging process routine. On the other hand, in step S104, when the power supply of the camera 11 is kept on (step S104 = NO), the MPU 17 shifts the process to step S101.

すなわち、カメラ１１は、電源のオン状態と撮影モードとが維持されている間、撮像処理ルーチンを繰り返し実行することにより、被写体を連続撮像すると共に、撮像した画像データを順次ＲＡＭ２０に一次記憶する。   That is, the camera 11 continuously captures the subject and repeatedly stores the captured image data in the RAM 20 sequentially by repeatedly executing the imaging processing routine while the power-on state and the imaging mode are maintained.

すなわち、通常撮影モードの場合には、３０分の１秒のシャッター速度で連続撮像された画像データがＲＡＭ２０に一次記憶され、シャッター速度に対応した３０ｆｐｓ（frame par second：３０こま／秒）のスルー画像としてモニタ２１に表示される。   That is, in the normal shooting mode, image data continuously captured at a shutter speed of 1/30 second is temporarily stored in the RAM 20, and a through rate of 30 fps (frame par second: 30 frames / second) corresponding to the shutter speed is stored. It is displayed on the monitor 21 as an image.

一方、図４に示すように、ＨＤＲ静止画撮影モード、及びＨＤＲ動画撮影モードの場合には、ＭＰＵ１７は、１２０分の１秒のシャッター速度で連続撮像した画像データを順次ＲＡＭ２０に一次記憶する（記憶手順）。そしてＭＰＵ１７は、ＲＡＭ２０に一次記憶された画像データを加算合成して加算画像データを生成し、所定時間（一例として通常撮影モードの場合と同じ１／３０秒）ごとに該加算画像データをモニタ２１に出力することにより、３０ｆｐｓのスルー画像として表示させる。   On the other hand, as shown in FIG. 4, in the HDR still image shooting mode and the HDR moving image shooting mode, the MPU 17 sequentially stores the image data continuously captured at a shutter speed of 1/120 second in the RAM 20 in order ( Memory procedure). Then, the MPU 17 adds and synthesizes the image data temporarily stored in the RAM 20 to generate the added image data, and the added image data is displayed on the monitor 21 every predetermined time (for example, the same 1/30 second as in the normal shooting mode). Is output as a through image of 30 fps.

すなわち、所定時間（１／３０秒）当たりに撮影した４個の画像データを加算合成することにより生成された第１の画像データとしての加算画像データは、１２０分の１秒のシャッター速度で撮像された画像データに比べて４倍程度の明るさとなるため、３０分の１秒のシャッター速度で撮像した場合と同等の画像となる。したがって、明部と暗部との輝度の差が小さな被写体を撮像する場合には、撮影モードによって被写体を撮像するシャッター速度は異なるものの、モニタ２１には同等のスルー画像が表示される。   That is, the added image data as the first image data generated by adding and synthesizing four pieces of image data photographed per predetermined time (1/30 second) is imaged at a shutter speed of 1/120 second. Since the image data is about four times brighter than the image data, the image is equivalent to a case where the image is captured at a shutter speed of 1/30 second. Therefore, when a subject having a small luminance difference between the bright part and the dark part is picked up, an equivalent through image is displayed on the monitor 21 although the shutter speed for picking up the subject differs depending on the photographing mode.

次に、上述したＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいてスルー画像を表示する手順を、ＨＤＲ撮影を行う場合の手順と共に図５〜図７を参照しながら説明する。なお、図５は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードがＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードに切り替えられた場合に撮像処理ルーチンと並列に実行される画像合成ルーチンである。そして、このカメラ１１では、図３に示す画像処理ルーチンと図５に示す画像合成ルーチンとにより、画像合成プログラムが構成されている。   Next, a procedure for displaying a through image in the above-described HDR still image shooting mode and HDR moving image shooting mode will be described with reference to FIGS. 5 to 7 together with a procedure for performing HDR shooting. FIG. 5 shows an image composition routine executed in parallel with the imaging processing routine when the power of the camera 11 is turned on and the operation mode of the camera 11 is switched to the HDR still image shooting mode or the HDR moving image shooting mode. It is. In this camera 11, an image composition program is configured by the image processing routine shown in FIG. 3 and the image composition routine shown in FIG.

さて、図５に示すように、まずステップＳ２０１において、ＭＰＵ１７は、加算合成するＮ個（Ｎは複数であって、このカメラ１１ではＮ＝４）の画像データがＲＡＭ２０に記憶されているか否かを判断する。ＲＡＭ２０に記憶された画像データ数がＮ個未満である場合には（ステップＳ２０１＝ＮＯ）、Ｎ個の画像データが記憶されるまで待機する。一方、Ｎ個の画像データが記憶された場合には（ステップＳ２０１＝ＹＥＳ）、その処理を次のステップＳ２０２に移行する。   As shown in FIG. 5, first, in step S <b> 201, the MPU 17 determines whether or not N (N is a plurality, N = 4 in the camera 11) image data to be added and combined is stored in the RAM 20. Judging. If the number of image data stored in the RAM 20 is less than N (step S201 = NO), the process waits until N image data are stored. On the other hand, if N pieces of image data have been stored (step S201 = YES), the process proceeds to the next step S202.

そして、次のステップＳ２０２において、ＭＰＵ１７は、ＲＡＭ２０に記憶されたＮ個の画像データを取得して加算合成し、加算画像データを生成する（第１の合成手順）。そして、ＭＰＵ１７は、その処理を次のステップＳ２０３に移行する。   Then, in the next step S202, the MPU 17 acquires N pieces of image data stored in the RAM 20, adds and combines them, and generates added image data (first combining procedure). Then, the MPU 17 proceeds to the next step S203.

なお、ステップＳ２０２において加算合成する画像データの数Ｎは、シャッター速度と１秒間にモニタ２１に表示するこま数に応じて決まり、１こまの表示時間（例えば１／３０秒）をシャッター速度（例えば１／１２０秒）で割った商（１／３０÷１／１２０＝４）となる。   Note that the number N of image data to be added and combined in step S202 is determined according to the shutter speed and the number of frames displayed on the monitor 21 per second, and one display time (for example, 1/30 second) is determined as the shutter speed (for example, 1/30 seconds). The quotient (1/30 ÷ 1/120 = 4) divided by 1/120 seconds.

そして、次のステップＳ２０３において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データ中に白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素がないと判断した場合には（ステップＳ２０３＝ＹＥＳ）、その処理を次のステップＳ２０４に移行する。   In the next step S203, the MPU 17 determines whether or not there is a whiteout in the added image data added and synthesized in step S202. That is, the MPU 17 performs histogram analysis on the luminance component indicated by the added image data, and when it is determined that there is no overexposed pixel (step S203 = YES), the process proceeds to the next step S204.

そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０２において生成した加算画像データをモニタ２１に出力し、スルー画像として表示させる。
一方、ステップＳ２０３において、加算合成した加算画像データ中に白とびがあると判断した場合には（ステップＳ２０３＝ＮＯ）、その処理を次のステップＳ２０５に移行する。 In the next step S204, the MPU 17 outputs the added image data generated in step S202 to the monitor 21 and displays it as a through image.
On the other hand, if it is determined in step S203 that there is a skip in the added and combined image data (step S203 = NO), the process proceeds to the next step S205.

そして、次のステップＳ２０５において、ＭＰＵ１７は、ＨＤＲ合成に使用する高輝度側画像データの生成に使用する画像データ数ｎをｎ＝Ｎとし、その処理を次のステップＳ２０６に移行する。   Then, in the next step S205, the MPU 17 sets the number n of image data used for generation of the high luminance side image data used for the HDR composition to n = N, and the process proceeds to the next step S206.

そして、次のステップＳ２０６において、ＭＰＵ１７は、画像データ数ｎを１つ減少させ、その処理を次のステップＳ２０７に移行する。
そして、次のステップＳ２０７において、ＭＰＵ１７は、ｎ＝１であるか否かを判断する。ｎ＝１である場合には（ステップＳ２０７＝ＹＥＳ）、その処理を次のステップＳ２０８に移行する。 Then, in the next step S206, the MPU 17 decreases the number n of image data by 1, and the process proceeds to the next step S207.
Then, in the next step S207, the MPU 17 determines whether or not n = 1. If n = 1 (step S207 = YES), the process proceeds to the next step S208.

そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０２において取得した画像データのうち１つの画像データを高輝度側画像データとしてＨＤＲ合成する（第２の合成手順）。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。   In the next step S208, the MPU 17 sets the added image data added and synthesized in step S202 as low luminance side image data, and sets one image data of the image data acquired in step S202 as high luminance side image data. HDR synthesis is performed (second synthesis procedure). Then, after generating the HDR image data, the MPU 17 shifts the processing to the next step S204.

そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力し、スルー画像として表示させる（出力手順）。   In the next step S204, the MPU 17 outputs the HDR image data generated in step S208 to the monitor 21 and displays it as a through image (output procedure).

一方、ステップＳ２０７において、ｎ＞１である場合には（ステップＳ２０７＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２０９に移行する。
そして、次のステップＳ２０９において、ＭＰＵ１７は、ステップＳ２０２において取得したＮ個の画像データのうち、ｎ個の画像データを加算合成して加算画像データを生成する。そして、ＭＰＵ１７は、加算画像データを生成すると、その処理を次のステップＳ２１０に移行する。 On the other hand, if n> 1 in step S207 (step S207 = NO), the MPU 17 proceeds to the next step S209.
In the next step S209, the MPU 17 adds and synthesizes n pieces of image data among the N pieces of image data acquired in step S202 to generate addition image data. And MPU17 will transfer the process to the following step S210, if addition image data is produced | generated.

そして、次のステップＳ２１０において、ＭＰＵ１７は、ステップＳ２０９において生成された加算画像データに白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素があると判断した場合には（ステップＳ２１０＝ＮＯ）、その処理をステップＳ２０６に移行し、加算合成に使用する画像データの数ｎを減少させる。すなわち、画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べてＨＤＲ合成に用いる画像データの数を減少させる。   Then, in the next step S210, the MPU 17 determines whether or not the added image data generated in step S209 has a whiteout. In other words, the MPU 17 performs histogram analysis on the luminance component indicated by the added image data, and if it is determined that there is an overexposed pixel (step S210 = NO), the process proceeds to step S206 and is used for addition synthesis. The number n of image data is reduced. That is, when the brightness of the image data is relatively high, the number of image data used for HDR synthesis is reduced compared to when the brightness is relatively low.

一方、ステップＳ２１０において、白とびがないと判断した場合には（ステップＳ２１０＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２０８に移行する。
そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０９において加算合成した加算画像データを高輝度側画像データとしてＨＤＲ合成する。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。 On the other hand, when it is determined in step S210 that there is no overexposure (step S210 = YES), the MPU 17 proceeds to the next step S208.
Then, in the next step S208, the MPU 17 sets the added image data added and synthesized in step S202 as low-luminance side image data, and HDR-synthesizes the added image data added and synthesized in step S209 as high-luminance side image data. Then, after generating the HDR image data, the MPU 17 shifts the processing to the next step S204.

そして、次のステップＳ２０４では、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力してスルー画像として表示させ、その処理を次のステップＳ２１１に移行する。   In the next step S204, the MPU 17 outputs the HDR image data generated in step S208 to the monitor 21 to display it as a through image, and the process proceeds to the next step S211.

さて、次のステップＳ２１１において、ＭＰＵ１７は、動画フラグが０であるか否かを判断する。なお、動画フラグとは、動画撮影（記録）中であるか否かを示すフラグであり、動画撮影中に１となるフラグである。そのため、動画フラグ＝１である場合には（ステップＳ２１０＝ＮＯ）、動画撮影中であると判断し、その処理を次のステップＳ２１２に移行する。   In the next step S211, the MPU 17 determines whether or not the moving image flag is “0”. The moving image flag is a flag indicating whether or not moving image shooting (recording) is being performed, and is a flag that becomes 1 during moving image shooting. Therefore, when the moving image flag = 1 (step S210 = NO), it is determined that the moving image is being shot, and the process proceeds to the next step S212.

そして、次のステップＳ２１２において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理をステップＳ２１３に移行する。   In the next step S212, the MPU 17 outputs the added image data or HDR image data output to the monitor 21 to the card I / F 23 as one image data constituting the moving image, and records it on the memory card 22, The process proceeds to step S213.

一方、ステップＳ２１１において、動画フラグ＝０である場合には（ステップＳ２１１＝ＹＥＳ）、直接次のステップＳ２１３に移行する。
そして、次のステップＳ２１３において、ＭＰＵ１７は、レジストボタンの操作の有無を判断する。そして、使用者がレジストボタンを操作し、操作ありと判断した場合には（ステップＳ２１３＝ＹＥＳ）、その処理を次のステップＳ２１４に移行する。 On the other hand, in step S211, when the moving image flag = 0 (step S211 = YES), the process proceeds directly to the next step S213.
In the next step S213, the MPU 17 determines whether or not the registration button is operated. If the user operates the registration button and determines that there is an operation (step S213 = YES), the process proceeds to the next step S214.

そして、次のステップＳ２１４において、ＭＰＵ１７は、撮影モードがＨＤＲ静止画撮影モードであるか、ＨＤＲ動画撮影モードであるかを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードである場合には（ステップＳ２１４＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２１５に移行する。   In step S214, the MPU 17 determines whether the shooting mode is the HDR still image shooting mode or the HDR moving image shooting mode. That is, when the shooting mode is the HDR still image shooting mode (step S214 = YES), the MPU 17 shifts the process to the next step S215.

そして、ステップＳ２１５において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データをカードＩ／Ｆ２３へ出力する。すなわち、ＭＰＵ１７は、メモリカード２２に静止画の画像データとして記録し、その処理を次のステップＳ２１６に移行する。   In step S215, the MPU 17 outputs the added image data or the HDR image data output to the monitor 21 to the card I / F 23. That is, the MPU 17 records still image data on the memory card 22 and proceeds to the next step S216.

なお、ステップＳ２１３において、使用者がレジストボタンを操作していないと判断した場合には（ステップＳ２１３＝ＮＯ）、ＭＰＵ１７は、直接、その処理を次のステップＳ２１６に移行する。   If it is determined in step S213 that the user has not operated the registration button (step S213 = NO), the MPU 17 directly proceeds to the next step S216.

一方、ステップＳ２１４において、撮影モードがＨＤＲ動画撮影モードである場合には（ステップＳ２１４＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２１７に移行する。   On the other hand, when the shooting mode is the HDR moving image shooting mode in step S214 (step S214 = NO), the MPU 17 shifts the processing to the next step S217.

そして、次のステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝０であるか否かを判断する。すなわち、動画を撮影中ではない非撮影時には、動画フラグ＝０となっているため（ステップＳ２１７＝ＹＥＳ）、その処理を次のステップＳ２１８に移行する。   Then, in the next step S217, the MPU 17 determines whether or not the moving image flag = 0. That is, at the time of non-shooting when a moving image is not being shot, since the moving image flag = 0 (step S217 = YES), the process proceeds to the next step S218.

そして、次のステップＳ２１８において、ＭＰＵ１７は、動画フラグを１に設定し、その処理を次のステップＳ２１９に移行する。
そして、次のステップＳ２１９において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理を次のステップＳ２１６に移行する。 In the next step S218, the MPU 17 sets the moving image flag to 1, and the process proceeds to the next step S219.
In the next step S219, the MPU 17 outputs the added image data or HDR image data output to the monitor 21 to the card I / F 23 as one image data constituting the moving image, and records it on the memory card 22, The process proceeds to the next step S216.

また、ステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝１であると判断した場合には（ステップＳ２１７＝ＮＯ）、その処理をステップＳ２２０に移行する。
そして、次のステップＳ２２０において、ＭＰＵ１７は、動画フラグを０とし、その処理を次のステップＳ２１６に移行する。 In step S217, when the MPU 17 determines that the moving image flag = 1 (step S217 = NO), the process proceeds to step S220.
In the next step S220, the MPU 17 sets the moving image flag to 0, and the process proceeds to the next step S216.

その後、ステップＳ２１６において、ＭＰＵ１７は、動作モードが通常撮影モードもしくは再生モードに変更されたか否かを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードから変更された場合には（ステップＳ２１６＝ＹＥＳ）、その処理を次のステップＳ２２１に移行する。   Thereafter, in step S216, the MPU 17 determines whether or not the operation mode has been changed to the normal shooting mode or the reproduction mode. That is, when the shooting mode is changed from the HDR still image shooting mode or the HDR moving image shooting mode (step S216 = YES), the process proceeds to the next step S221.

そして、次のステップＳ２２１において、ＭＰＵ１７は、動画フラグを０として画像合成処理ルーチンを終了する。すなわち、ＭＰＵ１７は、動画撮影中に撮影モードが変更されると、動画撮影を中止してから画像合成ルーチンを終了する。   In the next step S221, the MPU 17 sets the moving image flag to 0 and ends the image composition processing routine. That is, when the shooting mode is changed during moving image shooting, the MPU 17 stops moving image shooting and ends the image composition routine.

一方、ステップＳ２１６において、ＭＰＵ１７は、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されていると判断した場合には（ステップＳ２１６＝ＮＯ）、その処理を次のステップＳ２２２に移行する。   On the other hand, when the MPU 17 determines in step S216 that the HDR still image shooting mode or the HDR moving image shooting mode is maintained (step S216 = NO), the process proceeds to the next step S222.

そして、次のステップＳ２２２において、ＭＰＵ１７は、カメラ１１の電源がオフされたか否かを判断する。カメラ１１の電源がオフされた場合には（ステップＳ２２２＝ＹＥＳ）、その処理をステップＳ２２１に移行し、動画フラグを０とした後に撮像処理ルーチンを終了する。   Then, in the next step S222, the MPU 17 determines whether or not the camera 11 is turned off. When the power of the camera 11 is turned off (step S222 = YES), the process proceeds to step S221, the moving image flag is set to 0, and the imaging process routine is ended.

一方、ステップＳ２２２において、カメラ１１の電源がオフされていない場合には（ステップＳ２２２＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ２０１に戻す。すなわち、ＭＰＵ１７は、カメラ１１の電源がオン状態で維持されると共に、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されている間、画像合成ルーチンを繰り返し実行する。   On the other hand, in step S222, when the power of the camera 11 is not turned off (step S222 = NO), the MPU 17 returns the process to step S201. That is, the MPU 17 repeatedly executes the image composition routine while the camera 11 is kept on and the HDR still image shooting mode or the HDR moving image shooting mode is maintained.

次に、以上のように構成された本実施形態のカメラ１１の作用について以下説明する。
なお、説明の前提として、この場合にカメラ１１で撮影する画像は図２に示す画像２５であって、既述したように、その画像２５における被写体画像は暗部と明部を有しているものとする。さらに、操作部材２４におけるモード切り替えボタンが操作されたことにより撮影モードは通常撮影モードからＨＤＲ動画撮影モードに切り替えられているものとする。 Next, the operation of the camera 11 of the present embodiment configured as described above will be described below.
Note that, as a premise of the description, the image captured by the camera 11 in this case is the image 25 shown in FIG. 2, and as described above, the subject image in the image 25 has a dark part and a bright part. And Furthermore, it is assumed that the shooting mode is switched from the normal shooting mode to the HDR moving image shooting mode by operating the mode switching button on the operation member 24.

さて、以上のような前提の下、カメラ１１のレンズ部１２を被写体となる山２７の方向に向けると、山麓に湖２８と立木２９がある山２７の稜線の左側上方に太陽２６が昇った状態にある風景と馬３０とがスルー画像としてモニタ２１に表示される。   Under the above premise, when the lens unit 12 of the camera 11 is directed toward the mountain 27 as a subject, the sun 26 rises above the left side of the ridgeline of the mountain 27 where the lake 28 and the standing tree 29 are located at the foot of the mountain. The scenery in the state and the horse 30 are displayed on the monitor 21 as a through image.

具体的には、図６に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、第１の合成手段としての加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する。そして、第２の合成手段としてのＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された１つの画像データ（例えば、１番最初に記憶された画像データ）とをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。したがって、ＨＤＲ合成部３２は、出力手段としても機能している。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。   Specifically, as illustrated in FIG. 6, the image sensor 14 has a shutter speed (for example, 1/120 second) faster than the time (for example, 1/30 second) for which one image is displayed on the monitor 21 as a through image. ) Continuously image the subject and sequentially store it in the RAM 20 sequentially. When four image data are stored in the RAM 20, the addition / synthesis unit 31 as the first synthesis unit adds and synthesizes these image data to generate addition image data. Then, the HDR synthesizing unit 32 as the second synthesizing unit adds the added image data generated by the adding and synthesizing unit 31, one image data stored in the RAM 20 (for example, the image data stored first). Are HDR synthesized and the generated HDR image data is output to the monitor 21. Therefore, the HDR synthesizing unit 32 also functions as an output unit. Then, by performing this process continuously, the HDR synthesized images displayed on the monitor 21 are sequentially switched, and a through image equivalent to the case of HDR movie shooting is displayed on the monitor 21.

また、例えば、図２の画像２５において太陽２６が含まれず、複数の画像データを加算合成しても白とびした画素が生じない場合には、図７に示すように、加算画像データ同士をＨＤＲ合成してＨＤＲ画像データを生成する。なお、図７においては、２個の画像データを合成した場合に白とびが生じないのに対し、３個の画像データを加算合成した場合に白とびが生じるような被写体をＨＤＲ撮影する場合の処理を示している。   Further, for example, when the sun 26 is not included in the image 25 of FIG. 2 and no overexposed pixel is generated even if a plurality of image data are added and combined, as shown in FIG. Combined to generate HDR image data. Note that in FIG. 7, when two image data are combined, the overexposure does not occur, but when three objects are combined and combined, the subject in which the overexposure occurs when HDR shooting is performed. Processing is shown.

具体的には、図７に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して低輝度側画像データとなる加算画像データを生成すると共に、一部の画像データ（例えば、先に記憶された２個の画像データ）を加算合成して高輝度側画像データとなる加算画像データを生成する。そして、ＨＤＲ合成部３２は、これらの加算画像データをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。   Specifically, as shown in FIG. 7, the image sensor 14 has a shutter speed (for example, 1/120 second) faster than the time (for example, 1/30 second) for displaying one image as a through image on the monitor 21. ) Continuously image the subject and sequentially store it in the RAM 20 sequentially. When four image data are stored in the RAM 20, the addition / synthesis unit 31 adds and synthesizes these image data to generate addition image data to be low-luminance side image data, and a part of the image data ( For example, two pieces of image data stored in advance are added and synthesized to generate addition image data that becomes high-intensity side image data. Then, the HDR synthesizing unit 32 performs HDR synthesis on the added image data, and outputs the generated HDR image data to the monitor 21. Then, by performing this process continuously, the HDR synthesized images displayed on the monitor 21 are sequentially switched, and a through image equivalent to the case of HDR movie shooting is displayed on the monitor 21.

そして、このようにモニタ２１にスルー画像が表示されている状態でカメラ１１の使用者により、レリーズボタンが全押しされると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、使用者が再びレリーズボタンを全押しするまでの間に生成したＨＤＲ画像データが動画として記録される。   When the release button is fully pressed by the user of the camera 11 while the through image is displayed on the monitor 21 as described above, the HDR image data output to the monitor 21 is also output to the card I / F 23. Is done. Therefore, the HDR image data generated until the user fully presses the release button again is recorded on the memory card 22 as a moving image.

また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。   When the user operates the mode switching button and fully presses the release button while the operation mode is switched to the HDR still image shooting mode, the HDR image data output to the monitor 21 is also output to the card I / F 23. The Therefore, HDR image data is recorded on the memory card 22 as a still image.

上記第１の実施形態によれば、以下のような効果を得ることができる。
（１）ＨＤＲ合成部３２は、加算合成に用いた一部の画像データと、加算合成によって生成された加算画像データとをＨＤＲ合成する。そのため、所望の露出条件（例えば、シャッター速度が１／３０秒）で撮影した画像をＨＤＲ合成するために、１／３０秒のシャッター速度で被写体を撮像すると共に、続けて１／１２０秒のシャッター速度で撮像してＨＤＲ合成する場合に比べて、画像のずれを抑制することができる。したがって、撮影画像同士の位置補正をすることなく画像のずれを抑制してハイダイナミックレンジ撮影することができる。 According to the first embodiment, the following effects can be obtained.
(1) The HDR synthesizing unit 32 HDR synthesizes a part of the image data used for the addition synthesis and the addition image data generated by the addition synthesis. Therefore, in order to HDR-compose an image shot under a desired exposure condition (for example, a shutter speed of 1/30 seconds), an object is imaged at a shutter speed of 1/30 seconds, and then a shutter of 1/120 seconds. Compared to the case where the image is captured at a speed and the HDR is combined, the image shift can be suppressed. Therefore, it is possible to perform high dynamic range imaging while suppressing image deviation without correcting the positions of the captured images.

（２）輝度に応じてＨＤＲ処理に用いる高輝度側画像データを、画像データの数を変更して生成することにより、画像の明るさを調整することができる。したがって、白とびを抑制しつつコントラストの大きな画像を得ることができる。   (2) The brightness of an image can be adjusted by generating high-luminance side image data used for HDR processing in accordance with the luminance by changing the number of image data. Therefore, it is possible to obtain an image with a large contrast while suppressing overexposure.

（３）ＨＤＲ画像データを連続してモニタ２１に表示することにより、メモリカード２２に記憶するＨＤＲ画像データをスルー画像としてユーザに視認させることができる。従って、レリーズボタンを操作してメモリカード２２に記憶する静止画及び動画イメージを使用者に伝えることができる。   (3) By continuously displaying the HDR image data on the monitor 21, the user can visually recognize the HDR image data stored in the memory card 22 as a through image. Therefore, the user can be notified of the still image and the moving image stored in the memory card 22 by operating the release button.

（４）加算合成に用いた画像データと加算画像データとをＨＤＲ合成することにより、画像データ同士の位置補正処理を省略してＨＤＲ合成を高速化することができる。そのため、１秒あたりに出力されるＨＤＲ画像データの数を増加させることができるため、ＨＤＲ撮影を動画に適用することができる。   (4) By performing HDR synthesis of the image data used for the addition synthesis and the addition image data, the position correction processing between the image data can be omitted and the HDR synthesis can be speeded up. Therefore, since the number of HDR image data output per second can be increased, HDR shooting can be applied to a moving image.

（第２の実施形態）
次に、本発明の第２の実施形態を図８に従って説明する。なお、第２の実施形態は、第１の実施形態とは被写体を撮影するシャッター速度と加算合成する画像データの数を変更した点でのみ相違しており、その他の構成及び処理は共通しているため、同様の構成部分については同一符号を付すことにして、その詳細な重複説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. Note that the second embodiment is different from the first embodiment only in that the shutter speed for photographing a subject and the number of image data to be added and combined are changed, and other configurations and processes are common. Therefore, the same components are denoted by the same reference numerals, and detailed description thereof is omitted.

図８に示すように撮像素子１４は、静止画を撮影する露出条件（例えば、シャッター速度１／３０秒）よりも速いシャッター速度で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する（記憶手段）。なお、このときのシャッター速度は、撮像ごとに変更され、このカメラ１１では、まず１／１２０秒のシャッター速度で撮像された画像データがＲＡＭ２０に一次記憶される。そして、続いて３／１２０秒で撮像された画像データがＲＡＭ２０に一次記憶される。   As shown in FIG. 8, the image sensor 14 continuously captures an object at a shutter speed faster than an exposure condition (for example, shutter speed 1/30 sec) for capturing a still image, and sequentially stores it in the RAM 20 (storing means). . Note that the shutter speed at this time is changed for each imaging, and in the camera 11, first, image data captured at a shutter speed of 1/120 seconds is temporarily stored in the RAM 20. Subsequently, image data captured in 3/120 seconds is temporarily stored in the RAM 20.

さて、ＲＡＭ２０に２つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する（第１の合成手順）。そして、ＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された画像データのうち、輝度の低い画像データとをＨＤＲ合成し（第２の合成手順）、生成したＨＤＲ画像データをモニタ２１に出力する（出力手順）。   Now, when two pieces of image data are stored in the RAM 20, the addition / synthesis unit 31 adds and combines these image data to generate addition image data (first synthesis procedure). Then, the HDR synthesizing unit 32 HDR synthesizes the added image data generated by the adding and synthesizing unit 31 and the image data having low brightness among the image data stored in the RAM 20 (second synthesizing procedure). The HDR image data is output to the monitor 21 (output procedure).

すなわち、シャッター速度が速い画像データの方がシャッター速度が遅い画像データに比べて画像全体の輝度が低く暗い画像となるため、白とびが生じている確立が低い。したがって、ＨＤＲ合成部３２は、加算画像データを低輝度側画像データとすると共に、１／１２０秒のシャッター速度で撮像された画像データを高輝度側画像データとしてＨＤＲ合成する。   In other words, image data with a fast shutter speed is darker than the image data with a slow shutter speed, and thus the overall brightness of the image is low and the probability of overexposure is low. Therefore, the HDR synthesizing unit 32 sets the added image data as the low luminance side image data and HDR combines the image data captured at the shutter speed of 1/120 seconds as the high luminance side image data.

そして、ＨＤＲ画像データをモニタ２１に出力すると共に、被写体の撮像と加算合成及びＨＤＲ合成を連続して実行する。すると、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。   Then, the HDR image data is output to the monitor 21, and subject imaging, addition synthesis, and HDR synthesis are continuously executed. Then, the HDR synthesized images displayed on the monitor 21 are sequentially switched, and a through image equivalent to the case of HDR moving image shooting is displayed on the monitor 21.

また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。   When the user operates the mode switching button and fully presses the release button while the operation mode is switched to the HDR still image shooting mode, the HDR image data output to the monitor 21 is also output to the card I / F 23. The Therefore, HDR image data is recorded on the memory card 22 as a still image.

上記第２の実施形態によれば、第１の実施形態における（１）〜（４）の効果に加えて、さらに以下のような効果を得ることができる。
（５）遅いシャッター速度で撮像した画像データは、暗部の黒つぶれが低減されているのに対し、速いシャッター速度で撮像した画像データに比べて明部が白とびしてしまう可能性が高い。その点、シャッター速度の異なる画像データをＨＤＲ合成に用いる場合には、より速いシャッター速度で撮像した輝度の低い画像データを用いることにより、遅いシャッター速度で撮像した輝度の高い画像データを用いる場合に比べて明部における白とびをより減少させることができる。 According to the said 2nd Embodiment, in addition to the effect of (1)-(4) in 1st Embodiment, the following effects can be acquired further.
(5) The image data captured at a slow shutter speed is less likely to be dark in the dark area, but the bright area is more likely to be out of focus than image data captured at a high shutter speed. On the other hand, when using image data with different shutter speeds for HDR synthesis, using low-brightness image data imaged at a faster shutter speed, and using high-brightness image data imaged at a slower shutter speed. Compared with this, overexposure in the bright part can be further reduced.

（６）シャッター速度を変化させることにより、同じシャッター速度で撮像した場合と比べて加算合成に用いる画像データ数を減少させることができる。したがって、加算合成部３１における負荷を低減することができるため、所定時間当たりに出力可能な加算画像データ数を増加させることができる。したがって、動画撮影時のこま数をさらに増加させることができる。   (6) By changing the shutter speed, it is possible to reduce the number of image data used for addition synthesis as compared with the case of imaging at the same shutter speed. Therefore, since the load on the addition / synthesis unit 31 can be reduced, the number of addition image data that can be output per predetermined time can be increased. Accordingly, it is possible to further increase the number of frames during video shooting.

なお、上記実施形態は以下のように変更してもよい。
・上記各実施形態において、絞り値を制御してＨＤＲ撮影をするようにしてもよい。すなわち、大きな絞り値で連続撮像した画像データを複数加算合成することにより、小さな絞り値で撮像した画像データと同等の画像データを得ることができる。そして、加算画像データと加算合成に使用した画像データをＨＤＲ合成に用いることにより、画像の位置ずれを抑制してＨＤＲ合成を行うことができる。 In addition, you may change the said embodiment as follows.
In each of the above embodiments, HDR imaging may be performed by controlling the aperture value. That is, by adding and combining a plurality of image data continuously captured with a large aperture value, image data equivalent to image data captured with a small aperture value can be obtained. Then, by using the added image data and the image data used for the addition composition for the HDR composition, it is possible to perform the HDR composition while suppressing the positional deviation of the image.

・上記各実施形態において、撮像素子１４から出力された画素信号やシャッター速度、絞り値から画像の輝度を推定してもよい。また、カメラ１１に測光センサを設け、被写体の輝度を直接測光するようにしてもよい。そして、これらの推定結果や測定結果に基づいて高輝度側の画像データの生成に用いる画像データ数を設定してもよい。また、ＨＤＲ合成に用いる高輝度側の画像データの数は１つに固定してもよい。   In each of the above embodiments, the luminance of the image may be estimated from the pixel signal output from the image sensor 14, the shutter speed, and the aperture value. Further, a photometric sensor may be provided in the camera 11 so that the luminance of the subject is directly measured. Then, the number of image data used for generating image data on the high luminance side may be set based on these estimation results and measurement results. Further, the number of high-luminance image data used for HDR synthesis may be fixed to one.

・上記第２の実施形態において、異なるシャッター速度で３つ以上の画像データを記憶すると共に、最も速いシャッター速度で撮像した画像データを含む一部の画像データを加算合成してＨＤＲ合成に使用してもよい。また、画像データや被写体の輝度に応じて高輝度側画像データとして用いる画像データを選択してもよい。すなわち、例えば、逆光が強く輝度が大きい場合ほどシャッター速度の早い画像を選択するようにしてもよい。   In the second embodiment, at least three pieces of image data are stored at different shutter speeds, and part of the image data including image data captured at the fastest shutter speed is added and combined for use in HDR combination. May be. Further, image data to be used as high brightness side image data may be selected according to the image data and the brightness of the subject. That is, for example, an image with a faster shutter speed may be selected when the backlight is strong and the luminance is high.

・上記各実施形態において、操作部材２４は、動画の記録開始と終了を指示する録画ボタンを個別に有してもよい。そして、ＨＤＲ画像データを動画として記録中にレリーズボタンが操作された場合に、ＨＤＲ画像データを静止画としても記録するようにしてもよい。   In each of the above embodiments, the operation member 24 may individually include a recording button that instructs the start and end of moving image recording. Then, when the release button is operated while recording the HDR image data as a moving image, the HDR image data may be recorded as a still image.

・上記各実施形態において、ＨＤＲ静止画撮影モードまたはＨＤＲ動画撮影モードにおいて、レリーズボタンが半押しされた場合に、被写体の輝度に応じて連続撮影するシャッター速度や絞り値といった露出条件を変更するようにしてもよい。   In each of the above embodiments, when the release button is pressed halfway in the HDR still image shooting mode or the HDR movie shooting mode, the exposure conditions such as the shutter speed and the aperture value for continuous shooting are changed according to the luminance of the subject. It may be.

・上記実施形態において、カメラ１１は、静止画のみもしくは動画のみの撮影が可能なカメラとしてもよい。すなわち、静止画のみの撮影が可能なデジタルスチルカメラや、動画のみの撮影が可能なデジタルビデオカメラにおいても適用することができる。   In the above embodiment, the camera 11 may be a camera capable of shooting only a still image or only a moving image. That is, the present invention can also be applied to a digital still camera that can shoot only still images and a digital video camera that can shoot only moving images.

・上記実施形態において示した電子シャッターのシャッター速度やスルー画像としてモニタに表示する画像のコマ間隔は一例であり、その他の値でもよい。ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、連続撮影する際のシャッター速度が、スルー画像としてモニタに表示する画像のコマ間隔よりも速ければよく、連続撮影の際のシャッター速度は一定でなくてもよい。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、スルー画像や記録中の画像を表示せずに、直接メモリーカード等の記録媒体に記録することとしてもよい。   -The shutter speed of the electronic shutter shown in the above embodiment and the frame interval of the image displayed on the monitor as a through image are examples, and other values may be used. In the HDR still image shooting mode and the HDR movie shooting mode, the shutter speed for continuous shooting only needs to be faster than the frame interval of images displayed on the monitor as a through image, and the shutter speed for continuous shooting is constant. Not necessarily. In the HDR still image shooting mode and the HDR moving image shooting mode, the through image and the image being recorded may be directly recorded on a recording medium such as a memory card.

・上記実施形態において、連続撮影により得られた複数の画像（例えば、４枚）を合成する際に、１枚目を基準画像として、他の３枚を１枚目に対して位置合わせをし、４枚の画像を加算合成する。そして、合成により得られた画像と、基準画像として用いた１枚目の画像と、をＨＤＲ合成してもよい。   In the above embodiment, when combining a plurality of images (for example, 4 images) obtained by continuous shooting, the first image is used as a reference image, and the other three images are aligned with the first image. Add and synthesize four images. The image obtained by the synthesis and the first image used as the reference image may be HDR synthesized.

１１…カメラ（撮像装置）、１４…撮像素子（撮像手段）、１７…ＭＰＵ（コンピュータ）、２０…ＲＭＡ（記憶手段）、２５…画像、３１…加算合成部（第１の合成手段）、３２…ＨＤＲ合成部（第２の合成手段、出力手段）。   DESCRIPTION OF SYMBOLS 11 ... Camera (imaging apparatus), 14 ... Imaging device (imaging means), 17 ... MPU (computer), 20 ... RMA (storage means), 25 ... Image, 31 ... Addition composition part (1st composition means), 32 ... HDR synthesizing unit (second synthesizing means, output means).

Claims (8)

被写体を撮像して画像データを生成する撮像手段と、
該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、
該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
該第２の合成手段が生成した前記第２の画像データを出力する出力手段と
を備えたことを特徴とする撮像装置。 Imaging means for imaging a subject and generating image data;
Storage means capable of temporarily storing a plurality of image data continuously captured by the imaging means;
First combining means for adding and combining a plurality of the image data stored in the storage means to generate first image data;
Second combining means for generating a second image data by combining a part of the plurality of image data and the first image data;
An image pickup apparatus comprising: output means for outputting the second image data generated by the second combining means. 前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the output unit sequentially outputs the second image data generated by the second combining unit. 前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを特徴とする請求項１又は請求項２に記載の撮像装置。 The said 2nd synthetic | combination means uses at least 1 image data containing the image data with the lowest brightness | luminance among these several image data for a synthesis | combination with said 1st image data. Item 3. The imaging device according to Item 2. 前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを特徴とする請求項３に記載の撮像装置。 The second synthesizing unit determines the number of the image data used for the synthesis with the first image data when the luminance of the image data is relatively high compared to when the luminance is relatively low. The imaging apparatus according to claim 3, wherein the imaging apparatus is decreased. 前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、
前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを特徴とする請求項１〜請求項４のうち何れか一項に記載の撮像装置。 The first combining means generates first image data by adding and combining a plurality of the image data picked up by the image pickup means per predetermined time,
5. The output unit according to claim 1, wherein the output unit sequentially outputs the second image data generated by the second combining unit at each predetermined time. Imaging device. コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、
該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、
該第２の合成手順において合成した前記第２の画像データを出力する出力手順と
を実行させることを特徴とする画像合成プログラム。 On the computer,
A storage procedure for temporarily storing a plurality of image data continuously captured by an imaging unit that captures an image of a subject and generates image data;
A first synthesis procedure for generating a first image data by adding and synthesizing the plurality of image data stored in the storage procedure;
A second combining procedure for generating a second image data by combining a part of the plurality of image data and the first image data;
And an output procedure for outputting the second image data synthesized in the second synthesis procedure. 被写体を撮像して画像データを生成する撮像手段と、
基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
を備えたことを特徴とする撮像装置。 Imaging means for imaging a subject and generating image data;
First combining means for generating first image data by aligning and combining an image other than the reference image with respect to the reference image; and
Second combining means for combining the image data of the reference image and the first image data to generate second image data;
An imaging apparatus comprising: コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と
を実行させることを特徴とする画像合成プログラム。 On the computer,
First image data is obtained by aligning and synthesizing other images other than the reference image with respect to a reference image in a plurality of images continuously picked up by an image pickup unit that picks up a subject and generates image data. A first synthesis procedure to generate
An image composition program for executing a second composition procedure for synthesizing the image data of the reference image and the first image data to generate second image data.
JP2011161133A 2010-07-30 2011-07-22 Imaging device and image synthesis program Pending JP2012050073A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011161133A JP2012050073A (en) 2010-07-30 2011-07-22 Imaging device and image synthesis program
US13/190,062 US8988544B2 (en) 2010-07-30 2011-07-25 High dynamic range imaging device and image synthesis program
CN201110219804.7A CN102348066B (en) 2010-07-30 2011-07-27 Camera head

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010173029 2010-07-30
JP2010173029 2010-07-30
JP2011161133A JP2012050073A (en) 2010-07-30 2011-07-22 Imaging device and image synthesis program

Publications (1)

Publication Number Publication Date
JP2012050073A true JP2012050073A (en) 2012-03-08

Family

ID=45526358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011161133A Pending JP2012050073A (en) 2010-07-30 2011-07-22 Imaging device and image synthesis program

Country Status (3)

Country Link
US (1) US8988544B2 (en)
JP (1) JP2012050073A (en)
CN (1) CN102348066B (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013197650A (en) * 2012-03-16 2013-09-30 Ricoh Co Ltd Image pickup device and image pickup method
JP2014027466A (en) * 2012-07-26 2014-02-06 Ricoh Imaging Co Ltd Image pickup device
WO2015037742A1 (en) * 2013-09-12 2015-03-19 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same
CN104883512A (en) * 2014-02-28 2015-09-02 柯尼卡美能达美国研究所有限公司 Ghost artifact detection and removal in hdr image creation

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013094087A1 (en) * 2011-12-22 2013-06-27 パナソニック株式会社 Imaging device
JP2013218031A (en) * 2012-04-05 2013-10-24 Canon Inc Imaging apparatus
CN108259757A (en) * 2012-05-31 2018-07-06 奥林巴斯株式会社 Photographic device, image processing apparatus and recording method
JP6082274B2 (en) * 2012-06-08 2017-02-15 キヤノン株式会社 Imaging apparatus and control method thereof
CN103546673B (en) * 2012-07-09 2018-02-27 联想(北京)有限公司 The method and device of high-dynamics image is generated under moving scene
JP6023509B2 (en) 2012-08-10 2016-11-09 浜松ホトニクス株式会社 Surface-enhanced Raman scattering unit
CN103973958B (en) * 2013-01-30 2018-04-03 阿里巴巴集团控股有限公司 Image processing method and equipment
CN104754227A (en) * 2015-03-26 2015-07-01 广东欧珀移动通信有限公司 Method and device for shooting video
JP2017108309A (en) * 2015-12-10 2017-06-15 オリンパス株式会社 Imaging apparatus and imaging method
KR20170123125A (en) * 2016-04-28 2017-11-07 엘지전자 주식회사 Mobile terminal and method for controlling the same
CN106161979B (en) * 2016-07-29 2017-08-25 广东欧珀移动通信有限公司 High dynamic range images image pickup method, device and terminal device
JP2018042198A (en) * 2016-09-09 2018-03-15 オリンパス株式会社 Imaging apparatus and imaging method
CN108881677A (en) * 2017-08-14 2018-11-23 北京旷视科技有限公司 Photographic device and image capture method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160881A (en) * 2008-02-12 2008-07-10 Sony Corp Solid-state imaging apparatus, and imaging method
JP2010103634A (en) * 2008-10-21 2010-05-06 Sony Corp Imaging apparatus, imaging method, and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
EP1237363B1 (en) * 1999-11-22 2006-01-18 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device
EP1313066B1 (en) * 2001-11-19 2008-08-27 STMicroelectronics S.r.l. A method for merging digital images to obtain a high dynamic range digital image
JP4024581B2 (en) 2002-04-18 2007-12-19 オリンパス株式会社 Imaging device
US7570809B1 (en) * 2004-07-03 2009-08-04 Hrl Laboratories, Llc Method for automatic color balancing in digital images
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
DE602005003917T2 (en) * 2005-02-03 2008-12-04 Sony Ericsson Mobile Communications Ab Method and apparatus for generating high dynamic range images from multiple exposures
US7443443B2 (en) * 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
JP4847768B2 (en) * 2006-03-09 2011-12-28 ルネサスエレクトロニクス株式会社 Imaging apparatus and exposure control method thereof
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
WO2009050594A2 (en) * 2007-07-25 2009-04-23 Yunn-En Yeo Exposure control for an imagning system
JP4900401B2 (en) * 2008-05-16 2012-03-21 カシオ計算機株式会社 Imaging apparatus and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160881A (en) * 2008-02-12 2008-07-10 Sony Corp Solid-state imaging apparatus, and imaging method
JP2010103634A (en) * 2008-10-21 2010-05-06 Sony Corp Imaging apparatus, imaging method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013197650A (en) * 2012-03-16 2013-09-30 Ricoh Co Ltd Image pickup device and image pickup method
JP2014027466A (en) * 2012-07-26 2014-02-06 Ricoh Imaging Co Ltd Image pickup device
WO2015037742A1 (en) * 2013-09-12 2015-03-19 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same
JP2015056807A (en) * 2013-09-12 2015-03-23 キヤノン株式会社 Imaging apparatus and control method for the same
US10082723B2 (en) 2013-09-12 2018-09-25 Canon Kabushiki Kaisha Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
CN104883512A (en) * 2014-02-28 2015-09-02 柯尼卡美能达美国研究所有限公司 Ghost artifact detection and removal in hdr image creation
CN104883512B (en) * 2014-02-28 2018-02-13 柯尼卡美能达美国研究所有限公司 The detection of mirage phantom artifact and removal in high dynamic range images establishment

Also Published As

Publication number Publication date
US8988544B2 (en) 2015-03-24
CN102348066A (en) 2012-02-08
CN102348066B (en) 2016-05-11
US20120026365A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
JP2012050073A (en) Imaging device and image synthesis program
CN102131056B (en) Image-capturing device and image-capturing method
US9426392B2 (en) Imaging device, image processing device, recording medium in which image file is recorded, recording method, image playback method, and computer-readable recording medium
US9210333B2 (en) Image capturing apparatus for generating composite image and control method thereof
JP2004128584A (en) Photographing apparatus
US9398230B2 (en) Imaging device and imaging method
JP2015136087A (en) Imaging apparatus and imaging method
JP5984975B2 (en) Imaging apparatus, imaging method, and program
JP2008042382A (en) Imaging apparatus, display method and program
JP2012119788A (en) Imaging device, image processing device, imaging method and image processing method
JP5947625B2 (en) Imaging apparatus and control method thereof
JP5515795B2 (en) Imaging apparatus and imaging method
JP5515852B2 (en) Imaging apparatus and image generation program
JP4716182B2 (en) Imaging apparatus and imaging control program
JP5772064B2 (en) Imaging apparatus and image generation program
JP2012023527A (en) Imaging apparatus and imaging method
JP2010171930A (en) Imaging apparatus and imaging method
KR20100112788A (en) Method of controlling activation between shaking correction and electronical strobo, method of photographing, and digital camera module
US20130194456A1 (en) Imaging device
JP4781147B2 (en) Imaging apparatus and image processing method
JP5445956B2 (en) Imaging device
JP2005333491A (en) Imaging apparatus
JP2023055302A (en) Image processing device, imaging apparatus and image processing method
JP2013118492A (en) Image processing apparatus, imaging apparatus and image processing method
JP2014171146A (en) Image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141104