JP2016163327A - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP2016163327A
JP2016163327A JP2015043835A JP2015043835A JP2016163327A JP 2016163327 A JP2016163327 A JP 2016163327A JP 2015043835 A JP2015043835 A JP 2015043835A JP 2015043835 A JP2015043835 A JP 2015043835A JP 2016163327 A JP2016163327 A JP 2016163327A
Authority
JP
Japan
Prior art keywords
image
exposure
under
aligned
exposure image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015043835A
Other languages
Japanese (ja)
Inventor
参納 雅人
Masahito Sanno
雅人 参納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015043835A priority Critical patent/JP2016163327A/en
Publication of JP2016163327A publication Critical patent/JP2016163327A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of preventing image noise from being generated by gain increase in a region where images are not combined.SOLUTION: The image processing apparatus comprises an image combination part for combining a plurality of images, that are captured with different exposure amounts, including a standard exposure image and an under exposure image of which the exposure amount is less than that of the standard exposure image. If a moving amount between the plurality of captured images is less than a threshold, the image combination parts aligns images excluding the under exposure image in the plurality of captured images with the under exposure image, thereby combining the images that are aligned with the under exposure image. If the moving amount between the plurality of captured images is larger than the threshold, the image combination part aligns images excluding the standard exposure image in the plurality of captured images with the standard exposure image, thereby combining the images that are aligned with the standard exposure image.SELECTED DRAWING: Figure 6

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program.

明暗差が大きいシーンでの黒潰れや白とびを抑制するために、ハイダイナミックレンジ(HDR)画像を生成する技術が知られている。アンダー、適正、オーバーなど、露出を変えながら複数枚の画像を撮影し、基準画像となる画像に対して他の画像を位置合わせしながらゲイン調整により重み付け加算を行うことにより、ハイダイナミックレンジ画像が生成される。特許文献1では、基準画像及び参照画像の画像信号成分をリニア特性の状態に戻してゲイン調整を適切に行えるようにするため、それら基準画像及び他の画像に対し逆ガンマ補正をかける技術が開示されている。   A technique for generating a high dynamic range (HDR) image is known in order to suppress black crushing and overexposure in a scene with a large contrast. A high dynamic range image is obtained by taking multiple images while changing the exposure, such as under, proper, over, etc., and performing weighted addition by gain adjustment while aligning other images with the reference image. Generated. Japanese Patent Application Laid-Open No. 2004-228688 discloses a technique for performing inverse gamma correction on a reference image and other images in order to return the image signal components of the reference image and the reference image to a linear characteristic state so that gain adjustment can be appropriately performed. Has been.

特開2011−29695号公報JP 2011-29695 A

しかし、基準画像の画角を記録画像にする場合に、基準画像を位置合わせのために情報量の多いアンダー露出の画像を採用しようとすると、画像の位置ずれにより合成画像である適正露出の画像もオーバー露出の画像も使用されない領域が発生することがある。基準画像であるアンダー露出画像において、他の画像が合成されない領域は、合成された領域と輝度レベルを合わせるためにゲインアップをする必要があり、画像信号成分がリニア特性状態に戻されていてもゲインアップのために信号が増幅される。これにより、画像ノイズが発生する。   However, if the angle of view of the reference image is a recorded image and an attempt is made to adopt an underexposed image with a large amount of information for alignment of the reference image, a properly exposed image that is a composite image due to image misalignment. In some cases, no overexposed image is used. In the under-exposed image that is the reference image, an area where other images are not combined needs to be gained up to match the luminance level with the combined area, and even if the image signal component is returned to the linear characteristic state The signal is amplified to increase the gain. As a result, image noise occurs.

本発明の目的は、画像が合成されない領域のゲインアップにより発生する画像ノイズを防止することができる画像処理装置、画像処理方法及びプログラムを提供することである。   An object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of preventing image noise generated due to gain increase in a region where images are not combined.

本発明の画像処理装置は、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、前記画像合成部は、前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする。   The image processing apparatus of the present invention includes an image composition unit that composes a plurality of images shot at different exposure amounts including a standard exposure image and an under-exposure image whose exposure amount is smaller than that of the standard exposure image. If the amount of movement between the plurality of captured images is smaller than a threshold, the position of the image excluding the under-exposed image of the plurality of captured images is aligned with the under-exposed image. When the amount of movement between the plurality of captured images is greater than the threshold value, the captured image is captured with respect to the standard exposure image. Of the plurality of images, the positions of the images other than the standard exposure image are aligned, and the image having the aligned position is synthesized with the standard exposure image.

画像が合成されない領域がない場合には、情報量が多いアンダー露出画像を基準に合成することにより、高画質の合成画像を得ることができる。これに対し、画像が合成されない領域がある場合には、標準露出画像を基準に合成することにより、画像が合成されない領域のゲインアップが必要なくなるので、ゲインアップによる画像ノイズを防止することができる。   When there is no area where the image is not synthesized, a high-quality synthesized image can be obtained by synthesizing an underexposed image having a large amount of information as a reference. On the other hand, when there is a region where the image is not combined, by combining with the standard exposure image as a reference, it is not necessary to increase the gain of the region where the image is not combined, so image noise due to gain increase can be prevented. .

本実施形態による画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus by this embodiment. 本実施形態による画像合成の分割単位の例を示す図である。It is a figure which shows the example of the division unit of the image synthesis by this embodiment. 本実施形態による画像合成のためのゲインの例を示す図である。It is a figure which shows the example of the gain for the image synthesis by this embodiment. 本実施形態による画像合成の領域の例を示す図である。It is a figure which shows the example of the area | region of the image composition by this embodiment. 本実施形態によるRAWデータ領域の例を示す図である。It is a figure which shows the example of the RAW data area | region by this embodiment. 本実施形態による画像処理方法を示すフローチャートである。It is a flowchart which shows the image processing method by this embodiment.

図1は、本発明の実施形態による画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えば、デジタルカメラである。保護手段102は、画像処理装置100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するためのバリアである。撮影レンズ10は、光学像を撮像素子14上に結像する。シャッタ12は、絞り機能を備える機械式シャッタである。撮像素子14は、光学像を電気信号に変換し、アナログ画像信号を出力する。アナログ/デジタル(A/D)変換器16は、撮像素子14が出力するアナログ信号をデジタル信号に変換する。タイミング発生回路 18は、撮像素子14、 A/D変換器16及びデジタル/アナログ( D/A)変換器26にクロック信号及び制御信号を供給し、メモリ制御回路22及びシステム制御回路50により制御される。シャッタ12以外にも、タイミング発生回路18が撮像素子14のリセットタイミングを制御することによって、電子シャッタとして、撮像素子14の電荷蓄積時間を制御することが可能であり、動画撮影などに使用可能である。   FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus 100 according to an embodiment of the present invention. The image processing apparatus 100 is a digital camera, for example. The protection unit 102 is a barrier for preventing the imaging unit from being soiled or damaged by covering the imaging unit including the lens 10 of the image processing apparatus 100. The taking lens 10 forms an optical image on the image sensor 14. The shutter 12 is a mechanical shutter having a diaphragm function. The image sensor 14 converts an optical image into an electrical signal and outputs an analog image signal. The analog / digital (A / D) converter 16 converts an analog signal output from the image sensor 14 into a digital signal. The timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14, the A / D converter 16, and the digital / analog (D / A) converter 26, and is controlled by the memory control circuit 22 and the system control circuit 50. The In addition to the shutter 12, the timing generation circuit 18 controls the reset timing of the image sensor 14, whereby the charge accumulation time of the image sensor 14 can be controlled as an electronic shutter and can be used for moving image shooting and the like. is there.

画像処理回路20は、 A/D変換器16が出力する画像データ又はメモリ制御回路22が出力する画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、画像の切り出し又は変倍処理を行うことで電子ズーム機能を実現したり、画像やアルバム再生のために画像の色や大きさを調節したり、画像にフィルタを掛けることができる。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行う。システム制御回路50は、画像処理回路20の演算結果に基づいて、露光制御手段40及び測距制御手段42を制御し、TTL方式のオートフォーカス(AF)処理、自動露出(AE)処理、EF処理を行う。さらに、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてTTL方式のオートホワイトバランス(AWB)処理を行う。   The image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on the image data output from the A / D converter 16 or the image data output from the memory control circuit 22. Further, the image processing circuit 20 implements an electronic zoom function by performing image cropping or scaling processing, adjusts the color and size of an image for image or album playback, and filters the image. be able to. Further, the image processing circuit 20 performs a predetermined calculation process using the captured image data. The system control circuit 50 controls the exposure control means 40 and the distance measurement control means 42 based on the calculation result of the image processing circuit 20, and performs TTL autofocus (AF) processing, automatic exposure (AE) processing, and EF processing. I do. Further, the image processing circuit 20 performs predetermined calculation processing using the captured image data, and performs TTL auto white balance (AWB) processing based on the calculation result.

メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。メモリ制御回路22は、画像処理回路20の出力データを画像表示メモリ24又はメモリ30に書き込む。また、メモリ制御回路22は、A/D変換器16の出力データを画像表示メモリ24又はメモリ30に書き込む。また、メモリ制御部22は、画像表示メモリ24に書き込まれた表示用の画像データを読み出し、D/A変換器26に出力する。D/A変換器26は、画像データをデジタルからアナログに変換し、画像表示部28に出力する。画像表示部28は、液晶ディスプレイ等を有し、画像データを表示する。画像表示部28が、撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示メモリ24には、撮影画像の再生やアルバム再生のための画像データが書き込まれる。その画像データは、画像表示メモリ24からメモリ制御回路22及びD/A変換器26を介して画像表示部28に出力され、画像表示部28がその画像データを表示する。   The memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the image display memory 24, the D / A converter 26, the memory 30, and the compression / decompression circuit 32. The memory control circuit 22 writes the output data of the image processing circuit 20 in the image display memory 24 or the memory 30. Further, the memory control circuit 22 writes the output data of the A / D converter 16 in the image display memory 24 or the memory 30. Further, the memory control unit 22 reads the display image data written in the image display memory 24 and outputs it to the D / A converter 26. The D / A converter 26 converts the image data from digital to analog and outputs it to the image display unit 28. The image display unit 28 includes a liquid crystal display and displays image data. If the image display unit 28 sequentially displays captured image data, an electronic viewfinder function can be realized. The image display memory 24 is written with image data for reproduction of captured images and album reproduction. The image data is output from the image display memory 24 to the image display unit 28 via the memory control circuit 22 and the D / A converter 26, and the image display unit 28 displays the image data.

メモリ30は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、画像処理装置100は、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ30に書き込むことができる。また、メモリ30は、画像再生やアルバム再生のための作業領域、システム制御回路50の作業領域としても使用することが可能である。圧縮伸長回路32は、メモリ30に格納された画像を読み込み、圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ30に書き込む。例えば、圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する。   The memory 30 is a memory for storing captured still images and moving images, and has a sufficient storage capacity for storing a predetermined number of still images and moving images for a predetermined time. Accordingly, the image processing apparatus 100 can write a large amount of images in the memory 30 at high speed even in continuous shooting or panoramic shooting in which a plurality of still images are continuously shot. The memory 30 can also be used as a work area for image reproduction and album reproduction and as a work area for the system control circuit 50. The compression / decompression circuit 32 reads an image stored in the memory 30, performs compression processing or decompression processing, and writes the processed data to the memory 30. For example, the compression / decompression circuit 32 compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like.

露光制御手段40は、絞り機能を備えるシャッタ12を制御し、フラッシュ48と連携することによりフラッシュ調光機能を有する。測距制御手段42は、撮影レンズ10のフォーカシングを制御する。ズーム制御手段44は、撮影レンズ10のズーミングを制御する。バリア制御手段46は、バリアである保護手段102の動作を制御する。フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能を有する。システム制御回路50は、画像処理回路20の演算結果に基づき、露光制御手段40及び測距制御手段42を制御する。露光制御手段40及び測距制御手段42は、TTL方式を用いて制御される。   The exposure control means 40 controls the shutter 12 having a diaphragm function, and has a flash light control function in cooperation with the flash 48. The distance measurement control means 42 controls the focusing of the taking lens 10. The zoom control unit 44 controls zooming of the taking lens 10. The barrier control means 46 controls the operation of the protection means 102 that is a barrier. The flash 48 has an AF auxiliary light projecting function and a flash light control function. The system control circuit 50 controls the exposure control means 40 and the distance measurement control means 42 based on the calculation result of the image processing circuit 20. The exposure control means 40 and the distance measurement control means 42 are controlled using the TTL method.

システム制御回路50は、画像処理装置100全体を制御する。メモリ52は、システム制御回路50の動作用の定数、変数、プログラム等を記憶する。表示部54は、システム制御回路50のプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置及びスピーカー等を有する。また、表示部54は、画像処理装置100の操作部70近辺の視認し易い位置に設置され、例えば液晶ディスプレイやLED、発音素子等を有する。また、表示部54は、その一部の機能が光学ファインダ104内に設置されている。表示部54の表示内容のうち、液晶ディスプレイ等に以下の種々の情報を表示することができる。その表示内容は、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示などである。また、表示部54は、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示等も可能である。また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。不揮発性メモリ56は、電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。   The system control circuit 50 controls the entire image processing apparatus 100. The memory 52 stores constants, variables, programs, and the like for operating the system control circuit 50. The display unit 54 includes a liquid crystal display device, a speaker, and the like that display an operation state, a message, and the like using characters, images, sounds, and the like according to the execution of the program of the system control circuit 50. In addition, the display unit 54 is installed at a position that is easily visible in the vicinity of the operation unit 70 of the image processing apparatus 100 and includes, for example, a liquid crystal display, an LED, a sound generation element, and the like. The display unit 54 has a part of its function installed in the optical viewfinder 104. Among the display contents of the display unit 54, the following various types of information can be displayed on a liquid crystal display or the like. The display contents include single shot / continuous shooting display, self-timer display, compression rate display, number of recorded pixels, number of recorded images, remaining number of images that can be shot, shutter speed display, aperture value display, exposure compensation display, and flash display. Red-eye reduction display, macro shooting display, and the like. In addition, the display unit 54 can perform a buzzer setting display, a battery remaining amount display, an error display, an information display by a multi-digit number, a detachment state display of the recording media 200 and 210, a communication I / F operation display, and the like. Among the display contents of the display unit 54, what is displayed in the optical viewfinder 104 includes in-focus display, camera shake warning display, flash charge display, shutter speed display, aperture value display, exposure correction display, and the like. The nonvolatile memory 56 is an electrically erasable / recordable nonvolatile memory, and for example, an EEPROM or the like is used.

モードダイアルスイッチ60、第1のシャッタスイッチ62、第2のシャッタスイッチ64、表示切替スイッチ66、操作部70、ズームスイッチ72及び動画再生指示部74は、システム制御回路50の各種の動作指示を入力するための操作手段である。それらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。   The mode dial switch 60, the first shutter switch 62, the second shutter switch 64, the display changeover switch 66, the operation unit 70, the zoom switch 72, and the moving image reproduction instruction unit 74 input various operation instructions of the system control circuit 50. It is an operation means for doing. These operation means are constituted by one or a plurality of combinations such as a switch, dial, touch panel, pointing by line-of-sight detection, and a voice recognition device.

モードダイアルスイッチ60は、電源オン/オフ、静止画撮影モード、ハイダイナミックレンジ撮影モード、動画撮影モード、再生モード、マルチ画面再生、PC接続モード、テレビ受信モード等の各機能モードを切り替え設定することができる。第1のシャッタスイッチ(SW1)62は、シャッタボタンの操作途中でオンとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の撮影準備動作開始を指示する。第2のシャッタスイッチ(SW2)64は、シャッタボタンの操作完了でオンとなる。   The mode dial switch 60 switches and sets each function mode such as power on / off, still image shooting mode, high dynamic range shooting mode, moving image shooting mode, playback mode, multi-screen playback, PC connection mode, and TV reception mode. Can do. The first shutter switch (SW1) 62 is turned on during the operation of the shutter button, and instructs to start a shooting preparation operation such as AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and the like. . The second shutter switch (SW2) 64 is turned on when the operation of the shutter button is completed.

これにより、画像処理装置100は、撮像素子12の出力信号をA/D変換器16及びメモリ制御回路22を介してメモリ30に画像データを書き込む画像取り込み処理を行う。続いて、画像処理装置100は、画像処理回路20やメモリ制御回路22の出力データを用いた現像処理を行い、メモリ30の画像データを圧縮伸長回路32に読み出し、圧縮伸長回路32で圧縮処理を行う。続いて、画像処理装置100は、記録媒体200又は210に画像データを書き込む記録処理を行う。   As a result, the image processing apparatus 100 performs an image capturing process in which the output signal of the image sensor 12 is written into the memory 30 via the A / D converter 16 and the memory control circuit 22. Subsequently, the image processing apparatus 100 performs development processing using the output data of the image processing circuit 20 and the memory control circuit 22, reads the image data in the memory 30 to the compression / decompression circuit 32, and performs compression processing by the compression / decompression circuit 32. Do. Subsequently, the image processing apparatus 100 performs a recording process for writing image data to the recording medium 200 or 210.

表示切替スイッチ66は、画像表示部28の表示切り替えを行うためのスイッチである。この表示切り替えにより、光学ファインダ104を用いて撮影を行う際に、液晶ディスプレイ等から成る画像表示部28への電流供給を遮断し、省電力化を図ることが可能となる。操作部70は、各種ボタンやタッチパネル等であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン等を有する。また、操作部70は、メニューや再生画像を移動するための上下左右を割り当てた十字ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等を有する。   The display changeover switch 66 is a switch for changing the display of the image display unit 28. With this display switching, when photographing is performed using the optical viewfinder 104, it is possible to cut off the current supply to the image display unit 28 including a liquid crystal display or the like to save power. The operation unit 70 includes various buttons, a touch panel, and the like, and includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, and the like. Further, the operation unit 70 includes a cross button to which a menu and a reproduced image are allocated, up / down / left / right, a shooting image quality selection button, an exposure correction button, a date / time setting button, and the like.

ズームスイッチ72は、ユーザが撮像画像の倍率変更指示を行うズーム操作手段である。このズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチを有する。このズームスイッチ72を用いることにより、ズーム制御手段44に撮影レンズ10の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ72を用いることにより、画像処理回路20による画像の切り出しや画素補間処理などによる撮像画角の電子的な変更のトリガとなる。動画再生指示部74は、動画撮影後の所定の時間内に操作することにより、撮影した動画の再生を開始させるための指示部である。   The zoom switch 72 is a zoom operation means for the user to give an instruction to change the magnification of the captured image. The zoom switch 72 includes a tele switch that changes the imaging field angle to the telephoto side and a wide switch that changes the imaging angle of view to the wide angle side. By using the zoom switch 72, the zoom control unit 44 is instructed to change the imaging field angle of the photographing lens 10, and becomes a trigger for performing an optical zoom operation. In addition, by using the zoom switch 72, the image processing circuit 20 triggers an electronic change of the imaging angle of view by image clipping or pixel interpolation processing. The moving image reproduction instruction unit 74 is an instruction unit for starting reproduction of a captured moving image by operating within a predetermined time after moving image shooting.

電源制御手段80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等を有し、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御手段80は、その検出結果及びシステム制御回路50の指示に基づいて、DC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200及び210を含む各部へ供給する。コネクタ82は、画像処理装置100本体のコネクタである。コネクタ84は、電源手段86のコネクタである。電源手段86は、アルカリ電池やリチウム電池等の一次電池や、NiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等である。   The power control means 80 includes a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like, and detects whether or not a battery is attached, the type of battery, and the remaining battery level. Further, the power control unit 80 controls the DC-DC converter based on the detection result and an instruction from the system control circuit 50, and supplies a necessary voltage to each unit including the recording media 200 and 210 for a necessary period. The connector 82 is a connector of the image processing apparatus 100 main body. The connector 84 is a connector for the power supply means 86. The power supply means 86 is a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like.

インタフェース90及び94は、メモリカードやハードディスク等の記録媒体200及び210とのインタフェースである。コネクタ92及び96は、メモリカードやハードディスク等の記録媒体200及び210と接続を行うためのコネクタである。 なお、本実施形態では、記録媒体200,210を取り付けるインタフェース90,94及びコネクタ92,96を2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数又は複数系統でもよい。また、異なる規格のインタフェース及びコネクタを組み合わせてもよい。インタフェース90,94及びコネクタ92,96としては、SDカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いることができる。   Interfaces 90 and 94 are interfaces with recording media 200 and 210 such as a memory card and a hard disk. Connectors 92 and 96 are connectors for connecting to recording media 200 and 210 such as a memory card and a hard disk. In the present embodiment, it is assumed that the interfaces 90 and 94 for attaching the recording media 200 and 210 and the connectors 92 and 96 have two systems. Of course, the interface and connector for attaching the recording medium may be a single system or a plurality of systems. Further, interfaces and connectors of different standards may be combined. As the interfaces 90 and 94 and the connectors 92 and 96, those compliant with standards such as an SD card and a CF (Compact Flash (registered trademark)) card can be used.

さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いることができる。すなわち、LANカードやモデムカード、USBカード、IEEE1394カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。   Further, the interfaces 90 and 94 and the connectors 92 and 96 that comply with the standards such as PCMCIA card and CF card can be used. That is, various communication cards such as a LAN card, a modem card, a USB card, an IEEE 1394 card, a SCSI card, a communication card such as PHS, and the like can be connected. As a result, image data and management information attached to the image data can be transferred to and from peripheral devices such as other computers and printers.

画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダ104のみを用いて撮影を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが行われる。   It is possible to perform photographing using only the optical viewfinder 104 without using the electronic viewfinder function of the image display unit 28. In the optical viewfinder 104, some functions of the display unit 54, for example, focus display, camera shake warning display, flash charge display, shutter speed display, aperture value display, exposure correction display, and the like are performed.

通信手段110は、USB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。コネクタ(アンテナ)112は、通信手段110により画像処理装置100を他の機器と接続するためのコネクタ又は無線通信のためのアンテナである。   The communication unit 110 has various communication functions such as USB, IEEE1394, LAN, and wireless communication. The connector (antenna) 112 is a connector for connecting the image processing apparatus 100 to another device by the communication unit 110 or an antenna for wireless communication.

記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等の記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うためのコネクタ206を有する。記録媒体210も、メモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等の記録部212、画像処理装置100とのインタフェース214、画像処理装置100と接続を行うためのコネクタ216を有する。   The recording medium 200 is a recording medium such as a memory card or a hard disk. The recording medium 200 includes a recording unit 202 such as a semiconductor memory or a magnetic disk, an interface 204 with the image processing apparatus 100, and a connector 206 for connecting to the image processing apparatus 100. The recording medium 210 is also a recording medium such as a memory card or a hard disk. The recording medium 210 includes a recording unit 212 such as a semiconductor memory or a magnetic disk, an interface 214 with the image processing apparatus 100, and a connector 216 for connecting to the image processing apparatus 100.

次に、ハイダイナミックレンジ画像の生成の方法について説明する。画像処理装置100は、露出量が異なる3枚の画像を撮像素子14で撮像し、画像処理回路20によりその3枚の画像の位置を合わせて合成することにより、ハイダイナミックレンジ画像を生成する。まず、画像処理装置100は、露光制御手段40のAE処理により被写体に対して感度やシャッタスピードを変えて、アンダー露出、適正露出及びオーバー露出で撮影された3枚の画像のRAWデータを撮像素子14で生成し、メモリ30に記憶する。適正露出画像(標準露出画像)は、適正露出(標準露出)で撮影された画像である。アンダー露出画像は、適正露出画像より露出量が少ないアンダー露出で撮影された画像である。オーバー露出画像は、適正露出画像より露出量が多いオーバー露出で撮影された画像である。   Next, a method for generating a high dynamic range image will be described. The image processing apparatus 100 captures three images with different exposure amounts by the image sensor 14 and combines the positions of the three images with the image processing circuit 20 to generate a high dynamic range image. First, the image processing apparatus 100 changes the sensitivity and shutter speed with respect to the subject by the AE process of the exposure control means 40, and captures RAW data of three images taken with underexposure, proper exposure, and overexposure as an image sensor. 14 and stored in the memory 30. The proper exposure image (standard exposure image) is an image taken with proper exposure (standard exposure). An under-exposure image is an image taken with under-exposure with a smaller exposure amount than a proper exposure image. An overexposed image is an image taken with overexposure having a larger exposure amount than a proper exposure image.

次に、画像処理装置100は、画像処理回路20により3枚のRAWデータをYUVデータに変換し、メモリ30に記憶し、画像処理回路20によりエッジ抽出処理を行う。エッジ抽出処理は。YUVデータの輝度情報を基に、輝度差の多い領域を抽出する処理である。次に、画像処理回路20は、抽出したエッジ情報に対して、撮影時の露出の影響を除くため、露光量の差分を基にゲイン増幅処理を行う。ゲイン増幅処理は、適正露出画像に合わせてゲインを調整してもよいし、画像合成の基準画像の露出に合わせてゲインを調整してもよい。例えば、基準画像はアンダー露出で撮影された画像であり、参照画像は適正露出及びオーバー露出で撮影された画像である。   Next, the image processing apparatus 100 converts three pieces of RAW data into YUV data by the image processing circuit 20, stores them in the memory 30, and performs an edge extraction process by the image processing circuit 20. Edge extraction process. This is a process for extracting a region having a large luminance difference based on luminance information of YUV data. Next, the image processing circuit 20 performs gain amplification processing on the extracted edge information based on the difference in exposure amount in order to remove the influence of exposure during shooting. In the gain amplification process, the gain may be adjusted according to the appropriate exposure image, or the gain may be adjusted according to the exposure of the reference image for image synthesis. For example, the reference image is an image taken with underexposure, and the reference image is an image taken with proper exposure and overexposure.

次に、画像処理回路20は、ゲイン増幅処理されたエッジ情報を基に、基準画像に対する参照画像の移動量を算出し、移動量に応じて参照画像を基準画像の位置に合わせることにより位置合わせを行う。移動量を求める例として、基準画像及び基準画像のパターンマッチングにより、被写体検出を行い、基準画像と参照画像の被写体の位置の差分により、移動量を求めることができる。移動量を求める方法は、他の方法でもよい。   Next, the image processing circuit 20 calculates a movement amount of the reference image with respect to the standard image based on the edge information subjected to the gain amplification process, and aligns the reference image with the position of the standard image according to the movement amount. I do. As an example of obtaining the movement amount, subject detection can be performed by pattern matching between the reference image and the reference image, and the movement amount can be obtained by the difference between the positions of the subject in the reference image and the reference image. Another method may be used as a method of obtaining the movement amount.

なお、画像処理回路20は、図2に示すように、画面220を複数のブロック221に分割し、ブロック221単位で、上記の基準画像と合成画像の位置合わせを行う。また、参照画像のずれが回転方向にずれることなどにより、参照画像を基準画像の位置に合わせようとすると、参照画像を変形する必要がある場合がある。画像処理回路20は、ブロック221毎に参照画像の移動量を求め、その求めた移動量を基にブロック221毎の射影変形量を求め、参照画像のブロック221を射影変換して、参照画像の位置合わせを行う。さらに、基準画像に対する参照画像の移動量演算の精度を向上させるために、黒つぶれや白飛びしている領域は位置合わせの演算に使用しない、又は露出が低い画像の明るい領域や露出が高い画像の暗い領域に重みを付けるなどの処理をしてもよい。   As shown in FIG. 2, the image processing circuit 20 divides the screen 220 into a plurality of blocks 221 and aligns the reference image and the composite image in units of the blocks 221. In addition, there is a case where the reference image needs to be deformed when trying to align the reference image with the position of the standard image due to the shift of the reference image in the rotation direction. The image processing circuit 20 obtains the amount of movement of the reference image for each block 221, obtains the projective deformation amount for each block 221 based on the obtained amount of movement, performs projective transformation on the block 221 of the reference image, and Perform alignment. Furthermore, in order to improve the accuracy of calculation of the amount of movement of the reference image with respect to the standard image, areas that are blacked out or overexposed are not used for alignment calculation, or light areas with low exposure or images with high exposure A process such as weighting the dark area may be performed.

次に、画像処理回路20は、上記の位置合わせを行った後、基準画像及び参照画像のゲイン増幅処理を行い、ゲイン増幅処理された基準画像及び参照画像を加算することにより、基準画像及び参照画像の合成を行う。画像合成は、黒潰れや白とび領域をなくすように基準画像及び参照画像を合成するため、高照度部分に対してはアンダー露出画像の比率を高くし、低照度部分に対してはオーバー露出画像の比率を高めて合成する必要がある。   Next, after performing the above alignment, the image processing circuit 20 performs gain amplification processing of the standard image and the reference image, and adds the standard image and the reference image that have been subjected to the gain amplification processing, so that the standard image and the reference image are added. Perform image composition. In image composition, the base image and reference image are composed so as to eliminate blackout and overexposed areas, so the ratio of the underexposed image is increased for the high-illuminance part, and the overexposed image is used for the low-illuminance part. It is necessary to synthesize with a higher ratio.

図3(A)は、照度と画像データのゲインの関係を示す図である。画像処理回路20は、照度に応じて、オーバー露出画像に対してゲインK1で増幅処理し、適正露出に対してゲインK2で増幅し、アンダー露出に対してゲインK3で増幅し、増幅した3枚の画像を加算することにより、ハイダイナミックレンジ画像を生成する。画像の加算は、ブロック221単位で行われる。画像処理回路20がブロック221単位で画像を合成した結果の例を図4に示す。画像処理回路20が基準画像401であるアンダー露出画像に対して、参照画像403である適正露出画像を加算した例を示す。画像処理回路20は、基準画像401に対して、参照画像403のブロック単位で位置合わせをする。位置合わせされた参照画像403の内接矩形が基準画像401内の合成領域402である。画像処理回路20は、基準画像401内の合成領域402に対して、位置合わせされた参照画像403をブロック単位で合成する。   FIG. 3A is a diagram illustrating the relationship between the illuminance and the gain of the image data. The image processing circuit 20 amplifies the overexposure image with the gain K1 according to the illuminance, amplifies the appropriate exposure with the gain K2, amplifies the underexposure with the gain K3, and amplifies the three images Are added to generate a high dynamic range image. The addition of images is performed in units of block 221. FIG. 4 shows an example of the result of the image processing circuit 20 combining images in units of blocks 221. An example is shown in which the image processing circuit 20 adds a proper exposure image that is a reference image 403 to an underexposure image that is a base image 401. The image processing circuit 20 aligns the reference image 401 in units of blocks of the reference image 403. An inscribed rectangle of the aligned reference image 403 is a synthesis area 402 in the standard image 401. The image processing circuit 20 synthesizes the reference image 403 that has been aligned with the synthesis region 402 in the standard image 401 in units of blocks.

次に、3枚の画像を加算する方法を説明する。まず、画像処理回路20は、図3(B)に示すように、基準画像であるアンダー露出画像に対してゲインK3で増幅処理し、参照画像である適正露出画像に対してゲインK2aで増幅処理し、増幅処理されたアンダー露出画像及び適正露出画像を加算する。次に、画像処理回路20は、図3(C)に示すように、アンダー露出画像及び適正露出画像を合成した画像に対してゲインK2aで増幅処理し、参照画像であるオーバー露出画像に対してゲインK1で増幅処理し、増幅処理された両方の画像を加算する。上記の2回の加算を行うことにより、オーバー露出画像と適正露出画像とアンダー露出画像は、それぞれ、図3(A)のゲインK1、K2、K3で増幅後に合成されたことになる。すなわち、画像処理回路20は、オーバー露出画像と適正露出画像とアンダー露出画像を照度に応じた比率で合成する。   Next, a method for adding three images will be described. First, as shown in FIG. 3B, the image processing circuit 20 amplifies the underexposure image that is the base image with a gain K3 and amplifies the reference image with the gain K2a. Then, the under-exposure image and the proper exposure image that have been amplified are added. Next, as shown in FIG. 3C, the image processing circuit 20 amplifies the image obtained by synthesizing the underexposure image and the proper exposure image with a gain K2a, and applies the overexposure image as the reference image. Amplification processing is performed with the gain K1, and both the amplified images are added. By performing the above two additions, the overexposed image, the proper exposed image, and the underexposed image are respectively combined after amplification by the gains K1, K2, and K3 in FIG. That is, the image processing circuit 20 combines the overexposed image, the proper exposed image, and the underexposed image at a ratio corresponding to the illuminance.

基準画像のアンダー露出画像に対して適正露出画像もオーバー露出画像も合成されない領域は、ゲイン増幅処理前のアンダー露出画像のみとなり、合成された領域よりも画像が暗くなる。基準画像の画角を記録領域にするためには、周辺の合成された領域との明るさを合わせるために、合成されていないアンダー露出画像のみの領域を1より大きいゲインで増幅処理して明るさを増加させる必要がある。   The region where neither the proper exposure image nor the overexposure image is combined with the underexposure image of the reference image is only the underexposure image before gain amplification processing, and the image is darker than the combined region. In order to make the angle of view of the reference image the recording area, the area of only the unexposed underexposed image is amplified by a gain larger than 1 in order to match the brightness with the surrounding synthesized area. Need to increase.

次に、本実施形態によるハイダイナミックレンジ画像生成処理の例を示す。図5に示すように、RAWデータ領域501は、RAWデータの画像領域である。画像データ出力領域502は、RAWデータ領域501の一部の領域である。画像記録領域503は、画像データ出力領域502の一部の領域である。画像処理回路20は、ハイダイナミックレンジ画像を生成するために、以下の処理を行う。すなわち、画像処理回路20は、メモリ30に記憶されたアンダー露出画像、適正露出画像、オーバー露出画像の3個のRAWデータ領域501のRAWデータをYUVデータに変換するときに、画像データ出力領域502の画角に対してYUVデータを生成する。画像を合成せずに記録する場合など、通常の撮影では、画像処理回路20は、画像記録領域503を除く画像データ出力領域502をノイズリダクションのための参照領域として使用し、画像記録領域503の画角のYUVデータを生成する。ハイダイナミックレンジ撮影では、画像処理回路20は、広くYUVデータを生成するために、画像データ出力領域502のYUVデータを生成する。そのために、画像処理回路20は、画像データ出力領域502の端の数画素を外側に向かってメモリ30上でコピーを繰り返し、コピーした領域をノイズリダクションなどの参照領域として使用しながらYUVデータを生成する。次に、画像処理回路20は、通常撮影より広い画角で生成したYUVデータに対してアンダー露出、適正露出、オーバー露出の3枚の画像に対して、エッジ抽出処理とゲイン増幅処理を行う。次に、画像処理回路20は、その処理結果を基に、図6に示すハイダイナミックレンジ画像作成のための処理を行う。   Next, an example of high dynamic range image generation processing according to this embodiment will be described. As shown in FIG. 5, the RAW data area 501 is an image area of RAW data. The image data output area 502 is a partial area of the RAW data area 501. The image recording area 503 is a partial area of the image data output area 502. The image processing circuit 20 performs the following processing to generate a high dynamic range image. That is, when the image processing circuit 20 converts the raw data in the three raw data areas 501 of the underexposure image, the proper exposure image, and the overexposure image stored in the memory 30 into YUV data, the image data output area 502 YUV data is generated for the angle of view. In normal shooting, such as when recording without combining images, the image processing circuit 20 uses the image data output area 502 except the image recording area 503 as a reference area for noise reduction. YUV data of an angle of view is generated. In high dynamic range imaging, the image processing circuit 20 generates YUV data in the image data output area 502 in order to generate YUV data widely. For this purpose, the image processing circuit 20 repeats copying on the memory 30 with some pixels at the end of the image data output area 502 outward, and generates YUV data while using the copied area as a reference area for noise reduction or the like. To do. Next, the image processing circuit 20 performs edge extraction processing and gain amplification processing on three images of underexposure, proper exposure, and overexposure on YUV data generated with a wider angle of view than normal shooting. Next, the image processing circuit 20 performs processing for creating a high dynamic range image shown in FIG. 6 based on the processing result.

図6は、本実施形態による画像処理装置100の画像処理方法を示すフローチャートであり、ハイダイナミックレンジ画像作成のための処理を示す。まず、ステップS601では、画像処理回路(画像合成部)20は、アンダー露出画像を基準画像として設定する。次に、ステップS602では、画像処理回路20は、アンダー露出画像に対する適正露出画像の位置合わせにより、アンダー露出画像と適正露出画像の合成領域を算出する。合成領域については、前述したエッジ抽出処理によるエッジ情報のレベル調整を行ったものを基に、基準画像であるアンダー露出画像に対して参照画像である適正露出画像のブロック単位での位置合わせをするための演算を行い、画像の合成領域を算出する。位置合わせ及び画像の合成領域の算出方法は、前述した位置合わせや合成の方法を用いてもよいし、他の方法を用いてもよい。前述した方法を用いた場合、画像合成を行った場合と合成領域の算出の例は、図4のようになる。   FIG. 6 is a flowchart showing an image processing method of the image processing apparatus 100 according to the present embodiment, and shows processing for creating a high dynamic range image. First, in step S601, the image processing circuit (image composition unit) 20 sets an underexposed image as a reference image. Next, in step S602, the image processing circuit 20 calculates a composite region of the under-exposure image and the proper exposure image by aligning the proper exposure image with the under-exposure image. With respect to the composite area, the appropriate exposure image that is the reference image is aligned in blocks with the underexposure image that is the reference image based on the edge information level adjustment performed by the edge extraction process described above. For this purpose, an image synthesis area is calculated. As a method of calculating the registration and image synthesis area, the above-described registration and synthesis methods may be used, or other methods may be used. When the above-described method is used, an example in which image composition is performed and a composite area is calculated are as shown in FIG.

次に、ステップS603では、画像処理回路20は、上記のアンダー露出画像と適正露出画像の合成領域をメモリ30に記憶する。次に、ステップS604では、画像処理回路20は、ステップS602と同様に、アンダー露出画像に対するオーバー露出画像の位置合わせにより、アンダー露出画像とオーバー露出画像の合成領域を算出する。次に、ステップS605では、画像処理回路20は、基準画像であるアンダー露出画像に対して、ファイルとして記録する画像記録領域503の画角に対して適正露出画像もオーバー露出画像も合成されない領域があるか否かを判定する。適正露出画像もオーバー露出画像も合成されない領域がない場合はステップS606に進み、適正露出画像もオーバー露出画像も合成されない領域がある場合はステップS608に進む。   Next, in step S <b> 603, the image processing circuit 20 stores the composite area of the underexposed image and the appropriate exposed image in the memory 30. Next, in step S604, the image processing circuit 20 calculates a composite area of the underexposed image and the overexposed image by aligning the overexposed image with respect to the underexposed image, as in step S602. Next, in step S605, the image processing circuit 20 has an area in which neither the proper exposure image nor the overexposure image is combined with the angle of view of the image recording area 503 recorded as a file with respect to the underexposure image that is the reference image. It is determined whether or not there is. If there is no area where neither the proper exposure image nor the overexposure image is combined, the process proceeds to step S606. If there is an area where neither the proper exposure image nor the overexposure image is combined, the process proceeds to step S608.

すなわち、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がない場合には、ステップS606に進む。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域がある場合には、ステップS608に進む。   That is, when the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, there is no region where the aligned image does not overlap with the under-exposure image. In the case, the process proceeds to step S606. On the other hand, when the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the area where the aligned image does not overlap with the under-exposure image If there is, the process proceeds to step S608.

なお、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より狭い場合には、ステップS606に進むようにしてもよい。これに対し、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせた場合に、アンダー露出画像に対して、位置を合わせた画像が重ならない領域が閾値より広い場合には、ステップS608に進むようにしてもよい。   In addition, when the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, an area where the aligned image does not overlap with the under-exposure image is a threshold value. If it is narrower, the process may proceed to step S606. On the other hand, when the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the area where the aligned image does not overlap with the under-exposure image If is larger than the threshold value, the process may proceed to step S608.

また、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より小さい場合には、ステップS606に進むようにしてもよい。これに対し、アンダー露出画像、適正露出画像及びオーバー露出画像間の移動量が閾値より大きい場合には、ステップS608に進むようにしてもよい。   If the amount of movement between the underexposed image, the properly exposed image, and the overexposed image is smaller than the threshold value, the process may proceed to step S606. On the other hand, if the amount of movement between the underexposed image, the proper exposed image, and the overexposed image is larger than the threshold value, the process may proceed to step S608.

ステップS606では、画像処理回路20は、アンダー露出画像(基準画像)に対して適正露出画像を位置合わせし、上記の図3(B)を参照しながら説明した方法により、アンダー露出画像と適正露出画像を合成する。次に、ステップS607では、画像処理回路20は、アンダー露出画像(基準画像)に対してオーバー露出画像を位置合わせし、上記の図3(C)を参照しながら説明した方法により、ステップS606で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。   In step S606, the image processing circuit 20 aligns the proper exposure image with the underexposure image (reference image), and performs the underexposure image and the proper exposure by the method described with reference to FIG. Composite the images. Next, in step S607, the image processing circuit 20 aligns the overexposed image with respect to the underexposed image (reference image), and in step S606, the method described with reference to FIG. The synthesized image and the overexposed image are synthesized. As a result, a high dynamic range image is generated, and the process ends.

ステップS608では、画像処理回路20は、適正露出画像を基準画像として設定する。次に、ステップS609では、画像処理回路20は、適正露出画像(基準画像)に対してアンダー露出画像を位置合わせし、上記の図3(B)を参照しながら説明した方法と同様に、適正露出画像とアンダー露出画像を合成する。次に、ステップS610では、画像処理回路20は、適正露出画像(基準画像)に対してオーバー露出画像を位置合わせし、上記の図3(C)を参照しながら説明した方法と同様に、ステップS609で合成された画像とオーバー露出画像を合成する。これにより、ハイダイナミックレンジ画像を生成し、処理を終了する。この場合、適正露出画像(基準画像)に対してアンダー露出画像もオーバー露出画像も合成されなかった領域があっても、適正露出画像は、合成画像に対して明るさが変わらないため、ゲイン増幅処理する必要がない。   In step S608, the image processing circuit 20 sets a proper exposure image as a reference image. Next, in step S609, the image processing circuit 20 aligns the under-exposure image with the appropriate exposure image (reference image), and, as in the method described with reference to FIG. Combine the exposed image and the underexposed image. Next, in step S610, the image processing circuit 20 aligns the overexposed image with respect to the proper exposure image (reference image), and in the same manner as the method described with reference to FIG. The image synthesized in S609 and the overexposed image are synthesized. As a result, a high dynamic range image is generated, and the process ends. In this case, even if there is a region where neither the under-exposure image nor the over-exposure image is combined with the appropriate exposure image (reference image), the brightness of the appropriate exposure image does not change with respect to the composite image, so gain amplification There is no need to process.

以上のように、ステップS606及びS607では、画像処理回路20は、アンダー露出画像に対して、撮影された複数の画像のうちのアンダー露出画像を除く画像の位置を合わせ、アンダー露出画像に対して、位置を合わせた画像を合成する。これに対し、ステップS609及びS610では、画像処理回路20は、適正露出画像に対して、撮影された複数の画像のうちの適正露出画像を除く画像の位置を合わせ、適正露出画像に対して、位置を合わせた画像を合成する。   As described above, in steps S606 and S607, the image processing circuit 20 aligns the position of the image excluding the underexposed image among the plurality of captured images with respect to the underexposed image, and applies the , And synthesize the images that are aligned. On the other hand, in steps S609 and S610, the image processing circuit 20 aligns the position of the image excluding the proper exposure image among the plurality of captured images with respect to the proper exposure image, and Synthesize an image that is aligned.

本実施形態では、図4に示すように、画像を合成するための基準画像401及び参照画像403のYUVデータの領域を合成画像の領域402よりも広くする。すなわち、画像処理回路20により合成された合成画像の領域402のサイズは、撮影された基準画像41及び参照画像403のサイズより小さい。これにより、ステップS606及びS607では、アンダー露出画像、適正露出画像、オーバー露出画像の位置ずれがあっても、情報量が多いアンダー露出画像を基準画像として使用し、高画質の合成画像を生成することができる。また、ステップS609及びS610では、画像間の位置ずれが大きくアンダー露出画像をゲインアップしなければならない場合においても、基準画像を適正露出画像に設定することで、合成領域と合成されない領域との輝度レベルを合わせる必要なくなる。この場合、合成領域と合成されない領域との輝度レベルは合っているので、合成されない領域のゲインアップの必要がなくなり、ゲインアップのための増幅による画像ノイズを防止することができる。   In the present embodiment, as shown in FIG. 4, the YUV data area of the standard image 401 and the reference image 403 for synthesizing images is made wider than the area 402 of the synthesized image. That is, the size of the region 402 of the synthesized image synthesized by the image processing circuit 20 is smaller than the sizes of the captured standard image 41 and reference image 403. Thereby, in steps S606 and S607, even if there is a misalignment between the underexposed image, the proper exposed image, and the overexposed image, the underexposed image having a large amount of information is used as the reference image to generate a high-quality composite image. be able to. Also, in steps S609 and S610, even when there is a large misalignment between images and the gain of the underexposed image needs to be increased, the brightness of the combined region and the region that is not combined is set by setting the reference image as a proper exposed image. No need to match levels. In this case, since the luminance levels of the synthesis area and the non-synthesis area match, it is not necessary to increase the gain of the non-synthesis area, and image noise due to amplification for gain increase can be prevented.

本実施形態では、3枚の画像を合成してハイダイナミックレンジ画像を生成しているが、アンダー露出画像と適正露出画像の2枚の画像を合成してハイダイナミックレンジ画像を生成してもよい。また、画像の位置合わせに画像のエッジを抽出して位置合わせを行っているが、カメラのジャイロ情報や加速度センサなどを用いてカメラの移動量と画像の撮影タイミングを基に画像間の位置ずれを求めるなど、他の方法を用いてもよい。   In this embodiment, a high dynamic range image is generated by combining three images. However, a high dynamic range image may be generated by combining two images of an under-exposure image and a proper exposure image. . Image alignment is performed by extracting image edges for image alignment. However, the position shift between images is based on the amount of camera movement and the timing of image capture using camera gyro information and acceleration sensors. For example, other methods may be used.

また、画像合成は、画像を四角形のブロック221に分割して合成したが、この方法に限らずに、画像を分割せずに画像合成を行ったり、分割方法を変えて合成してもよい。また、画像の合成領域402は、2枚の画像が重なる部分の内接矩形を合成領域402としたが、矩形以外の形で合成できる領域を合成可能な範囲まで広げてもよい。   The image composition is performed by dividing the image into rectangular blocks 221. However, the image composition is not limited to this method, and the image composition may be performed without dividing the image, or the image may be synthesized by changing the division method. Further, in the image combining area 402, the inscribed rectangle where the two images overlap is defined as the combining area 402, but the area that can be combined in a shape other than the rectangle may be expanded to a range that can be combined.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

10 撮影レンズ、12 シャッタ、14 撮像素子、16 A/D変換器、18 タイミング発生回路、20 画像処理回路 DESCRIPTION OF SYMBOLS 10 Shooting lens, 12 Shutter, 14 Image pick-up element, 16 A / D converter, 18 Timing generation circuit, 20 Image processing circuit

Claims (11)

標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
前記画像合成部は、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。
An image combining unit that combines a plurality of images shot at different exposure amounts including a standard exposure image and an under-exposure image whose exposure amount is less than that of the standard exposure image;
The image composition unit
When the movement amount between the plurality of captured images is smaller than a threshold value, the under-exposed image is aligned with the position of the image excluding the under-exposed image among the plurality of captured images, Combine the image with the above position against the underexposed image,
When the movement amount between the plurality of captured images is larger than the threshold value, the position of the image excluding the standard exposure image among the plurality of captured images is aligned with the standard exposure image, An image processing apparatus, wherein an image in which the position is matched is synthesized with the standard exposure image.
標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成部を有し、
前記画像合成部は、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする画像処理装置。
An image combining unit that combines a plurality of images shot at different exposure amounts including a standard exposure image and an under-exposure image whose exposure amount is less than that of the standard exposure image;
The image composition unit
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the region is narrower than a threshold, the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, and the position is determined with respect to the under-exposure image. Combining the combined images,
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the area is wider than the threshold, the position of the image excluding the standard exposure image of the plurality of captured images is aligned with the standard exposure image, and the position with respect to the standard exposure image An image processing apparatus characterized in that an image obtained by combining the images is synthesized.
前記画像合成部は、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がない場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成し、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域がある場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成することを特徴とする請求項2記載の画像処理装置。
The image composition unit
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When there is no area, the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, and the position is aligned with the under-exposure image Combine the images,
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When there is a region, the position of the image excluding the standard exposure image of the plurality of captured images is aligned with the standard exposure image, and the position is aligned with the standard exposure image. The image processing apparatus according to claim 2, wherein the images are synthesized.
前記画像合成部は、前記標準露出画像、前記アンダー露出画像及び前記標準露出画像より露出量が多いオーバー露出画像を含む異なる露出量で撮影された複数の画像を合成することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。   The image composition unit synthesizes a plurality of images taken at different exposure amounts including the standard exposure image, the underexposure image, and an overexposure image having a larger exposure amount than the standard exposure image. The image processing apparatus according to any one of 1 to 3. 前記画像合成部により合成された合成画像のサイズは、前記撮影された複数の画像のサイズより小さいことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。   5. The image processing apparatus according to claim 1, wherein a size of a synthesized image synthesized by the image synthesizing unit is smaller than a size of the plurality of captured images. 前記画像合成部は、前記画像を複数のブロックに分割し、前記ブロック単位で合成することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image synthesis unit divides the image into a plurality of blocks and synthesizes the blocks in units of blocks. 前記画像合成部は、前記撮影された複数の画像を照度に応じた比率で合成することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image composition unit synthesizes the plurality of photographed images at a ratio according to illuminance. 画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
前記画像合成ステップは、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。
The image composition unit comprises an image composition step of compositing a plurality of images photographed with different exposure amounts including a standard exposure image and an underexposure image having a smaller exposure amount than the standard exposure image,
The image composition step includes
When the movement amount between the plurality of captured images is smaller than a threshold value, the under-exposed image is aligned with the position of the image excluding the under-exposed image among the plurality of captured images, Synthesizing an image in which the position is aligned with an underexposed image;
When the movement amount between the plurality of captured images is larger than the threshold value, the position of the image excluding the standard exposure image among the plurality of captured images is aligned with the standard exposure image, An image processing method comprising: synthesizing an image in which the position is matched with the standard exposure image.
画像合成部により、標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップを有し、
前記画像合成ステップは、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とする画像処理方法。
The image composition unit comprises an image composition step of compositing a plurality of images photographed with different exposure amounts including a standard exposure image and an underexposure image having a smaller exposure amount than the standard exposure image,
The image composition step includes
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the region is narrower than a threshold, the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, and the position is determined with respect to the under-exposure image. Compositing the combined images; and
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the area is wider than the threshold, the position of the image excluding the standard exposure image of the plurality of captured images is aligned with the standard exposure image, and the position with respect to the standard exposure image And an image processing method characterized by comprising: synthesizing images combined with each other.
標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
前記画像合成ステップは、
前記撮影された複数の画像間の移動量が閾値より小さい場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記撮影された複数の画像間の移動量が前記閾値より大きい場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。
A program for causing a computer to execute an image synthesizing step for synthesizing a plurality of images shot at different exposure amounts including a standard exposure image and an under-exposure image whose exposure amount is smaller than that of the standard exposure image,
The image composition step includes
When the movement amount between the plurality of captured images is smaller than a threshold value, the under-exposed image is aligned with the position of the image excluding the under-exposed image among the plurality of captured images, Synthesizing an image in which the position is aligned with an underexposed image;
When the movement amount between the plurality of captured images is larger than the threshold value, the position of the image excluding the standard exposure image among the plurality of captured images is aligned with the standard exposure image, And a step of synthesizing an image obtained by aligning the position with the standard exposure image.
標準露出画像及び前記標準露出画像より露出量が少ないアンダー露出画像を含む異なる露出量で撮影された複数の画像を合成する画像合成ステップをコンピュータに実行させるためのプログラムであって、
前記画像合成ステップは、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が閾値より狭い場合には、前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせ、前記アンダー露出画像に対して、前記位置を合わせた画像を合成するステップと、
前記アンダー露出画像に対して、前記撮影された複数の画像のうちの前記アンダー露出画像を除く画像の位置を合わせた場合に、前記アンダー露出画像に対して、前記位置を合わせた画像が重ならない領域が前記閾値より広い場合には、前記標準露出画像に対して、前記撮影された複数の画像のうちの前記標準露出画像を除く画像の位置を合わせ、前記標準露出画像に対して、前記位置を合わせた画像を合成するステップとを有することを特徴とするプログラム。
A program for causing a computer to execute an image synthesizing step for synthesizing a plurality of images shot at different exposure amounts including a standard exposure image and an under-exposure image whose exposure amount is smaller than that of the standard exposure image,
The image composition step includes
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the region is narrower than a threshold, the position of the image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, and the position is determined with respect to the under-exposure image. Compositing the combined images; and
When the position of an image excluding the under-exposure image among the plurality of captured images is aligned with the under-exposure image, the image aligned with the position does not overlap with the under-exposure image. When the area is wider than the threshold, the position of the image excluding the standard exposure image of the plurality of captured images is aligned with the standard exposure image, and the position with respect to the standard exposure image And synthesizing a combined image.
JP2015043835A 2015-03-05 2015-03-05 Image processing apparatus, image processing method, and program Pending JP2016163327A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015043835A JP2016163327A (en) 2015-03-05 2015-03-05 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015043835A JP2016163327A (en) 2015-03-05 2015-03-05 Image processing apparatus, image processing method, and program

Publications (1)

Publication Number Publication Date
JP2016163327A true JP2016163327A (en) 2016-09-05

Family

ID=56845568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015043835A Pending JP2016163327A (en) 2015-03-05 2015-03-05 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2016163327A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images

Similar Documents

Publication Publication Date Title
JP4035543B2 (en) Imaging device
US8837864B2 (en) Image synthesis and rotation processing apparatus and image synthesis processing method
JP5366584B2 (en) Imaging apparatus, image processing method, and program
JP6116299B2 (en) Imaging apparatus and control method thereof
JP5889247B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
US10839497B2 (en) Image processing apparatus and method
JP6192416B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2011049685A (en) Imaging apparatus, and method for controlling the same
JP6116436B2 (en) Image processing apparatus and image processing method
US20160012562A1 (en) Image processing apparatus and image processing method
JP5780885B2 (en) Imaging device, control method thereof, and control program
JP6148497B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP2012090041A (en) Image processing device, method, and program
JP2015041865A (en) Image processing apparatus and image processing method
JP2016163327A (en) Image processing apparatus, image processing method, and program
JP2015097322A (en) Imaging apparatus, control method of the same, program, and storage medium
JP6353585B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2015053652A (en) Imaging apparatus, and control method and control program for the same
JP6433177B2 (en) Image processing apparatus and image processing method
JP2019106647A (en) Image processing apparatus and method, and imaging device
JP2017038300A (en) Image processing apparatus and method
JP2014135589A (en) Image processing device, control method therefor, and control program
JP2007259304A (en) Imaging apparatus, its control method, computer program and storage medium
JP6278689B2 (en) Album generating apparatus, control method thereof, and control program
JP2012124828A (en) Image processing device, image processing method, and program