JP2010135921A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2010135921A
JP2010135921A JP2008307700A JP2008307700A JP2010135921A JP 2010135921 A JP2010135921 A JP 2010135921A JP 2008307700 A JP2008307700 A JP 2008307700A JP 2008307700 A JP2008307700 A JP 2008307700A JP 2010135921 A JP2010135921 A JP 2010135921A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
frame
luminance
means
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008307700A
Other languages
Japanese (ja)
Other versions
JP5144481B2 (en )
Inventor
Koji Kaseda
浩司 綛田
Original Assignee
Fujifilm Corp
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To prevent deterioration of image quality due to stroboscope-light emitted from a camera possessed by another person when photographing a through image or a moving video image using a rolling shutter method. <P>SOLUTION: When there is a flash of light emitting by another person during reading out of a frame B, high luminance regions are detected over two frames of the frames B, C. Therefore, data of the frames B, C are not used, and image data of a frame A which are acquired before the frames B, C, and does not detect the high luminance region, are alternatively displayed on an LCD 40. By the method, it is prevented that a part of a screen becomes an unnatural through image or video image caused by over-exposure phenomenon. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は撮像装置及び撮像方法にかかり、スルー画や動画撮影時に発生する画面の輝度ムラをなくす撮影装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method, relates to imaging apparatus and an imaging method eliminate brightness unevenness of the screen which occurs when the through image or moving image.

CMOSセンサを用いた撮像装置においては、2次元状に電荷蓄積素子が配列された撮像素子に各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ方式が用いられる。 In the imaging device using a CMOS sensor, as well as to start charge accumulation at different times for each line in the image pickup device charge storage elements are arranged two-dimensionally, in each line after a predetermined charge accumulation time rolling shutter system for reading an image signal is used.

このローリングシャッタ方式は、各ライン毎に画像信号を読み出す時間が異なるという特徴があるため、ストロボ撮影を行う場合には、発光タイミングによっては撮影画面内の列方向(ライン読み出し方向)に輝度ムラが生じるといった問題がある。 The rolling shutter method, since the time to read the image signals for each line is a characteristic that varies, when performing flash photography, depending emission timing luminance unevenness in the column direction (line readout direction) of the photographing screen is there is a problem arise.

このローリングシャッタによる輝度ムラを軽減するために、特許文献1には、最初のラインの電荷蓄積開始時から最後のラインの電荷蓄積終了時まで常にストロボを発光し続ける撮像装置が開示されている。 In order to reduce the luminance unevenness caused by the rolling shutter, Patent Document 1, always imaging device continues to emit light flash from the time of the charge accumulation start of the first line to the charge storage at the end of the last line is disclosed.
特開2007−324649号公報 JP 2007-324649 JP

しかしながら、特許文献1に記載の発明は、撮像装置自体に設けられたストロボを発光する場合における輝度ムラを軽減するための技術である。 However, the invention described in Patent Document 1 is a technique for reducing the luminance unevenness in the case of electronic flash that is provided in the imaging device itself. 撮像装置自体に設けられたストロボであれば、発光タイミングを制御することも可能であるが、他人が所有するカメラのフラッシュ光の発光タイミングを制御することはできない。 If flash provided in the imaging device itself, although it is also possible to control the emission timing, it is impossible to control the emission timing of the flash light of the camera to be owned by another person.

そのため、例えば結婚式や記者会見などの多くのカメラが同時にストロボを発光させるシーンにおいて、各ライン毎に画像信号を読み出す時間が異なるローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光によって画面の一部のみが白トビする(輝度ムラが発生する)こと等により画質が劣化することを防止することはできないという問題がある。 Therefore, for example, in a scene where many cameras Turn on the flash simultaneously, such as a wedding or a press conference, in the event of imaging a through image or video using the time to read the image signals for each line are different rolling shutter system, others there is a problem that only a part of the screen by flash light camera emitted owned by overexposed (luminance unevenness) can not be prevented that image quality is deteriorated due to such things.

本発明はこのような事情に鑑みてなされたもので、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる撮像装置及び撮像方法を提供することを目的とする。 The present invention has been made in view of such circumstances, in the case of performing photographing of the through image or video using the rolling shutter system, preventing the deterioration of image quality due to the flash light emitted camera owned by others and an object thereof is to provide an imaging apparatus and an imaging method capable.

前記目的を達成するために、請求項1に記載の撮像装置は、被写体を撮像するための複数の電荷蓄積素子が2次元に配列された撮像素子と、前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、を有する撮像装置において、撮影画面のライン方向の輝度を算出する輝度算出手段と、前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域(以下、高輝度領域という)が帯状に存在するか否かを判定する判定手 To achieve the above object, an imaging apparatus according to claim 1 includes an imaging device having a plurality of charge storage elements for imaging a subject are arrayed in a two-dimensional, different timing for each line of the imaging device together to start charge accumulation in a rolling shutter means for reading an image signal to each line after a predetermined charge accumulation time, captured by the imaging device based on an image signal read by the rolling shutter means in the image pickup apparatus including output means for outputting sequentially display means or recording medium an image of a plurality of frames, and a luminance calculation means for calculating the luminance of the line direction of the photographing screen, the line direction calculated by the luminance calculation means based on the luminance, the luminance is higher than a predetermined threshold value region (hereinafter referred to as the high luminance region) determining hand whether there in a strip と、前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、を備え、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする。 If, when said high luminance area is determined to exist in a band shape by determining means, and a luminance unevenness removing means for removing the high-luminance area of ​​the image of the frame the high luminance area exists in a strip, the when the high luminance region is determined to exist in a band shape by determining means, characterized in that the image high luminance region has been removed by the luminance unevenness removing means from said output means is output.

請求項1に記載の撮像装置によれば、撮影画面のライン方向の輝度を算出し、輝度が所定の閾値以上高い領域(高輝度領域)が帯状に存在するか否かを判定する。 According to the imaging apparatus according to claim 1, determines whether to calculate the luminance of the line direction of the photographing screen, a high area brightness is more than a predetermined threshold value (high luminance region) is present in the strip. そして、高輝度領域が帯状に存在すると判定された場合には、高輝度領域が除去された画像を出力する。 When the high luminance region is determined to exist in a strip outputs an image highly bright region is removed. これにより、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出し、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる。 Thus, in the event of imaging a through image or video using a rolling shutter system, detecting whether a camera owned by others to the flash, a part of the screen by flash light of the camera owned by others it is possible to prevent the deterioration of image quality of the through images and videos due to become bright. なお、高輝度領域が帯状に存在するフレームの画像の高輝度領域を除去する輝度ムラ除去手段としては、高輝度領域の画像を高輝度領域で無い画像と置き換える手段を用いてもよい。 As the luminance unevenness removing means for removing a high-luminance area of ​​the image of the frame which the high luminance area exists in a band, may be used means for replacing the image of the high luminance region and the image without a high luminance region.

請求項2に記載の撮像装置は、請求項1に記載の撮像装置において、前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする。 The imaging apparatus according to claim 2, in the imaging apparatus according to claim 1, wherein the luminance calculation means divides the photographing screen into a plurality of regions, the luminance of the line direction based on the brightness of each divided region and calculates a.

請求項3に記載の撮像装置は、請求項2に記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、 The imaging apparatus according to claim 3, in the imaging apparatus according to claim 2, wherein the luminance calculation unit calculates an average value of the luminance of the line direction of the divided area based on the brightness of each divided region,
前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。 It said determination means, the average value of the luminance of the line direction of the divided areas and judging the high luminance region higher region than a predetermined threshold value.

請求項3に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、その平均値が所定の閾値以上高い領域を高輝度領域と判定する。 According to the imaging apparatus according to claim 3, and each divided region every based on the luminance calculates the average value of the luminance of the line direction of the divided region, the high brightness area average value thereof is high region above a predetermined threshold value judge. これにより、高輝度領域の判定を容易に行うことができる。 Thus, it is possible to easily determine the high luminance region.

請求項4に記載の撮像装置は請求項2又は3のいずれかに記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、前記出力手段は、前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記輝度ムラ除去手段により高輝度領域が除去された画像を出力することを特徴とする。 The imaging apparatus according to any imaging apparatus according to claim 2 or 3 according to claim 4, wherein the brightness calculation means, a luminance variation of the divided region in the line direction based on the brightness of each divided region calculated, the determination means, the variation of the luminance calculated by the luminance calculation means is equal to or within a predetermined threshold value, the output means, the high luminance area exists in a band shape by the determination unit it is determined, and the luminance variation of the divided region of the line direction and outputs an image high luminance region has been removed by the luminance unevenness removing means only when it is determined to be within a predetermined threshold.

請求項4に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、その輝度のバラツキが所定の閾値以内であるか否かを判定し、高輝度領域が帯状に存在すると判定され、かつ輝度のバラツキが所定の閾値以内であると判定された場合には、高輝度領域が除去された画像を出力する。 According to the imaging apparatus according to claim 4, calculates the variation in luminance of the divided region in the line direction based on the brightness of each divided region, determining the variation of the brightness whether within a predetermined threshold value and, it is determined that the high luminance area exists in a band shape, and if the variation in luminance is determined to be within a predetermined threshold value, outputs an image high luminance region has been removed. これにより、他者のフラッシュ発光を確実に検出することができる。 This makes it possible to reliably detect the flash emission of the others.

請求項5に記載の撮像装置は、請求項1から4のいずれかに記載の撮像装置において、前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの1つ前のフレームの輝度との差分を算出する差分算出手段を備え、前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。 The imaging apparatus according to claim 5, in the imaging apparatus according to any one of claims 1 to 4, a difference in luminance of the calculated line direction by the brightness calculation means, and the luminance of the current frame, the current comprising a differential calculating means for calculating a difference between the luminance of the previous frame of the frame, said determination means determines the region difference of the calculated high brightness than the predetermined threshold value by the difference calculation means and the high luminance region characterized in that it.

請求項5に記載の撮像装置によれば、現フレームの輝度と、現フレームの1つ前のフレームの輝度との差分を算出し、その差分が所定の閾値以上高い領域を高輝度領域と判定する。 According to the imaging apparatus according to claim 5, determining the luminance of the current frame, calculates a difference between the luminance of the previous frame of the current frame, the difference is a higher region than a predetermined threshold value and a high luminance region to. これにより、より確実に高輝度領域を判定することができる。 This makes it possible to determine more reliably high luminance area.

請求項6に記載の撮像装置は、請求項1から5のいずれかに記載の撮像装置において、前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム(以下、低輝度フレームという)の画像をに置き換えることにより前記高輝度領域を除去することを特徴とする。 The imaging apparatus according to claim 6, in the imaging apparatus according to any one of claims 1 to 5, wherein the luminance nonuniformity removal means an image of the current frame, if the high luminance area exists in a band shape by the determination unit determination are not even frame (hereinafter, referred to as low-luminance frame) and removing the high luminance region by replacing the image. これにより、容易に高輝度領域を除去することができる。 Thus, it is possible to easily remove the high-luminance region.

請求項7に記載の撮像装置は、請求項1から6のいずれかに記載の撮像装置において、前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする。 The imaging apparatus according to claim 7, a exposure control means for controlling the exposure in the image pickup apparatus according to any one of claims 1 to 6, so that the proper exposure value based on the image signal, wherein when a high luminance region the judgment means judges to be in the band, the exposure control means for controlling to a predetermined value that is higher exposure value than the proper exposure value exposure frames taken after the determination characterized by comprising a.

請求項7に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値で撮影する。 According to the imaging apparatus according to claim 7, when the high luminance region is determined to exist in a band, the photographing exposure frames taken after determining only high exposure value predetermined value than the proper exposure value to. これにより、他人のフラッシュ発光があったかのような画像を残すことができる。 Thus, it is possible to leave the image as if there was a flash of others. なお、露出を高くして撮影するのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。 Note that to shoot a higher exposure is immediately after the determination frame is desired, need not be immediately determined frame.

請求項8に記載の撮像装置は、請求項1から6のいずれかに記載の撮像装置において、閃光を発して前記被写体を照明する閃光手段と、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、を備えたこをと特徴とする。 The imaging apparatus according to claim 8, in the imaging apparatus according to any one of claims 1 to 6, and flash means for illuminating said object emits a flash, the high luminance area exists in a band shape by the determination unit when it is determined, the first stop emission before charge accumulation end of the line to end the charge accumulated in the last to start the light emission after the charge storage start of a line to start the charge storage of the frame to be photographed after the determination a flash control means for controlling said flash means, the this with the and characterized as.

請求項8に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後のフレームをフラッシュ撮影する。 According to the imaging apparatus according to claim 8, when the high luminance region is determined to exist in a strip, the flash photography frame after determination. これにより、他人のフラッシュ発光があったかのような画像を残すことができる。 Thus, it is possible to leave the image as if there was a flash of others. なお、フラッシュ撮影を行うのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。 Incidentally, perform flash photography is immediately after the determination frame is desired, need not be immediately determined frame.

請求項9に記載の撮像装置は、請求項1から6のいずれかに記載の撮像装置において、前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する2フレームにまたがって存在し、かつ前記高輝度領域の合計が略1画面分であることを検出する検出手段と、前記検出手段により略1画面分であることが検出された高輝度領域を合成して1フレーム分の高輝度の画像を生成する合成手段と、を備え、前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する2フレームにまたがって存在し、かつ前記高輝度領域の合計が略1画面分であることが検出された場合には、前記連続する2フレームの後のフレームの画像に変えて、前記合成手段により合成された画像を出力すること The imaging apparatus according to claim 9, present across two frames in the imaging apparatus according to any one of claims 1 to 6, wherein the frame high luminance region the judgment means judges to be present in the strip is continuous and, and a detection means for detecting that the sum of the high luminance region is substantially one screen, by combining the high-brightness region is detected that is approximately one screen of one frame by said detecting means comprising synthesizing means for generating an image of high luminance and, said output means, the high luminance area exists across two frames frame determined to be present in the strip is continuous by the detecting means, and the high If the sum of the luminance area is detected to be approximately one screen, instead of the image frame after two frames the successive outputting the image synthesized by said synthesizing means 特徴とする。 And features.

請求項9に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定されたフレームが連続する2フレームにまたがって存在し、かつ前記高輝度領域の合計が略1画面分であることが検出された場合には、連続する2フレームの後のフレームの画像に変えて、連続する2フレームの高輝度領域を合成した画像を出力する。 According to the imaging apparatus according to claim 9, that the high luminance area exists across two frames frame determined to be present in the strip is a continuous, and the sum of the high luminance region is substantially one screen There when it is detected, instead of the image frame after two consecutive frames, and outputs the image obtained by combining the high-luminance region of the consecutive two frames. これにより、他人のフラッシュ発光があったかのような画像を残すことができる。 Thus, it is possible to leave the image as if there was a flash of others. なお、合成画像を出力するのは、高輝度領域が帯状に存在すると判定された連続する2フレーム直後のフレームが望ましいが、直後のフレームである必要は無い。 Incidentally, to output the composite image is two frames after frame high brightness area is a continuous is determined to exist in a band is desired, it needs not be immediately after the frame.

請求項10に記載の撮像装置は、請求項2に記載の撮像装置によれば、前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする。 The imaging apparatus according to claim 10, according to the imaging apparatus according to claim 2, wherein the brightness calculation means, the width of the read width than the read direction of the divided region is set a narrow split area, the calculating a luminance width of the read direction is narrow line in the line direction based on the brightness of the narrow divided regions read direction, the determining means, the width of said read direction based on the brightness of the narrow line in the line direction wherein the high-brightness region to determine whether existing in strip. これにより、検出の精度を高くすることができる。 Thus, it is possible to increase the accuracy of detection.

請求項11に記載の撮像装置は、請求項1から10のいずれかに記載の撮像装置において、前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする。 The imaging apparatus according to claim 11, in the imaging apparatus according to any one of claims 1 to 10, the rolling shutter unit, when the high luminance region is determined to exist in a band shape by the determining means, and it switches to the interlaced scanning from sequential scanning timing of reading the image signal of the imaging element. これにより、他者のフラッシュ発光による画面の一部の露出オーバー画面の確率を減らすことができる。 This can reduce the probability of some overexposed screen of the screen due to flash emission of another person.

請求項12に記載の撮像装置は、請求項1から11のいずれかに記載の撮像装置において、所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段とを備えたことを特徴とする。 The imaging apparatus according to claim 12 set, in the imaging apparatus according to any one of claims 1 to 11, an imaging mode setting means for setting a shooting mode according to a desired shooting scene, by the photographing mode setting unit photo-shutter mode is characterized in that a control means for operating the difference calculating means and said determining means only when the predetermined photographing mode.

請求項12に記載の撮像装置によれば、所定の撮影モード、すなわち他者のフラッシュ発光が発生しやすい撮影モードの場合にのみ現フレームの変わりに低輝度フレームの画像を出力する制御を行うことができる。 According to the imaging apparatus according to claim 12, the predetermined photographing mode, i.e. performing control of outputting the image of low luminance frames instead of the current frame only if the flash light emission is likely to occur shooting mode others can.

請求項13に記載の撮像装置は、請求項1から12のいずれかに記載の撮像装置において、前記複数フレームの画像は動画であることを特徴とする。 The imaging apparatus according to claim 13, in the imaging apparatus according to any one of claims 1 to 12, characterized in that images of said plurality of frames is a moving image.

請求項13に記載の撮像方法は、被写体を撮像するための複数の電荷蓄積素子が2次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域(以下、高輝度領域という)が帯状に存在するか否かを判定するステップと、前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次 The imaging method according to claim 13, together to start charge accumulation at a plurality of different timings for each line of an image sensor charge storage elements arranged in a two-dimensional for imaging an object, a predetermined charge accumulation time a step of reading image signals for each line after a, calculating the brightness of the line direction of the imaging screen based on the read out image signal, based on the luminance of the calculated line direction, luminance there predetermined threshold or more higher than the area (hereinafter, high as luminance area) when the determining whether present in the strip, the high luminance region is determined to exist in a band, the high-brightness region is strip and removing the high-brightness region of the image of the frame present, an image of a plurality of frames captured by the imaging device based on the read out image signals sequentially 示手段又は記録媒体に出力するステップと、前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、を含むことを特徴とする。 And outputting the shown means or recording medium, if the high luminance region is determined to not exist in a band shape by the step of determining to output the image of the current frame, the high-luminance region by said determining step is If it is determined to be present in the strip, characterized in that it comprises the steps of: outputting an image in which the high-brightness region is removed.

本発明によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる。 According to the present invention, when performing photographing of the through image or video using the rolling shutter method, it is possible to prevent the deterioration of image quality due to the flash light emitted camera owned by others.

以下、添付図面に従って本発明が適用された撮像装置及び撮像方法を実施するための最良の形態について詳細に説明する。 Hereinafter, the best mode for the present invention is to implement the applied imaging apparatus and an imaging method will be described in detail with reference to the accompanying drawings.

図1は第1の実施の形態のデジタルカメラ1内部の概略構成を示すブロック図である。 Figure 1 is a block diagram showing the schematic configuration of the internal digital camera 1 of the first embodiment. 同図に示すように、デジタルカメラ1は、主として、CPU10、操作部12、フラッシュ発光部20、レンズユニット22、メカシャッタ24、CMOSセンサ26、タイミングジェネレータ(TG)28、AGC回路30、A/D変換器32、画像信号処理回路34、圧縮伸張処理回路36、LCDドライバ38、液晶ディスプレイ(LCD)40、AE/WB検出回路42、メモリカード44、メディアコントローラ46で構成される。 As shown in the figure, the digital camera 1 mainly, CPU 10, operating unit 12, a flash emitting unit 20, the lens unit 22, the mechanical shutter 24, CMOS sensor 26, a timing generator (TG) 28, AGC circuit 30, A / D constituted by converter 32, image signal processing circuit 34, a compression expansion circuit 36, LCD driver 38, liquid crystal display (LCD) 40, AE / WB detection circuit 42, a memory card 44, the media controller 46.

CPU10は、操作部12から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ1の全体を統括制御する。 CPU10 performs overall control of the entire digital camera 1 in accordance with a predetermined control program based on an operation signal input from the operation unit 12. CPU10に接続されたROM16には、デジタルカメラ1を動作させるための制御プログラムや各種設定情報が書き込まれており、CPU10はこのプログラムに従って各部を制御する。 The ROM16 connected to CPU 10, control programs and various setting information for operating the digital camera 1 have been written, CPU 10 controls each unit in accordance with this program.

また、CPU10は、AFエリア(たとえば、画面中央部)内の信号を切り出し、AFエリア内の絶対値データを積算する。 Further, CPU 10 is, the AF area (e.g., the central portion of the screen) cut out signal in integrates the absolute value data within the AF area.

操作部12は、レリーズボタン、電源/モードスイッチ、モードダイヤル、ズームボタン、十字ボタン、MENU/OKボタン、BACKボタン等で構成される。 The operation unit 12, a release button, a power / mode switch, a mode dial, zoom button, a cross button, MENU / OK button, and a BACK button or the like.

レリーズボタンは、半押し操作されたときに各種撮影準備処理が実行され、この状態でレリーズボタンが更に押し込まれる全押し操作によって撮影処理が実行される。 Release button, various photographing preparation processing when the half-press operation is performed, the release button in this state imaging process is performed by further full depression being pushed.

電源/モードスイッチは、デジタルカメラ1の電源のオン/オフを切り替える際に操作される。 Power / mode switch is operated to switch the power on / off of the digital camera 1.

モードダイヤルは、デジタルカメラ1の動作モードを切り替える際に操作される。 Mode dial is operated to switch the operation mode of the digital camera 1. 動作モードとしては、撮影を1回だけ行う静止画(単写)撮影モード、複数回の撮影を連続して行う連写撮影モード、撮影により得られた画像をLCD40に再生表示する再生モードなどがある。 The operation mode, a still image (single-shot) shooting mode for performing only once shooting, continuous shooting mode for continuously a plurality of times of photographing, such as a reproduction mode for reproducing and displaying the image obtained by photographing the LCD40 is is there.

ズームボタンは、ズームレンズを変倍する際に操作される。 Zoom button is operated to scale the zoom lens.

十字ボタンは、LCD40に表示されたメニュー画面内のカーソルが移動させる。 Cross button, move the cursor in the menu screen displayed on the LCD40.

MENU/OKボタンは、LCD40にメニュー画面を表示する際や選択内容を決定する際などに操作される。 MENU / OK button is operated, such as in determining and selecting content when displaying a menu screen on the LCD40. MENU/OKボタン、十字ボタン等の操作により、種々の撮影シーン(屋内、人物、夜景など)から所望とする撮影シーンが設定可能となっている。 MENU / OK button, by the operation of such cross button, a variety of shooting scene (indoor, person, night scene, etc.) shooting scene to be desired from can be set. 撮影シーン機能は、設定された撮影シーンに応じて、種々の撮影条件を自動的に設定する機能である。 Photographing scene function, according to the set photographing scene is a function of automatically setting various imaging conditions. CPU10は、設定された撮影シーンに応じて、露出値、撮影感度、ホワイトバランスの制御パラメータ、フラッシュ発光の有無などの撮影条件を、当該撮影シーンに好適な値に自動的に設定する。 CPU10, depending on the set photographing scene, exposure value, the photographic sensitivity, the control parameters of the white balance, the photographing conditions such as the presence or absence of flash emission, automatically set to a suitable value in the captured scene. なお、撮影シーンの設定は、CPU10が自動的に撮影シーンを判断し、最適な撮影シーンに設定する(自動シーン認識)機能により行なわれてもよい。 The setting of the photographic scene, CPU 10 will determine automatically shooting scene may be performed by setting the optimum shooting scene (automatic scene recognition) function.

BACKボタンは、LCD40に表示されたメニュー画面を戻す際に操作される。 BACK button is operated to return the menu screen displayed on the LCD 40.

RAM14は、CPU10による演算作業領域として利用される。 RAM14 is used as a calculation work area by CPU 10.

ROM16は、CPU10が実行する制御プログラム及び制御に必要な各種データやデジタルカメラ1の動作に関する各種設定情報などが格納されている。 ROM16, including various types of setting information are stored regarding various data and operation of the digital camera 1 necessary for the control program and control CPU10 executes.

VRAM18は、スルー画像の表示用の画像データ等を順次に一時的に記憶する。 VRAM18 is sequentially temporarily stores such image data for display of the through image.

フラッシュ発光部20は、撮影を実行する際に被写体輝度に応じてフラッシュを照射する。 Flash emitter 20 irradiates a flash according to the object luminance when performing photographing.

レンズユニット22は、主として、ズーム機構及びフォーカス機構と、絞りとで構成される。 Lens unit 22 mainly includes a zoom mechanism and a focus mechanism, and a diaphragm. ズーム機構は、ズーム操作ボタンの操作に応答して、撮影レンズ22aを移動させてズーミングを行う。 Zoom mechanism, in response to operation of the zoom operation button, perform zooming by moving the imaging lens 22a. フォーカス機構は、撮影レンズ22aに組み込まれたフォーカスレンズを移動させてピント合せを行う。 Focus mechanism performs focusing by moving the focusing lens incorporated into the imaging lens 22a. 絞り装置22bは、絞り開度を調節することで、CMOS型イメージセンサ26(以下、CMOSセンサ26という)に入射する被写体光の光量を調節する。 Throttle device 22b, by adjusting the throttle opening degree, CMOS-type image sensor 26 (hereinafter, referred to as CMOS sensor 26) to adjust the light quantity of the subject light incident on. 絞り装置22bは、モータ23を介してCPU10により動作制御される。 Throttle device 22b is operated controlled by CPU10 through the motor 23.

メカシャッタ24は、絞り装置22bとCMOSセンサ26との間に設けられ、CMOSセンサ26に入射する被写体光を物理的に遮る。 The mechanical shutter 24 is provided between the throttle device 22b and the CMOS sensor 26, block the subject light incident on the CMOS sensor 26 physically. メカシャッタ24は、モータ25を介してCPU10により動作制御される。 The mechanical shutter 24 is operated controlled by CPU10 through the motor 25.

CMOSセンサ26は、多数のフォトセンサ(電荷蓄積素子)が2次元配列された受光面を有しており、受光面に結像された被写体像は、各フォトセンサによって、その入射光量に応じた量の信号電荷に変換され、蓄積される。 CMOS sensor 26 has a large number of the light-receiving surface of the photosensor (charge storage elements) are arranged two-dimensionally, the subject image formed on the light receiving surface, by each photosensor, corresponding to the amount of incident light It is converted to the amount of signal charge is accumulated. 各フォトセンサに蓄積された電荷は、タイミングジェネレータ(TG)28から入力されるタイミング信号によってアナログの画像信号として出力される。 Charges accumulated in the photo-sensors is output as an analog image signal by the timing signal input from the timing generator (TG) 28. 具体的には、CMOSセンサ26の各ライン(走査ライン)毎に時間軸方向に異なるタイミングで電荷蓄積を開始するとともに、それぞれ所定の電荷蓄積時間(露光時間)の経過後に電荷蓄積を終了して、各ライン毎に時間軸方向に異なるタイミングで蓄積電荷が画像信号として読み出される。 Specifically, it starts the charge accumulation at different timings in the time axis direction for each line of the CMOS sensor 26 (scanning lines), each end the charge accumulation after a predetermined charge accumulation time (exposure time) , accumulated charge at different timings in the time axis direction for each line is read out as an image signal. 読み出しが終了したら、電荷蓄積素子をリセットし、再度電荷蓄積を開始する。 When reading is completed, and resets the charge storage element, starts charge accumulation again.

AGC(Automatic Gain Control)回路30は、CMOSセンサ26から出力された画像信号に対して、CPU10によって設定される撮影感度に応じたゲインで撮像信号を増幅してA/D変換器32に出力する。 AGC (Automatic Gain Control) circuit 30 outputs the image signal output from the CMOS sensor 26, the A / D converter 32 amplifies the imaging signal with a gain according to the photographic sensitivity to be set by the CPU10 .

A/D変換器32は、AGC回路30から出力されたアナログ信号を、例えば12ビットのデジタル信号に変換して出力する。 A / D converter 32, the analog signal output from the AGC circuit 30, and outputs the converted, for example, 12-bit digital signal. A/D変換器32から出力されたデジタル信号は画像信号処理回路34に送られる。 Digital signal output from A / D converter 32 is sent to the image signal processing circuit 34.

画像信号処理回路34は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU10からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。 Image signal processing circuit 34, (processing circuit for converting the color signals by interpolating the spatial displacement of color signals involved in a single-plate CCD color filter array to simultaneous type) the synchronization circuit, a white balance correction circuit, a gamma correction circuit, a contour correction circuit includes a luminance and color difference signal generation circuit, etc., in accordance with a command from the CPU 10, performs required signal processing on the input image signal, the luminance data (Y data) and color-difference data (Cr, Cb data ) to generate image data (YUV data) consisting of a.

圧縮伸張処理回路36は、CPU10からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。 Decompression processing circuit 36, in accordance with a command from the CPU 10, applies a compression process in a predetermined format to the inputted image data to generate compressed image data. また、CPU10からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。 Further, in accordance with a command from the CPU 10, performs decompression processing in a predetermined format to the compressed image data input, to generate uncompressed image data.

LCDドライバ38は、画像信号処理回路34で生成された画像信号をLCD40に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換してLCD40に出力する。 LCD driver 38 outputs an image signal generated by the image signal processing circuit 34 video signals to be displayed on the LCD 40 (e.g., NTSC signals or PAL signals, SCAM signal) to the LCD 40 is converted to.

LCD40は、カラー表示が可能な液晶ディスプレイで構成されており、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。 LCD40 is a liquid crystal display capable of color display, is utilized is used as an image display panel for displaying a photographed image at the time of reproduction mode, a user interface display panel for various setting operations that. また、撮影モード時には、電子ビューファインダとして機能し、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。 Further, the imaging mode functions as an electronic view finder, is displayed through image if necessary, be used as an electronic finder for angle confirmation. また、再生モード時にはメモリカード44に記録されている画像データに基づき、LCD40に画像が再生表示される。 Further, the reproduction mode based on the image data recorded in the memory card 44, the image is reproduced and displayed on the LCD 40.

AE/WB検出回路42は、AE制御に必要な物理量として、1画面を複数のエリア(たとえば16×16)に分割し、分割したエリア(以下、測光分割エリアという)ごとにR、G、Bの画像信号の積算値を算出する。 AE / WB detection circuit 42, as a physical quantity necessary for AE control, one screen is divided into a plurality of areas (e.g. 16 × 16), divided area (hereinafter, referred to as photometric divided areas) R each, G, B It calculates an integrated value of the image signal. 算出された値は画像信号処理回路34に出力され、画像信号処理回路34内のホワイトバランス補正回路で用いられる。 The calculated value is output to the image signal processing circuit 34, used in the white balance correction circuit of the image signal processing circuit 34.

メディアコントローラ46は、メディアスロットに装填されたメモリカード44に対してデータの読み/書きを制御する。 The media controller 46 controls reading / writing of data to the memory card 44 loaded in the media slot.

以上のように構成された本実施の形態のデジタルカメラ1の作用について説明する。 Description will be given of a configuration of action of the digital camera 1 of this embodiment as described above. まずは、通常動作(撮影処理、記録処理)について説明する。 First of all, normal operation (photographing process, the recording process) will be described.

電源/モードスイッチを撮影位置に合わせることで、デジタルカメラ1は撮影モードに設定され、撮影が可能になる。 By matching the power / mode switch to the shooting position, the digital camera 1 is set to the shooting mode allows shooting. そして、撮影モードに設定されることにより、レンズユニット22が繰り出され、撮影スタンバイ状態になる。 By being set to the shooting mode, the lens unit 22 is fed, the shooting standby state.

この撮影モードの下、レンズユニット22を通過した被写体光は、CMOSセンサ26の受光面に結像され、各ライン毎に順次順次電荷蓄積を開始し、所定の電荷蓄積時間の経過後に、TG28から与えられる駆動パルスに基づいて各ライン毎に順次画像信号が読み出される。 Under this shooting mode, the object light that has passed through the lens unit 22 is formed on the light receiving surface of the CMOS sensor 26, starts sequentially sequentially charge storage for each line, after a predetermined charge accumulation time, from TG28 successively image signals for each line is read out based on the given driving pulses.

読み出された画像信号は、AGC回路30に加えられ、AGC回路30から出力されたアナログ信号はA/D変換器32でデジタル信号に変換され、画像信号処理回路34に加えられる。 Read image signal is applied to the AGC circuit 30, analog signal output from the AGC circuit 30 is converted into a digital signal by the A / D converter 32, it is added to the image signal processing circuit 34.

画像信号処理回路34で輝度/色差信号が生成され、LCDドライバ38で表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換され、LCD40に出力される。 Luminance / color difference signal in the image signal processing circuit 34 is generated and is converted into a signal format for display by the LCD driver 38 (e.g. NTSC system color complex video signal) is output to the LCD 40. これにより、CMOSセンサ26で撮像された画像がリアルタイムにLCD40に表示される(スルー画像)。 Accordingly, images captured by the CMOS sensor 26 is displayed on the LCD40 in real time (through image).

撮影はレリーズボタンの押下によって行なわれる。 Imaging is performed by depression of the release button. レリーズボタンが押下されることによりCPU10に対して画像の記録が指示されると、画像信号処理回路34からの画像データは圧縮伸張処理回路36に供給され、所定の圧縮符号化処理が施されて、メディアコントローラ46を介してメモリカード44に記録される。 When the release button is recorded image is instructed to the CPU10 by being pressed, the image data from the image signal processing circuit 34 is supplied to the decompression processing circuit 36, a predetermined compression encoding process is performed , it is recorded in the memory card 44 via the media controller 46. 静止画の記録の際には、画像信号処理回路34からは1フレーム分の画像データが圧縮伸張処理回路36に供給され、動画の記録の際には、処理された画像データが圧縮伸張処理回路36に連続的に供給される。 During still image recording, from the image signal processing circuit 34 the image data of one frame is supplied to the decompression processing circuit 36, during the recording of the video, processed image data compression and expansion processing circuit It is continuously fed to 36.

<露出オーバーとなっている領域の検出について> <For the detection of the area has become overexposed>
本実施の形態では、スルー画像や動画の撮影時に、通常のAE処理で用いる測光値(輝度に相当)に基づいて、他者のフラッシュ撮影などにより画面内に帯状に露出オーバーとなっている領域(以下、高輝度領域という)があるか否かの検出を行う。 In this embodiment, the region at the time of photographing of the through image and video, on the basis of the photometric value used in a normal AE process (corresponding to brightness), which is over-exposed in a band shape on a screen due to flash photography of others (hereinafter, referred to as the high luminance region) and detects whether or not there is. 以下、高輝度領域があるか否かを検出する方法について説明する。 Hereinafter, a method for detecting whether there is a high luminance region.

(1)露光時間が長い場合について 図2は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図2(a)は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図2(b)は図2(a)に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図2(c)は図2(b)に示すフレームの露出値を示す図である。 (1) exposure time may for long Figure 2, when the exposure time is long, showing an example of a case where the flash of others in the through image or moving image is luminous, FIG. 2 (a) the exposure time and readout timing is a diagram showing the relationship between the timing of the flash is emitted in others, FIG. 2 (b) is obtained when the read is performed at the timing shown in FIGS. 2 (a) that the image is a diagram showing, FIG. 2 (c) is a diagram showing an exposure value of the frame shown in FIG. 2 (b).

他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図2(a)に示すように、フレーム2の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム2としてまだ読み出していないラインについては、他者のフラッシュ光はフレーム2で蓄積及び読み出しが行われ、フレーム2として既に読み出したラインについては、他者のフラッシュ光はフレーム3で蓄積及び読み出しが行われる。 Although flashlight of another person are stored in the same manner to all of the photo sensor, as shown in FIG. 2 (a), when the flash others emitted in the image signal readout of the frame 2, the frame 2 for not yet read line as the flashlight of others accumulation and readout are performed in the frame 2, for the already read lines as a frame 2, a flash light of others accumulation and readout are performed in the frame 3 . その結果、図2(b)に示すように、ライン読み出し方向が上から下に向かう場合には、フラッシュが発光されたときに読み出されたラインよりも下側のラインについてはフレーム2が露出オーバーとなり、フラッシュが発光されたときに読み出されたラインよりも上側のラインについてはフレーム3が露出オーバーとなる。 As a result, as shown in FIG. 2 (b), when the line read direction from top to bottom, the frame 2 is exposed for lower line than the flash is read when it is emitting line become over, the frame 3 is overexposed for upper line than the flash is read when it is emitting line. このように、露出時間が長い場合には、高輝度領域が連続する2フレームにわたって現れる。 Thus, when the exposure time is long, it appears over two frames high luminance region is continuous.

次に、露光時間が長い場合に、高輝度領域を検出する処理について説明する。 Then, when the exposure time is long, a description will be given of a process for detecting a high luminance region. 図3は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。 Figure 3 is a flow chart showing the overall flow of processing for detecting a high luminance region. 以下の処理は、主としてCPU10によって行われる。 The following processing is performed mainly by the CPU 10.

CPU10は、AE/WB検出回路42に指示を出し、AE/WB検出回路42は、1画面を複数の領域に分割して得られた各測光分割エリア毎の測光値(EV値)を1フレーム分取得する(ステップS10)。 CPU10 is instructs the AE / WB detection circuit 42, AE / WB detection circuit 42, a frame photometric value of each of the photometry each divided area obtained by dividing one screen into a plurality of regions (EV value) for dividing acquired (step S10). 以下、図2(b)におけるフレーム2の画像信号を取得したとして説明する。 Hereinafter, it described as acquiring the image signal of the frame 2 in FIG. 2 (b).

CPU10は、各測光分割エリア毎に、現フレームの測光値と1フレーム前の測光値との差分を算出する。 CPU10, for each photometric divided areas, to calculate the difference between the photometric value and the photometric value of one frame before the current frame. そして、CPU10は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する(ステップS11)。 Then, CPU 10, the difference between the maximum value and the minimum value of a difference between the line direction photometric divided areas is increasing, and it is determined whether the increase is within the threshold value (step S11).

ステップS11について図4を用いて説明する。 Be described with reference to FIG. 4 step S11. 図4は、図2(c)におけるフレーム2の詳細を示すものである。 Figure 4 shows the details of the frame 2 in FIG. 2 (c). 撮影画面は、ライン方向に6つ、ライン読み出し方向に5つ、合計30個の測光分割エリアに分割されている。 Shooting screen 6 in the line direction, five in-line readout direction, is divided a total of 30 pieces of photometric divided areas. 図4の測光分割エリア内に記載された数字は、その測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分を示す。 Number described on photometric divided area in FIG. 4 shows the difference between the photometric value and the photometric value of one frame before the current frame of the photometric divided areas. 1番上のラインにおいて、6個の測光分割エリアの測光値の差分はそれぞれ0.2、0.4、−0.2、−0.3、0.1、0.3であるため、その最大値と最小値との差は0.7と算出される。 In the uppermost line, each difference between the six light metering value of the photometric divided areas 0.2, 0.4, -0.2, because it is -0.3,0.1,0.3, its the difference between the maximum value and the minimum value is calculated to be 0.7. 同様の方法により、2番目〜5番目のラインについて、差がそれぞれ0.7、0.5、0.4、0.4と算出される。 By the same method, for the second to fifth lines, the difference is calculated, respectively 0.7,0.5,0.4,0.4. そして、その差0.7、0.7、0.5、0.4、0.4は正の値であり、閾値(例えば1.0)以内であるため、このフレームの全てのラインについては、ステップS11の結果はYESとなる。 Then, the difference 0.7,0.7,0.5,0.4,0.4 is a positive value, because it is within a threshold value (e.g. 1.0), for all the lines of the frame , the result of step S11 is YES.

ステップS11でNOの場合には、CPU10は、他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 In the case of NO at step S11, CPU 10 determines that the flash is not performed by others (step S17), performs step S10 again.

ステップS11でYESの場合は、CPU10は、各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断する(ステップS12)。 If YES in step S11, CPU 10, the average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area has increased by more than a predetermined threshold, and line the upper screen or lower continuously determines whether there (step S12). 図4に示す1番上のラインにおいて、6個の測光分割エリアの測光値の差分はそれぞれ0.2、0.4、−0.2、−0.3、0.1、0.3であるため、その平均値は0.08と算出される。 In No. 1 on the line shown in FIG. 4, each difference between the six light metering value of the photometric divided areas 0.2, 0.4, -0.2, in -0.3,0.1,0.3 some reason, the average value is calculated to be 0.08. 同様の方法により、2番目〜5番目のラインについて、平均値がそれぞれ0.08、2.0、2.3、2.3と算出される。 By the same method, for the second to fifth lines, the average value is calculated respectively 0.08,2.0,2.3,2.3. そして、3番目〜5番目のラインの平均値2.0、2.3、2.3は、閾値(例えば2.0EV)以上であり、かつ3番目〜5番目のラインは画面の下側であり、かつ連続しているため、3番目〜5番目のラインについては、ステップS12の結果はYESと判断される。 Then, the average value 2.0,2.3,2.3 of the third to fifth line is the threshold (e.g. 2.0EV) above, and the third to fifth line on the lower side of the screen There, and because of the continuous, for the third to fifth lines, the result of step S12 is judged to be YES.

ステップS12でNOの場合は、CPU10は、他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 If NO in step S12, CPU 10 determines that the flash is not performed by others (step S17), it performs step S10 again.

ステップS12でYESの場合は、CPU10は、AE/WB検出回路42に指示を出し、AE/WB検出回路42は、各測光分割エリア毎の測光値であって、ステップS10で取得したフレームの次のフレームの測光値を1フレーム分取得する(ステップS13)。 If YES in step S12, CPU 10 issues an instruction to the AE / WB detection circuit 42, AE / WB detection circuit 42, a photometric value of each of the photometry each divided area, the next frame acquired in step S10 obtaining photometric values ​​of the frame one frame (step S13). 以下、図2(b)におけるフレーム3の画像信号を取得したとして説明する。 Hereinafter, it described as acquiring the image signal of the frame 3 in FIG. 2 (b).

CPU10は、ステップS13で取得したフレームに対し、AE/WB検出回路42が算出した各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分を算出し、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する(ステップS14)。 CPU10 is relative to the frame obtained in step S13, it calculates the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided areas calculated AE / WB detection circuit 42, the line direction photometric division the difference between the maximum value and the minimum value of the difference of the area has increased, and to determine whether the increase is within the threshold value (step S14). ステップS15について図5を用いて説明する。 Will be explained with reference to FIG step S15. 図5は、図2(c)におけるフレーム3の詳細を示すものである。 Figure 5 shows a detail of the frame 3 in FIG. 2 (c). 1番上のラインにおいて、6個の測光分割エリアの測光値の差分はそれぞれ1.7、1.8、2.0、2.1、2.2、2.1であるため、その最大値と最小値との差は0.5と算出される。 In No. 1 on the line, because the difference between the six light metering value of the photometric divided areas respectively 1.7,1.8,2.0,2.1,2.2,2.1, its maximum value the difference between the minimum value is calculated to be 0.5. 同様の方法により、2番目〜5番目のラインについて、差がそれぞれ0.4、0.7、0.7、0.7と算出される。 By the same method, for the second to fifth lines, the difference is calculated, respectively 0.4,0.7,0.7,0.7. そして、その差0.5、0.4、0.7、0.7、0.7は正の値であり、閾値(例えば1.0)以内であるため、このフレームの全てのラインについては、ステップS14の結果はYESと判断される。 Then, the difference 0.5,0.4,0.7,0.7,0.7 is a positive value, because it is within a threshold value (e.g. 1.0), for all the lines of the frame , the result of step S14 is judged to be YES.

ステップS14でNOの場合は、CPU10は他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 If NO in step S14, CPU 10 determines that the flash is not performed by others (step S17), it performs the steps S10 again.

ステップS14でYESの場合は、CPU10は、ステップS12においてYESと判断されたラインについてAE/WB検出回路42が算出した各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が、その他のラインの平均値と比較して所定の閾値以上減少しているかどうかを判断する(ステップS15)。 If YES in step S14, CPU 10, the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided areas for YES and the determined line AE / WB detection circuit 42 is calculated in step S12 average value of, compared to the average of the other line to determine whether the decreased more than a predetermined threshold (step S15). 図5において、1番上のラインにおいて、6個の測光分割エリアの測光値の差分はそれぞれ1.7、1.8、2.0、2.1、2.2、2.1であるため、その平均値は2.0と算出される。 5, in the topmost line, because the difference between the six light metering value of the photometric divided areas respectively 1.7,1.8,2.0,2.1,2.2,2.1 , the average value is calculated to be 2.0. 同様の方法により、2番目〜5番目のラインについて、平均値がそれぞれ2.3、0.1、0.2、0.1と算出される。 By the same method, for the second to fifth lines, the average value is calculated respectively 2.3,0.1,0.2,0.1. ステップS12でYESと判断された3番目〜5番目のラインの平均値0.1、0.2、0.1の平均値0.13は、ステップS12でYESと判断されていない1番目、2番目のラインの平均値2.0、2.3の平均値1.15より所定の閾値(例えば2.0EV)以上減少している。 Mean value 0.13 of the average value 0.1,0.2,0.1 of the third to fifth lines is determined YES in step S12, the first has not been determined to be YES in step S12, 2 th average value predetermined threshold from the mean value 1.15 of 2.0,2.3 line (e.g. 2.0EV) has decreased more. したがって、ステップS15の結果はYESとなる。 Therefore, the result of step S15 is YES.

ステップS15でYESの場合は、CPU10は他者によるフラッシュ発光が行われていると判定し(ステップS16)、処理を終了する。 If YES in step S15, CPU 10 determines that the flash has been performed by others (step S16), and ends the process. ステップS15でNOの場合は、CPU10は他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 If NO in step S15, CPU 10 determines that the flash is not performed by others (step S17), it performs step S10 again.

これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。 Thus, without providing a special device, by adding a soft operation on existing hardware, it is possible to detect whether the flash has been performed by others in the camera.

(2)露光時間が短い場合について 図6は、露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図6(a)は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図6(b)は図6(a)に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図6(c)は図6(b)に示すフレームの露出値を示す図である。 (2) if the exposure time is short 6, when the exposure time is short, showing an example of a case where the flash of others in the through image or moving image is luminous, FIG. 6 (a) the exposure time and readout timing is a diagram showing the relationship between flash is emission timing of others, FIG. 6 (b) is obtained when the read is performed at the timing shown in FIGS. 6 (a) that the image is a diagram showing, FIG. 6 (c) shows an exposure value of the frame shown in Figure 6 (b).

他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図6(a)に示すように、フレーム2の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム2としてまだ読み出していないラインについてはフレーム2として読み出される。 Although flashlight of another person are stored in the same manner to all of the photo sensor, as shown in FIG. 6 (a), when the flash others emitted in the image signal readout of the frame 2, the frame 2 for not yet read line as is read as a frame 2. その結果、図6(b)に示すように、フレーム2のフラッシュが発光されたときに読み出されたラインよりも下側のライン2が露出オーバーとなる。 As a result, as shown in FIG. 6 (b), line 2 of lower than the read line when the flash of the frame 2 is emission becomes overexposed. しかしながら、フレーム2として既に読み出したラインについては、フレーム3の読み出し前にラインがリセットされるため、蓄積された光はフレーム3に反映されず、フレーム3については露出オーバーとならない。 However, for the already read lines as a frame 2, since the line before reading frame 3 is reset, the accumulated light is not reflected in the frame 3, not overexposed for frame 3. このように、露出時間が短い場合には、高輝度領域が1フレームにのみに現れる。 Thus, when the exposure time is short, the high luminance region appears only in one frame.

次に、露光時間が短い場合に、高輝度領域を検出する処理について説明する。 Then, when the exposure time is short, a description will be given of a process for detecting a high luminance region. 図7は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。 Figure 7 is a flow chart showing the overall flow of processing for detecting a high luminance region. 以下の処理は、主としてCPU10によって行われる。 The following processing is performed mainly by the CPU 10.

CPU10は、AE/WB検出回路42に指示を出し、AE/WB検出回路42は、1画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を1フレーム分取得する(ステップS10)。 CPU10 is instructs the AE / WB detection circuit 42, AE / WB detection circuit 42, a photometric value of each of the photometry each divided area obtained by dividing one screen into a plurality of regions to obtain one frame ( step S10). 以下、図6(b)におけるフレーム2の画像信号を取得したとして説明する。 Hereinafter, it described as acquiring the image signal of the frame 2 in FIG. 6 (b).

CPU10は、各測光分割エリア毎に、現フレームの測光値と1フレーム前の測光値との差分を算出する。 CPU10, for each photometric divided areas, to calculate the difference between the photometric value and the photometric value of one frame before the current frame. そして、CPU10は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する(ステップS11)。 Then, CPU 10, the difference between the maximum value and the minimum value of a difference between the line direction photometric divided areas is increasing, and it is determined whether the increase is within the threshold value (step S11).

ステップS11でNOの場合には、CPU10は他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 In the case of NO at step S11, CPU 10 determines that the flash is not performed by others (step S17), performs step S10 again.

ステップS11でYESの場合は、CPU10は、各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつ差分の平均値が所定の閾値以上増加しているラインがライン読み出し方向に沿って連続して存在するか否か、すなわち高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断する(ステップS18)。 If YES in step S11, CPU 10, the average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area has increased by more than a predetermined threshold value, and the average value of the difference is whether the line has increased above a predetermined threshold is present continuously along the line readout direction, namely the high luminance region is the top of the screen, it is determined whether or not present in the strip in the middle portion or the lower ( step S18). 図6(b)のフレーム2においては、図6(c)に示すように画面の下部に高輝度領域が存在する。 In the frame 2 of FIG. 6 (b), the high luminance area exists in the bottom of the screen as shown in FIG. 6 (c).

なお、ステップS18では、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するが、これは図8に示すように、他者によるフラッシュ発光が行われたタイミングによって画面内のどこに帯状の高輝度領域が現れるかが異なるためである。 The timing in step S18, the upper portion of the high luminance region is the screen, it is judged whether present in strip shape in the central portion or the lower, this is as shown in FIG. 8, a flash light emission by others has been performed where high brightness portion of the web appears in the screen by are different.

ステップS18でYESの場合は、CPU10は他者によるフラッシュ発光が行われていると判定し(ステップS16)、処理を終了する。 If YES in step S18, CPU 10 determines that the flash has been performed by others (step S16), and ends the process. ステップS18でNOの場合は、CPU10は他者によるフラッシュ発光が行われていないと判定し(ステップS17)、再度ステップS10を行う。 If NO in step S18, CPU 10 determines that the flash is not performed by others (step S17), it performs step S10 again.

これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。 Thus, without providing a special device, by adding a soft operation on existing hardware, it is possible to detect whether the flash has been performed by others in the camera.

なお、図3、図7に示すフローにおいて、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断するステップ(ステップS11)は、他者のフラッシュ発光による光がCMOSセンサ26全体に入射することにより、ライン方向の測光分割エリアの差分のばらつきが小さいと考えられるために補助的に行うステップであり、必須ではない。 Incidentally, determining whether 3, in the flow shown in FIG. 7, the difference between the maximum value and the minimum value of a difference between the line direction photometric divided areas has increased, and its increase is within threshold (step S11), by optical by flash emission of another person enters the entire CMOS sensor 26, a step of performing as an auxiliary to the difference variation in the line direction of the photometric divided areas are considered to be small, essential is not.

すなわち、図3に示すフローにおいては、ステップS10で取得した測光値に対して、測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ(ステップS12)でYESと判断されたら、次のフレームの測光値を取得するステップ(ステップS13)に進むようにしてもよい。 That is, in the flow shown in FIG. 3, with respect to the photometric value obtained in step S10, increases the average value of the difference between the photometric value and the photometric value of one frame before the current frame photometric divided areas is equal to or higher than a predetermined threshold value and has, and if the line is determined to be YES in step (step S12) to determine whether to continuously present above or below the screen, the step (step S13) of acquiring the photometric value of the next frame You may proceed. また、図7に示すフローについては、ステップS10で取得した測光値に対して、測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ(ステップS12)でYESと判断されたら、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するステップ(ステップS18)に進むようにしてもよい。 Also, the flow shown in FIG. 7, with respect to the photometric value obtained in step S10, increases the average value of the difference between the photometric value and the photometric value of one frame before the current frame photometric divided areas is equal to or higher than a predetermined threshold value and has, and if the line is determined to be YES in the step of determining whether to continuously present above or below the screen (step S12), the high luminance region is at the top of the screen, a strip in the middle portion or the lower determining whether present may proceed to (step S18).

また、露出時間が長い場合に高輝度領域を検出する方法は、(1)に記載した方法に限定されず、例えば、入力された水平ラインごとの輝度成分の積算値(垂直走査方向に関する輝度変化情報)に基づき、他者のカメラ等からのフラッシュ発光を検出する方法も考えられる。 Further, a method of exposure time to detect the high luminance region when long, (1) is not limited to the method described in, for example, the integrated value of the luminance component of each horizontal line is input (brightness change about the vertical scanning direction based on the information) is considered a method of detecting the flash emission from the camera or the like of others.

CPU10は、まず、所定のフレームの画像信号において、各ライン毎に輝度成分の積算値を算出し、ライン読み出し方向に関して、積算値が所定の値I1より低い状態(低輝度状態)から所定の値I2(ただし、I2>I1)より高い状態(高輝度状態)へ遷移したか否かを判定し、低輝度状態から高輝度状態への遷移を検出した場合には、遷移を検出したラインの位置P1を記憶する。 CPU10, first, in an image signal of a predetermined frame, and calculates an integrated value of the luminance component for each line, with respect to the line readout direction, from the state the integrated value is lower than a predetermined value I1 (low light condition) predetermined value I2 (However, I2> I1) from a high state to determine whether the transition to the (high light condition), when detecting a transition from a low intensity state to the high luminance state, the position of the line detected a transition and stores the P1. 次いで、次のフレームについて、各ライン毎に輝度成分の積算値を取得し、ライン読み出し方向に関して、積算値が高輝度状態から低輝度状態へ遷移したか否かを判定し、高輝度状態から低輝度状態への遷移を検出した場合には、遷移を検出した水平ラインの位置P2を記憶する。 Then, for the next frame, obtains the integrated value of the luminance component for each line, with respect to the line readout direction, the integrated value it is determined whether a transition to a low luminance state from a high luminance state, the high light condition low when detecting the transition to the luminance state, it stores the position P2 of the horizontal lines that detected the transition. そして、検出された遷移位置P1,P2がほぼ等しい場合(例えば、前後1水平ライン以内の場合)には、上記の高輝度状態は他者のフラッシュ発光によるものであると判定する。 Then, it is determined that if the detected transition positions P1, P2 substantially equal (e.g., when within about one horizontal line), a high luminance state of the above is due to the flash light emission of the others. この方法を用いても、CPU10は、連続する2つのフレームにまたがってほぼ1フレーム分の高輝度期間が存在するか否かを判定し、この高輝度期間を他者のフラッシュ発光として検出することができる。 Even using this method, CPU 10 is over two consecutive frames to determine whether there is a high luminance period of approximately one frame, detects the high-intensity period as flash emission of another person that can.

また、図3、図7に示すフローにおいて、現フレームの測光値と1フレーム前の測光値との差分を算出し、差分を用いてステップS11、S12、S14、S15、S18等の処理を行ったが、差分を算出することは必須ではなく、各フレームの測光値をそのまま用いて上記各処理を行うことも可能である。 Also, performed in the flow shown in FIG. 3, FIG. 7, calculates the difference between the photometric value and the photometric value of one frame before the current frame, step S11 using the difference, S12, S14, S15, S18 processing such It was, it is not essential to calculate the difference, it is also possible to photometric values ​​for each frame be used as it performs the above processes. ただし、差分を用いることでより正確な処理を行うことができるという効果がある。 However, there is an effect that it is possible to perform more accurate processing by using the difference.

また、図3、図7に示すフローにおいて、ステップS11、S14の処理は必須ではなく、ステップS10の次にステップS12を行うようにしたり、ステップS13の次にステップS15の処理を行うようにしたり、ステップS10の次にステップS17の処理を行うようにしてもよい。 Further, FIG. 3, in the flow shown in FIG. 7, steps S11, S14 is not essential, or to perform the step S12 to the next step S10, or to perform the processing in step S15 to next step S13 , next it may be performed the processing in step S17 in step S10. ただし、ステップS11、S14の処理を行うことにより、他者フラッシュ発光によらずに測光値が高くなる場合、例えば、高輝度の点があることによりライン方向の測光分割エリア全体の測光値が高くなる場合、を確実に除外することができるという効果がある。 However, by performing the processing of step S11, S14, if the photometric value is high irrespective of the others flash, for example, high photometric value of the entire photometric divided areas of the line direction by that there is a point of high intensity comprising a case, there is an effect that it is possible to exclude reliably.

また、図3、図7に示すフローにおいて、分割測光エリアの測光値のライン方向の平均値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値の平均値に限らず、分割測光エリアの測光値の中心値などの各種代表値を用いてもよいし、分割測光エリアの測光値の総和や積算値等を用いてもよい。 Further, FIG. 3, in the flow shown in FIG. 7 has been detected the presence or absence of flash light emission by others based on the average value of the line direction of the photometric values ​​of the divided light metering areas, limited to the average value of the photometric values ​​of the divided light metering areas not, may be used various representative values, such as the center values ​​of the photometric values ​​of divisional photometry area, it may be used the sum or cumulative value, etc. of the photometric values ​​of the divided light metering areas.

また、図3、図7に示すフローにおいて、分割測光エリアの測光値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値に限らず、ライン方向の輝度、すなわち1又は複数のラインの輝度の平均値、中心値などの各種代表値や、1又は複数のラインの輝度の総和、積算値等を用いてもよい。 Further, FIG. 3, in the flow shown in FIG. 7 has been detected the presence or absence of flash light emission by others on the basis of the photometric values ​​of the divided light metering areas, not only the photometric values ​​of the divided light metering areas, in the line direction luminance, i.e. 1 or average value of the brightness of a plurality of lines, various representative value and such a central value, a luminance total of one or more lines, may also be used integrated value or the like.

<他者のフラッシュ発光による露出オーバーをなくす処理について> <For the processing to eliminate the over-exposed by the flash emission of another person>
図9は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。 9, when the exposure time is long, shows an example of a case where the flash of others emitted during through image or moving image shooting.

図9に示す例においては、フレームBの読み出しの最中に他者によるフラッシュ発光があった場合であり、フレームB、Cにわたって高輝度領域が検出される。 In the example shown in FIG. 9, a case where there is a flash light emission by others during the reading of the frame B, the frame B, the high luminance region is detected over C. しかしながら、フレームB、Cは画面の一部のみが高輝度領域であるため、画面の一部が白とびするなどの不自然なスルー画や動画となってしまう。 However, the frame B, C, because only a portion of the screen is a high luminance region, resulting in an unnatural through image and video, such as part of the screen is overexposed.

そのため、本実施の形態では、高輝度領域が検出されたフレームを使用せず高輝度領域が検出されたフレームの前のフレーム(この場合には、フレームA)の画像を表示や記録に用いる。 Therefore, in this embodiment, the previous frame of the frame which the high luminance area is detected without using a frame high brightness region is detected (in this case, frame A) is used an image on a display or recording.

図10は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示/記録を行う処理の流れを示すフローチャートである。 Figure 10 shows the case where the flash of others emitted during through image or moving image shooting, the flow of processing for displaying / recording by replacing a frame which the high luminance area is detected in the image of the previous frame it is a flow chart. この処理は、主としてCPU10によって行われる。 This processing is mainly carried out by the CPU 10.

CPU10は、AE/WB検出回路42から1画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を1フレーム分取得する。 CPU10 is a photometric value of each of the photometry each divided area obtained by dividing the AE / WB detector 42 one screen into a plurality of regions to obtain one frame. それと共に、CPU10は、画像信号処理回路34の指示を出し、画像信号処理回路34は、ステップS20で取得したフレームの画像信号の演算処理を行って画像データを生成(演算処理)し、VRAM18に保存する(ステップS20)。 At the same, CPU 10 issues an instruction of the image signal processing circuit 34, image signal processing circuit 34, the image data generated (operation processing) carries out an operation process of the image signal of a frame obtained in step S20, the VRAM18 to save (step S20).

図3又は図7に示すフローに基づいて、ステップS20で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する(ステップS21)。 3 or on the basis of the flow shown in FIG. 7, determines whether it is determined as the high luminance region is included in a frame obtained in step S20 (step S21).

高輝度領域が含まれると判定された場合(ステップS21でYES)には、ステップS20で取得したフレームの画像データの変わりに、ステップS20で取得したフレームの前に取得され、VRAM18に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換し、画像データをLCD40に出力する(ステップS22)。 In a case where it is determined to contain a high luminance region (YES in step S21), instead of the image data of a frame obtained in step S20, are acquired before the frame obtained in step S20, it is stored in VRAM18 an image data are converted to output image data of a frame that does not contain the high luminance region in the LCD driver 38, the LCD driver 38 a signal format for displaying the image data (e.g., NTSC system color complex video signal) and outputs the image data to the LCD 40 (step S22).

高輝度領域が含まれないと判断された場合(ステップS21でNO)には、ステップS20で生成された画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換し、LCD40に出力する(ステップS23)。 In a case where it is determined that the high luminance area is not included (NO in step S21), and outputs the image data generated in step S20 to the LCD driver 38, the LCD driver 38 is a signal format for displaying the image data ( for example into a color composite video signal) of the NTSC system and outputs the LCD 40 (step S23).

ステップS21〜S23について図9を用いて具体的に説明する。 Specifically described with reference to FIG. 9 step S21 to S23. 図9は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。 Figure 9 shows the time on the horizontal axis, when the vertical position is the same show the same time. 図9は露光時間が長い場合であるため、ステップS21においては、図3のフローに基づいて高輝度領域が含まれると判定されたか否かを判断する。 Figure 9 is for a case where the exposure time is long, in step S21, it is determined whether or not it has been determined to contain a high luminance region, based on the flow of FIG.

フレームAについてステップS21の判断が行われている時に、ステップS20におけるフレームBの測光値の取得及び演算処理が行われる。 When the determination in step S21 is performed for the frame A, acquisition and processing of the photometric value of the frame B in the step S20 is performed.

次に、フレームBについてステップS21の判断が行われる。 Then, the determination in step S21 is performed for the frame B. この段階では、高輝度領域があるフレームが2フレーム連続していないため、フレームBについての判断は保留される。 At this stage, since the frame there is a high luminance region is not continuous two frames, determination of the frame B is suspended. この時、フレームAの表示画像データの生成処理が同時に行われている。 In this case, generation processing of the display image data of the frame A is being performed at the same time.

それと同時に、フレームCの測光値の取得及び演算処理(ステップS20)が行われ、次の段階で、フレームDの測光値の取得及び演算処理(ステップS20)と同時に、フレームCについてステップS21の判断が行われる。 At the same time, acquisition and processing of the photometric value of the frame C (step S20) is performed, the next step, acquisition and processing of the photometric value of the frame D (step S20) at the same time, the determination in step S21 the frame C It is carried out. この段階では、フレームB、Cの2フレームの測光値に基づき、フレームB、Cには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。 At this stage, the frame B, based on the photometric value of the two frames C, the frame B, the C is determined to contain a high-brightness area by flash by others. この時、フレームBの表示画像データの生成処理と、フレームAについてのステップS23のスルー画像表示が行われる。 At this time, the generation processing of the display image data of a frame B, and through image display in step S23 in the frame A is performed.

次に、フレームEの測光値の取得及び演算処理、フレームDについてのステップS21の判断、フレームCの表示画像データの生成処理、及びフレームBについてのステップS22のスルー画像表示が行われる。 Next, acquisition and processing of the photometric value of the frame E, the determination in step S21 in the frame D, generation processing of the display image data of the frame C, and through image display step S22 in the frame B is performed. 1つ前の段階でフレームB、Cには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームBの画像データは用いず、フレームBの代わりにフレームAの画像データをLCD40に表示する。 Frame B in the previous stage, it is determined that the C contains a high luminance area by flash by others, the image data of the frame B is not used, the image data of the frame A in place of the frame B It is displayed on the LCD40.

その次に、フレームFの測光値の取得及び演算処理、フレームEについてのステップS21の判断、フレームDの表示画像データの生成処理、及びフレームCについてのステップS22のスルー画像表示が行われる。 The next, acquisition and processing of the photometric value of the frame F, the determination in step S21 in the frame E, generation processing of the display image data of the frame D, and through image display in step S22 in the frame C is performed. 2つ前の段階でフレームB、Cには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームCの画像データは用いず、フレームCの代わりにフレームAの画像データをLCD40に表示する。 Frame B in the second previous stage, it is determined that the C contains a high luminance area by flash by others, the image data of the frame C is not used, the image data of the frame A in place of the frame C It is displayed on the LCD40.

CPU10は、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS24)。 CPU10 determines whether the imaging end instruction of the through image input from the operation unit 12 (step S24). スルー画像の撮影が終了した場合(ステップS24でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS24でNO)にはステップS20へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S24), and when the photographer of the through image is not completed (NO in step S24) returns to step S20, the acquisition of the next frame do.

なお、図10はスルー画像の撮影を例に説明したが、表示画像データの生成を記録用の画像データに、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。 Although Figure 10 has been described taking the through image as an example, the recording image data generated in the display image data, by changing the display of the through image on the recording, processing Similarly for video recording can. また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップS21の処理として図7に示すフローを用いることにより、同様に処理することができる。 Moreover, not only when the exposure time is long, by using the flow shown in FIG. 7 as the processing in step S21 also when the exposure time is short, it can be treated similarly.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはLCD40への表示、動画記録に用いないようにし、その代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する、すなわち高輝度領域の検出があったフレームの画像を高輝度領域を含まない画像に置き換えることで、画面の一部白とびなどの不自然なスルー画像の表示、動画記録をなくすことができる。 Thus, if another person is detected that the fire the flash, the frames with detected display to LCD 40, to avoid using the moving image recording, are acquired before instead, high brightness displaying an image which does not include a region to record, i.e. the images of frames with the detection of the high luminance region by replacing the image without the high luminance region, the unnatural through image and some overexposure of the screen display, it is possible to eliminate the moving image recording. したがって、スルー画や動画の画質を向上させ、トータル的に見栄を改善することができる。 Therefore, to improve the image quality of the through image and video, can be total to improve the appearance.

なお、図9、10において、高輝度領域の検出があったフレームの画像を、高輝度領域が含まれるフレーム(現フレーム)の前に取得され、高輝度領域を含まないフレームの画像に置き換えたが、動画記録の場合であって、撮影と記録との間に時間差がある場合には、現フレームの前に取得されたフレームの画像に限らず、現フレームの後に取得されたフレームの画像を置き換えに用いるようにしてもよい。 Note that, in FIGS. 9 and 10, the image of the frame there is a detection of the high luminance region is acquired before the frame containing the high luminance region (the current frame), it was replaced with the image of the frame that does not include the high luminance region but in the case of moving image recording, when there is a time difference between the photographing and recording it is not limited to the image frame acquired before the current frame, the image frame acquired after the current frame it may be used to replace.

<他者のフラッシュ発光があったかのようなフレームを残す処理について> <Processing to leave one of such frames had flash of others "
図10に示す処理により、フレームB、Cの画像をフレームAに置き換えることにより、画面の一部白とびなどの不自然なスルー画像表示、動画記録をなくす。 By the processing shown in FIG. 10, frame B, by replacing the image of C in the frame A, unnatural through image display, such as some overexposure of the screen, eliminating the moving image recording. しかしながら、他者によりフラッシュが発光されたことが分からなくなってしまう。 However, no longer know the flash has been emitted by another person. すなわち、撮影時の状況を反映しないスルー画像、動画となってしまう。 In other words, through image, resulting in a video that does not reflect the situation at the time of shooting.

そのため、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映する。 Therefore, by leaving one of such frames it had flash emission by others in a pseudo manner, reflecting the atmosphere at the time of shooting. 以下、他者によるフラッシュの発光があったかのようなフレームを擬似的に残す方法について説明する。 The following describes how to leave a frame as if there was a flash of light emission by others in a pseudo manner.

(1)AEの目標値を一定量上げて撮影する形態について 図11は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのAEの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 (1) 11 in form of imaging by increasing a predetermined amount the target value of AE, if the exposure time is long, when the flash others emitted during through image or moving image, the next frame AE It illustrates an example of a case leaving a pseudo frame as if there was a flash of light emission by others by the target value taken up a certain amount. フレームB、Cの画像に高輝度領域が含まれると判断されると、フレームCの判定後に露光が行われるフレーム、すなわちフレームFのAEの目標値を一定量上げて撮影することで、フレームFの画面全体を高輝度とする。 If it is determined that the high luminance region is included in the frame B, C of the image frame exposure after determination of the frame C is carried out, i.e., the target value of the AE frame F by shooting raised a certain amount, the frame F the entire screen and high brightness.

図12は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつAEの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 12, when the flash others emitted during through image or moving image, the previous frame image data display / recording of instead of the image data of the frame which the high luminance area is detected, and is a flowchart showing a flow of processing for pseudo-leaving displaying / recording the frame as if there was a flash of light emission by others by raising certain amount target value of AE. この処理は、主としてCPU10によって行われる。 This processing is mainly carried out by the CPU 10. 図12において、図10と同様の部分については、同一の符号を付し、説明を省略する。 12, the same parts as in FIG. 10 are denoted by the same reference numerals, and description thereof is omitted.

CPU10は、1フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得すると共に、画像データを生成し、VRAM18に保存する(ステップS20)。 CPU10 reads the image signals for one frame, obtains the photometric value of each of the photometry each divided area, and generating image data, is stored in VRAM 18 (step S20). 図3又は図7に示すフローに基づいて、ステップS20で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する(ステップS21)。 3 or on the basis of the flow shown in FIG. 7, determines whether it is determined as the high luminance region is included in a frame obtained in step S20 (step S21).

高輝度領域が含まれないと判断された場合(ステップS21でNO)には、ステップS20で取得された画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式に変換し、LCD40に出力する(ステップS23)。 In a case where it is determined that the high luminance area is not included (NO in step S21), and outputs the image data obtained in step S20 to the LCD driver 38, the LCD driver 38 to a signal format for displaying the image data conversion, and outputs to the LCD 40 (step S23).

高輝度領域が含まれると判定された場合(ステップS21でYES)には、ステップS20で取得したフレームの前に取得され、VRAM18に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式に変換し、LCD40に出力する(ステップS22)。 In a case where it is determined to contain a high luminance region (YES in step S21), and is obtained in the previous frame obtained in step S20, an image data stored in the VRAM 18, includes a high luminance region outputs the image data of the frame without the LCD driver 38, the LCD driver 38 converts the signal format for displaying the image data, and outputs the LCD 40 (step S22).

そして、次に撮影するフレームのAE目標値を、ステップS21で他者によるフラッシュ発光の有無を判断するのみ用いた閾値(例えば、2EV)分高く設定して、次のフレームの撮影を行う(ステップS25)。 Then, the AE target value of a frame to be photographed next, the threshold using only determine the presence or absence of flash light emission by others at step S21 (e.g., 2EV) min higher setting in order to carry out capturing of the next frame (step S25).

ステップS25について図11を用いて具体的に説明する。 Specifically described with reference to FIG. 11 step S25. 図11は横軸に時間を示し、横方向の位置が同じ場合は同じ時間を示す。 Figure 11 shows time on the horizontal axis, when the lateral position are the same show the same time.

フレームEの露光、フレームDの測光値の取得及び演算処理(ステップS20)と同時に、フレームCについてステップS21の判断が行われる。 Exposure frame E, simultaneously with the acquisition and processing of the photometric value of the frame D (step S20), the determination of step S21 for the frame C is performed. この段階では、フレームB、Cの2フレームの測光値に基づき、フレームB、Cには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。 At this stage, the frame B, based on the photometric value of the two frames C, the frame B, the C is determined to contain a high-brightness area by flash by others.

そのため、次に露光を行うフレーム、すなわちフレームFについては、AE目標値をその他のフレーム(フレームA〜E)の値から所定の閾値(例えば、2EV)高い値の画像信号を取得する。 Therefore, the next frame to be exposed, namely the frame F, the value from the predetermined threshold value of the AE target value other frames (frame A-E) to obtain an image signal (e.g., 2EV) high value. これにより、フレームFは画面全体が露出オーバーとなる。 Thus, the frame F has a whole screen becomes overexposed.

CPU10は、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS24)。 CPU10 determines whether the imaging end instruction of the through image input from the operation unit 12 (step S24). スルー画像の撮影が終了した場合(ステップS24でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS24でNO)にはステップS20へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S24), and when the photographer of the through image is not completed (NO in step S24) returns to step S20, the acquisition of the next frame do.

なお、図12はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。 Incidentally, FIG. 12 has been described taking the through image as an example, by changing the display of the through image on the recording, it can be also similarly processed video recording. また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップS21の処理として図7に示すフローを用いることにより、同様に処理することができる。 Moreover, not only when the exposure time is long, by using the flow shown in FIG. 7 as the processing of step S21 also when the exposure time is short, it can be treated similarly.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはLCD40への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。 Thus, if another person is detected that the fire the flash, the display of the had detected frame LCD 40, so as not to use the video recording, and is obtained in front instead, high displaying the image without the luminance area, by recording, display of unnatural through image and some overexposure of the screen, on the moving image recording is eliminated, or like frame there is a flash light emitting by others the pseudo by leaving a manner, it is possible to reflect the atmosphere at the time of shooting.

なお、AE目標値を所定の閾値だけ高い値の画像信号を取得する方法としては、露光後の画像信号に掛けるゲインを調整する、絞り等を調整して光量を増やすなどの様々な方法を用いることができる。 As a method of acquiring an image signal of high the AE target value by a predetermined threshold value, it adjusts the gain applied to the image signal after exposure, using various methods such as increasing the amount of light by adjusting the diaphragm or the like be able to.

(2)自己のフラッシュを用いてフラッシュ撮影した画像を用いる形態について 図13は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 (2) 13 for mode using an image flash photography using a self-flash, if the exposure time is long, when the flash others emitted during through image or moving image shooting, a self-flash It shows an example of a case where pseudo-leave of such frames had flash emission by others by using an image flash photography using. フレームB、Cの画像に高輝度領域が含まれると判断されると、フレームCの判定後に露光が行われるフレーム、すなわちフレームGで自己のフラッシュを発光させることで、フレームGの画面全体を高輝度とする。 If it is determined that the high luminance region is included in the frame B, C of the image frame exposure after determination of the frame C is carried out, i.e. that emit own flash frame G, high overall screen frame G and brightness.

図14は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 14, when the flash others emitted during through image or moving image, the previous frame image data display / recording of instead of the image data of the frame which the high luminance area is detected, and using its own flash is a flowchart showing a flow of processing of one of such frames had flash emission performing pseudo leaving the display / recording by others by flash photography. この処理は、主としてCPU10によって行われる。 This processing is mainly carried out by the CPU 10. 図14において、図10と同様の部分については、同一の符号を付し、説明を省略する。 14, the same parts as in FIG. 10 are denoted by the same reference numerals, and description thereof is omitted.

CPU10は、1フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得する。 CPU10 reads the image signals for one frame, obtains the photometric value of each of the photometry each divided area. また、CPU10は、画像信号処理回路34の指示を出し、画像信号処理回路34は、ステップS20で取得したフレームの画像信号の演算処理を行って画像データを生成し、VRAM18に保存する(ステップS20)。 Further, CPU 10 issues an instruction of the image signal processing circuit 34, image signal processing circuit 34 generates image data by performing arithmetic processing of an image signal of a frame obtained in step S20, it is stored in VRAM 18 (step S20 ). 図3又は図7に示すフローに基づいて、ステップS20で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する(ステップS21)。 3 or on the basis of the flow shown in FIG. 7, determines whether it is determined as the high luminance region is included in a frame obtained in step S20 (step S21).

高輝度領域が含まれないと判断された場合(ステップS21でNO)には、ステップS20で生成された画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換し、LCD40に出力する(ステップS23)。 In a case where it is determined that the high luminance area is not included (NO in step S21), and outputs the image data generated in step S20 to the LCD driver 38, the LCD driver 38 is a signal format for displaying the image data ( for example into a color composite video signal) of the NTSC system and outputs the LCD 40 (step S23).

高輝度領域が含まれると判定された場合(ステップS21でYES)には、ステップS20で取得したフレームの画像データを、その前に取得したフレームの画像データであって、高輝度領域が含まれないフレームの画像データに置き換え、置き換えられた画像データをLCDドライバ38で表示用の信号形式(たとえばNTSC方式のカラー複合映像信号)に変換し、LCD40に出力する(ステップS22)。 In a case where it is determined to contain a high luminance region (YES in step S21), the image data of the acquired frame in step S20, an image data of a frame which has been acquired before, includes a high luminance region replaced with the image data of the frame without, it converts the image data that has been replaced with a signal format for display by the LCD driver 38 (e.g. NTSC system color complex video signal) to the LCD 40 (step S22).

そして、CPU10は、フラッシュ撮影の準備を行い、次のフレームのライン読み出し方向のリセットタイミングより後からフラッシュ発光を開始し、2つ後のライン読み出し方向の1ライン目の読み出しが終わるまでにフラッシュ発光を止めるように、フラッシュ発光部20を制御して被写体にフラッシュを発光させる(ステップS26)。 Then, CPU 10 performs a preparation for flash photography, the flash starts from after the reset timing of the line readout direction of the next frame, flash until the first line of the reading of the two-line readout direction after the end to stop, by controlling the flash unit 20 to emit the flash object (step S26).

ステップS26について図13を用いて具体的に説明する。 It will be specifically described with reference to FIG. 13 for step S26. 図13は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。 Figure 13 shows time on the horizontal axis, when the vertical position is the same show the same time.

フレームEの露光、フレームDの測光値の取得及び演算処理(ステップS20)と同時に、フレームCについてステップS21の判断が行われる。 Exposure frame E, simultaneously with the acquisition and processing of the photometric value of the frame D (step S20), the determination of step S21 for the frame C is performed. この段階では、フレームB、Cの2フレームの測光値に基づき、フレームB、Cには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。 At this stage, the frame B, based on the photometric value of the two frames C, the frame B, the C is determined to contain a high-brightness area by flash by others.

そのため、次に露光を行うフレーム、すなわちフレームFの最後に読み出しが行われるラインのリセットタイミングより後にフラッシュ発光部20の発光を開始し、かつフレームGの最初に読み出しが行われるラインの読み出しタイミングより前にフラッシュ発光部20の発光を止めて、フレームGの画像信号の読み出しを行う。 Therefore, the next frame to be exposed, that is, starts light emission of the flash light emitting unit 20 after the reset timing of the line last read frame F is performed, and from the first read timing of the line reading is performed in the frame G stopping the emission of the flash unit 20 before reads the image signal of the frame G.

これにより、前後のフレーム(この場合には、フレームF、フレームH)に影響を与えることなく、フレームGは画面全体が露出オーバーとなる。 Thus, the front and rear of the frame (in this case, the frame F, the frame H) without affecting the frame G has the entire screen becomes overexposed.

CPU10は、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS24)。 CPU10 determines whether the imaging end instruction of the through image input from the operation unit 12 (step S24). スルー画像の撮影が終了した場合(ステップS24でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS24でNO)にはステップS20へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S24), and when the photographer of the through image is not completed (NO in step S24) returns to step S20, the acquisition of the next frame do.

なお、図14はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。 Incidentally, FIG. 14 has been described taking the through image as an example, by changing the display of the through image on the recording, it can be also similarly processed video recording. また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップS21の処理として図7に示すフローを用いることにより、同様に処理することができる。 Moreover, not only when the exposure time is long, by using the flow shown in FIG. 7 as the processing of step S21 also when the exposure time is short, it can be treated similarly.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはLCD40への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、スルー画や動画に撮影時の雰囲気を反映することができる。 Thus, if another person is detected that the fire the flash, the display of the had detected frame LCD 40, so as not to use the video recording, and is obtained in front instead, high displaying the image without the luminance area, by recording, display of unnatural through image and some overexposure of the screen, on the moving image recording is eliminated, or like frame there is a flash light emitting by others the pseudo by leaving a manner, it is possible to reflect the atmosphere at the time of shooting in the through images and videos.

また、備え付けのフラッシュを用いることで、より他者からの飛び込みフラッシュに近い効果をもったフレームを擬似的に残すことができる。 Further, by using a flash equipped, it is possible to leave the frame having an effect close to the dive flash from more others in a pseudo manner.

(3)2フレームにまたがって取得された高輝度領域を合成する形態について 図15は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 (3) 15 in form of synthesizing a high luminance region which is acquired over two frames, if the exposure time is long, when the flash others emitted during through image or moving image shooting, others flash is shows an example of a case where leave frame as if there was a flash of light emission by others by using a image generated synthesized high luminance area by emitting a pseudo manner. フレームB、Cの画像に高輝度領域が含まれると判断されると、フレームCの次フレーム、すなわちフレームDの画像の変わりにフレームB、Cの高輝度領域を合成した画像を使用する。 Frame B, it is determined to include the high brightness area C of the image, using the next frame of the frame C, i.e. changes to the frame B image frame D, and images obtained by combining the high-luminance region of the C.

図16は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつその後のフレームの画像データを2フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 16, when the flash others emitted during through image or moving image, the previous frame image data display / recording of instead of the image data of the frame which the high luminance area is detected, and processing the subsequent one of such frames had flash emission by others by replacing the image data of the frame image obtained by combining the high-luminance region obtained over two frames perform pseudo leaving the display / recording is a flowchart showing the flow. この処理は、主としてCPU10によって行われる。 This processing is mainly carried out by the CPU 10. 図16において、図10と同様の部分については、同一の符号を付し、説明を省略する。 16, the same parts as in FIG. 10 are denoted by the same reference numerals, and description thereof is omitted.

CPU10は、1フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し、画像信号処理回路34の指示を出し、画像信号処理回路34は画像信号の演算処理を行って画像データを生成し、VRAM18に保存する(ステップS20)、ステップS20で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する(ステップS27)。 CPU10 reads the image signals for one frame, obtains the photometric value of each of the photometry each divided area, instructs the image signal processing circuit 34, image data image signal processing circuit 34 performs arithmetic processing of an image signal generates and stores the VRAM 18 (step S20), the average value is a predetermined threshold value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction of the acquired frame in step S20 It has increased more, and the line to determine whether there is continuously at the bottom of the screen (step S27).

ライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していないと判断された場合(ステップS27でNO)には、ステップS20で取得された画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式に変換し、LCD40に出力し(ステップS23)、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS24)。 Average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction has increased by more than a predetermined threshold value, and the line is present continuously in the lower side of the screen in a case where it is judged not (nO in step S27), and outputs the image data obtained in step S20 to the LCD driver 38, the LCD driver 38 converts the signal format for displaying the image data, outputted to the LCD40 (step S23), an imaging end instruction of the through image to determine if the input from the operation unit 12 (step S24). スルー画像の撮影が終了した場合(ステップS24でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS24でNO)にはステップS20へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S24), and when the photographer of the through image is not completed (NO in step S24) returns to step S20, the acquisition of the next frame do.

ライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していると判断された場合(ステップS27でYES)には、ステップS20で取得したフレームの前に取得され、VRAM18に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをLCDドライバ38に出力し、LCDドライバ38は画像データを表示用の信号形式に変換してLCD40に出力する(ステップS28)。 Average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction has increased by more than a predetermined threshold value, and the line is continuously exist on the lower side of the screen (YES in step S27) has been the case determined that there is acquired before the frame obtained in step S20, an image data stored in the VRAM 18, image data of a frame that does not contain a high luminance region the output to the LCD driver 38, the LCD driver 38 outputs the LCD40 is converted into a signal format for displaying the image data (step S28).

そして、CPU10は、その次のフレームの画像信号を1フレーム分読み出し、各測光分割エリア毎の測光値を取得し(ステップS29)、ステップS29で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別する。 Then, CPU 10, the next one frame image signals are read out of the frame, it obtains the photometric value of each of the photometry each divided area (step S29), the current of each of the photometry divided area in the line direction of the acquired frame in step S29 average value of the difference between the photometric value and the photometric value of one frame before the frame has increased by more than a predetermined threshold value, and the line to determine whether continuously present on the upper side of the screen. それと共に、この画面の上側に連続して存在すると判断された高輝度領域と、ステップS27で画面の下側に連続して存在すると判断された高輝度領域の合計が約1フレーム分あるかどうかを判断する(ステップS30)。 At the same time, and a high luminance regions judged to be present continuously in the upper side of the screen, whether the sum of the high luminance region which is determined to be present continuously in the bottom of the screen in step S27 is about one frame the determining (step S30). それと同時に、CPU10は、画像信号処理回路34の指示を出し、画像信号処理回路34は、ステップS20で取得したフレームの画像信号の演算処理を行って画像データを生成し、VRAM18に保存する。 At the same time, the CPU 10, instructs the image signal processing circuit 34, image signal processing circuit 34 generates image data by performing arithmetic processing of an image signal of a frame obtained in step S20, is stored in VRAM 18.

ライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別され、かつ、この画面の上側に連続して存在すると判断された高輝度領域と、ステップS27で画面の下側に連続して存在すると判断された高輝度領域の合計が約1フレーム分あると判断された場合(ステップS30でYES)には、ステップS27で画面の下側に連続して存在すると判断された高輝度領域と、ステップS30で画面の上側に連続して存在すると判断された高輝度領域とを合成して、画面全体が高輝度の画像データを生成する。 Whether the average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction has increased by more than a predetermined threshold value, and the line is continuously present on the upper side of the screen is determined, and the highly brightness regions judged to be present continuously in the upper side of the screen, a total of about one frame of the high luminance region which is determined to be present continuously in step S27 on the lower side of the screen in a case where it is determined that there is (YES at step S30), it is judged the high luminance region which is determined to be present continuously in the bottom of the screen in step S27, and continuously present on the upper side of the screen in step S30 It was by combining the high-luminance region, the entire screen to generate an image data of high brightness. そして、ステップS29で取得されたフレームの次のフレームの画像データを、合成により生成された画面全体が高輝度の画像データに置き換え、置き換えられた画像データをLCDドライバ38で表示用の信号形式に変換してLCD40に出力する(ステップS31)。 Then, the image data of the next frame of the frame acquired in step S29, replace the entire screen generated by synthesizing the image data of high brightness, the image data is replaced with the signal format for display by the LCD driver 38 and outputs converted to the LCD 40 (step S31).

ステップS27〜S31について、図15を用いて具体的に説明する。 For step S27 to S31, it will be described in detail with reference to FIG. 15. ステップS20でフレームBの測光値を取得した場合には、フレームBのライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する(ステップS27)。 When acquiring the photometric value of the frame B in step S20, it increases the average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction of the frame B is greater than a predetermined threshold value and has, and line to determine whether there is continuously at the bottom of the screen (step S27).

これと同時に、フレームCの測光値を取得し(ステップS29)、次の段階でフレームCのライン方向の各測光分割エリアの現フレームの測光値と1フレーム前の測光値との差分の平均値が所定の閾値以上増加しているかどうか、所定の閾値以上増加しているラインが画面の上側に連続して存在するかどうか、及びこの画面の上側に連続して存在すると判断された高輝度領域と、フレームBにおいて画面の下側に連続して存在すると判断された高輝度領域の合計が約1フレーム分あるかどうかを判断する(ステップS30)。 At the same time, obtains the photometric value of the frame C (step S29), the average value of the difference between the photometric value and the photometric value of one frame before the current frame of each of the photometry divided area in the line direction of the frame C in the next step high brightness regions but whether increased by more than a predetermined threshold value, the line has increased more than a predetermined threshold value whether continuously present on the upper side of the screen, and are judged to be present continuously in the upper side of the screen If, it is determined whether the sum of the high luminance region which is determined to be present continuously in the bottom of the screen in the frame B is about one frame (step S30).

フレームBはステップS27でYESとなり、フレームCはステップS30でYESとなるため、フレームB、フレームCの代わりにフレームAの画像信号をLCD40に出力する。 Frame B is is YES in step S27, the frame C for a YES at step S30, the output frame B, and the image signal of frame A in place of the frame C on LCD 40. これにより、高輝度領域の無い画像がLCD40に表示される(ステップS28)。 Thus, an image without a high brightness region is displayed on the LCD 40 (step S28).

フレームCについてステップS30を行うのと同時に、フレームDの測光値の読み出しなどが行われているが、ステップS30でYESであったため、次の段階では、フレームDの画像データを生成する代わりに、フレームBの高輝度領域と、フレームCの高輝度領域とを合成した画像を生成し(ステップS31)、LCE40に出力する。 At the same time as performing the step S30 the frame C, for the like read the photometric value of the frame D is being performed, is YES in step S30, the next stage, instead of generating the image data of the frame D, generating a high-luminance area of ​​the frame B, and synthesized images and high luminance area of ​​the frame C (step S31), and outputs the LCE40. これにより、画面全体が露出オーバーの画像がスルー画像として表示される。 Thus, the entire screen image is overexposed is displayed as a through image.

CPU10は、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS24)。 CPU10 determines whether the imaging end instruction of the through image input from the operation unit 12 (step S24). スルー画像の撮影が終了した場合(ステップS24でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS24でNO)にはステップS20へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S24), and when the photographer of the through image is not completed (NO in step S24) returns to step S20, the acquisition of the next frame do.

なお、図12はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。 Incidentally, FIG. 12 has been described taking the through image as an example, by changing the display of the through image on the recording, it can be also similarly processed video recording.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはLCD40への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。 Thus, if another person is detected that the fire the flash, the display of the had detected frame LCD 40, so as not to use the video recording, and is obtained in front instead, high displaying the image without the luminance area, by recording, display of unnatural through image and some overexposure of the screen, on the moving image recording is eliminated, or like frame there is a flash light emitting by others the pseudo by leaving a manner, it is possible to reflect the atmosphere at the time of shooting.

また、この形態では、他者がフラッシュ発光することにより撮影された画像データを実際に用いて他者によるフラッシュの発光があったことを擬似的に示すフレームを生成するため、撮影時の実際の雰囲気により近いスルー画像表示、動画記録をすることができる。 Further, in this embodiment, in order to generate a frame showing pseudo that others had flash emission by others using the actual image data captured by flash, real at the time of shooting through image display closer to the atmosphere, it can be a moving image recording.

本実施の形態によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出することができる。 According to the present embodiment, when performing photographing of the through image or video using the rolling shutter method, it is possible camera owned by others to detect whether or not fire the flash.

また、本実施の形態によれば、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる また、本実施の形態によれば、他人のフラッシュ発光があったかのような画像を残すことができ、撮影時の雰囲気を残したスルー画や動画を撮影することができる。 Further, according to this embodiment, also it is possible to prevent the deterioration of the through image and video quality due to the brighter part of the screen by flash light of the camera owned by another person, according to this embodiment if, it is possible to be able to leave the image as if there was a flash of others, taking a through image and videos leave the atmosphere at the time of shooting.

なお、本実施の形態では、他者のフラッシュ発光による高輝度領域を検出し、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理とを行ったが、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理の両方を必ず行なう必要は無く、他者のフラッシュ発光による露出オーバーをなくす処理のみを行なうようにしてもよい。 In the present embodiment, to detect the high luminance region by flash emission of another person, a process to eliminate the overexposed by flash emission of another person, and a process to leave the frame as if there was a flash emission of another person but went, a process to eliminate the overexposed by flash emission of another person, without need to perform always both process leaving the frame as if there was a flash emission of another person, eliminating overexposure by flash emission of another person processing only may be performed. 他者のフラッシュ発光による露出オーバーをなくす処理のみで、スルー画や動画の画質の劣化を防止するという目的は果たすことができるからである。 Only processing to eliminate overexposure by flash emission of another person, because objects can be accomplished of the prevention of deterioration of through image and video quality.

また、本実施の形態では、撮影シーンに関わらず、撮影モード時に常に他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしたが、他者のフラッシュ発光がおきやすい撮影シーン、例えば、結婚式や記者会見などにおける人物撮影モードや、露出が低く設定される夜景モードなどに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしてもよい。 Further, in the present embodiment, regardless of the photographic scene, always processed to detect the high luminance area by flash emission of another person, the processing to eliminate the overexposed by flash emission of another person, and flash emission of another person in the photographing mode Although to perform a process of leaving the frame as if there was, flash prone shooting scene of others, for example, person photographing mode, such as in a wedding or a press conference, such as a night scene mode exposure is set lower a process for detecting, processing to eliminate the overexposed by flash emission of another person, and the process to leave one of such frames had flash of another person performing the high-luminance region by flash emission of another person only when it is set to it may be so.

すなわち、図17に示すように、他者のフラッシュ発光の影響がある撮影モード(例えば、人物撮影モード及び夜景モード)か否かを判断し(ステップS40)、他者のフラッシュ発光の影響がある撮影モードである場合(ステップS40でYES)には、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行い(ステップS41)、スルー画像の撮影が終了したか否かを判断する(ステップS42)。 That is, as shown in FIG. 17, the photographing mode in which the influence of flash emission of another person (e.g., person photographing mode and night scene mode) whether the determined (step S40), there is the influence of the flash emission of another person If a shooting mode (YES in step S40), processing for detecting a high-luminance region by flash emission of another person, the processing to eliminate the overexposed by flash emission of another person, and as if there was a flash emission of another person performs a process of leaving a frame (step S41), imaging of the through image is determined whether or not it is completed (step S42). 他者のフラッシュ発光の影響がある撮影モードでない場合(ステップS40でNO)には、スルー画像の撮影が終了したか否かを判断する(ステップS42)。 If not shooting mode is affected by the flash light emission of the others (NO in step S40), imaging of the through image is determined whether or not it is completed (step S42).

スルー画像の撮影が終了していない場合(ステップS42でNO)には、再度他者のフラッシュ発光の影響がある撮影モードか否かを判断する処理(ステップS40)を行い、スルー画像の撮影が終了した場合(ステップS42でYES)には、処理を終了する。 In a case where shooting of the through image is not completed (NO at step S42), performs a process of determining whether or not the shooting mode with the effect of flash emission of another person again (step S40), the through image photographing in a case where it ended (YES in step S42), and ends the process.

これにより、他者のフラッシュ発光による画質低下が発生する可能性が高い場合にのみ、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにすることができる。 Thus, only when there is a high possibility that the image quality degradation due to flash emission of another person occurs, processing for detecting a high-luminance region by flash emission of another person, the processing to eliminate the overexposed by flash emission of another person, and other it is possible to perform the process to leave one of such frames had flash emission's. したがって、他者のフラッシュ発光による画質低下が発生する可能性が低い場合には、実際の撮影からスルー画像の表示や動画記録までに要する時間を短縮することができる。 Therefore, when there is a low possibility that the image quality degradation due to flash emission of another person occurs, it is possible to shorten the time required for display and video recording of the through image from the actual image.

また、図3、図7に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、再度他者のフラッシュ発光による高輝度領域が検出される可能性が高いため、図18に示すように、測光分割エリアのライン読み出し方向の幅を狭くするようにしてもよい。 Further, FIG. 3, the processing of detecting a region which is over-exposed as shown in FIG. 7, when the high-luminance region by flash emission of another person is detected, a high-brightness area by flash emission of another person again will likely be detected, as shown in FIG. 18, it may be to narrow the width of the line readout direction photometric divided areas. これにより、測光値をライン読み出し方向に細かく取得できるため、他者によるフラッシュ発光があったか否かの検出精度を高くすることができる。 Accordingly, since the fine can obtain the photometric value to the line readout direction, it can be increased whether the detection accuracy was a flash by others. そして、測光分割エリアのライン読み出し方向の幅に応じて、他者のフラッシュ発光があったかのようなフレームを残す処理(1)〜(3)を選択するようにしてもよい。 Then, according to the width of the line readout direction of the photometric divided areas, the process to leave one of such frames had flash of another person (1) may be selected to (3).

また、図3、図7に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、図19(a)に示すような順次読み出し(順次走査)から、図19(b)に示すようなフィールド読み出し(例えば、フィールドAで偶数行を読み出し、フィールドBで奇数行を読み出す、飛び越し走査)に読み出し方法を変更するようにしてもよい。 Further, FIG. 3, the processing of detecting a region which is over-exposed as shown in FIG. 7, when the high-luminance region by flash emission of another person is detected, sequentially reads as shown in FIG. 19 (a) from (sequential scanning), FIG. 19 (b) field readout as shown in (e.g., read the even rows in the field a, reads the odd-numbered rows in the field B, interlaced scanning) may be changed to read how the .

すなわち、図20に示すように、CPU10は、1フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し(ステップS43)、図3又は図7に示すフローに基づいて、ステップS20で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する(ステップS44)。 That is, as shown in FIG. 20, CPU 10 reads the image signals for one frame, obtains the photometric value of each of the photometry each divided area (step S43), based on the flow shown in FIG. 3 or FIG. 7, step high luminance region has been determines whether determined to contain the frame acquired at S20 (step S44).

高輝度領域が含まれると判断された場合(ステップS44でYES)には、順次読み出しからフィールド読み出しに変更し、所定の期間はフィールド読み出しでスルー画像又は動画の読み出しを行う(ステップS45)。 If it is determined to include the high brightness area is (YES in step S44), the change from a sequential read field reading, predetermined period of time to read through the image or video in field reading (step S45). 高輝度領域が含まれないと判断された場合(ステップS44でNO)には、順次読み出しを所定の期間継続する(ステップS46)。 If it is determined that the high luminance area is not included (NO in step S44), the continues for a predetermined period of time is sequentially read (step S46).

そして、CPU10は、スルー画像の撮影終了の指示が操作部12から入力されたどうかを判断する(ステップS47)。 Then, CPU 10 determines whether the imaging end instruction of the through image input from the operation unit 12 (step S47). スルー画像の撮影が終了した場合(ステップS47でYES)には処理を終了し、スルー画像の撮影が終了していない場合(ステップS47でNO)にはステップS43へ戻り、次のフレームの取得を行う。 When the shooting of the through image has been completed and the process is terminated (YES at step S47), when the photographer of the through image is not completed (NO in step S47) returns to step S43, the acquisition of the next frame do.

これにより、他者のフラッシュ発光が検出された場合には、読み出し及びリセットに要する時間を短くすることができる。 Accordingly, when the flash emission of another person is detected, it is possible to shorten the time required to read and reset. そのため、図19における読み出し及びリセットの時間方向の傾きが小さくなり、一度他者のフラッシュ発光が検出された場合、すなわち他者のフラッシュ発光が起こりやすい場合において、他者のフラッシュ発光により画面の一部が露出オーバーとなる確率を減らすことができる。 Therefore, the smaller the reading and time directions of inclination of the reset in FIG. 19, when it is detected once flash emission of another person, i.e. when prone to flash emission of another person, the screen by flash emission of another person one part can reduce the probability of overexposure.

本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置にも適用することができる。 Application of the present invention is not limited to the digital camera, it can be applied to an image pickup apparatus such as a camera-equipped mobile phones and video cameras. また、本発明の適用は、デジタルカメラなどの装置に限らず、装置に適用するプログラムとして提供することもできる。 Also, application of the present invention is not limited to devices such as digital cameras, it can be provided as a program to be applied to the device.

デジタルカメラ1の電気的構成を示すブロック図である。 Is a block diagram showing an electrical configuration of the digital camera 1. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図2(a)は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図2(b)は図2(a)に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図2(c)は図2(b)に示すフレームの露出値を示す図である。 If the exposure time is long, showing an example of a case where the flash of others emitted during through image or moving image shooting, FIG. 2 (a), the exposure time and readout timing, flash of others is a diagram showing the relationship between the emission timing, FIG. 2 (b) is a diagram showing an image acquired when the read at the timing shown in is performed FIG. 2 (a), FIG. 2 (c) is a diagram showing an exposure value of the frame shown in FIG. 2 (b). 露出時間が長い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。 Exposure time is a flowchart showing the overall flow of processing for detecting a high-luminance region is longer. 図3のステップS11、S12の内容を説明するための図である。 It is a diagram for explaining the contents of steps S11, S12 in FIG. 図3のステップS14、S15の内容を説明するための図である。 It is a diagram for explaining the contents of steps S14, S15 in FIG. 露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図6(a)は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図6(b)は図6(a)に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図6(c)は図6(b)に示すフレームの露出値を示す図である。 If the exposure time is short, showing an example of a case where the flash of others in the through image or moving image is luminous, FIG. 6 (a), the exposure time and readout timing, flash of others It is a diagram showing the relationship between the emission timing, and FIG. 6 (b) is a diagram showing an image acquired when the read at the timing shown in is performed FIG. 6 (a), the FIG. 6 (c) is a diagram showing an exposure value of the frame shown in Figure 6 (b). 露出時間が短い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。 Is a flow chart showing the overall flow of processing for detecting a high luminance region when the exposure time is short. 露出時間が短い場合に高輝度領域が検出される態様を示す図であり、(a)は露光時間と他者のフラッシュ発光とのタイミングを示す図であり、(b)は(a)に示す場合に取得されるフレームの高輝度領域の位置を示す図である。 Is a diagram showing the manner in which the high luminance area is detected if the exposure time is short, (a) is a diagram showing a timing of the flash emission of another person and the exposure time is shown in (b) is (a) shows the position of the high luminance region of a frame to be acquired when. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。 If the exposure time is long, it shows an example of a case where the flash of others emitted during through image or moving image shooting. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示や記録を行う処理の流れを示すフローチャートである。 If the flash others emitted during through image or moving image shooting is a flowchart showing the flow of processing for displaying or recording by replacing a frame which the high luminance area is detected in the image of the previous frame. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのAEの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 If the exposure time is long, if the flash of others in the through image or moving image is luminous, there was a flash of light emission by others by photographing by raising the target value of AE of the next frame fixed amount frames, such as those showing an example of a case leaving a pseudo manner. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつAEの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 If during the through image or movie shooting flash of others is emitted, the high luminance area displaying the image data of the previous frame instead of the image data of the frame detected / recorded, and the target value of AE is a flowchart showing a flow of processing for pseudo-leaving displaying / recording the frame as if there was a flash of light emission by others by raising a certain amount of. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 If the exposure time is long, when the flash others emitted during through image or moving image shooting, as if there was a flash of light emission by others by using an image flash photography using its own flash It illustrates an example when leaving a frame pseudo. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 If during the through image or movie shooting flash of others is emitted, the high luminance region is the previous frame image data display / recording of instead of the image data of frame detected, and its flash is a flowchart showing a flow of processing of one of such frames had flash emission performing pseudo leaving the display / recording by others by flash photography using. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。 If the exposure time is long, when it is emitting the flash others during through image or moving image shooting, the flash by others by using a image generated flash others were synthesized high-brightness area by emitting the frame as if there was light emission is indicative of an example of a case where left in a pseudo manner. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示/記録し、かつその後のフレームの画像データを2フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示/記録を行う処理の流れを示すフローチャートである。 If during the through image or movie shooting flash of others is emitted, the high luminance area displaying the image data of the previous frame instead of the image data of the frame detected / recorded, and subsequent frames shows the flow of processing for pseudo-leaving displaying / recording of such a frame was flash emission by others by replacing the image data to an image obtained by combining the high-luminance region obtained over two frame it is a flow chart. 他者のフラッシュ発光がおきやすい撮影シーンに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行う場合の処理の流れを示すフローチャートである。 A process for detecting a high-luminance region by flash emission of another person only if the flash light emission of the others are set to every easy shooting scene, processing to eliminate the overexposed by flash emission of another person, and the flash emission of another person it is a flowchart showing a flow of processing when performing processing to leave Attaka of such frames. (a)は高輝度領域検出前の測光領域分割エリアを示す図であり、(b)は高輝度領域検出後の測光分割エリアを示す図である。 (A) is a diagram showing a photometric area divided areas before the high luminance region detecting, (b) is a diagram showing a photometric divided areas after the high luminance region detection. (a)は高輝度領域検出前の読み出し方法(順次読み出し)を示す図であり、(b)は高輝度領域検出後の読み出し方法(フィールド読み出し)を示す図である。 (A) is a diagram showing a method of reading before high luminance region detecting (sequentially read) is a diagram showing a (b) the method of reading after the high luminance region detecting (field readout). 高輝度領域が検出された場合に読み出し方法を変える処理の流れを示すフローチャートである。 It is a flowchart showing a flow of a process of changing the reading method when a high luminance area is detected.

符号の説明 DESCRIPTION OF SYMBOLS

1:デジタルカメラ、10:CPU、12:操作部、20:フラッシュ発光部、22:レンズユニット、24:メカシャッタ、26:CMOSセンサ、28:タイミングジェネレータ(TG)、30:AGC回路、32:A/D変換器、34:画像信号処理回路、36:圧縮伸張処理回路、38:LCDドライバ、40:液晶ディスプレイ(LCD)、42:AE/WB検出回路、44:メモリカード、46:メディアコントローラ 1: digital camera, 10: CPU, 12: operation unit, 20: flash unit, 22: lens unit, 24: mechanical shutter, 26: CMOS sensor, 28: a timing generator (TG), 30: AGC circuit, 32: A / D converter, 34: image signal processing circuit, 36: compression and expansion processing circuit, 38: LCD driver, 40: liquid crystal display (LCD), 42: AE / WB detection circuit, 44: memory card, 46: Media controller

Claims (14)

  1. 被写体を撮像するための複数の電荷蓄積素子が2次元に配列された撮像素子と、 An imaging device having a plurality of charge storage elements for imaging a subject are arrayed in a two-dimensional,
    前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、 Together to start charge accumulation at different times for each line of the image pickup device, a rolling shutter means for reading an image signal to each line after a predetermined charge accumulation time,
    前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、 And output means for outputting sequentially display means or recording medium an image of a plurality of frames captured by the imaging device based on an image signal read by the rolling shutter means,
    を有する撮像装置において、 In the image pickup apparatus having,
    撮影画面のライン方向の輝度を算出する輝度算出手段と、 A luminance calculation means for calculating the luminance of the line direction of the photographing screen,
    前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域(以下、高輝度領域という)が帯状に存在するか否かを判定する判定手段と、 On the basis of the luminance of the the line direction calculated by the luminance calculation unit, the luminance is higher than a predetermined threshold value region (hereinafter referred to as the high luminance region) and determining means for determining whether present in strip,
    前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、 When the high luminance region is determined to exist in a band shape by the determination unit, and luminance unevenness removing means for removing the high-luminance area of ​​the image of the frame the high luminance area exists in a strip,
    を備え、 Equipped with a,
    前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする撮像装置。 When said high luminance area is determined to exist in a band shape by determining means imaging apparatus characterized by image high luminance region has been removed is output by the luminance unevenness removing means from said output means.
  2. 前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする請求項1に記載の撮像装置。 Said brightness computing unit, an imaging apparatus according to claim 1 which divides the photographing screen into a plurality of regions, and calculates the luminance of the line direction based on the brightness of each divided region.
  3. 前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、 The luminance calculation unit calculates an average value of the luminance of the line direction of the divided area based on the brightness of each divided region,
    前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項2に記載の撮像装置。 The determination unit is imaging apparatus according to claim 2 in which the average value of the luminance of the line direction of the divided areas and judging the high luminance region higher region than a predetermined threshold value.
  4. 前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、 The luminance calculation means calculates a luminance variation in the line direction of the divided area based on the brightness of each divided region,
    前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、 It said determination means, the luminance variation calculated by the luminance calculation means is equal to or within a predetermined threshold value,
    前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする請求項2又は3のいずれかに記載の撮像装置。 The high luminance region by determining means is determined to be present in a band shape, and the luminance variations in the line direction of the divided regions is high by the luminance unevenness removing means from said output means only when it is determined to be within a predetermined threshold value the imaging apparatus according to claim 2 or 3, characterized in that the image brightness area has been removed is output.
  5. 前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの1つ前のフレームの輝度との差分を算出する差分算出手段を備え、 A difference in luminance of the calculated line direction by the brightness calculation means includes a luminance of the current frame, a difference calculating means for calculating a difference between the luminance of the previous frame of the current frame,
    前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項1から4のいずれかに記載の撮像装置。 Said determining means imaging device according to any one of 4 claims 1 difference of the calculated luminance by the difference calculation means and judging the high luminance region higher region than a predetermined threshold value.
  6. 前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム(以下、低輝度フレームという)の画像に置き換えることにより前記高輝度領域を除去することを特徴とする請求項1から5のいずれかに記載の撮像装置。 The luminance nonuniformity removal means removes the high luminance region by replacing the image of the current frame, the high luminance region is not determined to be present in a band shape by determining means frame (hereinafter, referred to as low-luminance frame) on the image of the the imaging apparatus according to claim 1, wherein the 5 to.
  7. 前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする請求項1から6のいずれか記載の撮像装置。 Frame A exposure control means, when the high luminance region by said determining means is determined to exist in the strip is to be taken after the determination to control the exposure so that the proper exposure value based on the image signal the imaging apparatus according to any one of the exposure of the preceding claims, characterized in that it comprises exposure control means for controlling so that the higher exposure value by a predetermined value than the proper exposure value 6.
  8. 閃光を発して前記被写体を照明する閃光手段と、 A flash unit for illuminating the object emits a flash,
    前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、 Wherein when a high luminance region the judgment means judges to be in the band, the ends first to start light emission after the charge storage start of a line to start the charge storage end charge storage frames taken after the determination a flash control means for controlling said flash means to stop the emission before the charge accumulation end of lines,
    を備えたことを特徴とする請求項1から6のいずれかに記載の撮像装置。 The imaging apparatus according to claim 1, wherein 6 further comprising a.
  9. 前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する2フレームにまたがって存在し、かつ前記高輝度領域の合計が略1画面分であることを検出する検出手段と、 A detecting means for detecting that the high luminance area exists across two frames frame determined to be present in the strip is a continuous, and the sum of the high luminance region is substantially one screen by said determining means,
    前記検出手段により略1画面分であることが検出された高輝度領域を合成して1フレーム分の高輝度の画像を生成する合成手段と、を備え、 And a synthesizing means for generating a high-luminance image for one frame by combining the high-brightness region is detected that is approximately one screen by said detection means,
    前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する2フレームにまたがって存在し、かつ前記高輝度領域の合計が略1画面分であることが検出された場合には、前記連続する2フレームの後のフレームの画像に変えて前記合成手段により合成された画像を出力することを特徴とする請求項1から6のいずれかに記載の撮像装置。 And the output means, the high luminance area exists across two frames frame determined to be present in the strip is a continuous, and the total detection that is approximately one screen of the high-brightness region by said detecting means been the case, the imaging device according to any one of 6 claim 1, characterized in that outputs the image synthesized by said synthesizing means in place of the image frame after two frames said consecutive.
  10. 前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、 Said brightness computing unit, the divided reading direction of the reading width than the width of the region is set to a narrow split area, the read direction of the narrow read width based on the luminance of the divided regions is narrow line line calculating the direction of the luminance,
    前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする請求項2に記載の撮像装置。 The determination unit is imaging apparatus according to claim 2, wherein the high-brightness region based on the luminance of the line direction of the read width is narrow line to determine whether there a strip.
  11. 前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする請求項1から10のいずれかに記載の撮像装置。 Claim wherein the rolling shutter means, the high luminance region by the determining means when it is determined to be present in the strip is characterized in that the switching to the interlaced scanning from sequential scanning timing of the image signal of reading of the image sensor imaging device according to any one of 1 to 10.
  12. 所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、 A photographing mode setting means for setting a shooting mode according to a desired shooting scene,
    前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段と、 Control means for shooting mode set by the photographing mode setting means for operating said difference calculation means and said determining means only when the predetermined photographing mode,
    を備えたことを特徴とする請求項1から11のいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 11, comprising the.
  13. 前記複数フレームの画像は動画であることを特徴とする請求項1から12のいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 12, characterized in that images of said plurality of frames is a moving image.
  14. 被写体を撮像するための複数の電荷蓄積素子が2次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、 Together to start charge accumulation at different times for each line of the image pickup element in which a plurality of charge storage elements arranged in a two-dimensional for imaging an object, an image signal to each line after a predetermined charge accumulation time a step of reading,
    前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、 Calculating a luminance of the line direction of the imaging screen based on the read out image signal,
    前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域(以下、高輝度領域という)が帯状に存在するか否かを判定するステップと、 Based on the brightness of the calculated line direction, area luminance is higher than a predetermined threshold value (hereinafter, referred to as the high luminance region) determining whether there is a strip,
    前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、 When the high luminance region is determined to exist in a strip, and removing the high-luminance area of ​​the image of the frame the high luminance area exists in a strip,
    前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力するステップと、 And outputting sequentially display means or recording medium an image of a plurality of frames captured by the imaging device based on the read out image signal,
    前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、 Wherein in the case where the high luminance region by said determining step if it is determined not to exist in the band to output an image of the current frame, the high luminance region is determined to exist in a band shape by the step of determining and outputting an image high luminance region is removed,
    を含むことを特徴とする撮像方法。 Imaging method characterized in that it comprises a.
JP2008307700A 2008-12-02 2008-12-02 An imaging apparatus and an imaging method Active JP5144481B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008307700A JP5144481B2 (en) 2008-12-02 2008-12-02 An imaging apparatus and an imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008307700A JP5144481B2 (en) 2008-12-02 2008-12-02 An imaging apparatus and an imaging method

Publications (2)

Publication Number Publication Date
JP2010135921A true true JP2010135921A (en) 2010-06-17
JP5144481B2 JP5144481B2 (en) 2013-02-13

Family

ID=42346786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008307700A Active JP5144481B2 (en) 2008-12-02 2008-12-02 An imaging apparatus and an imaging method

Country Status (1)

Country Link
JP (1) JP5144481B2 (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278728A (en) * 2009-05-28 2010-12-09 Panasonic Corp Image pickup device, integrated circuit, image processing method and program
JP2011015381A (en) * 2008-11-05 2011-01-20 Panasonic Corp Imaging apparatus, imaging method, program, and integrated circuit
JP2011030207A (en) * 2009-07-03 2011-02-10 Panasonic Corp Imaging device, and flash determining method and program
JP2011259406A (en) * 2010-05-10 2011-12-22 Panasonic Corp Imaging apparatus, external flash light correction method, program, and integrated circuit
JP2012019429A (en) * 2010-07-09 2012-01-26 Ikegami Tsushinki Co Ltd Imaging signal processing circuit and imaging signal processing method
WO2012073657A1 (en) * 2010-11-30 2012-06-07 富士フイルム株式会社 Image processing device, imaging device, image processing method, and white balance adjustment method
JP2013192201A (en) * 2012-02-14 2013-09-26 Jvc Kenwood Corp Image processing apparatus, image processing method, and image processing program
JP2014023035A (en) * 2012-07-20 2014-02-03 Jvc Kenwood Corp Image processing device and method
CN103676409A (en) * 2012-09-18 2014-03-26 浙江大华技术股份有限公司 Method and device for controlling various flash lamps based on intelligent traffic monitoring system
JP2014082657A (en) * 2012-10-17 2014-05-08 Jvc Kenwood Corp Image processing apparatus and image processing method
JP2014110536A (en) * 2012-12-03 2014-06-12 Jvc Kenwood Corp Image processing device and method
JP2014117412A (en) * 2012-12-14 2014-06-30 Fujifilm Corp Endoscope apparatus and image processing method thereof
JP2014117413A (en) * 2012-12-14 2014-06-30 Fujifilm Corp Endoscope apparatus and image pickup control method thereof
JP2014187673A (en) * 2013-02-20 2014-10-02 Panasonic Corp Image processing unit
US8917348B2 (en) 2011-10-12 2014-12-23 Kabushiki Kaisha Toshiba Solid-state imaging device, camera module, and illuminance detection method
US9094586B2 (en) 2012-02-13 2015-07-28 Sony Corporation Flash band correction apparatus, flash band correction method, and image pickup apparatus
JP2015177303A (en) * 2014-03-14 2015-10-05 キヤノン株式会社 Imaging device and control method therefor
US9215379B2 (en) 2011-01-24 2015-12-15 Sony Corporation Imaging apparatus and imaging processing method for detecting and correcting flash band
US9558395B2 (en) 2014-02-10 2017-01-31 Sony Corporation Image correction device, image correction method, and imaging device
EP2629508A3 (en) * 2012-02-14 2017-11-01 JVC Kenwood Corporation Image processing device, image processing method, image processing program for flash detection
US9871982B2 (en) 2015-06-17 2018-01-16 Canon Kabushiki Kaisha Image pickup apparatus that detects flash band and control method therefor
US10051193B2 (en) 2014-06-18 2018-08-14 Olympus Corporation Processing device, imaging device, and endoscope system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306225A (en) * 2006-05-10 2007-11-22 Sony Corp Imaging apparatus and method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306225A (en) * 2006-05-10 2007-11-22 Sony Corp Imaging apparatus and method, and program

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015381A (en) * 2008-11-05 2011-01-20 Panasonic Corp Imaging apparatus, imaging method, program, and integrated circuit
JP2010278728A (en) * 2009-05-28 2010-12-09 Panasonic Corp Image pickup device, integrated circuit, image processing method and program
JP2011030207A (en) * 2009-07-03 2011-02-10 Panasonic Corp Imaging device, and flash determining method and program
JP2011259406A (en) * 2010-05-10 2011-12-22 Panasonic Corp Imaging apparatus, external flash light correction method, program, and integrated circuit
JP2012019429A (en) * 2010-07-09 2012-01-26 Ikegami Tsushinki Co Ltd Imaging signal processing circuit and imaging signal processing method
US8743238B2 (en) 2010-11-30 2014-06-03 Fujifilm Corporation Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
WO2012073657A1 (en) * 2010-11-30 2012-06-07 富士フイルム株式会社 Image processing device, imaging device, image processing method, and white balance adjustment method
US9215379B2 (en) 2011-01-24 2015-12-15 Sony Corporation Imaging apparatus and imaging processing method for detecting and correcting flash band
US8917348B2 (en) 2011-10-12 2014-12-23 Kabushiki Kaisha Toshiba Solid-state imaging device, camera module, and illuminance detection method
US9094586B2 (en) 2012-02-13 2015-07-28 Sony Corporation Flash band correction apparatus, flash band correction method, and image pickup apparatus
EP2629508A3 (en) * 2012-02-14 2017-11-01 JVC Kenwood Corporation Image processing device, image processing method, image processing program for flash detection
JP2013192201A (en) * 2012-02-14 2013-09-26 Jvc Kenwood Corp Image processing apparatus, image processing method, and image processing program
JP2014023035A (en) * 2012-07-20 2014-02-03 Jvc Kenwood Corp Image processing device and method
CN103676409A (en) * 2012-09-18 2014-03-26 浙江大华技术股份有限公司 Method and device for controlling various flash lamps based on intelligent traffic monitoring system
JP2014082657A (en) * 2012-10-17 2014-05-08 Jvc Kenwood Corp Image processing apparatus and image processing method
JP2014110536A (en) * 2012-12-03 2014-06-12 Jvc Kenwood Corp Image processing device and method
JP2014117413A (en) * 2012-12-14 2014-06-30 Fujifilm Corp Endoscope apparatus and image pickup control method thereof
JP2014117412A (en) * 2012-12-14 2014-06-30 Fujifilm Corp Endoscope apparatus and image processing method thereof
JP2014187673A (en) * 2013-02-20 2014-10-02 Panasonic Corp Image processing unit
US9558395B2 (en) 2014-02-10 2017-01-31 Sony Corporation Image correction device, image correction method, and imaging device
JP2015177303A (en) * 2014-03-14 2015-10-05 キヤノン株式会社 Imaging device and control method therefor
US10051193B2 (en) 2014-06-18 2018-08-14 Olympus Corporation Processing device, imaging device, and endoscope system
US9871982B2 (en) 2015-06-17 2018-01-16 Canon Kabushiki Kaisha Image pickup apparatus that detects flash band and control method therefor

Also Published As

Publication number Publication date Type
JP5144481B2 (en) 2013-02-13 grant

Similar Documents

Publication Publication Date Title
US20090091633A1 (en) Image-taking method and apparatus
US20040061796A1 (en) Image capturing apparatus
US7509042B2 (en) Digital camera, image capture method, and image capture control program
US20060115297A1 (en) Imaging device and imaging method
US20030137597A1 (en) Image cupturing apparatus, image capturing method, and computer-readable medium storing program
US20110058070A1 (en) Mage pickup apparatus
US20110001859A1 (en) Imaging apparatus and imaging control method
JP2007306225A (en) Imaging apparatus and method, and program
JP2005269562A (en) Photographing apparatus
JP2009065577A (en) Imaging apparatus and method
US20030090577A1 (en) Imaging apparatus that corrects an imbalance in output levels of image data
JP2006025312A (en) Imaging apparatus and image acquisition method
JP2004328460A (en) White balance adjustment method and electronic camera
US20090059025A1 (en) Electronic Camera
US20120113280A1 (en) Automatic engagement of image stabilization
JP2010213220A (en) Imaging apparatus, and imaging control method
JPH11239291A (en) Image pickup controller and image pickup control method
JP2001358988A (en) Digital still camera
JP2005303731A (en) Signal processor, signal processing method and digital camera
JP2005210216A (en) Image pickup device and method of processing noise in motion image
JP2000307941A (en) Digital camera
JP2007288235A (en) Imaging apparatus and imaging method
JP2006050149A (en) Panning photographic method and photographing apparatus
JP2007135140A (en) Imaging apparatus
JP2007324877A (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121122

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250