JP2017169027A - フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP2017169027A
JP2017169027A JP2016052246A JP2016052246A JP2017169027A JP 2017169027 A JP2017169027 A JP 2017169027A JP 2016052246 A JP2016052246 A JP 2016052246A JP 2016052246 A JP2016052246 A JP 2016052246A JP 2017169027 A JP2017169027 A JP 2017169027A
Authority
JP
Japan
Prior art keywords
flash band
determination
image
flash
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016052246A
Other languages
English (en)
Other versions
JP6652303B2 (ja
Inventor
武範 小布施
Takenori Obuse
武範 小布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016052246A priority Critical patent/JP6652303B2/ja
Priority to US15/457,496 priority patent/US10129449B2/en
Priority to CN201710157901.5A priority patent/CN107205123B/zh
Publication of JP2017169027A publication Critical patent/JP2017169027A/ja
Application granted granted Critical
Publication of JP6652303B2 publication Critical patent/JP6652303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高輝度被写体が存在しても常に精度よくフラッシュバンドを検出する。【解決手段】撮像の結果得られた画像に外部閃光に起因するフラッシュバンドを存在するか否かを判定する際、システム制御部106は画像に予め設定された輝度レベルを超える領域である高輝度領域が存在するか否かを判定する。さらに、システム制御部は閃光検出部104によって、連続して得られた2枚の画像の差分結果である差分画像においてその輝度レベルが所定の閾値レベルを超える領域であるフラッシュバンドが存在するか否かを検出する際、高輝度領域が存在すると判定すると、差分画像において高輝度領域に対応する領域を判定除外領域としてフラッシュバンドの有無を判定する。【選択図】図1

Description

本発明は、フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、撮像の結果得られた画像に外部閃光に起因するフラッシュバンドが存在するか否かを判定する判定装置に関する。
近年、ビデオカメラなどの撮像装置で用いられる撮像素子として、CMOS型イメージセンサー(以下CMOSセンサーという)が用いられている。一般に、CCDイメージセンサー(以下CCDセンサーという)と比較して、CMOSセンサーは製造が簡単であるばかりでなく、低消費電力などの利点がある。さらには、読出しチャンネルを増やすことによって、1フレームの読出し速度を速くしたCMOSセンサーがある。
CMOSセンサーにおいては、水平ラインを順次露光して、ライン毎に映像信号(画像信号)を順次読み出して1つのフレームを生成する所謂ローリングシャッタ方式が用いられている。ローリングシャッタ方式を用いたCMOSセンサーにおいては、ライン毎の露光タイミングと読出し時間とがずれる。このため、フラッシュ又はストロボなどの非常に発光期間の短い外部閃光が存在すると、画面の場所によっては2フレームに亘って明るさが帯状に上下に分割されたような画像が生成されてしまう。このような外部閃光に起因してフレームに生じる帯状の明るさの段差はフラッシュバンドと呼ばれている。
一方、CCDセンサーを用いれば、上記のフラッシュバンドが発生することはなく、外部閃光が存在しても1フレームにおいて画面が均一に明るくなって、違和感のない画像を得ることができる。このような理由から、CMOSセンサーを用いた撮像装置においては、フラッシュバンドを補正するための補正機能が備えられている。
例えば、フラッシュバンドを補正するためフラッシュバンドを検出するようにした撮像装置がある(特許文献1参照)。ここでは、輝度の変化を算出して、当該輝度の変化がほぼ1フレームであれると、フラッシュバンドが発生したと判定するようにしている。
特開2009−253367号公報
ところが、特許文献1の手法によってフラッシュバンドの判定を行う場合、恒常的に明るく横に延びる被写体が存在すると、フラッシュバンドの判定を行うことが難しい。
従って、本発明の目的は、常に精度よくフラッシュバンドを検出して、当該フラッシュバンドを補正することのできるフラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
上記の目的を達成するため、本発明によるフラッシュバンド判定装置、撮像の結果得られた画像に外部閃光に起因するフラッシュバンドを存在するか否かを判定するフラッシュバンド判定装置であって、前記画像に予め設定された輝度レベルを超える領域である高輝度領域が存在するか否かを判定する第1の判定手段と、連続して得られた2枚の画像の差分結果である差分画像においてその輝度レベルが所定の閾値レベルを超える領域であるフラッシュバンドが存在するか否かを判定する際、前記第1の判定手段によって前記高輝度領域が存在すると判定されると、前記差分画像において前記高輝度領域に対応する領域を判定除外領域として前記フラッシュバンドの有無を判定する第2の判定手段と、を有することを特徴とする。
本発明によれば、常に精度よくフラッシュバンドを検出できる結果、当該フラッシュバンドを容易に補正することができる。
本発明の第1の実施形態によるフラッシュバンド判定装置を備える撮像装置の一例についてその構成を示すブロック図である。 図1に示す撮像素子における露光と出力画像との関係を説明するための図である。 差分画像における差分レベルと垂直方向ラインとの関係を説明するための図であり、(a)〜(d)はそれぞれ第1の差分画像〜第4の差分画像を示す図である。 フレームに高輝度被写体領域が存在する際の差分画像の一例を示す図である。 図2においてフレームに定常的に高輝度被写体が存在する際の差分画像における差分レベルと垂直方向ラインとの関係を説明するための図であり、(a)および(b)はそれぞれ第2の差分画像および第3の差分画像を示す図である。 高輝度被写体部が存在する際のライン輝度を説明するための図であり、(a)は第1のフレーム以前のライン輝度を示す図、(b)は第2のフレームのライン輝度を示す図、(c)は第3のフレームのライン輝度を示す図である。 高輝度被写体部を判定する際に用いられる高輝度被写体ライン数を説明するための図である。 図1に示すカメラで行われるフラッシュバンドの判定処理を説明するためのフローチャートである。 本発明の第2の実施形態に係るカメラで行われるフラッシュバンド判定の際の除外処理を説明するための図である。 本発明の第3の実施形態に係るカメラで得られたフレームのライン輝度を説明するための図であり、(a)〜(c)はそれぞれ各フレームのライン輝度を示す図である。 図10に示すフレームから得られた差分画像の差分レベルを説明するための図であり、(a)〜(c)それぞれ各差分画像の差分レベルを示す図である。
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態によるフラッシュバンド判定装置を備える撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、動画撮影可能なデジタルカメラ(以下単にカメラと呼ぶ)であり、光学レンズユニット(以下単に光学レンズと呼ぶ)101を有している。光学レンズ101はレンズ群を有するとともに、フォーカス機構、絞り機構、およびズーム機構を有している。フォーカス機構はピントを合わせるために用いられ、絞り機構は光量および被写界深度を調節する際に用いられる。また、ズーム機構は焦点距離を変化させる際に用いられる。
光学レンズ101を介して撮像素子102に被写体像(光学像)が結像する。撮像素子102は光学像に応じた電気信号(アナログ信号)を出力する。撮像素子102として、例えば、CCDイメージセンサー(Charge Coupled Device)およびCMOSイメージセンサーがある。図示の例では、撮像素子102として、1ライン毎に順次画素の読み出しを行うCMOSイメージセンサーが用いられる。
画像取得部103は、撮像素子102の出力である画像信号をデジタル信号として取得する。つまり、画像取得部103は撮像素子102の出力であるアナログ信号をデジタル信号(画像信号)に変換するアナログ・デジタルフロントエンドを有している。
閃光検出部104は、画像取得部103の出力を受けて、フラッシュ又はストロボなどによる外部閃光がフラッシュバンドとして、撮像の結果得られた画像に現れたか否か(つまり、フラッシュバンドの有無)を検出する。画像補正部105は、閃光検出部104によってフラッシュバンドが検出されると、後述するように、フラッシュバンドが存在する画像(フラッシュバンド画像)を全画面閃光画像に補正する。
システム制御部106は、カメラ全体の制御を司る。この際には、システム制御部106はユーザの操作に応じてカメラの動作を決定して、カメラを制御する。撮像素子制御部107は、システム制御部106の制御下で撮像素子102を駆動制御する。例えば、撮像素子制御部107は撮像素子102のゲインを決定するとともに、垂直同期信号VDを撮像素子102に送るなどの制御を行う。
レンズ制御部108は、システム制御部106の制御下で光学レンズ101の絞り、フォーカス、ズーム、およびND(Neutral Density)などの制御を行う。記録・出力部109は、画像補正部105の出力である補正後の画像信号を、記憶媒体(図示せず)に記録するとともに、ディスプレイなどの表示装置(図示せず)に出力する。
ここで、図1に示すカメラにおいて行われるフラッシュバンドの検出について説明する。なお、ここでは、動画撮影が行われているものとする。
図2は、図1に示す撮像素子における露光と出力画像との関係を説明するための図である。
図2において、横軸は時間(秒)を示し、縦軸は垂直方向ラインを示す。そして、外部閃光(ストロボ発光)の発生タイミングと出力画像との関係が示されている。また、VDは撮像素子102に入力される垂直同期信号を示す。
いま、動画撮影を行って順次フレーム0〜フレーム4が得られたとする。撮像素子制御部107は、水平ラインを順次露光して水平ライン毎に画像信号を順次読み出して1つのフレームを生成する所謂ローリングシャッタ方式で撮像素子102の読み出し制御を行う。この際、フレーム2とフレーム3との間において1ライン時間よりも短い時間でストロボ発光が発生したとする。つまり、画面の下部側においてはフレーム2の露光が行われ、画面の上部側においては次のフレーム3の露光が行われている状態でストロボ発光があったとする。
これによって、フレーム2の途中から下端までフラッシュバンドが発生し、さらに、フレーム3においては上端からフレーム2における水平ラインとほぼ同一の水平ラインまでフラッシュバンドが発生する。フラッシュバンドを検出する際には、現フレームと1つ前のフレームとの差分を求めて当該差分画像に応じてフラッシュバンドが生じたフレームを検出する。
差分画像1(第1の差分画像)はフレーム1からフレーム0を減算して得られた画像である(つまり、2枚の画像の差分結果である)。フレーム0およびフレーム1において動体である被写体が存在しないと、差分画像1の全ての水平ライン(以下単にラインともいう)の積分値はほぼ0となる。差分画像2(第2の差分画像)はフレーム2からフレーム1を減算して得られた画像である。フレーム2にフラッシュバンドが生じているので、差分画像2においてはフラッシュバンドが発生した領域(フラッシュバンド領域)におけるラインの積分値は大きくなる。
差分画像3(第3の差分画像)はフレーム3からフレーム2を減算して得られた画像である。差分画像3においては、フレーム3ではその上部側にフラッシュバンド領域が発生し、フレーム2の下部側に発生したフラッシュバンド領域が減算されるのでライン積分値は小さくなる。差分画像4(第4の差分画像)はフレーム4からフレーム3を減算して得られた画像である。フレーム3にフラッシュバンドが生じているので、差分画像4においてはフラッシュバンド領域におけるラインの積分値は大きくなる。
図3は、差分画像における差分レベルと垂直方向ラインとの関係を説明するための図である。そして、図3(a)〜図3(d)はそれぞれ第1の差分画像〜第4の差分画像を示す図である。
図3において、横軸は水平方向のライン平均輝度(又はライン輝度の積分値)の差分レベルを示し、縦軸は垂直方向のライン数を示す。差分画像においてはフラッシュバンドを判定するための閾値(フラッシュバンド判定閾値:閾値レベル)が予め設定される。差分画像1においては垂直方向の全ラインについてその差分レベルはほぼ0である。差分画像2においてはフラッシュバンド領域が開始するラインで差分レベルがフラッシュバンド判定閾値を超える。
差分画像3においては、差分画像2においてフラッシュバンド判定閾値を超えたラインとほぼ同一の位置でフラッシュ判定閾値を跨ぐ。差分画像4においては、差分レベルがゼロ未満の状態から差分画像3においてフラッシュ判定閾値を跨いだラインとほぼ同一の位置で差分レベルがゼロとなる。そして、ここでは、約1フレーム分に亘ってフラッシュバンドが存在する場合に、フラッシュバンドが発生したと判定する。
次に、高輝度の被写体が定常的に存在する場合のフラッシュバンドの検出について説明する。
図4は、フレームに高輝度被写体領域(高輝度被写体部)が存在する際の差分画像の一例を示す図である。
図4においては、フレーム0〜フレーム4の各々に高輝度被写体領域(高輝度領域)が存在し、フレーム2およびフレーム3にはフラッシュバンド領域が存在する。差分画像1についてはフレーム0およびフレーム1における高輝度被写体部の位置がほぼ同一の位置であるので、高輝度被写体部は0となり、差分画像の全てのラインの積分値はほぼ0となる。
図5は、図2においてフレームに定常的に高輝度被写体部が存在する際の差分画像における差分レベルと垂直方向ラインとの関係を説明するための図である。そして、図5(a)および図5(b)はそれぞれ第2の差分画像および第3の差分画像を示す図である。
図4および図5を参照して、差分画像2についても同様に、高輝度被写体部は0となり、フレーム2において発生したフラッシュバンド領域に係るラインの積分値が大きくなる。つまり、差分画像2においては、差分レベルが予め設定されたフラッシュバンド判定閾値を超えた際、当該ラインがフラッシュバンド開始位置とされる(図5(a)参照)。
差分画像3においては、フレーム3に存在するフラッシュバンド領域から高輝度被写体部が減算され、さらに、フレーム3からフレーム2のフラッシュバンド領域が減算される。この際、フレーム2における高輝度被写体部とフレーム3におけるフラッシュバンド領域との差分が小さいと、差分画像3においてはフラッシュバンド領域の一部に差分が小さい領域が発生してしまう。図5(b)に示すように、高輝度被写体部においてフラッシュバンド領域との差分が小さいと、その部分でフラッシュバンド判定閾値を跨いでしまうことになる。このため、フラッシュバンド判定閾値を超えている期間が1フレームに満たないことになる。よって、高輝度被写体部が存在する位置によっては、閃光によってフラッシュバンド領域が発生しているにも拘わらず、フラッシュバンドが検出されないという事態が生じる。なお、差分画像4については、フレーム3に存在するフラッシュバンド領域の一部が残ることになる。
そこで、図1に示すカメラにおいては、上述のようにして差分画像を求めて、フラッシュバンド閾値を超える差分レベルを検出する。さらに、減算するフレームに高輝度被写体部と判定される領域があると、当該領域をフラッシュバンドの判定から除くようにする。
図6は、高輝度被写体部が存在する際のライン輝度を説明するための図である。そして、図6(a)は第1のフレーム以前のライン輝度を示す図であり、図6(b)は第2のフレームのライン輝度を示す図である。また、図6(c)は第3のフレームのライン輝度を示す図である。
図6において、横軸はフレーム単位での水平方向のライン平均輝度(又はライン輝度の積分値)を示し、縦軸は垂直方向のライン数を示す。フレーム毎に高輝度被写体を判定するための閾値(高輝度判定閾値:輝度レベル)を設定する。フレーム0および1の各々に定常的に高輝度被写体部が存在する場合(図6(a))、フレーム1において高輝度と判定されたラインについては差分画像2においてフラッシュバンドの判定から除く(図6(b))。差分画像3についても同様に、フレーム2において高輝度と判定されたラインについてはフラッシュバンドの判定から除く(図6(c))。
図7は、高輝度被写体部を判定する際に用いられる高輝度被写体ライン数を説明するための図である。
上述のように、高輝度のラインをフラッシュバンドの判定から除く場合、フラッシュバンドの発生が開始したラインも高輝度ラインと認識されることがある。このため、高輝度被写体部と判定する際には、高輝度判定閾値に加えて、高輝度被写体部と判定するライン数を高輝度被写体ライン数として設定する。そして、高輝度判定閾値を超えるライン数が高輝度被写体ライン数以下である場合に当該領域を高輝度被写体部と判定する。
これによって、図示のように、高輝度判定閾値を超える上側の領域はそのライン数が高輝度被写体判定ライン数以下であるので、高輝度被写体部と判定される。一方、高輝度判定閾値を超える下側の領域は高輝度判定閾値を超える上側の領域はそのライン数が高輝度被写体判定ライン数を超えるので、高輝度被写体部とは判定されない。つまり、フラッシュバンド領域のように高輝度ラインの数が高輝度被写体判定ライン数を超えて連続する場合には、高輝度被写体部と判定されないことになる。この結果、高輝度被写体部に係るラインを除外しても、差分画像におけるフラッシュバンド領域の検出に影響を与えないことになる。
図8は、図1に示すカメラで行われるフラッシュバンドの判定処理を説明するためのフローチャートである。
まず、システム制御部106は、フレームN(Nは自然数)に関してライン毎の積分値を算出して、積分値が所定の高輝度判定閾値を超えるラインを高輝度被写体部ラインとして内蔵メモリに記憶する(ステップS1)。続いて、システム制御部106はフレームNとその1つ前のフレーム(N−1)との差分画像Nを求める(ステップS2)。そして、システム制御部106は閃光検出部104によって差分画像Nにフラッシュバンド判定閾値値を超えているラインがあるか否かを検出する(ステップS3)。
フラッシュバンド判定閾値値を超えるラインがなければ(ステップS3において、NO)、システム制御部106はN=N+1として(ステップS4)、ステップS1の処理に戻る。一方、フラッシュバンド判定閾値を超えるラインがあると(ステップS3において、YES)、システム制御部106はフラッシュバンド判定閾値を初めて超えたラインの位置を内蔵メモリに記憶する(ステップS5)。
続いて、システム制御部106は、前述のようにしてフレーム(N−1)について高輝度被写体部と判定されたラインを除外する(ステップS6)。そして、システム制御部106はフレームNについてライン毎の積分値を算出して、当該積分値が所定の高輝度判定閾値を超えるラインを高輝度被写体部ラインとして内蔵メモリに記憶する(ステップS7)。
次に、システム制御部106はフレームNとフレーム(N−1)との差分画像Nを求める(ステップS8)。そして、システム制御部106は、差分画像NにおいてステップS7で記憶した高輝度被写体ラインとほぼ同一の位置でフラッシュバンド判定閾値値を跨いだラインが存在するか否かを判定する(ステップS9)。
フラッシュバンド判定閾値を跨いだラインが存在すると(ステップS9において、YES)、システム制御部106は差分画像Nでフレーム(N−1)とほぼ同一のラインでフラッシュバンド判定閾値値を跨いだか否かを判定する(ステップS10)。フレーム(N−1)とほぼ同一の位置でフラッシュバンド判定閾値を跨ぐと(ステップS10において、YES)、システム制御部106はフラッシュバンドが発生したと判定する(ステップS11)。そして、システム制御部106はフラッシュバンド判定処理を終了する。
一方、フレーム(N−1)とほぼ同一の位置でフラッシュバンド判定閾値を跨がないと(ステップS10において、NO)、システム制御部106はフラッシュバンドが発生していないと判定する(ステップS12)。そして、システム制御部106はフラッシュバンド判定処理を終了する。なお、フラッシュバンド判定閾値を跨いだラインが存在しないと(ステップS9において、NO)、システム制御部106はステップS12の処理に進む。
このように、本発明の第1の実施形態では、差分画像においてフラッシュバンドを検出する際、フレーム毎に高輝度被写体部をフラッシュバンド判定から除外する。これによって、フラッシュバンドの検出を精度よく行うことができる。
[第2の実施形態]
次に、本発明の第2の実施形態に係るカメラについて説明する。なお、第2の実施形態に係るカメラの構成は図1に示すカメラと同様である。
第1の実施形態では、例えば、図4に示す差分画像2については、フレーム1に存在する高輝度被写体部のラインをフラッシュバンドの判定から除外するようにした。この際、フレーム1に存在する高輝度被写体部とフレーム2に存在する高輝度被写体部の位置がずれることがある。よって、フラッシュバンド判定の際に除外する高輝度被写体部はフレーム1において高輝度被写体部とされた領域よりも広くすることが望ましい。
図9は、本発明の第2の実施形態によるカメラで行われるフラッシュバンド判定の際の除外処理を説明するための図である。
ここでは、システム制御部106は、フレーム1に存在する高輝度被写体部について、所定のライン分(αライン分)だけその領域を拡大(つまり、変更)して、高輝度被写体部のライン数を大きくし、フラッシュバンド拝呈の際の除外ラインとする。なお、αは、カメラの状態、例えば、カメラにおける手振れ量に応じて決定される。
このように、本発明の第2の実施形態では、高輝度被写体部として除外する領域をカメラの状態、例えば、手振れ量に応じて拡大する。これによって、フラッシュバンドの検出を精度よく行うことができる。
[第3の実施形態]
次に、本発明の第3の実施形態に係るカメラについて説明する。なお、第3の実施形態に係るカメラの構成は図1に示すカメラと同様である。
図10は、本発明の第3の実施形態によるカメラで得られたフレームのライン輝度を説明するための図である。そして、図10(a)〜図10(c)はそれぞれ各フレームのライン輝度を示す図である。また、図11は、図10に示すフレームから得られた差分画像の差分レベルを説明するための図である。そして、図11(a)〜図11(c)それぞれ各差分画像の差分レベルを示す図である。
図10および図11に示す例では、フレームに存在する高輝度被写体部とフラッシュバンド領域とが少なくとも一部重なった例が示されている。つまり、高輝度被写体部においてフラッシュバンドが発生した状態が示されている。
図10(a)に示すように、フレーム1以前において高輝度被写体部と判定されたラインが存在する。また、図10(b)に示すように、フレーム2では高輝度被写体部の途中でフラッシュバンドが発生している。さらに、図10(c)に示すように、フレーム3ではフレーム2のフラッシュバンド開始位置とほぼ同一の位置でフラッシュバンドが終了する。
図10に示すフレームについて差分画像を求めると、差分画像2はフレーム2からフレーム1を減算したものであるので、フレーム1における高輝度被写体部のラインについて差分画像2ではその差分レベルがほぼ0となる。そして、差分画像2では高輝度被写体部よりも下側において、差分レベルがフラッシュバンド判定閾値値を超える(図11(a)参照)。
差分画像3はフレーム3からフレーム2を減算した画像であるので、高輝度被写体部において差分レベルがほぼ0となる。そして、差分画像3では、差分レベルがフラッシュバンド閾値を跨いで高輝度被写体部に対応する位置でほぼ0となる(図11(b)参照)。差分画像2および3についてみると、差分画像2でフラッシュバンドの判定閾値値を超えたライン数と差分画像3でフラッシュバンドの判定閾値を跨ぐまでの期間(ライン数)との和が1フレームよりも小さくなってしまう。このため、フラッシュバンドの検出が困難となる。
よって、システム制御部106は、フレーム1の高輝度被写体部を判定除外領域として、図11(c)に差分画像3’で示すように、フラッシュバンド判定閾値を跨ぐ位置を判定除外領域が終了した直後の位置とする。
このように、高輝度被写体部を判定除外領域として、さらに、判定除外領域においては判定除外領域直前の差分レベルを維持する。これによって、差分画像2のフラッシュバンド開始位置と差分画像3のフラッシュバンド終了位置とを合わせることができる。その結果、上述のような状態で高輝度被写体部が存在しても、フラッシュバンドの検出を行うことができる。
以上のように、本発明の第3の実施形態では、フレームに存在する高輝度被写体部をフラッシュバンド判定から除外する。さらに、フラッシュバンドの判定除外領域においては、判定除外領域の直前の差分レベルを維持する。これによって、高輝度被写体部においてフラッシュバンドが発生しても、フラッシュバンドの検出を精度よく行うことができる。
なお、上述の実施の形態ではフレームの差分によって差分画像を求めるようにしたが、フレームのライン積分値の差分を差分画像とするようにしてもよい。
上述の説明から明らかなように、図1に示す例では、システム制御部106および閃光検出部104が第1の判定手段および第2の判定手段として機能し、さらに、少なくともシステム制御部106および閃光検出部104によってフラッシュバンド判定装置が構成される。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法をフラッシュバンド判定装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムをフラッシュバンド判定装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
[その他の実施形態]
上述の実施形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 光学レンズ
102 撮像素子
103 画像取得部
104 閃光検出部
105 画像補正部
106 システム制御部
107 撮像素子制御部
108 レンズ制御部
109 記録・出力部

Claims (9)

  1. 撮像の結果得られた画像に外部閃光に起因するフラッシュバンドが存在するか否かを判定するフラッシュバンド判定装置であって、
    前記画像に予め設定された輝度レベルを超える領域である高輝度領域が存在するか否かを判定する第1の判定手段と、
    連続して得られた2枚の画像の差分結果である差分画像においてその輝度レベルが所定の閾値レベルを超える領域であるフラッシュバンドが存在するか否かを判定する際、前記第1の判定手段によって前記高輝度領域が存在すると判定されると、前記差分画像において前記高輝度領域に対応する領域を判定除外領域として前記フラッシュバンドの有無を判定する第2の判定手段と、
    を有することを特徴とするフラッシュバンド判定装置。
  2. 前記第1の判定手段は前記画像のライン毎に得られた積分値が前記輝度レベルを超えるか否かを判定し、
    前記第2の判定手段は前記差分画像のライン毎に得られた積分値が前記閾値レベルを超えるか否かを判定することを特徴とする請求項1に記載のフラッシュバンド判定装置。
  3. 前記第1の判定手段は、前記積分値が前記輝度レベルを超え、かつ前記積分値が前記輝度レベルを超えるライン数が所定のライン数以下である領域を前記高輝度領域と判定することを特徴とする請求項2に記載のフラッシュバンド判定装置。
  4. 前記第1の判定手段は、前記画像を撮像する撮像装置の状態に応じて前記所定のライン数を変更することを特徴とする請求項3に記載のフラッシュバンド判定装置。
  5. 前記第1の判定手段は、前記撮像装置のぶれ量に応じて前記所定のライン数を変更することを特徴とする請求項4に記載のフラッシュバンド判定装置。
  6. 前記第2の判定手段は、前記判定除外領域においては当該判定除外領域の直前における輝度レベルとすることを特徴とする請求項1乃至5のいずれか1項に記載のフラッシュバンド判定装置。
  7. 光学レンズを介して結像した光学像に応じた画像を順次読み出して出力する撮像手段と、
    請求項1乃至6のいずれか1項に記載のフラッシュバンド判定装置と、
    を有することを特徴とする撮像装置。
  8. 撮像の結果得られた画像に外部閃光に起因するフラッシュバンドを存在するか否かを判定するフラッシュバンド判定装置の制御方法であって、
    前記画像に予め設定された輝度レベルを超える領域である高輝度領域が存在するか否かを判定する第1の判定ステップと、
    連続して得られた2枚の画像の差分結果である差分画像においてその輝度レベルが所定の閾値レベルを超える領域であるフラッシュバンドが存在するか否かを判定する際、前記第1の判定ステップで前記高輝度領域が存在すると判定されると、前記差分画像において前記高輝度領域に対応する領域を判定除外領域として前記フラッシュバンドの有無を判定する第2の判定ステップと、
    を有することを特徴とする制御方法。
  9. 撮像の結果得られた画像に外部閃光に起因するフラッシュバンドを存在するか否かを判定するフラッシュバンド判定装置で用いられる制御プログラムであって、
    前記フラッシュバンド判定装置が備えるコンピュータに、
    前記画像に予め設定された輝度レベルを超える領域である高輝度領域が存在するか否かを判定する第1の判定ステップと、
    連続して得られた2枚の画像の差分結果である差分画像においてその輝度レベルが所定の閾値レベルを超える領域であるフラッシュバンドが存在するか否かを判定する際、前記第1の判定ステップで前記高輝度領域が存在すると判定されると、前記差分画像において前記高輝度領域に対応する領域を判定除外領域として前記フラッシュバンドの有無を判定する第2の判定ステップと、
    を実行させることを特徴とする制御プログラム。
JP2016052246A 2016-03-16 2016-03-16 フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置 Active JP6652303B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016052246A JP6652303B2 (ja) 2016-03-16 2016-03-16 フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
US15/457,496 US10129449B2 (en) 2016-03-16 2017-03-13 Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
CN201710157901.5A CN107205123B (zh) 2016-03-16 2017-03-16 闪光带判断装置及其控制方法、存储介质和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016052246A JP6652303B2 (ja) 2016-03-16 2016-03-16 フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
JP2017169027A true JP2017169027A (ja) 2017-09-21
JP6652303B2 JP6652303B2 (ja) 2020-02-19

Family

ID=59856218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016052246A Active JP6652303B2 (ja) 2016-03-16 2016-03-16 フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置

Country Status (3)

Country Link
US (1) US10129449B2 (ja)
JP (1) JP6652303B2 (ja)
CN (1) CN107205123B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630916B2 (en) 2017-12-06 2020-04-21 Canon Kabushiki Kaisha Electronic device, method of controlling same, and image sensor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10992888B2 (en) 2019-01-16 2021-04-27 Datalogic Usa, Inc. Color electronic rolling shutter image sensor for idenitfying items on fast moving conveyor belt
CN113923373A (zh) * 2021-09-30 2022-01-11 北京地平线信息技术有限公司 图像闪烁的检测方法和检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253367A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 撮影装置及びその制御方法
JP2013192200A (ja) * 2012-02-14 2013-09-26 Jvc Kenwood Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2015139028A (ja) * 2014-01-21 2015-07-30 キヤノン株式会社 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156634A (ja) * 2011-01-24 2012-08-16 Sony Corp フラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置
JP6156686B2 (ja) * 2013-02-20 2017-07-05 パナソニックIpマネジメント株式会社 画像処理装置
JP6145746B2 (ja) * 2013-03-08 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置
JP2015126425A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 撮像装置
JP2015149691A (ja) * 2014-02-10 2015-08-20 ソニー株式会社 画像補正装置、画像補正方法、及び、撮像装置
JP6261397B2 (ja) * 2014-03-14 2018-01-17 キヤノン株式会社 撮像装置及びその制御方法
JP2017011351A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2017225072A (ja) * 2016-06-17 2017-12-21 キヤノン株式会社 撮像装置、その制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253367A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 撮影装置及びその制御方法
JP2013192200A (ja) * 2012-02-14 2013-09-26 Jvc Kenwood Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2015139028A (ja) * 2014-01-21 2015-07-30 キヤノン株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630916B2 (en) 2017-12-06 2020-04-21 Canon Kabushiki Kaisha Electronic device, method of controlling same, and image sensor

Also Published As

Publication number Publication date
CN107205123A (zh) 2017-09-26
JP6652303B2 (ja) 2020-02-19
CN107205123B (zh) 2020-06-19
US10129449B2 (en) 2018-11-13
US20170272629A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
JP2009077057A (ja) 撮像装置、撮像装置の制御方法
JP2009130845A (ja) フリッカ補正装置、フリッカ補正方法並びに撮像装置
JP6576028B2 (ja) 画像処理装置及び画像処理方法
JP2016143022A (ja) 撮像装置及び撮像方法
US9544515B2 (en) Image pickup apparatus and method of controlling the same, and storage medium
JP6652303B2 (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP2017225072A (ja) 撮像装置、その制御方法、及びプログラム
US11032463B2 (en) Image capture apparatus and control method thereof
US20150373249A1 (en) Image capturing apparatus, method for controlling the same, and storage medium
JP6108854B2 (ja) 撮像装置及びその制御方法
JP2010192991A (ja) 撮像装置、制御方法、及びプログラム
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2015177303A (ja) 撮像装置及びその制御方法
JP2013255201A (ja) 撮像装置、及びその制御方法
JP2017011351A (ja) 撮像装置、その制御方法、および制御プログラム
JP5341536B2 (ja) 撮像装置
JP2015041823A (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
US11588985B2 (en) Electronic apparatus and control method thereof
JP2006352434A (ja) 撮影装置
JP2007139874A (ja) 撮像装置
JP6376769B2 (ja) 撮像装置及びその制御方法
JP6420620B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2007274210A (ja) 撮像装置及び画像処理方法
JP2016140057A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200121

R151 Written notification of patent or utility model registration

Ref document number: 6652303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151