JP2015177302A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2015177302A
JP2015177302A JP2014051586A JP2014051586A JP2015177302A JP 2015177302 A JP2015177302 A JP 2015177302A JP 2014051586 A JP2014051586 A JP 2014051586A JP 2014051586 A JP2014051586 A JP 2014051586A JP 2015177302 A JP2015177302 A JP 2015177302A
Authority
JP
Japan
Prior art keywords
image
frame
flash
signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014051586A
Other languages
English (en)
Other versions
JP6261397B2 (ja
JP2015177302A5 (ja
Inventor
武範 小布施
Takenori Obuse
武範 小布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014051586A priority Critical patent/JP6261397B2/ja
Priority to US14/645,712 priority patent/US9544515B2/en
Publication of JP2015177302A publication Critical patent/JP2015177302A/ja
Publication of JP2015177302A5 publication Critical patent/JP2015177302A5/ja
Application granted granted Critical
Publication of JP6261397B2 publication Critical patent/JP6261397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

【課題】撮像装置において、フラッシュバンド補正を行いながらシャッタスピードの変更を可能とする。
【解決手段】撮像装置100は、外部装置へ出力する映像のフレームレートよりも高速に信号を読み出す撮像素子102と、撮像素子102からの信号の読み出しを制御する撮像素子制御部107と、撮像素子102から出力される信号からフレーム毎に画像を生成する画像取得部103と、フレーム画像にフラッシュバンドがあるか否かを検出する閃光検出部104と、フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する画像補正部105と、撮影中に撮像素子102における信号の蓄積時間が変更されたときに、撮像素子102から信号を読み出すフレームレートを変更後の蓄積時間と同じになるように撮像素子制御部107を制御するシステム制御部106を備える。
【選択図】図4

Description

本発明は、デジタル一眼レフカメラやデジタルビデオカメラ等の撮像装置及びその制御方法に関し、特に、特に動画を撮影する際の動作制御技術に関する。
近年、ビデオカメラに代表される撮像装置の撮像素子として、CMOS型イメージセンサ(以下「CMOSセンサ」という)が広く用いられるようになってきている。CMOSセンサは、水平ラインを順次露光し、ライン毎に映像信号を順次読み出して1つのフレームを生成するローリングシャッタ方式を採用したものが主流である。
ローリングシャッタ方式のCMOSセンサでは、ライン毎の露光タイミングと読出し時間とにずれが生じる。そのため、撮影中にストロボ光のような発光期間の短い外部閃光が被写体に対して照射されると、画面の上下で明るさが分割されたような画像が生成することがある。このような外部閃光によってフレーム内に発生する帯状の明るさの段差は「フラッシュバンド」と呼ばれており、フラッシュバンドを補正するための技術が、種々、提案されている。
例えば、特許文献1には、フラッシュバンドの検出方法及び補正方法が記載されている。特許文献1では、連続するフレーム間で画素毎に輝度レベルを比較し、比較結果から輝度レベルの変動量が大きい水平ラインを特定し、変動量が大きい水平ラインと変動量が小さい水平ラインとの境界を検出することで、フラッシュバンドの発生を検出している。また、特許文献1では、連続するフレームに含まれる画素の輝度値を比較し、輝度値が大きい方の画素に置換し、又は、輝度値の小さい方の画素に置換し、或いは、平均輝度値の画素に置換することで、フラッシュバンドのない補正フレームを出力している。
このように、フラッシュバンドを補正する方法としては、フラッシュバンドが発生している2又はそれ以上のフレームの輝度を比較し、その比較結果に基づいて画像合成処理を行う方法が一般的である。
特開2012−156634号公報
撮像素子を駆動するフレームレート(撮像素子に入力される垂直同期信号)に対して撮像素子のシャッタスピード(CMOSセンサの場合、露光期間(信号である電荷の蓄積時間)と等しい)が短い場合には、フラッシュバンドはフレーム内の一部にのみ発生する。この場合、上記特許文献1では、フラッシュバンドが発生したフレームにおける輝度値の高い画素を次のフレームの輝度値の小さい画素で置換したフラッシュ除去画像を出力するようにしている。このような方法では、フラッシュバンドが1フレーム内の一部にのみ発生した場合に、全面閃光画像を合成することは難しい。
したがって、上記特許文献1に記載された技術を用いて全面閃光画像を得るためには、フラッシュバンド補正を行うモードでのシャッタスピードを撮像装置のフレームレートと同じ長さにする必要がある。そのため、撮像装置の使用者は、フラッシュバンド補正を行う動作を選択したときには、シャッタスピードを自由に変更することができない。
本発明は、フラッシュバンド補正を行いながらシャッタスピードの変更を可能とする技術を提供することを目的とする。
本発明に係る撮像装置は、映像を撮影する撮像装置であって、外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子と、前記撮像素子からの信号の読み出しを制御する制御手段と、前記撮像素子から出力される信号からフレーム毎に画像を生成する生成手段と、前記生成手段により生成されたフレームの画像にフラッシュバンドがあるか否かを検出する検出手段と、前記フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正手段とを備え、前記制御手段は、前記撮像素子における信号の蓄積時間が変更されたときには、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更することにより、前記補正手段による前記複数のフレームからの全面閃光画像の生成を可能にすることを特徴とする。
本発明では、撮像素子における信号の蓄積時間(シャッタスピード)が変更されたときに、撮像素子から信号を読み出すフレームレートを蓄積時間と同じとなるようにする。こうして、撮像素子から1フレーム分の信号を読み出す時間を上限として、フラッシュバンド補正を行いながらシャッタスピードを変更することができることにより、撮影条件の設定自由度を高めることができる。
本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 一般的なCMOSセンサで露光期間を短くした場合のCMOSセンサからの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。 撮像素子が高速読み出し可能なCMOSセンサである場合の、撮像素子からの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。 本実施形態に係る撮像装置がフラッシュバンド補正モードにあるときの動作を説明するフローチャートである。 図4のステップS403によりシャッタスピードと垂直同期信号VDのレートとを一致させた場合のフラッシュバンドの発生について説明する図である。 撮像素子のシャッタスピードと垂直同期信号VDのレートが1/100秒としたときの画像取得部、画像補正部及び記憶・出力部の入出力フレームを示す図である。 図6における記憶・出力部への入力フレームを調節した例を示す図である。 フラッシュバンド補正を行いながらフレームレート変換を行うときに図7の例を実現するためのフォーマット変換部の動作のフローチャートである。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
図1は、本発明の実施形態に係る撮像装置100の概略構成を示すブロック図である。撮像装置100は、典型的には、動画撮影機能を備えるデジタルスチルカメラやデジタルビデオカメラであるが、これに限られず、カメラ機能(撮像素子を用いて映像を取得する撮影機能)を備える各種の電子機器であってもよい。例えば、撮像装置100は、カメラ機能付き携帯通信端末(携帯電話、スマートフォン等)、カメラ機能付き携帯型コンピュータ(タブレット端末)、カメラ機能付き携帯ゲーム機等であってもよい。
撮像装置100は、光学レンズ101、撮像素子102、画像取得部103、閃光検出部104、画像補正部105、システム制御部106、撮像素子制御部107、フォーマット変換部108及び記憶・出力部109を備える。
光学レンズ101は、被写体からの反射光を取り込み、被写体像を撮像素子102に結像させる。光学レンズ101は、具体的には、被写体に対してピントを合わせるためのフォーカスレンズや、焦点距離を変化させるためのズームレンズ等である。光学レンズ101を含む撮影光学系は、光量や被写界深度を調節する絞り機構(不図示)等を備える。
撮像素子102は、光学レンズ101により結像した被写体像(光学像)を電気信号(アナログ信号)に変換して、画像取得部103へ供給する。本実施形態では、撮像素子102は、CMOSセンサであるとし、1フレームを読み出す時間が、一般的な表示装置のフレームレートである59.94fps(垂直同期信号VDが16.67ms)よりも速いという特徴を備える。
画像取得部103は、撮像素子102から取得した映像信号であるアナログ信号からデジタルデータからなる画像信号を生成する画像生成手段である。画像取得部103は、撮像素子102から取得したアナログ信号をA/D変換によりデジタル信号に変換し、更に輝度レベル補正処理やホワイトバランス処理等を含む所定の現像処理を行って、画像信号(画像情報、画像データ)を生成する。なお、撮像素子102がA/D変換機能を有する場合には、画像取得部103にA/D変換機能は不要となる。
閃光検出部104は、画像取得部103から取得した画像信号に基づき、ストロボ光(フラッシュ光)等の外部閃光がフレッシュバンドとして画像信号に現れているか否かを検出し、検出結果をシステム制御部106へ送信する。画像補正部105は、閃光検出部104によってフラッシュバンドが発生しているとの検出結果を受けた場合に、フラッシュバンドが発生しているフレームの画像信号から全面閃光画像を生成する。
システム制御部106は、不図示のCPUと、CPUが実行する各種のプログラムを格納したROMと、CPUのワークエリアとして用いられると共にCPUの演算処理中の各種の演算値やパラメータを記憶するRAM等を有する。システム制御部106は、撮像装置100に対する使用者の操作に応じて撮像装置100の動作を決定し、各機能ブロックの動作を制御することにより撮像装置100の全体的動作の制御を行う。
撮像素子制御部107は、システム制御部106の制御下において、撮像素子102の駆動に関する制御を行う。例えば、シャッタスピード(信号(電荷)の蓄積時間及び露光期間と等しい)を決定し、垂直同期信号VDを撮像素子102へ入力する制御等を行う。
画像補正部105から出力される映像信号のフレームレート(撮像素子102から信号(蓄積電荷)を読み出すフレームレートと同じ)と、記憶・出力部109が処理するフレームレートとが異なる場合がある。その場合に、フォーマット変換部108は、記憶・出力部109が処理するフレームレートで記憶・出力部109へ映像信号が入力されるように、画像補正部105から取得した画像の間引き処理等を行う。記憶・出力部109は、フォーマット変換部108から供給される映像信号を、不図示の記憶媒体へ記憶する処理や不図示の表示装置へ出力する処理を行う。
ここで、一般的なCMOSセンサについて、シャッタスピード(信号(電荷)の蓄積時間)を垂直同期信号VDの期間よりも短くした場合の問題点について説明する。図2は、一般的なCMOSセンサでシャッタスピードを短くした場合の、CMOSセンサからの信号の読み出しと外部閃光に対する出力画像(フレーム毎の画像)との関係を模式的に示す図である。図2では、横軸に時間を、縦軸に垂直方向ライン数を取っており、外部閃光の発生タイミングと出力画像との関係が示されている。横軸に示されている垂直同期信号VDは、撮像素子102に入力されるタイミングで示されている。
図2に示される外部閃光1のタイミングでは、2フレーム目の出力画像の下部にフラッシュバンドが発生する。なお、2フレーム目の出力画像の下部の黒く塗り潰した部分が、フラッシュバンドの発生領域(高輝度領域)を示しており、以下の説明では、他の出力画像でも同様の表示を用いるものとする。このとき、3フレーム目の出力画像の上部にもフラッシュバンドが発生するが、3フレーム目の出力画像のフラッシュバンドは、2フレーム目の出力画像のフラッシュバンドの発生開始ラインに届かない。また、外部閃光2のタイミングでは、5フレーム目にフラッシュバンドが発生する。このとき、5フレーム目の露光期間と重なっているラインが一部であるため、フラッシュバンドは5フレーム目の出力画像の一部にしか発生しない。
出力画像に図2の示したようなフラッシュバンドが発生した場合には、2フレームにまたがるフラッシュバンド発生画像を合成することによっては、フラッシュバンドを補正した全面閃光画像を得ることはできない。この問題に対処するため、本実施形態では、撮像素子102として、1フレーム分の蓄積電荷を読み出すことができる時間を一般的な表示装置で用いられるフレームレートの59.94fps(垂直同期信号VDが16.67ms)よりも速い、高速読み出し可能なCMOSセンサを使用する。
図3は、撮像素子102(高速読み出し可能なCMOSセンサ)を使用した場合の撮像素子102からの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。図2と同様に、図3でも、横軸に時間が、縦軸に垂直方向ライン数が取られ、外部閃光の発生タイミングと出力画像との関係が示されており、垂直同期信号VDは撮像素子102に入力されるタイミングに示されている。なお、図2の横軸のスケールと図3の横軸のスケールとは同じではない。
外部閃光1のタイミングでは、2フレーム目の上部から下部へ外部閃光が入射するため、2フレーム目の出力画像にフラッシュバンドが現れることになるが、このとき、2フレーム目の出力画像は全面閃光画像となる。また、外部閃光2のタイミングでは、4フレーム目の出力画像の下部と5フレーム目の出力画像の上部にフラッシュバンドが発生する。このとき、5フレーム目の出力画像のフラッシュバンドは、4フレーム目の出力画像のフラッシュバンドの発生開始ラインに届いているため、2フレーム合成等の従来の補正方法を用いて全面閃光画像を合成することができる。
このように本実施形態では、撮像素子102として高速読み出し可能なCMOSセンサを用いることで、撮像素子102からの信号の読み出し時間を上限とした高速シャッタスピードに対応しながら、図2を参照して説明した問題点を解決したフラッシュバンド補正を可能にする。
図4は、撮像装置100がフラッシュバンド補正モードにあるときの動作を説明するフローチャートである。図4の各処理は、システム制御部106が有するCPUが、ROMに格納された所定のプログラムをRAMに展開し、撮像装置100の各機能ブロックを制御することにより実行される。
撮像装置100が備える不図示の操作部を使用者が操作することにより、ステップS401において、操作部からの指示を受けたシステム制御部106により、フラッシュバンド補正モードが撮像装置100に設定される。続くステップS402において、システム制御部106は、撮像素子制御部107から撮像素子102へ出力している垂直同期信号VDと使用者が選択したシャッタスピードとが一致しているか否かを判定する。システム制御部106は、垂直同期信号VDとシャッタスピードとが一致している場合(S402でYES)、処理をステップS404へ進め、垂直同期信号VDとシャッタスピードとが一致していない場合(S402でNO)、処理をステップS403へ進める。
システム制御部106は、ステップS403において、垂直同期信号VDがシャッタスピードと一致するように垂直同期信号VDのレートを変更し、その後、処理をステップS404へ進める。ステップS404において、システム制御部106は、使用者から操作部を通してフラッシュバンド補正モードの終了が指示されたか否かを判定する。システム制御部106は、フラッシュバンド補正モードの終了が指示されるまで(S404でNO)、処理をステップS402へ戻し、フラッシュバンド補正モードの終了が指示されると(S404でYES)、フラッシュバンド補正モードを終了させる。そして、フラッシュバンド補正モードを終了させることに応じて、垂直同期信号VDのレートを変更前のレートに戻す。
図5は、図4のステップS403によりシャッタスピードと垂直同期信号VDのレートとを一致させた場合のフラッシュバンドの発生について説明する図であり、図2及び図3と同様の形態で示されている。フラッシュバンド補正モードでの撮影中に、使用者がシャッタスピード変更1のタイミングでシャッタスピードの設定を1/60秒から1/120秒に変更する。この操作を受けたシステム制御部106は、設定されたシャッタスピードの情報を撮像素子制御部107へ伝達し、撮像素子制御部107が撮像素子102へ出力する垂直同期信号VDのレートを1/60秒から1/120秒へ変更する。その後に外部閃光が発生したとき、シャッタスピードと垂直同期信号VDのレートとが同一の1/120秒であるため、2フレームの出力画像501,502にわたってフラッシュバンドが発生している。このとき、出力画像502のフラッシュバンドは、出力画像501のフラッシュバンドの発生開始ラインに届いているため、従来の補正方法により出力画像501,205を用いて全面閃光画像を合成することができる。
なお、図5では、シャッタスピード変更2において、使用者は、再度、シャッタスピードを1/120秒から1/60秒へ戻しており、これに伴って、垂直同期信号VDのレートも1/120秒から1/60秒へ戻されている。また、フラッシュバンド補正モードではない通常モードであれば、垂直同期信号VDのレートを安定させることを優先して、シャッタスピードの設定が1/60秒から1/120秒に変更されても垂直同期信号VDのレートを変更しない。
以上の説明の通り、本実施形態では、撮像装置100がフラッシュバンド補正モードにあるときにシャッタスピードを変更すると、これに追従して垂直同期信号VDのレートがシャッタスピードと一致するように制御される。これにより、単にシャッタスピードのみを変更したときのようにフラッシュバンドが画面の一部しか発生しない状況が生じることを防ぎ、フラッシュバンドを補正した全面閃光画像を複数フレームの画像合成により生成することができる。
次に、撮像素子102のシャッタスピードと撮像素子102へ入力される垂直同期信号VDのレートとを合わせたときの記憶・出力部109の動作について説明する。記憶・出力部109は、通常は、指定されたフレームレートでSDカードやコンパクトフラッシュ(登録商標)カード等に代表される記憶媒体に対して記憶を行うと同時に、外部の表示装置に表示信号を出力する。
表示装置は、一般的に60(厳密には59.94)fps又は50fpsに対応したものが主流であり、例外を除けば、記憶媒体への記憶も同じレートで行うことが多い。そのため、例えば、撮像素子102のシャッタスピードを120fps(=1/120秒)とした場合、フォーマット変換部108は、画像補正部105からから取得したフレーム画像を所定のパターン(1つ飛び)で間引きし、60fpsとして記憶・出力部109へ出力する必要がある。
図6は、撮像素子102のシャッタスピードと垂直同期信号VDのレートを1/100秒(=100fps)にした場合に画像取得部103、画像補正部105及び記憶・出力部109の入出力フレームを模式的に示す図である。なお、図6中の「FB」は、「フラッシュバンド」の略である。
画像取得部103と画像補正部105は1/100秒毎に画像を出力するが、記憶・出力部は1/60秒毎に画像を出力する。このような動作は「5:3プルダウン」と呼ばれる。外部閃光1により、画像取得部103には、フラッシュバンドが発生した連続する2つのフレーム601,602が入力される。閃光検出部104がフラッシュバンドを検出し、画像補正部105がフレーム601,602に対して2フレーム合成等のフラッシュバンド補正を行うことにより、全面閃光画像のフレーム603が生成される。
記憶・出力部109は1/60秒で画像を出力するため、フォーマット変換部108は、撮像素子102(画像補正部105)から出力された5フレームから2フレームを間引きして、3フレームを出力する。ここでは、連続する5フレームのうちの3番目と5番目のフレームを間引くというルールに従った間引きが行われるものとする。その場合、外部閃光1によって発生した、フラッシュバンド補正されたフレーム603は、フォーマット変換されて、記憶・出力部109へ入力されることになる。
一方、外部閃光2によりフラッシュバンドが発生した2つフレーム604,605を合成することにより全面閃光画像であるフレーム606が生成される。ここで、先の5フレームから2フレームを間引きしたパターンと同じパターンでフレームの間引きを行ってしまうと、フレーム606が間引き対象となって間引きされ、その後ろの通常のフレーム607が記憶・出力部109へと出力されることとなる。これでは、外部閃光が発生したにもかかわらず、外部閃光が発生しなかった映像となってしまうため、このような事態が生じないように、図7に示すように、フォーマット変換部108は、記憶・出力部109へ入力されるフレームを調節する。
図7は、撮像素子102のシャッタスピードと垂直同期信号VDのレートを1/100秒にした場合に、記憶・出力部109へ入力されるフレームを調節した一例を示す図である。図7には不図示であるが、ここでは、閃光検出部104は、フラッシュバンドを検出すると、そのことを示す信号(以下「フラッシュバンド検出信号」という)をフォーマット変換部108へ通知するものとする。そして、フォーマット変換部108は、必ずフラッシュバンド補正された全面閃光画像フレームを記憶・出力部109に対して出力するように、5フレームから間引く2フレームを調節する。図6の例では間引きされてしまった全面閃光画像であるフレーム606が、図7の例では間引きされることなく、記憶・出力部109へと出力されている。これにより、外部閃光が発生したことを示す画像を取りこぼすことなく、表示し、記憶することができる。
記憶・出力部109に対して入力するフレームを調節するためのフォーマット変換部108の動作について、図8を参照して説明する。図8は、フラッシュバンド補正を行いながらフレームレート変換を行うときのフォーマット変換部108の動作のフローチャートである。
ステップS801において、フォーマット変換部108は、閃光検出部104からフラッシュバンド検出信号を受信したか否かを判定する。フォーマット変換部108は、フラッシュバンド検出信号を受信した場合(S801でYES)、処理をステップS802へ進め、フラッシュバンド検出信号を受信しない場合(S801でNO)、処理をステップS803へ進める。なお、不図示であるが、閃光検出部104においてフラッシュバンドが検出されると、画像補正部105は、フラッシュバンド補正を行って生成した全面閃光画像のフレームにフラッシュバンドフラグ(以下「FBフラグ」という)を付加する。これにより、フォーマット変換部108は、フラッシュバンド補正が施されたフレームであるか否かを容易に判別することができるようになる。
ステップS802において、フォーマット変換部108は、画像補正部105からの受信フレームにFBフラグが付加されているか否かを判定する。フォーマット変換部108は、FBフラグを検出した場合(S802でYES)、処理をステップS803へ進め、FBフラグを検出しない場合(S802でNO)、処理をステップS805へ進める。
フォーマット変換部108は、ステップS803において、受信フレームをそのまま記憶・出力部109へと出力し、その後、処理をステップS804へ進める。一方、ステップS805では、フォーマット変換部108は、FBフラグが付加されているフレームが入力されるまで待機する(FBフラグのないフレームを間引く)。そして、フォーマット変換部108は、続くステップS806において、FBフラグが付加されたフレームを受信すると、そのフレームを記憶・出力部109へと出力し、その後、処理をステップS804へ進める。フォーマット変換部108は、ステップS804において、次のフレームについて同様の処理を行う(次のフレームについて、ステップS801から、再度、処理を開始する)。
以上の説明の通り、本実施形態では、フォーマット変換部108でプルダウン処理を行う場合に、フラッシュバンド補正により全面閃光画像のフレームが生成された場合には、必ず、全面閃光画像のフレームを記憶や表示等に用いるようにする。これにより、外部閃光が発生したシーンを逃すことなく、例えば、記者会見の場等のように頻繁にストロボ光が焚かれるシーンでの撮影において、その臨場感を損ねることのない映像の記憶が可能になる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
102 撮像素子
103 画像取得部
104 閃光検出部
105 画像補正部
106 システム制御部
107 撮像素子制御部
108 フォーマット変換部
109 記憶・出力部

Claims (6)

  1. 映像を撮影する撮像装置であって、
    外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子と、
    前記撮像素子からの信号の読み出しを制御する制御手段と、
    前記撮像素子から出力される信号からフレーム毎に画像を生成する生成手段と、
    前記生成手段により生成されたフレームの画像にフラッシュバンドがあるか否かを検出する検出手段と、
    前記フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正手段とを備え、
    前記制御手段は、前記撮像素子における信号の蓄積時間が変更されたときには、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更することにより、前記補正手段による前記複数のフレームからの全面閃光画像の生成を可能にすることを特徴とする撮像装置。
  2. 前記補正手段から取得したフレームを所定のパターンで間引いて前記外部装置へ出力することにより、前記外部装置へ出力する画像のフレームレートを前記外部装置のフレームレートへ変換する変換手段を備え、
    前記変換手段は、前記補正手段で前記全面閃光画像が生成されており、前記所定のパターンに従うと前記全面閃光画像が間引き対象のフレームとなる場合には、前記全面閃光画像の前または後のフレームを間引いて前記全面閃光画像のフレームを前記外部装置へ出力することを特徴とする請求項1に記載の撮像装置。
  3. 前記検出手段は、前記フラッシュバンドを検出した場合にフラッシュバンド検出信号を前記変換手段へ通知し、
    前記補正手段は、生成した前記全面閃光画像のフレームにフラグを付加し、
    前記変換手段は、前記フラッシュバンド検出信号を受信したときには、前記補正手段から取得した前記フラグの付加されていないフレームを間引き、前記フラグが付加されたフレームの取得を待って、取得した前記フラグが付加されたフレームの前記全面閃光画像を出力することを特徴とする請求項2に記載の撮像装置。
  4. 前記撮像素子は、CMOSセンサであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子を用いて映像を撮影する撮像装置の制御方法であって、
    前記撮像素子から出力される信号から画像をフレームごとに生成する生成ステップと、
    前記生成ステップで生成された画像に外部閃光がフラッシュバンドとして現れているか否かを検出する検出ステップと、
    前記検出ステップでフラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正ステップと、
    前記撮像素子における信号の蓄積時間が変更されたときに、前記補正ステップでの前記複数のフレームからの全面閃光画像の生成を可能にするために、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更する変更ステップとを有することを特徴とする撮像装置の制御方法。
  6. 前記補正ステップを実行する補正手段から取得したフレームを所定のパターンで間引くことにより、前記外部装置へ出力する画像のフレームレートを前記外部装置のフレームレートへ変換する変換ステップを有し、
    前記変換ステップでは、前記補正ステップで前記全面閃光画像が生成され、前記所定のパターンに従うと前記全面閃光画像が間引き対象のフレームとなる場合に、前記全面閃光画像の前または後のフレームを間引いて前記全面閃光画像のフレームを出力することを特徴とする請求項5に記載の撮像装置の制御方法。
JP2014051586A 2014-03-14 2014-03-14 撮像装置及びその制御方法 Active JP6261397B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014051586A JP6261397B2 (ja) 2014-03-14 2014-03-14 撮像装置及びその制御方法
US14/645,712 US9544515B2 (en) 2014-03-14 2015-03-12 Image pickup apparatus and method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051586A JP6261397B2 (ja) 2014-03-14 2014-03-14 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2015177302A true JP2015177302A (ja) 2015-10-05
JP2015177302A5 JP2015177302A5 (ja) 2017-04-13
JP6261397B2 JP6261397B2 (ja) 2018-01-17

Family

ID=54070392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051586A Active JP6261397B2 (ja) 2014-03-14 2014-03-14 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US9544515B2 (ja)
JP (1) JP6261397B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019169925A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 撮像装置とその制御方法及びプログラム
WO2020137217A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
KR102318987B1 (ko) 2020-11-10 2021-10-29 주식회사 비츠로이엠 진공도 모니터링 기능을 가지는 진공 인터럽터 조립체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6652303B2 (ja) * 2016-03-16 2020-02-19 キヤノン株式会社 フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP6659163B2 (ja) * 2016-03-16 2020-03-04 キヤノン株式会社 フラッシュバンド判定装置、その制御方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278728A (ja) * 2009-05-28 2010-12-09 Panasonic Corp 撮像装置、集積回路、画像処理方法及びプログラム
JP2011259406A (ja) * 2010-05-10 2011-12-22 Panasonic Corp 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4998232B2 (ja) * 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
EP3157246B1 (en) * 2009-04-16 2018-08-22 Panasonic Corporation Imaging device, external flash detection method, program, and integrated circuit
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
US8576292B2 (en) * 2010-04-30 2013-11-05 Exelis, Inc. High dynamic range approach for a CMOS imager using a rolling shutter and a gated photocathode
JP2012156634A (ja) * 2011-01-24 2012-08-16 Sony Corp フラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法
JP5928319B2 (ja) * 2012-12-03 2016-06-01 株式会社Jvcケンウッド 画像処理装置及び方法
JP6156686B2 (ja) * 2013-02-20 2017-07-05 パナソニックIpマネジメント株式会社 画像処理装置
JP2015149691A (ja) * 2014-02-10 2015-08-20 ソニー株式会社 画像補正装置、画像補正方法、及び、撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278728A (ja) * 2009-05-28 2010-12-09 Panasonic Corp 撮像装置、集積回路、画像処理方法及びプログラム
JP2011259406A (ja) * 2010-05-10 2011-12-22 Panasonic Corp 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019169925A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 撮像装置とその制御方法及びプログラム
JP7034792B2 (ja) 2018-03-26 2022-03-14 キヤノン株式会社 撮像装置とその制御方法及びプログラム
WO2020137217A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JPWO2020137217A1 (ja) * 2018-12-27 2021-10-07 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US11457136B2 (en) 2018-12-27 2022-09-27 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program
KR102318987B1 (ko) 2020-11-10 2021-10-29 주식회사 비츠로이엠 진공도 모니터링 기능을 가지는 진공 인터럽터 조립체

Also Published As

Publication number Publication date
US20150264279A1 (en) 2015-09-17
JP6261397B2 (ja) 2018-01-17
US9544515B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
JP2009225072A (ja) 撮像装置
JP6261397B2 (ja) 撮像装置及びその制御方法
JP5343588B2 (ja) 撮像装置
JP2017225072A (ja) 撮像装置、その制御方法、及びプログラム
JP6327892B2 (ja) 撮像装置及びその制御方法
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2012120152A (ja) 撮像装置及びその制御方法
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP5109867B2 (ja) デジタルカメラ
JP2008160620A (ja) 画像処理装置および撮像装置
JP2016076771A (ja) 撮像装置
US11356603B2 (en) Image capturing apparatus and control method therefor
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP7134601B2 (ja) 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法
JP2020184699A (ja) 撮像装置およびその制御方法
JP2006246014A (ja) デジタルカメラ及びデジタルカメラの画像処理方法
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP7034792B2 (ja) 撮像装置とその制御方法及びプログラム
JP2009272703A (ja) 撮像装置及びその制御方法
JP2008160274A (ja) 移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラム、撮像装置
JP2017022596A (ja) 画像処理装置、その制御方法及びプログラム
JP2005333491A (ja) 撮像装置
JP2010062852A (ja) 画像処理装置、電子カメラ及び画像処理プログラム
JP2005318100A (ja) デジタルカメラ及びファインダ表示方法
JP2016140057A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6261397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151