JP2020108119A - 報知装置、撮像装置、報知方法、撮像方法、及びプログラム - Google Patents

報知装置、撮像装置、報知方法、撮像方法、及びプログラム Download PDF

Info

Publication number
JP2020108119A
JP2020108119A JP2018248373A JP2018248373A JP2020108119A JP 2020108119 A JP2020108119 A JP 2020108119A JP 2018248373 A JP2018248373 A JP 2018248373A JP 2018248373 A JP2018248373 A JP 2018248373A JP 2020108119 A JP2020108119 A JP 2020108119A
Authority
JP
Japan
Prior art keywords
motion blur
amount
notification
motion
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018248373A
Other languages
English (en)
Other versions
JP7232046B2 (ja
JP2020108119A5 (ja
Inventor
裕紀子 久保
Yukiko Kubo
裕紀子 久保
宏典 海田
Hironori Kaida
宏典 海田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018248373A priority Critical patent/JP7232046B2/ja
Priority to US16/728,434 priority patent/US11463623B2/en
Publication of JP2020108119A publication Critical patent/JP2020108119A/ja
Publication of JP2020108119A5 publication Critical patent/JP2020108119A5/ja
Priority to US17/941,177 priority patent/US11818466B2/en
Application granted granted Critical
Publication of JP7232046B2 publication Critical patent/JP7232046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】本撮影で生じる動きブレ量の大きさを撮影者が事前に把握することを容易にする技術を提供する。【解決手段】所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出手段と、前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、前記動きブレ量に基づいて動きブレを報知する報知手段と、を備え、前記報知手段は、前記動きブレ量の大きさに応じて前記報知の態様を変化させることを特徴とする報知装置を提供する。【選択図】図9

Description

本発明は、報知装置、撮像装置、報知方法、撮像方法、及びプログラムに関する。
近年、製品化されているデジタルスチルカメラ等の撮像装置の中には、シャッタースピード優先モードという撮影モードを搭載している機種がある。このシャッタースピード優先モードは、撮影者が所望のシャッタースピードを設定し、絞り値やISO感度といったシャッタースピード以外の露出設定値は撮像装置が自動で設定する撮影モードである。撮影者は、このようなシャッタースピード優先モードを用いることにより、好みのシャッタースピードで撮影することができる。例えば、撮影前に高速なシャッタースピードを設定し、シャッタースピード優先モードで撮影を行うことにより、動きブレが少ない画像を撮影することができる。
特許文献1には、準備撮影中において、撮影者が動き領域を目視確認できる技術が開示されている。ここで、準備撮影とは、撮影者が撮像装置の電子ビューファインダーや背面液晶を見ながら構図合わせや撮影条件の設定を行うための撮影のことである。特許文献1では、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。
特開2008−172667号公報
前述の通り、動きブレが少ない画像を撮影するためには、高速なシャッタースピードで撮影する必要がある。しかしながら、準備撮影中に高速なシャッタースピードを設定し、シャッタースピード優先モードで本撮影を行ったとしても、被写体がブレて撮像されてしまうことがある。
例えば、動きブレが少なくなるように徒競争の走者をシャッタースピード優先モードで撮影する場合、撮影者は、準備撮影中に走者の移動速度を予測し、走者の動きブレが少なくなると思われるシャッタースピードを設定する。しかしながら、準備撮影中に電子ビューファインダーや背面液晶に表示される画像を目視確認したとしても、設定したシャッタースピードで動きブレが発生するか否かを確認することは困難である。具体的には、準備撮影中において、走者の手足などの小さい領域の動きブレを撮影者が目視確認することは困難である。また、本撮影と準備撮影のシャッタースピードが異なる場合は、本撮影と準備撮影とで発生する動きブレも異なるため、準備撮影中の画像を目視確認したとしても本撮影の動きブレを確認することは困難である。そのため、設定したシャッタースピードで本撮影を行うと、走者の動きの速さに対してシャッタースピードが低速であった場合に、走者がブレて撮像されてしまうことがある。
また、従来の技術では、本撮影で生じる動きブレ量の大きさがどの程度であるかを撮影者が事前に把握することは容易ではない。
本発明はこのような状況に鑑みてなされたものであり、本撮影で生じる動きブレ量の大きさを撮影者が事前に把握することを容易にする技術を提供することを目的とする。
上記課題を解決するために、本発明は、所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出手段と、前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、前記動きブレ量に基づいて動きブレを報知する報知手段と、を備え、前記報知手段は、前記動きブレ量の大きさに応じて前記報知の態様を変化させることを特徴とする報知装置を提供する。
本発明によれば、本撮影で生じる動きブレ量の大きさを撮影者が事前に容易に把握することが可能となる。
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
報知装置を備える撮像装置100の構成を示すブロック図。 第1の実施形態に係る撮影処理のフローチャート。 第1の実施形態に係る画像処理部107が具備する報知画像生成部300の構成例を示す図。 報知画像生成部300が動きブレ報知画像を生成する処理(図2のS204)のフローチャート。 (a)準備撮影画像の例を示す図、(b)準備撮影画像の動きベクトルの例を示す図。 動きベクトルの算出処理(図4のS402)のフローチャート。 動きベクトルの算出処理(図4のS402)を説明する図。 準備撮影の動きベクトルと、準備撮影の動きベクトルから換算された本撮影の動きブレ(換算動きブレ)とを示す図。 動きブレ報知画像の3つの例を説明する図。 図5(a)のシーンにおける所定値以上の換算動きブレのヒストグラムを示す図。 報知装置を備える撮像装置1100の構成を示すブロック図。 画像処理部1102が具備する報知画像生成部1200の構成例を示す図。 報知画像生成部1200が動きブレ報知画像を生成する処理(図2のS204)のフローチャート。 第3の実施形態に係る画像処理部107が具備する報知画像生成部1400の構成例を示す図。 報知画像生成部1400が動きブレ報知画像を生成する処理(図2のS204)のフローチャート。 本撮影の現在のシャッタースピード(露光時間)に対応する換算動きブレと、シャッタースピード(露光時間)を変更した場合の換算動きブレとを示す図。 報知装置を備える撮像装置1700の構成を示すブロック図。 画像処理部1701が具備する報知画像生成部1800の構成例を示す図。 報知画像生成部1800が動きブレ報知画像を生成する処理(図2のS204)のフローチャート。 第5の実施形態に係る撮影処理のフローチャート。 制御部101が準備撮影の撮影条件を決定する処理(図20のS2008)のフローチャート。 準備撮影画像から算出した被写体の動き量と目標動きブレ(許容動き量)との関係を示す図。 制御部101が準備撮影の撮影条件を決定する処理(図20のS2008)を説明するタイミングチャート。 準備撮影の動きベクトルと、準備撮影の動きベクトルから換算された本撮影の動きブレ(換算動きブレ)とを示す図。
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、特に断らない限り同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
[第1の実施形態]
図1は、報知装置を備える撮像装置100の構成を示すブロック図である。第1の実施形態では、動きブレの報知のON/OFFを切り替える構成について説明する。
制御部101は、例えばCPUであり、撮像装置100が備える各ブロックを制御するための制御プログラムを後述のROM102より読み出し、後述のRAM103に展開して実行する。これにより、制御部101は、撮像装置100が備える各ブロックの動作を制御することができる。ROM102は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置100が備える各ブロックを制御するための制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリであり、制御部101等が実行する制御プログラムの展開や、撮像装置100が備える各ブロックの動作により生成等されたデータの一時的な記憶等に用いられる。
光学系104は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部105の撮像面上に結像する。撮像部105は、例えばCCDやCMOSセンサ等の撮像素子であり、光学系104により撮像部105の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部106に出力する。A/D変換部106は、入力されたアナログ画像信号をデジタル画像データに変換する。A/D変換部106から出力されたデジタル画像データは、RAM103に一時的に記憶される。
画像処理部107は、RAM103に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部107は、後述の報知画像生成部300を具備し、RAM103に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。
記録部108は、着脱可能なメモリカード等である。記録部108は、画像処理部107で処理された画像データを、RAM103を介し、記録画像として記録する。表示部109は、LCD等の表示デバイスであり、RAM103に記憶されている画像や記録部108に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザインタフェースの表示等を行う。また、表示部109は、準備撮影中に構図合わせ等のために撮像部105が撮像した画像を表示する。指示入力部110は、タッチパネルやマウス等である。ユーザは、指示入力部110を用いて撮像装置100に対する指示を入力する。
次に、図2を参照して、撮像装置100が実行する撮影処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部101が前述した制御プログラムを実行することにより実現される。ユーザが撮像装置100の電源を入れ、撮像装置100の動作モードが撮影モードになると、本フローチャートの処理が開始する。
S201で、制御部101は、準備撮影(第1の撮影)を開始する。この準備撮影の期間中は、撮像装置100は動画のような連続画像(準備撮影画像)を撮像して表示部109に表示する。即ち、準備撮影の期間中は、所定の時間間隔で繰り返し準備撮影が行われる。ユーザは、表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するS202〜S206の処理は、準備撮影の期間中に行われる。
S202で、制御部101は、指示入力部110を用いるユーザ指示(ユーザ操作)に従い、本撮影(第2の撮影)の撮影条件を設定する。撮影条件は露出条件を含み、露出条件としては、シャッタースピード(露光時間)、ISO感度、F値などがある。なお、本撮影の露出条件は、制御部101が自動で設定してもよい。
S203で、制御部101は、動きブレ報知のON/OFFを判断する。動きブレ報知のON/OFFは、例えば、ユーザが指示入力部110を用いて設定することができる。ユーザにより動きブレ報知のON/OFFの設定が行われると、ON/OFFに関する設定値がRAM103に保持される。制御部101は、この設定値に従って動きブレ報知のON/OFFを判断する。動きブレ報知がONであると判断された場合、処理はS204に進み、そうでない場合、処理はS205に進む。
S204で、報知画像生成部300は、制御部101による制御に従い、準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。即ち、動きブレ報知画像は、動きブレ報知プレーンが重畳された準備撮影画像である。S204の処理の詳細については、図4を参照して後述する。
S205で、制御部101は、表示部109に画像表示を行う。具体的には、S204において動きブレ報知画像が生成された場合(S203において動きブレ報知がONであると判断された場合)、制御部101は、動きブレ報知画像(動きブレ報知プレーンが重畳された準備撮影画像)を表示部109に表示する。動きブレ報知画像が生成されていない場合(S203において動きブレ報知がOFFであると判断された場合)、制御部101は、準備撮影画像(動きブレ報知プレーンが重畳されていない準備撮影画像)を表示部109に表示する。
S206で、制御部101は、ユーザによりシャッターボタンが押下されたか否かを判定する。シャッターボタンは、例えば指示入力部110に含まれる。シャッターボタンが押下された場合、処理はS207に進み、そうでない場合、処理はS202に戻る。
ユーザは、表示部109に表示された準備撮影画像又は動きブレ報知画像を見ながらシャッターチャンス時にシャッターボタンを押下することができる。表示部109に動きブレ報知画像が表示されている場合、ユーザは、準備撮影中に容易に動きブレを確認することができる。確認した動きブレがユーザの好みの動きブレになっていない場合、ユーザはシャッターボタンを押下しないことで処理をS202に戻し、本撮影のシャッタースピード(露光時間)を変更(再設定)することが可能である。このように、準備撮影中に、ユーザは、表示部109に表示される動きブレ報知画像を確認しながら好みの動きブレになるまで本撮影のシャッタースピード(露光時間)の変更を繰り返し、シャッターチャンス時にシャッターボタンを押下することができる。
S206においてシャッターボタンが押下されると、S207で、制御部101は本撮影を行い、本撮影画像を記録部108に記録する。
次に、図3を参照して、画像処理部107が具備する報知画像生成部300の構成例について説明する。報知画像生成部300は、動きベクトル算出部301、換算動きブレ算出部302、動きブレ報知プレーン作成部303、及び画像重畳部304を含む。報知画像生成部300の動作の詳細については、図4を参照して後述する。
次に、図4を参照して、報知画像生成部300が動きブレ報知画像を生成する処理(図2のS204)の詳細について説明する。
S401で、報知画像生成部300は、撮像装置100が準備撮影中に撮像した準備撮影画像を取得する。取得した準備撮影画像は、動きベクトル算出部301及び画像重畳部304に入力される。
図5(a)は、準備撮影画像の例を示す図である。本実施形態では、図5(a)に示すように、左方向に走っている犬501と止まっている犬502を含むシーンを撮影している例について説明する。
S402で、動きベクトル算出部301は、動き情報として準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量とをベクトルで表したものである。動きベクトルの算出方法について、図6及び図7を参照して詳しく説明する。
図6は、動きベクトル算出部301による動きベクトルの算出処理(図4のS402)のフローチャートである。なお、本実施形態では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。
S601で、動きベクトル算出部301は、時間的に隣接する2枚の準備撮影画像を取得する。そして、動きベクトル算出部301は、M番目フレームの準備撮影画像を基準フレームとして設定し、M+1番目フレームの準備撮影画像を参照フレームとして設定する。
S602で、動きベクトル算出部301は、図7に示すように、基準フレーム701において、N×N画素の基準ブロック702を配置する。
S603で、動きベクトル算出部301は、図7に示すように、参照フレーム703に対し、基準フレーム701の基準ブロック702の中心座標と同じ座標704の周囲(N+n)×(N+n)画素を、探索範囲705として設定する。
S604で、動きベクトル算出部301は、基準フレーム701の基準ブロック702と、参照フレーム703の探索範囲705内に存在する各座標のN×N画素の参照ブロック706との相関演算を行い、相関値を算出する。相関値は、基準ブロック702及び参照ブロック706の画素に対するフレーム間差分絶対値和に基づき算出される。即ち、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図7の例では、参照ブロック706が最も相関が高いことを示しているものとする。
S605で、動きベクトル算出部301は、S604で求めた最も高い相関値を示す参照ブロック座標に基づき、動きベクトルを算出する。図7の例の場合、参照フレーム703の探索範囲705の中で、基準フレーム701の基準ブロック702の中心座標に対応した座標704と、参照ブロック706の中心座標とに基づき動きベクトルが求められる。即ち、座標704から参照ブロック706の中心座標までの座標間距離及び方向が動きベクトルとして求められる。
S606で、動きベクトル算出部301は、基準フレーム701の全画素について動きベクトルを算出したか否かを判定する。動きベクトル算出部301は、S606において全画素の動きベクトルを算出していないと判定した場合には、S602に処理を戻し、全画素の動きベクトルを算出したと判定した場合には、図4のフローチャートに処理を戻す。
処理がS602に戻ると、動きベクトル算出部301は、動きベクトルがまだ算出されていない画素を中心として前述した基準フレーム701にN×N画素の基準ブロック702を配置する。その後、S603からS605の処理が同様に行われる。即ち、動きベクトル算出部301は、図7の基準ブロック702を移動させながら、S602からS605までの処理を繰り返して、基準フレーム701の全画素の動きベクトルを算出する。
こうして算出された動きベクトルの例を図5(b)に示す。図5(b)は、図5(a)の準備撮影画像の動きベクトルの例を示す図である。図5(a)の準備撮影画像では、犬501が左方向に走っている例を示している。図5(b)は、このように被写体が移動している場合の動きベクトルの例を示している。図5(b)の例では、走っている犬501の領域では左方向の動きベクトルが検出され、それ以外の止まっている犬502や背景の柵の領域では動きベクトルとして「0」が検出される。「0」の動きベクトルについては図示していない。
なお、動きベクトル算出部301は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。
以上の処理により、動きベクトル算出部301は、時間的に隣接する準備撮影画像間における動きベクトルを算出する。
図4に戻り、S403で、換算動きブレ算出部302は、撮影条件として、図2のS202で設定された本撮影のシャッタースピード(露光時間)、及び準備撮影における画像間の時間間隔を取得する。
S404で、換算動きブレ算出部302は、S403で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、S402で算出した画素毎の動きベクトルを本撮影の動きブレに換算する。準備撮影の動きベクトルを本撮影の動きブレに換算する方法について、図8を参照して詳しく説明する。
図8は、準備撮影の動きベクトルと、準備撮影の動きベクトルから換算された本撮影の動きブレ(換算動きブレ)とを示す図である。図8では、準備撮影の画像間の時間間隔として1/60秒を例示しており、本撮影の露光時間として1/120秒及び1/30秒を例示している。
換算動きブレ算出部302は、下記の式(1)及び式(2)に示すような換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに換算する。
CONV_GAIN=EXP_TIME/INT_TIME・・・(1)
CONV_BLUR=VEC_LEN×CONV_GAIN・・・(2)
ここで、式(1)において、CONV_GAINは準備撮影の動きベクトルを本撮影の動きベクトルに換算するための換算ゲインを示し、EXP_TIMEは本撮影の露光時間を示し、INT_TIMEは準備撮影の画像間の時間間隔を示す。また、式(2)において、CONV_BLURは本撮影の換算動きブレを示し、VEC_LENは準備撮影の動きベクトルの長さを示す。
式(1)において、換算ゲインCONV_GAINは、本撮影の露光時間EXP_TIMEを準備撮影の画像間の時間間隔INT_TIMEで除算することにより算出される。そして、式(2)において、本撮影の換算動きブレCONV_BLURは、動きベクトルの長さVEC_LENに換算ゲインCONV_GAINを乗算することにより算出される。
具体的には、図8のように、準備撮影における動きベクトルの長さVEC_LENが10画素、本撮影の露光時間EXP_TIMEが1/120秒の場合、換算ゲインCONV_GAINが1/2倍であるため、換算動きブレは5画素となる。また、本撮影の露光時間EXP_TIMEが1/30秒の場合、換算ゲインCONV_GAINが2倍であるため、換算動きブレは20画素となる。
図4に戻り、S405で、動きブレ報知プレーン作成部303は、S404において算出した画素毎の換算動きブレに基づき、動きブレを報知するための画像プレーン(動きブレ報知プレーン)を作成する。
S406で、画像重畳部304は、準備撮影画像にS405において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。
ここで、図9を参照して、動きブレ報知画像の3つの例を説明する。準備撮影中に動きブレ報知画像を表示部109に表示することにより、ユーザは動きブレを容易に確認することができる。
図9(a)〜図9(c)は、アイコン表示により動きブレを報知する例を示す。ここで、アイコン表示による動きブレ報知画像の生成方法について説明する。S405において、動きブレ報知プレーン作成部303は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知プレーン作成部303は、所定値以上の換算動きブレの中から、画面内で最大の割合を占める換算動きブレを決定する。
図10を参照して、画面内で最大の割合を占める換算動きブレの決定方法を説明する。図10は、図5(a)のシーンにおける所定値以上の換算動きブレのヒストグラムを示す図である。動きブレ報知プレーン作成部303は、図10のようなヒストグラムを生成し、生成したヒストグラムに基づいて換算動きブレの範囲を分割することができる。ヒストグラムの階級数は予め定めておくことができる。例えば、図10のようにヒストグラムの度数にピーク(極大点)が存在する場合を考える。この場合、動きブレ報知プレーン作成部303は、各ピークを被写体の部位ごとの代表動きブレとして、各分割範囲がピークを1つずつ含むように換算動きブレの範囲を分割することができる。なお、ヒストグラムのピークは、信号波形のピーク検出と同様の方法を利用して検出することができる。
例えば、図10のヒストグラム1000の度数には3つのピーク1001〜1003が存在する。そのため、動きブレ報知プレーン作成部303は、各ピークから換算動きブレが小さい側で度数が最初に極小となる位置で換算動きブレの範囲を分割し、各分割範囲に表示色を割り当てる。図10のようにピーク1003に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部303は、図9(a)に示すような赤色の動きブレ報知アイコン901を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン901を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(a)のような動きブレ報知画像を生成する。
また、ピーク1002がピーク1003より大きく、ピーク1002に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部303は、図9(b)に示すような緑色の動きブレ報知アイコン902を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン902を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(b)のような動きブレ報知画像を生成する。
同様に、ピーク1001がピーク1003より大きく、ピーク1001に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部303は、図9(c)に示すような青色の動きブレ報知アイコン903を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン903を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(c)のような動きブレ報知画像を生成する。
なお、上の説明では、換算動きブレの範囲をヒストグラムの極小点を使用して分割するものとしたが、予め定められた閾値で換算動きブレの範囲を分割してもよい。或いは、分割位置を条件に応じて異ならせる構成を採用してもよい。これらの分割方法を採用する場合であっても、動きブレ報知プレーン作成部303は、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する表示色の動きブレ報知アイコンを動きブレ報知プレーンとして作成することができる。
図9(d)は、枠表示により動きブレを報知する例を示す。ここで、枠表示による動きブレ報知画像の生成方法について説明する。S405において、動きブレ報知プレーン作成部303は、撮影画面の分割領域内の画素のうち、所定値以上の換算動きブレを持つ画素の数が分割領域全体に占める割合を算出する。動きブレ報知プレーン作成部303は、その割合が所定割合以上の分割領域に対して、図9(d)に示すような動きブレ報知枠を動きブレ報知プレーンとして作成する。その際に、動きブレ報知プレーン作成部303は、各分割領域の換算動きブレの大きさに応じて、各分割領域に対応する動きブレ報知枠の表示色を決定する。
例えば、動きブレ報知プレーン作成部303は、3つの閾値に従って換算動きブレの範囲を3つに分割し、換算動きブレが小さい分割範囲から順に青色、緑色、赤色を割り当てる。この場合、動きブレ報知プレーン作成部303は、換算動きブレが大きい足の部分には赤色の動きブレ報知枠904を作成し、換算動きブレが中程度の頭及び尻尾の部分には緑色の動きブレ報知枠905を作成する。また、動きブレ報知プレーン作成部303は、換算動きブレが小さい胴体の部分には青色の動きブレ報知枠906を作成する。その後、S406において、画像重畳部304は、動きブレ報知枠904〜906を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(d)のような動きブレ報知画像を生成する。
図9(e)は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレが発生したエッジの強調表示による動きブレ報知画像の生成方法について説明する。S405において、動きブレ報知プレーン作成部303は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知プレーン作成部303は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。動きブレ報知プレーン作成部303は、抽出した画素に対して、図9(c)の動きブレ報知エッジ907〜909に示すような、動きブレが発生したエッジ領域を強調表示する動きブレ報知プレーンを作成する。その際に、動きブレ報知プレーン作成部303は、動きブレ報知エッジの各画素の換算動きブレの大きさに応じて、各画素の表示色を決定する。
例えば、動きブレ報知プレーン作成部303は、3つの閾値に従って換算動きブレの範囲を3つに分割し、換算動きブレが小さい分割範囲から順に青色、緑色、赤色を割り当てる。この場合、動きブレ報知プレーン作成部303は、換算動きブレが大きい足の部分の画素には赤色の動きブレ報知エッジ907を作成し、換算動きブレが中程度の頭及び尻尾の部分の画素には緑色の動きブレ報知エッジ908を作成する。また、動きブレ報知プレーン作成部303は、換算動きブレが小さい胴体の部分の画素には青色の動きブレ報知エッジ909を作成する。その後、S406において、画像重畳部304は、動きブレ報知エッジ907〜909を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(e)のような動きブレ報知画像を生成する。
なお、図9(e)では、換算動きブレの大きさに応じて動きブレ報知エッジの表示色を変化させてエッジを強調表示する例を示しているが、強調表示方法はこれに限定されない。強調表示方法の他の例としては、換算動きブレの大きさに応じて動きブレ報知エッジの太さを変化させてエッジを強調表示する方法が挙げられる。
以上説明したように、第1の実施形態によれば、撮像装置100は、準備撮影により得られた画像から被写体の動き量を検出し、動き量を本撮影で生じる動きブレ量に換算する。そして、撮像装置100は、動きブレ量に基づいて動きブレを報知する。その際に、撮像装置100は、動きブレ量の大きさに応じて報知の態様を変化させる。これにより、本撮影で生じる動きブレ量の大きさを撮影者が事前に容易に把握することが可能となる。
なお、本実施形態では、図9を参照して換算動きブレが所定値以上の場合に動きブレが報知される例について説明した。しかしながら、換算動きブレが所定値未満の場合にも動きブレを報知する構成を採用してもよい。これにより、ユーザが動きブレを動感として表現することを望む長秒露光撮影の場合に、ユーザが動きブレの不足を準備撮影期間中に確認しやすくなる。
また、本実施形態では、換算動きブレが所定値以上の場合に動きブレを報知する例について説明したが、報知対象とする換算動きブレの範囲を決めて報知する構成を採用してもよい。報知対象の範囲の決め方の例としては、撮影画像をディスプレイで見るとユーザが決めている場合に、指定のディスプレイにおいて等倍サイズで表示する時に、視覚的に動きブレが分かる範囲を決定する。範囲の算出方法としては、撮影画像のピクセル数とディスプレイのピクセル数の差を基に、ディスプレイにおいて動きブレが認知できる範囲を、撮影画像のサイズでの範囲に換算する方法が利用できる。そして、撮像装置100は、換算した範囲内において換算動きブレの報知を行う。
また、本実施形態では、換算動きブレが所定値以上の場合に動きブレを報知する例について説明したが、角速度センサーの情報を基に所定値を決める構成を採用してもよい。ユーザが撮像装置100を手で持って撮影を行う場合に、換算動きブレとして算出した範囲の中に手振れやカメラワークによるブレが含まれる。そのため、それらの動きを除いた被写体の換算動きブレのみを報知対象としたい場合には、角速度センサーが検知した動きと同じ範囲にある換算動きブレを除去することにより、被写体のみの動きブレを報知することができる。
また、本実施形態では、動きブレ報知プレーンの例として、動きブレ報知アイコン901〜903、動きブレ報知枠904〜906、動きブレ報知エッジ907〜909の3つの例について説明したが、動きブレ報知プレーンの種類はこれに限ったものではない。例えば、エッジ領域だけではなく平坦な領域も含めて、動きブレが発生している領域を強調表示する構成を採用してもよい。具体的には、動きブレ報知プレーン作成部303は、画素毎の換算動きブレが所定値以上の画素に対して換算動きブレの大きさに応じた色を塗るような強調表示を行う。このように、エッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。
また、本実施形態では、動きブレの報知方法として、表示部109に動きブレ報知画像を表示する構成について説明したが、動きブレの報知方法はこれに限ったものではない。例えば、音を出力することにより動きブレを報知する構成を採用してもよい。この場合、例えば、制御部101は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合が所定割合以上の場合に、スピーカ(不図示)から動きブレ報知音を出力してもよい。この場合、制御部101は、図10を参照して説明したものと同様の方法により換算動きブレの範囲を分割し、各分割範囲に異なる音量を割り当て、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する音量で動きブレ報知音を出力してもよい。或いは、制御部101は、各分割範囲に異なる種類の音を割り当て、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する種類の音で動きブレ報知音を出力してもよい。即ち、制御部101は、換算動きブレの大きさに応じて音の種類及び音量のうちの少なくとも一方を変化させることができる。
また、本実施形態では、動きブレ報知の方法として、換算動きブレの大きさに応じて動きブレ報知アイコンの表示色を変更する例について説明したが、換算動きブレの大きさに応じて変更する対象は表示色に限ったものではない。例えば、換算動きブレの大きさに応じて動きブレ報知アイコンの大きさを変更する構成を採用してもよい。例えば、換算動きブレが大きい場合にはアイコンサイズを大きくし、換算動きブレが小さい場合にはアイコンサイズを小さくする構成を採用してもよい。このように、換算動きブレの大きさに応じてアイコンサイズを変更することにより、ユーザが動きブレの強弱を容易に確認することが可能になる。
従って、報知画像生成部300は、換算動きブレの大きさに応じて異なる外観のブレ報知アイコンを準備撮影画像と共に表示する制御を行うことができる。例えば、報知画像生成部300は、ブレ報知アイコンの色及び大きさのうちの少なくとも一方を換算動きブレの大きさに応じて変化させることができる。
また、本実施形態では、動きブレ報知の方法として、換算動きブレの大きさに応じて動きブレ報知枠又は動きブレ報知エッジの表示色を変更する例について説明したが、換算動きブレの大きさに応じて変更する対象は表示色に限ったものではない。例えば、換算動きブレの大きさに応じて動きブレ報知枠又は動きブレ報知エッジの線の太さを変更する構成を採用してもよい。例えば、換算動きブレが大きい場合には枠やエッジを太く表示し、換算動きブレが小さい場合には枠やエッジを細く表示する構成を採用してもよい。このように、換算動きブレの大きさに応じて線の太さを変更することにより、ユーザが動きブレの強弱を容易に確認することが可能になる。
従って、報知画像生成部300は、準備撮影画像において動きブレが生じている複数の分割領域を囲む複数のブレ報知枠を準備撮影画像と共に表示する制御を行うことができる。そして、報知画像生成部300は、各ブレ報知枠の外観を各ブレ報知枠に対応する分割領域における換算動きブレの大きさに応じて変化させることができる。例えば、報知画像生成部300は、各ブレ報知枠の色及び太さのうちの少なくとも一方を各ブレ報知枠に対応する分割領域における換算動きブレの大きさに応じて変化させることができる。なお、ブレ報知枠を表示する領域は分割領域に限定されず、準備撮影画像において動きブレが生じている任意の部分領域についてブレ報知枠による動きブレの報知を行うことができる。また、報知画像生成部300は、準備撮影画像において動きブレが生じている複数のエッジ領域を、各エッジ領域における換算動きブレの大きさに応じて異なる態様で強調表示することができる。強調表示は、複数のエッジ領域を、各エッジ領域における換算動きブレの大きさに応じて異なる色で表示すること、及び、複数のエッジ領域を、各エッジ領域における換算動きブレの大きさに応じて異なる太さの線で表示することのうちの少なくとも一方を含む。
また、本実施形態では、準備撮影により得られた画像から被写体の動き量を検出し、動き量を本撮影で生じる動きブレ量に換算することにより、本撮影で生じる動きブレ量を推定する構成について説明した。しかしながら、本撮影で生じる動きブレ量を推定する方法はこれに限定されない。また、準備撮影及び本撮影の2つの撮影は、任意の種類の2つの撮影(第1の撮影及び第2の撮影)であってもよい。例えば、撮像装置100は、第1の撮影条件で第1の撮影により得られた第1の撮影画像及び第1の撮影画像における被写体の動き情報を取得してもよい。ここで取得される動き情報は、第1の撮影画像における被写体の速度(例えば、単位時間の移動量を画素数で表現したもの)である。そして、撮像装置100は、動き情報及び第2の撮影条件から、第2の撮影条件で第2の撮影が行われる場合に得られる第2の撮影画像における被写体の動きブレ量を推定してもよい。第2の撮影条件は、第1の撮影条件とは独立して設定されるものである。この点は、後述する第2の実施形態から第5の実施形態においても同様である。
[第2の実施形態]
第1の実施形態では、準備撮影画像から検出した動き量を本撮影で生じる動きブレ量に換算する構成について説明したが、第2の実施形態では、準備撮影を行っている撮像装置の動き量を本撮影で生じる動きブレ量に換算する構成について説明する。第2の実施形態では、図1に示す撮像装置100の代わりに図11に示す撮像装置1100を参照して説明を行うが、撮像装置1100の構成及び動作には撮像装置100と共通する部分もある。以下、主に第1の実施形態と異なる点について説明する。
図11に示す撮像装置1100は、図1に示す撮像装置100と比べて、角速度検出部1101が追加され、画像処理部107が画像処理部1102に置き換わっている点で異なる。
角速度検出部1101は、例えば角速度センサー等であり、手振れやカメラワークによるヨー方向及びピッチ方向の撮像装置1100本体の角速度を検出する。角速度検出部1101による角速度検出方法としては、任意の公知の方法を使用可能である。
画像処理部1102は、後述の報知画像生成部1200を具備し、RAM103に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。
次に、図12を参照して、画像処理部1102が具備する報知画像生成部1200の構成例について説明する。図12に示す報知画像生成部1200は、図3に示す報知画像生成部300と比べて、動きベクトル算出部301が画像動き情報変換部1201に置き換わっている点で異なる。報知画像生成部1200の動作の詳細については、図13を参照して後述する。
次に、図13を参照して、報知画像生成部1200が動きブレ報知画像を生成する処理(図2のS204)の詳細について説明する。
S1301で、画像動き情報変換部1201は、角速度検出部1101が検出した角速度を、画像上の動きベクトルに相当する情報に変換する。角速度を画像上の動きベクトルに相当する情報に変換するための近似変換式を式(3)及び式(4)に示す。
ここで、MOV_yawはヨー方向の移動量を示し、MOV_pitchはピッチ方向の移動量を示す。また、fは焦点距離を示し、ω_yawはヨー方向の角速度を示し、ω_pitchはピッチ方向の角速度を示し、fpsは準備撮影のフレームレートを示し、ppは撮像部105の画素ピッチを示す。
式(3)及び式(4)に示す近似変換式によれば、準備撮影における画像間の時間間隔で移動した角度と焦点距離とに基づき撮像面上の移動量が算出され、撮像面上の移動量を画素ピッチで除算することにより画像上の移動量(移動画素数)が算出される。ここで算出された画像上の移動量は、画素毎に異なる移動量ではなく、全画素一様な移動量である。
画像動き情報変換部1201は、ヨー方向の移動量を水平方向の移動量、ピッチ方向の移動量を垂直方向の移動量とみなし、これらの移動量の組み合わせを全画素一様の動きベクトルとして換算動きブレ算出部302に出力する。
S1302で、動きブレ報知プレーン作成部303は、S404において算出した換算動きブレに基づき、動きブレを報知するための画像プレーン(動きブレ報知プレーン)を作成する。S1302の処理は、換算動きブレの大きさに応じて異なる態様の動きブレ報知プレーンを作成するという点においては、第1の実施形態(図4のS405)と同様である。しかしながら、第2の実施形態においては、動きベクトルが全画素一様であるため、換算動きブレも全画素一様であり、図10に示すようなヒストグラムを生成することができない。そこで、動きブレ報知プレーン作成部303は、例えば全画素一様の換算動きブレの大きさを単数又は複数の閾値と比較することにより、動きブレ報知プレーンの態様を決定する。例えば、換算動きブレの大きさをA、3つの閾値をT1、T2、T3(T1<T2<T3)とする。T1≦A<T2の場合、動きブレ報知プレーン作成部303は、青色の動きブレ報知アイコン903(図9(c))を動きブレ報知プレーンとして作成する。T2≦A<T3の場合、動きブレ報知プレーン作成部303は、緑色の動きブレ報知アイコン902(図9(b))を動きブレ報知プレーンとして作成する。T3≦Aの場合、動きブレ報知プレーン作成部303は、赤色の動きブレ報知アイコン901(図9(a))を動きブレ報知プレーンとして作成する。
以上説明したように、第2の実施形態によれば、撮像装置1100は、準備撮影を行っている撮像装置1100の動き量を本撮影で生じる動きブレ量に換算する。これにより、比較的小さい処理負荷で換算動きブレを取得することが可能となる。
なお、第2の実施形態では、準備撮影における画像間の時間間隔で移動した角度と焦点距離とに基づき撮像面上の移動量を算出し、撮像面上の移動量を画素ピッチで除算することにより画像上の移動量を算出する例について説明した。しかしながら、画像上の移動量の算出方法はこれに限ったものではない。準備撮影における画像の露光期間に移動した角度と焦点距離とに基づき撮像面上の移動量を算出し、撮像面上の移動量を画素ピッチで除算することにより画像上の移動量を算出する構成を採用してもよい。具体的には、角速度検出部1101が準備撮影における画像の露光期間の角速度を検出し、その角速度に基づき、報知画像生成部1200が動きブレ報知画像を生成する。なお、この場合、換算動きブレ算出部302は、本撮影の露光時間及び準備撮影における画像の露光時間に基づき、全画素一様の動きベクトルを本撮影の動きブレに換算する。このように、撮像装置1100は、所定の期間(例えば、準備撮影における画像間の時間間隔、又は準備撮影における画像の露光期間)における撮像装置1100の動き量(例えば、移動した角度)から、本撮影の動きブレを算出することができる。
[第3の実施形態]
第3の実施形態では、換算動きブレと目標動きブレとの間の乖離度に応じて異なる態様の動きブレ報知プレーンを作成する構成について説明する。第3の実施形態において、撮像装置100の基本的な構成は第1の実施形態(図1)と同様である。以下、主に第1の実施形態と異なる点について説明する。
本実施形態では、撮像装置100の画像処理部107は、報知画像生成部300(図3)の代わりに報知画像生成部1400(図14)を具備する。図14に示す報知画像生成部1400は、図3に示す報知画像生成部300と比べて、乖離度算出部1401が追加されており、動きブレ報知プレーン作成部1402が動きブレ報知プレーン作成部1402に置き換わっている点で異なる。報知画像生成部1400の動作の詳細については、図15を参照して後述する。
次に、図15を参照して、報知画像生成部1400が動きブレ報知画像を生成する処理(図2のS204)の詳細について説明する。
S1501で、乖離度算出部305は、本撮影時の換算動きブレの目標値(目標動きブレ)を算出し、目標動きブレとS404において算出した画素毎の換算動きブレとの乖離度を求める。乖離度算出部305は、目標動きブレとして、画面中の許容できる換算動きブレを算出する。画面中の許容できる換算動きブレとしては、例えば撮影画像をディスプレイで見るとユーザが決めている場合に、指定のディスプレイにおいて等倍サイズで表示する際に視覚的に動きブレが分からない範囲の上限が該当する。
図16を参照して、換算動きブレと目標動きブレとの乖離度の算出方法について説明する。図16は、本撮影の現在のシャッタースピード(露光時間)に対応する換算動きブレと、シャッタースピード(露光時間)を変更した場合の換算動きブレとを示す図である。図16では、撮影条件として、本撮影の露光時間は1/125秒、変更後の露光時間は1/250秒、1/500秒、1/1000秒を例として示している。
乖離度算出部305は、下記の式(5)〜式(7)に基づき、画素毎に、換算動きブレと目標動きブレとの乖離度を算出する。
DIFF=TARG_BLUR/CONV_BLUR・・・(5)
TARG_TIME=EXP_TIME×DIFF・・・(6)
STEP=LOG(DIFF)・・・(7)
ここで、式(5)においてTARG_BLURは目標動きブレを示し、DIFFは目標動きブレと換算動きブレとの相違(ここでは、換算動きブレに対する目標動きブレの割合)を示す。また、式(6)においてTARG_TIMEは目標の露光時間を示し、EXP_TIMEは現在の露光時間を示す。また、式(7)においてSTEPは現在の露光時間から目標の露光時間に変更するために必要なシャッタースピードの段数を示す。
式(5)において、目標動きブレと換算動きブレとの相違は、目標動きブレを換算動きベクトルで除算することにより算出される。次に、式(6)において、目標の露光時間は、現在の露光時間に乖離度を乗算することにより算出される。そして、式(6)で算出した目標の露光時間にするために現在の露光時間から変更するシャッタースピードの段数が、式(7)を用いて算出される、
図16(a)は、現在の換算動きブレが40ピクセルの場合を示す。目標動きブレを5ピクセルとすると、DIFFは1/8倍となるため、現在の露光時間1/125秒に対して目標の露光時間は1/1000秒、シャッタースピードの変更段数は−3段分となる。
図16(b)は、現在の換算動きブレが20ピクセルの場合を示す。目標動きブレを5ピクセルとすると、DIFFは1/4倍となるため、現在の露光時間1/125秒に対して目標の露光時間は1/500秒、シャッタースピードの変更段数は−2段分となる。
図16(c)は、現在の換算動きブレが10ピクセルの場合を示す。目標動きブレを5ピクセルとすると、DIFFは1/2倍となるため、現在の露光時間1/125秒に対して目標の露光時間は1/250秒、シャッタースピードの変更段数は−1段分となる。
図15に戻り、S1502で、動きブレ報知プレーン作成部1402は、S1501において算出した画素毎の換算動きブレと目標動きブレとの乖離度(画素毎の乖離度)に基づき、動きブレを報知するための画像プレーン(動きブレ報知プレーン)を作成する。
ここで、図9を参照して、動きブレ報知画像の3つの例を説明する。準備撮影中に動きブレ報知画像を表示部109に表示することにより、ユーザは動きブレを容易に確認することができる。
図9(a)〜図9(c)は、アイコン表示により動きブレを報知する例を示す。ここで、アイコン表示による動きブレ報知画像の生成方法について説明する。S1502において、動きブレ報知プレーン作成部1402は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知プレーン作成部1402は、所定値以上の換算動きブレの中から、画面内で最大の割合を占める換算動きブレを決定する。
図10を参照して、画面内で最大の割合を占める換算動きブレの決定方法を説明する。図10は、図5(a)のシーンにおける所定値以上の換算動きブレのヒストグラムを示す図である。動きブレ報知プレーン作成部1402は、図10のようなヒストグラムを生成し、生成したヒストグラムに基づいて換算動きブレの範囲を分割することができる。ヒストグラムの階級数は予め定めておくことができる。例えば、図10のようにヒストグラムの度数にピーク(極大点)が存在する場合を考える。この場合、動きブレ報知プレーン作成部1402は、各ピークを被写体の部位ごとの代表動きブレとして、各分割範囲がピークを1つずつ含むように換算動きブレの範囲を分割することができる。なお、ヒストグラムのピークは、信号波形のピーク検出と同様の方法を利用して検出することができる。
例えば、図10のヒストグラム1000の度数には3つのピーク1001〜1003が存在する。そのため、動きブレ報知プレーン作成部1402は、各ピークから換算動きブレが小さい側で度数が最初に極小となる位置で換算動きブレの範囲を分割する。そして、動きブレ報知プレーン作成部1402は、ピーク1001〜1003に対応する乖離度に基づき、各分割範囲に表示色を割り当てる。例えば、動きブレ報知プレーン作成部1402は、図16(a)に示すようにシャッタースピードの3段分(又はそれ以上)の変更が必要なピーク1003を含む分割範囲には赤色を割り当てる。同様に、動きブレ報知プレーン作成部1402は、図16(b)に示すようにシャッタースピードの2段分の変更が必要なピーク1002を含む分割範囲には緑色を割り当てる。そして、動きブレ報知プレーン作成部1402は、図16(c)に示すようにシャッタースピードの1段分の変更が必要なピーク1001を含む分割範囲には青色を割り当てる。
このような表示色の割り当てが行われ、図10のようにピーク1003に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部1402は、図9(a)に示すような赤色の動きブレ報知アイコン901を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン901を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(a)のような動きブレ報知画像を生成する。
また、ピーク1002がピーク1003より大きく、ピーク1002に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部1402は、図9(b)に示すような緑色の動きブレ報知アイコン902を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン902を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(b)のような動きブレ報知画像を生成する。
同様に、ピーク1001がピーク1003より大きく、ピーク1001に相当する換算動きブレの割合が最大である場合、動きブレ報知プレーン作成部1402は、図9(c)に示すような青色の動きブレ報知アイコン903を動きブレ報知プレーンとして作成する。そして、S406において、画像重畳部304は、動きブレ報知アイコン903を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(c)のような動きブレ報知画像を生成する。
なお、上の説明では、換算動きブレの範囲をヒストグラムの極小点を使用して分割するものとしたが、予め定められた閾値で換算動きブレの範囲を分割してもよい。或いは、分割位置を条件に応じて異ならせる構成を採用してもよい。これらの分割方法を採用する場合であっても、動きブレ報知プレーン作成部1402は、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する表示色の動きブレ報知アイコンを動きブレ報知プレーンとして作成することができる。
図9(d)は、枠表示により動きブレを報知する例を示す。ここで、枠表示による動きブレ報知画像の生成方法について説明する。S1502において、動きブレ報知プレーン作成部1402は、撮影画面の分割領域内の画素のうち、所定値以上の換算動きブレを持つ画素の数が分割領域全体に占める割合を算出する。動きブレ報知プレーン作成部1402は、その割合が所定割合以上の分割領域に対して、図9(d)に示すような動きブレ報知枠を動きブレ報知プレーンとして作成する。その際に、動きブレ報知プレーン作成部1402は、各分割領域の乖離度に応じて、各分割領域に対応する動きブレ報知枠の表示色を決定する。
例えば、動きブレ報知プレーン作成部1402は、シャッタースピードの3段分(又はそれ以上)の変更に相当する乖離度を持つ分割領域には、赤色を割り当てる。同様に、動きブレ報知プレーン作成部1402は、シャッタースピードの2段分の変更に相当する乖離度を持つ分割領域には、緑色を割り当てる。そして、動きブレ報知プレーン作成部1402は、シャッタースピードの1段分の変更に相当する乖離度を持つ分割領域には、青色を割り当てる。この場合、動きブレ報知プレーン作成部1402は、換算動きブレが大きいため乖離度が大きい足の部分には赤色の動きブレ報知枠904を作成し、換算動きブレが中程度であるため乖離度が中程度の頭及び尻尾の部分には緑色の動きブレ報知枠905を作成する。また、動きブレ報知プレーン作成部1402は、換算動きブレが小さいため乖離度が小さい胴体の部分には青色の動きブレ報知枠906を作成する。その後、S406において、画像重畳部304は、動きブレ報知枠904〜906を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(d)のような動きブレ報知画像を生成する。
図9(e)は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレが発生したエッジの強調表示による動きブレ報知画像の生成方法について説明する。S1502において、動きブレ報知プレーン作成部1402は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知プレーン作成部1402は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。動きブレ報知プレーン作成部1402は、抽出した画素に対して、図9(c)の動きブレ報知エッジ907〜909に示すような、動きブレが発生したエッジ領域を強調表示する動きブレ報知プレーンを作成する。その際に、動きブレ報知プレーン作成部1402は、動きブレ報知エッジの各画素の乖離度に応じて、各画素の表示色を決定する。
例えば、動きブレ報知プレーン作成部1402は、シャッタースピードの3段分(又はそれ以上)の変更に相当する乖離度を持つ画素には、赤色を割り当てる。同様に、動きブレ報知プレーン作成部1402は、シャッタースピードの2段分の変更に相当する乖離度を持つ画素には、緑色を割り当てる。そして、動きブレ報知プレーン作成部1402は、シャッタースピードの1段分の変更に相当する乖離度を持つ画素には、青色を割り当てる。この場合、動きブレ報知プレーン作成部1402は、換算動きブレが大きいため乖離度が大きい足の部分の画素には赤色の動きブレ報知エッジ907を作成し、換算動きブレが中程度であるため乖離度が中程度の頭及び尻尾の部分の画素には緑色の動きブレ報知エッジ908を作成する。また、動きブレ報知プレーン作成部1402は、換算動きブレが小さいため乖離度が小さい胴体の部分の画素には青色の動きブレ報知エッジ909を作成する。その後、S406において、画像重畳部304は、動きブレ報知エッジ907〜909を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図9(e)のような動きブレ報知画像を生成する。
なお、図9(e)では、乖離度に応じて動きブレ報知エッジの表示色を変化させてエッジを強調表示する例を示しているが、強調表示方法はこれに限定されない。強調表示方法の他の例としては、乖離度に応じて動きブレ報知エッジの太さを変化させてエッジを強調表示する方法が挙げられる。
以上説明したように、第3の実施形態によれば、撮像装置100は、本撮影で生じる動きブレ量と目標動きブレ量との乖離度に応じて動きブレの報知の態様を変化させる。これにより、本撮影で生じる動きブレ量の大きさを撮影者が事前に容易に把握することが可能となる。
なお、本実施形態では、動きブレの報知方法として、表示部109に動きブレ報知画像を表示する構成について説明したが、動きブレの報知方法はこれに限ったものではない。例えば、音を出力することにより動きブレを報知する構成を採用してもよい。この場合、例えば、制御部101は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合が所定割合以上の場合に、スピーカ(不図示)から動きブレ報知音を出力してもよい。この場合、制御部101は、図10を参照して説明したものと同様の方法により換算動きブレの範囲を分割し、各分割範囲に乖離度に応じた異なる音量を割り当ててもよい。そして、制御部101は、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する音量で動きブレ報知音を出力してもよい。或いは、制御部101は、各分割範囲に乖離度に応じて異なる種類の音を割り当て、画面内で最大の割合を占める換算動きブレを含む分割範囲に対応する種類の音で動きブレ報知音を出力してもよい。即ち、制御部101は、乖離度に応じて音の種類及び音量のうちの少なくとも一方を変化させることができる。
また、本実施形態では、動きブレ報知の方法として、乖離度に応じて動きブレ報知アイコンの表示色を変更する例について説明したが、乖離度に応じて変更する対象は表示色に限ったものではない。例えば、乖離度に応じて動きブレ報知アイコンの大きさを変更する構成を採用してもよい。例えば、乖離度が大きい場合にはアイコンサイズを大きくし、乖離度が小さい場合にはアイコンサイズを小さくする構成を採用してもよい。このように、乖離度に応じてアイコンサイズを変更することにより、ユーザが動きブレの強弱を容易に確認することが可能になる。
従って、報知画像生成部1400は、乖離度に応じて異なる外観のブレ報知アイコンを準備撮影画像と共に表示する制御を行うことができる。例えば、報知画像生成部1400は、ブレ報知アイコンの色及び大きさのうちの少なくとも一方を乖離度に応じて変化させることができる。
また、本実施形態では、動きブレ報知の方法として、乖離度に応じて動きブレ報知枠又は動きブレ報知エッジの表示色を変更する例について説明したが、乖離度に応じて変更する対象は表示色に限ったものではない。例えば、乖離度に応じて動きブレ報知枠又は動きブレ報知エッジの線の太さを変更する構成を採用してもよい。例えば、乖離度が大きい場合には枠やエッジを太く表示し、乖離度が小さい場合には枠やエッジを細く表示する構成を採用してもよい。このように、乖離度に応じて線の太さを変更することにより、ユーザが動きブレの強弱を容易に確認することが可能になる。
従って、報知画像生成部1400は、準備撮影画像において動きブレが生じている複数の分割領域を囲む複数のブレ報知枠を準備撮影画像と共に表示する制御を行うことができる。そして、報知画像生成部1400は、各ブレ報知枠の外観を各ブレ報知枠に対応する分割領域における乖離度に応じて変化させることができる。例えば、報知画像生成部1400は、各ブレ報知枠の色及び太さのうちの少なくとも一方を各ブレ報知枠に対応する分割領域における乖離度に応じて変化させることができる。なお、ブレ報知枠を表示する領域は分割領域に限定されず、準備撮影画像において動きブレが生じている任意の部分領域についてブレ報知枠による動きブレの報知を行うことができる。また、報知画像生成部1400は、準備撮影画像において動きブレが生じている複数のエッジ領域を、各エッジ領域における乖離度に応じて異なる態様で強調表示することができる。強調表示は、複数のエッジ領域を、各エッジ領域における乖離度に応じて異なる色で表示すること、及び、複数のエッジ領域を、各エッジ領域における乖離度に応じて異なる太さの線で表示することのうちの少なくとも一方を含む。
[第4の実施形態]
第3の実施形態では、準備撮影画像から検出した動き量を本撮影で生じる動きブレ量に換算する構成について説明したが、第4の実施形態では、準備撮影を行っている撮像装置の動き量を本撮影で生じる動きブレ量に換算する構成について説明する。第4の実施形態では、図1に示す撮像装置100の代わりに図17に示す撮像装置1700を参照して説明を行うが、撮像装置1700の構成及び動作には、第3の実施形態に係る撮像装置100と共通する部分もある。以下、主に第3の実施形態と異なる点について説明する。
図17に示す撮像装置1700は、図1に示す撮像装置100と比べて、角速度検出部1101が追加され、画像処理部107が画像処理部1701に置き換わっている点で異なる。
角速度検出部1101は、例えば角速度センサー等であり、手振れやカメラワークによるヨー方向及びピッチ方向の撮像装置1700本体の角速度を検出する。角速度検出部1101による角速度検出方法としては、任意の公知の方法を使用可能である。
画像処理部1701は、後述の報知画像生成部1800を具備し、RAM103に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。
次に、図18を参照して、画像処理部1701が具備する報知画像生成部1800の構成例について説明する。図18に示す報知画像生成部1800は、図14に示す報知画像生成部1400と比べて、動きベクトル算出部301が画像動き情報変換部1201に置き換わっている点で異なる。報知画像生成部1800の動作の詳細については、図19を参照して後述する。
次に、図19を参照して、報知画像生成部1800が動きブレ報知画像を生成する処理(図2のS204)の詳細について説明する。図19において、S401、S403、S404、及びS406の処理は、第1の実施形態において図4を参照して説明した処理と同様である。また、S1301の処理は、第2の実施形態において図13を参照して説明した処理と同様である。また、S1501の処理は、第3の実施形態において図15を参照して説明した処理と同様である。
S1901で、動きブレ報知プレーン作成部1402は、S404において算出した換算動きブレに基づき、動きブレを報知するための画像プレーン(動きブレ報知プレーン)を作成する。S1901の処理は、換算動きブレと目標動きブレとの乖離度に応じて異なる態様の動きブレ報知プレーンを作成するという点においては、第3の実施形態(図15のS1502)と同様である。しかしながら、第4の実施形態においては、動きベクトルが全画素一様であるため、換算動きブレと目標動きブレとの乖離度も全画素一様であり、図10に示すようなヒストグラムを生成することができない。そこで、動きブレ報知プレーン作成部1402は、例えば全画素一様の乖離度を単数又は複数の閾値と比較することにより、動きブレ報知プレーンの態様を決定する。例えば、乖離度をD、3つの閾値をT1、T2、T3(T1<T2<T3)とする。T1≦D<T2の場合、動きブレ報知プレーン作成部1402は、青色の動きブレ報知アイコン903(図9(c))を動きブレ報知プレーンとして作成する。T2≦D<T3の場合、動きブレ報知プレーン作成部1402は、緑色の動きブレ報知アイコン902(図9(b))を動きブレ報知プレーンとして作成する。T3≦Dの場合、動きブレ報知プレーン作成部1402は、赤色の動きブレ報知アイコン901(図9(a))を動きブレ報知プレーンとして作成する。
以上説明したように、第4の実施形態によれば、撮像装置1700は、準備撮影を行っている撮像装置1700の動き量を本撮影で生じる動きブレ量に換算する。これにより、比較的小さい処理負荷で換算動きブレを取得することが可能となる。
[第5の実施形態]
特許文献1によると、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調することでユーザにブレを容易に小さくするように行動を促すことが可能である。
しかしながら、特許文献1では、時系列的な画像間の動き領域を抽出するために、被写体の速度や移動量に合わせて適切なフレームレートやシャッタースピードで撮影することは考慮されていない。例えば、動き検出を高精度に行うためには、移動する被写体を蓄積ブレ無く撮影する必要があり、そのためにはシャッタースピードを速くする必要がある。また、高速に移動する移動体に対しては、移動体を検出できる範囲にも制限があるため、フレームレートを高速にして、画像間の移動量を小さくして撮影する必要がある。一方、高フレームレートで準備撮影を行うと準備撮影画像の画質が低下し、電力の消費も大きくなってしまう。
このような状況に鑑み、本実施形態では動き検出の精度向上と準備撮影画像の画質向上とを所望のバランスで実現するための構成について説明する。
第5の実施形態において、撮像装置100の基本的な構成は第1の実施形態(図1)と同様である。以下、主に第1の実施形態と異なる点について説明する。
図20を参照して、撮像装置100が実行する撮影処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部101が前述した制御プログラムを実行することにより実現される。ユーザが撮像装置100の電源を入れ、撮像装置100の動作モードが撮影モードになると、本フローチャートの処理が開始する。
S2008で、制御部101は、構図内の被写体の動き量を検出するための準備撮影の撮影条件を決定する。具体的には、制御部101は、初期撮影条件で撮影した準備撮影画像から検出した被写体の動き量と、動きブレとして報知する目標のブレ量(目標動きブレ)との関係に基づいて、構図内の被写体の動き量を検出するために適した撮影条件を算出する。S2008の処理の詳細は図21を参照して後述する。
次に、図21を参照して、制御部101が準備撮影の撮影条件を決定する処理(図20のS2008)の詳細について説明する。
S2101で、制御部101は、初期撮影条件を撮像部105に設定し、準備撮影画像を連続して撮影する。初期撮影条件では、フレームレート及びシャッタースピードが、AE(自動露出)やAF(オートフォーカス)制御などの一般的なカメラで行うオート機能の制御に用いられる評価値を算出する処理に影響を与えない範囲で、最も高い(速い)値に設定される。また、設定される高速なシャッタースピードを用いて適正な露出条件で撮影ができるように、適切な絞り及びISO感度が設定される。従って、初期撮影条件で撮影された準備撮影画像には、移動する被写体の蓄積ブレが比較的少ない。また、連続する画像間での被写体の移動量は比較的小さい。そのため、高速に移動する被写体についても高精度で動き量を検出することが可能である。その一方で、適正な露出条件を達成するためにISO感度が比較的高く設定されるため、準備撮影画像はノイズが比較的多く含まれる。
S2102で、報知画像生成部300は、制御部101による制御に従い、初期撮影条件で撮影された準備撮影画像の画像間における動きベクトルを算出することにより、被写体の動き量(動きベクトルの大きさ)を算出する。動きベクトルの算出方法は、第1の実施形態において図4のS402を参照して説明した算出方法と同様である。
S2103で、制御部101は、S2102において算出された被写体の動き量と目標動きブレとの関係を特定する。目標動きブレとは、撮影画像において被写体の動き量が動きブレとして目立たない程度に収まる許容動き量である。許容動き量は、CCDやCMOSセンサー等の撮像素子のサイズ、画素数、及び、撮影画像を表示するディスプレイの解像度によって決まる。例えば、撮像素子のサイズがAPS−C、画素数が20万画素、ディスプレイの解像度がフルHD(1920×1080画素)である場合に、5ピクセル以下が許容動き量であるものとする。この場合、画像間で5ピクセル以下の動きを検出できるようにフレームレートを調整すると、適切な精度で被写体の動き検出を行うことができる。
図22を参照して、被写体の動き量と目標動きブレとの関係の具体例について説明する。図22は、準備撮影画像から算出した被写体の動き量と目標動きブレ(許容動き量)との関係を、動きベクトルの大きさ(画素数)を用いて表現したものである。図22(a)は、被写体の動き量と目標動きブレとの関係が適切でない状態を示しており、図22(b)は、被写体の動き量と目標動きブレとの関係が適切な状態を示している。
図22(a)の状態は、初期撮影条件として60fpsのフレームレートで準備撮影画像の撮像制御が行われている状態である。この時の被写体の動きベクトル2201の大きさは10画素、許容動き量に対応する動きベクトル2202の大きさは5画素であり、被写体の動きベクトル2201は、許容動き量に対応する動きベクトル2202よりも大きくなっている。この場合、許容動き量に対応する動きベクトル2202の大きさが5ピクセルであるのに対して、10ピクセル単位でしか被写体の動き量を検出することができない。これは、準備撮影のフレームレートが60fpsでは被写体の動きが大きすぎることを意味する。特に、軟体や回転運動を行う被写体の場合は、検出する動き量が荒い(単位が大きい)と、正しい動きを検出することが難しく、後述する本撮影の動きブレを報知する処理において、正しく動きブレを報知することが難しくなる。
図22(b)の状態は、撮影条件として120fpsのフレームレートで準備撮影画像の撮像制御が行われている状態である。被写体の動きベクトル2203の大きさは5画素、許容動き量に対応する動きベクトル2204の大きさは5画素であり、被写体の動きベクトル2203と、許容動き量に対応する動きベクトル2204は同じ移動量を表している。つまり、120fpsでは、適切な単位(5ピクセル単位)で動き量を検出できることが分かる。このように許容動き量以下の単位で動きベクトルを検出することができれば、本撮影の動きブレが許容動き量を超えるか否かを高精度で判断することが可能である。
高精度で動き検出を行うための条件を、被写体の動き量と目標動きブレとの関係式により表すと、式(8)で表される。
n=動きベクトルの大きさ/許容動き量・・・(8)
ここで、nが1よりも大きければ、検出可能な動き量の単位が大きすぎることを示し、1以下であれば、適切な単位で動き量を検出できることを示す。
なお、許容動き量は、本撮影の動きブレの検出精度を考慮して予め決定する方法以外にも、ユーザの指示に従って決定することも可能である。或いは、検出した動きベクトルの長さを後述する本撮影のシャッタースピード相当の動きベクトルの大きさに換算した後の動きブレの大きさに従って許容動き量を決定することも可能である。
図21に戻り、S2104で、制御部101は、S2103において特定した被写体の動き量と目標動きブレとの関係に基づいて、適切な単位で動き量を検出可能な撮影条件を算出し、準備撮影の撮影条件を算出した撮影条件に変更する。そして、制御部101は、変更後の撮影条件で準備撮影を行うように撮像部105を制御する。
なお、動き検出を行う上で適切な撮影条件は、ただ単純にフレームレートが速ければよいという訳ではない。フレームレートが速すぎると露光時間も短くなってしまい、特に暗所においてはノイズが多く含まれる画像になり、正確に被写体の信号が判別できないなどの動き検出に関して弊害も発生してしまう可能性がある。そのため、動き検出を行う上で適切な撮影条件とは、許容動き量以下の単位で動き量が検出でき、かつその動き量を検出できる露光時間の中で可能な限り長く露光することである。
そこで、制御部101は、式(9)及び式(10)を用いて、撮影条件の主な要素であるフレームレートとシャッタースピードを算出する。
フレームレート(fps)= 初期フレームレート×n・・・(9)
シャッタースピード(s)= 初期シャッタースピード×1/n・・・(10)
ここで、nは上記の式(8)により定まる値である。
こうして算出されるフレームレート及びシャッタースピードは、動き検出を行うために重要な撮影条件である。また、制御部101は、適切な明るさで撮像するために、フレームレートやシャッタースピードの変更に伴い、絞り値及びISO感度も変更して露出値が変わらないように制御する。
式(9)及び式(10)によれば、図22の例のようにnが1よりも小さい場合にはフレームレートが高くなりシャッタースピードが高速になる。そのため、動き検出を高精度で行うのに必要な単位で動き量を検出することが可能になる。また、式(9)及び式(10)によれば、nが1よりも小さい場合にはフレームレートが低くなりシャッタースピードが低速になる。そのため、必要以上にフレームレート及びシャッタースピードが高く(高速に)なって準備撮影画像の画質が低下することを抑制することができる。
なお、制御部101が設定可能なフレームレートは、離散的な値である場合がある。従って、より厳密に言えば、制御部101は、初期フレームレートを厳密にn倍にする必要はなく、約n倍(約(動き量)/(目標動きブレ量)倍)にすればよい。「約」の範囲は、制御部101が設定可能なフレームレートの値に応じて適宜定まる。シャッタースピードについても同様に、制御部101は、初期シャッタースピードを約1/n倍にすればよい。
また、制御部101は、初期フレームレートを約n倍よりも大きい(又は小さい)値に変更してもよい。この場合であっても、動きベクトルの大きさ(動き量)と許容動き量(目標動きブレ量)との相違に基づいて準備撮影のフレームレートを変更することにより、動き検出の精度向上と準備撮影画像の画質向上とを所望のバランスで実現することができる。
図23は、制御部101が準備撮影の撮影条件を決定する処理(図20のS2008)を説明するタイミングチャートである。図23では、準備撮影と本撮影の時間的なタイミングが示されている。図23(a)は、S2008の処理を行わない場合の準備撮影と本撮影のタイミングを表し、図23(b)は、S2008の処理を行う場合の準備撮影と本撮影のタイミングを示している。符号2301〜2318は、動き検出を行うために必要な連続する隣接画像のペアを示している。
図23(a)の場合(S2008の処理を行わない場合)、制御部101は、例えば固定の高フレームレートで準備撮影を継続する。即ち、制御部101は、本撮影を行うまで、初期撮影条件で撮影された隣接する準備撮影画像間(符号2301〜2312)で被写体の動き量を検出し続ける。ユーザがシャッターボタンを押したことを制御部101が検出すると、制御部101は本撮影を行う(符号2321)。
一方、図23(b)の場合(S2008の処理を行う場合)、符号2313〜2316のタイミングまでは、符号2301〜2304のタイミングと同様に初期撮影条件で準備撮影が行われる。しかし、S2008の処理により、被写体の動き量と目標動きブレとの関係に基づいて準備撮影の撮影条件が変更されるため、符号2317〜2318のタイミングでは変更後の撮影条件で準備撮影が行われる。図22(b)にはフレームレートが高くなる例を示したが、図23(b)ではフレームレートが低くなる例を示している。その後、本撮影(符号2322)が行われる。
S2008以降の処理は、第1の実施形態(図2)と同様である。但し、準備撮影の動きベクトルを本撮影で生じる動きブレに換算する処理(S204に含まれる図4のS404)において、準備撮影の動きベクトルは、S2008の処理により変更された撮影条件に対応する動きベクトルである。従って、例えば図22(b)に示すような変更が行われていた場合、(図8ではなく)図24に示すような換算が行われる。また、S206においてシャッターボタンが押下されていないと判定された場合、処理はS2008に戻る。この場合、図21のS2101においては、初期撮影条件の代わりに、前回のS2008の処理による変更後の撮影条件が用いられる。
なお、S2008における撮影条件の決定(変更)については、被写体の動きが安定している状態を検出したときに変更を行うように制御部101を構成してもよい。また、制御部101は、一度準備撮影の撮影条件を変更した後に被写体の動きが安定しているかを動きベクトルの変化に基づいて判定し、単位時間当たりの動きベクトルの変化が大きくなった場合に、再度準備撮影の撮影条件を変更することを行ってもよい。即ち、制御部101は、フレームレートなどの撮影条件が変更された後に得られた準備撮影画像から検出される動き量に変化が生じた場合に、再びフレームレートなどの撮影条件を変更してもよい。
以上説明したように、第5の実施形態によれば、撮像装置100は、準備撮影画像から検出した動き量と目標動きブレ量との相違に基づいて準備撮影のフレームレートを変更する。これにより、動き検出の精度向上と準備撮影画像の画質向上とを所望のバランスで実現することが可能になる。
なお、第3の実施形態の構成を本実施形態の構成に組み合わせることにより、換算動きブレの大きさに応じて3色(赤色、緑色、青色)で動きブレを報知することも可能である。この場合、制御部101は、それぞれの色で表現する動き量の大きさの範囲が表現できるように最も狭い動き量の範囲を検出できる許容動き量を設定する。例えば、動きベクトルの大きさに対して、動きブレの表現色が青色:0〜10ピクセル、緑色:11〜15ピクセル、赤色16ピクセル以上の場合、緑色の範囲が最も動き量として狭い区間となる。従って、制御部101は、緑色の範囲(11〜15)の5ピクセルを許容動き量として設定する。
また、本実施形態では、動き検出を行うために、準備撮影の撮影条件としてフレームレートとシャッタースピードを変更する例について説明を行ったが、どちらか一方の条件のみを変更してもよい。
また、ユーザの意図として決定していない時に動き検出の限界範囲を超えない範囲内の動きベクトルの大きさを、許容動き量に設定する構成を採用してもよい。その際には、被写体の動きが動き検出の範囲を超えたかを判断することが必要となる。判断方法としては、動き検出時のSADの値で変化量が所定値よりも小さくなることを検出することや、ジャイロ情報などの撮像装置100本体の動きを測定することなどを利用することができる。許容動き量を超えたと判定された場合には、制御部101は、シャッタースピードや、フレームレートを速くなるように制御を行う。
また、被写体の動きが速く準備撮影のフレームレートを変更できない場合には、制御部101は、フレームレートが落ちない範囲で、シャッタースピードだけを長くなるように設定してもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…撮像装置、101…制御部、102…ROM、103…RAM、104…光学系、105…撮像部、106…A/D変換部、107…画像処理部、108…記録部、109…表示部、110…指示入力部

Claims (25)

  1. 所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出手段と、
    前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備え、
    前記報知手段は、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知装置。
  2. 前記第1の撮影により得られた前記画像を表示する表示手段を更に備え、
    前記報知手段は、前記動きブレ量の大きさに応じて異なる外観のアイコンを前記画像と共に表示するように前記表示手段を制御する
    ことを特徴とする請求項1に記載の報知装置。
  3. 前記報知手段は、前記アイコンの色及び大きさのうちの少なくとも一方を前記動きブレ量の大きさに応じて変化させる
    ことを特徴とする請求項2に記載の報知装置。
  4. 前記第1の撮影により得られた前記画像を表示する表示手段を更に備え、
    前記報知手段は、前記画像において動きブレが生じている複数の部分領域を囲む複数の枠を前記画像と共に表示するように前記表示手段を制御し、各枠の外観を各枠に対応する前記部分領域における前記動きブレ量の大きさに応じて変化させる
    ことを特徴とする請求項1に記載の報知装置。
  5. 前記報知手段は、各枠の色及び太さのうちの少なくとも一方を各枠に対応する前記部分領域における前記動きブレ量の大きさに応じて変化させる
    ことを特徴とする請求項4に記載の報知装置。
  6. 前記第1の撮影により得られた前記画像を表示する表示手段を更に備え、
    前記報知手段は、前記画像において動きブレが生じている複数のエッジ領域を、各エッジ領域における前記動きブレ量の大きさに応じて異なる態様で強調表示するように前記表示手段を制御する
    ことを特徴とする請求項1に記載の報知装置。
  7. 前記強調表示は、前記複数のエッジ領域を、各エッジ領域における前記動きブレ量の大きさに応じて異なる色で表示すること、及び、前記複数のエッジ領域を、各エッジ領域における前記動きブレ量の大きさに応じて異なる太さの線で表示することのうちの少なくとも一方を含む
    ことを特徴とする請求項6に記載の報知装置。
  8. 前記報知手段は、音を出力することにより前記動きブレを報知し、前記動きブレ量の大きさに応じて前記音の種類及び音量のうちの少なくとも一方を変化させる
    ことを特徴とする請求項1乃至7のいずれか1項に記載の報知装置。
  9. 所定の時間間隔で繰り返し行われる第1の撮影を行っている撮像装置の、所定の期間における動き量を検出する検出手段と、
    前記所定の期間と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備え、
    前記報知手段は、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知装置。
  10. 所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出手段と、
    前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備え、
    前記報知手段は、前記動きブレ量と目標動きブレ量との乖離度に応じて前記報知の態様を変化させる
    ことを特徴とする報知装置。
  11. 所定の時間間隔で繰り返し行われる第1の撮影を行っている撮像装置の、所定の期間における動き量を検出する検出手段と、
    前記所定の期間と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備え、
    前記報知手段は、前記動きブレ量と目標動きブレ量との乖離度に応じて前記報知の態様を変化させる
    ことを特徴とする報知装置。
  12. 第1の撮影条件で第1の撮影により得られた第1の撮影画像及び前記第1の撮影画像における被写体の動き情報を取得する取得手段と、
    前記第1の撮影条件とは独立して第2の撮影条件を設定する設定手段と、
    前記動き情報及び前記第2の撮影条件から、前記第2の撮影条件で第2の撮影が行われる場合に得られる第2の撮影画像における前記被写体の動きブレ量を推定する推定手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備え、
    前記報知手段は、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知装置。
  13. 請求項1乃至12のいずれか1項に記載の報知装置と、
    撮像手段と、
    を備えることを特徴とする撮像装置。
  14. 所定のフレームレートで繰り返し第1の撮影を行うように撮像手段を制御する撮像制御手段と、
    前記第1の撮影により得られた画像から被写体の動き量を検出する検出手段と、
    前記動き量と目標動きブレ量との相違に基づいて、前記所定のフレームレートを変更する変更手段と、
    前記所定のフレームレートと第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算手段と、
    前記動きブレ量に基づいて動きブレを報知する報知手段と、
    を備えることを特徴とする撮像装置。
  15. 前記変更手段は、前記所定のフレームレートを約(前記動き量)/(前記目標動きブレ量)倍に変更する
    ことを特徴とする請求項14に記載の撮像装置。
  16. ユーザの指示に従って前記目標動きブレ量を決定する決定手段を更に備える
    ことを特徴とする請求項14又は15に記載の撮像装置。
  17. 前記変更手段により前記所定のフレームレートが変更された後に前記第1の撮影により得られた画像から前記検出手段により検出される前記動き量に変化が生じた場合、前記変更手段は再び前記所定のフレームレートを変更する
    ことを特徴とする請求項14乃至16のいずれか1項に記載の撮像装置。
  18. 報知装置が実行する報知方法であって、
    所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出工程と、
    前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備え、
    前記報知工程では、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知方法。
  19. 報知装置が実行する報知方法であって、
    所定の時間間隔で繰り返し行われる第1の撮影を行っている撮像装置の、所定の期間における動き量を検出する検出工程と、
    前記所定の期間と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備え、
    前記報知工程では、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知方法。
  20. 報知装置が実行する報知方法であって、
    所定の時間間隔で繰り返し行われる第1の撮影により得られた画像から被写体の動き量を検出する検出工程と、
    前記所定の時間間隔と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備え、
    前記報知工程では、前記動きブレ量と目標動きブレ量との乖離度に応じて前記報知の態様を変化させる
    ことを特徴とする報知方法。
  21. 報知装置が実行する報知方法であって、
    所定の時間間隔で繰り返し行われる第1の撮影を行っている撮像装置の、所定の期間における動き量を検出する検出工程と、
    前記所定の期間と第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備え、
    前記報知工程では、前記動きブレ量と目標動きブレ量との乖離度に応じて前記報知の態様を変化させる
    ことを特徴とする報知方法。
  22. 報知装置が実行する報知方法であって、
    第1の撮影条件で第1の撮影により得られた第1の撮影画像及び前記第1の撮影画像における被写体の動き情報を取得する取得工程と、
    前記第1の撮影条件とは独立して第2の撮影条件を設定する設定工程と、
    前記動き情報及び前記第2の撮影条件から、前記第2の撮影条件で第2の撮影が行われる場合に得られる第2の撮影画像における前記被写体の動きブレ量を推定する推定工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備え、
    前記報知工程では、前記動きブレ量の大きさに応じて前記報知の態様を変化させる
    ことを特徴とする報知方法。
  23. 撮像装置が実行する撮像方法であって、
    所定のフレームレートで繰り返し第1の撮影を行うように撮像手段を制御する撮像制御工程と、
    前記第1の撮影により得られた画像から被写体の動き量を検出する検出工程と、
    前記動き量と目標動きブレ量との相違に基づいて、前記所定のフレームレートを変更する変更工程と、
    前記所定のフレームレートと第2の撮影の露光時間とに基づいて、前記動き量を前記第2の撮影で生じる動きブレ量に換算する換算工程と、
    前記動きブレ量に基づいて動きブレを報知する報知工程と、
    を備えることを特徴とする撮像方法。
  24. コンピュータを、請求項1乃至12のいずれか1項に記載の報知装置の各手段として機能させるためのプログラム。
  25. コンピュータを、請求項14乃至17のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
JP2018248373A 2018-12-28 2018-12-28 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体 Active JP7232046B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018248373A JP7232046B2 (ja) 2018-12-28 2018-12-28 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体
US16/728,434 US11463623B2 (en) 2018-12-28 2019-12-27 Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
US17/941,177 US11818466B2 (en) 2018-12-28 2022-09-09 Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018248373A JP7232046B2 (ja) 2018-12-28 2018-12-28 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2020108119A true JP2020108119A (ja) 2020-07-09
JP2020108119A5 JP2020108119A5 (ja) 2022-01-12
JP7232046B2 JP7232046B2 (ja) 2023-03-02

Family

ID=71124512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018248373A Active JP7232046B2 (ja) 2018-12-28 2018-12-28 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体

Country Status (2)

Country Link
US (2) US11463623B2 (ja)
JP (1) JP7232046B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
GB2610018B (en) * 2021-06-04 2023-09-13 Canon Kk Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method
US11812165B2 (en) * 2021-06-16 2023-11-07 Mediatek Inc. Method and apparatus for dynamically changing frame rate of sensor output frames according to whether motion blur condition is met

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210392A (ja) * 2004-01-22 2005-08-04 Mega Chips Corp 撮像装置
JP2006091398A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd カメラ装置
JP2010160178A (ja) * 2009-01-06 2010-07-22 Nikon Corp 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326978A (ja) * 1998-05-08 1999-11-26 Olympus Optical Co Ltd ブレ補正カメラ
JP4165568B2 (ja) * 2006-04-03 2008-10-15 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法、制御プログラム及び記録媒体
JP2008172667A (ja) 2007-01-15 2008-07-24 Tamron Co Ltd 撮像装置
US10440273B2 (en) * 2018-02-15 2019-10-08 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that displays an overlay setting screen for inputting focal length information for interchangeable lens and for quantitatively indicating a magnitude of a blur

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210392A (ja) * 2004-01-22 2005-08-04 Mega Chips Corp 撮像装置
JP2006091398A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd カメラ装置
JP2010160178A (ja) * 2009-01-06 2010-07-22 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
US11463623B2 (en) 2022-10-04
JP7232046B2 (ja) 2023-03-02
US11818466B2 (en) 2023-11-14
US20230007155A1 (en) 2023-01-05
US20200213497A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
JP6271990B2 (ja) 画像処理装置、画像処理方法
US9865064B2 (en) Image processing apparatus, image processing method, and storage medium
US9071766B2 (en) Image capturing apparatus and control method thereof
CN111385471B (zh) 信息处理设备和方法、摄像设备及其控制方法、存储介质
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
US11343426B2 (en) Notifying apparatus, image capturing apparatus, notifying method, and storage medium for making a notification of motion blur
JP6261205B2 (ja) 画像処理装置
US11477384B2 (en) Information processing apparatus, imaging apparatus, information processing method, control method for imaging apparatus, and storage medium for notifying of a subject blur occuring in a captured image
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2023033355A (ja) 画像処理装置およびその制御方法
JP7389558B2 (ja) 情報処理装置およびその制御方法ならびにプログラム
JP7296750B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7246894B2 (ja) 撮像装置およびその制御方法
JP6212717B2 (ja) 撮像装置
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7475846B2 (ja) 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
JP2022186598A (ja) 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2024033748A (ja) 画像処理装置、撮像装置、画像処理方法および撮像装置の制御方法、プログラム
JP6778014B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2022042829A (ja) 報知装置、撮像装置、報知方法、及びプログラム
JP2016092794A (ja) 撮像装置
JP2024011388A (ja) 画像処理装置とその制御方法、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230217

R151 Written notification of patent or utility model registration

Ref document number: 7232046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151