JP2018074417A

JP2018074417A - 撮像装置

Info

Publication number: JP2018074417A
Application number: JP2016213049A
Authority: JP
Inventors: 貴之松橋; Takayuki Matsuhashi; 良祐望月; Ryosuke Mochizuki; 美香武藤; Mika Muto
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2016-10-31
Filing date: 2016-10-31
Publication date: 2018-05-10
Also published as: US10432873B2; CN108012089A; US20180124297A1

Abstract

【課題】高品質の静止画像と高品質の動画とを同時に取得できる撮像装置を提供する。【解決手段】撮像装置１は、所定タイミング毎に画像を生成する撮像部２００と、特定の撮影状況であるか否かに応じて、撮像部２００で所定タイミング毎に使用される露光時間を静止画像取得用の第１の露光時間及び動画取得用の第２の露光時間を含む複数の露光時間に分割するコマ分割部１１１と、第１の露光時間での撮像で生成された画像に基づいて静止画像を生成し、第２の露光時間での撮像で生成された画像を用いて動画を構成する動画コマＦｍを生成する画像処理部１８０とを備える。【選択図】図１

Description

本発明は、撮像装置に関する。

近年、ハイビジョン画質から、４Ｋ画質、８Ｋ画質へと、動画の品質が向上している。今後、動画を構成する各々の画像、すなわち動画コマが従来の静止画並みの画質を有することが期待されている。また、急に撮りたい被写体が現れたとき等にとっさに動画を撮影し、その後に当該動画から撮りたかった被写体が含まれる場面を静止画として抽出して取得する等、撮影した動画から静止画を取得することには需要がある。例えば特許文献１には、静止画に適した画像から成る動画を取得するための動画撮影モードを有する撮像装置に係る技術が開示されている。

一般に、動画における各々の動画コマと、静止画における画像とでは、その画質に要求される特徴が異なる。例えば、動画では、所定のフレームレートで画像が次々に表示される。そのため、動画を構成する各々の画像には、ブレが目立たない等の完成度の高さを有することに比べて、その前後の画像との間に自然な繋がりを有することが重視され、また、要求される。したがって、動画用の画像では、ある程度のブレがあった方がよい。一方で、例えば、静止画では、当該静止画を構成する画像が表示され続ける。そのため、静止画を構成する各々の画像には、ブレが目立たない等１枚の画像としての完成度の高さを有することが重視され、また、要求される。さらに、例えば、特定間隔で得られた静止画から成るタイムラプス動画の場合にも、当該タイムラプス動画を構成する各々の画像には、静止画を構成する各々の画像と同様の特徴が要求される。このように、例えば、静止画に適した特徴を有する画像から成る動画では、各々の動画コマ間の繋がりが滑らかではなく、鑑賞に適した動画とならない可能性がある。同様に、動画に適した画像から静止画を抽出すると、その画像は静止画としては画質が劣る可能性がある。

特開２０１６−３２２１４号公報

本発明は、高品質の静止画像と高品質の動画とを同時に取得できる撮像装置を提供することを目的とする。

本発明の一態様によれば、撮像装置は、所定タイミング毎に画像を生成する撮像部と、特定の撮影状況であるか否かに応じて、前記撮像部で所定タイミング毎に使用される露光時間を静止画像取得用の第１の露光時間及び動画取得用の第２の露光時間を含む複数の露光時間に分割するコマ分割部と、前記第１の露光時間での撮像で生成された画像に基づいて静止画像を生成し、前記第２の露光時間での撮像で生成された画像を用いて動画を構成する動画コマを生成する画像処理部とを備える。

本発明によれば、高品質の静止画像と高品質の動画とを同時に取得できる撮像装置を提供できる。

図１は、第１の実施形態に係る撮像装置の構成例の概略を示すブロック図である。図２Ａは、第１の実施形態に係る撮像装置を用いた撮影時の様子の一例を示す図である。図２Ｂは、第１の実施形態に係る撮影時の構図と被写体との関係の一例を示す図である。図２Ｃは、第１の実施形態に係る動画から静止画像を切り出す場合の一例を示す図である。図３は、第１の実施形態に係る連写動画撮影における各々の画像と露光時間との関係の一例を示すタイミングチャートである。図４は、第１の実施形態に係る撮像装置制御処理の一例を示すフローチャートである。図５は、第１の実施形態に係る連写動画撮影処理の一例を示すフローチャートである。図６は、第２の実施形態に係る連写動画撮影処理における各々の画像と露光時間との関係の一例を示すタイミングチャートである。図７は、第３の実施形態に係るタイムラプス動画生成処理を伴う連写動画撮影処理の一例を示すフローチャートである。図８は、第３の実施形態に係るタイムラプス動画生成処理の一例を示すフローチャートである。図９は、第３の実施形態に係る画像の特徴に基づく判定処理の一例を示すフローチャートである。図１０は、第３の実施形態に係る現在の画像が適するか否かの判定処理の一例を示すフローチャートである。図１１は、第３の実施形態に係る既記録の画像が適するか否かの判定処理の一例を示すフローチャートである。

［第１の実施形態］
＜撮像装置の構成＞
本発明の第１の実施形態に係る撮像装置１の構成例の概略を図１に示し、これを参照して本実施形態に係る撮像装置１の構成について説明する。

撮像装置１は、演算部１００と、撮像部２００とを有する。演算部１００は、主として撮像装置１の各部の制御、画像処理を行う。演算部１００は、撮影制御部１１０と画像処理部１８０とを有する。撮影制御部１１０は、例えば動画のフレームレート、撮影モード、パラメータ等の設定及び撮影に係る制御を行う。撮影制御部１１０は、コマ分割部１１１を有する。コマ分割部１１１は、例えば撮像の目的に応じた複数のシャッタースピードを設定し、また、撮像部２００に当該シャッタースピードで撮像させる。すなわち、コマ分割部１１１は、撮像の目的に応じた複数の露光時間を設定し、また、撮像部２００に当該露光時間で撮像させる。このように、本実施形態に係る各々のシャッタースピードは、それぞれ露光時間と読み替えてもよい。画像処理部１８０は、例えば撮像部２００が取得した画像に基づいて静止画像及び動画を生成する。また、画像処理部１８０は、各々の画像に対して、その用途にふさわしい画像処理を施す。撮像部２００は、例えば撮像光学系と撮像素子とを有する。撮像部２００は、撮像光学系を介して撮像素子の撮像面に結像した像に基づいて、画像データを生成する。撮像光学系は、例えば焦点距離を変更できるズーム光学系を含む。撮像部２００は、所定のタイミング毎に画像を生成する。当該所定のタイミングは、例えば予め設定されている撮影間隔であっても、ユーザの操作に基づいて決定される撮影間隔であってもよい。例えば、予め設定されている撮影間隔には、動画撮影におけるフレームレート、連写撮影における撮影間隔等が含まれる。

演算部１００は、判定部１２０と、圧縮制御部１３０と、取捨選択部１４０と、記録制御部１５０と、リサイズ部１６０と、表示制御部１７０とをさらに有する。

判定部１２０は、例えば撮像装置１の動作に係る判定を行う。この判定には、後述する連写動画撮影処理を行うか否かの判定等が含まれる。圧縮制御部１３０は、例えば動画データの圧縮を行う。圧縮制御部１３０は、何れの形式に基づいて動画データの圧縮をするか判定してもよい。さらに、圧縮制御部１３０は、例えば静止画撮影によって得られた静止画像及び音声についての圧縮を行ってもよいし、動画データに対するコマ飛ばし、分割、削除及び結合等の処理を担ってもよい。取捨選択部１４０は、例えば、ユーザの操作に応じて取得した静止画像又は動画のうち、いずれを記録又は削除するかを判定する。記録制御部１５０は、撮像装置１における記録又は記憶の動作に係る。リサイズ部１６０は、主に画像のリサイズ処理を行う。なお、リサイズ部１６０は、圧縮制御部１３０を含んで動画の圧縮を行ってもよいし、圧縮制御部１３０に含まれていてもよい。表示制御部１７０は、後述する表示部４２０における表示のための表示情報を生成する。この表示情報は、例えばユーザの操作のための表示に係る情報を含む。

演算部１００又は演算部１００の備える各要素は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、Digital Signal Processor（ＤＳＰ）又はGraphics Processing Unit（ＧＰＵ）等の集積回路等を含む。演算部１００又は演算部１００の備える各要素は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、演算部１００の備える各要素のうち２つ以上が、１つの集積回路等で構成されてもよい。これら集積回路等の動作は、例えば記録部３２０又は集積回路等がその内部に備える記録領域に記録されたプログラムに従って行われる。

撮像装置１は、仮記録部３１０と、記録部３２０と、操作部４１０と、表示部４２０と、センサ部５１０と、時計部５２０とをさらに有する。

仮記録部３１０は、取得した画像を含む情報を一時的に記憶する。仮記録部３１０は、Ｆｓ記憶部３１１と、Ｆｃ記憶部３１２と、Ｆｍ記憶部３１３とを備える。仮記録部３１０が記憶する画像のうち、Ｆｓ記憶部３１１は静止画像の生成に用いる画像を、Ｆｃ記憶部３１２は動画の生成に係る画像を、Ｆｍ記憶部３１３は生成された動画を構成する画像を、各々の画像に係る情報と共にそれぞれ記憶する。仮記録部３１０は、例えばStatic Random Access Memory（ＳＲＡＭ）やDynamic Random Access Memory（ＤＲＡＭ）のような揮発性メモリであるが、フラッシュメモリのような不揮発性メモリであってもよい。また、仮記録部３１０及び仮記録部３１０の備える各要素は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。また、仮記録部３１０の備える各要素のうち２つ以上が、１つのメモリで構成されてもよい。

記録部３２０は、例えばフラッシュメモリのような不揮発性メモリである。記録部３２０には、撮像装置１が取得又は生成する、画像及び各々の画像に係る情報が記録制御部１５０によって記録される。記録部３２０に記録されるものは、上述の仮記録部３１０が記憶するものを含んでいてもよい。記録部３２０は、条件部３３０を有する。条件部３３０には、例えば判定部１２０が行う判定処理に係る各種条件、撮像装置１の動作に係る各種の設定が記録されている。

操作部４１０は、ユーザの操作結果を入力として取得し、取得結果を操作信号として演算部１００へ出力する。操作部４１０は、例えば、押しボタン、つまみ、ダイヤル、スライダ、タッチパネルを含む。表示部４２０は、例えば液晶ディスプレイを含み、表示制御部１７０が生成する表示情報に基づいて表示を行う。センサ部５１０は、方位及び位置、振動等を計測又は検知するセンサを含む。センサ部５１０は、これら複数のセンサの検知した値を演算部１００へ出力する。センサ部５１０は、画像取得時における撮像装置１の状況を検知するものであればよく、傾き、加速度、音量、温度、輝度、気圧等を計測するセンサをさらに有していてもよいし、撮像装置１の外部に設けられる外部センサを含んでいてもよい。時計部５２０は、時刻情報を生成して演算部１００へ出力する。センサ部５１０と時計部５２０との出力は、例えば、演算部１００が撮像部２００から画像を取得する際に合わせて取得され、画像と共に仮記録または記録される。このように取得されたセンサ部５１０の出力は、例えば演算部１００が現在の撮像装置１の状況が特定の撮影状況であるか否かの判定をする際に用いられる。また、演算部１００は、特定の撮影状況であると判定された場合には、撮像部２００に連写動画撮影を開始させる。なお、特定の撮影状況及び連写動画撮影については後述する。

＜撮像装置の動作の概要＞
ここで、第１の実施形態に係る撮像装置１を用いた撮影時の様子の一例を図２Ａに、当該撮影時の構図と被写体との関係の一例を図２Ｂに、撮影した動画から静止画像を切り出す場合の一例を図２Ｃにそれぞれ示す。例えば、図２Ａに示すようにユーザＵ１が撮像装置１を手にしている際に、急に撮りたい被写体が現れることがある。ここでは、ユーザＵ１が撮りたいと思う被写体として鳥Ｏ１が現れた場合を例に説明する。ユーザＵ１は、例えば図２Ｂに示すように鳥Ｏ１を撮影するために最適な構図が得られていなくても、画角Ｉ１内に鳥Ｏ１が入ったとき、とっさに反応して例えば動画撮影を開始する（特定の撮影状況）。このような動画撮影では、ユーザＵ１は、被写体の動きが速い等の理由から、すべての過程において被写体に適した構図で撮影することは困難である。この場合、動画作品としては失敗だが、例えば図２Ｃに示すように、動画を構成する画像の中から画像Ｉ２と画像Ｉ３と画像Ｉ４とが示すような、撮りたい被写体である鳥Ｏ１に適した構図の画像だけを抜き出せば、鑑賞に耐え得る静止画像が得られる。なお、画像処理部１８０は、撮りたい被写体である鳥Ｏ１に適した構図ではない画像に対してトリミング加工等を施し、鳥Ｏ１に適した構図の画像を生成してもよい。

一般に、再生又は鑑賞に適する動画における各々の画像、すなわち動画コマと、再生又は鑑賞に適する静止画像とでは、その画質に要求される特徴が異なる。例えば、動画の再生時には、所定のフレームレートで画像（所定のタイミングで得られる画像コマ）が次々に表示される。そのため、動画を構成する各々の動画コマには、ブレが目立たない等の１枚の画像としての完成度の高さを有することに比べて、その前後の動画コマとの間に自然な繋がりを有することが重視され、また、要求される。このため、一般に動画用の撮像における露光時間は長くなる。一方で、例えば、静止画像の再生時には、当該静止画像が表示され続ける。そのため、静止画像には、ブレが目立たない等の１枚の画像としての完成度の高さを有することが重視され、また、要求される。このため、一般に静止画像用の撮像における露光時間は動画用の撮像における露光時間に比べて短くなる。

そのため、上述のように被写体に適した構図の動画コマを静止画像として切り出した場合、当該静止画像は動画に適する特徴を有する画像であり、静止画像に合った特徴を有していない可能性がある。一方で、静止画像に合った特徴を有する画像から成る動画を取得すれば、静止画像の切り出しには適するが、再生又は鑑賞に適する動画とはならない可能性がある。したがって、例えば、各々の動画コマ間に繋がりを有している動画を生成するための画像を得ると同時に、静止画像として適している画像を得ることができる撮影方法には需要がある。

このような需要に対して、本実施形態に係る撮像装置１は、動画撮影中に静止画像を取得するための撮像と動画を取得するための撮像とを所定タイミング毎に繰り返し交互に行う、連写動画撮影を行う。第１の実施形態に係る連写動画撮影における各々の画像と露光時間との関係の一例を図３にタイミングチャートとして示し、これを参照して静止画像と動画コマとの生成について説明する。なお、連写動画撮影で取得される画像を連写コマと、当該連写コマから成る画像の集合を連写画像群と称する。

図３に示すように、動画撮影の１フレームに相当する時間をＴｆとする。連写動画撮影において本実施形態に係る撮影制御部１１０は、Ｔｆ毎に静止画像取得用の撮像及び動画取得用の撮像を含む複数回の撮像を行い、静止画像を生成するための静止画コマＦｓと動画を生成するための補完コマＦｃとを含む連写コマを取得する。したがって、本実施形態に係る撮像部２００は、所定タイミング（例えばＴｆ）毎に画像（例えば連写コマ、動画コマＦｍ）を生成すると表現できる。

連写コマを取得するにあたって、コマ分割部１１１は、動画コマＦｍの取得に要する露光量に基づき、動画コマＦｍ取得用の露光時間を決定する。コマ分割部１１１は、１回の撮像で当該露光時間を達成するシャッタースピードを動画コマＦｍ取得用のシャッタースピードとして決定する。また、コマ分割部１１１は、同様にして静止画コマＦｓ取得用の露光時間（第１の露光時間）に基づき、静止画コマＦｓ取得用のシャッタースピードを決定して設定する。以下、動画コマＦｍ取得用のシャッタースピードをＴｓｍと、静止画コマＦｓ取得用のシャッタースピードをＴｓｓと記載する。このとき、コマ分割部１１１は、例えば画角の全体に適した露光時間となるようにＴｓｍを決定し、例えば注目被写体に適した露光時間となるようにＴｓｓを決定する。これは、コマ分割部１１１は、例えば画角の全体に適した露光時間となるように動画コマＦｍ取得用の露光時間を決定し、例えば注目被写体に適した露光時間となるように第１の露光時間を決定するとも表現できる。さらにコマ分割部１１１は、動画コマＦｍ取得用の露光時間と静止画コマＦｓ取得用の露光時間との差分を補完コマＦｃ取得用の露光時間（第２の露光時間）とする。すなわち、コマ分割部１１１は、補完コマＦｃ取得用のシャッタースピードをＴｓｍとＴｓｓとの差分として算出して設定する。以下、補完コマＦｃ取得用のシャッタースピードをＴｓｃと記載する。

このように、本実施形態に係るコマ分割部１１１は、撮像部２００で所定タイミング毎に使用される露光時間を静止画像取得用の第１の露光時間及び動画取得用の第２の露光時間を含む複数の露光時間に分割する。なお、当該所定タイミング毎に使用される露光時間は、例えば動画コマＦｍ取得用の露光時間と等しい。さらに、第２の露光時間は、動画コマＦｍ取得用の露光時間と第１の露光時間との差分であるとも表現できる。

撮影制御部１１０は、図３の連写コマの行に示すように、静止画コマＦｓをＴｓｓで、補完コマＦｃをＴｓｃでそれぞれ撮像部２００に撮像させる。このようにして、図３の静止画コマの行に示すように、Ｔｆ毎に静止画コマＦｓが取得される。その後、画像処理部１８０は、静止画コマＦｓに基づいて静止画像を、静止画コマＦｓと補完コマＦｃとを合成して動画コマＦｍをそれぞれ生成する。このようにして、図３の動画コマの行に示すように、Ｔｓｍで撮像した場合と同様の動画コマＦｍが、Ｔｆ毎に取得される。すなわち、静止画像取得用の撮像における露光時間と動画取得用の撮像における露光時間との合計は、動画コマＦｍ取得用の露光時間であり、Ｔｓｍで撮像した場合の露光時間と等しい。

これは、画像処理部１８０は、第１の露光時間での撮像で生成された画像（例えば、静止画コマＦｓ）に基づいて静止画像を生成し、第２の露光時間での撮像で生成された画像（例えば、補完コマＦｃ）を用いて動画を構成する動画コマＦｍを生成すると表現できる。また、画像処理部１８０は、第１の露光時間での撮像で生成された画像（例えば、静止画コマＦｓ）と第２の露光時間での撮像で生成された画像（例えば、補完コマＦｃ）とを合成して動画コマＦｍを生成するとも表現できる。

＜第１の実施形態に係る撮像装置の動作＞
第１の実施形態に係る撮像装置制御処理の一例を図４にフローチャートとして示し、これを参照して撮像装置１の動作について説明する。

ステップＳ１０１において、演算部１００は、撮影モード又は再生モードの何れを実行するかを判定する。この判定は、ユーザの操作に応じて操作部４１０又はセンサ部５１０が出力する操作信号に基づく。例えば、詳細は後述するが、ユーザが急に撮りたい被写体を発見したとき等に行う激しい操作がセンサ部５１０によって検出された場合、演算部１００は、連写動画撮影処理を行うために撮影モードへ移行すると判定する（特定の撮影状況）。すなわち、本ステップにおけるモード選択は、必ずしもユーザが手動にて選択を行う場合に限定されない。撮像装置制御処理は、演算部１００が撮影モードへ移行すると判定した場合はステップＳ１０２へ進み、再生モードへ移行すると判定した場合はステップＳ１２１へ進む。この特定の撮影状況は、撮像で得られた画像データそのもの（構図や被写体の表情）や、その変化（被写体の動きやカメラそのものの動き）結果から判定されてもよく、ユーザの驚いた声や被写体からの音声や各種スイッチや操作部の操作のされ方等で判定されてもよい。

ステップＳ１０２において、演算部１００は、撮像部２００が出力する画像データを取得する。演算部１００は、当該画像データに対して適切な画像処理を施し、画像処理後の画像データに基づいて表示部４２０にライブビュー表示を開始させる。演算部１００は、例えば撮影モードの実行中はライブビュー表示を継続する。

ステップＳ１０３において、演算部１００は、操作部４１０、センサ部５１０等の出力に基づいて撮像装置１に対して激しい操作が為されたか否かを判定する。すなわち、特定の撮影状況であるか否かが判定され得る。ここで、激しい操作が為されるときとは、例えば、ユーザが急に撮りたい被写体を発見したときである。これは、図２Ａ乃至図２Ｃを参照して上述したように、ユーザが静止画撮影であるか動画撮影であるかを問わず、とにかく当該被写体を撮影したいと思うときである。このようなとき、例えば撮像装置１の筐体の向きや位置は急激に変化する。また、例えばユーザは電源をオンにした直後にレリーズ操作を行ったり、被写体に焦点があっていない状態でもレリーズ操作を行ったりする。演算部１００は、このような状態も激しい操作が為されたと判定する。撮像装置制御処理は、激しい操作が為された（特定の撮影状況である）と判定された場合にはステップＳ１０４へ進み、判定されなかった場合にはステップＳ１０５へ進む。

このような特定の撮影状況は、加速度で判定されてもよい。また、特定の撮影状況には、とっさの撮影に限らず、動きが速い被写体に対応する場合や、不安定なホールディング等の撮影時が含まれていてもよい。さらに、ユーザが改めて設定したとっさの撮影モードのようなモード設定に応じて特定の撮影状況であると判定されても良い。常にそのような状況に対処するカメラであれば、それを常用モードとして常に特定の撮影状況と判定されるものであってもよい。

ステップＳ１０４において、演算部１００は、連写動画撮影処理を行う。ここで、第１の実施形態に係る連写動画撮影処理の一例をフローチャートとして図５に示し、これを参照して連写動画撮影処理における撮像装置１の動作について説明する。なお、連写動画撮影処理における各々の画像と露光時間との関係は、図３を参照して上述した通りである。

ステップＳ２０１において、表示制御部１７０は、連写動画撮影が開始されることをユーザに示す表示を行う。演算部１００の有する表示制御部１７０は、連写動画撮影が開始されることを示す表示情報を生成し、これを出力して表示部４２０に表示させる。当該表示は、連写動画撮影開始又実行中であることがユーザに伝わる形態であればよく、文字情報であっても、図形や色による情報であってもよい。表示制御部１７０は、この表示を撮影開始時のみ表示させてもよいし、連写動画撮影が行われている間に表示させ続けてもよい。その後、連写動画撮影処理はステップＳ２０２へ進む。

ステップＳ２０２において、コマ分割部１１１は、動画コマＦｍ取得用のシャッタースピードＴｓｍを被写体輝度に基づいて決定する。ステップＳ２０３において、コマ分割部１１１は、静止画コマＦｓ取得用のシャッタースピードＴｓｓを被写体輝度に基づいて決定する。また、ステップＳ２０４において、コマ分割部１１１は、ＴｓｍとＴｓｓとの差分をとり、補完コマＦｃ取得用のシャッタースピードＴｓｃを算出する。なお、これら設定された複数のシャッタースピードは、例えば仮記録部３１０が記憶する。

ステップＳ２０５において、演算部１００は、静止画コマＦｓを取得して仮記録する。本ステップにおいて、撮影制御部１１０は、ステップＳ２０３において決定されたＴｓｓで撮像部２００に撮像させる。演算部１００は、撮像部２００が撮像して得た画像データを静止画コマＦｓとして取得する。記録制御部１５０は、静止画コマＦｓを仮記録部３１０の備えるＦｓ記憶部３１１へ記憶させる。

ステップＳ２０６において、演算部１００は、補完コマＦｃを取得して仮記録する。本ステップにおいて、撮影制御部１１０は、ステップＳ２０４において算出されたＴｓｃで撮像部２００に撮像させる。演算部１００は、撮像部２００が撮像して得た画像データを補完コマＦｃとして取得する。記録制御部１５０は、補完コマＦｃを仮記録部３１０の備えるＦｃ記憶部３１２へ記憶させる。

ステップＳ２０７において、演算部１００は、動画データを生成して記録する。本ステップにおいて、画像処理部１８０は、仮記録部３１０が記憶している静止画コマＦｓと補完コマＦｃとを合成して動画コマＦｍを生成する。このように静止画コマＦｓと補完コマＦｃとを合成することで、撮像装置１は、Ｔｓｍで撮像した場合と同様の画像を得ることが出来る。記録制御部１５０は、生成した動画コマＦｍを仮記録部３１０の備えるＦｍ記憶部３１３へ記憶させる。演算部１００は、動画コマＦｍに基づいて動画データを生成し、当該動画データを仮記録部３１０又は記録部３２０へ記録する。

ステップＳ２０８において、演算部１００は、静止画像を生成して記録する。本ステップにおいて、画像処理部１８０は、仮記録部３１０が記憶している静止画コマＦｓに基づいて静止画像を生成する。記録制御部１５０は、必要に応じて静止画像に圧縮を施して記録部３２０へ記録する。

ステップＳ２０７及びステップＳ２０８において、画像処理部１８０は、例えば動画に含まれる各々の動画コマＦｍに対しては、各動画コマＦｍ間の滑らかさが損なわれないようなコントラスト補正処理や階調補正処理を行う。このとき、画像処理部１８０は、後の編集を容易とするために、階調を残すような画像処理を施してもよい。一方、静止画コマＦｓ又は静止画像に対しては、画像処理部１８０は、各画像がそれ自身の特徴を示す静止画的な画像処理を行う。また、画像処理部１８０は、例えばその状況にふさわしい特殊効果処理をかけて、生成する動画にめりはりが付くようにしてもよい。このように処理された結果は、同じ動画コマＦｍであっても、画像処理前の動画コマＦｍと置き換えられずに、別に記録部３２０等に記録されてもよい。このような用途に応じた画像処理は、再生時に施されてもよい。また、画像処理部１８０は、例えば、静止画コマＦｓにはブレが見えないように補正し、動画コマＦｍには、再生時にその動画コマＦｍはすぐに次の動画コマＦｍに変わるので、そこまで厳密にブレ補正しないこととしてもよい。

ステップＳ２０９において、演算部１００は、連写動画撮影を終了するか否かの判定を行う。連写動画撮影を終了する判定は、例えば、ユーザの操作に応じて操作部４１０が出力する操作信号に基づいて行われてもよいし、連写動画撮影の開始から所定時間が経過したことを以って行われてもよい。連写動画撮影処理は、終了しないと判定された場合はステップＳ２０３に戻り、ステップＳ２０９において終了すると判定されるまでステップＳ２０３乃至ステップＳ２０９の処理を繰り返し行う。連写動画撮影処理は、ステップＳ２０９において終了すると判定された場合はステップＳ２１０へ進む。

ステップＳ２１０において、演算部１００は、動画データを圧縮して記録する。本ステップにおいて、記録制御部１５０は、圧縮制御部１３０が圧縮した動画データを、記録部３２０へ記録する。その後、連写動画撮影処理は終了し、撮像装置制御処理におけるステップＳ１０５へ進む。

このようにして、本実施形態に係る撮像装置１は、１フレーム毎に再生又は鑑賞に適した静止画像を生成すると同時に、Ｔｓｍで撮像した場合と同様の動画コマＦｍを生成することができる。なお、当該繰り返し処理中のステップＳ２０３の処理は、大きな被写体の露出変化がある等、Ｔｓｓを変更する必要があるときに適宜行われるようにすればよく、変化がない場合は行われなくてもよい。なお、このような露出変化があるとき、Ｔｓｓを変更せず、撮像の感度を変更して撮像を行うようにしてもよい。また、静止画コマＦｓ取得用の露光時間は手ブレを起こさない範囲の時間に制限されることが望ましい。例えば注目被写体が暗いために当該露光時間が手ブレ限界の時間を超えて長くなる場合等には、露光の不足分を増幅で補うようにしてもよい。連写動画撮影時のＴｓｓは、ステップＳ２０８において静止画コマＦｓを増幅して静止画像を生成できる、かつ、同時に取得する動画の１フレームの時間Ｔｆから撮像に係る処理に要する時間を除いた時間を超えない範囲で設定可能である。なお、演算部１００は、静止画像及び動画の生成時にそれぞれに適した画像処理を施すと述べたが、静止画コマＦｓ、補完コマＦｃの取得時又は動画の記録時に、それぞれに画像処理を施してもよい。

図４を再び参照して、ステップＳ１０４における連写動画撮影処理が終了した後の撮像装置１の動作について説明を続ける。ステップＳ１０５において、演算部１００は、例えばユーザの操作に応じて操作部４１０が出力する操作信号に基づいて、モード及びパラメータ設定を行うか否かを判定する。撮像装置制御処理は、設定を行うと判定された場合はステップＳ１０６へ進む。ステップＳ１０６において、演算部１００は、例えば、アートフィルターの設定、露出補正等の静止画撮影又は動画撮影処理に係るモード及びパラメータ設定を行う。設定された条件等は、例えば仮記録部３１０に記憶させられる。ステップＳ１０６において設定を行わないと判定された場合及びステップＳ１０７における設定の後、撮像装置制御処理はステップＳ１０７へ進む。

ステップＳ１０７において、演算部１００は、例えばユーザの操作に応じて操作部４１０が出力する操作信号に基づいて、静止画撮影をするか否かの判定を行う。ユーザの操作は、例えば、レリーズボタンの押下である。撮像装置制御処理は、静止画撮影をすると判定された場合はステップＳ１０８へ進む。ステップＳ１０８において、演算部１００は、静止画像の撮影動作を行い、静止画像の取得、画像処理、記録等を行う。ステップＳ１０７において静止画撮影をしないと判定された場合及びステップＳ１０８における静止画撮影の後、撮像装置制御処理はステップＳ１０９へ進む。

ステップＳ１０９において、演算部１００は、例えばユーザの操作に応じて操作部４１０が出力する操作信号に基づいて、動画撮影をするか否かの判定を行う。撮像装置制御処理は、動画撮影を開始すると判定された場合はステップＳ１１０へ進む。ステップＳ１１０において、演算部１００は、動画の撮影動作を行い、動画コマの取得、画像処理、圧縮、記録等を行う。Ｓ１０９において動画撮影を開始しないと判定された場合及びステップＳ１１０における動画撮影の後、撮像装置制御処理はステップＳ１０１へ戻る。

ステップＳ１２１において、演算部１００は、何れの静止画像又は動画を再生するのか、例えばユーザの操作に応じて操作部４１０が出力する操作信号に基づき決定する。このとき、演算部１００は、例えば記録部３２０に記録されている静止画像又は動画のリストを表示部４２０に表示させる。ステップＳ１２２において、演算部１００は、例えば静止画像をスライドショーとして再生する等、何れの再生方法によって再生するのか、ユーザの操作に基づき決定する。ステップＳ１２３において、演算部１００は、選択された動画又は静止画像の再生を、選択された再生方法で開始する。

ステップＳ１２４において、演算部１００は、再生を終了するか否かの判定を行う。この判定において、演算部１００は、例えば、操作部４１０がユーザの操作を検知しなかった場合、操作部４１０がユーザの操作を検知したが再生終了に係る操作ではない場合は再生を終了しないと判定し、操作部４１０がユーザの再生終了に係る操作を検知した場合等は終了すると判定する。撮像装置制御処理は、終了すると判定された場合は再生を終了してステップＳ１０１に戻り、終了しないと判定された場合はステップＳ１２５へ進む。

ステップＳ１２５において、演算部１００は、再生方法を切り替えるかの判定を行う。この判定において、演算部１００は、例えば、操作部４１０がユーザの操作を検知しなかった場合、操作部４１０がユーザの操作を検知したが再生方法の切り替えに係る操作ではない場合は再生方法の切り替えをしないと判定し、操作部４１０がユーザの再生方法の切り替えに係る操作を検知した場合等は再生方法の切り替えをすると判定する。撮像装置制御処理は、切り替えをすると判定された場合はステップＳ１２６へ進む。

ステップＳ１２６において、演算部１００は、ユーザの選択した再生方法を操作部４１０の出力を取得して判定し、当該再生方法によって再生を開始する。撮像装置制御処理は、ステップＳ１２５において再生方法の切り替えをしないと判定された場合及びステップＳ１２６において再生を開始した後にステップＳ１２４に戻り、ステップＳ１２４において再生を終了すると判定されるまで、ステップＳ１２４乃至ステップＳ１２６の処理を繰り返す。

なお、撮像装置１は、上述の撮像装置制御処理に係る各々の処理におけるユーザの操作のために、例えば、撮影モードと再生モードの選択又は切り替え、連写動画撮影開始、静止画撮影、動画撮影、再生方法の選択、再生開始、再生中断、再生終了、再生方法の切り替え等の各々の操作に対応した操作箇所をそれぞれに設けていてもよい。

なお、動画コマＦｍは、被写体輝度に基づいて決定されるＴｓｍ及びＴｓｓの値によっては、動画取得用の撮像で得られた画像と静止画コマＦｓとの合成によって生成されなくてもよい。この場合は、例えば静止画像取得用の撮像（第１の露光時間での撮像）と共に行われる動画取得用の撮像（第２の露光時間での撮像）における露光時間は、例えば動画コマＦｍ取得用の露光時間に相当する。また、動画取得用の撮像で得られた画像のみに基づいて動画コマＦｍが生成され、動画が生成される。このとき、所定タイミング毎に使用される露光時間は、第１の露光時間と第２の露光時間との和に等しい。

また、ユーザの激しい操作が連写動画撮影を開始するトリガであるとして説明したが、連写動画撮影は、例えば録画ボタンの押下によって開始されてもよい。本実施形態に係る撮像装置１は、とっさの場合に限らず、動きが速い被写体を撮影したい場合、運動会、結婚式等の動画と静止画像との両方を撮影したい場合等でも有効である。

本実施形態に係る撮像装置１は、動画コマＦｍ取得用シャッタースピードＴｓｍを連写動画撮影中に変更せずに撮像を行うとする場合について説明したが、これに限定されない。連写動画撮影処理のステップＳ２０３乃至ステップＳ２０９の繰り返し処理は、ステップＳ２０２を含んで行われてもよい。このときコマ分割部１１１は、被写体又は画角の全体の露出に合わせてＴｓｍを更新し、更新されたＴｓｍに合わせてＴｓｓ及びＴｓｃを更新してもよい。

本実施形態に係る撮像装置１は、Ｔｆ毎に２回の撮像を行って連写コマを取得するとした場合について説明したが、これに限定されない。撮像装置１は、静止画像又は動画の生成に足る露出が得られる範囲であれば、各々の撮像に係る露光時間を短くして、Ｔｆの間に何回の撮像を行ってもよい。

＜第１の実施形態に係る撮像装置の利点＞
本実施形態に係る撮像装置１の備えるコマ分割部１１１は、連写動画撮影における１フレーム毎に再生又は鑑賞に適する静止画像を取得できる。また、コマ分割部１１１は、連写動画撮影における１フレーム毎に動画取得用の撮像で生成される補完コマＦｃをさらに取得する。すなわち、撮像装置１は、静止画像の生成に適した静止画コマＦｓと、当該静止画コマＦｓと合成されて動画の生成に適した動画コマＦｍとなる補完コマＦｃとを、連続して取得することで、再生又は鑑賞に適する静止画像と動画とを同時に取得できる。

このように、ユーザは、本実施形態に係る撮像装置１を用いることで、例えば急に撮りたい被写体を発見したとき等、撮影の機会を逃すことなく、動画のみならず再生又は鑑賞に適する画質の静止画像を取得できる。また、本実施形態に係る撮像装置１はユーザの激しい操作を検出したか否か（特定の撮影状況であるか否か）を判定した結果に応じて連写動画撮影を開始するため、とっさに撮影したいという状況であっても、ユーザは撮像装置１を注目被写体へ向けるだけでよく、他の操作は必要ない。さらに、本実施形態に係る撮像装置１は、とっさに撮影したい場合に限らずユーザが静止画像と動画とを両方取得しておきたいとき（特定の撮影状況）にも使用できる。

一方で、特定の撮影状況ではないと判定された場合等には、当該連写動画撮影は行われない。このようなとき、撮像装置１は、図３を参照して説明したような分割露光による連写動画撮影を実行する必要がないため、ゲインＵＰ等に係る複雑な制御、メモリの確保等の設定変更をしなくてもよいことになる。すなわち、撮像装置１は、分割露光を伴う連写動画撮影を行わない場合には、不要な処理をする必要がなく、撮像装置１の動作に係る処理をより高速に行えるようになる。このように、本実施形態に係る撮像装置１は、分割露光をするか否かを選択できる。したがって、ユーザは、本実施形態に係る撮像装置１を使用すれば、連写動画撮影が不要なときには、撮像装置１の動作に係る処理を高速に行わせることができる。

［第２の実施形態］
本発明における第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第１の実施形態では、コマ分割部１１１は、Ｔｓｓを被写体輝度に基づいて撮像前に１つに決定していた。これに対して、本実施形態では、ＡＥブラケットを使用して、所定タイミング、すなわちＴｆ毎に複数のＴｓｓを用いて撮像を行う。判定部１２０は、連写動画撮影の特定のフレームにおいて異なるＴｓｓで撮像して取得された複数の静止画コマＦｓを評価し、これに基づいてそれ以後のフレームにおける適切なＴｓｓを決定してもよい。

第２の実施形態に係る連写動画撮影処理における各々の画像と露光時間との関係の一例を図６にタイミングチャートとして示し、これを参照して説明する。コマ分割部１１１は、Ｔｓｍの決定後、例えば、第１の静止画コマＦｓ１取得用のシャッタースピードと第２の静止画コマＦｓ２取得用のシャッタースピードと第３の静止画コマＦｓ３取得用のシャッタースピードとを設定する。以下、第１の静止画コマＦｓ１取得用のシャッタースピードをＴｓｓ１と、第２の静止画コマＦｓ２取得用のシャッタースピードをＴｓｓ２と、第３の静止画コマＦｓ３取得用のシャッタースピードをＴｓｓ３と記載する。

コマ分割部１１１は、第１の補完コマＦｃ１取得用のシャッタースピードをＴｓｍとＴｓｓ１との差分として算出して設定する。同様にして、コマ分割部１１１は、第２の補完コマＦｃ２取得用のシャッタースピードをＴｓｍとＴｓｓ２との差分、第３の補完コマＦｃ３取得用のシャッタースピードをＴｓｍとＴｓｓ３との差分として、それぞれ算出して設定する。以下、第１の補完コマＦｃ１取得用のシャッタースピードをＴｓｃ１と、第２の補完コマＦｃ２取得用のシャッタースピードをＴｓｃ２と、第３の補完コマＦｃ３取得用のシャッタースピードをＴｓｃ３と記載する。

撮影制御部１１０は、例えば、第１のフレームにおいて、Ｔｓｓ１とＴｓｃ１とを用いて撮像部２００に、第１の静止画コマＦｓ１と第１の補完コマＦｃ１とを撮像させる。画像処理部１８０は、第１の静止画コマＦｓ１と第１の補完コマＦｃ１とを合成して第１の動画コマＦｍ１を生成し、また、第１の静止画コマＦｓ１に基づいて、第１の静止画像を生成する。その後、演算部１００は、第１の実施形態で上述した場合と同様にして、画像処理、記録等を行う。このとき、Ｆｓ記憶部３１１は、少なくとも第１の静止画コマＦｓ１又は生成した静止画像を記憶する。

同様にして、演算部１００は、第２のフレームにおいて、Ｔｓｓ２とＴｓｃ２とを用いて第２の静止画コマＦｓ２と第２の補完コマＦｃ２とを取得し、第２の動画コマＦｍ２と第２の静止画像とを生成し、画像処理及び記録等を行う。また、演算部１００は、第３のフレームにおいて、Ｔｓｓ３とＴｓｃ３とを用いて第３の静止画コマＦｓ３と第３の補完コマＦｃ３とを取得し、第３の動画コマＦｍ３と第３の静止画像とを生成し、画像処理及び記録等を行う。

このように、本実施形態に係るコマ分割部１１１は、複数の第１の露光時間（Ｔｓｓ）を設定し、所定タイミング（Ｔｆ）毎に異なる第１の露光時間を用いて撮像部２００に撮像をさせる。

判定部１２０は、このようにして得られた複数の静止画コマ又は複数の静止画像を評価し、Ｔｓｓ１とＴｓｓ２とＴｓｓ３とのうち何れのシャッタースピードが適するのかを判定してもよい。この判定の結果に基づいて、コマ分割部１１１は、以降のフレームにおけるＴｓｓを決定してもよい。なお、連写動画撮影の途中で被写体の露出が大きく変化した場合等、演算部１００は、上述のように新たにＴｓｓを設定し、撮像部２００に撮像させて得た静止画コマ又は静止画像を評価し、評価の結果に応じてＴｓｓを更新してもよい。また、判定部１２０は、上述のような判定をフレーム毎に行って適した露出の画像と判定した時点から当該画像を取得した露光時間で撮像させるようにしてもよいし、第４のフレーム以降もＡＥブラケットによって例えば３つの露光時間を繰り返し用いて撮像を行ってもよい。３つの露光時間を繰り返し用いて撮像を繰り返す場合、判定部１２０は、例えば撮影の終了後に上述の判定を行い、この判定の結果に基づいて被写体に適した露出の静止画コマを抽出してもよい。また、第１の静止画コマＦｓ１、第２の静止画コマＦｓ２、第３の静止画コマＦｓ３のうちの少なくとも２つをＨＤＲ合成して静止画像を生成してもよい。

本実施形態に係る撮像装置１は、例えば、被写体輝度によっては、Ｔｆの間に第１の静止画コマＦｓ１と第２の静止画コマＦｓ２と第３の静止画コマＦｓ３とを取得して、これらを評価するようにしてもよい。

本実施形態に係る撮像装置１は、３種類の露出の状態に合わせて３つの互いに異なる露光時間で撮像するとした場合について説明したが、これに限定されない。撮像に使用する露光時間の数は、２つであっても、３つ以上の複数であってもよい。また、シャッタースピードではなく、複数の絞り値又はＩＳＯ感度を用いて露出を変化させても本実施形態に係る技術と同様の効果が得られる。

また、第１の実施形態及び本実施形態に係る技術は、例えば静止画像用の撮影においてのみ、フォーカスブラケットを用いてフレーム毎に異なるフォーカスの状態で撮影することも可能である。この場合、フォーカスを撮影前に厳密に被写体に合わせる必要がなく、とっさの撮影であっても被写体を適切に捉えることができる。なお、ＡＥブラケット及びフォーカスブラケットを組み合わせて使用して、連写動画撮影を実施することも可能である。

＜第２の実施形態に係る撮像装置の利点＞
本実施形態に係る撮像装置１は、複数の露出での撮像を行い、静止画コマＦｓと動画コマＦｍとを同時に取得でき、第１の実施形態で得られる利点に加えて以下のような利点を有する。本実施形態に係る撮像装置１は、複数の露出条件で静止画コマＦｓを取得することができる。撮像装置１は、複数の露出で取得された複数の静止画コマＦｓを評価して、静止画コマＦｓ取得用のシャッタースピードＴｓｓを決定又は更新することができる。そのため、本実施形態に係る撮像装置１は、撮影環境及び被写体の状況によらず、動画の露出は変化させずに、静止画像のみ異なった条件下で画像を取得できる。すなわち、本実施形態に係る撮像装置１を使用すれば、ユーザは、より適切な画質の静止画像と動画とを同時に取得できる。

［第３の実施形態］
本発明における第３の実施形態について説明する。ここでは、第１の実施形態又は第２の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第１の実施形態又は第２の実施形態に係る撮像装置１は、とっさの撮影時でも適切な画質の静止画像と動画とを同時に取得できる。一方で、これら静止画像と動画の中には、撮影者が被写体の動きに追随出来ていなかった場面がある等、鑑賞に用いる際には不要となる画像が少なからず存在する。

この場合、図２Ｃを参照して上述したように、被写体に適した構図を有している又は被写体を含んでいる画像だけを抜き出したり、被写体に適した構図を有する画像をトリミング加工等によって生成したりすればよい。ところが、上述した実施形態に係る撮像装置１は、動画の各々のフレーム毎に静止画像を生成することから、特に撮影時間が長い場合には、生成される大量の静止画像の全てをユーザが確認することは困難である。そこで本実施形態に係る技術は、連写動画撮影によって生成した静止画像のうち、上述のような静止画像を判定して選出したり、生成したりする。これによって、撮像装置１は、再生又は鑑賞に適した複数の静止画像と動画とを同時にユーザに提供できることになる。

ここで、本実施形態に係る撮像装置１の各部及び各部の動作について説明をする。判定部１２０は、静止画像が、再生又は鑑賞に適した画質又は構図を有するか否かの判定を行う。この判定は、例えば当該画像が、適切な露出であるか否か、被写体を含んでいるか否か、被写体を含んでいる場合には被写体に適した構図であるか否か等を判定する。

取捨選択部１４０は、判定部１２０の判定又はユーザの操作に応じた操作部４１０の出力に基づいて、記録する静止画像を取捨選択する。画像処理部１８０は、例えば判定部１２０が、適切な画質の画像であり、また、被写体を含んでいると判定した静止画像に対してトリミング加工等を施し、被写体に適した構図の静止画像を生成してもよい。

仮記録部３１０は、判定部１２０が再生又は鑑賞に適した画質又は構図を有すると判定した画像、取捨選択部１４０が取捨選択した画像、画像処理部１８０が生成した画像等を逐次、記憶する。すなわち、演算部１００の各部は、仮記録部３１０が記憶している画像に対して処理を行い、また、その結果を記憶させることになる。

なお、このような判定を経て取捨選択された後に、例えば時間的に連続している等、被写体の変化がない又は少ない場合には、取捨選択部１４０は、それらの画像間の取得された時間間隔によって静止画像をさらに取捨選択してもよい。これらの判定及び取捨選択の条件等は、記録部３２０に記録されている。

また、静止画像に対して上述の判定が行われると述べたが、これに限定されない。上述の判定、取捨選択等の処理は、静止画コマＦｓに対して行われてもよいし、動画コマＦｍに対して行われてもよい。例えば上述の判定が静止画コマＦｓに対して行われるとき、画像処理部１８０は、再生又は鑑賞に適した画質又は構図を有すると判定された静止画コマＦｓにのみ基づいて静止画像を生成するようにしてもよい。

本実施形態に係る撮像装置１は、第１の実施形態及び第２の実施形態で得られる利点に加えて、撮影後にユーザが取捨選択する手間なく、再生又は鑑賞に適した画質及び被写体に適した構図を有する画像のみから成る静止画像群を取得できるといった利点を有する。

［第４の実施形態］
本発明における第４の実施形態について説明する。ここでは、第１の実施形態、第２の実施形態又は第３の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。

例えば、上述の実施形態に係る撮像装置１が生成する静止画像は、１枚の静止画像として鑑賞してもよいが、複数の静止画像から成る撮影した動画のあらすじを示すような動画、すなわちタイムラプス動画として鑑賞してもよい。そこで本実施形態に係る撮像装置１は、生成した静止画像がタイムラプス動画に適するか否かをさらに判定し、適すると判定された画像から成る、連続性、ストーリー性を有するタイムラプス動画を生成する。

本実施形態における撮像装置制御処理は、ステップＳ１１０において、動画撮影処理に替えて又は加えて連写動画撮影処理及びタイムラプス動画生成処理を行う。第４の実施形態に係るタイムラプス動画生成処理を伴う連写動画撮影処理の一例を図７にフローチャートとして示し、これを参照してタイムラプス動画生成処理について説明する。なお、本実施形態に係る各々の判定処理における判定条件と閾値とは、それぞれ条件部３３０に予め記録されている。また、閾値はユーザが設定できるようにしてもよい。

ステップＳ３０１において、演算部１００は、図５を参照して上述した第１の実施形態に係る連写動画撮影処理におけるステップＳ２０１と同様にして、タイムラプス動画生成処理を伴う連写動画撮影処理が開始される旨を表示する。

ステップＳ３０２乃至ステップＳ３０８において、演算部１００は、第１の実施形態に係る連写動画撮影処理におけるステップＳ２０３乃至ステップＳ２０８と同様の処理を行う。すなわち、演算部１００は、静止画コマＦｓと補完コマＦｃとを取得し、動画コマＦｍを生成して仮記録し、静止画像と動画とを生成して画像処理を施して記録する。

なお、本実施形態に係る連写動画撮影処理では、ステップＳ３０５において、演算部１００は、静止画コマＦｓ取得時のセンサ部５１０及び時計部５２０の出力を取得して仮記録部３１０へ記憶させる処理をさらに行う。ここで記憶されるセンサ部５１０及び時計部５２０の出力は、詳細は後述するが、生成される静止画像がタイムラプス動画を構成する画像として適するか否かの判定に用いられる。また、ステップＳ３０８において、演算部１００は、生成した静止画像を仮記録部３１０へ記憶させる処理をさらに行う。以下、ここで仮記録される静止画像の集合を第１の画像群と称する。

ステップＳ３０９において、演算部１００は、後述するタイムラプス動画生成処理を行い、タイムラプス動画を構成する画像の候補、すなわちタイムラプス候補コマを選択し、記録する。ステップＳ３１０において、演算部１００は、撮影を終了するか否かを、例えばユーザの操作に応じた操作部４１０の出力に基づき判定する。連写動画撮影処理は、終了しないと判定された場合はステップＳ３０２へ戻り、ステップＳ３０２乃至ステップＳ３１０の処理をステップＳ３１０で終了すると判定されるまで繰り返す。連写動画撮影処理は、ステップＳ３１０において終了すると判定された場合はステップＳ３１１へ進む。

ステップＳ３１１において、演算部１００は、仮記録部３１０が記憶しているタイムラプス候補コマに基づいてタイムラプス動画を生成する。また、演算部１００は、生成した動画及びタイムラプス動画に対して必要に応じて圧縮処理を施し、これらを記録部３２０へ記録する。記録の後、連写動画撮影処理は終了して撮像装置制御処理のステップＳ１０１へ進む。

ここで、図８に第３の実施形態に係るタイムラプス動画生成処理の一例をフローチャートとして示し、これを参照してステップＳ３０９におけるタイムラプス動画生成処理について説明する。

ステップＳ４０１において、演算部１００は、タイムラプス動画生成処理に係る事前処理を行う。演算部１００は、仮記録部３１０の記憶している第１の画像群から静止画像を取得し、当該画像の有する画像特徴を検出して仮記録部３１０へ記憶させ、当該画像を表示部４２０に表示させる。ここで検出される画像特徴は、例えば人物の顔、ペット、鳥、特徴的な風景の一部、輝度等を含む。

ステップＳ４０２において、演算部１００は、当該画像について、ユーザがタイムラプス動画を構成する画像の候補、すなわちタイムラプス候補コマとして選択したか否かを、例えばユーザの操作に応じた操作部４１０の出力に基づいて判定する。タイムラプス動画生成処理は、手動選択したと判定された場合はステップＳ４１０へ進み、していないと判定された場合はステップＳ４０３へ進む。また、本ステップにおいて、ユーザは当該画像をタイムラプス候補コマとして選出しないように手動選択することもできる。

ステップＳ４０３において、演算部１００は、画像の特徴に基づく判定処理を行う。以下、動画コマの特徴に基づく判定処理を第１の判定処理と、第１の判定処理の含む各々の判定条件を第１の判定条件と称する。第１の判定処理及び第１の判定条件の詳細は後述する。ステップＳ４０４において、判定部１２０は、第１の判定処理の結果を評価する。タイムラプス動画生成処理は、当該画像が第１の判定条件を満たすと判定された場合はステップＳ４０９へ進み、満たさないと判定された場合はステップＳ４０５へ進む。

ステップＳ４０５において、演算部１００は、仮記録部３１０が記憶している画像を分析した結果に基づき、既記録の画像との関係から当該画像がタイムラプス動画を構成する画像として適するか否かの判定処理を行う。以下、本判定処理を第２の判定処理と、第２の判定処理の含む各々の判定条件を第２の判定条件と称する。第２の判定処理及び第２の判定条件の詳細は後述する。ステップＳ４０６において、判定部１２０は、第２の判定処理の結果を評価する。タイムラプス動画生成処理は、当該画像が適すると判定された場合はステップＳ４０９へ進み、適さないと判定された場合はステップＳ４０７へ進む。

ステップＳ４０７において、演算部１００は、仮記録部３１０が記憶している画像を分析した結果に基づき、当該画像との関係から既記録の画像がタイムラプス動画を構成する画像として適するか否かの判定処理を行う。以下、本判定処理を第３の判定処理と、第３の判定処理の含む各々の判定条件を第３の判定条件と称する。第３の判定処理及び第３の判定条件の詳細は後述する。ステップＳ４０８において、判定部１２０は、第３の判定処理の結果を評価する。タイムラプス動画生成処理は、既記録の画像が適すると判定された場合はステップＳ４０９へ進み、適さないと判定された場合は終了し、連写動画撮影処理のステップＳ３１０へ進む。

ステップＳ４０９において、取捨選択部１４０は、選択されたタイムラプス候補コマと時間的に連続して類似した画像が既にタイムラプス候補コマの中にある場合、第４の判定条件に従ってタイムラプス動画により適した画像を選択する。なお、本ステップは、ステップＳ４０２において手動選択したと判定された後に行われてもよい。第４の判定条件に基づく判定処理は、タイムラプス候補コマ間の時間間隔に基づいて選択してもよいし、第１乃至第３の判定処理における各条件への合致度をそれぞれ得点化し、各々のタイムラプス候補コマの有する得点に基づいて選択してもよい。また、このような取捨選択は、ユーザによる手動選択によって行われてもよい。

ステップＳ４１０において、演算部１００は、選択されたタイムラプス候補コマを仮記録部３１０へ記憶させ、表示部４２０に表示させる。ここで、画像処理部１８０は、各々のタイムラプス候補コマに対して、タイムラプス動画に適した画像処理を行う。その後、タイムラプス動画生成処理は終了し、連写動画撮影処理のステップＳ３１０へ進む。

連写動画撮影処理のステップＳ３０７及びステップＳ３０８において、動画には動画コマＦｍ間の滑らかな遷移を重視した処理が、静止画像には静止画像に適した処理がそれぞれ施される。本実施形態に係るタイムラプス動画生成処理では連写動画撮影処理で生成された静止画像に基づいてタイムラプス動画が生成されるため、各々のタイムラプス候補コマは、静止画像に適した特徴を有している。そのため、タイムラプス動画を構成する画像、すなわちタイムラプス動画コマには、動画コマ間の状況推移や変化を強調した画像処理を行うようにしてもよい。ここで行われる画像処理は、例えば、コントラストを上げ、階調表現は静止画的になめらかにするような処理である。演算部１００は、必要に応じて画像処理でタイムラプス動画コマ間のつながりを滑らかにする処理を行ってもよい。なお、このような画像処理は、連写動画撮影処理のステップＳ３１１におけるタイムラプス動画の記録時に行ってもよい。

ここで、第４の実施形態に係る画像の特徴に基づく判定処理の一例をフローチャートとして図９に示し、これを参照して第１の判定処理について説明する。判定部１２０は、当該画像について、ステップＳ５０１において特定特徴画像部を有するか否かを、ステップＳ５０２において傾きが所定値未満か否かを、ステップＳ５０３において合焦かつ適正露出であるか否か、ステップＳ５０４において被写体のポーズが良好であるか否かを判定する。第１の判定処理は、当該画像がステップＳ５０１乃至ステップＳ５０４の全てを満たすと判定された場合はステップＳ５０５へ進む。ステップＳ５０５において、演算部１００は、当該画像をタイムラプス候補コマとして選択し、仮記録部３１０に記憶させる。その後、第１の判定処理は終了する。

当該画像がステップＳ５０１乃至ステップＳ５０４の何れかを満たさないと判定された場合、第１の判定処理は終了してタイムラプス動画生成処理におけるステップＳ４０４へ進む。すなわち、このとき当該画像はタイムラプス候補コマとして選択されない。

特定特徴画像部は、ステップＳ４０１で仮記録された画像特徴に加えて、風景における特徴、例えば、山及び川等の自然物、並びに扉、壁及び建造物等の人工物をさらに含んでもよい。画像の傾きは、当該動画コマの有する特徴部を基準として画像処理によって検出してもよいし、センサ部５１０の出力によって検出してもよい。合焦かつ適正露出であるか否かの判定は、ぼけが少ないか否か、露出の白飛び及び黒潰れ等が無いか否かの判定と表現してもよい。ポーズが判定される被写体は、例えば人物、ペット、鳥等である。ポーズが良好か否かの判定は、例えば、基準となるポーズ、顔と手等の間隔等に係る閾値等が事前に登録されており、これらと比較して行われてもよい。

ここで、第４の実施形態に係る現在の画像が適するか否かの判定処理の一例をフローチャートとして図１０に示し、これを参照して第２の判定処理について説明する。判定部１２０は、ステップＳ６０１において仮記録部３１０が記憶している既記録の画像を分析した後、ステップＳ６０２乃至ステップＳ６０５において分析結果に基づき既記録の画像と現在の画像との関係を評価して、現在の画像がタイムラプス候補コマに適するか否かを判定する。

判定部１２０は、既記録の画像と現在の画像との間に、ステップＳ６０２において風景等の特徴画像部が移動しているか否かを、ステップＳ６０３において風景等の特徴画像部が大きく変化しているか否かを、ステップＳ６０４において特定操作によってセンサ部５１０の出力値が変化したか否かを、ステップＳ６０５において人物のポーズ又は表情の変化があるか否かを判定する。第２の判定処理は、現在の画像がステップＳ６０２乃至ステップＳ６０５の何れかの条件を満たすと判定された場合はステップＳ６０６へ進む。ステップＳ６０６において、演算部１００は、当該画像をタイムラプス候補コマとして選択し、仮記録部３１０に記憶させる。その後、第２の判定処理は終了する。

現在の画像がステップＳ６０２乃至ステップＳ６０５のうち何れの条件も満たさないと判定された場合、第２の判定処理は終了してタイムラプス動画生成処理におけるステップＳ４０６へ進む。このとき、当該画像はタイムラプス候補コマとして選択されない。

ステップＳ６０１において分析される既記録の画像は、既に選択されたタイムラプス候補コマであっても、第１の画像群に含まれる画像であってもよい。また、判定部１２０は、既記録の画像の全てを分析してもよいし、一部の画像のみ分析してもよい。分析する対象となる既記録の画像は、例えば取得時刻の範囲によって決めてもよいし、現在の画像との間の相関によって決めてもよい。なお、演算部１００は、ここでの分析結果を仮記録部３１０へ記憶させ、次回の第２の判定処理の際に用いてもよい。

風景等の特徴画像部の移動は、例えば、被写体の移動、撮像装置１の移動等に基づく。風景等の特徴画像部の大きな変化は、撮像装置１又は特徴の移動の有無を問わず、例えばその大きさ、色彩等の特徴の経時変化であり、例えば、花火が打ちあがったときであったり、鳥が急に飛び立ったときであったりする。特定操作は、撮像装置１の撮影方向が変化した、撮像装置１が加減速した、撮像装置１が屋内から外へ又はその逆の移動をした等を含む。例えば、撮像装置１が回転し、撮影する方向を変化させた場合、ジャイロセンサの出力値が変化する。また、撮像装置１が加減速した場合、加速度センサの出力値が変化する。判定部１２０は、屋内外の移動があっても、例えば、輝度センサを用いて周囲の光が自然光か否かを検出すること又は位置センサ及び地図情報を用いて移動を検知することができる。人物のポーズ又は表情の変化は、例えば、人物が振り返ったとき、手を挙げたりしたとき、人物が泣き出したとき、笑い出したとき、怒り出したとき等の変化である。

このように、画像又はセンサ出力値に変化があった場合には起因となる出来事があったはずであるから、判定部１２０は、その変化を検出して現在の画像、すなわち変化後の画像をタイムラプス候補コマに適すると判定する。

ここで、第４の実施形態に係る既記録の画像が適するか否かの判定処理の一例をフローチャートとして図１１に示し、これを参照して第３の判定処理について説明する。判定部１２０は、ステップＳ７０１において仮記録部３１０が記憶している既記録の画像を分析した後、ステップＳ７０２乃至ステップＳ７０５において分析結果に基づき既記録の画像と現在の画像との関係を評価して、既記録の画像がタイムラプス候補コマに適するか否かを判定する。

判定部１２０は、既記録の画像と現在の画像との間に、ステップＳ７０２において画像が特定の規則で変化した後に安定したか否かを、ステップＳ７０３において扉が左右又は上下、前後に開閉したか否かを、ステップＳ７０４においてセンサ部５１０の出力値が変化した後であるか否かを、ステップＳ７０５において人物のポーズ又は表情が変化した後であるか否かを判定する。第３の判定処理は、既記録の画像がステップＳ７０２乃至ステップＳ７０５の何れかの条件を満たすと判定された場合はステップＳ７０６へ進む。ステップＳ７０６において、演算部１００は、当該画像をタイムラプス候補コマとして選択し、仮記録部３１０に記憶させる。その後、第３の判定処理は終了する。

既記録の画像がステップＳ７０２乃至ステップＳ７０５のうち何れの条件も満たさないと判定された場合、第３の判定処理は終了してタイムラプス動画生成処理におけるステップＳ４０８へ進む。このとき、当該画像はタイムラプス候補コマとして選択されない。

ステップＳ７０１における既記録の画像の分析は、ステップＳ６０１と同様である。なお、ここで仮記録部３１０が記憶しているステップＳ６０１における分析結果を引用してもよい。ステップＳ７０２における判定は、例えば、飛んでいた鳥が木にとまった場合、これまで歩いていた後に止まった場合、日が暮れる時等徐々に暗くなった後に明るさの変化が止まった場合等である。ステップＳ７０３における判定は、例えば建物への出入り又はエレベータへの乗り降り等があったか否かを判定し、扉の存在によってタイムラプス動画の連続性、ストーリー性が保たれなくなることを防ぐものである。なお、ステップＳ７０３における判定は、例えば第２の判定処理のステップＳ６０３における判定を満たすような変化の後であるか否かを判定するものであってもよい。

このように、画像又はセンサ出力値に変化があった場合には起因となる出来事があったはずであるから、判定部１２０は、その変化を検出して既記録の画像、すなわち変化前の画像をタイムラプス候補コマに適すると判定する。これにより、撮像装置１は、第２の判定処理と合わせて、変化した前後の画像をタイムラプス候補コマとして取得し、例えば人物が泣いた場面であれば泣く理由となった原因が明らかな、ストーリー性のあるタイムラプス動画を生成できる。

なお、第１の判定処理において、演算部１００は、当該画像が全ての条件を満たした場合にタイムラプス候補コマとして選択すると説明したが、例えば当該画像に対して各々の条件についてタイムラプス動画に対する適合度の指数のような得点を与え、その獲得点数に基づく判定を行ってもよい。同様に、演算部１００は、第２の判定処理において現在の画像がステップＳ６０２乃至ステップＳ６０５のうち何れか１つの条件を、第３の判定処理において既記録の画像がステップＳ７０２乃至ステップＳ７０５のうち何れか１つの条件を満たした場合にタイムラプス候補コマとして選択すると説明したが、それぞれの画像の各々の判定条件への適合度に基づいて判定を行ってもよい。

上述の第１の判定処理又は第２の判定処理において、条件を満たす画像がなく、タイムラプス候補コマが取得されない時間が続くと、生成されるタイムラプス動画で状況変化が追えなくなる可能性がある。判定部１２０は、例えば、取得した画像に特徴的な変化がない場合でも、任意の間隔設定に基づき、画像をタイムラプス候補コマとして選択するようにしてもよい。また、第３の実施形態で上述したように、画像処理部１８０は、トリミング加工等を施して被写体に適した構図の画像を生成し、当該画像についてタイムラプス動画に適するか否かを判定するようにしてもよい。さらに、例えば、各々の画像について、どの程度タイムラプス候補コマにふさわしいかを数値化して、特定の時間間隔の中で、最も得点の高いものをタイムラプス候補コマとして選んだりするような方法が考えられる。このようにして選択されたタイムラプス候補コマも、その後、時間的に連続した類似コマが現れれば第４の判定条件によって取捨選択されることになる。

また、撮像装置制御処理のステップＳ１２２における再生方法の選択では、静止画像と動画に加えてタイムラプス動画が選択可能である。さらに、タイムラプス動画は、タイムラプス動画生成処理の途中でも再生可能であってもよい。この場合ユーザは、例えば連写動画撮影の撮影中でも、随時その時点までに生成されたタイムラプス動画を確認でき、また、編集できる。

なお、撮像装置制御処理のステップＳ１０４における連写動画撮影処理の後又は既に第１の画像群が仮記録されている場合等は、演算部１００は、ステップＳ３０１乃至ステップＳ３０９の処理は行わなくてもよい。この場合、当該第１の画像群に含まれる静止画像に対して、順にタイムラプス動画生成処理が行われることになる。また、タイムラプス動画生成処理は、静止画コマＦｓに基づいて行われてもよいし、動画コマＦｍに基づいて行われてもよい。すなわち、第１の画像群は、静止画像と静止画コマＦｓと動画コマＦｍとの何れを含んでいてもよく、タイムラプス動画生成処理は、第１の画像群に含まれる何れの画像に対して判定及び取捨選択等を行ってもよい。

演算部１００は、タイムラプス動画を構成する画像、すなわちタイムラプス動画コマとして選択された各々の画像がタイムラプス動画にふさわしいか否かを判定する要素をさらに有していてもよく、また、判定結果に応じて、選択されたタイムラプス候補コマを変更するコマ変更部を有してもよい。

＜第４の実施形態に係る撮像装置の利点＞
本実施形態に係る撮像装置１は、第１の実施形態又は第２の実施形態で得られる利点に加えて、以下のような利点を有する。本実施形態に係る撮像装置１を使用すれば、ユーザは、撮りたい被写体が現れたときに撮影を開始し、撮影しながら動画に適した画像から成る動画と、静止画像に適した特徴を有する静止画像と、適切に被写体又はその変化を捉えて撮影した動画の概要を示すタイムラプス動画とを同時に生成できる。

［変形例］
（撮像装置１の構成に係る変形例）
撮像装置１は、外部操作機器部と通信部とをさらに有していてもよい。外部操作機器部は、例えば操作部４１０と同様の機能を有する外部操作部と、表示部４２０と同様の機能を有する外部表示部と、外部通信部とを有する。外部操作機器部は、例えばタブレット型パーソナルコンピュータ、スマートフォン、及び各種ウェアラブル端末等のような通信機能を有する端末であり、複数台用意されてもよいし、インターネット回線等を介して遠隔から通信部と通信を行うものであってもよい。

（撮像装置１の使用例に係る変形例）
上述した複数の実施形態に係る技術は、例えば、自動車及び自転車等の乗り物、ユーザの衣服やヘルメット等、缶サットや気球等の観測機器へ取り付けて使用するカメラ、監視カメラ等の定点観測用カメラ等にも適用できる。例えば被写体の検出や変化に伴って連写動画撮影処理が開始されるようにして撮像装置１が使用されれば、長時間に渡って記録された動画と、動画に変化があったときに記録された適切な画質の静止画像とを簡易に、また同時に取得することができる。

また、本技術は、特定の撮影状況で動画的な描写と静止画的な描写とを混在させることができる。そのため、本技術の下では、見栄えがよい、観察しやすい、応答性のよい連続画像と、動きがしっかり止まった、証拠となり得る、エビデンス画像とが両立する。したがって、例えば内視鏡、カプセル型の内視鏡に本技術が用いられて、動画的なレスポンスで視認性、観察特性を向上させながら、画像を止めた時には隅々まで検査に耐える画像を得られるようにしてもよいし、学術用、工業用、又は臨床用等の各種観察装置及び分析装置等に用いられてもよい。例えば、細胞の分裂やウイルス抗体の生成等細胞レベルの生体活動、あるいは蝶の孵化や羽化等個体レベルの生物の成長や生態の経過確認には、長い時間を経て特定の結果が得られるもの、いつ現象又は変化が発生するか不明なものが多い。また、例えば発生頻度の低い現象等、動画と静止画とを同時に取得したい場合がある。したがって、本実施形態に係る技術によって成される、現象又は変化が生じた場面を適切な画質の静止画像と動画との両方で記録することは、趣味のためであっても、研究、教育のためであっても需要がある。撮影状況は、画像やシーンで判定されてもよいが、特定の操作や生体情報から、ユーザのこだわりを加味して判定されてもよい。特定の撮影状況としては、動きが速い被写体に対応する場合、咄嗟の撮影の場合の他、不安定なセッティング等で撮影が行われる場合を含めてもよい。また、本技術は、単純に短時間露光と長時間露光とを混在させたりするだけでなく、照明光を連動させて露出量を適正にするような補助制御を行っても良い。

さらに、本技術によって成される適切な画質、構図等を有する静止画像から成るタイムラプス動画の取得もまた、需要がある。本技術は、例えば上述のような状況において、被写体の様子を概観できるタイムラプス動画が容易に生成できる。このようなタイムラプス動画は、例えば研究成果の表現の一例としてプレゼンテーション等において使用することもできる。

なお、フローチャートで示した各々の処理及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、記録部３２０に記録された各々のプログラムによって実行される。各々のプログラムは、予め撮像装置１の内部に記録されていても、別の記録媒体に記録されていてもよい。これら撮像装置１又は別の記録媒体への記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。

１…撮像装置、１００…演算部、１１０…撮影制御部、１１１…コマ分割部、１２０…判定部、１３０…圧縮制御部、１４０…取捨選択部、１５０…記録制御部、１６０…リサイズ部、１７０…表示制御部、２００…撮像部、３１０…仮記録部、３１１…Ｆｓ記憶部、３１２…Ｆｃ記憶部、３１３…Ｆｍ記憶部、３２０…記録部、３３０…条件部、４１０…操作部、４２０…表示部、５１０…センサ部、５２０…時計部、Ｆｓ…静止画コマ、Ｆｃ…補完コマ、Ｆｍ…動画コマ、Ｔｓｓ…静止画コマＦｓ取得用シャッタースピード、Ｔｓｃ…補完コマＦｃ取得用シャッタースピード、Ｔｓｍ…動画コマＦｍ取得用シャッタースピード。

Claims

所定タイミング毎に画像を生成する撮像部と、
特定の撮影状況であるか否かに応じて、前記撮像部で所定タイミング毎に使用される露光時間を静止画像取得用の第１の露光時間及び動画取得用の第２の露光時間を含む複数の露光時間に分割するコマ分割部と、
前記第１の露光時間での撮像で生成された画像に基づいて静止画像を生成し、前記第２の露光時間での撮像で生成された画像を用いて動画を構成する動画コマを生成する画像処理部と
を備える、撮像装置。
前記画像処理部は、前記第１の露光時間での撮像で生成された画像と前記第２の露光時間での撮像で生成された画像とを合成して前記動画コマを生成する、請求項１に記載の撮像装置。
前記第２の露光時間は、動画コマ取得用の露光時間と前記第１の露光時間との差分である、請求項２に記載の撮像装置。
前記画像処理部は、前記静止画像と前記動画コマとに対してそれぞれ異なる画像処理を施す、請求項１乃至３の何れか１項に記載の撮像装置。
前記撮像装置の筐体の動きを検知するセンサ部と、
前記センサ部の出力に基づいて前記複数の露光時間を用いた撮像を開始させる演算部と
をさらに備える、請求項１乃至３の何れか１項に記載の撮像装置。
前記コマ分割部は、複数の前記第１の露光時間を設定し、前記所定タイミング毎に異なる前記第１の露光時間を用いて前記撮像部に撮像をさせる、請求項１乃至３の何れか１項に記載の撮像装置。
前記コマ分割部は、前記第１の露光時間は注目被写体に適した露光時間とし、動画コマ取得用の露光時間は画角の全体に適した露光時間とする、請求項１乃至３の何れか１項に記載の撮像装置。
前記静止画像内に注目被写体があるか否かを判定し、前記注目被写体を検出したときに前記静止画像が前記注目被写体に適した構図を有するか否かをさらに判定する判定部と、
前記判定部の判定結果に基づいて記録される前記静止画像を取捨選択する取捨選択部と
をさらに備える、請求項１乃至３の何れか１項に記載の撮像装置。
前記静止画像内に注目被写体があるか否かを判定し、前記注目被写体を検出したときに前記静止画像が前記注目被写体に適した構図を有するか否かをさらに判定する判定部をさらに備え、
前記画像処理部は、前記注目被写体に適した構図を有していないと判定された前記静止画像の一部を切り出して、前記注目被写体に適した構図を有する静止画像を生成する、請求項１乃至３の何れか１項に記載の撮像装置。
前記複数の露光時間での撮像で生成された画像についてタイムラプス動画に適するか否かを判定する判定部と、
適すると判定された前記画像から成るタイムラプス動画を生成する演算部とをさらに備える、
請求項１乃至３の何れか１項に記載の撮像装置。