JP2019022026A

JP2019022026A - 撮像装置

Info

Publication number: JP2019022026A
Application number: JP2017137506A
Authority: JP
Inventors: 松山　一郎; Ichiro Matsuyama; 一郎松山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-07-14
Filing date: 2017-07-14
Publication date: 2019-02-07

Abstract

【課題】より自由にアングルやズームを変えた動画撮影や微速度撮影が可能な撮像装置を提供する。【解決手段】撮像装置１００は、撮影されたフレーム毎に画像から指定された領域を切り出す画像処理手段と、撮影手段の画角の変化を検出する動き検出手段とを備える。画像処理手段の切り出し領域の位置又はサイズ又は形状を、予め設定された変化速度に応じて変化させ、撮影手段が撮影している画像と、画像処理手段が切り出している領域を、表示手段で表示させる。動き検出手段が、撮影手段の画角変化を検出したら、前フレームで画像処理手段が切り出した領域が現フレームのどの領域に移動したかを判定し、移動後の領域に合わせて、現フレームの切り出し領域を指定する。【選択図】図１

Description

本発明は、撮像装置に関する。

カメラ（撮像装置）を用いて動画撮影や微速度（タイムラプス）撮影を行う場合、撮影開始フレームから撮影終了フレームまでに複数の画像フレームが連続的、あるいは間欠的に撮影される。なお、微速度撮影とは例えば数分〜数日等、一定期間、所定間隔で静止画を撮影する処理である。微速度撮影はタイムラプス撮影とも呼ばれる。微速度撮影を行うと、時間経過に伴った間欠的な複数の静止画を撮影することができる。これらの静止画を連続再生することで、例えば雲や星の動きや、夜景、花の開花など、長期間の被写体の動きを短時間の動画として観察することが可能となる。

このような微速度撮影や動画撮影においては、複数の画像フレームを連続または間欠的に撮影することになる。

しかし、撮影開始時点から撮影終了時点まで、カメラアングルやズームを固定してしまうと、再生画像が単調で面白みのない画像となる場合がある。

そこで、設定された速度で少しずつ向きを変える自動雲台にカメラを乗せて撮影したり、１フレーム撮影する毎にカメラの向きや位置、ズーム倍率を変更するといった手法で、徐々にアングルやズームを変えて、より印象深い動画を撮影することがある。

プロの撮影者であれば、このような手間をかけた撮影を行うことも可能であるが、一般ユーザーにとっては、このような撮影を行うことは難しい。

先行文献１は、ユーザーからの設定内容に基づき、撮影画像の切り出し位置とサイズを徐々に変化させて、アングルやズームを変えた動画を撮影する方法を開示している。

特開２０１５−０３７２９２号公報

しかしながら、この方法では、カメラが撮影している範囲内でしかアングルを変更できない。また、ズーム倍率を上げる代わりに切り出しサイズを小さくしていくと、画像の解像度が粗くなってしまう。

そこで、本発明は、より自由にアングルやズーム倍率を変えた動画撮影や微速度撮影が可能な撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
予め設定されたフレームレートで連続又は間欠的に画像を撮影する撮影手段と、撮影されたフレーム毎に前記画像から指定された領域を切り出す画像処理手段と、切り出された画像を出力する出力手段と、前記撮影手段の画角の変化を検出する動き検出手段と、表示手段と、制御手段とを備え、前記制御手段は、前記画像処理手段の切り出し領域の位置又はサイズ又は形状を、予め設定された変化速度に応じて変化させ、前記撮影手段が撮影している画像と、前記画像処理手段が切り出している領域を、前記表示手段で表示させ、前記動き検出手段が前記撮影手段の画角変化を検出したら、前フレームで前記画像処理手段が切り出した領域が現フレームのどの領域に移動したかを判定し、移動後の領域に合わせて、現フレームの切り出し領域を指定することを特徴とする。

本発明に係る撮像装置によれば、より自由にアングルやズームを変えた動画撮影や微速度撮影が可能となる。

本発明による第１の実施例であるデジタルカメラの構成図デジタルカメラ１００の外観図タイムラプス撮影の設定用の表示画面右パンニング選択時のタイムラプス撮影時の表示画面と記録画像本体の向き変更時の操作と表示画面撮像センサの露光期間と読み出しシーケンスを示すタイミングチャートズームイン選択時のタイムラプス撮影時の表示画面と記録画像ズーム倍率変更時の操作と表示画面タイムラプス撮影時の制御フローチャート第２の実施例におけるシャッター速度の設定用の表示画面

以下、本発明を実施するための形態について、図面を参照しながら説明する。

本発明による第１の実施例であるタイムラプス撮影機能付きデジタルカメラの構成について図１を用いて説明する。

図１に示す１００はデジタルカメラ本体である。

１０１は制御マイコンで、内部バス１０２で接続された各ブロックの制御を行う。１０３はＦＬＡＳＨメモリコントローラで、制御マイコン１０１からの要求に基づき、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み書きを行う。制御マイコン１０１はＦＬＡＳＨメモリ１０４に格納されたプログラムを元に動作する。１０５はＤＲＡＭコントローラで、各ブロックからの要求に基づきＤＲＡＭ１０６に対するデータの読み書きを行う。制御マイコン１０１や各ブロックは、動作中の一時データなどをＤＲＡＭ１０６に格納して用いる。

１０７は操作部である。デジタルカメラの外装に設けられたシャッターボタンやズームレバー等で構成され、使用者のボタンやレバー操作を、制御マイコン１０１へ伝える。１０８はカメラ信号処理部である。制御マイコン１０１の指示に基づき撮像センサ１０９が撮影した画像信号を処理して、得られた画像データをＤＲＡＭ１０６に格納する。また、制御マイコンから指定された切り出し領域を画像データから切り出し、予め定められた記録サイズに縮小して、記録用画像データとしてＤＲＡＭ１０６に格納する。また、画像データを表示用に縮小して、ＤＲＡＭ１０６に設けた表示用フレームメモリに格納する。

１１０はレンズユニットである。レンズユニット１１０は、ズームレンズやフォーカシングレンズ、絞りにより構成され、制御マイコン１０１の指示に基づき、レンズ位置や絞りを調整する。レンズユニット１１０を介して受光した被写体からの光が撮像センサ１０９の受光面上に結像される。１１１は動き検出部である。カメラ信号処理部１０８から得た画像データと、ＤＲＡＭ１０６に格納された１フレーム前の画像データとを比較して、被写体の動きを検出し、それによってデジタルカメラ１００本体の動きを検出する。

１１２は角速度センサで、デジタルカメラ１００本体の動きを検出する。制御マイコン１０１は動き検出部１１１の検出結果と、角速度センサ１１２の検出結果を合わせて、高精度にデジタルカメラ１００本体の動きを検出する。１１３はメモリカードコントローラである。ＤＲＡＭ１０６に格納された記録用画像データをデジタルカメラ１００本体に接続されたメモリカード１５０に記録する。１１４はグラフィック描画部で、制御マイコン１０１の指示に基づき、使用者に通知する情報などを、ＤＲＡＭ１０６に確保した表示用フレームメモリに文字や図形として描画する。

１１５はＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）コントローラで、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読みだして、ＬＣＤタッチパネル１１６で表示する。１１７はタッチパネルコントローラで、ＬＣＤタッチパネル１１６に対する使用者のタッチ操作を検出し、制御マイコン１０１に伝える。

次に、図２でデジタルカメラ１００の外観について説明する。

図２（ａ）はデジタルカメラ１００を正面側から見た外観である。正面にレンズユニット１０９を備えていて、上面に操作部１０７を構成するシャッターボタン２０１と、ズームレバー２０２を備えている。

図２（ｂ）はデジタルカメラ１００を背面側から見た外観である。背面にタッチパネル１１６を備えている。

図２（ｃ）に示すように、ユーザー２００は平面上に置かれたデジタルカメラ１００本体の向きを変えることで、撮影する画角の方向を変更することができる。

また、図２（ｄ）に示すように、ユーザー２００はズームレバー２０２を操作することによって、レンズユニット１０９のズームレンズを駆動させて、撮影する画角のズーム倍率を変更することができる。

次に、図３でタイムラプス撮影の設定用の表示画面について説明する。

図３（ａ）はタイムラプス撮影の画角変化の種別を選択する画面である。タッチパネル１１６画面上に、右パンニング、左パンニング、ズームイン、ズームアウトを示す選択オブジェクト３０１乃至３０４がそれぞれ表示される。ユーザーは何れかの選択オブジェクトにタッチすることで、所望する画角変化の種別を選択することができる。３０９はキャンセルボタンで、ユーザーはこれにタッチすることで、タイムラプス撮影の設定を中断することができる。

図３（ｂ）は図３（ａ）で右パンニングが選択された後に、タイムラプス動画として記録する切り出し領域のサイズを調整する画面である。タッチパネル１１６画面には、撮像センサ１０９が撮影した画像データの画角全体が表示されていて、その上に撮影開始時の切り出し領域３１１と、切り出し位置が右方向にパンニングして画角全体の右端付近に移動したときの切り出し領域３１２が表示される。３１３と３１４は切り出し領域３１１のサイズを調整するための操作オブジェクトで、ユーザーが何れかのオブジェクトにタッチしたままスライドさせることで、左辺の位置と垂直方向の重心位置とアスペクト比を維持したまま、切り出しサイズを調整できる。切り出し領域３１１に連動して、切り出し領域３１２も右辺の位置を維持したまま、サイズが変化する。３０８は決定ボタンで、ユーザーはこれにタッチすることで、調整したサイズを確定する。キャンセルボタン３０９にタッチすると、図３（ａ）の選択画面に戻る。

図３（ｃ）は図３（ｂ）で切り出しサイズを調整した後に、切り出し位置が右方向にパンニングする速度を調整する画面である。撮影開始時の切り出し領域３２１が、右端付近の切り出し領域３２２まで移動する時間を、時間指定オブジェクト３２４、３２５、３２６により、それぞれ時間単位、分単位、秒単位で設定する。時間指定オブジェクトは、ユーザーが何れかのオブジェクトにタッチしたまま縦方向にスライドすることで、タッチしているオブジェクトの設定値を調整することができる。また、撮影したタイムラプス動画の再生速度を、再生速度指定オブジェクト３２７により何倍速とするか設定する。再生速度指定オブジェクトも、ユーザーがオブジェクトにタッチしたまま縦方向にスライドすることで、設定値を調整することができる。このように指定された再生速度からタイムラプス動画の撮影フレームレートが決定され、再生速度と切り出し領域の移動速度から、撮影中の画角内で撮影できるタイムラプス動画の再生時間が決定される。ここで記録されるタイムラプス動画の再生フレームレートを毎秒６０コマ（６０ｆｐｓ）とした場合、再生速度が１２０倍速であれば、撮影フレームレートは毎秒０．５コマ（０．５ｆｐｓ）となる。タッチパネル１１６画面の左上に表示される３２８は撮影フレームレート、３２９は再生時間である。決定ボタン３０８をタッチすると、調整した移動速度と再生速度が確定される。キャンセルボタン３０９にタッチすると、図３（ｂ）のサイズ調整画面に戻る。

図３（ｄ）は図３（ａ）でズームインが選択された後に、切り出しサイズが小さくなる速度を調整する画面である。撮影開始時の切り出し領域３３１が、等倍の切り出し領域３３２まで小さくなる時間を、時間指定オブジェクト３３４、３３５、３３６により、それぞれ時間単位、分単位、秒単位で設定する。ここで等倍とは、撮像センサ１０９が撮影してカメラ信号処理部１０８が処理した画像データの切り出し領域と、メモリカード１５０に記録する記録用画像データの画素数が等しいことを示す。本実施形態のデジタルカメラ１００においては、撮像センサ１０９の画素数が、記録用画像データの画素数に対して十分に大きいものとする。そのため、図３（ｂ）（ｃ）（ｄ）に示した切り出し領域３１１、３２１、３３１は、いずれも記録用画像データよりも画素数が多く、カメラ信号処理部１０８は切り出し領域を縮小して、記録用画像データを出力する。再生速度は、再生速度指定オブジェクト３３７により何倍速かを設定する。それらの設定内容から決定された撮影フレームレート３３８、再生時間３３９がタッチパネル１１６画面の左上に表示される。決定ボタン３０８をタッチすると、調整した移動速度と再生速度が確定される。キャンセルボタン３０９にタッチすると、図３（ａ）の選択画面に戻る。

なお、図３（ａ）で左パンニングが選択された場合の表示例は省略するが、図３（ｂ）（ｃ）に示した右パンニング選択時とほぼ同様である。また、図３（ａ）でズームアウトが選択された場合の表示例は省略するが、図３（ｄ）に示したズームイン選択時とほぼ同様である。但し、ズームインでは切り出し領域のサイズが画角全体から等倍に変化するのに対して、ズームアウトでは逆に等倍から開始して画角全体付近に変化する点が異なる。

次に、図４で右パンニング選択時のタイムラプス撮影時の表示画面と記録画像について説明する。

図４（ａ）および（ｂ）に示す４００は時間軸で、Ｓがタイムラプス撮影の開始点、Ｅが終了点を示す。それぞれの図で、Ｔ１乃至Ｔ５時点の表示画面を４０１乃至４０５、記録画像を４９１乃至４９５に示す。

Ｔ１時点の表示画面４０１には、記録中の切り出し領域４２１と、右端付近に移動した際の切り出し領域４２２が表示されている。左上には撮影フレームレート４１１、撮影中を示すアイコン４１２、撮影中のタイムラプス動画の再生時間４１３が表示される。アイコン４１２は撮像センサ１０９が記録に用いる画像を露光している期間と、それ以外の期間とで点滅を行う。露光期間の詳細については後述する。再生時間４１３は撮影開始Ｓから現時点Ｔ１までの時間を、再生速度の倍率で除した値である。右下に表示される４３１は、切り出し領域４２１が切り出し領域４２２に達するまでの時間である。

Ｔ２時点の表示画面４０２では、４０１に比べて切り出し領域４２１が右に移動している。また、時間の経過に応じて、再生時間４１３と移動の残り時間４３１の表示も更新されている。

Ｔ３時点の表示画面４０３でも、４０２に比べて切り出し領域４２１が右に移動し、再生時間４１３が更新されている。さらに、４０３では切り出し領域４２１が右端の切り出し領域４２２に接近しているため、移動の残り時間４３１の表示が強調され、ユーザーにデジタルカメラ１００の本体の向きを変えるように指示メッセージ４４１を表示している。ユーザーはこの指示メッセージに従い、デジタルカメラ１００本体の向きを変更して、以降の撮影を行ったものとする。

Ｔ４時点の表示画面４０４では、デジタルカメラ１００本体の向きが変わったため、撮像センサ１０９の撮影する被写体が４０３に対して変化している。被写体の動きに応じて変更した切り出し領域４２１と、右端付近に移動した際の切り出し領域４２２が表示されている。時間の経過に応じて、再生時間４１３が更新され、移動の残り時間４３１は切り出し枠４２１と４２２の間隔が空いたため、強調が解除される。また、ユーザーへの指示メッセージも解除されている。

Ｔ５時点の表示画面４０５では、４０４に比べて切り出し領域４２１が右に移動し、時間の経過に応じて、再生時間４１３と移動の残り時間４３１が更新されている。

次に、図５でデジタルカメラ１００本体の向き変更時の操作と表示画面について説明する。

図５（ａ）は向き変更前のデジタルカメラ１００本体の外観である。

図５（ｂ）に示す５０１は図５（ａ）の状態におけるタッチパネル１１６の表示画面である。図４に示したＴ３時点の表示画面４０３と同様に、切り出し領域４２１が右端の切り出し領域４２２に接近していて、ユーザーに本体の向きを変えるように指示メッセージ４４１を表示している。本図に示す時点において、撮像センサ１０９は記録に用いる画像を露光していない期間であって、点滅するアイコン４１２は中空の状態となっている。露光している期間に本体の向きを動かすと、撮像センサ１０９に結像される被写体像はブレてしまうが、露光していない期間に動かせば、ブレのない画像を撮影して記録することができる。

図５（ｃ）はユーザー２００がデジタルカメラ１００本体の向きを変更している最中の様子と、デジタルカメラ１００本体の外観である。

図５（ｄ）に示す５０２は図５（ｃ）の状態におけるタッチパネル１１６の表示画面である。ここでは、動き検出部１１１と角速度センサ１１２の検出結果によって、本体の向き変更が検出される。直前まで切り出し領域４２１に収まっていた被写体が、撮像センサ１０９の撮影する画角全体のどの部分に移動したかを検出結果から判定して、その位置に追従して切り出し領域４２１を移動している。本体の向き変更中は、移動の残り時間４３１は表示されない。

図５（ｅ）はユーザー２００がデジタルカメラ１００本体の向きを変更し終えた様子と、デジタルカメラ１００本体の外観である。

図５（ｆ）に示す５０３は図５（ｅ）の状態におけるタッチパネル１１６の表示画面である。本体の向き変更によって、切り出し領域４２１は収まっている被写体に追従して画面左端付近まで移動している。ここでは、動き検出部１１１と角速度センサ１１２の検出結果によって、本体の向きが停まったことを検出して、移動の残り時間４３１が再び表示される。

次に、図６のタイミングチャートを用いて、撮像センサ１０９の露光期間と読み出しシーケンスを説明する。

図６において横軸は時間軸、縦軸は撮像センサ１０９のライン位置を示す。ここでは撮像センサ１０９はローリングシャッター方式であって、ライン毎に露光開始と読み出しのタイミングが異なる。

Ｆ１は本図の範囲内で１枚目に読み出される記録用の画像フレームであって、左辺がライン毎の露光開始タイミングを、右辺を露光完了および読み出しタイミングを示している。即ち、Ｔ１００で先頭ライン０の露光が開始され、Ｔ１０１で最終ラインＬの露光が開始される。Ｔ１０２で先頭ライン０の露光が完了して読み出され、Ｔ１０３で最終ラインＬの露光が完了し読み出される。このため、Ｆ１の露光期間はＴ１００からＴ１０３の間となる。

同様に、Ｆ２、Ｆ３、Ｆ４は２枚目、３枚目、４枚目に読み出される記録用の画像フレームであって、それらの露光期間はＴ２００からＴ２０３、Ｔ３００からＴ３０３、Ｔ４００からＴ４０３の間となる。

表示画面上の点滅するアイコン４１２は、これらの露光期間と、それらの間の非露光期間を区別して点滅する。ユーザーはアイコン４１２の点滅を見て、非露光期間にデジタルカメラ１００本体の向きを変えることで、ブレのない画像を撮影して記録することができる。

Ｆ１１乃至Ｆ１８はＦ１とＦ２の撮影間に動き検出部１１１が本体の向き変更を検出するための、動き検出用の画像フレームであって、記録用の画像フレームの撮影の間に短い露光期間で複数枚撮影される。これらのフレームから被写体の動き検出を行うことにより、動き検出部１１１が本体の向き変更を検出する反応速度を確保することができる。

同様に、Ｆ２１乃至Ｆ２８、Ｆ３１乃至Ｆ３８は、それぞれＦ２とＦ３、Ｆ３とＦ４の撮影間に撮影される動き検出用画像フレームであって、これらにより、動き検出部１１１が各フレームの撮影間に本体の向き変更を検出することができる。

なお、本実施例においては、被写体の明るさをカメラ信号処理部１０８が判定し、制御マイコン１０１が本体の向き変更のために必要な非露光期間を確保した上で、記録用の画像フレームに対する露光期間の長さ、即ちシャッター速度を自動的に決定するものとする。例えば、ユーザーが本体の向き変更を行う時間を少なくとも１秒確保する場合、図に示した非露光期間Ｔ１０３からＴ２００を１秒以上とする必要がある。ここで撮影フレームレートが０．５ｆｐｓであった場合、撮影間隔Ｔ１００からＴ２００は２秒となる。また、撮像センサ１０９の読み出し期間Ｔ１０２からＴ１０３が１／６０秒であった場合、１ライン毎の露光期間Ｔ１００からＴ１０２は最大５９／６０秒となるので、その範囲内でシャッター速度を決定する。

次に、図７でズームイン選択時のタイムラプス撮影時の表示画面と記録画像について説明する。図７に示す７００は時間軸で、Ｓがタイムラプス撮影の開始点、Ｅが終了点を示す。それぞれの図で、Ｔ１乃至Ｔ５時点の表示画面を７０１乃至７０５、記録画像を７９１乃至７９５に示す。

Ｔ１時点の表示画面７０１には、記録中の切り出し領域７２１と、記録用画像データと等倍まで小さくなった際の切り出し領域７２２が表示されている。左上には撮影フレームレート７１１、撮影中を示すアイコン７１２、撮影中のタイムラプス動画の再生時間７１３が表示される。アイコン７１２は撮像センサ１０９が記録に用いる画像を露光している期間と、それ以外の期間とで点滅を行う。再生時間７１３は撮影開始Ｓから現時点Ｔ１までの時間を、再生速度の倍率で除した値である。右下に表示される７３１は、切り出し領域７２１のサイズが切り出し領域７２２のサイズまで変化する時間である。

Ｔ２時点の表示画面７０２では、７０１に比べて切り出し領域７２１が中心を基準として小さくなっている。また、時間の経過に応じて、再生時間７１３とサイズ変化の残り時間７３１の表示も更新されている。

Ｔ３時点の表示画面７０３でも、７０２に比べて切り出し領域７２１が小さくなり、再生時間７１３が更新されている。さらに、７０３では切り出し領域７２１が等倍の切り出し領域７２２に接近しているため、サイズ変化の残り時間７３１の表示が強調され、ユーザーにズーム倍率を変えるように指示メッセージ７４１を表示している。ユーザーはこの指示メッセージに従い、ズームレバー２０２を操作して、以降の撮影を行ったものとする。

Ｔ４時点の表示画面７０４では、ズーム倍率が変わったため、撮像センサ１０９の撮影する被写体が７０３に対して変化している。ズーム倍率に応じて変更した切り出し領域７２１と、等倍の切り出し領域７２２が表示されている。時間の経過に応じて、再生時間７１３が更新され、サイズ変化の残り時間７３１は切り出し枠７２１と７２２のサイズの差が大きくなったため、強調が解除される。また、ユーザーへの指示メッセージも解除されている。

Ｔ５時点の表示画面７０５では、７０４に比べて切り出し領域７２１が中心を基準に小さくなり、時間の経過に応じて、再生時間７１３とサイズ変化の残り時間７３１が更新されている。

次に、図８でズーム倍率変更時の操作と表示画面について説明する。

図８（ａ）はズーム倍率変更前のデジタルカメラ１００本体の外観である。

図８（ｂ）に示す８０１は図８（ａ）の状態におけるタッチパネル１１６の表示画面である。図７に示したＴ３時点の表示画面と同様に、切り出し領域７２１が等倍の切り出し領域７２２に接近していて、ユーザーにズーム倍率を変えるように指示メッセージ７４１を表示している。本図に示す時点において、撮像センサ１０９は記録に用いる画像を露光していない期間であって、点滅するアイコン７１２は中空の状態となっている。露光している期間にズーム倍率を変更すると、撮像センサ１０９に結像される被写体像はブレてしまうが、露光していない期間に変更すれば、ブレのない画像を撮影して記録することができる。

図８（ｃ）はユーザー２００がズームレバー２０２を操作してレンズユニット１０９のズーム倍率を変更している最中の様子と、デジタルカメラ１００本体の外観である。

図８（ｄ）に示す８０２は図８（ｃ）の状態におけるタッチパネル１１６の表示画面である。指示したズーム倍率に応じて、直前まで切り出し領域７２１に収まっていた被写体が、撮像センサ１０９の撮影する画角全体のどの範囲に変化したかを判定して、その範囲に追従して切り出し領域４２１を変化させている。ズーム倍率変更中は、サイズ変化の残り時間７３１は表示されない。

図８（ｅ）はユーザー２００がズーム倍率を変更し終えた様子と、デジタルカメラ１００本体の外観である。

図８（ｆ）に示す８０３は図８（ｅ）の状態におけるタッチパネル１１６の表示画面である。ズーム倍率変更によって、切り出し領域７２１は収まっている被写体に追従して画角全体付近まで大きくなっている。ズーム倍率変更が停まったことを検出して、サイズ変化の残り時間７３１が再び表示される。

次に、図９のフローチャートで、タイムラプス撮影時の制御について説明する。タイムラプス撮影の準備が整った状態において、ユーザーがシャッターボタン２０１を押下することで、制御マイコン１０１は本図のフローチャートに従い、各ブロックを制御してタイムラプス撮影を行う。

ステップＳ９０１では、図３に示した設定用の表示画面により、予め設定された画角変化の種別、切り出し領域のサイズ、切り出し領域の変化の速度、撮影フレームレートといったタイムラプス撮影の撮影条件を設定する。また、図４又は図７に示した撮影フレームレート４１１、７１１と、端まで移動した切り出し領域４２２またはサイズ変化した切り出し領域７２２を表示する。

ステップＳ９０２では、撮像センサ１０９とカメラ信号処理部１０８に対して１フレーム分の記録用画像の撮影を指示し、得られた画像データのメモリカードへの書き込みを指示する。また、図６に示したように、次の記録用画像の撮影まで、動き検出用の画像フレームを連続して撮影するよう指示する。

ステップＳ９０３では、画角変化の種別がパンニングの場合は動き検出部１１１と角速度センサ１１２の検出結果からデジタルカメラ１００の向きの変化を、ズームの場合はズーム倍率の変化をそれぞれ検出し、撮像センサ１０９の画角が変化したかを判定する。

ステップＳ９０４では、ステップＳ９０３の判定結果に基づき、画角が変化していれば切り出し領域を移動又はサイズ変更して、切り出し領域に収まっていた被写体に追従させる。

ステップＳ９０５では、ステップＳ９０４で更新した切り出し領域の位置又はサイズを元に、図４又は図７で示したように、切り出し領域の範囲４２１、７２１を描画する。ここで、切り出し領域が移動またはサイズ変化後の切り出し領域に接近している場合には、向き変更またはズーム倍率変更を促すメッセージを表示する。既にメッセージが表示されていて、切り出し領域の接近が解消されていた場合には、メッセージの表示をクリアする。また、移動又はサイズ変化の残り時間４３１、７３１を計算して表示し、再生時間４１３、７１３も更新して表示する。

ステップＳ９０６では、撮影フレームレートに基づき、次の記録用の画像フレームの撮影タイミングに至ったかを判定する。まだ、次の撮影タイミングに至っていなければ、ステップＳ９０３に戻って再度画角変化の判定を行う。次の撮影タイミングに至っていればステップＳ９０７に進む。

ステップＳ９０７では、タイムラプス撮影の終了判定を行う。撮影中にユーザーがシャッターボタン２０１を押下した場合に、撮影終了と判定してステップＳ９０８に進む。押下されていなければ、ステップＳ９０２に戻り、次のフレームの記録用画像を撮影する。

ステップＳ９０８では、メモリカードに書き込んだ画像データに対して、再生時間などの付加情報を付加して記録を終了する。また、撮影中に表示した切り出し領域や、再生時間、移動又はサイズ変化の残り時間などの表示をクリアして、タイムラプス撮影を終了する。

以上のように、本実施例によれば、より自由にアングルやズームを変えた動画撮影や微速度撮影が可能となる。

なお、本実施例では、パンニングとズームを排他の選択肢としたが、組み合わせて指定できるように構成しても良い。また、上下方向の向き変更、即ちチルトを加えても良い。また、本実施例では、撮像センサ１０９をローリングシャッター方式として説明したが、グローバルシャッター方式などの別方式であっても良い。また、本実施例では、動き検出用画像フレームを記録用画像フレームとは別に撮影する構成で説明したが、記録用画像フレームのみを用いても良い。また、動き検出用画像フレームと記録用画像フレームの信号レベルを調整した上で、両方を動き検出に用いても良い。また、本実施例では、撮影画像からの動き検出と、角速度センサによる動き検出を組み合わせて本体の向き変更を検出する構成で説明したが、いずれか一方の検出手段や、他の動き検出用センサを用いて動きを検出しても良い。

また、本実施例では、切り出し領域を単純な矩形として図示しているが、画角変化の種別がパンニングの場合、本体の向きを変化させる前後で切り出し領域の歪み方が変化することを避けるため、切り出し領域に対して円筒変換を行って記録用画像を生成してもよい。この場合、矩形の記録用画像を生成するため、それに対応する切り出し領域は矩形ではなく、上辺と下辺が弧を描く形状となる。

制御マイコン１０１は切り出し領域の位置に応じて、切り出し領域の形状も変更する。円筒変換の詳細については、特開２０００−１２５１９０号公報に記載されている。同様に、画角変化の種別がズームの場合、レンズユニット１０９のズーム倍率を変化させる前後で切り出し領域の歪み方が変化することを避けるため、切り出し領域に対して歪み補正を行って記録画像を生成しても良い。この場合も、矩形の記録用画像を生成するため、それに対応する切り出し領域は矩形ではなく、レンズユニット１０９の光学中心を基準として樽型または糸巻き型の形状となる。制御マイコン１０１は光学中心に対する切り出し位置に応じて、切り出し領域の形状を変更する。

次に、本発明による第２の実施例について説明する。

本実施例では、記録用の画像フレームに対する露光期間、即ちシャッター速度をユーザーが設定できるよう構成している点が第１の実施例と異なる。

図１０はシャッター速度の設定用の表示画面である。

本実施例においては、第１の実施例の図３（ｃ）又は（ｄ）に示した表示画面の設定に続いて、この表示画面でシャッター速度を調整することができる。

タッチパネル１１６画面上に、シャッターアングル、変更操作時間、露出が表示される。ユーザーはシャッターアングル調整用の操作オブジェクト１００１にタッチしたまま上下にスライドさせることで、シャッターアングルを調整できる。シャッターアングルは、撮影フレームレートから定まる撮影間隔を３６０度としてときに、各画素の露光期間が占める割合を角度で示したもので、１８０度であれば撮影間隔の半分が露光期間となる。これを調整することにより、記録されたタイムラプス動作は、動く被写体に適度なブレを残して、見た目上のフレーム間の連続性を確保することができる。１００２はシャッターアングルを示す円で、設定された角度の円弧が明るく描画され、他方が暗く描画される。

１００３は１００２に示す円に対して、非露光期間の範囲を示す矢印付きの線分である。また、１００４は非露光期間の実時間の表示である。ユーザーは向きやズーム倍率の変更を行う際に、この時間内に操作を完了できるように、撮影フレームレートに対するシャッターアングルを調整する。向き変更又はサイズ変更のため、非露光期間が最低でも０．５秒程度は確保されるように、シャッターアングルと、図３（ｃ）又は（ｄ）に示した移動時間と再生速度の設定範囲には制約を設ける。１００５は露出状態を示す表示であって、撮影されている被写体に対して、設定されている撮影フレームレートとシャッターアングルにおいて、露出が適正かアンダーかオーバーかを示す。オーバー又はアンダーの場合、ユーザーは必要に応じて、ＩＳＯ感度やＮＤフィルタの有無などを変更することにより、露出が適正となるよう調整する。

決定ボタン３０８をタッチすると、調整したシャッターアングルが確定される。キャンセルボタン３０９にタッチすると、図３（ｃ）又は（ｄ）の設定画面に戻る。

以上のように、本実施例によれば、シャッターアングルと向きやサイズ変更の操作時間をユーザーが調整して、タイムラプス撮影を行うことができる。

１０１制御マイコン、１０２内部バス、１０３ＦＬＡＳＨメモリコントローラ、
１０４ＦＬＡＳＨメモリ

Claims

予め設定されたフレームレートで連続又は間欠的に画像を撮影する撮影手段と、
撮影されたフレーム毎に前記画像から指定された領域を切り出す画像処理手段と、
切り出された画像を出力する出力手段と、
前記撮影手段の画角の変化を検出する動き検出手段と、
表示手段と、
制御手段と、
を備え、
前記制御手段は、前記画像処理手段の切り出し領域の位置又はサイズ又は形状を、予め設定された変化速度に応じて変化させ、
前記撮影手段が撮影している画像と、前記画像処理手段が切り出している領域を、前記表示手段で表示させ、
前記動き検出手段が前記撮影手段の画角変化を検出したら、前フレームで前記画像処理手段が切り出した領域が現フレームのどの領域に移動したかを判定し、移動後の領域に合わせて、現フレームの切り出し領域を指定することを特徴とする撮像装置。
前記制御手段は、前記切り出し領域が、前記撮影手段が撮影する画角の端に達するまで、または前切り出し領域が予め定めたサイズに達するまでの残り時間を、前記表示手段で表示することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記切り出し領域が、前記撮影手段が撮影する画角の端に達したとき、または前記切り出し領域が予め定めたサイズに達したときの切り出し領域を、前記表示手段で表示することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記切り出し領域が、前記撮影手段が撮影する画角の端に達するまで、または前記切り出し領域が予め定めたサイズに達するまで、所定の時間以下になった場合に、前記撮影手段の向き、または前記撮影手段のズーム倍率を変更するよう所定の表示を行うことを特徴とする請求項１に記載の撮像装置。
前記予め定めたサイズとは、前記切り出し領域の画素数が、前記出力手段の出力する画像の画素数が等しくなるサイズであることを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
前記動き検出手段は、前記撮影手段で撮影された複数フレームの画像間の動きベクトルか、撮像装置に加わった角速度か、前記撮影手段のズーム倍率変化の何れかから、前記撮影手段の画角の変化を検出することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記撮影手段が前記出力手段から出力する画像の撮影間隔において、前記動きベクトルを検出するための画像を撮影することを特徴とする請求項６に記載の撮像装置。
前記制御手段は、前記撮影手段が前記出力手段から出力する画像を露光中か否かを、前記表示手段で表示することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記撮影手段が前記出力手段から出力する画像の撮影間隔において、予め定めた非露光期間を確保するように、撮影のフレームレートと露光期間の設定に制約をかけることを特徴とする請求項１に記載の撮像装置。