JP2016129284A - 撮像装置 - Google Patents

Abstract

【課題】シネマグラフのような画像全体の一部が一定の動きを繰り返す動画アニメーションを作成する際に、撮影タイミングと被写体の動きの同期をとって繰り返しの境界が滑らかにつながるループする動画を作成する撮像装置を提供すること。
【解決手段】あらかじめ連続撮影して取得した複数枚の画像から前記被写体について動きの周期情報を取得する周期取得手段と、前記取得した周期情報に応じて撮影間隔を決定し、フレームレート情報を取得するフレームレート決定手段と、前記周期取得手段で取得した前記同期情報に応じて、前記被写体を複数枚撮影する撮影手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、撮像装置に関し、特にループする動画を作成するための撮像装置に関する。

従来、シネマグラフのような画像全体の一部が一定の動きを繰り返す動画アニメーションを作成するために、ユーザーは複雑な画像処理ソフトウェアを使用し、さらに多くの手作業を要している。特に、手作業の中でも動画像から周期性のある期間を切り出す作業は、フレーム間の差異を目視で確認する必要があるため、ユーザーにとって多くの時間と手間が必要となっている。

このため、多くのユーザーは、シネマグラフのような動画アニメーションを気軽に作成できずにいる。従って、ユーザーの手作業を軽減し、自動的かつ迅速な方法でシネマグラフを作成したいという要望がある。本明細書で使用する「シネマグラフ」という用語は、画像全体の一部が一定の動きを繰り返す動画アニメーションを意味する。

シネマグラフを作成するにあたって動画を撮影する工程が必要となるが、動画の撮影方法に関して、従来の構成では、被写体の動きに合わせて動画撮影時のフレームレートを切り替える構成を有するものがある（特許文献１）。

特開２００２−３２０１９８号公報

しかしながら、繰り返しの境界を視聴者に認識させないループする動画を作るには、ループ再生する開始フレームと終了フレームで被写体の速度および写っている位置を一致させる必要がある。

上記従来技術の構成は、ループする動画を作成することを考慮したものではなく、ループ動作する被写体と撮影タイミングが同期していないので、シネマグラフのようなループする動画を作成する際に繰り返し点の境界が滑らかにつながらないといった問題がある。

本発明は、上記の問題点に鑑み、繰り返しの境界が滑らかにつながるシネマグラフを作成することができる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の撮像装置は、
連続して撮影し、取得した複数枚の画像から周期的な運動をする被写体を抽出して被写体動画を作成し、前記複数枚の画像から作成された静止画に前記被写体動画を合成する撮像装置であって、
あらかじめ連続撮影して取得した複数枚の画像から前記被写体について動きの周期情報を取得する周期取得手段と、
前記取得した周期情報に応じて撮影間隔を決定し、フレームレート情報を取得するフレームレート決定手段と、
前記周期取得手段で取得した前記周期情報に応じて、前記被写体を複数枚撮影する撮影手段と、を備えることを特徴とする。

本発明によれば、繰り返しループする被写体と撮影タイミングの同期をとることができるため、繰り返しの境界が滑らかにつながるシネマグラフを作成することができる撮像装置の提供を実現できる。

本実施形態における撮像装置の構成を示すブロック図である。 実施例１における撮像装置の動作を説明するフローチャートである。 実施例１におけるフレームレートの決定方法を説明する図である。 実施例１におけるシネマグラフの生成方法を説明する図である。 実施例２におけるフレームレートの決定方法を説明する図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

本発明による第１の実施例であるシネマグラフ生成機能付きデジタルカメラの構成について図１を用いて説明する。図１に示す１００は、デジタルカメラ本体である。図１のデジタルカメラ１００は、システム制御部１０１、ＲＯＭ１０２、メモリ制御部１０３、メモリ１０４、操作部１０５、カメラ信号処理部１０６、カメラ１０７、周期検出部１１０、フレームレート算出部１１１、表示部１１７、記録媒体制御部１１８、記録媒体１１９、内部バス１２０を備える。

システム制御部１０１は、内部バス１２０で接続された各ブロックの制御を行う。ＲＯＭ１０２は、電気的に消去・記録可能なメモリである。ＲＯＭ１０２には、システム制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。

メモリ制御部１０３は、メモリ１０４とのインターフェースである。メモリ１０４は、画像データやシステム制御部１０１の一時データを格納する。メモリ１０４は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。

操作部１０５は、情報端末の外装に設けられたボタン等で構成され、使用者はそれを操作することで、システム制御部１０１へ指示を伝えることができる。

カメラ部１０７は、対物レンズ、撮像素子、アナログ信号処理部を有するユニットである。対物レンズは、光束を集光して被写体像を撮像素子の受光面に形成する。撮像素子は、対物レンズを通過した被写体の画像光を光電変換してアナログ画像信号に変換するＣＣＤ等の撮像素子である。アナログ信号処理部は、撮像素子から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、信号処理されたデジタル画像信号をカメラ信号処理部１０６へ転送する。

カメラ信号処理部１０６は、システム制御部１０１の指示に基づき、カメラ部１０７を制御してユーザーの目前の被写体を撮影し、カメラ部１０７から得られたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換、動画像の圧縮処理などの画像処理を施し画像処理された動画像を、メモリ１０４を介して、記録媒体１１９へ記憶させる。本実施例では、動画像の形式は、ＭＰＥＧ（Moving Picture Experts Group）形式とするが、その限りではない。

周期検出部１１０は、システム制御部１０１の指示に基づき、メモリ１０４に格納されている動画像から被写体動きベクトルを算出する。異なる時間で算出されたそれらが一致しているか否かで周期性を判定する。

フレームレート算出部１１１は、システム制御部１０１の指示に基づき、周期検出部１１０で検出した被写体の周期を基に撮影するフレームレートを決定する。決定したフレームレートは、システム制御部１０１の指示に基づき、バス１２０を介してカメラ１０７に転送され、決定したフレームレートで駆動できるように設定される。

表示部１１７は、ＬＣＤ（液晶表示装置）等で構成され、カメラ信号処理部１０６で処理された画像データを表示する。

記録媒体制御部１１８は、記録媒体１１９とのインターフェースである。記録媒体１１９は、撮影された画像データを記録するための媒体であり、メモリカードや磁気ディスク等から構成される。

静止画像生成部１２１は、記録媒体１１９に記憶されている動画像を読み出し、ユーザーにより指定された画像を抽出し、その画像に対しユーザーにより指定された領域の画素値を任意の固定値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。

画像合成部１２２は、記録媒体１１９に記憶されている動画像およびメモリ１０４に記憶されている静止画像を読み出し、その動画像と静止画像を合成し、合成した合成動画像を記録媒体１１９に記憶させる。本実施例において、合成方法はクロマキー合成にて行うものとする。クロマキー合成は、特定の色情報を持つ領域を他の画像と置き換える手法である。

内部バス１２０は、各ブロックに接続され、画像データや制御信号のやりとりが行われる。

図２はシネマグラフを作成するための撮影について、システム制御部１０１が制御するデジタルカメラ１００の一連の動作を説明するためのフローチャートである。

ステップＳ２０１では、ユーザーによって操作部１０５が操作されて撮影開始指示が出されると、システム制御部１０１の指令でプレ撮影の開始処理が行われる。プレ撮影は、あらかじめ被写体の周期を検出して後述の本撮影時のフレームレートを決定するための一連の処理である。このステップでは、プレ撮影時のフレームレートやセンサ駆動等の設定をプレ撮影用にする。プレ撮影では高速に動作する被写体にも追従できるようにする必要があるため、画像サイズを本撮影時に比べて小さくし、フレームレートを高速に設定する。このようにして、被写体の動きの周期性を検出するために特化した設定にする。

ステップＳ２０２では、周期検出部１１０によって被写体の動きの周期性を検出するための処理である。まず、プレ撮影で撮影した複数の画像データから、被写体の動きベクトルをそれぞれの時間ごとに算出する。次に、被写体の動きベクトルを別のタイミングで撮影した画像から算出した被写体の動きベクトルと比較し、それらが一致しているか否かを検出する。

ステップＳ２０３では、ステップＳ２０２で行った処理をもとに、システム制御部１０１によって被写体の動きに周期性があるか否かを判定するステップである。ステップＳ２０２で比較した結果、異なるタイミングで算出した動きベクトル同士で一致するものがあれば被写体の動きに周期性があると判定し、一致するものがなければ被写体の動きに周期性がないと判定する。

ステップＳ２０４では、ステップＳ２０３で被写体の動きの周期性が検出できなかったと判定された場合に、システム制御部１０１によって撮影開始から所定時間経過したか否かの判定が行われる。撮影開始から所定時間経過していなかった場合は、ひきつづき被写体の動きの周期性の検出処理を行う。被写体の動きの周期性を検出できずに所定時間が経過した場合は撮影を終了する。

ステップＳ２０５では、システム制御部１０１によって本撮影時のフレームレートを決定する。ステップＳ２０３で被写体の動きの周期性を検出できた場合は、ステップＳ２０２で検出した検出情報をもとに１周期にかかる時間を取得して周期を算出し、この周期をもとにフレームレートを決定する。また、被写体の一連の動きをループ再生したときに、繰り返しの境界で滑らかにつながるように、本撮影時のフレームレートを被写体の動きの周波数の整数倍になるように決定する。フレームレートの決定方法は、図３を用いて詳細に説明する。

ステップＳ２０６では、システム制御部１０１によってセンサ駆動の停止やプレ撮影時に使用したメモリの開放など、プレ撮影の撤収処理が行われる。

ステップＳ２０７では、システム制御部１０１によって本撮影の開始処理が行われる。このステップでは、本撮影時のフレームレートやセンサ駆動等の設定を本撮影用にし、撮影の準備を行う処理である。本撮影時のフレームレートはステップＳ２０４で決定したフレームレートを適用する。

ステップＳ２０８では、システム制御部１０１によって被写体の撮影が所定時間行われたか否かを判定する。被写体の撮影は、動きの１周期分だけ撮影すればシネマグラフとして合成するためのループ動画を作成できるので、撮影時間が被写体の動きの周期に達するまで撮影を続ける。

ステップＳ２０９では、所定時間撮影された後に、システム制御部１０１によってセンサ駆動の停止や撮影時に使用したメモリの開放などの撤収処理が行われ、本撮影を完了する。

図３はフレームレート算出部１１１におけるフレームレートの決定方法について説明するための図である。図３（ａ）および（ｂ）において、横軸は時間、短い下向き矢印は撮影タイミングを表している。３０１は繰り返し動作を行っている被写体の一周期分の期間を示している。３０２は撮影開始タイミングを示しており、３０３は３０２を撮影開始タイミングとしたときの理想的な撮影終了タイミングを示している。

３０３で示す終了タイミングは、３０２および３０３間の時間と、周期的に動く被写体の１周期分の時間が等しくなるように決定する。撮影時のフレームレートは、３０３のタイミングに撮影を行って終了できるように、周期的に動く被写体の動きの周波数が整数倍になるように決定する。

本実施例のフレームレートの決定方法について詳細に説明する。本実施例では本体内にあらかじめ決めてあった基準フレームレートに対して、被写体の動きの周波数の整数倍で、かつ、最も近いフレームレートになるように設定するものとする。たとえば、基準フレームレートでの撮影において、図３（ａ）ように撮影開始タイミング３０２から数えて９フレームを少し超えたところで被写体の動きが１周した場合、被写体の動きと撮影のフレームレートは同期していない。図３（ａ）のケースでは、３０４で示す撮影終了フレームの被写体の動きの位相は、撮影開始フレーム３０２の被写体の動きの位相とずれている。したがって、このままループ動画を作成すると繰り返しのつなぎ目が滑らかにつながらず、不自然なループ動画になる。図３のケースでは、被写体の動きの１周期を撮影するのにちょうど９フレーム撮影できるように、本撮影時のフレームレートを図３（ｂ）のように決定する。

図３（ｂ）の例では、３０２と３０３のタイミングで撮影した被写体は同じ位置に写っているはずであるから、シネマグラフのループ動画として使用するフレームは３０５で示した範囲で撮影したものを使用するようにする。

次に、図４を参照して、周期画像範囲を検出した動画像からシネマグラフを生成するフローチャートを説明する。

ステップＳ４０１において、操作部１０５から静止画像とするフレームを指定する指示を受けると、静止画像生成部１２１が、ステップＳ２０７、Ｓ２０８およびＳ２０９にて生成された周期動画像の中から指定された画像を抽出する。次に、操作部１０５から動きを繰り返す動画の領域である動画領域を指定する指示を受けると、静止画像生成部１２１が、指定された動画領域を固定の画素値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。

ステップＳ４０２において、画像合成部１２２が、ステップＳ４０１にて作成した静止画像とステップＳ２０７、Ｓ２０８およびＳ２０９にて作成した周期動画像をクロマキー合成し、画像全体の一部が一定の動きをする合成周期動画像を作成する。本実施例において、合成はクロマキー合成にて行うが、合成方法はその限りではない。

ステップＳ４０３において、シネマグラフ生成部１２３が、ステップＳ４０２にて生成したクロマキー合成周期動画像から繰り返し自動再生するシネマグラフを作成する。シネマグラフは、ＭＰＥＧ（Moving Picture Experts Group）形式やＡＶＩ（Audio Video Interleave）形式で作成した動画像をＧＩＦ（Graphics Interchange Format）へ変換して作成する。本実施例では、シネマグラフをＧＩＦ形式にて作成するが、形式はその限りではない。

以上のようにして被写体の動きの周期を考慮して撮影時のフレームレートを決定することにより、繰り返しの境界で滑らかにつながるシネマグラフの撮影を行うことが可能となる。

実施例２は、撮像装置の構成は実施例１と同じく図１と同じであり、撮像装置の動作は実施例１と同じく図２および図４に示す通りだが、本撮影時のフレームレートの決定方法が異なる。

本実施例のフレームレートの決定方法は、被写体の動きの周波数の整数倍で、かつ、被写体の動きの速度に応じて決定する。被写体の動きの速度は、周期検出部１１０で算出している動きベクトル情報を利用する。

被写体の動く速度が遅い場合、フレームレートを低く設定しても隣接したフレーム間に写っている被写体の位置は大きく移動することはないため、閲覧時に違和感を覚えることはなく画質が低下したと感じにくい。フレームレートを高くすることも可能だが、被写体の動く速度が遅い場合は出力データサイズが無駄に大きくなってしまう。このため、被写体の動く速度が遅い場合はデータサイズを抑制するためにフレームレートを低く設定する。

一方、被写体の動く速度が速い場合、隣接したフレーム間に写っている被写体の位置が大きく移動しないようにフレームレートを高くする必要がある。

本実施例のフレームレートの決定方法について、図５を用いて詳細に説明する。図５（ａ）は被写体の動きの速度が遅いときの撮影タイミングの例を表す図である。上記で述べたとおり、フレームレートを低く設定した例である。また、図５（ｂ）は被写体の動きが速いときの撮影タイミングの例を表している。上記で述べたとおり、フレームレートを高く設定した例である。図５（ａ）および（ｂ）において、横軸は時間、短い下向き矢印は撮影タイミングを表している。

５０１は繰り返し動作を行っている被写体の一周期分の期間を示している。５０２は撮影開始タイミングを示しており、５０３は５０２を撮影開始タイミングとしたときの理想的な撮影終了タイミングを示している。

５０３で示す終了タイミングは、５０２および５０３間の時間と、周期的に動く被写体の１周期分の時間が等しくなるように決定する。撮影時のフレームレートは、５０３のタイミングに撮影を行って終了できるように、周期的に動く被写体の動きの周波数が整数倍になるように決定する。

５０２と５０３のタイミングで撮影した被写体は同じ位置に写っているはずであるから、ループ動画として使用するフレームは、図５（ａ）および図５（ｂ）の例では、それぞれ５０４および５０５で示した範囲に撮影したフレームをシネマグラフとして合成するループ動画として使用する。

本実施例では、本撮影時のフレームレートを被写体の動きの周波数の整数倍にする例で説明したが、ループ動画のつなぎ目が視聴者に検知できない程度に本撮影時のフレームレートを被写体の動きの整数倍に近づけるという方法でもよい。

以上のようにして被写体の動きの速度と周期を考慮して撮影時のフレームレートを決定することで、繰り返しの境界で滑らかにつながるシネマグラフの撮影を行うことが可能となる。

１００ デジタルカメラ本体、１０１ システム制御部、１０２ ＲＯＭ、
１０３ メモリ制御部、１０４ メモリ、１０５ 操作部、１０６ カメラ信号処理部、
１０７ カメラ、１１０ 周期検出部、１１１ フレームレート算出部、
１１７ 表示部、１１８ 記録媒体制御部、１１９ 記録媒体、１２０ 内部バス、
１２１ 静止画像生成部、１２２ 画像合成部、１２３ シネマグラフ生成部

Claims (3)

1. 連続して撮影し、取得した複数枚の画像から周期的な運動をする被写体を抽出して被写体動画を作成し、前記複数枚の画像から作成された静止画に前記被写体動画を合成する撮像装置であって、
   あらかじめ連続撮影して取得した複数枚の画像から前記被写体について動きの周期情報を取得する周期取得手段と、
   前記周期取得手段で取得した周期情報に応じて撮影間隔を決定し、フレームレート情報を取得するフレームレート決定手段と、
   前記フレームレート決定手段で決定した前記フレームレート情報に応じて、前記被写体を複数枚撮影する撮影手段と、
   を備えることを特徴とする撮像装置。
2. 前記フレームレート決定手段は、前記撮影間隔の周期が前記被写体の動きの周期の整数倍になるように撮影間隔を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記フレームレート決定手段は、ユーザーがあらかじめ指定したフレームレートに最も近くなるように撮影間隔を決定することを特徴とする請求項２に記載の撮像装置。