JP2011239021A

JP2011239021A - 動画像生成装置、撮像装置および動画像生成プログラム

Info

Publication number: JP2011239021A
Application number: JP2010106287A
Authority: JP
Inventors: Naoki Kitaoka; 直樹北岡
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-05-06
Filing date: 2010-05-06
Publication date: 2011-11-24

Abstract

【課題】複数の静止画像からそれぞれ任意の範囲の画像を順次切り出して動画を作成するため、同一の撮影姿勢で撮影した静止画像を素材に用いて動画を作成するだけでなく、異なる撮影姿勢で撮影した静止画像を動画の素材として用い、再生時に視聴者に違和感のない動画を提供する。
【解決手段】複数の静止画像それぞれの天地方向を検出する検出部と、検出部による検出結果に基づいて複数の静止画像それぞれの天地方向が所定の一方向に揃うように、複数の静止画像からなる動画像を生成する動画像生成部とを備える。
【選択図】図２

Description

本発明は、動画像生成装置、撮像装置および動画像生成プログラムに関する。

複数の静止画像からそれぞれ任意の範囲の画像を順次切り出して動画を作成するようにした動画作成装置が知られている（例えば、特許文献１参照）。

特開２００６−２２９４６７号公報

しかしながら、従来の動画作成装置は、同一の撮影姿勢で撮影した静止画像を素材に用いて動画を作成するものであり、異なる撮影姿勢で撮影した静止画像を動画の素材として用い、再生時に視聴者に違和感のない動画を提供できるものではない。

請求項１に記載の動画像生成装置は、複数の静止画像それぞれの天地方向を検出する検出部と、前記検出部による検出結果に基づいて前記複数の静止画像それぞれの天地方向が所定の一方向に揃うように、前記複数の静止画像からなる動画像を生成する動画像生成部とを備えることを特徴とする。
請求項８に記載の撮像装置は、被写体を撮像して静止画像を生成する撮像部と、請求項１から請求項７のいずれか一項に記載の動画像生成装置とを備えることを特徴とする。
請求項９に記載の動画像生成プログラムは、複数の静止画像それぞれの天地方向を検出する検出ステップと、前記検出ステップによる検出結果に基づいて前記複数の静止画像それぞれの天地方向が一方向に揃うように、前記複数の静止画像からなる動画像を生成する動画像生成ステップとをコンピューターに実行させることを特徴とする。

本発明によれば、視聴者にとって違和感のない動画を生成することができる。

一実施の形態の動画作成プログラムおよび動画作成装置を搭載したカメラの構成を示す図一実施の形態の動画作成プログラムを示すフローチャート一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図一実施の形態のストップモーション動画の作成手順を説明するための図

本願発明の動画作成プログラムおよび動画作成装置を自動焦点調節（ＡＦ）一眼レフレックス・デジタルスチルカメラに搭載した一実施の形態を説明する。図１は一実施の形態の動画作成プログラムおよび動画作成装置を搭載したカメラの構成を示すブロック図である。なお、図１では本願発明の動画作成プログラムおよび動画作成装置と直接関係のないカメラの機器、回路および装置の図示と説明を省略する。一実施の形態のカメラは、カメラボディ１にレンズ鏡筒２が着脱可能に装着され、レンズ鏡筒２は各種の交換レンズを内蔵したレンズ鏡筒に交換可能である。

カメラボディ１は、ボディ駆動制御装置３、撮像素子４、姿勢検知センサー５、信号処理回路６、画像処理回路７、圧縮伸張回路８、記録媒体９、焦点検出装置１０、表示装置１１、操作部材１２などを備えている。ボディ駆動制御装置３はＣＰＵ３ａやメモリ３ｂなどから構成され、カメラの焦点調節制御（ＡＦ制御）、撮像制御、シーケンス制御、各種演算などを行うとともに、後述する動画作成プログラムを実行してストップモーション動画（フォトムービーとも云う）を作成する。ストップモーション動画の作成については詳細を後述する。

撮像素子４はＣＣＤやＣＭＯＳなどから構成され、撮影レンズ(不図示)により結像された被写体像を画像信号に変換して出力する。姿勢検知センサー５は、撮影時のカメラの姿勢すなわち正位置（横位置）姿勢と縦位置（右上および左上）姿勢を検知する。姿勢検知センサー５により検知された撮影姿勢データは、画像データとともに画像ファイルに記録される。

信号処理回路６は、撮像素子４から出力されるアナログ画像信号に対してクランプ処理、ＣＤＳ処理（相関二重サンプリング）、ＡＧＣ処理（自動利得調整）、シェージング処理、Ａ／Ｄ変換などを施す回路である。画像処理回路７は、デジタル画像信号に対して画像に関する処理、すなわちホワイトバランス処理、ガンマ補正、色補間、輪郭強調、ビネット補正などを行う回路である。圧縮伸張回路８は、ＪＰＥＧ方式による画像の圧縮と圧縮画像の伸張を行う。記録媒体９は、ＳＤカードやＣＦカードなどの画像ファイルを記録する着脱可能なメモリカードである。

焦点検出装置１０は、レンズ鏡筒２に内蔵されるフォーカシングレンズ(不図示)の焦点調節状態、すなわちデフォーカス量を検出する。表示装置１１はカメラボディ１の背面に設けられ、画像と各種情報を表示する。操作部材１２は、使用者がカメラを操作するためのスイッチ、モードセレクター、コマンドダイヤルなどである。

一方、レンズ鏡筒２は、フォーカシングレンズ（不図示）、ズーミングレンズ（不図示）、絞り（不図示）、レンズ駆動制御装置１５、レンズ駆動回路１６、絞り駆動回路１７などを備えている。レンズ駆動制御装置１５はＣＰＵ１５ａやメモリ１５ｂなどから構成され、カメラボディ１のレンズマウント部(不図示)に設けられた電気接点を介してボディ駆動制御装置３と通信を行い、レンズ駆動回路１６を制御してフォーカシングレンズおよびズーミングレンズを駆動するとともに、絞り駆動回路１７を制御して絞り(不図示)の開口調節を行う。

図２は一実施の形態の動画作成プログラムを示すフローチャートである。この一実施の形態では、図３〜図１１に示すような人の動きを撮影した静止画像を組み合わせてストップモーション動画を作成する例を示す。使用者が操作部材１２により動画作成モードを設定すると、ボディ駆動制御装置３のＣＰＵ３ａは図２に示す動画作成プログラムの実行を開始する。ステップ１において初期設定を行う。使用者が操作部材１２により選択した動画ファイルの画像サイズとフレームレート（毎秒当たりのコマ数）を読み込み、メモリ３ｂに記憶し設定する。続くステップ２では、使用者が操作部材１２により選択した動画に用いる静止画像を読み込み、それらをメモリ３ｂに記憶するとともに表示装置１１にサムネイル表示する。

ステップ３で、表示装置１１にサムネイル表示されている静止画像の中から、使用者が操作部材１２によりストップモーション動画の先頭になる画像として選択した画像を読み込み、メモリ３ｂに先頭画像として記憶する。ここでは、図３に示す静止画像が先頭画像に選択されたものとする。次にステップ４で、表示装置１１にサムネイル表示されている静止画像の中から、使用者が操作部材１２によりストップモーション動画の中間画像として選択した画像を選択順に読み込み、メモリ３ｂに中間画像として選択順に記憶する。ここでは、図４(ａ)〜(ｃ)に示す３枚の静止画像が順に中間画像に選択されたものとする。なお、中間画像の枚数は何枚でもよい。

さらに、ステップ５では、表示装置１１にサムネイル表示されている静止画像の中から、使用者が操作部材１２によりストップモーション動画の最終画像として選択した画像を読み込み、メモリ３ｂに最終画像として記憶する。ここでは、図５に示す静止画像が最終画像に選択されたものとする。

ステップ６において、メモリ３ｂに記憶されている動画に使用する静止画像の天地の向きを検出する。この一実施の形態では先頭画像として選択した画像の天地の向きを基準とし、中間画像および最終画像の天地の向きが先頭画像の天地の向きと同じか否かを検出する。通常、動画はテレビジョンまたはパソコンのディスプレイで再生して視聴するが、テレビジョンやパソコンの画面は縦寸法よりも横寸法が長く、画面いっぱいに画像を表示して見やすくするには縦寸法よりも横寸法が長い画像が好ましい。したがって、この一実施の形態では縦寸法よりも横寸法が長い画像、すなわちカメラを正位置（横位置）に構えて撮影した画像の天地の向き基準にする。

画像の天地の向きは、それぞれの画像ファイルに記憶されている撮影時の撮影姿勢により判別される。撮影時には姿勢検知センサー５により使用者がカメラを保持する撮影姿勢が検出され、正位置（横位置）撮影、右上縦位置撮影、左上縦位置撮影の内のいずれかの撮影姿勢データが画像データとともに画像ファイルに記録される。正位置で撮影した画像は正位置（横位置）画像、右上縦位置で撮影した画像は右上縦位置画像、左上縦位置で撮影した画像は左上縦位置画像とする。

なお、画像の天地の向きを人物の顔認識により検出することができる。画像の中から人物の顔を抽出し、検出した顔の向きに基づいて画像自体の天地の向きを検出する。この天地検出方法によれば、姿勢検知センサーを備えていないカメラで撮影された静止画像、インターネットを介して入手した撮影位置データが付加されていない静止画像などを動画の素材として用いることができる。

ステップ７において、ストップモーション動画に用いる静止画像として選択された画像の中に、先頭画像の天地の向きと異なる向きの画像があるか否かを確認し、異なる向きの画像が含まれている場合はステップ８へ進み、なければステップ１１へ進む。図３に示す先頭画像は横位置画像であり、図４〜図５に示す中間画像と最終画像の内、図４(ｃ)に示す画像だけが先頭画像と天地の向きが異なり、右上縦位置画像である。このような天地の向きが異なる画像を組み合わせてストップモーション動画を作成すると、図６に示すように一連の横位置画像の中に天地の向きが異なる画像が入り、作成した動画を再生すると視聴者に違和感を与えてしまう。

そこで、この一実施の形態では、ステップ８〜１０において先頭画像の天地の向きと異なる向きの画像に対して画像の回転（天地の向きの変更）、トリミング（画像の切り出し）、リサイズ（画像の拡大または縮小）を行い、先頭画像と天地の向きが同じで、先頭画像と画像の大きさが同じになるような処理を施す。まず、ステップ８において、先頭画像と天地の向きが異なる画像、ここでは図４(ｃ)に示す左上縦位置の画像を先頭画像の天地の向きと同じ向きになるように回転し、向きを変更する。図７は、図４(ｃ)に示す左上縦位置の画像を９０度反時計回りに回転し、図３に示す先頭画像の天地の向きと同じ向きに変更した状態を示す。

次に、ステップ９では、天地の向きを変更した画像から、画像のアスペクト比（画像の横縦比ともいう、画像の横の寸法に対する縦の寸法の整数比）が先頭画像のアスペクト比と同じになるように画像を切り出す。このとき、切り出し前の画像の中心（平面状の重心）位置が切り出し後の画像の中心となるように切り出す。例えば、画像のアスペクト比が４：３（横：縦）である場合には、天地の向きを変更するために９０度回転すると、図７に示すようにアスペクト比は３：４になる。図７に示す回転後の画像からアスペクト比４：３の画像を切り出す際に、図８に示すように横幅いっぱいの切り出し範囲（横３：縦２．２５の比の範囲）でアスペクト比４：３の画像を切り出す。その結果、図８に示す画像の上下部分が削除され、図９に示すアスペクト比４：３の新しい画像が生成される。

なお、人物の顔の位置や主要被写体の位置などに基づいて切り出し画像の中心位置を任意に設定してもよい。

さらに、ステップ１０で、切り出した画像のサイズを先頭画像と同じサイズになるように変更する。ここでは、先頭画像の横４：縦３のサイズに対し、図９に示す切り出し後の画像は横３：縦２．２５のサイズになっているので、横４：縦３のサイズとなるように拡大し、図１０に示す画像を生成する。なお、画像の拡大時に不足する領域が生じる場合には、周囲の画像もしくは元画像のデータを用いて補間する。

なお、画像中の人物の顔の領域を認識する技術を用いて人物全体の大きさを認識し、基準画像の人物の大きさと同一となるように画像を拡大した後、画像全体のアスペクト比とサイズが基準画像のそれらと同じになるように再度切り出しを行うようにしてもよい。

ステップ１１において、先頭画像、中間画像および最終画像を用いて図１１に示すような新しい動画ファイルを作成する。なお、動画ファイルはＡvi形式やＭ-jpg形式で作成する。ステップ１２では、作成した動画ファイルを記録媒体９に記録して処理を終了する。なお、ステップ８〜１０の処理は、先頭画像と天地の向きが異なるすべての画像に対して行う。

作成したストップモーション動画は、再生モードにおいて動画ファイルを選択して実行させ、表示装置１１に表示させて視聴することができる。

なお、上述した一実施の形態では、先頭画像を基準にして天地の向きとサイズを揃える例を示したが、天地の向きおよびサイズの基準となる画像は先頭画像に限定されず、使用者がストップモーション動画に用いる画像として最初に選択した横位置画像を基準画像としてもよいし、あるいは先頭画像、中間画像および最終画像の内の使用者が操作部材１２により指定した画像を基準画像としてもよい。

また、上述した一実施の形態では、回転および切り出し後のリサイズにおいて画像を拡大する例を示したが、基準となる画像とサイズを合わせるために必要に応じて切り出し後の画像を縮小してもよい。

上述した一実施の形態では、本願発明の動画作成プログラムと動画作成装置を一眼レフデジタルカメラに搭載した例を示したが、本願発明の動画作成プログラムをインターネットを介して使用者に提供し、使用者のパソコン上で実行させて上述した動画作成機能を実現する実施形態とすることもできる。

動画の素材となる静止画像は、カメラで撮影した静止画像やインターネット経由で入手した静止画像など、あらゆる静止画像を用いて動画を作成することができる。

本願発明の動画作成プログラムおよび動画作成装置を搭載するカメラの種類は一実施の形態のカメラに限定されず、例えばカメラボディとレンズ鏡筒とが一体に形成されたコンパクトカメラでもよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。上述した一実施の形態では基準画像に対して天地の向きとサイズを揃えるために画像の回転、切り出しおよびサイズ合わせを行う例を示したが、例えば基準画像と天地の向きを揃えるために画像の回転のみを行い、切り出しとサイズ合わせを行わなくてもよい。画像の天地の向きを合わせるだけでも、上述した従来のストップモーション動画に比べ、視聴者の違和感を低減することができる。また、画像の回転と切り出しのみを行い、画像のサイズ合わせを省略してもよいし、画像の回転とサイズ合わせのみを行い、画像の切り出しを省略してもよい。

上述した一実施の形態とその変形例において、ストップモーション動画の素材に用いる静止画像の天地の向きを揃える方法として画像を回転させる実施例を示したが、静止画像の天地の向きを揃える方法は上述した一実施の形態の方法に限定されない。例えば、静止画像を構成する画素データを転置または移動する手法によっても可能である。しかし、これらの手法は横位置画像を右上または左上の縦位置画像へ、あるいは右上または左上の縦位置画像を横位置画像へ変更するものであり、実質的に画像の回転を行うものである。

なお、正位置（横位置）と縦位置以外の撮影姿勢で撮影された画像、例えば斜め右上または左上の撮影姿勢で撮影された静止画像も本願発明の動画の素材として用いることができる。この場合、撮影時のカメラの姿勢を正位置を基準とした撮影角度で検出し、撮影角度に応じて画像を回転させ、画像の天地の方向を横位置画像の天地の方向と揃えればよい。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、使用者により複数の静止画像の中から動画に用いる先頭画像、中間画像および最終画像として選択された静止画像の天地の向きを検出し、天地の向きを一方向に揃える。そして、天地の向きが一方向に揃えられた静止画像を用いて動画ファイルを生成するようにしたので、異なる撮影姿勢で撮影した静止画像を素材に用いて動画を作成することができ、視聴者にとって違和感のない動画を再生することができる。

また、一実施の形態とその変形例によれば、静止画像を回転させて動画に用いる静止画像の向きを揃えるようにしたので、簡便な処理で異なる撮影姿勢の静止画像を動画の素材に用いることができ、違和感のない動画を簡単に作成できる。

一実施の形態とその変形例によれば、向きを回転させた静止画像から、動画に用いる他の静止画像とアスペクト比を揃えるための画像の切り出しを行うようにしたので、違和感のない動画を作成できる。

一実施の形態とその変形例によれば、向きを回転させた静止画像、または切り出された静止画像に対して、動画に用いる他の静止画像のサイズに揃えるための拡大または縮小を行うようにしたので、異なる撮影姿勢で撮影した静止画像の天地の向きとサイズを揃えることができ、視聴者に違和感を感じさせない動画を作成することができる。

１；カメラボディ、３；ボディ駆動制御装置、３ａ；ＣＰＵ、１１；表示装置、１２；操作部材

Claims

複数の静止画像それぞれの天地方向を検出する検出部と、
前記検出部による検出結果に基づいて前記複数の静止画像それぞれの天地方向が所定の一方向に揃うように、前記複数の静止画像からなる動画像を生成する動画像生成部とを備えること
を特徴とする動画像生成装置。
請求項１に記載の動画像生成装置において、
前記検出部は、前記静止画像が撮影される際の装置の姿勢に基づいて前記静止画像の前記天地方向を検出すること
を特徴とする動画像生成装置。
請求項１に記載の動画像生成装置において、
前記検出部は、前記静止画像から認識した顔の向きに基づいて前記静止画像の前記天地方向を検出すること
を特徴とする動画像生成装置。
請求項１から請求項３のいずれか一項に記載の動画像生成装置において、
前記複数の静止画像それぞれの天地方向を一方向に揃えるために、前記所定の一方向とは異なる静止画像に回転処理を施す回転処理部をさらに備えること
を特徴とする動画像生成装置。
請求項４に記載の動画像生成装置において、
前記回転処理部により回転処理が施された回転処理済み静止画像と前記回転処理部により回転処理が施されていない回転未処理静止画像との縦横比を揃えるために、前記回転処理済み静止画像を切り出す切り出し部をさらに備えること
を特徴とする動画像生成装置。
請求項４または請求項５に記載の動画像生成装置において、
前記回転処理済み画像または前記切り出し部により切り出された切り出し済み画像と、前記回転未処理静止画像との画像サイズを揃えるために、前記回転処理済み画像または前記切り出し画像を拡大または縮小するサイズ変更処理部をさらに備えること
を特徴とする動画像生成装置。
請求項１から請求項６のいずれか一項に記載の動画像生成装置において、
前記動画像生成部により生成された前記動画像を記録媒体に記録する記録部をさらに備えること
を特徴とする動画像生成装置。
被写体を撮像して静止画像を生成する撮像部と、
請求項１から請求項７のいずれか一項に記載の動画像生成装置とを備えること
を特徴とする撮像装置。
複数の静止画像それぞれの天地方向を検出する検出ステップと、
前記検出ステップによる検出結果に基づいて前記複数の静止画像それぞれの天地方向が一方向に揃うように、前記複数の静止画像からなる動画像を生成する動画像生成ステップとをコンピューターに実行させること
を特徴とする動画像生成プログラム。