JP2014123908A - 画像処理装置、画像切り出し方法、及びプログラム - Google Patents

Abstract

【課題】動画像からフレーム内の一部分に着目した静止画フレームを切り出すこと
【解決手段】動画表示制御部４０１は、動画像にかかるストリームデータを表示する際に、フレーム内の拡大表示対象となる対象領域に合わせてサイズ調整した動画像を表示する。操作部３０６は、切り出し対象としたいフレームである着目フレームの識別情報、及び対象領域の入力を受け付ける。静止画フレーム切り出し部４０２は、着目フレームの識別情報及び切り出し枚数を含む切り出し条件に基づいて、ストリームデータから対象領域に合わせてサイズ調整した複数の静止画フレームを切り出す。
【選択図】図３

Description

本発明は画像処理装置、画像切り出し方法、及びプログラムに関し、特に動画ファイルから静止画フレームを切り出す画像処理装置、画像切り出し方法、及びプログラムに関する。

ビデオカメラ等の撮像装置を用いて動画像を撮像した場合に、再生中の動画像からユーザが指定した静止画フレームを切り出す技術が知られている。この静止画フレームを参照することにより、ユーザは動画像内での特徴的な場面を正確に把握することができる。この技術の利用シーンとして、ユーザが動画像内の（サッカーやバスケットボール等の）シュートシーンやテニスのサーブシーン等に関する静止画フレームを切り出して確認することなどが考えられる。

特許文献１には、再生された動画像から迅速に所望の静止画フレームを切り出すことができる画像再生装置が開示されている。当該画像再生装置を使用するユーザは、動画再生中に所望の静止画フレームが表示されたと判断した際に画像取り込みボタンを押す。画像再生装置は、画像取り込みボタンが押された際に表示しているフレームから任意の時間間隔毎に前後の静止画フレームを切り出す。そして画像再生装置は、切り出した複数の静止画フレームから保存対象のフレームを選択可能なマルチ画面をユーザに提示する。

特開２００６−３３３２１６号公報

動画像から静止画フレームを切り出す場合、撮影した画角内のある一部分に着目して複数の静止画フレームを切り出したい場合がある。たとえば、テニスコート全体を撮像している場合、ユーザはサーブを打つ選手に着目してサーブの構えからフォロースルーまでの一連の静止画フレームを切り出したい場合がある。しかしながら、サーブを行う選手にズームして撮影を行っていないため、ユーザが求める静止画フレーム、すなわちサーブを行う選手を拡大した一連の静止画フレームを切り出すことができない。すなわち、従来の技術では、動画像からフレーム内の一部分に着目した一連の（複数の）静止画フレームを切り出すことが困難であった。

そこで本発明は、動画像にかかるストリームデータを表示する際に、フレーム内の拡大表示対象となる対象領域に合わせてサイズ調整した動画像を表示する動画表示制御部（４０１）と、切り出し対象としたいフレームである着目フレームの識別情報、及び前記対象領域の入力を受け付ける操作部（３０６）と、前記着目フレームの識別情報及び切り出し枚数を含む切り出し条件に基づいて、前記ストリームデータから前記対象領域に合わせてサイズ調整した複数の静止画フレームを切り出す静止画フレーム切り出し部（４０２）と、を備えることを特徴とする画像処理装置（撮像装置１）を提供する。

本発明では、動画像からフレーム内の一部分に着目した複数の静止画フレームを切り出す画像処理装置、画像切り出し方法、及びプログラムを提供することができる。

実施の形態１にかかる撮像装置１の外観構成図である。 実施の形態１にかかる撮像装置１の内部構成を示すブロック図である。 実施の形態１にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態１にかかる撮像装置１の動作を示すフローチャートである。 実施の形態１にかかる撮像装置１の動作を示すフローチャートである。 実施の形態２にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態２にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態２にかかる液晶モニタ３０４の表示画像の一例を示す図である。 実施の形態２にかかる液晶モニタ３０４の表示画像の一例を示す図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる撮像装置１の外観図である。図１に示すように、撮像装置１は、本体部１１と、モニタ部１２と、ヒンジ１３と、レンズ１４と、を備える。本体部１１の前端には、レンズ１４が設けられている。なお、図１は、モニタ部１２を開いた状態の撮像装置１を示す斜視図である。

本体部１１は、複数のレンズを有するレンズユニットや、撮像素子、バッテリ、Ｗｉ−Ｆｉモジュール等（図示省略）を格納する筐体である。撮像装置１は、画像を撮像するためのレンズユニット及び撮像素子を用いて、静止画及び動画像を撮像することができる。

また、本体部１１の左側面には、モニタ部１２が設けられている。モニタ部１２は、本体部１１に対して、ヒンジ１３を介して連結されている。モニタ部１２は、被写体、記憶された画像データ、設定情報、その他の情報を表示する液晶モニタなどを有している。例えば、ユーザが撮像を行うために、モニタ部１２を開くことで、電源がオン状態となる。なお、モニタ部１２がタッチパネル機能を備える場合には、モニタ部１２の液晶モニタが操作部の一部となる。

モニタ部１２を開いた状態では、モニタ部１２の液晶モニタは、後方側、すなわちレンズ鏡筒の開口方向とは反対方向を向いて配置されている。モニタ部１２は、モニタ部１２を開いた状態において、本体部１１に対して回転可能に連結されている。モニタ部１２を回転させることにより、液晶モニタの向きが、後方側から前方側（レンズ鏡筒の開口方向）に変化する。

なお、本発明に係る撮像装置１は、静止画または動画像を撮像でき、例えば液晶モニタ等の表示部を有するものであれば、その形状、及び構成は特に限定されるものではない。すなわち、撮像装置１は、ビデオカメラに限らず、撮像部及び表示部を有する電子機器（たとえばスマートフォン等の携帯端末装置）であればよい。

次に、撮像装置１の構成について図２を参照して説明する。図２は、本実施の形態にかかる撮像装置１の内部構成を示すブロック図である。

中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、撮像、各種画像の表示、動画像からの静止画フレームの切り出し、切り出した静止画フレームからのインデックス画像の作成等の撮像装置１全体の処理を統括的に制御する。中央制御部４００の内部構成は、図３を参照して後述する。

撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像部１００を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０５に格納する。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０５に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０５に格納する。

多重化部１１３は、メインメモリ２０５に格納された撮像データ及びデジタル音声データの圧縮データを多重化しストリームデータを生成する。また、多重化部１１３は、カード型記録媒体３０２に格納されたストリームデータに逆多重化処理を施し、映像の圧縮データと音声の圧縮データとをそれぞれ分離して生成する。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０５に格納された撮像データ及びデジタル音声データに所定の圧縮処理を施し、圧縮データを生成する。また、圧縮・伸長処理部２０１は、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された映像の圧縮データ及び音声の圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０５から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０５から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成ないし重畳されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro - Luminescence）モニタ等の他のモニタを用いることも可能である。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。

メインメモリ２０５は、撮像データ（動画像及び静止画）の一時記憶領域として使用される。メインメモリ２０５は、中央制御部４００の指令に応じて、保持している多重化されたストリームデータをカード型記録媒体３０２または内蔵型記録媒体２０９に動画ファイル形式で格納する。このとき、ストリームデータの格納先をカード型記録媒体３０２にするか、内蔵型記録媒体２０９にするかについて、ユーザが選択できるようにしてもよい。なお、メインメモリ２０５は、中央制御部４００の演算作業領域としても使用される。

メディア制御部２０６は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２または内蔵型記録媒体２０９へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。

ジャイロセンサ２０７は、３軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ２０７の検出結果に応じて、液晶モニタ３０４の表示向きを変える。時計２０８は、撮像画像データの取得日時の情報等を行う。内蔵型記録媒体２０９は、撮像装置１に予め内蔵されたＲＡＭ等のメモリである。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０５に一時記録された撮像データ、各種メニュー画像データ等、各種画像データから生成された画像を表示する。ここで、液晶モニタ３０４に出力される撮像データは、ユーザが操作部３０６の図示しない録画ボタンをＯＮにしてカード型記録媒体等の図示しない記録媒体に記録するものだけでなく、ユーザが撮像する内容を確認するために液晶モニタ３０４に表示される、いわゆるスルー画像に係るデータも含まれるのは勿論である。スピーカ３０５は、例えばメインメモリ２０５に一時記録された音声を出力する。

操作部３０６は、操作ボタン、又は液晶モニタ３０４上に設けられたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。例えばユーザは、切り出したい静止画フレームが表示された際に操作部３０６を操作（詳細にはキャプチャボタンを押下）する。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、各データを他の装置との間で送受信する。各種情報及び撮像画像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。より具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。

続いて、中央制御部４００の内部構成について図３を参照して説明する。前述のように中央制御部４００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成される。中央制御部４００は、各種の制御処理を行うが、以下の説明ではストリームデータの表示制御、及び当該ストリームデータからの静止画フレームの切り出し制御に関する構成及び動作について説明する。

中央制御部４００は、動画表示制御部４０１、静止画フレーム切り出し部４０２、静止画表示制御部４０３、及びメモリ領域４０４を備える。メモリ領域４０４は、主にＣＰＵのワークエリアとなるＲＡＭ等により構成された記憶領域である。すなわちメモリ領域４０４は、動作表示制御部４０１、静止画フレーム切り出し部４０２、及びインデックス画像表示部４０３の制御に応じてデータが適宜展開されるワークエリアである。なお、メインメモリ２０５をＣＰＵのワークエリアとして利用しても良い。

動画表示制御部４０１は、液晶モニタ３０４上に表示する表示画像を制御する処理部であり、詳細には以下の処理を行う。動画表示制御部４０１は、撮像処理により生成されたストリームデータを多重化部１１３から取得する。動画表示制御部４０１は、ストリームデータと、後述するメニューアイコンやズームアイコン等と、を重畳した動画像を液晶モニタ３０４上に表示する制御を行う。

この際に、動画表示制御部４０１は、操作部３０６を介して設定されたフレームの対象領域に応じて、画像サイズのサイズ調整制御を行う。ここで対象領域とは、液晶モニタ３０４上に動画表示する際に表示対象となる領域であり、静止画フレームの切り出し対象となる領域である。たとえば、フレームの左上を座標（０，０）とした場合、対象領域は、「座標（１００，２００）から３２０×１８０」といったように表される領域である。液晶モニタ３０４のサイズが６４０×３６０である場合、動画表示制御部４０１は上述の対象領域内の画像を２倍に拡大して液晶モニタ３０４に全画面表示する。さらに動画表示制御部４０１は、対象領域がフレーム全体に対してどの位置にあるか等を把握できる俯瞰画像を動画像に重畳して液晶モニタ３０４に表示する。俯瞰画像の詳細は、図８等を参照して後述する。

静止画フレーム切り出し部４０２には、動画表示中に着目フレームの識別情報が入力される。着目フレームとは、ストリームデータから静止画フレームとして保存対象としたいフレームである。ユーザは、液晶モニタ３０４から動画像を参照し、静止画として切り出したいフレームが表示されたタイミングでキャプチャボタン（またはキャプチャアイコン）を押すことにより着目フレームを指定する。キャプチャボタンが押された際に表示されているフレームが着目フレームとなる。指定された着目フレームの情報は、例えば先頭フレームからの経過フレーム数や経過秒数等の形式で静止画フレーム切り出し部４０２に入力されればよい。

また静止画フレーム切り出し部４０２には、操作部３０６の操作により入力された静止画フレームの切り出し条件が入力される。静止画フレームの切り出し条件とは、例えば着目フレームからどのフレーム間隔（経過時間、経過フレーム数）で静止画フレームを切り出すか、何枚の静止画フレームを切り出すか、等を含む条件である。

静止画フレーム切り出し部４０２は、着目フレームと切り出し条件（切り出し枚数、切り出し間隔）を基に静止画フレームを切り出す処理の制御を行う。ここで静止画フレーム切り出し部４０２は、対象領域に応じて液晶モニタ３０４に表示されている静止画フレームを切り出す。すなわち、静止画フレーム切り出し部４０２は、サイズ調整を行なった静止画フレームを指定された切り出し枚数だけ切り出す。静止画フレーム切り出し部４０２は、切り出し枚数に応じて切り出した複数の静止画フレームを関連付けてカード型記録媒体３０２または内蔵型記録媒体２０９に格納する。静止画フレームは、例えばＪＰＥＧ形式にエンコードされてカード型記録媒体３０２または内蔵型記録媒体２０９に格納される。

静止画表示制御部４０３は、静止画フレーム切り出し部４０２が切り出した静止画フレームの表示制御を行う。静止画フレーム切り出し部４０２が複数の静止画フレームを切り出した場合、静止画表示制御部４０３はこれらの静止画フレームを一覧するインデックス画像を生成する。詳細には静止画表示制御部４０３は、これらの静止画フレームを、ストリームデータの先頭フレームからの経過フレーム数の小さい順に整列して配置したインデックス画像を生成する。なお、整列方向はユーザの指定に応じて変更してもよい。静止画表示制御部４０３は、ユーザの操作に応じてインデックス画像を生成し、生成したインデックス画像を液晶モニタ３０４に表示する。なお静止画表示制御部４０３は、生成したインデックス画像をカード型記録媒体３０２または内蔵型記録媒体２０９に格納してもよい。

続いて、具体例を交えて撮像装置１の動作について説明する。以下の説明では、テニスの試合を撮影した動画ファイルを対象とする。ユーザは、一般的な撮像装置１の操作によりテニスの試合の視聴を開始する。

図４は、動画視聴開始時の液晶モニタ３０４の表示画像の一例を示す。図４に示す表示画像には、テニスの試合を撮影した動画像上に、メニューアイコン５０１やスライドバー５０２が表示されている。なお表示画像には、例えば電池残量表示アイコン等が表示されていてもよい。ユーザは、これらのスライドバー５０２や電池残量表示アイコンの表示／非表示を切り替えてもよい。

ユーザは、メニューアイコン５０１を選択し、メニュー画面（図示せず）から静止画キャプチャモードを選択する。これに応じて図５に示す切り出し条件の設定画像６００が液晶モニタ３０４上に表示される。当該設定画像６００には、切り出し間隔設定ボックス６０１、切り出し枚数メニュー６０２、及び設定アイコン６０３が表示されている。切り出し間隔設定ボックス６０１は、静止画フレームの切り出し間隔をフレーム間隔で指定するボックス６０４と時間間隔で指定するボックス６０５を有する。ユーザは、ボックス６０４またはボックス６０５の一方のラジオボタンを選択し、かつ選択したボックス内から所望の間隔を選択する。図５の例では、ユーザはフレーム間隔として２フレーム、４フレーム、８フレーム、１５フレーム、３０フレームを選択できる。同様に、ユーザは時間間隔として０．１秒、０．２秒、０．４秒、０．６秒、０．８秒を選択できる。

またユーザは、切り出し枚数メニュー６０２から静止画フレーム切り出し部４０２が切り出す静止画フレームの枚数を選択する。図５の例では、ユーザは切り出し枚数として１枚、４枚、９枚、１６枚、２５枚、３６枚が選択できる。

ユーザは、設定アイコン６０３を押下することにより設定処理を確定する。設定アイコンが押下された場合、切り出し間隔及び切り出し枚数の設定値が静止画フレーム切り出し部４０２に入力される。また設定アイコン６０３の押下後に図６に示すキャプチャモードの表示画像に切り替わる。なお、図５に示す設定画面での設定をスキップし、切り出し条件としてデフォルトの値を用いてもよい。

図６は、キャプチャモードの表示画像の一例を示す。この表示画像には、図４に示す表示画像に加えてズームアイコン５０３が画面下部に表示される。ユーザがズームアイコン５０３を押下すると図７に示す表示画像に遷移する。図７に示す表示画像には、拡大アイコン５０４、縮小アイコン５０５、対象領域カーソル５０６、俯瞰画像５０７が表示される。

対象領域カーソル５０６は、対象領域（液晶モニタ３０４上に動画表示する際に表示対象となる領域）の中心を設定するための領域である。ユーザは、対象領域カーソル５０６を指またはボタンで移動させることにより、対象領域の中心点を設定する。

拡大アイコン５０４は、対象領域カーソル５０６が示す対象領域の中心からのズーム率を設定するためのアイコンである。拡大アイコン５０４を押下することによりズーム率が大きくなる。拡大アイコン５０４は、長押し等に対応したアイコンである。

同様に縮小アイコン５０５は、対象領域カーソル５０６が示す対象領域の中心からのズーム率を設定するためのアイコンである。縮小アイコン５０５を押下することによりズーム率が小さくなる。縮小アイコン５０５は、長押し等に対応したアイコンである。

対象領域の中心点及びズーム率により、対象領域が一意に定まる。動画表示制御部４０１は、対象領域の設定変更に応じてフレーム全体から対象領域に該当する部分フレームを切り出す。そして動画表示制御部４０１は、切り出した部分フレームを液晶モニタ３０４のサイズに合わせて拡大して動画表示を行う。この際の拡大処理は、一般的な画素値補間処理を用いて実行されればよい。

例えば図７では、サーブを打つ選手に対象領域カーソル５０６が設定されている。ここでユーザが拡大アイコン５０４を押下した場合、動画表示制御部４０１は、サーブを打つ選手を中心に拡大した動画表示を行う。図７の状態において拡大アイコン５０４が押下された場合の表示画像を図８に示す。

俯瞰画像５０７は、フレームサイズ（例えば６４０×３６０）と対象領域（座標（１００，２００）から３２０×１８０）の関係を示す画像である。俯瞰画像５０７は、図示するように動画像に重畳する形で表示される。俯瞰画像５０７の外枠は、フレームの全体サイズを示す。俯瞰画像５０７内の点線５０８は、全体のフレームサイズ内のどの箇所を拡大表示しているか（すなわちどの領域が対象領域であるか）を示す。動画表示制御部４０１は、対象領域とフレームサイズの関係から俯瞰画像５０７を生成し、生成した俯瞰画像５０７を動画像に重畳する表示制御を行う。

なお、俯瞰画像５０７は、内部に点線５０８の領域を持つことによりフレーム内での位置を示すものとしたが、必ずしもこれに限られない。たとえば、ドットや○等の記号により対象領域がフレーム全体の内のどの位置にあるかを示してもよい。

ユーザは、図８に示すような表示画像を参照し、静止画フレームとして切り出したい場面が表示された場合にスナップショットボタンを押下する。スナップショットボタンは、静止画フレームの切り出しを指示するためのボタンであり、撮像装置１の筐体上に設けられている。なおスナップショットボタンは、液晶モニタ３０４上にアイコンとして表示されてもよい。

静止画フレーム切り出し部４０２には、スナップショットボタンが押された際に表示しているフレーム（すなわち着目フレーム）の識別情報（例えば動画ファイルの先頭からの経過フレーム数）が入力される。静止画フレーム切り出し部４０２は、着目フレームの識別情報、対象領域（図８のように表示対象となっているフレーム領域）、及び切り出し条件（切り出し間隔、切り出し枚数）に応じて静止画フレームを切り出す。すなわち静止画フレーム切り出し部４０２は、対象領域に応じてサイズ調整がされた静止画フレームを切り出す。

静止画フレーム切り出し部４０２は、静止画フレームの切り出しを行ったタイミングで、何枚目のフレーム切り出しを行ったかを動画表示制御部４０１に通知する。この通知を受信した動画表示制御部４０１は、図９に示すように動画像表示と同期して何枚目の静止画フレームを切り出し中であるかを表示する。図９に示す表示画像では、３枚目の静止画フレームを切り出していることを示すラベル５０９が表示されている。

続いて、静止画フレーム切り出し部４０２が切り出した静止画フレームの表示について説明する。ユーザは、図示しないボタン操作等を行うことにより静止画表示モードに切り替える。静止画表示モードに切り替わった場合、図１０に示すような静止画フレームを選択する表示画像が表示される。当該表示画像は、撮影日時に応じて整列されてインデックス表示されている。表示対象となる静止画フレームの全てが一画面にインデックス表示できない場合、次ページアイコン５１０や前ページアイコン５１１が表示される。ここで、静止画フレーム切り出し部４０２が複数の静止画フレームを切り出した場合、これらの複数の静止画フレームはグルーピングされ、当該グループ内の１枚の静止画フレーム（例えばもっとも表示タイミングの早い静止画フレーム）のみがインデックス表示される。なお、グルーピングされた静止画フレームのアイコンは、図１０に示すようにフレームが重ねられているように表示される。

ユーザは、表示画面（図１０）をタッチして表示対象となる静止画フレームを選択する。ユーザがグルーピングされていない静止画フレームを選択した場合、静止画表示制御部４０３は、選択された静止画フレームをそのまま液晶モニタ３０４に全画面表示する。

一方、ユーザがグルーピングされている静止画フレームを選択した場合、静止画表示制御部４０３は、グルーピングされている静止画フレームを一覧表示するためのインデックス画像を生成する。９枚の静止画フレームから生成したインデックス画像の一例を図１１に示す。一般的に静止画フレームの各々には、それぞれストリームデータの先頭フレームからの経過フレーム数に応じて撮影日時がタグ付けされている。静止画表示制御部４０３は、この経過フレーム数の小さい順に静止画フレームを整列してインデックス画像内に配置する。詳細には静止画表示制御部４０３は、上段の左側の領域にグループ内で最も撮像日時の古い（経過フレーム数が最も少ない）静止画フレームをインデックス表示する。同様に静止画表示制御部４０３は、上段の真ん中の領域にグループ内で２番目に撮像日時の古い（経過フレーム数が２番目に少ない）静止画フレームをインデックス表示する。このように静止画表示制御部４０３は、図１１の点線矢印で示す方向に撮像日時順に整列した静止画フレームをインデックス表示する。図１１の例では、ユーザは、テニスサーブの構えからフォロースルーまでの一連のフォームを確認することができる。なお配置方向はあくまで例示であり、ユーザが配置方向を任意に設定できるようにしてもよい。

なお、ユーザの表示モードの切り替えに応じて、グルーピングされた静止画フレームの表示形態を適宜変更できるようにしてもよい。表示モードは、上述のインデックス表示を行うモード（図１１）に加え、通常の全画面表示モード、スライドショー表示モード等が考えられる。ユーザにより全画面表示モードが選択された場合、静止画表示制御部４０３は、次ページアイコンや前ページアイコンと１枚の静止画フレームを重畳した表示画像を生成する。ユーザは当該表示画像上の次ページアイコンや前ページアイコンを操作することにより、表示する静止画フレームを切り替える。

ユーザによりスライドショー表示モードが選択された場合、静止画表示制御部４０３は、グルーピングされた静止画フレームのうちの一枚を全画面表示し、一定時間が経過した後に撮影日時に応じて表示対象の静止画フレームを変更して全画面表示する。

次に図１２及び図１３のフローチャートを参照して、撮像装置１の動作を改めて説明する。図１２は、静止画キャプチャモードでの撮像装置１の動作を示すフローチャートである。ユーザは、メニューアイコン５０１を選択し、メニュー画面（図示せず）から静止画キャプチャモードを選択する。これに応じて撮像装置１は、静止画キャプチャモードでの切り出し条件を設定する選択画面（図５）を表示する。なお、撮像装置１は、静止画キャプチャモードの開始時のみならず、ユーザの操作に応じた任意のタイミングで切り出し条件の選択画面（図５）を表示してもよい。ユーザは、選択画面から切り出し条件（切り出し間隔、切り出し枚数）を設定する。静止画フレーム切り出し部４０２には、選択画面から設定された切り出し条件が入力される（Ｓ１１）。

切り出し条件の選択後に、撮像装置１は、動画像表示を開始する。ユーザは、動画像表示中に対象領域カーソル５０６や拡大アイコン５０４を操作することにより対象領域を設定する。動画表示制御部４０１は、設定された対象領域に応じて動画像のズーム表示を行うとともに俯瞰画像５０７を生成して液晶モニタ３０４上に表示する（Ｓ１２）。

ユーザは、液晶モニタ３０４を参照し、静止画として保存したい場面が表示されたタイミングでスナップショットボタンを押す。スナップショットボタンが押されたタイミングで表示されているフレームが着目フレームとなる。静止画フレーム切り出し部４０２は、対象領域及び切り出し条件（切り出し間隔、切り出し枚数）に応じて静止画フレームを切り出す（Ｓ１３）。

続いて図１３を参照して、静止画表示モードにおける撮像装置１の動作について説明する。ユーザは、メニューアイコン５０１を選択し、メニュー画面（図示せず）から静止画表示モードを選択する。撮像装置１は、液晶モニタ３０４上に静止画フレームの選択画面（図１０）を表示する（Ｓ２１）。ユーザは、当該選択画面（図１０）から表示対象となる静止画フレームを選択する。

静止画表示制御部４０３は、選択された静止画フレームがグルーピングされているか否かを判定する（Ｓ２２）。ユーザがグルーピングされていない静止画フレームを選択した場合（Ｓ２２：Ｎｏ）、静止画表示制御部４０３は、選択された静止画フレームをそのまま液晶モニタ３０４に全画面表示する（Ｓ２３）。

ユーザがグルーピングされている静止画フレームを選択した場合（Ｓ２２：Ｙｅｓ）、静止画表示制御部４０３は、グルーピングされている静止画フレームを一覧表示するためのインデックス画像（図１１）を生成する（Ｓ２４）。そして静止画表示制御部４０３は、生成したインデックス画像を液晶モニタ３０４上に表示する（Ｓ２４）。なお静止画表示制御部４０３は、前述のように表示モードの切り替えに応じて、グルーピングされた静止画フレームの表示形態（通常の全画面表示モード、スライドショー表示モード）を適宜変更してもよい。

続いて本実施の形態にかかる撮像装置１の効果について説明する。本実施の形態にかかる撮像装置１は、サイズ調整を行った動画像表示を行い、キャプチャボタン（操作部３０６）の操作に応じてサイズ調整を行った動画像から静止画フレームを切り出す。これにより、ユーザはフレーム内のある特定箇所に着目した、すなわち拡大した静止画フレームを切り出すことができる。また撮像装置１は、キャプチャボタン（操作部３０６）の１回の操作に応じて複数の静止画フレームを切り出すことができる。すなわち、一度の操作に応じて、関連する複数の静止画フレームをまとめて切り出すことができ、ユーザの操作を簡便にすることができる。

また複数の静止画フレームを切り出す際に、切り出し間隔や切り出し枚数を設定することができる。これにより、動画像の内容や表示シーンに応じて複数の静止画フレームを適切に切り出すことができる。例えば動きの速いシーンを細かく分析したい場合、ユーザは切り出し間隔を短くするとともに切り出し枚数を多数にすればよい。

さらに図８等に示すように、動画像表示に重畳して俯瞰画像５０７が表示される。これによりユーザは、フレーム全体の内のどの箇所が表示対象となっているかを把握することができる。

＜実施の形態２＞
本発明の実施の形態２にかかる撮像装置１は、動画像内の追従対象物の動きに応じて対象領域を更新することを特徴とする。以下、本実施の形態にかかる撮像装置１について、実施の形態１と異なる点を説明する。

図１４は、本実施の形態にかかる中央制御部４００の構成を示すブロック図である。本実施の形態にかかる中央制御部４００は、図３に示す構成に加えて対象領域更新部４０５を備える。

対象領域更新部４０５には、図示しない設定画面等を介して入力された追従対象物の情報が入力される。追従対象物とは、対象領域の追従対象となる撮像物であり、例えば人の顔、ボール等の動体が挙げられる。対象領域更新部４０５は、ユーザによって対象領域が設定されたのちに、対象領域内に追従対象物が存在する位置を検出し、動画像の再生に応じて追従対象物が対象領域の略中心に位置するように対象領域を適宜更新する。

例えば対象領域更新部４０５は、一般的に用いられる顔認識技術や動体認識技術を用いて動画像を解析する。対象領域更新部４０５は、解析結果に応じて対象領域の座標を割り出し、当該対象領域の座標を動画表示制御部４０１に供給する。動画表示制御部４０１は、供給された対象領域の座標に応じてフレーム全体から切り出す部分フレームの位置を変化させて動画表示を行う。

続いて本実施の形態にかかる撮像装置１の動作例について実施の形態１と異なる点を説明する。なお、以下の説明ではバスケットボールの試合を撮像した動画ファイルをデコードしたストリームデータから静止画フレームを切り出す場合の動作を例として説明を行う。

図１５は、キャプチャモードの表示画像を示す図である。図示するようにバスケットボールの試合が表示されており、ある選手がシュートを打った状態のフレームである。この際に、拡大アイコン５０４が押下された場合、図１６に示すような表示画像が液晶モニタ３０４に表示される。なお、拡大アイコン５０４を押下した際に、動画表示を一時停止し、タッチ操作により追従対象物を指定できるようにしてもよい。以下の説明では、バスケットボール５１２が追従対象物として指定されたものとする。

図１６は、シュートを打った選手及びバスケットボール５１２が表示されている表示画像である。この際に動画表示制御部４０１が前述の動作を行うことにより俯瞰画像５０７が図示するように表示される。俯瞰画像５０７内の点線５０８は、フレーム内の中央からやや右にずれた位置に表示されている。

ここで対象領域更新部４０５は、表示中の動画像を解析し、設定された追従対象物（本例ではバスケットボール５１２）の動きに応じて対象領域を更新する。バスケットボール５１２は、時間の経過に伴いバスケットゴール方向に移動する。対象領域更新部４０５は、バスケットボール５１２の移動方向を検出し、バスケットボール５１２が略中心に位置するように対象領域の座標を更新する。対象領域更新部４０５は、更新した対象領域の座標を順次動画表示制御部４０１に供給する。動画表示制御部４０１は、対象領域に応じてサイズ調整を行った動画像を液晶パネル３０４上に表示する。

図１７は、図１６に示す表示画像の表示タイミングから所定時間経過した後の表示画像を示す図である。図示するように、対象領域更新部４０５による対象領域の更新により、バスケットボール５１２が画面略中央に表示されている。また対象領域の更新により、俯瞰画像５０７内の点線５０８は、フレーム内の左上に表示されている。

続いて本実施の形態にかかる撮像装置１の効果について説明する。本実施の形態にかかる撮像装置１は、中央制御部４００内に対象領域更新部４０５を備える構成である。対象領域更新部４０５は、追従対象物の移動に追従するように対象領域のフレーム内位置を適宜更新する。これにより、ユーザは着目したい対象を常に確認しながら静止画フレームの切り出しを行うことができる。上述のようにバスケットボール５１２が追従対象である場合、ボールの回転等も鮮明に映った複数の静止画フレームを切り出すことができる。

なお上述の説明ではバスケットボール５１２に対象領域が追従したがこれに限られず、様々な使用方法が考えられる。例えば対象領域がある特定の人間（例えばバスケットボールの試合中の特定選手）に追従する場合、ユーザは特定の人間に関する複数の静止画フレームを容易に切り出すことができる。またスポーツを撮影した動画像に限られず、その他の動画像を対象とする場合であっても、対象領域が更新されることは有益である。例えば、子供を撮影した動画像を対象とした場合、子供を画面の中心に配置した静止画フレームを容易に切り出すことができる。

以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

さらに、本実施の形態においては、撮像装置を対象として本発明を説明したが、本発明を撮像能力の無い装置（例えば、画像処理装置）に応用することも可能である。当該画像処理装置には、動画を撮像可能な撮像装置から動画ファイルが適宜入力される。そして、画像処理装置は、外部から入力された動画ファイルを基に、上述した処理を実行するようにしてもよい。

また、上述の撮像装置１の任意の処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

１ 撮像装置
４００ 中央制御部
４０１ 動画表示制御部
４０２ 静止画フレーム切り出し部
４０３ 静止画表示制御部
４０４ メモリ領域
４０５ 対象領域更新部

Claims (9)

1. 動画像にかかるストリームデータを表示する際に、フレーム内の拡大表示対象となる対象領域に合わせてサイズ調整した動画像を表示する動画表示制御部と、
   切り出し対象としたいフレームである着目フレームの識別情報、及び前記対象領域の入力を受け付ける操作部と、
   前記着目フレームの識別情報及び切り出し枚数を含む切り出し条件に基づいて、前記ストリームデータから前記対象領域に合わせてサイズ調整した複数の静止画フレームを切り出す静止画フレーム切り出し部と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の静止画フレームを前記ストリームデータの先頭フレームからの経過フレーム数に応じて一画面内に配置したインデックス画像を生成する静止画表示制御部、を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記動画表示制御部は、
   前記サイズ調整した動画像と、フレームサイズに対する前記対象領域のフレーム内位置を表示する俯瞰画像と、を重畳的に表示することを特徴とする請求項１に記載の画像処理装置。
4. 前記動画表示制御部は、前記俯瞰画像内に前記フレームサイズに対する前記対象領域の大きさを表示することを特徴とする、請求項３に記載の画像処理装置。
5. 前記所定切り出し条件は、前記着目フレームからの切り出しフレームのフレーム間隔を含み、
   前記静止画フレーム切り出し部は、前記フレーム間隔に基づいて前記複数の静止画フレームを切り出すことを特徴とする請求項１〜請求項４のいずれか１項に記載の画像処理装置。
6. 前記所定切り出し条件は、前記着目フレームからの切り出しフレームの時間間隔を含み、
   前記静止画フレーム切り出し部は、前記時間間隔に基づいて前記複数の静止画フレームを切り出すことを特徴とする請求項１〜請求項５のいずれか１項に記載の画像処理装置。
7. 前記対象領域内での追従対象物の動きに合わせて、前記対象領域を更新する対象領域更新部を更に備えることを特徴とする請求項１〜請求項６のいずれか１項に記載の画像処理装置。
8. 動画像にかかるストリームデータを表示する際に、フレーム内の拡大表示対象となる対象領域に合わせてサイズ調整した動画像を表示する動画表示制御ステップと、
   切り出し対象としたいフレームである着目フレームの識別情報、及び前記対象領域の入力を受け付け、前記着目フレームの識別情報及び切り出し枚数を含む切り出し条件に基づいて、前記ストリームデータから前記対象領域に合わせてサイズ調整した複数の静止画フレームを切り出す静止画フレーム切り出しステップと、
   を備えることを特徴とする画像切り出し方法。
9. コンピュータに、
   動画像にかかるストリームデータを表示する際に、フレーム内の拡大表示対象となる対象領域に合わせてサイズ調整した動画像を表示する動画表示制御ステップと、
   切り出し対象としたいフレームである着目フレームの識別情報、及び前記対象領域の入力を受け付け、前記着目フレームの識別情報及び切り出し枚数を含む切り出し条件に基づいて、前記ストリームデータから前記対象領域に合わせてサイズ調整した複数の静止画フレームを切り出す静止画フレーム切り出しステップと、
   を実行させることを特徴とするプログラム。

Images