JP2012124789A - 情報処理装置、及びその制御方法、プログラム - Google Patents

Abstract

【課題】シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減する。
【解決手段】記憶装置に記憶された動画データを構成する複数のフレームの中から、表示部に表示する縮小画像の数に従って、表示部に表示する複数のフレームを特定し、当該特定された複数のフレームの縮小画像を表示部に表示する仕組みにおいて、当該特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定し、シーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、表示部に表示するフレームとして特定する。
【選択図】図４

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、ユーザによる、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減する技術に関するものである。

従来、動画編集を行う仕組みにおいて、編集対象の動画のフレームを検索するために、ユーザは、動画のおおよそ全体を再生してフレームを確認するか、再生スライダ１０４等を操作しながら早送り等を行い、編集する動画内のフレームを確認している。

図１に、動画編集を行うために動画のフレームを表示する従来のフレーム表示画面１００の例を示す。

従来、ユーザは、動画表示領域１０１に表示される１つフレームを確認しながら、目的とするフレームを特定している。例えば、ユーザがムービーコントローラ領域１０２の各オブジェクト（ムービー再生停止ボタン１０３、再生中のフレームの位置と連動した再生スライダ１０４、コマ戻しボタン１０５、コマ送りボタン１０６）を操作して、動画表示領域１０１に表示される１つフレームをユーザが確認しながら、どのフレームから動画を切り出すか等をユーザが判断している。なお、図１の１０７は、再生中のフレームの位置と連動した再生時刻表示領域であり、１０８は、フレームの決定ボタンである。

このように、目的とするフレームを特定するために、従来、ユーザは、多くの操作を必要とする。

特許文献１には、目的の映像を見つけるために、ジャンルを選択するための画面を表示して、当該選択されたジャンルの映像の中から、設定された時間の映像、代表シーンの検索などを行うことが記載されている。

また、特許文献２には、動画の所定時間間隔の複数のフレームを表示窓に表示して、左右方向指示キーの操作によりサムネイル間の時間間隔を変更し、また、上下方向指示キーの操作により、表示窓に表示される複数のサムネイルを、表示窓間で移動表示（スクロール表示）できることが記載されている。

特開平０９−２４７６０２号公報 特開２００６−２７９２６７号公報

しかしながら、上記特許文献１は、設定された時間の映像や、検索された代表シーンを表示することは可能であるが、検索された代表シーンをそのまま目的のフレームとして利用することは実務上少なく、実際は、ユーザが、その代表シーンの近傍の（前後の）複数のフレームを確認して、目的のフレームとして決定することが多い。

そのため、ユーザは、依然として、検索された代表シーン近傍の前後の動画のフレームを再生して確認しなければならず、ユーザは、１つ再生画面に表示される映像を確認しながら、目的とするフレームを特定しなければならず、依然として、ユーザが、前後の動画のフレームを記憶して、どのフレームが良いかを決定しなければならず、その決定を容易に行うことが困難であった。

また、特許文献２のように、サムネイル間の時間間隔を変更することで、目的とするフレームを特定していくことは可能ではあるが、例えば、シーンの異なるフレームを特定する場合は、ユーザは、依然として、多くのフレームを確認しなければならず、かつ、多くの操作を必要とする。

そこで、本発明の目的は、動画データを構成する複数のフレームの中から、表示部に表示する縮小画像の数に従って、該表示部に表示する複数のフレームを特定し、当該特定された複数のフレームの縮小画像を表示部に表示する仕組みにおいて、当該特定されたフレーム間のフレームを解析して、当該フレーム間にシーンが異なるフレームがあるかを判定し、シーンが異なると判定されフレームを表示部に表示するフレームとして特定することにより、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することである。

本発明は、動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置であって、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定手段と、前記特定手段で特定された複数のフレームの縮小画像を前記表示部に表示する表示手段と、前記特定手段で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定手段と、を備え、前記特定手段は、前記判定手段で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とする。

また、本発明は、動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置の制御方法であって、前記情報処理装置の特定手段が、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定工程と、前記情報処理装置の表示手段が、前記特定工程で特定された複数のフレームの縮小画像を前記表示部に表示する表示工程と、前記情報処理装置の判定手段が、前記特定工程で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定工程と、を備え、前記特定工程は、前記判定工程で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とする。

また、本発明は、動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置で読み取り実行可能なプログラムあって、前記情報処理装置を、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定手段と、前記特定手段で特定された複数のフレームの縮小画像を前記表示部に表示する表示手段と、前記特定手段で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定手段として機能させ、前記特定手段は、前記判定手段で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とする。

本発明は、動画データを構成する複数のフレームの中から、表示部に表示する縮小画像の数に従って、該表示部に表示する複数のフレームを特定し、当該特定された複数のフレームの縮小画像を表示部に表示する仕組みにおいて、当該特定されたフレーム間のフレームを解析して、当該フレーム間にシーンが異なるフレームがあるかを判定し、シーンが異なると判定されフレームを表示部に表示するフレームとして特定することにより、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することができる。

従来のフレーム表示画面の例を示す図である。 本発明の実施形態における動画編集システムの構成を示す図である。 図２に示した動画編集装置２０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本実施の形態における、動画データのフレームを表示し動画データを編集するためのフレーム表示画面４００を示す図である。 フレームの絞り込み処理により、サムネイル表示領域４０８に表示されるサムネイルの画面遷移を説明するための図である。 動画編集装置２０２で実行される動画編集処理のフローチャートを示す図である。 フレームの絞り込み処理（ステップＳ６０９）の詳細処理を示すフローチャートである。 サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理を示すフローチャートである。 ステップＳ６００の処理の詳細処理を示すフローチャートである。 差異値サムネイル数関係テーブルの一例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図２は、本発明の実施形態における動画編集システムの構成を示す図である。

尚、図２に示す動画編集システムは、カメラ２００で動画が撮影され得られた動画データである動画ファイルを編集対象として説明するが、これは一例であり、カメラ以外の装置で生成された動画データも編集対象となることは言うまでもない。

動画編集システムは、カメラ２００と、本発明の情報処理装置である動画編集装置２０２とから構成される。

カメラ２００は、動画を撮影可能なカメラ（デジタルカメラやデジタルビデオカメラ等）である。

カメラ２００により撮影され生成された動画ファイル２０１は、本発明の情報処理装置である動画編集装置２０２に入力される。

そして、動画編集装置２０２は、動画編集処理の結果、得られる編集後の動画ファイル２０３を外部メモリに記憶する。

次に、本実施の形態における動画編集装置２０２のハードウェア構成について、図３を用いて説明する。

図３は、図２に示した動画編集装置２０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図３において、３０１はＣＰＵで、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、３０５は入力コントローラで、キーボード（ＫＢ）３０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。

３０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）３１０等の表示器（表示部）への表示を制御する。なお、図３では、ＣＲＴ３１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

３０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。

３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ＣＲＴ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられるファイル及び各種テーブル等も、外部メモリ３１１に格納されている。

図４は、本実施の形態における、動画データのフレームを表示し動画データを編集するためのフレーム表示画面４００を示す図である。

ここで、フレームとは、動画を構成する１つ１つの画像のことである。

ユーザ（利用者）は、キーボードやマウスを用いて、フレーム表示画面４００を介して、表示される動画データ（単に動画とも言う）のフレームを指定することができる。

本実施例においては、フレームのイン点（編集開始ポイント）とアウト点（編集終了ポイント）の両方を指定することが可能であるが、イン点のみ、あるいはアウト点のみを指定できることは言うまでもない。

動画編集装置２０２は、カメラ２００から入力され外部メモリ３１１に記憶している動画データを読み出すと、フレーム表示画面４００をＣＲＴ３１０等の表示部に表示する。

そして、動画編集装置２０２は、当該読み出された動画データのフレームをフレーム表示画面４００内の動画表示領域４０１に表示する。

４０８は、サムネイル表示領域であり、後述する処理により決定される表示数の、当該読み出された動画のフレームのサムネイルが表示される。サムネイルは、本発明の縮小画像の適用例である。なお、動画編集装置２０２は、動画のフレームに基づいて、そのフレームのサムネイルを生成することができる。後の説明で用いられるサムネイルは、動画のフレームに基づいて、適宜生成されサムネイル表示領域に表示さる。

ユーザにより、サムネイル表示数増ボタン４１０が押下されるとサムネイル表示数を増やすことができ（例えば、倍にすることができ）、サムネイル表示数減ボタン４０９が押下されるとサムネイル表示数を少なくする（例えば、半分にする）ことができる。

尚、シーン検索チェックボックス４１３が押下されるとシーン検索処理が有効と設定され、再度押下されるとシーン検索処理が無効と設定される。これらのサムネイル表示領域の詳細については、後述する。

ユーザにより、マウスなどの入力装置を用いて、再生ボタン４０２が押下されると、動画表示領域４０１での動画再生を開始する。

また、動画再生中に再生ボタン４０２が再度押下されることで、再生を停止する。

また、コマ戻しボタン４０６、コマ送りボタン４０７が再生停止中に押下されると、一コマ単位で動画表示領域に表示されるフレームを更新表示することができる。

なお、必要に応じて、早送り、巻き戻しなどのボタンをフレーム表示画面に設けてもよい。

再生時刻スライダ４０３は、動画表示領域４０１に表示されているフレームの現在の再生時刻（動画ファイルのデータ位置）を示す。

スライダの左端が動画先頭、スライダの右端が動画の末尾となり、再生時刻スライダノブ４０４の表示位置が、現在の、動画表示領域４０１に表示されているフレームの再生時刻となる。

利用者は、再生時刻スライダノブ４０４の位置とその位置での再生時刻を表す時刻表示領域４０５で動画の再生時刻を知ることができる他、再生時刻スライダノブ４０４を直接マウスで移動することで、再生時刻を任意に変更できる。

動画表示領域４０１に検索対象のフレームが表示されている際に、イン点ボタン４１１またはアウト点ボタン４１２が押下されると、再生時刻スライダ４０３の上にイン点またはアウト点を表すマークが表示される。

また、イン点またはアウト点を表すマーク表示中にイン点ボタン４１１またはアウト点ボタン４１２を再度押下することで、イン点またはアウト点を取り消す事がすることができる。

４１４は、イン点ボタン４１１、及び／又はアウト点ボタン４１２が押下され、イン点、及び／又はアウト点が設定された内容を決定するための決定ボタンである。

次に、図６を用いて、動画編集装置２０２で実行される動画編集処理について説明する。

図６は、動画編集装置２０２で実行される動画編集処理のフローチャートを示す図である。

図６に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。

まず、動画編集装置２０２は、外部メモリ３１１に記憶されている動画ファイルを取得して、当該動画ファイルを解析する。そして、その解析の結果、サムネイル表示領域に表示するサムネイル数（表示数）と、表示するサムネイルとを決定し、決定されたサムネイルを、決定されたサムネイル数分、サムネイル表示領域４０８に表示する（ステップＳ６００）。

まら、その際に、動画編集装置２０２は、サムネイル表示領域４０８に表示するサムネイルを生成するためのフレームを動画ファイルから抽出し、抽出したフレームの時刻と、抽出したフレームに基づいて生成したサムネイルとを記憶する。

ステップＳ６００の詳細処理については、図９を用いて、詳細に後で説明する。

次に、動画編集装置２０２は、ステップＳ６００で記憶されたサムネイルに対応する動画のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。ここでステップＳ６０１では、ステップＳ６００で記憶された時刻のフレームを表示する。

ステップＳ６００で表示されているサムネイルが複数ある場合は、例えば、当該複数のサムネイルのうち、（再生）時刻が最も早いサムネイルの動画のフレームを動画表示領域４０１に表示する。

ここで、動画編集装置２０２は、ユーザによるキーボードやマウス等の操作に従って、コマ送りボタン４０７が押下されると１コマ進み、コマ戻しボタン４０６が押下されると１コマ戻す。

次に、ユーザが、サムネイル表示領域４０８に表示されているサムネイル数のままで、サムネイル表示領域４０８に表示されているサムネイルよりも細かい時間間隔のサムネイルを確認したい場合は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、よりも細かい時間間隔で確認したいサムネイルを選択する。

そして、動画編集装置２０２は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、ユーザによるサムネイルの選択を受け付けた（第１の受付手段）と判定された場合（ステップ６０２：Ｙｅｓ）、フレームの絞り込み処理を実行する（ステップＳ６０９）。

フレームの絞り込み処理（ステップＳ６０９）の詳細処理は、図７を用いて、後で説明する。

そして、フレームの絞り込み処理を実行すると、処理をステップＳ６０１に戻して、当該フレームの絞り込み処理を実行して記憶される時刻のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。

そして、動画編集装置２０２は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、ユーザによるサムネイルの選択を受け付けていないと判定された場合（ステップＳ６０２：ＮＯ）、サムネイル表示数減ボタン４０９またはサムネイル表示数増ボタン４１０の何れかが、ユーザにより押下されたか否かを判定する（ステップＳ６０３）。すなわち、ユーザによる操作に従って、表示するサムネイルの数の変更指示を受け付けた（第２の受付手段）か否かを判定する。そして、押されていたと判定された場合（ステップ６０３：Ｙｅｓ）には、サムネイル表示数の変更処理を実行する（ステップＳ６１０）。そして、サムネイル表示数の変更処理を実行すると、処理をステップＳ６０１に戻して、当該サムネイル表示数の変更処理を実行して記憶される時刻のフレームを動画表示領域 ４０１に表示する（ステップＳ６０１）

サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理は、後で、図８を用いて説明する。

また、動画編集装置２０２は、サムネイル表示数減ボタン４０９またはサムネイル表示数増ボタン４１０の何れも、ユーザにより押下されていないと判定した場合（ステップ６０３：Ｎｏ）には、ユーザにより、イン点ボタン４１１またはアウト点ボタン４１２が押下されたか否かを判定し（ステップ６０４）、押下されたと判定された場合（ステップ６０４：Ｙｅｓ）には、当該押下されたイン点またはアウト点の時刻を記憶保存する（ステップＳ６１１）。

そして、動画編集装置２０２は、ステップＳ６１１で記憶した時刻のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。

このとき、動画編集装置２０２は、イン点ボタン４１１が押されていた場合には、時刻表示領域４０５に表示されている時刻（ステップＳ６１１で記憶した時刻）イン点として記憶し、再生時刻スライダ４０３上にその時刻を示す位置にイン点を示すマークを表示する。また、動画編集装置２０２は、アウト点ボタン４１２が押されていた場合には、時刻表示領域４０５に表示されている時刻（ステップＳ６１１で記憶した時刻）をアウト点として記憶し、再生時刻スライダ４０３上にその時刻を示す位置にアウト点を示すマークを表示する。

また、動画編集装置２０２は、ユーザにより、イン点ボタン４１１またはアウト点ボタン４１２が押下されていないと判定された場合（ステップ６０４：Ｎｏ）には、ユーザにより決定ボタン４１４が押下されたか否かを判定し（ステップ６０５）、決定ボタン４１４が押下されたと判定された場合（ステップ６０５：Ｙｅｓ）には、現在、記憶されているイン点、及び／又はアウト点の時刻を、編集後の動画ファイル２０３の再生開始点、及び／又は再生終了点として記憶する（ステップＳ６０６）。

動画編集装置２０２は、ユーザにより決定ボタン４１４が押下されていないと判定された場合は（ステップＳ６０５：ＮＯ）、処理ステップＳ６０２に戻し、ユーザから指示を待つ。

動画編集装置２０２は、読み出された動画ファイル２０１を、ステップＳ６０６で記憶された再生開始点の時刻、及び／又は再生終了点の時刻でカットして編集する。そして、当該再生開始点、及び／又は再生終了点とする編集後の動画ファイルを生成する（ステップＳ６０７）。そして、動画編集装置２０２は、当該生成された編集後の動画ファイルを外部メモリに記憶する（ステップＳ６０８）。

次に、図７を用いて、フレームの絞り込み処理（ステップＳ６０９）の詳細処理について説明する。

図７は、フレームの絞り込み処理（ステップＳ６０９）の詳細処理を示すフローチャートである。

図７に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。

動画編集装置２０２は、サムネイル表示領域４０８に表示されたサムネイルの中から、ユーザにより、より詳細にフレーム内容を見たい箇所のサムネイルが押下された場合（ステップ６０２Ｙｅｓ）、ステップＳ７００において、まず、選択されたサムネイルの時刻に時刻表示領域４０５の表示を更新する。そして、その選択されたサムネイルを中心に、サムネイル表示領域４０８に表示されている前後のサムネイルの時刻内のフレームを処理対象にして、当該前後のサムネイル間のフレームの時間を、サムネイル表示領域４０８に表示されているサムネイルの表示数で割ることで、サムネイル表示領域４０８に表示するサムネイル間の時間間隔を算出する。そして、算出された時間間隔で、当該処理対象にしているフレームを区切ることで、その区切られたフレームのサムネイルの時刻を、サムネイル表示領域４０８に表示するサムネイルの時刻として記憶する。また、該フレームも記憶する（ステップ７００）。

例えば、図５を例に説明する。

図５は、フレームの絞り込み処理により、サムネイル表示領域４０８に表示されるサムネイルの画面遷移を説明するための図である。

図５に示すように、より詳細にフレーム内容を見たい箇所として、ユーザによりサムネイル５０１が選択されると、サムネイル表示領域４０８に表示されている、当該選択されたサムネイルの前方のサムネイル５００のフレームの時刻と、後方のサムネイル５０２のフレームの時刻をＲＡＭ３０３内の記憶領域から取得し、その時刻範囲の動画のフレームを対象にして、サムネイル表示数で割った時間間隔のフレームを新しいサムネイルとし、サムネイル表示領域４０８に表示する。ここで、新しいサムネイルは選択したサムネイル５０１がサムネイル表示領域４０８の中心に表示され（サムネイル５０３）、前方のサムネイル５００のフレームと後方のサムネイル５０２のフレームはサムネイルの対象外（サムネイル５０４、サムネイル５０５）となりサムネイル表示領域４０８には表示されない。

次に、動画編集装置２０２は、シーン検索チェックボックス４１３にチェックがされているか否かを判定する（ステップＳ７０１）。そして、シーン検索チェックボックス４１３にチェックがされていると判定された場合（ステップ７０１：Ｙｅｓ）、ステップＳ７００で記憶したサムネイルの時刻間毎にシーンが異なるフレームがあるか否かを判定して、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ７０２）、ステップＳ６０９の処理を終了する。

動画編集装置２０２は、シーン検索チェックボックス４１３にチェックがされていないと判定された場合（ステップ７０１：ＮＯ）、ステップＳ６０９の処理を終了する。

動画編集装置２０２は、ステップＳ６０９の処理が終了した場合、記憶された時刻のフレームのサムネイルを時系列にサムネイル表示領域４０８に表示して、ステップＳ６０１に処理を移行する。また、時刻表示領域４０５には、ユーザにより選択されたサムネイルの時刻が設定され表示される。

次に、ステップＳ７０２での、サムネイルの時刻間毎にシーンが異なるフレームがあるか否かの判定は、例えば、次のようにして行う。

動画編集装置２０２は、動画から、ステップＳ７００で記憶したサムネイルの時刻にあるフレームを取り出し、それをＲＡＭ３０３内の記憶領域（メモリＡ）へと記録する。

また、動画編集装置２０２は、動画から、次のコマとなるフレームを取り出し、それをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。

動画編集装置２０２は、メモリＡとメモリＢのそれぞれに格納されたフレームを構成する画素値の差分を計算し、その結果をＲＡＭ３０３の記憶領域（メモリＣ）へと保存する。

本実施例では、各画素はＲ，Ｇ，Ｂの３値で構成されており、これらの値は元の色を赤、緑、青の三原色の混色で表現した場合の各色の量を示している。

メモリＡから取り出した１画素を（Ｒａ，Ｇａ，Ｂａ）、メモリＢから取り出した同じ位置の１画素を（Ｒｂ，Ｇｂ，Ｂｂ）としたとき、メモリＣの同じ位置の１画素（Ｒｃ，Ｇｃ，Ｂｃ）を、（Ｒａ−Ｒｂ，Ｇａ−Ｇｂ，Ｂａ−Ｂｂ）として計算する。

この計算を、メモリＡとメモリＢに含まれるすべての画素について繰り返す。

動画編集装置２０２は、メモリＣに格納された画像の差分の量が、ある閾値より小さい場合は、記憶領域（メモリＢ）の画像を記憶領域（メモリＡ）に移動し、次のコマとなるフレームの画像を取り出し、それをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。

動画編集装置２０２は、この差分の量の計算と、その閾値を調べる処理を、サムネイルの各時刻間で行う。画像の差分の量が、ある閾値より大きいと判定された場合は異なるシーンとして、そのシーンの時刻に最も近い時刻のサムネイルを置き換える。

なお、本実施例は画素をＲ，Ｇ，Ｂの３値で構成したが、これは一例であり、他の色表現形式を用いることもできる。他の色表現方法を使用した場合であっても、本実施例と類似の方法によって画素値の差分を計算可能することができる。よって本発明は、Ｒ，Ｇ，Ｂの３値以外の色表現形式を用いた場合であっても、実施可能である。

ＣＰＵ３０１は、ＲＡＭ３０３内の記憶領域へ記録されたサムネイルをサムネイル表示領域４０８へ表示し、動画表示領域４０１には、時刻表示領域４０５に表示されている時刻のフレームが表示される。

次に、図８を用いて、サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理について説明する。

図８は、サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理を示すフローチャートである。

図８に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。

動画編集装置２０２は、ユーザにより、サムネイル表示数増ボタン４１０が押下されたか否かを判定し（ステップＳ８００）、サムネイル表示数増ボタン４１０が押されたと判定した場合（ステップＳ８００：Ｙｅｓ）には、サムネイル表示領域４０８に表示されている各サムネイルの時刻の中間にあたる時刻と、当該時刻のサムネイルを記憶し（ステップＳ８０１）、処理をステップＳ８０２に移行する。

一方、動画編集装置２０２は、サムネイル表示数増ボタン４１０が押されていないと判定された場合（ステップＳ８０１）は、処理をステップＳ８０２に移行する。

次に、動画編集装置２０２は、ユーザにより、サムネイル表示数減ボタン４０９が押されたか否かを判定し（ステップＳ８０２）、サムネイル表示数減ボタン４０９が押されたと判定された場合（ステップＳ８０２：Ｙｅｓ）には、記憶されている、サムネイル表示領域４０８に表示されている各サムネイルの時刻のうち、偶数番（又は奇数番）のサムネイルを削除し（ステップＳ８０３）、処理をステップＳ８０４に移行する。

ここで、偶数番（又は奇数番）とは、サムネイル表示領域４０８に表示されているサムネイルの番号が偶数か奇数かを示す番号である。例えば、図４のサムネイル表示領域４０８には、６つのサムネイルが表示されているが、サムネイル表示領域４０８の最も左側に表示されているサムネイルから１番、２番、３番、４番、５番、６番という番号が、各時刻と共に記憶されており、このうち、偶数番（２番、４番、６番）のサムネイル、及びそのサムネイルの各時刻を削除するか、奇数番（１番、３番、５番）のサムネイル、及びそのサムネイルの各時刻を削除する。

また、動画編集装置２０２は、サムネイル表示数減ボタン４０９が押されていないと判定された場合（ステップＳ８０２：ＮＯ）、処理をステップＳ８０４に移行する。

次に、動画編集装置２０２は、シーン検索チェックボックス４１３がチェックされているか否かを判定し（ステップＳ８０４）、チェックされていると判定された場合（ステップ８０４：Ｙｅｓ）、現在、記憶されているサムネイルの時刻の間にシーンが異なるフレームがあるか否かを判定し、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ８０５）、ステップＳ６１０の処理を終了する。ステップＳ８０５における処理は、ステップ７０２と同様の方法でシーンが異なるか否かを判定し置き換える。

また、動画編集装置２０２は、シーン検索チェックボックス４１３にチェックされていないと判定された場合（ステップ８０４：ＮＯ）、ステップＳ６１０の処理を終了する。

そして、動画編集装置２０２は、ステップＳ６１０の処理を終了すると、処理をステップＳ６０１に移行する。

また、サムネイルを押下する前の状態にフレーム表示画面４００を戻したい場合や、違うサムネイルを選択し直したい場合や、サムネイル表示数を変更する前の状態に戻したい場合も考えられるため、ユーザにより選択される前の状態のフレーム表示画面４００に戻すための「戻す」ボタン等をフレーム表示画面４００に追加してもよい。

次に、図９を用いて、ステップＳ６００の処理の詳細処理について、説明する。

図９は、ステップＳ６００の処理の詳細処理を示すフローチャートである。

図９に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。

まず、動画編集装置２０２は、カメラ２００により撮影され生成され、外部メモリ３１１に記憶された動画ファイル（動画データ）を取得して、その動画データ（動画）の中から、全てのフレームを抽出する（ステップＳ９００）。ステップＳ９００では、取得した動画の再生時間（又は全フレーム数）が所定時間（又は所定フレーム数）以上であれば、全てのフレームを抽出するのではなく、所定間隔のフレームを抽出するようにしてもよい。

次に、動画編集装置２０２は、ステップＳ９０２からステップＳ９０３の処理を、ステップＳ９００で抽出した全てのフレームに対して実行し終えるまで、繰り返し実行する。

まず、ステップＳ９００で抽出したフレーム間の画素の差異を算出する（ステップＳ９０２）。

ここで、ステップＳ９０２でのフレーム間の画素の差異（値）の算出方法の一例について説明する。

動画編集装置２０２は、現在処理対象のフレームをＲＡＭ３０３内の記憶領域（メモリＡ）へと記録する。

また、動画編集装置２０２は、次のコマとなるフレームをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。

動画編集装置２０２は、メモリＡとメモリＢのそれぞれに格納されたフレームを構成する画素値の差分を計算し、その結果をＲＡＭ３０３の記憶領域（メモリＣ）へと保存する。

本実施例では、各画素はＲ，Ｇ，Ｂの３値で構成されており、これらの値は元の色を赤、緑、青の三原色の混色で表現した場合の各色の量を示している。

メモリＡから取り出した１画素を（Ｒａ，Ｇａ，Ｂａ）、メモリＢから取り出した同じ位置の１画素を（Ｒｂ，Ｇｂ，Ｂｂ）としたとき、メモリＣの同じ位置の１画素（Ｒｃ，Ｇｃ，Ｂｃ）を、（Ｒａ−Ｒｂ，Ｇａ−Ｇｂ，Ｂａ−Ｂｂ）として計算する。

この計算を、メモリＡとメモリＢに含まれるすべての画素について繰り返す。そして、すべての画素について繰り返し計算して算出されたフレームの画素値の差分の値を、フレーム間の画素の差異（値）として算出する。

次に、ステップＳ９０３において算出されたフレーム間の画素の差異（値）を累積して、累積差異値としてメモリに記憶する。

そして、次のコマのフレームを処理対象にするべく、現在、記憶領域（メモリＢ）に記憶されている画像（フレーム）を記憶領域（メモリＡ）に移動し、次のコマとなるフレームの画像をＲＡＭ３０３内の記憶領域（メモリＢ）に記憶して、当該フレームを構成する画素値の差分を計算する。

次に、動画編集装置２０２は、ステップＳ９００で抽出した全フレームに対して、ステップＳ９０２、ステップＳ９０３の処理を実行すると、ステップＳ９０５において、ステップＳ９０３で累積して記憶された累積差異値に応じて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する（ステップＳ９０５）。

ステップＳ９０５では、外部メモリ３１１に記憶されている図１０に示す差異値サムネイル数関係テーブルを用いて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する。

図１０は、差異値サムネイル数関係テーブルの一例を示す図である。

差異値サムネイル数関係テーブルは、「フレーム間の差異」、「表示するサムネイル数」の項目から構成されている。「フレーム間の差異」は、累積差異値の範囲が記憶されている。「表示するサムネイル数」は、サムネイル表示領域４０８に表示されるサムネイル数が規定されている。

図１０の例では、累積差異値の範囲として、「フレーム間の差異の値１」が記憶されており、

ステップＳ９０３で記憶されている累積差異値が、「フレーム間の差異の値１」に規定される範囲の累積差異値内の値であれば、サムネイル表示領域４０８に表示されるサムネイル数が３つと決定されることを示している。

ステップＳ９０５では、差異値サムネイル数関係テーブル（図１０）を参照して、ステップＳ９０３で累積して記憶された累積差異値に応じて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する。

そして、動画編集装置２０２は、外部メモリ３１１から取得した動画ファイルの全体の再生時間を、ステップＳ９０５で決定されたサムネイル数で割った値を、サムネイル表示領域４０８に表示するサムネイル間の時間間隔とし、その時間間隔のフレームと、そのフレームの時刻を記憶する（ステップＳ９０６）これにより、動画ファイルの全フレームのうち、均等間隔に、サムネイル表示領域４０８にサムネイルを表示することができるようになる。

次に、動画編集装置２０２は、ユーザにより予め設定された、シーン検索を行うか否かを示す設定情報を参照して、シーン検索を行うか否かを判定する（ステップＳ９０７）。なお、この設定情報はメモリに記憶されている。

そして、動画編集装置２０２は、シーン検索を行うと判定された場合（ステップＳ９０７：ＹＥＳ）、ステップＳ９０６で記憶された時刻のフレームを処理対象にシーン検索を行う（ステップＳ９０８）。具体的には、ステップＳ９０６で記憶されたサムネイルの時刻の間にシーンが異なるフレームがあるか否かを判定し、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ９０８）、ステップＳ９０９に処理を移行する。

ここで、ステップＳ９０８の処理は、上述したステップＳ７０２と同様の方法で、シーンが異なるフレームがあるか否かの判定を行うので、ここでは説明を省略する。

ステップ９０７で、シーン検索を行わないと判定された場合（ステップＳ９０７：ＮＯ）、処理をステップＳ９０９に移行する。

ステップＳ９０９では、記憶された時刻のフレームのサムネイルを時系列でサムネイル表示領域４０８に表示し、（再生）時刻が最も早いサムネイルの動画のフレームを動画表示領域４０１に表示する。なお、このとき、時刻表示領域４０５には、サムネイル表示領域４０８に表示しているサムネイルのフレームの時刻のうち、最も早い時刻を表示している。

そして、動画編集装置２０２は、ステップＳ９０９の処理を実行すると、図６のステップＳ６０１の処理を実行する。

以上説明したように、本実施形態によれば、フレームの検索は、サムネイルからフレームを絞り込ん行くだけで可能となる。検索したいフレームはムービーの内容によって様々な位置に存在するが、ムービー全体の前半、中間、後半から選択することもできるし、更に選択したサムネイルの範囲から必要なところまでサムネイルを選んでいくだけで検索することができる。このため、従来の方法の長所であったシンプルな操作性を保ちつつ、従来の方法では困難であったムービーの全体の把握からあるフレームの検索を短時間でしかも簡易な操作で行うことが可能となる。

次に、サムネイルから一つ選び押下することでそのサムネイルを中心に前後のサムネイルの時間間隔からサムネイル表示数で割った時間間隔のフレームのサムネイルを表示する。この操作を繰り返すことにより、範囲を絞り込んでいき、より詳細な時間間隔のフレームを検索することが可能となる。

さらにシーン検索チェックボックスを追加し、このチェックボックスがチェックされていた際には前後のサムネイルの時間間隔からシーンが大きく切り替わるサムネイル表示数分のフレームを検出して表示する。これによって、同じようなフレームが連続した箇所でもフレームが切り替わる位置を容易に検索できる。

以上、本実施の形態によれば、動画データを構成する複数のフレームの中から、表示部に表示する縮小画像の数に従って、該表示部に表示する複数のフレームを特定し、当該特定された複数のフレームの縮小画像を表示部に表示する仕組みにおいて、当該特定されたフレーム間のフレームを解析して、当該フレーム間にシーンが異なるフレームがあるかを判定し、シーンが異なると判定されフレームを表示部に表示するフレームとして特定することにより、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することができる。

以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、装置で読み取り実行可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

２００ カメラ
２０１ 動画
２０２ 動画編集システム
２０３ 編集後の動画

Claims (7)

1. 動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置であって、
   前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定手段と、
   前記特定手段で特定された複数のフレームの縮小画像を前記表示部に表示する表示手段と、
   前記特定手段で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定手段と、
   を備え、
   前記特定手段は、前記判定手段で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とする情報処理装置。
2. 前記特定手段で特定されたフレーム間のフレームの画素値と、該フレームの他のフレームで、かつ前記特定手段で特定されたフレーム間のフレームの画素値との差を示す差異値を算出する算出手段を更に備え、
   前記判定手段は、前記算出手段で算出された差異値に従って、前記特定手段で特定されたフレーム間にシーンが異なるフレームがあるかを判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記算出手段で算出された差異値に従って、前記表示部に表示する縮小画像の数を決定する決定手段を更に備え、
   前記特定手段は、前記決定手段で決定された縮小画像の数に従って、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する複数のフレームを特定することを特徴とする請求項１又は２に記載の情報処理装置。
4. ユーザによる操作に従って、前記表示手段で表示された縮小画像の選択を受け付ける第１の受付手段を更に備え、
   前記特定手段は、更に、前記表示手段で表示された縮小画像のうち、前記第１の受付手段で選択を受け付けた縮小画像の前後の縮小画像に対するフレーム間のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. ユーザによる操作に従って、前記表示部に表示する縮小画像の数の変更指示を受け付ける第２の受付手段を更に備え、
   前記特定手段は、更に、
   前記第２の受付手段で受付けた縮小画像の数に従って、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する複数のフレームを特定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置の制御方法であって、
   前記情報処理装置の特定手段が、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定工程と、
   前記情報処理装置の表示手段が、前記特定工程で特定された複数のフレームの縮小画像を前記表示部に表示する表示工程と、
   前記情報処理装置の判定手段が、前記特定工程で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定工程と、
   を備え、
   前記特定工程は、前記判定工程で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とする情報処理装置の制御方法。
7. 動画データを記憶する記憶手段と、前記動画データを構成する複数のフレームと当該フレームの縮小画像とを表示する表示部とを備えた情報処理装置で読み取り実行可能なプログラムあって、
   前記情報処理装置を、
   前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記表示部に表示する縮小画像の数に従って、前記表示部に表示する複数のフレームを特定する特定手段と、
   前記特定手段で特定された複数のフレームの縮小画像を前記表示部に表示する表示手段と、
   前記特定手段で特定されたフレーム間のフレームを解析することにより、当該フレーム間にシーンが異なるフレームがあるかを判定する判定手段として機能させ、
   前記特定手段は、前記判定手段で、当該フレーム間にシーンが異なるフレームがあると判定された場合は、当該異なると判定されたフレームを、前記表示部に表示するフレームとして特定することを特徴とするプログラム。
   
   

Images