JP2013179578A - 画像編集装置およびサムネイル生成方法 - Google Patents

Abstract

【課題】動画に対する編集作業を効率よく行うことができる画像編集装置を提供すること。
【解決手段】ＰＣ１００は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、少なくとも１つのフレームに対して編集を適用する処理である編集処理を行う編集部１１０と、編集情報に基づいて、複数のフレームの中から、編集部１１０による編集の対象である対象フレームを特定する特定部１２０と、編集が適用された対象フレームのサムネイルを生成して出力するサムネイル生成部１３０とを備える。
【選択図】図５

Description

本発明は、画像編集装置に関し、特に動画像の編集が可能な画像編集装置に関する。

特許文献１は、動画の編集作業時に、当該動画の所定の区間内からサムネイルを複数枚取得して表示し、ユーザが編集前に確認できる動画編集装置を開示する。

また、動画編集には、ユーザの試行錯誤を含めて相当の作業時間がかかるため、一連の編集作業情報を編集プロジェクト情報として保存できるようにして、編集作業の中断および再開を行えるようにする仕組みも知られている。

特開２００７−１１０５６６号公報

本開示は、動画に対する編集作業を効率よく行うことのできる画像編集装置を提供する。

本開示における画像編集装置は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、前記少なくとも１つのフレームに対して前記編集を適用する処理である編集処理を行う編集部と、前記編集情報に基づいて、前記複数のフレームの中から、前記編集部による編集の対象である対象フレームを特定する特定部と、前記編集が適用された前記対象フレームのサムネイルを生成して出力するサムネイル生成部とを備える。

本開示における画像編集装置は、動画に対する編集作業を効率よく行うことができる。

実施の形態におけるＰＣの主要なハードウェア構成を示す図 実施の形態におけるＰＣの主要な機能構成を示す図 実施の形態におけるＰＣから出力される編集画面の概要を示す図 実施の形態におけるＰＣから出力されるプロジェクト読み込み画面の概要を示す図 実施の形態における編集プロジェクトファイルに含まれる編集命令の例を示す図 実施の形態のＰＣにおける編集プロジェクトファイルおよびサムネイルの生成に係る基本的な処理の流れを示すフローチャート 実施の形態のＰＣにおける要約サムネイル群作成に係る処理の流れの一例を示すフローチャート 実施の形態における複数の編集命令についての優先度計算の結果の例を示す図である。

（本開示の基礎となった知見）
本発明者は、上記従来の技術に関し、以下の問題が生じることを見出した。

取得した静止画像データまたは動画像データである素材を簡単に編集できる電子機器およびプログラムが知られている。特に動画像データを編集する場合については、編集前の動画像がどのような内容であるかを容易に確認できるよう、サムネイルを表示してユーザに提示する方法が採用されることがある。

また、上述のように、一連の編集作業情報を編集プロジェクト情報として保存する技術も存在する。しかしながら、例えば、保存された編集プロジェクト情報を使用して編集作業を再開する場合、ユーザは自分がその編集プロジェクトにおいて前回どのような編集意図を持っていたのかを失念してしまう場合がある。

このような場合に、ユーザは、前回どのような編集意図を持っていたのかを思い出すのが容易ではなく、スムーズに編集作業を再開できないことがあった。

本実施の形態では、このような課題を解決するための画像編集装置の構成および動作等について説明する。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１〜図８を用いて、実施の形態を説明する。

図１は、実施の形態におけるＰＣ１００の主要なハードウェア構成を示す図である。

図２は、実施の形態におけるＰＣ１００の主要な機能構成を示す図である。

実施の形態に係るＰＣ１００は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、少なくとも１つのフレームに対して編集を適用する処理である編集処理を行う編集部１１０と、編集情報に基づいて、複数のフレームの中から編集部１１０による編集の対象である対象フレームを特定する特定部１２０と、編集が適用された対象フレームのサムネイルを生成して出力するサムネイル生成部１３０とを備える。

これにより、本実施の形態におけるＰＣ１００によれば、ユーザは、編集途中の動画ストリームについて、編集中断時の編集意図を容易に確認することができる。つまり、ＰＣ１００によれば、動画に対する編集作業を効率よく行うことができる。

本実施の形態では、編集の一例として、ムービー（動画ストリームファイル（以下、「動画ファイル」という））を編集する場合を説明する。

ムービー編集において、ユーザは、編集対象となる動画ファイルに対する編集作業を、一連の編集命令としてＰＣ１００に入力することで行う。ＰＣ１００は、ユーザによる編集命令を適用した結果をプレビュー画像として、ＰＣ１００に接続された液晶ディスプレイ１０９に出力することができる。その結果、液晶ディスプレイ１０９が表示する画面上において当該プレビュー画像がユーザに提示される。

また、ＰＣ１００は、一連の編集作業を終えた動画ファイルを、所定の動画ファイルフォーマットに従って、当該一連の編集作業が反映された一つの動画ファイルとして出力することができる。

また、動画ファイルの編集中、ユーザが一連の編集命令をＰＣ１００に入力する過程において、ＰＣ１００は、ユーザによる一連の編集命令を、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などに編集プロジェクトファイルとして保存しておくことができる。

これにより、ユーザは、編集作業を中断することができる。一方、ユーザは、保存しておいた編集プロジェクトファイルをＰＣ１００のコントローラ１０１に読み込ませることにより、当該動画ファイルに対する編集作業を再開することができる。

以下、図を用いて、実施の形態におけるＰＣ１００のシステムの構成および動作について詳細に説明する。

［１．システムの構成］
まず、ＰＣ１００のシステムの構成について図１を用いて説明する。

ＰＣ１００は、画像編集装置の一例であり、コントローラ１０１、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、ＵＳＢコネクタ１０７、および、表示デバイス１０８を備える。また、ＰＣ１００には、マウス１０５、キーボード１０６、および液晶ディスプレイ１０９等が接続されている。

コントローラ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサを有し、ＰＣ１００における各種の情報処理を実行する処理部である。コントローラ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、表示デバイス１０８、およびＵＳＢコネクタ１０７と電気的に接続されている。

コントローラ１０１は、表示デバイス１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。また、コントローラ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５やキーボード１０６を用いてのユーザの指示を受け付ける。

また、コントローラ１０１は、ＰＣ１００の各部に供給される電力等のシステム（図示せず）を全体的に制御している。

システム管理メモリ１０２は、ＯＳ（オペレーションシステム）などが保持されているメモリである。また、システム管理メモリ１０２には、システム時刻などが格納されている。システム時刻は、コントローラ１０１がＯＳのプログラムを実行することにより更新される。

ワークメモリ１０３は、コントローラ１０１が各種処理を実行するために必要な情報を一時的に格納するメモリである。コントローラ１０１は、動画ファイルを編集する場合、ユーザが指定した編集命令に従って編集する。ワークメモリ１０３には、コントローラ１０１により、ユーザに指定された一連の編集命令等が格納される。編集命令の詳細については、図５等を用いて後述する。

ＨＤＤ１０４は、未編集、編集完了前、または編集完了後の動画ファイルなどを格納するディスクドライブである。また、ＨＤＤ１０４には、画像編集ソフトの実行ファイルが格納されている。

マウス１０５は、ユーザが編集操作時に使用するポインティングデバイスである。ユーザは、マウス１０５を操作することにより、画像編集ソフトの画面上において、編集命令の指定（ＰＣ１００への編集命令の入力）を行うことができる。

キーボード１０６は、ユーザが編集操作時にＰＣ１００への文字入力などを行う、キーボードデバイスである。

ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とをＰＣ１００に接続するためのコネクタである。

表示デバイス１０８は、コントローラ１０１で演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ１０９に伝える。

液晶ディスプレイ１０９は、表示デバイス１０８で映像化した画面情報を表示する表示装置である。

コントローラ１０１は、画像編集ソフトをＨＤＤ１０４から読み出し、ワークメモリ１０３に格納して、画像編集ソフトを起動し実行する。また、コントローラ１０１は、画像編集ソフトのプログラムに従って、例えば、以下の処理を実行する。

（１）コントローラ１０１は、マウス１０５またはキーボード１０６で行われたユーザの編集操作（編集命令の指定）を、ＵＳＢコネクタ１０７を介して受け付ける。

（２）コントローラ１０１は、ユーザが指定した一連の編集命令をワークメモリ１０３に格納する。コントローラ１０１はさらに、編集命令に従って編集された結果（プレビュー画像）を液晶ディスプレイ１０９に表示するために、画像情報を表示デバイス１０８に供給する。

（３）コントローラ１０１は、マウス１０５またはキーボード１０６で行われた、ユーザによる、編集プロジェクトファイルの保存操作を、ＵＳＢコネクタ１０７を介して受け付ける。

（４）コントローラ１０１は、ワークメモリ１０３に格納された一連の編集命令を、編集プロジェクトファイルとしてＨＤＤ１０４に保存する。

（５）コントローラ１０１は、ユーザによる編集作業の中断操作を受け付けて当該動画ファイルに対する編集のための処理を一旦終了する。また、コントローラ１０１は、ユーザによる編集作業の再開操作を受け付けて、システムを再起動する。

（６）コントローラ１０１は、マウス１０５またはキーボード１０６を介した、ユーザによる編集プロジェクトファイルに対する選択操作を、ＵＳＢコネクタ１０７を介して受け付ける。

（７）コントローラ１０１は、ユーザにより選択された編集プロジェクトファイルの内容を解析し、ユーザの編集意図を示す要約情報（サムネイル画像など）を作成する。

（８）コントローラ１０１は、要約情報（サムネイル画像など）を液晶ディスプレイ１０９に表示するために、当該要約情報を含む画像情報を表示デバイス１０８に供給する。

（９）コントローラ１０１は、上記の処理（１）〜（８）をユーザの編集作業が終わるまで繰り返す。

（１０）コントローラ１０１は、マウス１０５またはキーボード１０６を介した、ユーザによる動画フファイル出力保存操作を、ＵＳＢコネクタ１０７を介して受け付ける。

（１１）コントローラ１０１は、一連の編集命令に従って編集作業を行った結果である動画ファイルを、所定の動画ファイルフォーマットに従って作成し、ＨＤＤ１０４に保存する。

次に、実施の形態に係るＰＣ１００の機能的な構成を、図２を用いて説明する。

図２に示すように、実施の形態におけるＰＣ１００は、主要な機能構成として、編集部１１０、特定部１２０、およびサムネイル生成部１３０を備える。

編集部１１０は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、当該少なくとも１つのフレームに編集を適用する処理である編集処理を行う。

本実施の形態では、編集部１１０は、ＨＤＤ１０４から読み出した動画ストリームに対する編集の内容を示す編集プロジェクトファイルを編集情報として生成する機能と、当該編集を動画ストリームに対して行う機能とを有する。また、生成された編集プロジェクトファイルは、ＨＤＤ１０４に格納される。

なお、「動画ファイルを編集する」という場合、本実施の形態では、画像編集装置として機能するＰＣ１００が、当該動画ファイルに含まれる動画（動画ストリーム）に対する編集処理を行うことを意味する。

また、動画ストリームに対して行われる「編集」または「編集処理」とは、例えば、１つのフレームまたは連続する複数のフレームに対する、文字、画像、もしくは、記号の追加、シーン切り替え時におけるトランジションなどの効果の追加、明度、彩度、もしくは色相の調整、または、画質の改善、などの処理のことである。

つまり、「編集」または「編集処理」は、編集対象の画像（編集対象のフレームの少なくとも一部の画像）に対する加工、修正、または変更等と言い換えることも可能である。

特定部１２０は、編集部１１０に生成された編集情報に基づいて、当該複数のフレームの中から、編集部１１０による編集の対象である対象フレームを特定する。

本実施の形態では、特定部１２０は、ＨＤＤ１０４から読み出した編集プロジェクトファイルに基づいて、編集対象の動画ストリームに含まれる複数のフレームの中から対象フレームを特定する。

サムネイル生成部１３０は、当該編集が適用された対象フレームのサムネイルを生成して出力する。

例えば、当該編集が適用された対象フレームの一部または全部の画像を所定のサイズに縮小することで、当該対象フレームに対応するサムネイルが得られる。

なお、上述の、編集部１１０、特定部１２０、およびサムネイル生成部１３０のそれぞれの処理は、本実施の形態では、コントローラ１０１が上記の画像編集ソフト等を実行することで実現される。

［２．編集画面の構成］
続いて、ＰＣ１００から出力され、液晶ディスプレイ１０９に表示される編集画面の構成について図３を用いて説明する。

図３は、実施の形態におけるＰＣ１００から出力される編集画面の概要を示す図である。つまり、図３には、ＰＣ１００から出力され、液晶ディスプレイ１０９に表示される表示画面の一例が示されている。

図３に示すように、液晶ディスプレイ１０９に表示される編集画面は、プレビューエリア４００、タイムラインエリア４０１、編集命令追加エリア４０２、プロパティエリア４０３、新規プロジェクト釦４０４、プロジェクト読み込み釦４０５、プロジェクト保存釦４０６、ファイル出力釦４０７、および終了釦４０８等から構成される。

プレビューエリア４００は、編集中の動画の再生を実行する画面である。例えば、ユーザが編集命令としてテキスト配置を行った場合、プレビューエリア４００には、図３に示すように、そのテキストが表示される位置にテキストボックスが表示される。ユーザはこのテキストボックスの位置をマウス１０５などで操作することで、テキストが表示される位置の調整を行うことができる。

タイムラインエリア４０１は、ユーザが設定した各編集命令をタイムライン上に表示し、ユーザからの指示に応じて編集するエリアである。タイムラインエリア４０１の左端が、当該動画ストリームの全体における、当該タイムラインエリア４０１に表示されている範囲の先頭の時刻を表し、タイムラインエリア４０１の右端が当該範囲の終点の時刻を表している。

ユーザは、タイムラインエリア４０１の下方に表示された水平スクロールバーを操作することで、タイムラインエリア４０１内に表示される範囲を調整できる。

また、タイムライン上に表示されている個々の箱が個々の編集命令を表現している。箱の左端の位置は動画上でその編集命令が有効になる時刻を表し、箱の右端の位置はその編集命令が無効になる時刻を表す。

つまり、タイムラインエリア４０１内において、ある１つの箱に着目した場合、当該箱左端の位置が、当該箱に対応する編集が適用される開始時刻を示し、当該箱右端の位置が、当該箱に対応する編集が適用される終了時刻を示す。また、当該箱の長さが、当該編集が適用される時間の長さを示す。

なお、ユーザは同時刻に複数の編集命令を配置することも可能であり、その場合、箱はタイムライン上の上下位置をずらして表示される。

図３に示す例では、（１）「テキスト（文字表示）」と、「スタンプ（星）」２つがほぼ同時刻に表示された後に、（２）「テキスト（文字表示）」だけ残し、「スタンプ（星）」２つが無効される場合が示されている。また、（３）残った「テキスト（文字表示）」を無効にして、（４）所定時間経過後に「スタンプ（花）」が表示される場合が示されている。

編集命令追加エリア４０２は、ユーザが個々の編集命令を追加するためのエリアである。編集命令追加エリア４０２には、各編集命令（テキスト、スタンプ、および速度変更など）に対応した編集命令釦が表示されている。ユーザは所望の編集命令釦を押下することで、その編集命令が示す編集内容（「テキスト」「スタンプ」など）を編集中の動画ストリームに対して配置することができる。

配置された編集命令の、当該動画が表示される画面における画面座標に対する空間位置は、プレビューエリア４００に反映される。これにより、ユーザは、編集命令が配置された空間位置を、容易に確認することができる。

また、編集中の動画ストリームにおいて、編集命令を配置した時間位置はタイムラインエリア４０１上で表示される。これにより、ユーザは、当該編集命令が配置された時間位置を、容易に確認することができる。

さらに、ユーザは、プレビューエリア４００およびタイムラインエリア４０１のそれぞれで、各編集命令に対応する箱を移動させることによって、その空間位置および時間位置を調整することができる。

また、ユーザは、プレビューエリア４００およびタイムラインエリア４０１のそれぞれで、各編集命令に対応する箱の大きさを変更することによって、その空間範囲（当該編集が適用される空間的な大きさ）および時間範囲（当該編集が適用される時間の長さ）を調整することができる。

プロパティエリア４０３は、配置済みの個々の編集命令の内容を調整するためのエリアである。例えば、編集命令において指定されたテキストのフォントサイズおよび色など、時間的および空間的な位置および範囲以外の情報については、プロパティエリア４０３に情報を入力することで調整することができる。

また、プレビューエリア４００またはタイムラインエリア４０１で、プロパティエリア４０３において、現在選択されている編集命令に対応した情報が表示される。

例えば、図３では、タイムラインエリア４０１に表示された編集命令“テキスト”に対応する文字または記号などの入力と、フォントサイズおよび色の指定とが、プロパティエリア４０３において受付可能である状態が示されている。

新規プロジェクト釦４０４は、新たな動画編集を開始する際に押下する釦である。新規プロジェクト釦４０４が押下されると、動画ファイルの一覧画面が表示され、ユーザは編集対象となる動画ファイルを選択することができる。これにより、ユーザは、選択した動画ストリームを新たな編集対象として扱うことができる。

プロジェクト読み込み釦４０５は、ユーザが以前に保存した編集プロジェクトファイル（以下、単に「プロジェクト」ともいう。）を読み込んで作業を再開する場合に押下する釦である。

編集画面（図３参照）において、プロジェクト読み込み釦４０５が押下されると、プロジェクト読み込み画面（図４を用いて後述）がＰＣ１００から出力され、液晶ディスプレイ１０９に表示される。ユーザは、このプロジェクト読み込み画面において、読み込み対象のプロジェクトを選択する。

その結果、プレビューエリア４００およびタイムラインエリア４０１に、当該プロジェクトの保存時の状態が復元される。つまり、プレビューエリア４００およびタイムラインエリア４０１において、当該プロジェクトに示される複数の編集の内容が反映された表示がなされる。

プロジェクト保存釦４０６は、ユーザが現在の編集状態を編集プロジェクトファイルとしてＨＤＤ１０４に保存して作業を中断する際に押下する釦である。プロジェクト保存釦４０６が押下されると、ＰＣ１００は、保存するプロジェクト名を設定するダイアログを液晶ディスプレイ１０９に表示させる。ユーザは当該ダイアログにおいて保存プロジェクト名を入力する。入力されたプロジェクト名は、当該編集プロジェクトファイルにファイル名として付される。また、当該編集プロジェクトファイルには編集対象の動画ストリームの情報および、一連の編集命令の情報などが保存される。編集プロジェクトファイルのデータ構成例については、図５を用いて後述する。

なお、編集プロジェクトファイルは、編集情報の一例であり、編集プロジェクトファイルに示される複数の編集命令のそれぞれは、個別編集内容の一例である。

ファイル出力釦４０７は、ユーザが現在の編集状態を反映させた動画ファイルをＨＤＤ１０４に保存する際に押下する釦である。なお、このとき作成される動画ファイルの出力形式は、予めユーザが選択できるようにしておいてもよい。この場合、例えば、ユーザがＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ファイル形式を選択している場合は、ＰＣ１００は、ＡＶＣＨＤファイル形式の動画ファイルを作成する。

終了釦４０８は、ユーザが、動画ファイルの編集システムを終了する際、つまり、画像編集ソフトを終了する際に押下する釦である。

［３．プロジェクト読み込み画面の構成］
続いて、液晶ディスプレイ１０９が表示するプロジェクト読み込み画面の構成について図４を用いて説明する。

図４は、実施の形態におけるＰＣ１００から出力されるプロジェクト読み込み画面の概要を示す図である。つまり、図４には、ＰＣ１００から出力され、液晶ディスプレイ１０９に表示されるプロジェクト読み込み画面の一例が示されている。

図４に示すように、ＰＣ１００から出力され、液晶ディスプレイ１０９に表示されるプロジェクト読み込み画面は、プロジェクト一覧エリア５００、要約サムネイルエリア５０１、開く釦５０２、キャンセル釦５０３等から構成される。

プロジェクト一覧エリア５００は、ユーザがＨＤＤ１０４に保存したプロジェクトを列挙して表示するエリアである。プロジェクト一覧エリア５００には、各プロジェクトに関する基本情報として、プロジェクト名、総時間、および保存日時などが表示される。ユーザは列挙しているプロジェクトのうち１つを選択状態にすることができる。

例えば、図４では、プロジェクト名「運動会」であるプロジェクトが選択状態であることが示されている。

要約サムネイルエリア５０１は、プロジェクト一覧エリア５００においてユーザによって選択状態にされているプロジェクトの要約サムネイル群を表示するエリアである。

ユーザは、この要約サムネイル群を閲覧することで、このプロジェクトに対して行った編集内容を容易に確認することができる。ＰＣ１００が要約サムネイル群を生成するアルゴリズムについては後述する。

開く釦５０２は、ユーザがプロジェクト一覧エリア５００で選択状態にしたプロジェクトを開く際に押下する釦である。開く釦５０２が押下されると、液晶ディスプレイ１０９での表示は、当該プロジェクトの情報を読み込んだ状態の編集画面に遷移する。

キャンセル釦５０３は、ユーザがプロジェクトを開くことをやめる際に押下する釦である。キャンセル釦５０３が押下されると、液晶ディスプレイ１０９での表示は、プロジェクト読み込み画面に遷移する前の状態の編集画面に遷移する。

［４．編集命令］
続いて、編集命令の持つ情報について説明する。

編集命令は動画に編集を適用する際に、どのような編集を、どの時間位置とどの空間位置に配置するか等を指定する情報である。

つまり、編集命令は、当該編集の内容を示す情報である。編集の内容としては、当該編集の種類、当該編集が適用される時間位置、当該編集が適用される時間の長さ、当該編集が適用される空間位置および、当該編集が適用される空間的な大きさなどが例示される。

また、編集命令の種類としては、テキスト命令、スタンプ命令、自由曲線命令、色調整命令などが例示される。

“テキスト命令”は、編集の種類は、テキストの追加であり、表示する文字列、フォント、時間位置、および空間位置などを情報として持つ。

“スタンプ命令” は、編集の種類は、スタンプの追加であり、表示するスタンプ画像のパス、時間位置、および空間位置などを情報として持つ。

“自由曲線命令” は、編集の種類は、自由曲線の追加であり、曲線の形状を表す座標群、曲線の色、曲線の太さ、および時間位置などを情報として持つ。

“色調整命令” は、編集の種類は、色の調整であり、色調整の内容（明度、彩度、色相）および時間位置などを情報として持つ。

コントローラ１０１は、ユーザが編集作業中には、ワークメモリ１０３に一連の編集命令を格納し、編集画面にその内容を反映する。またコントローラ１０１は、ユーザがプロジェクトを保存する際には、一連の編集命令を含む情報を編集プロジェクトファイルとしてＨＤＤ１０４に保存する。

またコントローラ１０１は、ユーザが編集作業を完了させた動画ファイルを、ＡＶＣＨＤ形式等の動画ファイルとして出力する際には、その時点でワークメモリ１０３に格納されている編集命令を当該編集プロジェクトファイルに記録する。コントローラ１０１はさらに、当該編集プロジェクトファイルに示される一連の編集命令を反映させた動画ファイルを生成する。生成された動画ファイルはＨＤＤ１０４に保存される。

図５は、実施の形態における編集プロジェクトファイルに含まれる編集命令の例を示す図である。

図５に示す編集プロジェクトファイルには、Ｅ１〜Ｅ７の７個の編集命令が示されている。つまり、編集部１１０（コントローラ１０１）は、これら編集命令のそれぞれに対応した編集処理を実行することで、これら編集命令が反映された動画ファイル（動画ストリーム）を生成することができる。

コントローラ１０１が、これら編集命令からサムネイル対象となる編集命令を選択する処理については後述する。

［５．要約サムネイル群作成動作］
続いて、編集対象の動画と一連の編集命令と最大サムネイル枚数とに基づいて、ＰＣ１００が、要約サムネイル群を生成する動作について説明する。

本実施の形態におけるＰＣ１００では、編集対象の動画と、当該編集対象の動画に対してユーザが指定した一連の編集命令とに基づいて、要約サムネイル群を作成する。

また、本実施の形態におけるＰＣ１００では、最大サムネイル枚数が規定されており、これにより、編集中の動画の要約サムネイル群をよりコンパクトに作成することができる。

まず、ＰＣ１００が行う、編集プロジェクトファイルおよびサムネイルの生成に係る基本的な処理の流れを、図６を用いて説明する。

図６は、実施の形態のＰＣ１００における編集プロジェクトファイルおよびサムネイルの生成に係る基本的な処理の流れを示すフローチャートである。

編集部１１０は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される内容を示す編集情報を生成する（Ｓ１００）。

本実施の形態では、編集情報として、編集プロジェクトファイル（例えば、図５参照）が生成される。

特定部１２０は、生成された編集情報に基づいて、当該複数のフレームの中から、編集部１１０による編集の対象である対象フレームを特定する（Ｓ１１０）。

サムネイル生成部１３０は、当該編集が適用された対象フレームのサムネイルを生成して出力する（Ｓ１２０）。

なお、特定部１２０によって対象フレームのが特定された時点で、その対象フレームに対応する編集が適用された対象フレームがＨＤＤ１０４またはワークメモリ１０３等に保存されていない場合、編集部１１０によって対象フレームへの当該編集の適用がなされ、その後、当該編集が適用された対象フレームのサムネイルが生成される。

ＰＣ１００は、編集対象の動画ストリームに対し、以上の処理を行うことで、当該動画ストリームに対する編集意図を示す、少なくとも１つのサムネイルを生成して出力する。

次に、ＰＣ１００が行う、１以上のサムネイルからなる要約サムネイル群作成に係る処理の流れの具体例を、図７を用いて説明する。

図７は、実施の形態のＰＣ１００における要約サムネイル群作成に係る処理の流れの一例を示すフローチャートである。ここで、図７におけるステップＳ５００〜Ｓ５０４は、図６におけるステップＳ１１０に対応する。また、図７におけるステップＳ５０６は、図６におけるステップＳ１２０に対応する。

なお、図７に示される一連の処理は、例えば、プロジェクト読み込み画面（図４参照）において、複数の編集プロジェクトファイルの中から１つの編集プロジェクトファイルがユーザにより選択されたことをトリガとして実行される。

まず、コントローラ１０１は、ユーザに選択された編集プロジェクトファイルから、ユーザが編集を前回中断したときの一連の編集命令を検索し、各編集命令の持つ情報を収集する（Ｓ５００）。

このとき、コントローラ１０１は、同時刻に開始される編集命令が存在するかどうかを調べる。例えば、図３に示す「テキスト（文字表示）」と、２つの「スタンプ（星）」とは、同時刻に開始される編集命令の一例である。

本実施の形態では、コントローラ１０１は、同時刻に開始される複数の編集命令は、１つの編集命令とみなす処理を行なう。このような考え方のもとで、編集命令の総数をｒ個、ｉ番目の編集命令をＡｉとする（１≦ｉ≦ｒ）。

続いて、コントローラ１０１は、各編集命令Ａｉに対する優先度Ｐ（ｉ）を算出する（Ｓ５０１）。

具体的には、ある編集命令Ａｉについて、その編集が適用される時間の長さをｔ（ｉ）、その編集が適用される、動画画面における空間の大きさ（＝面積）をｓ（ｉ）、編集の種類に応じた重みづけをｋ（ｉ）とした場合を想定する。このとき、優先度Ｐ（ｉ）は、例えば次のように定めることができる。

Ｐ（ｉ）＝ｔ（ｉ）＋ｓ（ｉ）＋ｋ（ｉ） （式１）

なお、ｔ（ｉ）およびｓ（ｉ）は、各々時間の長さの値、空間の大きさの値そのものである必要はなく、それらの値との間で正の相関関係を有する変数、例えば、それらの値の大きさに応じて大きくなるような変数であってもよい。

また、ｋ（ｉ）については、例えば、編集命令に示される編集の種類の重要度が高いほど値が大きくなるように予め決めておく。例えば、スタンプの追加を示す編集命令については、当該編集命令に示されるスタンプの種類が、より派手なものほど、ｋ（ｉ）の値が大きくなるように決めることができる。

また編集命令ＡｉがＳ５００において複数の編集命令をまとめて１つとみなしている場合、コントローラ１０１は、所定の基準により、複数の編集命令についての、ｔ（ｉ）、ｓ（ｉ）、およびｋ（ｉ）を決定する。

例えば、コントローラ１０１は、ｔ（ｉ）として、それらの編集命令の中で最も時間の長いものの値を採用してもよい。また、コントローラ１０１は、ｓ（ｉ）としてそれらの編集命令の空間の大きさの値の和を採用し、ｋ（ｉ）としてそれらの編集命令の中で最も重みの大きなものを採用してもよい。

続いてコントローラ１０１は、各編集命令Ａｉのうちで最も優先度Ｐの高いものを選び、それを１枚目のサムネイル対象として選択する（Ｓ５０２）。

つまり、優先度Ｐの最も高い編集命令Ａｉが選択されることで、当該編集命令Ａｉに示される編集が適用される１以上のフレームのうちの少なくとも１つのフレームが、サムネイルの作成元となる対象フレームとして特定される。

また、サムネイル最大枚数をｑ（ｑ≧１）とし、ｊ番目のサムネイル対象の編集命令の添え字をｘ（ｊ）で表した場合、１≦ｊ≦ｑであり、ｘ（１）は、Ｐ（ｘ（１））＝ｍａｘ（Ｐ（ｉ））を満たす。

すなわち、１枚目のサムネイル対象として選択される編集命令は、例えば、当該編集命令に示される編集が適用される時間（適用時間）が、他のサムネイル対象の編集命令における適用時間より長いものが選択される。

また、１枚目のサムネイル対象の編集命令は、例えば、当該編集命令に示される編集が適用される面積（適用面積）が、他のサムネイル対象の編集命令における適用面積よりより大きいものが選択される。

また、１枚目のサムネイル対象の編集命令は、例えば、当該編集命令に示される編集の種類が、他のサムネイル対象の編集命令における編集の種類より重要であるものが選択される。

続いてコントローラ１０１は、最大サムネイル枚数分の編集命令が選択できたか確認する（Ｓ５０３）。つまり、予め定められた数の編集命令の選択が完了したか否かが確認される。その結果、当該選択が完了していた場合（Ｓ５０３でＹｅｓ）、コントローラ１０１の処理はＳ５０５に移行する。

最大サムネイル枚数分の編集命令が選択できていない場合（Ｓ５０３でＮｏ）、コントローラ１０１は、２枚目以降のサムネイル対象の編集命令を選択するために、再度優先度を算出する（Ｓ５０４）。

ここではｊ枚目のサムネイル対象の編集命令の添え字ｘ（ｊ）を決定することを考える。まだサムネイル対象に選ばれていない添え字のリストをｙ（ｉ）で表すと、１≦ｉ≦ｒ−ｊ＋１である。

この場合、２枚目以降のサムネイル対象の編集命令を選択するための優先度Ｐの算出に、下記の（式２）を用いてもよい。

Ｐ（ｙ（ｉ））＝（ｔ（ｙ（ｉ））＋ｓ（ｙ（ｉ））＋ｋ（ｙ（ｉ）））＊ｄ（ｙ（ｉ）） （式２）

なお、２枚目以降のサムネイルについての優先度Ｐの算出方法が（式１）と同じである場合にはこのステップ（Ｓ５０４）は省略し、Ｓ５０２に移行してもよい。

ここで、（式２）に含まれるｄ（ｙ（ｉ））は、サムネイル間隔係数である。具体的には、すでにサムネイル対象としに選ばれたｊ−１個の各編集命令と比べて、計算対象の編集命令がどれだけ時間的に離れているかを計算したものである。

より詳細には、サムネイル間隔係数は、選択済みの編集命令と時間的に離れているほど
値が大きくなるように設定されている。

つまり、２枚目以降のサムネイルの対象として選択される編集命令については、この係数が加味された式によって特定される。これにより、編集の適用時間がより長く、編集の適用面積がより大きく、適用される編集の種類がより重要である、いう基準に加え、動画の時間全体からなるべくまんべんなくサムネイルを選択する、という基準によって、編集命令の選択をすることができる。

なお、サムネイル間隔係数は、選択されていない編集命令と選択済みの編集命令との時間的な差に比例する必要はなく、サムネイル間隔係数は、当該時間的な差と正の相関関係を有していればよい。

続いてコントローラ１０１は、最も優先度Ｐの高い編集命令を選び、それをｊ枚目のサムネイル対象とする（Ｓ５０２）。

以上の処理を、選択した編集命令の数が最大サムネイル枚数ｑに到達するまで（Ｓ５０３でＹｅｓ）繰り返す。編集命令の総数ｒが、最大サムネイル枚数ｑより小さい場合は、例えば、選択した編集命令の数がｒに到達した時点でこれら処理の繰り返しを中止してもよい。もしくは、コントローラ１０１は、動画の時間全体の中でサムネイルとして選ばれていない時間帯から、ｑ−ｒ個の編集命令を選んでサムネイル対象としてもよい。

以上のように、コントローラ１０１は、最大サムネイル枚数分の数の編集命令を選択するまで、Ｓ５０３、Ｓ５０４、およびＳ５０２の処理を繰り返す。

Ｓ５０３で最大サムネイル枚数に対応する数の編集命令が選択されていた場合、コントローラ１０１は、サムネイル対象として選ばれた各編集命令を用いて、実際にサムネイルを生成する（Ｓ５０５）。

コントローラ１０１は、例えば、サムネイル対象として選択された編集命令の開始時刻におけるフレームを対象フレームとして特定し、当該編集命令に示される編集が適用された対象フレームのサムネイルを生成する。

ここで、対象フレームが特定された時点で、当該編集が適用された当該対象フレームがＨＤＤ１０４等に保存されていない場合、コントローラ１０１は、当該対象フレームに当該編集を適用し、その後、当該対象フレームの少なくとも一部を用いてサムネイル生成する。

また、編集命令の時間範囲の中で表示が変化する場合には、コントローラ１０１は、例えば、当該時間範囲の最も特徴的であるフレームを対象フレームとして特定する。

例えば、テキストの追加を示す編集命令であって、テキストが横からフェードインしてくるような編集命令である場合には、時間範囲の先頭のフレームからサムネイルを生成すると、まだテキストが表示されていない画像のサムネイルが生成される。そのため、テキストのフェードインが完了した時刻のフレームが対象フレームとして特定され、特定された対象フレームに対応するサムネイルが生成される。

また、編集命令が、編集が適用される空間範囲を持つ場合には、コントローラ１０１は、サムネイルとして採用する画像範囲をその空間範囲周辺のみに制限してもよい。

例えばスタンプの追加を示す編集命令であって、スタンプが画面全体に対して占める面積が小さい場合を想定する。この場合、当該対象フレームの画像全体をサムネイルとして採用すると、ユーザが、当該編集の特徴であるスタンプを視認しにくくなる。

そのため、画像全体ではなく、そのスタンプの周辺の空間のみをサムネイルとして使用する。

以上により、コントローラ１０１は、要約サムネイル群作成動作を終了する。

このようにして作成された、１以上のサムネイルを含む要約サムネイル群は、コントローラ１０１から出力され、表示デバイス１０８を介して液晶ディスプレイ１０９に入力される。その結果、例えば図４に示すように、要約サムネイルエリア５０１に、これらサムネイルが表示される。

［６．要約サムネイル群作成動作の計算例］
ここで、要約サムネイル群作成動作の数値計算の例を示す。例として３分間の動画に対して、最大サムネイル枚数３の要約サムネイル群を作成する場合を考える。

また、ユーザによって、１つの編集プロジェクトファイルに７つの編集命令（図５のＥ１〜Ｅ７）が設定されている場合を想定する。

Ｅ１は、テキストがフェードインしてくる効果を与える編集命令であり、動画の０：００〜０：１０の１０秒間テキストを表示し、その表示領域は、横１０００ピクセル×縦４００ピクセルの領域である。

同様に、Ｅ２は、０：３０〜０：４５にかけて、スタンプ（花）を１００ｘ１００ピクセルの領域に表示する編集命令である。

また、Ｅ３は、１：００〜１：１５にかけてスタンプ（星）を１００ｘ１００ピクセルの領域に表示する編集命令である。Ｅ４は、１：００〜１：１５にかけてスタンプ（光）を１００ｘ１００ピクセルの領域に表示する編集命令である。Ｅ５は、１：００〜１：１５にかけてスタンプ（星）を１００ｘ１００ピクセルの領域に表示する編集命令である。

また、Ｅ６は２：００〜２：０５にかけてテキスト（フェードイン）を８００ｘ１００ピクセルの領域に表示する編集命令である。Ｅ７は２：３０〜２：４５にかけてスタンプ（矢印）を９０ｘ９０ピクセルの領域に表示する編集命令である。

ここで、Ｅ３、Ｅ４、およびＥ５は表示時間が同一であるが、これは動画内の同時刻に動画内の異なる場所に各スタンプが表示されることを意味している。

以下、上述のフローチャート（図７）、および、図８を参照しながら、要約サムネイル群作成動作の具体例を説明する。

図８は、実施の形態における複数の編集命令についての優先度計算の結果の例を示す図である。

なお、図８および以下に示される算出結果の数値それぞれは、必ずしも厳密な値ではなく、四捨五入等の丸め処理が施されている場合もある。

まず、コントローラ１０１は、Ｓ５００において、複数の編集命令を確認する。この確認の結果、Ｅ３、Ｅ４、Ｅ５は表示時間が同一であるため一つの編集命令とみなされる。

そのため、編集命令の総数はｒ＝５であり、図８に示すように、７つの編集命令は、Ａ１＝Ｅ１、Ａ２＝Ｅ２、Ａ３＝Ｅ３・Ｅ４・Ｅ５、Ａ４＝Ｅ６、Ａ５＝Ｅ７というように５つの編集命令にまとめられる。

次にコントローラ１０１は、Ｓ５０１において、各編集命令の優先度を計算する。優先度の計算にあたっては以下の各式を用いる。具体的には、コントローラ１０１は、各編集命令の優先度を算出するために、適用時間等の個別の優先度を算出する。

例えば、適用時間に関する優先度ｔは、（式３）によって算出される。

ｔ＝（編集命令の適用時間／動画全長）＊１０００ （式３）

本例では、動画全長が３分（１８０秒）であると想定されているため、（式３）は、（式４）となる。

ｔ＝（編集命令の適用時間／１８０）＊１０００ （式４）

すなわち、編集命令に示される編集が適用される時間が長いほど、時間の長さに関する優先度ｔは大きくなる。

空間の大きさに関する優先度ｓは、編集が適用される空間のピクセル数をａとして、（式５）または（式６）によって算出される。

ａ＜１０００００の場合
ｓ＝ａ／２０００＋ａ／１０００００ （式５）

１０００００≦ａ＜１００００００の場合
ｓ ＝５０＋ａ／２００００＋ａ／１００００００ （式６）

つまり、ａが大きくなるほど優先度ｓが大きくなる。また、式を２段階に分けることで、ピクセル数の差が極端に優先度ｓに反映されすぎないようにしている。

編集の種類に関する優先度ｋは、例えば、テキスト（フェードイン）のときｋ＝２、スタンプ（花）のときｋ＝０、スタンプ（星）のときｋ＝０、スタンプ（光）のときｋ＝０、スタンプ（矢印）のときｋ＝５と設定される。

つまり、テキストは重要な情報である場合が多いため、テキストの追加を示す編集命令についての優先度は、比較的に高く設定されている。

またスタンプ（矢印）の追加を示す編集命令についての優先度は、何か画面内に注目したい部分があることを示しているため、他の種類の編集命令よりも優先度が高く設定されている。

次に、コントローラ１０１は、Ｓ５０１において、１枚目のサムネイル決定（サムネイル対象の編集命令の選択）のための優先度、Ｐ（ｉ）＝ｔ（ｉ）＋ｓ（ｉ）＋ｋ（ｉ）を計算する（１≦ｉ≦５）。

なお、Ｐ（２）の計算にあたっては、Ａ２は３つの編集命令を含んでいるため、ピクセル数ａを３つの編集命令の総和（１００＊１００＋１００＊１００＋１００＊１００＝３００００）として計算する。

コントローラ１０１が、上述の各式およびルールに従って算出した結果、５つの編集命令に対応する優先度Ｐは、図８に示すように、Ｐ（１）＝１２７．９、Ｐ（２）＝８８．４、Ｐ（３）＝９８．６、Ｐ（４）＝９６、Ｐ（５）＝９２．４となる。

次に、コントローラ１０１は、Ｓ５０２において、優先度Ｐの最も大きい編集命令を選ぶ。本例の場合、Ｐ（１）が最も大きいので、１枚目のサムネイル対象の編集命令としてＡ１が選択される。

次に、コントローラ１０１は、Ｓ５０３において、選択済みの編集命令の数：１＜最大サムネイル枚数：３であるので（Ｓ５０３でＮｏ）、処理をＳ５０４に移行する。

次に、コントローラ１０１は、Ｓ５０４において、Ａ１を除いた残りの４つの編集命令の中から、２枚目のサムネイル対象の編集命令を選択するための、残りの編集命令それぞれの優先度Ｐを再計算する。なお、これら優先度Ｐの算出のための計算式として、（式２）が採用される。

ここで、ある編集命令のサムネイル間隔係数ｄは、その編集命令の開始時刻とすでにサムネイル対象として選ばれている１以上の編集命令それぞれの開始時刻との差の絶対値の最小値をｍとした場合、以下の（式７）または（式８）を用いて算出される。

ｍ＜動画全長／（選択済みの編集命令数＋１）の場合
ｄ＝０．５＋（ｍ／動画全長）／２ （式７）

ｍ≧動画全長／（選択済みの編集命令数＋１）の場合
ｄ＝１ （式８）

つまり、コントローラ１０１は、複数の編集命令のうちの選択されていない１以上の編集命令のそれぞれについて、既に選択した編集命令との時間的な差を用いて優先度を算出する。

具体的には、優先度の算出対象の編集命令の開始時刻が、サムネイル対象として選択済みの編集命令の開始時刻に近い場合、コントローラ１０１によって算出されるｄの値は小さくなる。

また、これらの開始時刻の差が十分に大きい時は値を１に固定することで、当該開始時刻の差が優先度Ｐの値に与える影響が大きくなりすぎないようにしている。

本例では、動画全長／（選択済みの編集命令数＋１）＝１８０／（１＋１）＝９０秒である。

従って、Ａ１以外の各編集命令（Ａ２〜Ａ５）と編集命令Ａ１との開始時刻の差の絶対値ｍは、ｍ（２）＝３０、ｍ（３）＝６０、ｍ（４）＝１２０、ｍ（５）＝１５０である。

また、ｍ（２）＝３０は３０＜９０を満たすので、（式７）が適用され、ｄ（２）＝０．５＋（３０／１８０）／２＝０．５８と算出される。

同様にｄ（３）＝０．６７、ｄ（４）＝１、およびｄ（５）＝１と算出される。この場合、各編集命令の（Ａ２〜Ａ５）優先度Ｐは、（式２：Ｐ＝（ｔ＋ｓ＋ｋ）＊ｄ）に従い、図８に示すように、Ｐ（２）＝５１．５、Ｐ（３）＝６５．７、Ｐ（４）＝９６．０、Ｐ（５）＝９２．４と算出される。

次に、コントローラ１０１は、Ｓ５０２において、Ａ２〜Ａ５の中から優先度Ｐの最も高い編集命令を選ぶ。すなわち、２枚目のサムネイル対象の編集命令としてＡ４が選択される。

このように、サムネイル間隔係数ｄにより、１枚目のサムネイル対象（Ａ１）と、時間的に少し離れた編集命令が選ばれやすくなった結果、１枚目のサムネイル対象の算出結果では３番目の優先度であったＡ４が、２枚目のサムネイル対象として選ばれたことになる。

これによって要約サムネイルの対象となるフレームが動画の中の特定の時間区間に極端にかたよることが避けられ、その結果、ユーザに、過去の編集作業の意図をより容易に確認させることが可能となる。

次に、コントローラ１０１は、Ｓ５０３において、選択済みの編集命令数：２＜最大サムネイル枚数：３であるので、処理をＳ５０４に移行する。

次に、コントローラ１０１は、Ｓ５０４において、Ａ１とＡ４を除いた残りの３つの編集命令（Ａ２、Ａ３、Ａ５）の中から、３枚目のサムネイル対象を決定するために、各編集命令の優先度を再計算する。

ここで、動画全長／（選択済みの編集命令数＋１）＝１８０／（２＋１）＝６０秒である。

また、編集命令Ａ２と編集命令Ａ１の開始時刻の差の絶対値は３０、編集命令Ａ２と編集命令Ａ４の開始時刻の差の絶対値は１２０であるので、最小値をとってｍ（２）＝３０である。同様にｍ（３）＝６０、ｍ（４）＝３０である。

従って、ｄ（２）＝０．５８、ｄ（３）＝１、ｄ（５）＝０．５８となり、その結果、Ｐ（２）＝５１．５、Ｐ（３）＝９８．６、Ｐ（５）＝５３．９と算出される。

次に、コントローラ１０１は、Ｓ５０２において、Ａ２、Ａ３、Ａ５の中から優先度Ｐの最も高い編集命令を選ぶ。すなわち、３枚目のサムネイル対象の編集命令としてＡ３が選択される。

次に、コントローラ１０１は、Ｓ５０３において、選択済みの編集命令数：３＝最大サムネイル枚数：３であるので、処理をＳ５０５に移行する。

コントローラ１０１は、まず、Ａ１に対応する編集は、効果としてフェードインが採用されているため、効果の開始時刻（０：００）ではまだＡ１で指定されるテキストが画面に表示されていない。そのためコントローラ１０１は、サムネイルの作成元となる対象フレームとして、少し時間を遅らせて０：０２の時刻に対応するフレームを特定する。また、コントローラ１０１は、サムネイルに示される画像として、当該テキストが表示されている空間を含む、当該空間の付近の画像を切り取る。

次に、コントローラ１０１は、Ａ２に対応する対象フレームとして、Ａ２の開始時刻０：３０に対応するフレームを特定する。また、コントローラ１０１は、Ａ２に対応するサムネイルに示される画像の空間位置および空間範囲として、Ａ２に示されるスタンプが十分大きく見えるような位置および範囲を決定する。

次に、コントローラ１０１は、Ａ４に対応する対象フレームとして、Ａ１と同様、開始時刻を遅らせて２：０２の時刻に対応するフレームを特定し、かつ、サムネイルに示される画像として、テキストが表示されている空間を含む、当該空間の付近の画像を、対象フレームから切り取る。

以上の処理の結果、ユーザに、過去の編集意図を容易に確認させることのできる、動画ストリームから時間的および空間的に切り取られた要約サムネイル群を生成することができる。

［７．効果等］
以上説明したように、本実施の形態において、ＰＣ１００は、編集部１１０と、特定部１２０と、およびサムネイル生成部１３０とを備える（例えば、図３参照）。

編集部１１０は、動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、少なくとも１つのフレームに対して編集を適用する処理である編集処理を行う。

特定部１２０は、編集情報に基づいて、複数のフレームの中から、編集部１１０による編集の対象である対象フレームを特定する。

サムネイル生成部１３０は、編集が適用された対象フレームのサムネイルを生成して出力する。

なお、本実施の形態では、ＰＣ１００は、これら編集部１１０、特定部１２０、およびサムネイル生成部１３０として機能するコントローラ１０１を備えている。

すなわち、画像編集装置（ＰＣ１００）はコントローラ１０１を備え、コントローラ１０１は、（ｉ）動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集プロジェクトファイルの生成を行い、（ｉｉ）編集プロジェクトファイルに基づいて、当該複数のフレームの中から、当該編集の対象である対象フレームを特定し、（ｉｉｉ）当該編集が適用された前記対象フレームのサムネイルを生成して出力する。

ＰＣ１００は、上記構成を有することで、編集対象の動画ストリームについて指定された編集の内容を示す編集情報を生成し、かつ、生成した編集情報を用いて、当該編集の内容を示すサムネイルを生成することができる。

これにより、例えば、編集後の動画の画像解析によって当該編集の内容を示すサムネイルを生成する、というような煩雑な処理を行うことなく、効率よく、当該編集の内容を示すサムネイルを生成することができる。

その結果、ＰＣ１００は、例えば、中断された動画の編集作業をユーザが再開する際に、当該動画に対する編集意図を当該ユーザに容易に確認させることができる。

また、本実施の形態において、編集部１１０は、含む複数の編集処理であって、互いに編集の内容の異なる複数の編集処理を実行し、当該複数の編集処理のそれぞれに対応する編集の内容である編集命令を示す編集プロジェクトファイルを生成することができる。そして、特定部１２０は、編集プロジェクトファイルに示される複数の編集命令の中から、１つの編集命令を選択することで、選択した当該１つの編集命令に対応する対象フレームを特定することができる。

これにより、例えば、１つの動画ストリームにいて、複数の編集命令を含む編集プロジェクトファイルが生成された場合、これら複数の編集命令の中から、何らかの基準に応じて１つの編集命令を選択することができる。つまり、編集プロジェクトファイルに複数の編集命令が含まれる場合であっても、編集意図を視覚化するサムネイルの生成が効率よく行われる。

また、本実施の形態において、特定部１２０は、複数の編集命令のそれぞれについて、当該編集命令を用いて優先度を算出し、当該複数の編集命令のうちの優先度が最も高い前記１つの編集命令を選択することができる。

これにより、編集プロジェクトファイルに含まれる複数の編集命令のうちの、例えば最も重要な編集命令に対応するサムネイルが生成される。その結果、ＰＣ１００は、例えば、当該編集プロジェクトファイルに対応する編集意図を、より明確にユーザに提示することができる。

また、本実施の形態において、特定部１２０は、複数の編集命令の中から、優先度が高い順に、予め定められた数の編集命令を選択することができる。

これにより、ＰＣ１００は、例えば、複数の編集命令の中から効率よくサムネイル対象となる編集命令を選択できるとともに、ユーザに編集意図を確認させ易い複数のサムネイルの生成を行うことができる。

また、本実施の形態において、特定部１２０は、複数の編集命令のそれぞれについて、当該編集命令に示される、編集の種類、当該編集が適用される時間位置、当該編集が適用される時間の長さ、当該編集が適用される空間位置および、当該編集が適用される空間的な大きさのうちの少なくとも一つを用いて優先度を算出することができる。

これにより、ＰＣ１００は、例えば、動画の開始直後の時間帯に対する編集命令、および、画面の中央付近の領域に対する編集命令については優先度を高くする、など、各編集命令に対し、当該編集の内容に応じた重み付けを行うことができる。その結果、例えば、複数の編集命令の中から、サムネイル対象としてより適切な編集命令が選択される。

また、本実施の形態において、特定部１２０は、複数の編集命令のうちの選択されていない１以上の編集命令のそれぞれについて、既に選択した編集命令との時間的な差を用いて優先度を算出することができる。

これにより、例えば、サムネイルの作成元として特定される複数の対象フレームを、１つの動画ストリームにおいて時間的に分散させることができる。つまり、サムネイル化されるフレームの時間的な偏りが抑制される。

その結果、ＰＣ１００は、例えば、ユーザに編集意図をより確認させ易い、１以上のサムネイルからなるサムネイル群を生成することができる。

また、本実施の形態において、編集部１１０は、特定部１２０によって対象フレームが特定された後に、当該対象フレームに対応する編集を当該対象フレームに適用することができる。そして、サムネイル生成部１３０は、当該対象フレームが特定された後に編集部１１０によって当該編集が適用された対象フレームのサムネイルを生成することができる。

これにより、編集命令に示される適用時間内のフレームであって、かつ、当該編集命令に示される編集が実際には適用されていないフレームが、対象フレームとして特定された場合であっても、当該編集が適用された対象フレームのサムネイルが生成される。

つまり、編集プロジェクトファイルに示される１以上の編集命令の少なくとも一部が動画ストリームに反映されていない場合であっても、対象フレームとして特定されたフレームであって、当該フレームに対応する編集が適用されたフレームのサムネイルが必ず生成される。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記実施の形態では、特定部１２０（コントローラ１０１）は、複数の編集命令の中から、複数の編集命令それぞれの優先度に応じて、サムネイル対象となる１以上の編集命令を選択するとした。

しかしながら、特定部１２０は、優先度を算出せずに、サムネイル対象となる編集命令を選択してもよい。

特定部１２０は、例えば、複数の編集命令の中から、ランダムにサムネイル対象となる編集命令を選択してもよい。また、特定部１２０は、複数の編集命令を適用の開始時刻の順に並べた場合における先頭と中央と最後の３つの編集命令を選択するなどでもよい。

このように、特定部１２０は、優先度を算出せずに、サムネイル対象となる編集命令を選択してもよく、これにより、ＰＣ１００における、編集命令の選択に係る処理負荷が軽減される。

また、本実施の形態では、ＰＣ１００は、編集プロジェクトファイルが生成された後の、サムネイル作成に係る一連の処理（図７参照）を、編集プロジェクトファイルがユーザにより選択されたことをトリガとして実行するとした。

しかしながら、サムネイル作成に係る一連の処理は、他のタイミングで実行されてもよい。例えば、編集プロジェクトファイルが保存されたこと（プロジェクト保存釦４０６が押下されたこと）をトリガとして、当該編集プロジェクトファイルに対応する１以上のサムネイル（要約サムネイル群）が生成されてもよい。

この場合、例えば、プロジェクト読み込み画面（図４参照）において、複数のプロジェクトのいずれかが選択された場合に、当該プロジェクトに対応する要約サムネイル群を、即座に表示することが可能となる。

また、本実施の形態では、編集命令の優先度を算出する計算式として、（式１）〜（式８）等の各種の計算式を示した。しかしながら、これら計算式は、編集命令の優先度の算出に用いられる計算式の例であり、他の計算式が当該優先度の算出に用いられてもよい。

例えば、編集命令に示される編集の、適用時間の長さ（ｔ）、適用面積の大きさ（ｓ）、および、種類（ｋ）の３種類の属性値に関する変数（個別優先度）のうちの１つまたは２つのみを用いて優先度Ｐを求めてもよい。

また、実施の形態における編集部１１０、特定部１２０、およびサムネイル生成部１３０のそれぞれの機能（図２参照）の一部または全部は、１つまたは複数の集積回路によって実現してもよい。つまり、本実施の形態における画像編集装置は、専用の回路の組み合わせによって実現してもよい。

また、本実施の形態では、画像編集装置の一例としてのＰＣ１００の構成および処理の流れについて説明した。しかしながら、他の種類の電子機器を画像編集装置として機能させてもよい。

例えば、インターネットに接続されたサーバコンピュータ（以下、「サーバ」という。）を画像編集装置として機能させてもよい。例えば、サーバにおいて情報処理を実行するコントローラが、編集部１１０、特定部１２０、およびサムネイル生成部１３０として機能することで、上述の、編集プロジェクトファイルに基づく対象フレームの特定、および、対象フレームの生成等の処理を、サーバが実行することができる。

この場合、例えば、ローカルのＰＣからインターネット経由で当該サーバに動画ストリームをアップロードし、リモートで編集命令の指定等の編集作業を行うことができる。また、その編集作業の成果物として、編集プロジェクトファイル、および、当該編集プロジェクトファイルに対応する１以上のサムネイルを当該ＰＣにダウンロードすることができる。

また、携帯端末、ビデオカメラ、および、ビデオレコーダ等の電子機器を、本開示における画像編集装置として機能させてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画に対する編集作業を効率よく行う画像編集装置に適用可能である。具体的には、ＰＣ、サーバ、携帯端末、ビデオカメラ、およびビデオレコーダ等の電子機器に、本開示は、適用可能である。また、同様の機能を実行可能なプログラムを格納したＣＤまたはＤＶＤ等の記録メディアにも本開示は適用可能である。

１００ ＰＣ
１０１ コントローラ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ 表示デバイス
１０９ 液晶ディスプレイ
１１０ 編集部
１２０ 特定部
１３０ サムネイル生成部
４００ プレビューエリア
４０１ タイムラインエリア
４０２ 編集命令追加エリア
４０３ プロパティエリア
４０４ 新規プロジェクト釦
４０５ プロジェクト読み込み釦
４０６ プロジェクト保存釦
４０７ ファイル出力釦
４０８ 終了釦
５００ プロジェクト一覧エリア
５０１ 要約サムネイルエリア
５０２ 開く釦
５０３ キャンセル釦

Claims (8)

1. 動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報の生成、および、前記少なくとも１つのフレームに対して前記編集を適用する処理である編集処理を行う編集部と、
   前記編集情報に基づいて、前記複数のフレームの中から、前記編集部による編集の対象である対象フレームを特定する特定部と、
   前記編集が適用された前記対象フレームのサムネイルを生成して出力するサムネイル生成部と、
   を備える画像編集装置。
2. 前記編集部は、前記編集処理を含む複数の編集処理であって、互いに編集の内容の異なる複数の編集処理を実行し、前記複数の編集処理のそれぞれに対応する編集の内容である個別編集内容を示す前記編集情報を生成し、
   前記特定部は、前記編集情報に示される複数の個別編集内容の中から、１つの個別編集内容を選択することで、選択した前記１つの前記個別編集内容に対応する前記対象フレームを特定する
   請求項１記載の画像編集装置。
3. 前記特定部は、前記複数の個別編集内容のそれぞれについて、当該個別編集内容を用いて優先度を算出し、前記複数の個別編集内容のうちの優先度が最も高い前記１つの個別編集内容を選択する
   請求項２記載の画像編集装置。
4. 前記特定部は、前記複数の個別編集内容の中から、優先度が高い順に、予め定められた数の個別編集内容を選択する
   請求項３記載の画像編集装置。
5. 前記特定部は、前記複数の個別編集内容のそれぞれについて、当該個別編集内容に示される、編集の種類、当該編集が適用される時間位置、当該編集が適用される時間の長さ、当該編集が適用される空間位置および、当該編集が適用される空間的な大きさのうちの少なくとも一つを用いて優先度を算出する
   請求項３または４に記載の画像編集装置。
6. 前記特定部は、前記複数の個別編集内容のうちの選択されていない個別編集内容について、既に選択した個別編集内容との時間的な差を用いて優先度を算出する
   請求項３または４に記載の画像編集装置。
7. 前記編集部は、前記特定部によって前記対象フレームが特定された後に、前記対象フレームに対応する前記編集を前記対象フレームに適用し、
   前記サムネイル生成部は、前記対象フレームが特定された後に前記編集部によって前記編集が適用された前記対象フレームのサムネイルを生成する
   請求項１〜６のいずれか１項に記載の画像編集装置。
8. 画像編集装置においてサムネイルを生成するサムネイル生成方法であって、
   動画ストリームに含まれる複数のフレームのうちの少なくとも１つのフレームに対して適用される編集の内容を示す編集情報を生成する生成ステップと、
   前記編集情報に基づいて、前記複数のフレームの中から、前記編集の対象である対象フレームを特定する特定ステップと、
   前記編集が適用された前記対象フレームのサムネイルを生成して出力するサムネイル生成ステップと
   を含むサムネイル生成方法。

Images