JP2007110566A - 動画編集装置、および動画編集方法 - Google Patents

Abstract

【課題】従来の編集技術においては、指定した編集範囲内に実はその編集処理の対象としては不適当なフレームが含まれている可能性があるが、その編集範囲をいちいち再生するなどの手間がかかるため、その内容をユーザーが容易に確認することができない、という課題がある。
【解決手段】上記課題解決のため、本発明は、動画編集命令を受け付けると、その編集処理の前に、編集対象となるシーンに含まれるフレームを所定枚数のサムネイルとして表示する機能を備えた動画編集装置を提供する。具体的には、動画情報保持部と、編集部と、動画編集命令取得部と、動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて動画情報保持部から所定の動画情報を抽出して、サムネイル情報を取得するサムネイル情報取得部と、サムネイル表示部と、を有する動画編集装置である。
【選択図】図２

Description

本発明は、動画編集装置での符号化動画像の編集作業において、ユーザーの利便性を向上させた編集操作を可能とする動画情報の表示技術に関する。

従来の符号化動画像を編集する技術においては、まず動画の中から編集を行う対象となる編集範囲を、例えば編集開始点と終了点となる再生位置（タイミング）やフレームを指定することで特定したり、チャプタが設定されていればそのチャプタを指定することで特定したりする。そして、その特定した編集範囲に対して、シーン消去の編集処理や色・輝度情報の変更などの編集処理を行う、という手順が一般的である。また、特許文献１では、この編集範囲の特定作業におけるユーザー利便性を向上させるため、動画を構成する複数のフレームを例えば１から１０フレームを画像群Ａ、１１から２０フレームを画像群Ｂ、・・・という具合に分類する。そして、編集作業においてはフレーム１や１１などその画像群の代表フレームを表示し、例えばフレーム１が消去編集の対象として指定されると画像群Ａをまとめて消去することができる動画編集装置に関する技術が開示されている。
特開２００５−１６７６４０号公報

しかし、上記従来の編集技術においては、その編集範囲に含まれるシーンの内容をユーザーが容易に確認することができない、という課題がある。これは、例えば、ユーザーが編集すると判断し編集開始点と編集終了点を特定した範囲内に、「輝度変更すると白とび（ハイライト部分の画像が消える現象）するフレームが含まれている」場合や、「実写（一秒間に３０フレーム表示される動画）とアニメーション動画（一秒間に２４フレーム表示される動画）が混在している」場合など、実はその輝度変更やフレームレート変更などの編集処理の対象としては不適当なフレームが含まれている可能性がある。しかしユーザーは手間がかかるためその編集範囲内のフレームをいちいち再生などして確認しない可能性があり、その場合、ユーザーが知らないうちにその不適当なシーンに対しても編集が実行されてしまう、ということである。

以上の課題を解決するために、本発明は、動画編集命令を受け付けると、その編集処理が最終的に実行される前に、編集対象となるシーンに含まれるフレームを所定枚数のサムネイルとして表示する機能を備えた動画編集装置を提供する。具体的には、動画情報を保持する動画情報保持部と、動画編集保持部に保持されている動画情報を編集する編集部と、動画編集命令を取得する動画編集命令取得部と、動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて動画情報保持部から所定の動画情報を抽出して、サムネイル情報を取得するサムネイル情報取得部と、取得したサムネイル情報に基づいてサムネイルを表示するサムネイル表示部と、を有する動画編集装置である。

以上のような構成をとる本発明によって、編集処理の前に、編集対象となるシーンに含まれるフレームを所定枚数のサムネイルとして表示することができる。するとユーザーはそのサムネイルを視覚的に確認することで所望の編集にそぐわないフレームがあるか否かを簡単に判断することができるようになる。したがって動画編集時のユーザーの手間を省きその利便性を向上させることができる。また編集にそぐわないフレームを誤って編集してしまう、という事態の発生を容易に抑えることできる。

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１、５、６について説明する。また、実施例２は、主に請求項２、７について説明する。また、実施例３は、主に請求項３、８について説明する。また、実施例４は、主に請求項４、９について説明する。

≪実施例１≫ <実施例１の概要> 図１に示すのは、本実施例の動画編集装置による画面表示の概要の一例を表す図である。今、ユーザーがＤＶＤメディアに録画した推理ドラマを携帯動画プレイヤーで視聴するため、本実施例の動画編集装置を利用して、その動画に含まれるシーンの色や輝度値の変更や、ＣＭのカット、あるいはビットレートの変更などの編集作業を行っている。そして主人公がトンネルに逃げ込むという照明が暗めのシーンにおいて、ユーザーは視聴しやすくするためそのシーンの輝度値を上げる編集を行うと判断した。そこで、ユーザーはそのトンネルのシーンの開始フレームと終了フレームとを編集点として指定することで輝度値変更の対象となる編集範囲を特定した。すると、本実施例の動画編集装置は、その特定された編集範囲に含まれるフレームの中から５枚を抽出し、図に示すようにディスプレイ上にてその５枚のフレームのサムネイル表示を行った。これによりユーザーは、編集処理を行おうとしていたシーン内に実はその編集にそぐわないフレームがあるかないか、を簡単に確認することができる。ここでは輝度変更の編集範囲とした、例えばそのトンネルシーン内に、ライトを点けた車のアップとその車に衝突する主人公が映されるフレームがあることをユーザーはサムネイルによって知ることができた。そして、このままその車のフレームも含めて輝度変更の編集処理を行うと、そのシーンは白とびしてしまい余計視聴しづらくなってしまう、とユーザーは判断し、その車の一連のフレームを編集範囲から外すなどすることができる。

<実施例１の構成> 図２に示すのは、本実施例の動画編集装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画編集装置」（０２００）は、「動画情報保持部」（０２０１）と、「編集部」（０２０２）と、「動画編集命令取得部」（０２０３）と、「サムネイル情報取得部」（０２０４）と、「サムネイル表示部」（０２０５）と、を有する。なお、以下に記載する本装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵ（中央演算装置）や主メモリ、バス、あるいはＨＤＤ（ハードディスクドライブ）や不揮発性メモリなどの記憶装置、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶メディア、それらメディアの読取ドライブ、各種通信や印刷機器用の送受信ポート、入力デバイスやその接続ポート、その他の周辺装置などのハードウェア構成部や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるインターフェースなどが挙げられる。これらハードウェアやソフトウェアは、メモリ上に展開したプログラムをＣＰＵで順次演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明はシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

「動画情報保持部」（０２０１）は、動画情報を保持する機能を有する。「動画情報」とは、動画を再生するための情報をいう。この動画情報保持部は、ハードウェアの構成としては例えばＨＤＤや不揮発性メモリなどの磁気記録媒体や、ＤＶＤメディアなどの光学記録媒体などに動画情報を保持することで実現することができる。

図３に示すのは、この動画情報保持部に保持されている動画情報の一例を説明するための概念図である。この図にあるように、動画情報は、複数のフレーム（静止画像）を表示するためのデータの集まりとして構成されている。なお、高効率符号化動画では、例えば図中１１、２１、・・・、４１番目のフレームなどは単体で（フレーム内予測を利用して）符号化されたいわゆるＩフレームであり、例えば図中１２，１３、・・・、２２、・・・のフレームなどは前や後のフレームを参照して（フレーム間予測を利用して）符号化されたいわゆるＢフレームやＰフレームである動画情報であっても良い。そして、これらフレームが、例えば一秒間に１５、３０，６０など所定の枚数で連続して順次ディスプレイなどに表示されることで、動画情報は動画として再生表示されることになる。そして、次の編集部では、その編集範囲を「フレーム１１からフレーム２０」という具合に特定し編集処理を行う。また、後述するサムネイル情報取得部においては、このフレームのなかから所定の条件に従っていくつかのフレームが抽出されサムネイル情報として取得されることになる。

「編集部」（０２０２）は、動画情報保持部（０２０１）に保持されている動画情報を編集する機能を有する。「編集」とは、動画情報に対して何らかの変更を行う処理をいい、例えば、フレームを消去する消去編集、フレームを構成する画素の色値や輝度値の変更処理（色、輝度値変更の他、アンシャープ処理、ノイズ除去処理）、解像度の変更処理、ビットレートの変更処理、フレームレート（一秒間に表示されるフレームの枚数）の変更処理、インターレース／デインターレース処理、映像と音声の同期処理、などが挙げられる。

この編集部は、ハードウェア構成としては、例えばＣＰＵや主メモリ、あるいはビデオチップやビデオメモリなどが挙げられる。そしてＧＯＰ（グループ・オブ・ピクチャ）単位でフレームを消去するなどの場合には、指定編集範囲のフレームの画像情報の消去処理や、主メモリに格納したＧＯＰヘッダをＣＰＵの処理により書換える、という具合の処理が行われる。また、色値や輝度値など画素情報の変更であれば、動画情報で示されるフレーム内の画素ごとの例えばＲＧＢ情報などが、ビデオメモリの所定のメモリアドレスに格納される。そして、ビデオチップの処理によってそれぞれのメモリアドレスに格納されたＲＧＢ値が変更される、という具合の処理が行われる。そして、この編集部における上記のような編集処理は、次の動画編集命令取得部で取得する動画編集命令に基づいて実行される。

「動画編集命令取得部」（０２０３）は、動画編集命令を取得する機能を有する。「動画編集命令」とは、動画を編集するための命令をいう。したがって、この動画編集命令には上記のようなシーン消去や画素情報変更、フレームレートの変更など、その編集内容を示す情報が含まれる。また、動画編集命令には、さらにその編集処理を行う対象となる動画情報の範囲を特定するための情報も含まれる。この編集対象範囲の特定は、具体的には、例えば、図３の「１１番目のフレームから５１番目までを編集対象とする」、という具合にその編集開始点と編集終了点によって指定されると良い。もちろんＤＶＤビデオ映像などでチャプタが設定されている場合は、そのチャプタを指定することで自動的に編集開始点（チャプタの開始点）と編集終了点（チャプタの終了点）を特定することができる。

なお、この動画編集命令取得部は、ハードウェア構成では、上記のようにリモコンなどのインターフェースを介してユーザーの入力した選択情報を取得するＩ／Ｏ（インプット／アウトプットデバイス）で実現される。もちろんインターフェースがリモコンである場合、そのＩ／Ｏは具体的には赤外線受光部や受光した赤外線パルスをリモコンコードに変換する変換部などで構成されると良い。あるいはインターフェースがタッチパネルであれば、Ｉ／Ｏは光を遮蔽する物体の位置を検知する機構や感圧装置などで構成されると良い。あるいは、ＰＣのソフトウェア上で動画が編集される場合などは、その編集ソフトウェアのＧＵＩである編集ボタンをマウスなどを用いて操作することによって取得される構成であっても良い。

また、本実施例は、動画編集命令で特定される編集範囲内のフレームをサムネイル表示することで、その編集範囲内のフレームをいちいち再生して確認する、などのユーザーの手間を省くことができることに特徴がある。そのため、例えば編集範囲が狭い（構成するフレーム数が少なく編集範囲内のフレーム内容が容易に予測可能な）場合には、そのサムネイルの表示処理を行わない構成としても良い。その場合、この動画編集命令取得部では、その取得した動画編集命令で示される編集点を特定するための情報を取得する編集点特定情報取得手段と、その編集開始点と編集終了点で示される編集範囲が予め設定された所定の閾値以下であるか判断し、閾値以下である場合サムネイル表示を行わないよう制御するサムネイル表示可否判断手段と、を有していても良い。

「サムネイル情報取得部」（０２０４）は、編集点特定情報に基づいて動画情報保持部から所定の動画情報を抽出して、サムネイル情報を取得する機能を有する。「編集点特定情報」とは、前述の動画編集命令取得部で説明したように、動画編集命令で特定される編集開始点と、編集終了点とを示す情報を言う。また、「所定の動画情報」とは、上記のように編集点特定情報で特定された編集範囲内の動画情報をいい、「抽出」とは、その範囲内の動画情報を構成するフレームの全部、又は一部を抽出することをいう。つまり、ここで、編集範囲内に含まれるフレームをサムネイル候補として抽出する処理が行われる。なお、このサムネイル候補である所定動画情報内のフレームの抽出処理は、以下のようにさまざまなルールに基づいて実行されて良い。

図４に示すのは、このフレームの抽出処理におけるルールの一例について説明するための概念図である。この図（ａ）にあるように、例えば、編集開始点と編集終了点とでその編集範囲が２０秒と特定される動画編集命令が取得された。このときサムネイルとして表示する枚数が、例えば３枚、という具合にルールとして予め設定されている場合、その設定枚数に応じて編集開始点から編集終了点までのシーンを等分割し、編集開始点から５秒ごとにフレームＡ、フレームＢ、フレームＣを抽出する、という具合である。

あるいは、この図（ｂ）にあるように、そのルールが場面転換などのシーンチェンジのフレームや重要シーンの冒頭フレーム抽出であるとする。その場合には、例えば特開２００４−２９５９２３号広報や特開２００５−１６７４５６号広報、特開平０４−２９４６９４号広報など様々な特許文献で開示されているシーンの分析、抽出技術を利用して、重要シーン１の冒頭フレームＤや重要シーン２の冒頭フレームＥ、重要シーン３の冒頭フレームＦ、などを動画再生前に予め特定し、そのフレームの再生位置（タイミング）情報などを格納しておく。そして、フレーム抽出処理においては、動画編集命令で示される編集開始点と編集終了点の間にあるフレームをその再生位置情報などを元に判断し、ここではフレームＤとフレームＥ、とが抽出される、という具合である。

あるいは、例えばＣＭであれば１５秒や３０秒単位で１つのＣＭが放映され、またテレビライブ音楽番組であればオープニング５分の後、トーク１分、ライブシーン３分、ＣＭ１分のサイクルで放映される、という具合にその（番組）動画の進行スケジュールが予測可能である場合、その時間に応じて動画再生前に予めそれらシーンの冒頭フレームなどを取得しておいても良い。そして、編集開始点と編集終了点で示される範囲に含まれるフレームを抽出しても良い。

なお、動画情報が高効率符号化された動画情報である場合、上記抽出されるフレームはＩフレームであることが望ましい。なぜならば、ＢフレームやＰフレームは、サムネイル表示するために前後のフレームを参照しデコードする必要があるためＩフレームの表示処理と比較してサムネイル化の際の処理負荷が高くなるからである。そこで、上記処理によって抽出されるフレームとしてＢフレームやＰフレームが特定された場合、それらＢフレームやＰフレームが含まれるＧＯＰのＩフレームを代理のフレームとして抽出すると良い。

そして、このようにして抽出されたフレームに基づいてサムネイル情報が取得される。このサムネイル情報は、例えば、サムネイル表示するための縮小リサイズ処理が施された画像情報や、そのリサイズされた画像の画面内での配置位置情報などとして、抽出されたフレームに基づいて生成された情報などが挙げられる。あるいは、抽出されたフレームの画像情報自体はビデオメモリなどに格納されている場合もあるため、その場合にはサムネイル情報は、サムネイル表示するための抽出されたフレームの識別情報やその格納メモリアドレスなどのみであっても良い。そして、このサムネイル情報に基づいて、次のサムネイル表示部においてサムネイルの表示処理が行われる。

「サムネイル表示部」（０２０５）は、取得したサムネイル情報に基づいてサムネイルを表示する機能を有する。これは、前述の通り、サムネイル情報がリサイズされたフレームの画像情報やその配置位置情報であれば、それら情報に合わせてビデオチップの制御によりビデオメモリに格納されたサムネイル情報をディスプレイなどで表示しサムネイル表示を行うと良い。あるいは、サムネイル情報が抽出されたフレームの識別情報や格納メモリアドレスを示す情報であれば、その情報に基づいてフレームの画像情報を取得し、リサイズ処理などを行い上記同様にディスプレイ上にサムネイル表示しても良い。また編集処理の内容がノイズ除去や輝度変更などフレームの画素情報の変更処理である場合、編集処理済の画像をサムネイル表示しても良いし、処理負荷を下げ高速表示を可能とするため編集未処理の画像をサムネイル表示しても良い。そして、ユーザーはこのようにして表示されたサムネイルを見て、編集範囲として指定したシーン内に、例えば「輝度変更すると白とびするフレームが含まれている」ことや、「実写（一秒間に３０フレーム表示される動画）とアニメーション動画（一秒間に２４フレーム表示される動画）が混在している」ことなど、その輝度変更やフレームレート変更などの編集内容にそぐわないフレームが含まれていないか、を容易に確認することができる。そして、例えば実施例４にて後述するように、このサムネイル画面がＧＵＩ（グラフィカル・ユーザー・インターフェース）の機能を備えていれば、例えばユーザーがそのサムネイルを選択し、そのサムネイルで示されるフレームやその周辺フレームのみに対しまた別の編集処理を指定することができる構成としてもよい。

<実施例１のハードウェア構成例> 図５に示すのは、本実施例の動画編集装置におけるハードウェア構成の一例を表す概略図である。この図を利用して編集範囲内のサムネイル表示処理におけるハードウェア構成部の働きの一例について説明する。この図にあるように、動画編集装置は、サムネイル情報取得部や編集部である「ＣＰＵ（中央演算装置）」（０５０１）と、「主メモリ」（０５０２）と、を備えている。また動画情報保持部である「記録装置」（０５０３）や、編集部やサムネイル表示部である「ビデオチップ」（０５０４）、「ビデオメモリ」（０５０５）や、動画編集命令取得部である「Ｉ／Ｏ」（０５０７）も備えている。そしてそれらが「システムバス」（０５０８）などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。また、ビデオチップはサムネイルなどを表示する「ディスプレイ」（０５０６）とも接続されている。

また、「主メモリ」は、ＣＰＵで実行するプログラムの作業領域であるワーク領域と、そのプログラムによって処理するためのデータを格納するデータ領域とを提供する。そして、この「主メモリ」や「ビデオメモリ」には複数のメモリアドレスが割り当てられており、「ＣＰＵ」で実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。

（動画編集命令取得部の処理） ここで編集作業のため、まず、ユーザーの操作によってリモコンなどから出力された動画編集命令を示す赤外線信号が、「Ｉ／Ｏ」である赤外線受光部に受光される。動画編集命令の赤外線信号を受光した受光部では、それをリモコンコードに復調し動画編集命令であると識別する。すると、「主メモリ」のワーク領域に展開されているサムネイル生成プログラムによって、動画編集命令に含まれる編集開始点と編集終了点とを示す編集点特定情報の取得と、その編集開始点と編集終了点の主メモリの所定メモリアドレスへの格納とが行われる。

具体的には、編集開始点は、例えば、Ｉ／Ｏで動画編集命令を取得したタイミングにディスプレイに表示されているフレームの識別情報や、「再生スタートから４分３０秒の位置」という具合のそのフレームの再生位置（タイミング）情報などが挙げられる。そしてそれら情報が主メモリのメモリアドレス１に格納される。また、編集終了点は、例えば編集開始点であるフレームから５分後に再生されるフレームの識別情報や、そのフレームの再生位置（タイミング）情報、例えば「再生スタートから９分３０秒後」、などの情報が挙げられる。また、それとともに、このように編集開始点と編集終了点で特定された範囲に対する消去処理や輝度変更処理など編集内容を示す情報も動画編集命令には含まれているので、それら編集内容を示す情報も主メモリの所定メモリアドレスに格納される。

（サムネイル情報取得部の処理） 次に、このようにして、主メモリのメモリアドレス１，２に格納された編集開始点と編集終了点の情報を元に、主メモリのワーク領域に展開されたサムネイル生成プログラムの命令が実行され、サムネイル情報取得のための処理が行われる。具体的には、「記録装置」に保持されている動画情報を構成する各フレームには、そのフレームの再生位置（タイミング）を示すヘッダが付加されているので、そのヘッダを参照し、ＣＰＵの比較演算処理によってメモリアドレス１に格納されている編集開始点の再生位置情報とメモリアドレス２に格納されている編集終了点の再生位置情報との間に再生位置があるフレームが、例えば９００枚、という具合に特定される。ここで、サムネイル表示される画像の枚数が５枚だとすると、記録装置などに予め記録されているその枚数を示す数値情報が読み出され主メモリの所定のメモリアドレスに格納される。そして前記特定された９００枚のフレームの中から５枚のフレームの抽出処理が、例えば９００枚を６等分するＣＰＵの演算処理によって、一枚目のサムネイル画像はスキップ開始点のフレームから１５０フレーム目であるフレームＡ、２枚目は３００フレーム目であるフレームＤ、・・・という具合に行われる。

そしてそのように抽出されたフレームの識別情報「Ａ」や「Ｄ」などが主メモリのメモリアドレス３やメモリアドレス４に格納される。そして、その格納された識別情報で識別されるフレームＡやフレームＤなどの画像をサムネイル表示用に例えばリサイズするなどの処理が、隣接画素値を加算し平均化するなどのＣＰＵの演算によって行われる。そしてリサイズされたフレームＡやフレームＤなどの画像情報がビデオメモリへと送信される。

（サムネイル表示部の処理） つづいて、このようにしてビデオメモリに格納されたリサイズ後の画像情報を、サムネイルとして一画面内に表示するために、「ビデオチップ」において、画像サイズや枚数などの情報に基づいてサムネイル画像の配置位置の決定処理が行われる。もちろん、予めサムネイル表示用の画面などがテンプレートとして設定されていれば、上記配置位置の決定処理などを省略することもできる。いずれにせよ、そのようにして決定された配置位置に対してビデオメモリに格納された各画像がサムネイル表示されるよう、カラーパレットなどを利用してＲＧＢ信号が「ディスプレイ」へと送出されディスプレイにてサムネイル表示が行われる。そして、このように表示されたサムネイル画像を見て、ユーザーはその特定した編集範囲に対して実際に編集処理を行うか否か判断することができる、という具合である。

そして、ユーザーが編集処理を行うと判断し、その旨を示すリモコンの決定ボタンなどを操作すると、編集部であるＣＰＵやビデオチップの処理により動画情報に対する編集処理が行われることになる。

（動画情報保持部および編集部の処理） 上記のように編集実行を示すリモコンからの信号が、動画編集命令同様「Ｉ／Ｏ」にて受信されると、ＣＰＵやビデオチップの処理により、例えば主メモリやビデオメモリに格納された編集対象となるフレームの画素値を変更する演算処理が行われる。あるいは、シーン消去処理であれば、その消去対象となるフレームの消去処理やＧＯＰヘッダの書換え処理が実行され動画編集処理が実行される。

もちろん上記例は一例であり、例えば動画情報保持部が「ＤＶＤ−ＲＯＭ」などの光学記録媒体で、読取ドライブによって読み取られたＤＶＤ−ＲＯＭ内の動画情報がビデオメモリに格納される構成であっても良い。また、動画編集命令取得部であるＩ／Ｏは、そのインターフェースが例えばタッチパネルであれば、ディスプレイ上の指やペンなどの位置を検知する検知機構で構成されていても良い。あるいはインターフェースがマウスなどであれば、Ｉ／Ｏは、マウスによる動画再生アプリケーションの編集ボタン操作などを受け付ける入力デバイス接続ポートなどであっても良い。いずれにせよ、そのようにして入力された動画編集命令によって上記同様にその編集開始点と編集終了点が主メモリの所定メモリアドレスにそれぞれ格納され、サムネイル情報が生成、取得される構成でも構わない。また、その際、サムネイル画像は「Ｉ／Ｏ」で受信した動画編集命令に含まれる編集内容に基づいてＣＰＵやビデオチップなどの処理で編集処理済みのサムネイル画像であっても構わない。

また、サムネイル情報の取得も上記処理以外に、重要シーンの冒頭フレームなどを所定ルールに基づくＣＰＵの演算処理によって予め特定しておき、ヘッダを参照することで、その中からスキップシーン内に含まれるフレームを判別しサムネイル画像のフレームとして抽出する処理が行われても構わない。

<実施例１の処理の流れ> 図６に示すのは、本実施例の動画編集装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ユーザーのリモコン操作などによって送出された動画編集命令を取得し（スキップＳ０６０１）、その動画編集命令に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出しサムネイル情報を取得する（ステップＳ０６０２）。そして、取得したそのサムネイル情報に基づいてサムネイルを表示する（ステップＳ０６０３）。そして、そのサムネイル表示を見て、ユーザーが編集処理を行うと判断しその旨を示す信号を例えばリモコン操作などで送出し、本実施例の動画編集装置にて受信する（ステップＳ０６０４）と、動画編集装置は動画情報を編集する（ステップＳ０６０５）。

<実施例１の効果の簡単な説明> 以上のように、本実施例の動画編集装置によって、編集処理の前に、編集対象となるシーンに含まれるフレームを所定枚数のサムネイルとして表示することができる。するとユーザーはそのサムネイルを視覚的に確認することで所望の編集にそぐわないフレームがあるか否かを簡単に判断することができるようになる。したがって動画編集時のユーザーの手間を省きその利便性を向上させることができる。また編集にそぐわないフレームを誤って編集してしまう、という事態の発生を容易に抑えることできる。

≪実施例２≫ <実施例２の概要> 本実施例の動画編集装置は、実施例１を基本として、そのサムネイル表示において例えばユーザーなどによって指定された枚数分のサムネイル表示を行うことを特徴とする。したがって、「チャプタ編集」など一回の操作で特定される編集範囲が長い場合は、このサムネイルの表示枚数を多く指定することで、実施例１のサムネイル表示では表示されなかったフレームまで確認することができる。したがって、ユーザーは、編集にそぐわないフレームなどを見逃す可能性をさらに抑えることができる。また、逆に編集範囲が短い場合、場合によってはサムネイル表示される画像がほとんど同じシーンを示すフレームになっている、などの事態も想定される。そこで、この枚数を少なく指定することで、編集範囲に含まれるフレームを確認できる効果を損なうことなく、動画編集装置の演算処理負荷を抑えることができる。

<実施例２の構成> 図７は、本実施例の動画編集装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画編集装置」（０７００）は、実施例１を基本として、「動画情報保持部」（０７０１）と、「編集部」（０７０２）と、「動画編集命令取得部」（０７０３）と、「サムネイル情報取得部」（０７０４）と、「サムネイル表示部」（０７０５）と、を有する。なお、この「動画情報保持部」と、「編集部」と、「動画編集命令取得部」と、「サムネイル情報取得部」と、「サムネイル表示部」と、は実施例１にてすでに記載済みであるのでその説明は省略する。そして、本実施例の動画編集装置の特徴点は、「枚数指定部」（０７０６）をさらに有している点である。

「枚数指定部」（０７０６）は、サムネイル情報取得部に対して取得すべきサムネイルの枚数を指定する機能を有する。これによって、例えばユーザーの編集傾向（長く範囲を取って編集するか否か、など）やディスプレイの表示サイズ（解像度）などに合わせた枚数のサムネイル表示を行うことができる。なお、この指定される枚数の数値の決定は、例えばユーザーがリモコンなどのインターフェースを利用して入力した数値情報を取得することで決定されても良い。また、その入力数値の取得は編集時に毎回行われても良いし、製品購入時などにユーザーが設定することによってＨＤＤなどの記録媒体に蓄積され、編集処理に際して読み込まれる構成であっても良い。

あるいは、ユーザーによる指定以外にも、例えばディスプレイの解像度などの情報を取得し、「解像度−指定枚数テーブル」などを利用しその解像度に合ったサムネイル表示枚数が指定されるような構成であっても良い。これによって、解像度に比べてサムネイルが多いためフレームの確認がしづらい、などといった事態の発生を抑えることができる。また、あるいは、ユーザーの指定編集範囲の履歴を保持しておき、その履歴から編集範囲を長く指定する、と判断されるユーザーはサムネイルの表示枚数が多く指定される、などの構成であっても良い。

また、サムネイルとして抽出されるフレームが重要シーンの冒頭フレームなどの場合、例えばサッカー動画であって編集シーン内にゴールシーンが６回あるが、サムネイル指定枚数は４枚である、という具合に編集開始点から編集終了点に含まれるその重要フレームが指定枚数よりも多い、といった事態も想定される。そこで、その抽出候補のフレームに画像内容などに応じて歓声の大きさなどを基に優先順位値を設け、優先順位値の高い順に指定枚数のフレームを抽出しサムネイルとする構成であっても良い。

<実施例２の処理の流れ> 図８に示すのは、本実施例の動画編集装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、取得すべきサムネイルの枚数情報を取得する（ステップＳ０８０１）。そして、ユーザーのリモコン操作などによって送出された動画編集命令を取得し（スキップＳ０８０２）、その動画編集命令に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出しサムネイル情報を取得する（ステップＳ０８０３）。つづいて、取得したそのサムネイル情報に基づいてサムネイルを表示する（ステップＳ０８０４）。そして、そのサムネイル表示を見て、ユーザーが編集処理を行うと判断しその旨を示す信号を例えばリモコン操作などで送出し、本実施例の動画編集装置にて受信する（ステップＳ０８０５）と、動画編集装置は動画情報を編集する（ステップＳ０８０６）。

<実施例２の効果の簡単な説明> 以上のように、本実施例の動画編集装置によって、例えばユーザーの編集傾向やディスプレイの表示サイズなどに合わせた枚数でのサムネイル表示を行うことができる。したがって、ユーザーは広い編集範囲に比べてサムネイルの表示枚数が少ないためその編集にそぐわないフレームなどを見逃してしまった、などの事態の発生をさらに抑えることができる。あるいは逆に狭い編集範囲のため無駄に同じようなフレームのサムネイルばかりが表示され見難くなってしまう、などの事態の発生を抑えることもできる。また、画面の解像度に比してサムネイルの枚数が多いためやはり見難くなる、などの事態の発生も抑えることができる。

≪実施例３≫ <実施例３の概要> 本実施例の動画編集装置は、実施例１や２を基本として、そのサムネイル表示が行われた後にのみ編集処理を実行する点を特徴としている。このように、編集処理がサムネイル表示の後にのみ実行されることで、ユーザーにより確実に編集範囲内のフレームをサムネイル表示で確認させたうえでの編集処理を行うことができる。また実施例４で後述するように、本実施例の動画編集装置がそのサムネイルをＧＵＩ（グラフィカル・ユーザー・インターフェース）として利用するような構成である場合に、ＧＵＩでのユーザー操作の受付待ちを行った上で、その操作を受け付けなかった場合に当初予定していた動画編集命令による編集処理を行うこともできる。

<実施例３の構成> 図９は、本実施例の動画編集装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画編集装置」（０９００）は、実施例１を基本として、「動画情報保持部」（０９０１）と、「編集部」（０９０２）と、「動画編集命令取得部」（０９０３）と、「サムネイル情報取得部」（０９０４）と、「サムネイル表示部」（０９０５）と、を有する。また図示していないが、実施例２を基本としてさらに「枚数指定部」を有していても良い。なお、この「動画情報保持部」と、「編集部」と、「動画編集命令取得部」と、「サムネイル情報取得部」と、「サムネイル表示部」と、また「枚数指定部」と、は実施例１や２にてすでに記載済みであるのでその説明は省略する。そして、本実施例の動画編集装置の特徴点は、その編集部が「表示後実行手段」（０９０６）をさらに有している点である。

「表示後実行手段」（０９０６）は、動画編集命令取得部（０９０３）にて取得した動画編集命令を、サムネイル表示部（０９０５）が出力するサムネイル表示完了信号を受信した後にのみ実行する機能を有する。そして、このサムネイル表示完了信号の出力タイミングを調整したり、表示完了信号受信後の編集実行や別の編集点の走査タイミングを調整したりすることで、ユーザーの操作受付待ちをしたうえで編集処理などを実行することができる。なお、この表示後実行手段は、具体的には、例えばビデオチップによるオン／オフスクリーンのスイッチング制御によって実現する方法が挙げられる。なお「オン／オフスクリーンのスイッチング」とは、以下のような処理である。すなわち、ビデオメモリは、通常、ディスプレイに表示している画像情報を格納している領域Ａ（オンスクリーン）と、次にディスプレイに表示すべき画像情報を格納している領域Ｂ（オフスクリーン）と、の二重構造になっている。そこで、領域Ａの画像に続けて領域Ｂに格納された画像をディスプレイに表示する場合、ビデオチップの処理により領域Ａをオフスクリーンにし領域Ｂをオンスクリーンとするスイッチング処理が行われる。つまりビデオメモリの領域Ａに格納されているサムネイル情報に基づいてサムネイル表示が行われ表示が完了した後、ビデオチップがそのサムネイル表示完了信号を受信し、次の領域Ｂに格納されている例えば編集対象のフレームを表示するようスイッチング処理が行われる、という具合である。これによって、上記表示後実行手段を実現することができる。なお、もちろん、このスイッチング処理はサムネイル表示完了信号の受信と同時に実行されるのではなく、所定時間経過後に行われるよう制御されると良い。それによって、サムネイル画面を確認したユーザーからの、例えば編集内容の決定や変更操作入力などを受け付ける時間を設けることができる。また、それら入力操作が無かった場合に次のシーンからの動画再生を実行し、また別の編集点の入力受付を促す、という処理が可能となる。また、上記サムネイル表示完了信号の出力タイミングを遅らせるよう制御することで上記効果を実現しても良い。

<実施例３の処理の流れ> 図１０に示すのは、本実施例の動画編集装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ユーザーのリモコン操作などによって送出された動画編集命令を取得し（スキップＳ１００１）、その動画編集命令に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出しサムネイル情報を取得する（ステップＳ１００２）。そして、取得したそのサムネイル情報に基づいてサムネイルを表示する（ステップＳ１００３）。そして、そのサムネイル表示完了後にサムネイル表示完了信号が出力される（ステップＳ１００４）。また、そのサムネイル表示を見て、ユーザーが編集処理を行うと判断した場合、その旨を示す信号を例えばリモコン操作などで送出し、本実施例の動画編集装置にて受信する（ステップＳ１００５）と、動画編集装置は動画情報を編集する（ステップＳ１００６）。

<実施例３の効果の簡単な説明> 以上のように、本実施例の動画編集装置によって、動画情報への編集処理がサムネイル表示の後にのみ実行されることになる。したがって、ユーザーにより確実に編集範囲内のフレームをサムネイル表示で確認させたうえでの編集処理を行うことができる。また実施例４で後述するように、本実施例の動画編集装置がそのサムネイルをＧＵＩ（グラフィカル・ユーザー・インターフェース）として利用するような構成である場合に、ＧＵＩでのユーザーの操作を受付待ちした上で、その操作を受け付けなかった場合にシーン消去などの編集処理を行うこともできる。

≪実施例４≫ <実施例４の概要> 図１１に示すのは、本実施例の動画編集装置による画面表示の概要の一例を表す図である。この図にあるように、本実施例の動画編集装置は、実施例１や２、３のいずれかを基本としてサムネイル表示を行うが、特徴点としてその表示されたサムネイルがＧＵＩの機能を備えている点である。つまり、例えばリモコンの方向キーや決定キーなどで画面内のカーソル（図中黒枠α）を操作し、ユーザーが所望のサムネイル画像を選択することでそのフレームの近辺の画像が再生され、改めて編集点特定情報を含む動画編集命令の取得が行われる、という処理が行われる。このように本実施例の動画編集装置によってユーザーは編集範囲内に、その編集にそぐわないフレームなどがあれば、そのサムネイルを指定することで簡単に編集開始点や終了点の変更を行うことができるようになる。

<実施例４の構成> 図１２は、本実施例の動画編集装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画編集装置」（１２００）は、実施例１を基本として、「動画情報保持部」（１２０１）と、「編集部」（１２０２）と、「動画編集命令取得部」（１２０３）と、「サムネイル情報取得部」（１２０４）と、「サムネイル表示部」（１２０５）と、を有する。また図示していないが、実施例２や３を基本としてさらに「枚数指定部」や「表示後実行手段」を有していても良い。なお、この「動画情報保持部」と、「編集部」と、「動画編集命令取得部」と、「サムネイル情報取得部」と、「サムネイル表示部」と、また「枚数指定部」と、「表示後実行手段」と、は実施例１や２、３にてすでに記載済みであるのでその説明は省略する。そして、本実施例の動画編集装置の特徴点は、そのサムネイル表示部が「ＧＵＩ動画編集命令取得手段」（１２０６）をさらに有している点である。

「ＧＵＩ動画編集命令取得手段」（１２０６）は、ＧＵＩ動画編集命令を取得する機能を有する。「ＧＵＩ動画編集命令」とは、サムネイルを利用した編集命令をいう。図１３に示すのは、このＧＵＩ動画編集命令取得手段の機能を備えたサムネイル表示の一例を説明するための、ディスプレイ表示画面の概略図である。この図（ａ）にあるように、例えば表示されているサムネイルに番号が付されており、ユーザーがリモコンの対応する数字（チャンネル）キーを押下することでそのフレームを編集開始点または編集終了点とする編集点特定情報が取得される、という具合である。またリモコンの数字キー以外に例えば４枚のサムネイル画像をディスプレイの上下左右にそれぞれ配置し、リモコンの方向キーの押下によって編集点特定情報を含む動画編集命令を取得しても良い。もちろん、動画のシーンはフレームの束で構成されるので、リモコンの数字キーなどで指定されたフレームを含むシーンを編集範囲とするため、指定フレームの所定フレーム前から動画再生を行い、改めて編集点特定情報を含む動画編集命令をユーザーに入力させ取得する構成としても良い。また、ＧＯＰなどを単位としてサムネイルのＧＵＩで指定されたフレームを含む範囲を自動的に編集範囲としても良いし、画像マッチングによって類似画像をまとめ、それを自動的に編集範囲とする構成であっても構わない。そして、このように指定されたフレーム（範囲）に対するまた別の編集内容を示す動画編集命令指定を促す画面が表示されたり、あるいはそのフレーム（範囲）を編集対象から除くことを示す動画編集命令がこのサムネイルのＧＵＩにより取得されたりしても構わない。

これらは具体的には、例えばサムネイルに対応したフレームの識別情報と、それに付された数値とを関連付けて主メモリの所定メモリアドレスに格納しておく。そして、リモコン操作によってユーザーに選択された数字キーを示す赤外線信号をＩ／Ｏで受信すると、その赤外線信号を復調したリモコンコードで示される数値と関連付けて主メモリに格納されているフレームの識別情報を取得し編集開始点のフレームとする、という具合で実現すると良い。あるいはその取得したフレームの所定フレーム前のフレームヘッダに含まれる動画再生位置を参照し、その動画再生位置からの動画再生処理を行い、新たな動画編集命令の対象となる範囲をユーザーに指定させるようにしても良い。

また、図（ｂ）に示すようにディスプレイがタッチパネルの機能を備え、ユーザーが所望のサムネイルに指やペンで触れることで、動画編集命令を取得し、そのサムネイルで示されるフレームを編集開始点や編集終了点とする構成としても良い。このタッチパネルによるＧＵＩ動画再生命令取得機能は、具体的には、例えばディスプレイ上の座標に合わせ光線照射を行う投光部と、その光の照射が指などで遮られたことによりその指のディスプレイ上での位置情報を検出する受光部と、で実現する方法が挙げられる。あるいはタッチパネルが感圧式や静電式であればディスプレイ上の圧力や静電気を感知、測定するシートで実現する方法が挙げられる。

<実施例４の処理の流れ> 図１４に示すのは、本実施例の動画編集装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ユーザーのリモコン操作などによって送出された動画編集命令を取得し（スキップＳ１４０１）、その動画編集命令に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出しサムネイル情報を取得する（ステップＳ１４０２）。そして、取得したそのサムネイル情報に基づいてサムネイルがＧＵＩとなるように表示する（ステップＳ１４０３）。そして、ユーザーはそのＧＵＩ機能を利用して、例えば表示サムネイルに対応するリモコンの数字キー押下することなどで動画編集命令をこの動画編集装置に対して送出する。このようにして動画編集装置ではサムネイルを利用したＧＵＩ動画編集命令を取得し（ステップＳ１４０４）、そのＧＵＩ動画編集命令に基づいて動画情報を編集する（ステップＳ１４０５）。

<実施例４の効果の簡単な説明> 以上のように、本実施例の動画編集装置によって、ユーザーはサムネイル表示画面から直接動画編集の指示を行うことができるようになる。したがって、ユーザーはより簡単に動画編集を行うことができ、ユーザーの利便性をさらに高めることができる。

実施例１の動画編集装置による画面表示の概要の一例を表す図 実施例１の動画編集装置における機能ブロックの一例を表す図 実施例１の動画編集装置の動画情報保持部に保持されている動画情報の一例を説明するための概念図 実施例１の動画編集装置のサムネイル情報取得部でのフレームの抽出処理におけるルールの一例について説明するための概念図 実施例１の動画編集装置におけるハードウェア構成の一例を表す概略図 実施例１の動画編集装置における処理の流れの一例を表すフローチャート 実施例２の動画編集装置における機能ブロックの一例を表す図 実施例２の動画編集装置における処理の流れの一例を表すフローチャート 実施例３の動画編集装置における機能ブロックの一例を表す図 実施例３の動画編集装置における処理の流れの一例を表すフローチャート 実施例４の動画編集装置による画面表示の概要の一例を表す図 実施例４の動画編集装置における機能ブロックの一例を表す図 実施例４の動画編集装置のＧＵＩ動画編集命令取得手段の機能を備えたサムネイル表示の一例を表す概略図 実施例４の動画編集装置における処理の流れの一例を表すフローチャート

符号の説明

０２００ 動画編集装置
０２０１ 動画情報保持部
０２０２ 編集部
０２０３ 動画編集命令取得部
０２０４ サムネイル情報取得部
０２０５ サムネイル表示部
０２１０ ディスプレイ

Claims (9)

1. 動画を再生するための情報である動画情報を保持する動画情報保持部と、
   動画編集保持部に保持されている動画情報を編集する編集部と、
   動画編集命令を取得する動画編集命令取得部と、
   動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて動画情報保持部から所定の動画情報を抽出して、サムネイル情報を取得するサムネイル情報取得部と、
   取得したサムネイル情報に基づいてサムネイルを表示するサムネイル表示部と、
   を有する動画編集装置。
2. サムネイル情報取得部に対して取得すべきサムネイルの枚数を指定する枚数指定部を有する請求項１に記載の動画編集装置。
3. 前記編集部は、取得した動画編集命令を、前記サムネイル表示部が出力するサムネイル表示完了信号を受信した後にのみ実行する表示後実行手段を有する請求項１又は２に記載の動画編集装置。
4. サムネイル表示部は、サムネイルを利用した動画編集命令であるＧＵＩ動画編集命令取得手段を有する請求項１から３のいずれか一に記載の動画編集装置。
5. 前記動画編集命令は、編集点特定情報で示される編集開始点と編集終了点との間の動画情報を消去するための編集命令である請求項１から４のいずれか一に記載の動画編集装置。
6. 動画編集命令を取得する動画編集命令取得ステップと、
   動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出してサムネイル情報を取得するサムネイル情報取得ステップと、
   取得したサムネイル情報に基づいてサムネイルを表示するサムネイル表示ステップと、
   を有する動画編集方法。
7. 取得すべきサムネイルの枚数を指定する枚数指定ステップと、
   動画編集命令を取得する動画編集命令取得ステップと、
   動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出してサムネイル情報を取得するサムネイル情報取得ステップと、
   取得したサムネイル情報に基づいて前記指定枚数分のサムネイルを表示するサムネイル表示ステップと、
   を有する動画編集方法。
8. 動画編集命令を取得する動画編集命令取得ステップと、
   動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出してサムネイル情報を取得するサムネイル情報取得ステップと、
   取得したサムネイル情報に基づいて前記指定枚数分のサムネイルを表示するサムネイル表示ステップと、
   前記サムネイル表示後に出力されるサムネイル表示完了信号を受信した後にのみ、前記取得した動画編集命令を実行する表示後実行ステップと、
   を有する動画編集方法。
9. 動画編集命令を取得する動画編集命令取得ステップと、
   動画編集命令で特定される編集開始点と、編集終了点とを示す編集点特定情報に基づいて、予め保持されている動画情報の中から所定の動画情報を抽出してサムネイル情報を取得するサムネイル情報取得ステップと、
   取得したサムネイル情報に基づいて、サムネイルを利用した動画編集命令であるＧＵＩ動画編集命令を取得可能にサムネイルを表示するサムネイル表示ステップと、
   前記サムネイルを利用したＧＵＩ動画編集命令を取得するＧＵＩ動画編集命令取得ステップと、
   を有する動画編集方法。

Images