JP2008245219A - 映像音声記録・再生装置、該装置における自動編集方法、該方法を実行するプログラム及び記憶媒体 - Google Patents

Abstract

【課題】テレビ放送番組などを記録した映像音声の記録信号に対して不要部分が再生されないようにするための自動編集が適切に行われるようにする。
【解決手段】テレビ放送番組における連続ドラマ等が記録されている保存映像・音声格納用メディア１１から初回の映像音声を再生し、映像・音声編集部１６において、記録信号の所望の位置にインデックス付与やチャプター分割などの編集を行い、音声特徴サンプリング部１７で得られる分割点の音声周波数分布情報、分割点番号、分割点の先頭からの経過時間、等の編集情報を編集情報格納用メディア１８に格納しておき、２回目以降の記録信号に対する編集を、初回の記録信号に対する編集情報に基づいて自動的に行う。
【選択図】図１

Description

本発明は、記録したテレビ放送番組などの記録信号を編集する機能を備えた映像音声記録・再生装置（以後、ビデオ編集装置とも呼ぶ）、その編集を自動的に行う自動編集方法、その方法を実行するプログラム及び記憶媒体に関連する。

従来のビデオ編集装置では、ユーザーは、特定の信号入力源から映像及び音声信号を記録し、再生並びに編集することが出来る。ユーザーが記録信号を編集する場合は、例えば、記録内容がテレビジョン放送であると、編集内容としては、インデックス（栞）を付与する、ＣＭをカットする、番組内の特定のコーナーのみを残す等、放送内容に依存することが多い。

そこで、従来のビデオ編集装置では、編集内容が前記のようなものであることを想定し、ユーザーの編集作業を軽減する目的で、自動的にインデックスを付与するもの、編集後に残る部分と削除する部分を分けるための分割点を自動的に検出し、装置によっては、更にその位置でチャプター分割等を自動で行なうもの等がある。

例えば、特許文献１では、映像信号中の所定時間当たりの画素変化率が、予め設定した値よりも大きくなると、映像シーンの切り替わりがあったとみなし、インデックスを自動的に付与する。
また、例えば、特許文献２では、上述と同様の方法でシーンの変わり目を検出し、且つ、音声の無音部分の検出、及び、両者の情報から総合的にＣＭであるかどうかを判断し、ＣＭの検出を行なう。
また、例えば、特許文献３では、映像及び信号中の振幅、スペクトラム、線形予測係数、ヒストグラム、所定成分の差分値、状態の変化回数、状態の変化時間より映像の特徴を抽出し、データベース化し、この情報よりＣＭを分類する。
特開平９−１６１４５５号公報 特開２０００−１６５８０６号公報 特開２００１−３１３８９８号公報

しかしながら、インデックスを自動付与する位置やチャプターの自動分割位置を特定する上記従来技術の方法は、特にＣＭのように予め想定している内容を対象とするものが多く、連続ドラマのタイトル曲のように２回目以降から削除する編集のようにＣＭ以外を対象とした場合には適用出来ない。
また、特許文献１のように対象はＣＭではなくても、どういった信号の変化がシーンの切り替わりであるのかの判断基準は、やはり、装置側で特定しており、その自動編集内容がユーザーの意に即さない可能性がある。

このように、従来技術による編集箇所の特定方法は、あくまでも、どのような箇所がユーザーにとって編集の開始や終了の区切りであるかを、統計的な調査や放送の規格等によって特定しているが、統計データや規格である以上、それに当てはまらない例外が生じる可能性がある。
また、連続ドラマ等のように、信号内容が、タイトル、ＣＭ等、ある部分は毎回同じで、本編のように一部のみ毎回異なる内容で構成されるものである場合、従来技術によれば、インデックスの付与位置やチャプターの分割位置が、もし、ユーザーにとって不本意な位置である場合、その誤った位置が毎回発生することになり、ユーザーにとっては煩わしい。

本発明は、このような状況に鑑みてなされたものであり、ビデオ編集装置にて記録された記録信号に対して、インデックスの付与やチャプター分割をするための位置決め作業を、自動的かつ適切に行なえるようにするためのものであり、特に、連続ドラマ等のように、記録された内容の編集箇所が毎回同じである場合に有効になるものである。

本発明は、上記の課題を解決するために、以下の構成を備えている。
第１の技術手段は、テレビ放送番組などを記録した映像音声の記録信号に対して不要部分が再生されないようにするための編集を行う機能を備えた映像音声記録・再生装置であって、記録された映像音声の再生信号に対して前記編集を実行する映像音声編集部と、編集位置における記録信号の特徴をサンプリングするサンプリング部と、前記サンプリング部でサンプリングされた記録信号の特徴情報を格納するサンプル格納手段と、前記特徴情報を含む前記編集情報を格納する編集情報格納手段とを備え、
テレビ放送番組における連続ドラマのように、２回目以降の記録信号に対する前記編集が初回の記録信号に対する編集と同様の内容である場合、２回目以降の記録信号に対する編集は、前記編集情報格納手段に格納されている初回の記録信号に対する編集情報に基づき、前記映像音声編集部において自動的に行われることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記編集情報は、前記記録信号に対して行われたチャプター分割やインデックス付与等の編集形態、記録信号上の編集位置、編集位置における記録信号の特徴、の各情報を含み、前記各情報を１つの記録信号に対して行われた一連の編集作業のセットとして前記編集情報格納手段に格納されることを特徴としたものである。

第３の技術手段は、第１又は２の技術手段において、初回の記録信号に対する編集情報は、ユーザーが行った編集により得られたものを含むことを特徴としたものである。

第４の技術手段は、第１〜３のいずれかの技術手段において、２回目以降の記録信号に対して自動的に行われる前記編集は、初回の記録信号に対する編集情報における前記特徴情報と同一とみなせる記録信号上の位置を特定し、そこを基準位置として位置あわせすることにより行われることを特徴としたものである。

第５の技術手段は、第４の技術手段において、記録信号の前記特徴情報は、その編集位置における音声信号の周波数分布であることを特徴としたものである。

第６の技術手段は、映像音声記録・再生装置により記録したテレビ放送番組など映像音声の記録信号に対して不要部分が再生されないようにするための編集を自動的に行う自動編集方法であって、テレビ放送番組における連続ドラマのように２回目以降の記録信号に対する編集が、初回の記録信号に対する編集と同様の内容である場合に、２回目以降の記録信号に対する編集を、初回の記録信号に対する編集情報に基づいて自動的に行うことを特徴としたものである。

第７の技術手段は、第６の技術手段である自動編集方法を実現するための、コンピュータ読み取り可能なプログラムであることを特徴としたものである。

第８の技術手段は、第７の技術手段であるプログラムが格納されたコンピュータ読み取り可能な記憶媒体であることを特徴としたものである。

本発明によれば、テレビ放送番組おける連続ドラマのように、信号内容が、タイトル、ＣＭ等、ある部分は毎回同じで、本編のように一部のみ毎回異なる内容で構成されるものである場合、ビデオ編集装置にて記録された記録信号に対して、インデックスの付与やチャプター分割をするための位置決め作業を、初回の記録信号に対する編集情報に基づいて２回目以降の記録信号に対する編集が自動的に行われるので、初回の記録信号に対する編集が適切であれば、２回目以降の記録信号に対する自動編集が適切に行われることになり、ユーザーが行う編集作業の負担が大幅に軽減される。

以下に、本発明の実施形態の一例を説明する。図１は、本発明の実施例におけるビデオ編集装置の構成の中で、特に、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録したコンテンツの初回記録分に対して、編集作業の例として、ユーザーがチャプター分割を行なう場合に関る機能群の概要を示したものである。

図１において、１１は、本発明の実施例におけるビデオ編集装置が記録保存した保存映像音声格納用メディアであり、例えば、ハードディスク、ＤＶＤ−ＲＡＭ等である。保存映像音声格納用メディア１１に記録されたコンテンツは、映像音声再生部１２で読み取られ、映像音声分離部１３に渡され、記録信号を映像信号と音声信号に分離される。分離された信号は、映像複合化部１４と音声複合化部１５とに渡され、それぞれ映像信号と音声信号になる。１６は、映像音声編集部であり、映像複合化部１４と音声複合化部１５から受け取った映像音声信号に対する編集処理を実行する。特に、記録信号に対してチャプター分割を行なう場合は、映像音声編集部１６中に含まれるチャプター分割部１６ａで行なわれる。

また、１７は、本実施例におけるビデオ編集装置が、ユーザーの編集情報を記録するために、チャプター分割を行なった位置の記録信号の特徴として音声の周波数分布を用いる場合の例としての音声特徴サンプリング部である。この場合、音声特徴サンプリング部１７は音声複合化部１５から音声信号を受け取り、音声周波数分布のサンプリング部１７ｂで音声のサンプリングが可能なように、一旦、ＦＦＴ１７ａで音声信号がフーリエ変換される。また、サンプリング部１７ｂでのサンプリングが周期的に行なわれるようにするため、音声特徴サンプリング部１７にはタイマー１７ｃが用意されている。サンプリングされた音声周波数分布はサンプリング音声周波数分布格納用メディア１９に格納される。このサンプリング音声周波数分布格納用メディア１９は、例えば、ハードディスク、ＤＶＤ−ＲＡＭ等である。

ユーザーがチャプター分割を行なった際に、記録信号上の先頭からの時間、先頭からのフレームの位置等のチャプター分割点に関する情報、及び、その時にサンプリングされた音声周波数分布がサンプリング音声周波数分布格納用メディア１９に格納されているサンプリングのどれを示すかの指標等は共に編集情報格納用メディア１８に記録される。この編集情報格納用メディア１８は、例えば、ハードディスク、ＤＶＤ−ＲＡＭ等である。

なお、図１は、装置全体を制御する制御部に関する構成、及びユーザーが各種の操作を行うための操作手段については省略して記載しているが、後述する本発明の実施例におけるビデオ編集装置による自動編集は、本発明に係る自動編集方法を実行するプログラムが格納されたＲＯＭ、ＣＰＵ及びＲＡＭ等を含む制御部により実行される。

図２は、本発明の実施例におけるビデオ編集装置で、記録した映像音声信号の情報、及び、記録信号に対してユーザーが編集作業を行なった場合のその編集に関わる情報を保存するための説明図である。図２において、２２は、ビデオ編集装置で記録した映像と音声そのものを保存する映像音声記録データベースであり、記録した個々のコンテンツに対応した映像音声記録要素２３の集合である。映像音声記録要素２３は例えば、リスト構造で繋がっており、その先頭要素である「映像音声記録１」は装置内記録内容ヘッダ２１により識別されている。

２４は、編集情報ヘッダ・データベースであり、編集情報ヘッダ２５の集合である。個々の編集情報ヘッダ２５は、個々の映像音声記録要素２３と１対１に対応しており、例えば、「編集情報ヘッダｉ」は「映像音声記録ｉ」に対して行なわれた個別の編集作業を保存している編集情報データベース２６の先頭の編集情報である「編集情報ｉ−１」を指している。但し、編集情報データベース２６には、その他の映像音声記録に対して行なわれた編集作業に関する情報も総て保存している。

編集情報２７は、一度に記録した映像音声に対して、ユーザーが記録信号上の特定の一箇所に施した編集作業に関する、例えば、２７ａ〜２７ｅのような情報の組を格納している。分割点番号情報２７ａは、一度に記録した映像音声信号に対して付与した分割点群の内の先頭からの番号である。分割点の先頭からの経過時間情報２７ｂは、一度に記録した映像音声信号の先頭からその分割点までの時間である。分割点の音声周波数分布情報ヘッダ２７ｃは、一度に記録した映像音声信号に対してチャプター分割を行なった際に、各チャプター分割位置での音声周波数分布情報２９の集合を格納している記録内容特徴情報データベース２８の先頭の要素である「音声周波数分布ｉ-ｊ-１」を指している。

次の分割点までの区間は削除されたかどうかの削除フラグ情報２７ｄは、一度に記録した映像音声をチャプター分割した後、チャプターで分割された区間群の中で、現在のチャプター位置から次のチャプター位置又は現在のチャプターが最後の分割位置の場合は、記録信号の最後までの区間が、その後のユーザーの編集作業により削除されたかどうかの情報を保持するためのもので、その区間が削除された場合はフラグがオンになっている。録画内容判別番号情報２７ｅは、連続ドラマ等、同様の編集作業を繰り返す映像音声信号の集合に対して振られるグループ番号で、ビデオ編集装置が予約録画した場合等に、その予約番号として振られる唯一の番号等が用いられる。予約録画で記録しない場合は、ユーザーが指定した唯一の番号が用いられる。但し、この場合の唯一番号は、ビデオ編集装置が示しても良い。

音声周波数分布情報２９は、ユーザーが記録した映像音声に対してチャプター分割を行なった場所から微小時間区間δの音声信号に対してフーリエ変換を行なった結果を格納する。記録内容特徴情報データベース２８は、総ての音声周波数分布情報２９の集合を格納するデータベースである。

以上の情報の格納手段は、リストによる表現のみではなく、配列、構造体、その他、同種の情報を格納出来るものであれば、表現方法は問わない。

図３は、本実施例におけるビデオ編集装置で、特に、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号の初回記録分に対して、編集作業の例として、ユーザーがチャプター分割を行なう場合の処理フローを示している。

ステップＳ１で、ビデオ編集作業の内の、チャプター分割作業を開始する。ステップＳ２で、先ず、図２で示した映像音声記録データベース２２の中から編集対象となる映像音声記録信号の初回記録分を取得する。次に、ステップＳ３で、チャプター分割作業が終了かどうかを判定し、終了の場合は、ステップＳ４に進み、終了でない場合は、ステップＳ５へと進む。

ステップＳ５では、ユーザーがビデオ編集装置を操作し、チャプター分割点の位置決めを行なう。ステップＳ６では、その分割点が、一度に記録した映像音声信号に対して施したチャプター分割点の何番目の分割点であるかを求める。求めた番号を変数ｄにセットする。次に、ステップＳ７で、今回の編集作業に関係する情報を保存するために、新しい編集情報セットＥ［ｄ］を作成する。これは、図２の編集情報２７に相当する。次に、ステップＳ８で、今回のチャプター分割位置の、一度に記録した映像音声信号の先頭からの経過時間を取得し、その値を編集情報セットＥ［ｄ］として格納する。格納する場所は、図２の編集情報２７における経過時間２７ｂである。次に、ステップＳ９で、現在のチャプター分割位置から微小時間区間δの音声信号に対するフーリエ変換の結果を、新しい音声周波数分布Ｓ［ｄ］（２９）として作成し、図２の記録内容特徴情報データベース２８に格納する。最後に、以上のステップＳ６〜９で得られた編集情報の格納された編集情報セットＥ［ｄ］は、図２の編集情報データベース２６へ格納される。

図４は、本実施例のビデオ編集装置において、特に、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号の初回記録分に対して、編集作業の例として、ユーザーがチャプター分割を行なった後に、それぞれのチャプターに対して、ユーザーがそのチャプターを残すか、削除するかの指定を行なうフローを示す。このフローに沿った編集作業が、作業記録として残り、本実施例のビデオ編集装置で、同じ放送の２回目以後の自動編集作業に用いられる。

ステップＳ１１で、ビデオ編集作業の内の、分割されたチャプター群の内の不要チャプターの削除作業を開始する。ステップＳ１２で、先ず、編集対象となる記録信号に関する編集情報を編集情報データベース２６から取得する。すなわち、装置内記録内容ヘッダ２１から辿って、映像音声記録要素２３と、それに対応する編集情報２７以下から、初回編集情報を得る。今回、特に関係するのは次の分割点までの区間は削除されたかどうかのフラグ２７ｄである。

ステップＳ１３では、一度に記録した映像音声信号中に施したチャプター分割点を、ステップＳ１４以後で順に巡るためのカウント値ｃを初期化する。カウント値“０”は、記録信号の先頭の位置に相当する。
ステップＳ１４で、総ての分割点を巡ったかどうかが判定される。ｎはチャプターの総数である。巡っていない場合はステップＳ１５へ、巡った場合はステップＳ１８へ処理を進める。

ステップＳ１５では、現在のチャプターの編集情報Ｅ［ｃ］に対して、そのチャプターをユーザーが削除対象にしたかどうかを判定する。削除対象になっていればステップＳ１６へ、なっていなければステップＳ１７へ進む。ステップＳ１６では、そのチャプターが削除対象になったので、編集情報中の削除対象フラグを立てる（図２のフラグ２７ｄ）。削除対象になっていない場合は、ステップＳ１７で、次のチャプターの処理へ進むため、カウンタ値ｃを１だけ増やす。

各チャプターに対して、削除するかどうかのフラグの設定が終了すると、ステップＳ１８に処理は移る。ステップＳ１８では、再度、総てのチャプター分割点を巡るために、カウンタを初期化する。カウント値“０”は、記録信号の先頭の位置に相当する。
ステップＳ１９で、総ての分割点を巡ったかどうかが判定される。ｎはチャプターの総数である。巡っていない場合はステップＳ２０へ、巡った場合はステップＳ２１へ処理を進める。

ステップＳ２０では、現在のチャプターの編集情報Ｅ［ｃ］に対して、そのチャプターをユーザーが削除対象にしたかどうかを、削除フラグを基に判定する。削除対象になっていればステップＳ２２へ、削除対象になっていなければステップＳ２３へ進む。ステップＳ２２では、そのチャプターが削除対象であったので、そのチャプターの分割位置から次のチャプターの分割位置までを削除する。削除対象になっていない場合は、ステップＳ２３で次のチャプターの処理へ進むため、カウント値ｃを１だけ増やす。

最後のステップＳ２１では、ステップＳ１６で設定されたチャプターの削除情報フラグ情報を反映させるため、現在、編集対象になっていた、一度に記録した映像音声信号に関係する編集情報群を編集情報データベース２６へ格納する。

図５は、本実施例のビデオ編集装置の構成の中で、特に、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録したコンテンツの２回目以後の記録分に対して自動編集を行なう場合に関る機能群の概要を示したものである。なお、図示の例はインデックス付与により初回編集が行われた場合を示したものであり、各機能については図１の場合と同じである。

連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録したコンテンツの２回目以後の記録分に対しては、以前、同放送の初回の場合にユーザーが行なった編集処理の基準インデックスを付与したインデックス付与位置を検出するために、その位置での初回編集時にサンプリング音声周波数分布格納用メディア１９へ格納しておいた音声周波数分布と、現在、編集対象となっている２回目以後の記録信号の再生中にサンプリングされて、随時格納されている音声周波数分布とのマッチングが音声周波数分布のマッチング部１６ｂでなされる。
サンプリング音声周波数分布格納用メディア１９からのサンプリング音声周波数分布が編集情報格納用メディア１８に格納しておいた初回編集情報としてのサンプリング音声周波数分布とマッチングした場合、音声周波数分布のマッチング部１６ｂはインデックス作成部１６ｃにインデックス付与の指令を出す。インデックス作成部１６ｃは、音声周波数分布のマッチング部１６ｂからの指令に応じて映像複合化部１４と音声複合化部１５から受け取った映像音声信号のマッチングした位置にインデックスを付与する。

図６は、本発明の実施例におけるビデオ編集装置で、特に、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号の２回目以後の記録分に対して、編集作業の例として、ユーザーが同放送内容の記録信号の初回に行なったチャプター分割の後に、ビデオ編集装置が、それぞれのチャプターに対してユーザーが設定した個々のチャプターを残すか削除するかの情報を基に同じ作業を自動で行なう処理を示したフローである。

ステップＳ３１で、チャプター分割の自動処理を開始する。ステップＳ３２で、先ず、編集対象となる記録信号の初回記録分に対応する編集情報を、編集情報データベース２６から取得する。すなわち、装置内記録内容ヘッダ２１から辿って、映像音声記録要素２３と、それに対応する編集情報２７以下の階層の情報セットを得る。編集情報データベース２６の中には、図２で示したデータベースが格納されている。

ステップＳ３３では、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号の初回記録分に対してユーザーが施したチャプター分割点群の内で、どの分割点を基準として、ビデオ編集装置が同放送の２回目以後の記録信号のチャプター分割を行なうかをユーザーが指定する。例えば、その映像音声記録がドラマ等でオープニングテーマ曲がある場合の、その曲の最後の部分等である。２回目以後、ビデオ編集装置が自動でチャプター分割を行なう際には、この曲の最後のチャプター分割にて記録された音声周波数分布を参考にして、２回目以後の記録信号中の音声との、例えば、自己相関関数の値が最も高い部分を検出し、その位置を同曲の最後とみなし、２回目以後のチャプター自動分割の基準位置とする。

ステップＳ３４では、ステップＳ３３でユーザーが指定した、チャプター分割の基準となる初回編集時の基準分割点Ｅ［ｄ］を、ステップＳ３２で得た編集情報から取得する。ステップＳ３５では、基準分割点Ｅ［ｄ］の位置での音声周波数分布Ｓ［ｄ］を、ステップＳ３２で得た編集情報から取得する。

ステップＳ３６からステップＳ３９までは、今回の編集対象となる記録信号中から、ステップＳ３５で取得した音声周波数分布とマッチする位置を探す処理ループである。ステップＳ３６では、今回編集対象となる記録信号中の音声信号の再生を行なう。ステップＳ３７では、ステップＳ３６で再生中の音声信号の時間的な再生位置ｔでの音声周波数分布Ｓ［ｔ］を、図５のＦＦＴ１７ａで求める。ステップＳ３８では、音声周波数分布Ｓ［ｄ］とＳ［ｔ］の自己相関特徴量Ｇ［ｔ］を求める。ステップＳ３９では、予め定義しておいた、二つの音声周波数分布を同一とみなす閾値εと、今回求めた自己相関特徴量Ｇ［ｔ］とを比較する。自己相関特徴量Ｇ［ｔ］がεより大きいか等しいと、二つの音声周波数分布は同一とみなされ、ステップＳ４０に進み、自己相関特徴量Ｇ［ｔ］が閾値εより小さい場合は、両者は等しくないとみなされ、ステップＳ３６に戻り、前回の記録音声の再生位置の続きから再生を行ない、チャプター分割の基準位置に相当する位置の検出を続ける。ステップＳ４０では、音声周波数分布がマッチした再生位置を、初回記録時にチャプター分割した基準位置である分割点ｄに相当する分割点ｅとし、編集情報Ｅ［ｅ］（図２の２７ａ）を作成し、編集情報データベース２６に保存する。また、編集情報Ｅ［ｅ］に、先頭からの経過時間ｔの情報（図２の２７ｂ）を記録する。

ステップＳ４１では、次のステップＳ４２以後で行なう、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号で、ユーザーが同放送内容の記録信号の初回に行なったチャプター分割を、２回目以後の記録分に対して、本発明の実施例におけるビデオ編集装置で、自動的に行なう繰り返し処理（以後、自動チャプター分割処理）のために、ユーザーが初回に行なった分割作業の回数をカウントするカウンタのカウント値ｃを“０”に初期化する。

ステップＳ４２では、現在のカウント値ｃが、ユーザーが初回に行なったチャプター分割処理の回数を上回ったかどうかが判定される。ｎは、ユーザーが初回記録信号に対して行なったチャプター分割処理で生じたチャプターの総数である。カウント値ｃがｎと等しくなった場合は、ユーザーが初回記録信号に対して行なったチャプター分割点に対応する、ビデオ編集装置によるチャプター自動分割処理は終了したとみなし、ステップＳ４３へ進み、本処理全体が終了する。カウント値ｃがｎより小さい場合は、本処理は継続し、ステップＳ４４へ進む。

予約録画で、連続ドラマ等を録画した場合、ビデオ編集装置の時間設定の狂い等により、必ずしも、目的の番組の同じ位置から録画出来るとは限らない。よって、ユーザーが同番組の初回記録分に対して行なったチャプター分割の位置が、２回目以後の記録信号上にもあるとは限らない。ステップＳ４４の処理は、この検査を行なうもので、ユーザーが初回の記録信号に対して行なったチャプター分割点Ｅ［ｄ］の記録信号上の時間的位置を基準として、編集情報Ｅ［ｃ］の記録信号上の時間的位置が存在するかどうかを判定し、編集情報Ｅ［ｃ］の記録信号上の時間的位置が存在する場合は、ステップＳ４５に進む。

ステップＳ４５では、編集情報Ｅ［ｃ］に相当する位置が、今回編集対象の記録信号上にも存在するので、その位置をチャプター分割する。ステップＳ４６では、その分割点が、一度に記録した映像音声信号中に施したチャプター分割点の何番目の分割点であるかを求め、その番号を変数ｆにセットする。次に、ステップＳ４７で、今回の編集作業に関係する情報を保存するために、新しい編集情報セットＥ［ｆ］を作成する。これは、図２の２７に相当する。次に、ステップＳ４８で、今回のチャプター分割位置の、一度に記録した映像音声信号の先頭からの経過時間を取得し、その値を編集情報Ｅ［ｆ］に格納する。格納する場所は、図２の編集情報２７である。次に、ステップＳ４９で、現在のチャプター分割位置から微小時間区間δの音声信号に対するフーリエ変換の結果を、新しい音声周波数分布Ｓ［ｆ］として作成し、記録内容特徴情報データベース２８に格納する。以上のステップＳ４６〜４９で得られた編集情報の格納された編集情報セットＥ［ｆ］は、ステップＳ５０で編集情報データベース２６へ格納される。以上で、ユーザーが初回の記録信号に対して行なった１回のチャプター分割作業に相当する処理をビデオ編集装置が行なったので、ユーザーが行なった他のチャプター分割に対して同様の作業を繰り返すため、ステップＳ５１でカウント値ｃを１だけ増やし、ステップＳ４２に戻る。

一方、ステップＳ４４で、編集情報Ｅ［ｃ］の記録信号上の時間的位置が存在しない場合はステップＳ５２に進む。編集情報Ｅ［ｃ］の記録信号上の時間的位置が存在しない場合がある理由は、初回の録画に対する分割位置が、例えば、二度目以後の予約録画で録画機器の内蔵時計が進むか遅れていたり、野球中継の延長等により、実際の録画時間帯がずれ、初回の録画に対して行なった分割位置が二度目以後の予約録画では録画されていない場合もあり得るからである。ステップＳ５２では、カウント値ｃが基準分割点ｄより大きいかどうかの判定が行なわれる。カウント値ｃが基準分割点ｄより小さい場合、カウント値ｃでの分割は行なえないが、それより後に続く分割位置については自動編集が可能であることから、ステップＳ５３でカウント値ｃに１を加算し、ステップＳ４４に戻る。ステップＳ５２で、基準分割点ｄがカウント値ｃより小さい場合は、編集情報Ｅ［ｃ］に相当する位置に今回の記録信号上はチャプター分割が行なえなく、且つ、それより後ろの記録信号も存在しないのでステップＳ４３に進み、自動編集は中止され、処理を終了する。

図７は、図６に示した処理フローで、連続ドラマ等、同様の編集作業を繰り返す映像音声信号を記録した記録信号の２回目以後の記録信号に対して、ユーザーが初回の記録信号に対して行なったチャプター分割作業と同じ作業が行なえる情報が揃った後、それを用いて、２回目以後の記録信号に対して不要チャプターの削除を実行する処理フローを示す。

ステップＳ５１で、処理を開始する。ステップＳ５２で、先ず、編集対象となる記録信号に関する編集情報を、編集情報データベース２６（図２）から取得する。すなわち、装置内記録内容ヘッダ２１から辿って、映像音声記録要素２３と、それに対応する編集情報２７以下の階層の情報セットを得る。今回、特に関係するのは２７ｄの削除フラグ情報である。ステップＳ５３では、一度に記録した映像音声信号中に施したチャプター分割点を、ステップＳ５４以後で順に巡るためのカウント値ｃを初期化する。カウント値“０”は、記録信号の先頭の位置に相当する。

ステップＳ５４で、総ての分割点を巡ったかどうかが判定される。ｎはチャプターの総数である。巡っていない場合はステップＳ５５へ、巡った場合はステップＳ５８に進み、処理を終了する。

ステップＳ５５では、現在のチャプターの編集情報Ｅ［ｃ］に対して、そのチャプターをユーザーが削除対象にしたかどうかを削除フラグを基に判定する。削除対象になっていればステップＳ５６へ、削除対象になっていなければステップＳ５７へ進む。ステップＳ５６では、そのチャプターが削除対象であったので、そのチャプターの分割位置から、次のチャプターの分割位置までを削除する。削除対象になっていない場合は、ステップＳ５７で、次のチャプターの処理へ進むため、カウント値ｃを１だけ増やす。以降、カウント値ｃがチャプターの総数ｎになるまで、ステップＳ５４〜５７を繰り返す。

以上、自動編集機能を備えた本発明の映像音声記録・再生装置の実施の形態について説明したが、本発明の場合、複数の記録信号間で、記録内容が同一の箇所を検出する手段は、対象を音声に限らず、映像に対して行なっても良い。よって、同一とみなす方法も、音声の周波数分布を用いた自己相関関数の値を用いたものに限らなくても良く、映像や音声間で定量化して比較出来るものであれば、例えば、検出の対象が映像の場合は、映像の輝度分布、音声であれば音声レベル等、いずれの方法でも良い。また、それらの組み合わせでも良い。

また、上記に記載の、複数記録信号間の特定位置の信号を同一とみなす方法は、一つの特徴量でマッチングが困難な場合、例えば、微小な時間δの間隔で連続する複数の特徴量のセットを基に検出しても良い。

また、上記した映像音声記録・再生装置で、ユーザーが行なった編集作業を自動的に再現する内容は、チャプター分割に限るものではなく、例えば、ＣＭのカット、インデックスの作成、タイトルの挿入、アフレコの挿入、ＢＧＭの挿入等、記録信号に対する再生や編集に関わるものであれば、いずれにも適用可能である。

また、上記した映像音声記録・再生装置で、ユーザーが行なった編集作業を自動的に再現する際には、その実行前に、ユーザーがその処理内容を確認出来るようにしても良いし、また、その許可を装置に対して与える機会を設けても良い。また、その編集内容を変更出来る機能も追加可能である。

また、上記の映像音声記録・再生装置で、ユーザーが行なった編集作業を自動的に再現する内容は、映像と音声が必ずしも対である必要はなく、映像のみの記録信号に対するもの、音声のみの記録信号に対するものでも良い。

本発明の実施例におけるビデオ編集装置において、初回編集時に関る機能郡の概要を示す図である。 映像音声記録内容と編集情報についての説明図である。 初回編集時の映像音声分割点作成の流れを説明する図である。 初回編集時の映像音声分割点間削除処理の流れを説明する図である。 ２回目以後の自動編集時に関わる機能郡の概要を示す図である。 ２回目以後の自動編集時の映像音声分割点作成の流れを説明する図である。 ２回目以後の自動編集時の映像音声分割点間削除処理の流れを説明する図である。

符号の説明

１１…保存映像音声格納用メディア、１２…映像音声再生部、１３…映像音声分離部、１４…映像複合化部、１５…音声複合化部、１６…映像音声編集部、１６ａ…チャプター分割部、１７…音声特徴サンプリング部、１７ａ…ＦＦＴ、１７ｂ…サンプリング部１７ｂ、１７ｃ…タイマー、１８…編集情報格納用メディア、１９…サンプリング音声周波数分布格納用メディア、２２…映像音声記録データベース、２４…編集情報ヘッダ・データベース、２６…編集情報データベース、２８…記録内容特徴情報データベース。

Claims (8)

1. テレビ放送番組などを記録した映像音声の記録信号に対して不要部分が再生されないようにするための編集を行う機能を備えた映像音声記録・再生装置であって、
   記録された映像音声の再生信号に対して前記編集を実行する映像音声編集部と、
   編集位置における記録信号の特徴をサンプリングするサンプリング部と、
   前記サンプリング部でサンプリングされた記録信号の特徴情報を格納するサンプル格納手段と、
   前記特徴情報を含む前記編集情報を格納する編集情報格納手段とを備え、
   前記映像音声編集部は、連続ドラマのように２回目以降の記録信号に対する前記編集が初回の記録信号に対する編集と同様の内容である場合、２回目以降の記録信号に対する編集を、前記編集情報格納手段に格納されている初回の記録信号に対する編集情報を用いて自動的に行うことを特徴とする映像音声記録・再生装置。
2. 前記編集情報は、前記記録信号に対して行われたチャプター分割やインデックス付与等の編集形態、記録信号上の編集位置、編集位置における記録信号の特徴、の各情報を含み、前記各情報を１つの記録信号に対して行われた一連の編集作業のセットとして前記編集情報格納手段に格納されることを特徴とする請求項１に記載の映像音声記録・再生装置。
3. 初回の記録信号に対する編集情報は、ユーザーが行った編集により得られたものを含むことを特徴とする請求項１又は２に記載の映像音声記録・再生装置。
4. ２回目以降の記録信号に対して自動的に行われる前記編集は、初回の記録信号に対する編集情報における前記特徴情報と同一とみなせる記録信号上の位置を特定し、そこを基準位置として位置あわせすることにより行われることを特徴とする請求項１〜３のいずれかに記載の映像音声記録・再生装置。
5. 記録信号の前記特徴情報は、その編集位置における音声信号の周波数分布であることを特徴とする請求項４に記載の映像音声記録・再生装置。
6. 映像音声記録・再生装置により記録したテレビ放送番組など映像音声の記録信号に対して不要部分が再生されないようにするための編集を自動的に行う自動編集方法であって、テレビ放送番組における連続ドラマのように２回目以降の記録信号に対する編集が、初回の記録信号に対する編集と同様の内容である場合に、２回目以降の記録信号に対する編集を、初回の記録信号に対する編集情報に基づいて自動的に行うことを特徴とする自動編集方法。
7. 請求項６に記載の自動編集方法を実現するためのコンピュータ読み取り可能なプログラム。
8. 請求項７に記載のプログラムが格納されたコンピュータ読み取り可能な記憶媒体。

Images