JP2004088530A

JP2004088530A - 動画像音声データ蓄積管理装置及び編集方法

Info

Publication number: JP2004088530A
Application number: JP2002248019A
Authority: JP
Inventors: Tsutomu Togo; 藤後　努; Atsuko Tada; 多田　厚子
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2004-03-18

Abstract

【課題】動画像データと音声データとを含む動画像音声データを蓄積，再生する動画像音声データ蓄積管理装置及び編集方法に関し、再生音声の自然さを維持する。
【解決手段】動画像データと音声データとを含む動画像音声データ５を蓄積，再生する動画像音声データ蓄積装置１と、音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して、この区間の位置情報と、この区間の長さを示す区間情報と、この区間内の平均レベルを示すレベル情報とを含む管理情報を格納した音声レベル管理テーブル６、この音声レベル管理テーブル６に格納した管理情報を参照して編集，高速再生，低速再生等を行う動画像音声データ編集装置１１とを含む構成を有し、動画像のカット点に最も近い無音区間と見做す区間内を編集時の音声のカット点とする。
【選択図】　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像音声データを蓄積媒体に蓄積して管理し、再生品質を損なうことなく、再生及び編集を可能とした動画像音声データ蓄積管理装置及び編集方法に関する。
【０００２】
【従来の技術】
動画像データと音声データとを含む動画像音声データを蓄積媒体に蓄積し、それを再生する各種の構成が知られている。又蓄積した動画像音声データを編集する手段も知られている。蓄積媒体としては、例えば、磁気テープ，磁気ディスク，光ディスク，半導体集積記憶回路等の各種の構成が知られている。又蓄積媒体に蓄積する場合に、アナログ方式とディジタル方式とがあり、又ディジタル方式は、各種の圧縮符号化手段が適用されている。
【０００３】
又例えば、光ディスクに蓄積された少なくとも二つの動画像音声データについて、それぞれ指定した区間をシームレスに編集する手段や、圧縮符号化した動画像データと音声データとを蓄積媒体に蓄積した時の蓄積位置が相違することによる再生タイミングのずれを防止する為に、同期情報を付加する手段等が知られている。
【０００４】
又動画像音声データの圧縮符号化手段として、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式が知られており、複数フレームをＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅ）とし、その中で、フレーム内符号化を行うＩピクチャ、前方向予測符号化を行うＰピクチャ、前後両方向予測符号化を行うＢピクチャを含み、そのＧＯＰの開始位置と、Ｉピクチャの終了位置と、Ｐピクチャの終了位置とを管理して、ＧＯＰデータの先頭にシーケンスヘッダを設け、ブロック単位の削除等の編集や高速再生処理を可能とした手段が知られている（例えば、特開平１１−２６１９６２号公報参照）。
【０００５】
又動画像を含まない音声についての処理手段として、周囲雑音の周波数成分に従った音量制御を行うことにより、最適な音量とする手段が知られている（例えば、特許第２５９５９１４号公報参照）。
【０００６】
【特許文献１】
特開平１１−２６１９６２号公報（第９−１４頁，図１−３，図１０，図１３）
【特許文献２】
特開平１１−１５５１３１号公報（第１−３頁，図１，図２）
【０００７】
【発明が解決しようとする課題】
動画像音声データの編集処理は、動画像のシーンの切れ目を基に削除や挿入を行うものである。例えば、ＭＰＥＧ方式により圧縮符号化した動画像音声データの編集処理は、例えば、前記特許文献１に示すようにＧＯＰを基に行うことができる。しかし、動画像データと音声データとの復号出力タイミングの同期がとれるように、タイムスタンプを付加していても、動画像のシーンの切れ目と音声の切れ目とが一致していない場合が殆どである。その為、単に動画像のシーンの切れ目に従って削除や挿入を行うと、その動画像データのカット点に従って音声データがカットされることになり、再生音声が不自然となる問題がある。
【０００８】
そこで、編集時に、音声データを解析して、無音区間を検出し、その無音区間を音声の切れ目とすることが考えられる。しかし、編集過程に於いて、その都度、無音区間の検出処理を必要とすることになり、編集処理負荷が大きくなる問題がある。又動画像の編集過程等に於ける高速再生の一手段として、音声の無音区間をスキップすることができるが、この場合も、再生過程に於いて音声の無音区間を検出する処理が必要となり、処理負荷が大きくなる問題がある。
本発明は、動画像音声データの切れ目について予め検出して管理することにより、編集処理及び高速再生処理の負荷軽減を図ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の動画像音声データ管理編集装置は、動画像データと音声データとを含む動画像音声データを蓄積し、この動画像音声データを再生して表示又は編集を行う動画像音声データ蓄積管理装置であって、音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して、この区間の位置情報と、この区間の長さを示す区間情報と、この区間内の平均レベルを示すレベル情報とを含み、動画像音声データの再生，編集時に参照する管理情報を格納した音声レベル管理テーブルを設けたものである。又音声データをそれぞれ異なる帯域に分割し、各帯域対応に、レベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して、この区間の位置情報と、この区間の長さを示す区間情報と、この区間内の平均レベルを示すレベル情報とを含む管理情報を格納した帯域対応の音声レベル管理テーブルを設けることもできる。
【００１０】
又音声レベル管理テーブルの管理情報を参照して、動画像データの編集時の指定したシーンの切れ目に最も近い前記区間内を動画像データのカット点及び音声データのカット点として編集する動画像音声データ編集装置を備えている。
【００１１】
又本発明の編集方法は、動画像データと音声データとを含む動画像音声データを編集する編集方法であって、音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して、この区間の位置情報と、この区間の長さを示す区間情報と、この区間内の平均レベルを示すレベル情報とを含む管理情報を格納した音声レベル管理テーブルを参照し、指定したシーンの切れ目に最も近い無音区間と見做した区間内を動画像データのカット点及び音声データのカットとして編集する過程を含むものである。
【００１２】
又音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して、この区間の位置情報と、この区間の長さを示す区間情報と、この区間内の平均レベルを示すレベル情報とを含む管理情報を格納した音声レベル管理テーブルを参照し、無音区間と見做した区間をスキップして高速再生又は該区間をスロー生成する過程を含むものである。
【００１３】
【発明の実施の形態】
図１は本発明の第１の実施の形態の説明図であり、１は動画像音声データ蓄積装置、２は動画像音声解析装置、３は音声レベル測定装置、４は管理テーブル作成装置、５は蓄積された動画像音声データＡＶ１、６は音声レベル管理テーブルを示す。
【００１４】
動画像音声データ蓄積装置１は、例えば、磁気テープ，磁気ディスク，光磁気ディスク，光ディスク，半導体集積記憶回路等の各種の蓄積媒体を用いて構成することができる。この動画像音声データ蓄積装置１に、動画像データと音声データとを蓄積するものであり、音声レベル管理テーブル６は、動画像音声データ５を蓄積する蓄積媒体の一部領域を利用して構成するか、又は他の蓄積媒体を用いて構成することができる。
【００１５】
この実施の形態に於いては、音声レベル管理テーブル６を含む動画像音声データ蓄積装置１と、音声レベル管理テーブル６を作成する為の動画像音声解析装置２と、音声レベル測定装置３と、管理テーブル作成装置４とを含めて動画像音声データ蓄積管理装置を構成した場合を示す。
【００１６】
又この実施の形態は、予め動画像音声データ蓄積装置１に動画像音声データ５が蓄積されている場合に、その動画像音声データ５を再生して動画像音声解析装置２に入力し、音声Ａ１と動画像Ｖ１とに分離し、音声Ａ１を音声レベル測定装置３に入力する。この音声レベル測定装置３には、予め設定した区間閾値Ｐｔｈ１と、レベル閾値Ｌｔｈ１とを入力し、区間情報，レベル情報，位置情報とを含む管理情報を求めて、管理テーブル作成装置４に入力する。この管理テーブル作成装置４は、入力された情報を、音声レベル管理テーブル６に格納する処理を行う。
【００１７】
従って、編集時及び高速再生やスロー再生時に於いて、再生音声データの解析を行うことなく、音声レベル管理テーブル６を参照することにより、音声の切れ目を認識できるから、その切れ目に相当する区間のスキップや、その区間内を削除，挿入の先頭位置とすることにより、編集後や高速再生時，スロー再生時の音声を自然な状態に維持することができる。
【００１８】
図２は、音声レベル測定装置３に於ける音声測定を、アナログ波形を用いて説明するもので、音声レベル測定装置３に於いて、音声レベルとレベル閾値Ｌｔｈ１とを比較し、音声レベルＬ１＜Ｌｔｈ１の区間Ｐ１と区間閾値Ｐｔｈ１とを比較し、Ｐ１＞Ｐｔｈ１の場合に、その区間Ｐ１を音声の切れ目に相当する無音区間と見做し、音声データの先頭を基準時刻とした時の区間Ｐ１の開始時刻Ｔ１と、区間Ｐ１の継続時間Ｓ１とを求め、区間情報，レベル情報，位置情報とを含む管理情報として、管理テーブル作成装置４の制御によって音声レベル管理テーブル６に格納する。なお、レベル情報としては、区間Ｐ１内は、完全な無音状態でなく、レベル閾値Ｌｔｈ１以下のレベルの背景雑音等を含むものであるから、この区間Ｐ１内の平均レベルを求めて区間Ｐ１内のレベル情報とすることができる。又位置情報は、音声データの蓄積位置を識別できるものであれば、蓄積先頭位置からの位置以外の任意の位置指示手段を適用することができる。
【００１９】
又次の音声レベルＬ２＜Ｌｔｈ１の区間Ｐ２は、Ｐ２＜Ｐｔｈ１であるから、無音区間と見做さない。従って、その時の区間Ｐ２の開始時刻Ｔ２と、区間Ｐ２の継続時間Ｓ２とは、音声レベル管理テーブル６には格納しない。又次の音声レベルＬ３の区間は、背景雑音によるレベルにより、レベル閾値Ｌｔｈ１より大きいレベルとなっている区間に相当する。しかし、Ｌ３＞Ｌｔｈ１の関係であるから、その区間の開始時刻Ｔ３と、その区間の継続時間Ｓ３とは、音声レベル管理テーブル６には格納しない。
【００２０】
前述の場合は、音声レベルの瞬時について判定している場合を示すが、単位時間毎の平均値を用いて、レベル閾値Ｌｔｈ１との比較を行うことも可能である。この場合、単位時間毎の平均値レベルについても管理情報として音声レベル管理テーブル６に格納することができる。又周波数帯域により背景雑音と音声とを区別できる場合は、前述の音声レベルＬ３の場合の区間が区間閾値Ｐｔｈ１以上であると、無音区間と見做すことも可能である。
【００２１】
図３は音声レベル管理テーブルの説明図であり、例えば、レベル閾値Ｌｔｈ１＝３ｄＢ、区間閾値Ｐｔｈ１＝５ｓとした場合に於いて、位置、時刻、レベル平均値、区間時間を格納した場合を示し、Ｎｏ．１は、レベル閾値Ｌｔｈ１以下の区間で、且つ区間閾値Ｐｔｈ１以上の継続する区間であって、先頭からの位置を音声データのバイト数で表し、その時１０２４Ｂで、先頭からの時刻１０ｓ、その区間内のレベル平均値が２ｄＢ、その区間の継続時間が７ｓの場合を示す。又Ｎｏ．２は、先頭からの位置が２０４８Ｂ、先頭からの時刻が２０ｓ、その区間のレベル平均値が１ｄＢ、その区間の継続時間が６ｓの場合を示す。
【００２２】
図４は本発明の第２の実施の形態の説明図であり、図１と同一符号は同一部分を示し、７は動画像音声符号化装置である。この実施の形態は、図示を省略した撮像装置又は動画像音声データ再生装置からの音声Ａ１と動画像Ｖ１とを入力し、音声レベル測定装置３に於いて音声Ａ１と、区間閾値Ｐｔｈ１とレベル閾値Ｌｔｈ１との比較処理により、音声レベルがレベル閾値Ｌｔｈ１以下の区間で、且つその区間が区間閾値Ｐｔｈ１以上の継続する場合に、無音区間と見做して、区間情報とレベル情報とを管理テーブル作成装置４に入力する。
【００２３】
又動画像音声符号化装置７は、例えば、標準化されているＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−２やＭＰＥＧ−４や、他の方式による圧縮符号化を行う機能を有し、圧縮符号化した動画像音声データ５を動画像音声データ蓄積装置１に蓄積し、その蓄積位置情報を管理テーブル作成装置４に入力する。管理テーブル作成装置４は、この位置情報と、区間情報と、レベル情報とを含む管理情報を音声レベル管理テーブル６に格納する。それにより、動画像音声データ蓄積装置１に動画像データに対応する音声データの無音区間と見做す区間についての管理情報を、例えば、図３に示すように、管理テーブル作成装置４に格納することができる。
【００２４】
従って、音声レベル管理テーブル６を参照し、高速再生，スロー再生，編集の場合の音声の切れ目を示す無音区間を識別して、その区間をスキップする高速再生，その区間を低速読出するスロー再生，その区間に動画像のカットや挿入を行う編集を行うことにより、再生時の音声の自然さを維持することができる。
【００２５】
図５は本発明の第３の実施の形態の説明図であり、１は動画像音声データ蓄積装置、５は蓄積された動画像音声データＡＶ１、６は音声レベル管理テーブル、１１は動画像音声データ編集装置、１２は動画像シーン検出装置、１３は音声カット点解析装置、１４は管理テーブル解析装置を示す。
【００２６】
音声レベル管理テーブル６は、前述の図１又は図２について説明したように、動画像音声データ５についてのレベル閾値以下の区間が、区間閾値以上である位置情報等を含む管理情報を格納しており、動画像音声データ編集装置１１により動画像シーンのカット編集を行う場合、編集の操作者からシーン指定を動画像シーン検出装置１２に入力し、カット編集を可能とする区間時間と音声レベルとを管理テーブル解析装置１４に入力する。
【００２７】
動画像シーン検出装置１２は、指定されたシーンを検出し、その位置情報Ｔｖ１を音声カット点解析装置１３に転送する。管理テーブル解析装置１４は、この位置情報Ｔｖ１に最も近い位置情報を音声レベル管理テーブル６から求め、指定された区間時間以上で且つ指定された音声レベル以下の位置を、先頭からの音声カット点位置Ｔａ１として求め、又先頭からの動画像カット点位置Ｓａ１を求めて、動画像音声データのカット編集を行うことができる。そして、音声データについては、無音区間に相当する部分に於いてカット編集するから、編集された動画像音声データを再生した時に、自然な再生音声を得ることができる。
【００２８】
図６は本発明の第４の実施の形態の説明図であり、１は動画像音声データ蓄積装置、５は動画像音声データＡＶ１、６は音声レベル管理テーブル、１４は管理テーブル解析装置、１５は動画像音声再生装置を示す。
【００２９】
この実施の形態は、動画像音声再生装置１５により、動画像音声データ蓄積装置１に蓄積された動画像音声データ５を再生し、図示を省略したディスプレイ装置等に動画像を表示するもので、その場合に、動画像音声データの無音区間に相当する区間についてはスキップさせて再生する場合を示す。このような高速再生は、動画像データの編集時に於ける編集シーン近傍をサーチする場合にも適用されるものである。
【００３０】
前述のカット編集の場合と同様に、区間時間と音声レベルとを管理テーブル解析装置１４に入力し、動画像音声再生装置１５により、動画像音声データ蓄積装置１に蓄積された動画像音声データ５を再生し、管理テーブル解析装置１４は、音声レベル管理テーブル６に格納された管理情報を参照し、動画像音声データ５についての無音区間に相当する位置情報等を解析し、指定された区間時間と音声レベルとに対応した区間をスキップ情報Ｊ１として動画像音声再生装置１５に入力する。動画像音声再生装置１５は、このスキップ情報Ｊ１に従って無音区間に相当する区間をスキップさせて再生した音声Ａ１及び動画Ｖ１を図示を省略したディスプレイ装置に入力する。従って、動画像をスキップさせて高速再生する場合に、その都度、無音区間を検出する処理が不要となり、且つ無音区間相当する区間をスキップして再生するから不自然な再生音声となることを回避できる。
【００３１】
図７は本発明の第５の実施の形態の説明図であり、図６と同一符号は同一部分を示し、管理テーブル解析装置１４は、指定された区間時間と音声レベルとの情報を基に、音声レベル管理テーブル６に格納された管理情報を参照し、無音区間と見做した区間の管理情報を基にスロー位置情報Ｊ２を求めて動画像音声再生装置１５に通知する。この場合は、スロー位置情報Ｊ２に従って動画像音声データ蓄積装置１から動画像音声データをスロー再生し、図示を省略したディスプレイ装置に動画像Ｖ１と音声Ａ１とを入力することになる。
【００３２】
図８は本発明の第６の実施の形態の説明図であり、図６と同一符号は同一部分を示し、動画像音声再生装置１５にシーク操作指示を入力して、動画像音声データ蓄積装置１に蓄積された動画像音声データ５のシーク再生を行い、その時、区間時間と音声レベルとの情報を管理テーブル解析装置１４に入力しておき、管理テーブル解析装置１４は、動画像音声再生装置１５から通知されるシーク位置の情報に従って音声レベル管理テーブル６を検索し、シーク位置に最も近い無音区間、即ち、区間時間と音声レベルとに従った区間を求めて、無音位置の情報を動画像音声再生装置１５に通知する。動画像音声再生装置１５は、シーク後の音声再生開始位置を、その無音位置の情報に従って制御する。それにより、自然な音声再生が可能となる。
【００３３】
図９は本発明の第７の実施の形態の説明図であり、１は動画像音声データ蓄積装置、２は動画像音声解析装置、３−１〜３−ｎは音声レベル測定装置、４は管理テーブル作成装置、５は動画像音声データＡＶ１、６−１〜６−ｎは音声レベル管理テーブル、２１は音声帯域分割装置を示す。
【００３４】
動画像音声解析装置２により動画像音声データ５を再生して音声Ａ１と動画像Ｖ１とを分離し、音声Ａ１を音声帯域分割装置２１に入力し、複数の帯域に分割してそれぞれ音声レベル測定装置３−１〜３−ｎに入力する。音声レベル測定装置３−１〜３−ｎは、分割帯域対応に、区間閾値Ｐｔｈ１，Ｐｔｈ２，・・・，Ｐｔｈｎと、レベル閾値Ｌｔｈ１，Ｌｔｈ２，・・・，Ｌｔｈｎとを入力し、分割帯域対応の音声レベルがレベル閾値Ｌｔｈ１，Ｌｔｈ２，・・・，Ｌｔｈｎ以下の区間が、区間閾値Ｐｔｈ１，Ｐｔｈ２，・・・，Ｐｔｈｎを超える場合に、無音区間と見做して、その区間情報，レベル情報，位置情報を管理テーブル作成装置４に通知する。この場合、レベル閾値と区間閾値との何れか一方又は両方を、帯域対応に相違させることができる。
【００３５】
管理テーブル作成装置４は、音声レベル測定装置３−１〜３−ｎ対応の音声レベル管理テーブル６−１〜６−ｎに、それぞれ図３に示すように、先頭からの位置と時刻とレベル平均値と区間時間とを含む管理情報を格納することができる。このように、音声帯域分割装置２１によって音声Ａ１の帯域を分割することにより、音楽等は高周波数帯域を含むものであるから、人声帯域とＢＧＭ（ＢａｃｋＧｒｏｕｎｄ　Ｍｕｓｉｃ）とを分けて、人声帯域に於ける無音区間と見做す区間を検出することができる。
【００３６】
例えば、１００Ｈｚ〜５ｋＨｚの帯域とそれ以外の帯域とに分割し、１００Ｈｚ〜５ｋＨｚの帯域を人声帯域とし、その中にＢＧＭ成分が含まれているとしても、レベル閾値をＢＧＭ成分が存在しない場合に比較して高く設定することにより、人声帯域に於ける無音区間に相当する区間を検出することができる。従って、編集過程に於いて、人声帯域に於ける無音区間内でカットや挿入を行うことができる。その場合、ＢＧＭ成分については、不自然とならないように、カットする直前はレベルを徐々に低下させ、又挿入した直後は零のレベルから徐々に上昇させる制御を行うことも可能である。
【００３７】
図１０は本発明の第８の実施の形態の説明図であり、１は動画像音声データ蓄積装置、５は動画像音声データＡＶ１、６−１，６−２，・・・は音声レベル管理テーブル、１１は動画像音声データ編集装置、１２は動画像シーン検出装置、１３は音声カット点解析装置、１４は管理テーブル解析装置、２２は音声指定装置を示す。
【００３８】
動画像音声データ編集装置１１は、動画像音声データ蓄積装置１から動画像音声データ５を再生し、動画像シーン検出装置１２は、再生した動画像音声データ５の中から、操作者のシーン指定に従ったシーンを検出する。又音声レベル管理テーブル６−１，６−２，・・・は、図９を参照して説明した音声帯域分割装置２１により分割した帯域対応に管理情報を格納したものである。
【００３９】
そして、操作者が人声とＢＧＭとの指定や帯域の指定等を行うことにより、音声指定装置２２は、指定された帯域対応の音声レベル管理テーブルを選択し、管理テーブル解析装置１４は、選択された音声管理テーブルに格納された管理情報を基に、無音区間を求めて音声カット点解析装置１３に通知する。又動画像シーン検出装置１１は、指定されたシーンを検出してその位置情報Ｔｖ１を音声カット点解析装置１３に通知する。
【００４０】
音声カット点解析装置１３は、シーン検出位置情報Ｔｖ１に最も近い位置情報を、先頭からの音声カット点位置Ｔａ１として求め、又先頭からの動画像カット点位置Ｓａ１として求めて、動画像音声データのカット編集を行うことができる。この場合、指定された帯域についての無音区間に相当する区間をカット位置とするものである。従って、ＢＧＭを含む音声データの場合でも、人声帯域について無音区間に相当する区間内にカット位置を求めることができるから、カット編集によっても、自然な音声再生が可能となる。
【００４１】
図１１は本発明の第９の実施の形態の説明図であり、ＭＰＥＧ方式等により圧縮符号化した動画像音声データを動画像音声データ蓄積装置１に蓄積し、音声レベル管理テーブル６を作成する場合を示すものである。同図に於いて、４は管理テーブル作成装置、３１はデコーダ、３２はレベル計測部と時間計測部とを含む音声レベル測定装置、３３はレベル閾値Ｌｔｈ１と区間閾値Ｐｔｈ１とを含む閾値を格納したメモリ、３４は比較部、３５は各部を制御し、又は各部の機能を実現するプロセッサ（ＣＰＵ）を示す。
【００４２】
デコーダ３１は、動画像音声データ蓄積装置１に蓄積された圧縮符号化動画像音声データ５を再生して復号化し、且つ音声データと動画像データとに分けて出力し、音声データを音声レベル測定装置３２に入力する。この音声レベル測定装置３２は、レベル計測部により音声レベルを計測し、時間計測部により先頭からの時間を計測し、メモリ３３に格納したレベル閾値Ｌｔｈ１と区間閾値Ｐｔｈ１とを比較部３４に於いて比較し、レベル閾値Ｌｔｈ１以下の区間が、区間閾値Ｐｔｈ１を超えて継続している区間を無音区間と見做して、その区間情報と、レベル情報と、位置情報とを、管理テーブル作成装置４に於いて作成し、管理情報として音声レベル管理テーブル６に格納する。この場合、ディジタル処理により音声レベル管理テーブル６に格納する管理情報を作成することができる。従って、プロセッサ３５の機能によって各部の機能を実現して、音声レベル管理テーブル６を作成することができる。
【００４３】
図１２は本発明の第１０の実施の形態の説明図であり、高速再生やスロー再生を行う場合について示し、１は動画像音声データ蓄積装置、５は圧縮符号化されて蓄積された動画像音声データ、６は音声データ管理テーブル、４１はデコーダ、４２は読出制御部、４３は編集処理部、４４はテーブル展開部、４５は分析部、４６はメモリ、４７は比較制御処理部である。
【００４４】
動画像音声データ蓄積装置１には、ＭＰＥＧ方式等により圧縮符号化された動画像音声データ５が蓄積されており、再生された動画像音声データ５はデコーダ４１により復号化される。又動画像音声データ５を管理する為の音声レベル管理テーブル６が、例えば、図１１に於ける管理テーブル作成装置４によって形成されている。又読出制御部４２により動画像音声データ５の読出速度等が制御される。
【００４５】
又テーブル展開部４４は、音声レベル管理テーブル６に格納された管理情報を展開し、分析部４５により音声レベル，区間時間，平均レベル等を抽出し、比較制御処理部４７に入力する。この比較制御処理部４７に高速再生，スロー再生，ジャンプ等の指示を入力する。又メモリ４６に、レベル閾値Ｌｔｈａと区間閾値Ｐｔｈａとを設定し、比較制御処理部４７は、分析部４５からの音声レベルとレベル閾値Ｌｔｈａとを比較し、又区間時間と区間閾値Ｐｔｈａとを比較して、再生速度等の指示に従ってデコーダ４１と読出制御部４２とを制御する。
【００４６】
この場合、動画像音声データの音声レベルについて例えば単位時間毎の平均レベルを、音声レベル管理テーブル６に管理情報に含めて格納しているとすると、レベル閾値Ｌｔｈａと区間閾値Ｐｔｈａとを、無音区間と見做す区間を識別する為のレベル閾値Ｌｔｈ１と区間閾値Ｐｔｈ１と相違させた値とすることができる。そして、音声レベル管理テーブル６に格納した管理情報をテーブル展開部４４に展開し、平均レベル（音声レベル）についてレベル閾値Ｌｔｈａ以下の区間が、区間閾値Ｐｔｈａ以上の長さの場合、高速再生の指示時には、デコーダ４１のデコード動作を中止させ、且つ読出制御部４２により、その区間を高速で再生させ、又はスキップさせる。従って、高速再生時の無音区間に相当する音声データについてはスキップする状態となるから、高速再生時の再生音声の自然さを維持できる。又スロー再生の指示時には、無音区間に相当する区間、デコーダ４１のデコード動作を低速とし、且つ読出制御部４２により、その区間を低速で再生させる。従って、音声データを低速再生しても、無音区間に相当するから自然さを維持できる。
【００４７】
図１３は本発明の第１１の実施の形態の説明図であり、１は動画像音声データ蓄積装置、５はＭＰＥＧ方式等により圧縮符号化された動画像音声データ、６ａは音声用レベル管理テーブル、６ｂはＢＧＭ用レベル管理テーブル、５１はデコーダ、５２は帯域分割装置、５３は音声レベル測定装置、５４はメモリ、５５は比較部、５６は管理テーブル作成装置を示す。
【００４８】
動画像音声データ蓄積装置１に、圧縮符号化された動画像音声データ５が蓄積され、その動画像音声データ５についての音声用レベル管理テーブル６ａとＢＧＭ用レベル管理テーブル６ｂとを作成する場合について示すもので、再生した動画像音声データ５をデコーダ５１によりデコードし、復号した音声について帯域分割装置５２により人声とＢＧＭとに分割する。
【００４９】
帯域分割装置５２は、例えば、１００Ｈｚ〜５ｋＨｚを人声帯域とし、それ以外をＢＧＭ帯域とした帯域分割を行うことができる。そして、音声レベル測定装置５３により、人声帯域とＢＧＭ帯域とについてレベル計測及び時間計測を行い、メモリ５４に設定したレベル閾値Ｌｔｈ１と区間閾値Ｐｔｈ１とを用いて、比較部５５に於いて計測値と比較する。この場合、レベル閾値Ｌｔｈ１と区間閾値Ｐｔｈ１とを人声帯域用とＢＧＭ帯域用とに対して異なる値とすることも可能である。
【００５０】
そして、レベル閾値Ｌｔｈ１以下の区間が、区間閾値Ｐｔｈ１以上の場合に無音区間と見做し、その区間情報とレベル情報と位置情報とを含む管理情報を、人声帯域に対しては音声用レベル管理テーブル６ａに格納し、ＢＧＭ帯域に対してはＢＧＭ用レベル管理テーブル６ｂに格納する。それにより、編集時や高速再生時等に於いて、音声レベル管理テーブル６ａを参照して、無音区間内で動画像の削除や挿入処理を行うことにより、自然な再生音声を得ることができる。又ＢＧＭ用レベル管理テーブル６ｂを参照して、編集や再生制御を行う場合は、自然なＢＧＭを再生することができる。
【００５１】
本発明は、前述の各実施の形態にのみ限定されるものではなく、種々付加変更することが可能であり、例えば、音声レベル管理テーブル６に格納した管理情報の中の位置情報は、動画像音声データの蓄積位置との対応ができるものであれば、各種の形式を適用することができる。
【００５２】
【発明の効果】
以上説明したように、本発明は、蓄積した動画像音声データについての音声データを無音区間と見做すことができる区間の位置や長さ等を示す管理情報を、音声レベル管理テーブル６に予め格納しておくことにより、編集時やそれに伴う高速再生，低速再生時に、音声レベル管理テーブル６を参照して、無音区間と見做す区間内で、音声データのカットや挿入等の編集を行い、又その区間を高速再生又はスキップ又は低速再生させることにより、再生された音声が途中で途切れたり、他の音声に切替えられたりする不自然さを回避することができる利点がある。又音声レベル管理テーブル６は、動画像音声データの蓄積時に同時に管理情報を形成して格納することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の説明図である。
【図２】音声測定の説明図である。
【図３】音声レベル管理テーブルの説明図である。
【図４】本発明の第２の実施の形態の説明図である。
【図５】本発明の第３の実施の形態の説明図である。
【図６】本発明の第４の実施の形態の説明図である。
【図７】本発明の第５の実施の形態の説明図である。
【図８】本発明の第６の実施の形態の説明図である。
【図９】本発明の第７の実施の形態の説明図である。
【図１０】本発明の第８の実施の形態の説明図である。
【図１１】本発明の第９の実施の形態の説明図である。
【図１２】本発明の第１０の実施の形態の説明図である。
【図１３】本発明の第１１の実施の形態の説明図である。
【符号の説明】
１　動画像音声データ蓄積装置
２　動画像音声解析装置
６　音声レベル管理テーブル
１１　動画像音声データ編集装置
１２　動画像シーン検出装置
１３　音声カット点解析装置
１４　管理テーブル解析装置

Claims

動画像データと音声データとを含む動画像音声データを蓄積し、該動画像音声データを再生して表示又は編集を行う動画像音声データ蓄積管理装置に於いて、
前記音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して該区間の位置情報と、該区間の長さを示す区間情報と、該区間内の平均レベルを示すレベル情報とを含み、前記動画像音声データの再生，編集時に参照する管理情報を格納した音声レベル管理テーブルを設けた
ことを特徴とする動画像音声データ蓄積管理装置。
前記音声データをそれぞれ異なる帯域に分割し、各帯域対応に、レベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して該区間の位置情報と、該区間の長さを示す区間情報と、該区間内の平均レベルを示すレベル情報とを含む管理情報を格納した帯域対応の音声レベル管理テーブルを設けたことを特徴とする請求項１記載の動画像音声データ蓄積管理装置。
前記音声レベル管理テーブルの前記管理情報を参照して、前記動画像データの編集時の指定したシーンの切れ目に最も近い前記区間内を前記動画像データのカット点及び音声データのカット点として編集する動画像音声データ編集装置を有することを特徴とする請求項１記載の動画像音声データ蓄積管理装置。
動画像データと音声データとを含む動画像音声データを編集する編集方法に於いて、
前記音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して該区間の位置情報と、該区間の長さを示す区間情報と、該区間内の平均レベルを示すレベル情報とを含む管理情報を格納した音声レベル管理テーブルを参照し、指定したシーンの切れ目に最も近い前記無音区間と見做した区間内を動画像データのカット点及び音声データのカットとして編集する過程を含む
ことを特徴とする編集方法。
動画像データと音声データとを含む動画像音声データを編集する編集方法に於いて、
前記音声データのレベルがレベル閾値以下で、且つ区間閾値以上継続する区間を無音区間と見做して該区間の位置情報と、該区間の長さを示す区間情報と、該区間内の平均レベルを示すレベル情報とを含む管理情報を格納した音声レベル管理テーブルを参照し、前記無音区間と見做した区間をスキップして高速再生又は該区間をスロー生成する過程を含む
ことを特徴とする編集方法。