JP2002297187A - 音声編集装置及び音声編集プログラム - Google Patents

Abstract

(57)【要約】 【課題】 編集対象となる音声波形に含まれる各音声部
分に関し、収録対象音声か非収録対象音声かの判断を助
ける表示をすることにより、音声編集の効率を上げる。 【解決手段】 編集対象である音声の波形３１を表示す
るとともに、波形３１に含まれる音声部分３８，４０，
４２を判断して、それらに対する音声認識処理の結果を
認識結果表示枠３２，３４，３６にそれぞれ表示する。
このとき、各音声部分３８，４０，４２が収録対象音声
（台詞）と非収録対象音声（台詞外）のいずれに係るも
のかを、例えば各音声部分３８，４０，４２の音量に基
づいて推定し、その推定結果に応じて各認識結果表示枠
３２，３４，３６に表示する文字のフォントサイズを決
定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声編集装置及び
音声編集プログラムに関し、特に、編集対象となる音声
波形に含まれる各音声部分に対応づけて、収録対象音声
か非収録対象音声かの推定結果を表示することにより、
音声編集の効率を上げる技術に関する。

【０００２】

【従来の技術】音楽、会話、アニメーションやゲームに
おける台詞等は、録音スタジオ等で収録された後、ディ
ジタルデータ化され、音声編集プログラムによって編集
・加工されることが多い。音声編集プログラムでは、デ
ィジタル形式の音声データ（波形データ）に基づいて、
収録音声の波形をコンピュータディスプレイに表示する
ようになっており、編集者は、表示画面上で波形位置
（音声タイミング）又は波形範囲（音声区間）をマウス
等のポインティングデバイスで指定して、その指定した
波形位置以降の収録音声、又は波形範囲の収録音声を音
声出力させることができるようになっている。そして、
波形の内容（音声内容）を適宜確認しながら、任意の波
形位置又は波形範囲をマウス等で指定し、さらにカッ
ト、コピー、ペースト、各種サウンドエフェクト付加等
の編集方法を指定することにより、収録音声の編集作業
を進めるようになっている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の音声編集プログラムでは、表示画面上で波形の位置
又は範囲を指定して、指定位置からの音声内容、又は指
定範囲の音声内容をいちいち耳で確認しなければ、その
音声が収録対象であるかどうか判断できないという問題
がある。すなわち、収録音声には、収録対象となる音声
（収録対象音声（編集対象音声））とそれ以外の音声
（非収録対象音声（非編集対象音声））とが含まれる
が、音声内容をいちいち耳で確認しなければ、音声波形
に含まれる各音声部分が収録対象音声に係るものか非収
録対象音声に係るものかを一切判断できないのでは、編
集効率が悪い。なお、収録対象音声は、例えば歌手の歌
声、会議参加者の発言、声優の喋る台詞等である。一
方、非収録対象音声は、例えば歌手、会議参加者、声優
等の収録対象者の独り言や、スタジオスタッフの声等で
ある。

【０００４】本発明は上記課題に鑑みてなされたもので
あって、その目的は、編集対象となる音声波形に含まれ
る各音声部分に関し、収録対象音声か非収録対象音声か
の判断を助ける表示をすることにより、音声編集の効率
を上げることができる音声編集装置及び音声編集プログ
ラムを提供することにある。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る音声編集装置は、音声の波形を表示す
る波形表示手段と、前記波形に含まれる音声部分を判断
する音声部分判断手段と、前記波形に含まれる各音声部
分が、収録対象音声と非収録対象音声のいずれに係るも
のかを推定する推定手段と、前記波形に含まれる各音声
部分に対応づけて、前記収録対象音声推定手段による推
定結果を表示する推定結果表示手段と、を含むことを特
徴とする。

【０００６】本発明によれば、表示手段に音声の波形が
表示されるとともに、その波形に含まれる各音声部分に
対応づけて、その音声部分が収録対象音声と非収録対象
音声のいずれに係るものかの推定結果が表示される。こ
うすれば、編集者は表示内容により、各音声部分が収録
対象音声と非収録対象音声のいずれに係るものかを容易
に判断できるようになり、編集効率を向上させることが
できる。なお、推定結果を表示する場合、各音声部分が
収録対象音声と非収録対象音声のいずれに係るものと推
定されるかを直接的に表示するようにしてもよいし、各
音声部分又はそれに対応する表示の態様等により間接的
に表示するようにしてもよい。また、各音声部分が収録
対象音声と非収録対象音声のいずれに係るものに近いか
を段階表示（例えば、収録対象音声に近い、非収録対象
音声に近い、いずれとも言えない、等）するものであっ
てもよい。

【０００７】また、本発明の一態様では、前記推定手段
は、前記波形に含まれる各音声部分の波高値に基づい
て、その音声部分が収録対象音声と非収録対象音声のい
ずれに係るものかを推定する。波高値は、音声部分の１
つの値を用いるようにしてもよいし、複数の値、例えば
全部の値を用いるようにしてもよい。本態様では、例え
ば音圧、実効音圧、波高値の絶対値の平均、波高値のピ
ーク値等の波高値に基づく値を算出することにより、そ
の値が所定閾値よりも大きい音声部分が収録対象音声に
係るものであり、所定閾値以下であるものが非収録対象
音声に係るものである等の推定が可能となる。

【０００８】また、本発明の一態様では、前記推定手段
は、前記波形に含まれる各音声部分の周波数情報に基づ
いて、その音声部分が収録対象音声と非収録対象音声の
いずれに係るものかを推定する。こうすれば、例えば各
音声部分の周波数の特徴により、その音声部分が収録対
象音声と非収録対象音声のいずれに係るものかを推定す
ること等が可能となる。なお、周波数情報は、例えば話
者の基本周波数（ｆ_０）情報、ゼロクロス数、周波数分
布等である。

【０００９】また、本発明の一態様では、前記波形に対
して音声認識処理を施す音声認識手段をさらに含み、前
記推定手段は、前記波形に含まれる各音声部分に対する
前記音声認識処理における認識結果の尤度に基づき、そ
の音声部分が収録対象音声と非収録対象音声のいずれに
係るものかを推定する。こうすれば、例えば認識結果の
尤度が所定閾値よりも高い音声部分が収録対象音声に係
るものであると推定し、所定閾値以下であるものを非収
録対象音声に係るものであると推定すること等が可能と
なる。

【００１０】また、本発明に係る音声編集プログラム
は、音声の波形を表示するステップと、前記波形に含ま
れる音声部分を判断するステップと、前記波形に含まれ
る各音声部分が、収録対象音声と非収録対象音声のいず
れに係るものかを推定するステップと、前記波形に含ま
れる各音声部分に対応づけて、前記推定するステップで
の推定結果を表示するステップと、をコンピュータに実
行させるものである。

【００１１】本発明によれば、コンピュータの表示手段
に音声の波形が表示されるとともに、その波形に含まれ
る各音声部分に対応づけて、その音声部分が収録対象音
声と非収録対象音声のいずれに係るものかの推定結果が
表示されるので、編集者は表示内容により、各音声部分
が収録対象音声と非収録対象音声のいずれに係るものか
を容易に判断できるようになり、編集効率を向上させる
ことができる。

【００１２】

【発明の実施の形態】以下、本発明の好適な実施の形態
について図面に基づき詳細に説明する。

【００１３】図１は、本発明の一実施の形態に係る音声
編集装置として動作するコンピュータシステムの構成を
示す図である。同図に示すコンピュータシステム１０で
は、ＣＰＵ（中央処理装置）１４と、画像処理部１６
と、モニタ１８と、ハードディスク記憶装置１９と、Ｒ
ＡＭ（ランダムアクセスメモリ）２０と、ＲＯＭ（リー
ドオンリメモリ）２２と、入出力インタフェース２４，
２８とが、バス１２により相互にデータ授受可能に接続
されている。また、入出力インタフェース２４にはメデ
ィア読み取り装置２６が接続され、入出力インタフェー
ス２８には入力装置３０が接続されている。

【００１４】ＣＰＵ１４は、メディア読み取り装置２６
から供給されるプログラムを実行し、コンピュータシス
テム１０の各部を制御するものであり、画像処理部１６
はＣＰＵ１４からの制御に従って画像データを生成し、
それを所定タイミングでビデオ信号に変換し、モニタ１
８に出力するものである。モニタ１８は、ＣＲＴやＬＣ
Ｄ等により構成される表示装置である。ハードディスク
記憶装置は、メディア読み取り装置２６により読み取ら
れるプログラム等のデータをインストールしたり、ＣＰ
Ｕ１４の作業用として利用したりされる記憶デバイスで
ある。ＲＡＭ２０は、ＣＰＵ１４の作業用として用いら
れる記憶デバイスである。ＲＯＭ２２には、ＢＩＯＳ
（Basic Input Output System）等のデータが記憶され
る。

【００１５】入出力インタフェース２４は、ＣＰＵ１４
とメディア読み取り装置２６との間でなされるデータ授
受を中継するものであり、入出力インタフェース２８は
ＣＰＵ１４と入力装置３０との間でなされるデータ授受
を中継するものである。バス１２は、システム各部の間
でなされるデータ及びアドレスの授受に用いられる。

【００１６】メディア読み取り装置２６は、ＦＤ（フロ
ッピー（登録商標）ディスク）、ＭＯディスク（光磁気
ディスク）、ＣＤ（コンパクトディスク）−ＲＯＭ、Ｄ
ＶＤ（ディジタルビデオディスク）等の情報記憶媒体か
らプログラム等のデータを読み取る装置である。なお、
ここでは情報記憶媒体からプログラムを供給するものと
するが、コンピュータシステム１０にデータ通信のため
のデバイスを接続し、インターネット等の通信ネットワ
ークを介してプログラムを供給するようにしてもよい。

【００１７】入力装置３０は、例えばキーボード等の文
字入力デバイス、マウス等のポインティングデバイス、
音声編集の対象である音声を入力するためのマイク等を
含む。マイクから入力された音声はディジタル化され、
波形データファイルとしてハードディスク記憶装置１９
に記憶される。その他、予め他の装置で編集対象となる
音声をディジタル化して、波形データファイルとして情
報記憶媒体に記憶し、それをメディア読み取り装置２６
で読み取って、ハードディスク記憶装置１９に記憶して
おくようにしてもよい。或いは、インターネット等の通
信ネットワークを介してコンピュータシステムに波形デ
ータファイルを供給し、ハードディスク記憶装置１９に
記憶しておくようにしてもよい。

【００１８】かかる構成を有するコンピュータシステム
１０に、ＣＤ−ＲＯＭやＤＶＤ等の情報記憶媒体から音
声編集プログラムが供給され、それがハードディスク記
憶装置１９にインストールされることにより、同コンピ
ュータシステム１０が音声編集装置として機能する。

【００１９】図２は、コンピュータシステム１０で音声
編集プログラムを起動した場合に、モニタ１８で表示さ
れる音声編集（波形編集）画面の一例を示している。同
図に示す音声編集画面は、例えばＧＵＩ（Graphic User
Interface）をコンピュータシステム１０で採用した場
合には、１つのウィンドウとしてモニタ１８に表示され
るものである。同図に示すように、音声編集画面では、
画面上方に編集対象である音声の波形３１が表示され
る。同図に示す波形３１は、横軸を時間軸とし、縦軸を
振幅（波高値）として収録音声を示したものであり、３
つの音声部分３８，４０，４２が含まれている。

【００２０】ここで、音声部分とは、ノイズでない音声
に係る波形部分、つまり音声認識処理により音声が認識
される波形部分をいう。各音声部分３８，４０，４２の
開始位置（タイミング）及び終了位置（タイミング）を
マーカ表示等により音声編集画面上で示すようにしても
よい。

【００２１】音声部分３８，４０，４２からは公知の音
声認識処理により音声内容を表す文字列が認識されるよ
うになっており、その文字列の全部又は一部が認識結果
枠３２，３４，３６の中に表示されるようになってい
る。ここで、認識結果表示枠３２，３４，３６の枠線の
うち、左側の縦線は音声部分の開始位置に対応してお
り、右側の縦線は音声部分の終了位置に対応している。
こうして、各音声部分３８，４０，４２に対応づけて、
認識結果表示枠３２，３４，３６がそれぞれ表示され、
それらの枠内に各音声部分３８，４０，４２の音声認識
結果である文字列がそれぞれ表示されるようになってい
る。

【００２２】また、認識結果表示枠３２，３４，３６に
認識結果が表示される場合、そのフォントサイズによ
り、各音声部分が収録対象音声に係るものか非収録対象
音声に係るものかの推定結果が示されるようになってい
る。すなわち、収録対象音声であると推定される場合に
は大きなフォントにより認識結果が表示されるようにな
っており、非収録対象音声であると推定される場合には
小さなフォントにより認識結果が表示されるようになっ
ている。また、いずれとも推定できない場合には中くら
いのフォントにより認識結果が表示されるようになって
いる。こうすれば、編集者は各音声部分に対応して表示
された認識結果のフォントサイズから、その音声部分が
収録対象音声に係る部分であるのか、それとも非収録対
象音声に係る部分であるのか、を一目で把握することが
できる。

【００２３】なお、収録対象音声は、例えば歌手の歌
声、会議参加者の発言、声優の喋る台詞等である。一
方、非収録対象音声は、例えば歌手、会議参加者、声優
等の収録対象者の独り言や、スタジオスタッフの声等で
ある。

【００２４】また、同図に示す音声編集画面では、図示
を省略するが、波形３１の振幅や時間を示す目盛りや、
音声編集の為の各種ツールを編集者が選択するためのツ
ールバーやメニューも表される。

【００２５】図３は、音声編集プログラムの一部であ
る、編集画面表示ルーチンを示すフロー図である。音声
編集プログラムには、同編集画面表示ルーチンの他、同
ルーチンにより表示される波形３１を編集者の指示に基
づいて編集するための各種編集ルーチンも含まれる。

【００２６】同図に示すように、編集画面表示ルーチン
では、まず波形ファイル名、表示範囲、縮尺が取得され
る（Ｓ１０１）。波形ファイル名は、編集対象である音
声を収録した波形ファイルの名称（必要に応じてパス
も）であり、例えば編集者がメニュー画面においてマウ
ス等の入力装置３０で指定することにより、或いはファ
イル名をキーボード等の入力装置３０から入力すること
等により、この波形ファイル名が取得される。表示範囲
は、編集対象である音声のうち編集画面に波形３１を表
示する範囲であり、例えば一旦波形３１をモニタ１８に
表示させた上で、マウス等の入力装置３０で横スクロー
ルさせ、或いはＧＵＩにおけるウィンドウサイズを変更
させて、編集者に表示範囲を指示させることにより、こ
の表示範囲が取得される。縮尺は、波形３１の表示縮尺
であり、例えばキーボードや等の入力装置３０による拡
大指示又は縮小処理等により、この縮尺が取得される。

【００２７】次に、Ｓ１０１で取得された波形ファイル
名を有する波形ファイルがハードディスク記憶装置１９
から読み出され（Ｓ１０２）、それに基づいてＳ１０１
で取得された表示範囲の波形３１がＲＡＭ２０又は画像
処理部１６に含まれるＶＲＡＭに描画される（Ｓ１０
３）。続いて、Ｓ１０２で読み出された波形ファイルに
対して音声認識処理が施され、波形３１に含まれる各音
声部分が特定され、それらの認識結果である文字列が生
成される（Ｓ１０４）。そして、表示範囲のフレーズ数
Ｆ、フレーズ位置（Ｐｓ_ｉ，Ｐｅ_ｉ）、フレーズ文字数
ｙ_ｉ（ｉ＝１〜Ｆ）がＲＡＭ２０に格納される（Ｓ１０
５）ここで、フレーズ数Ｆは表示範囲における音声部分
の数であり、フレーズ位置Ｐｓ_ｉは音声編集画面におけ
るｉ番目の音声部分の開始位置（ｘ座標（水平位置））
であり、フレーズ位置Ｐｅ_ｉは音声編集画面におけるｉ
番目の音声部分の終了位置（ｘ座標（水平位置））であ
る。また、フレーズ文字数ｙ_ｉはｉ番目の音声部分に対
する認識結果の文字数である。その後、フレーズ位置Ｐ
ｅ_ｉからフレーズ位置Ｐｓ_ｉが減算され、これによりフ
レーズ長ｘ_ｉが算出される（Ｓ１０６）。フレーズ長ｘ
_ｉは、音声編集画面におけるｉ番目の音声部分の横方向
（時間軸方向）の長さ（ピクセル数）を表す。

【００２８】次に、音声部分を指定する変数ｉを１に設
定し（Ｓ１０７）、ｉ番目の音声部分に対する音声認識
結果を表示するときのフォントサイズｚ_ｉ（ここでは特
に、１文字を表示するために必要な正方形の表示領域の
一辺の長さ（ピクセル）をいう。）を決定する（Ｓ１０
８）。このフォントサイズｚ_ｉを決定するためには、ま
ずｉ番目の音声部分が収録対象音声を表しているか、そ
れとも非収録音声を表しているかを推定する。そして、
この推定結果に基づいてフォントサイズを決定する。例
えば、収録対象音声であると推定される場合にはフォン
トサイズｚ_ｉに大きなフォントサイズを設定し、非収録
対象音声であると推定される場合にはフォントサイズｚ
_ｉに小さなフォントサイズを設定する。また、いずれと
も判別ができない場合には中くらいの大きさのフォント
サイズを設定する。フォントサイズ決定処理について
は、図５〜図７に基づき、後に詳述する。以上のＳ１０
５、Ｓ１０６及びＳ１０８における処理の結果、ＲＡＭ
２０には図５に示すテーブルが用意されることになる。

【００２９】次に、フレーズ長ｘ_ｉがフォントサイズｚ
_ｉよりも小さいかどうかを判断する（Ｓ１０９）。フレ
ーズ長ｘ_ｉがフォントサイズｚ_ｉよりも小さい場合に
は、音声部分の直下の表示領域に認識結果表示枠を収め
きれない場合であり、例外文字描画処理が実行される
（Ｓ１１１）。例外文字描画処理は図９に示される処理
である。一方、フレーズ長ｘ_ｉがフォントサイズｚ_ｉ以
上である場合には、音声部分の直下の表示領域に認識結
果表示枠を描画できる場合であり、通常文字描画処理が
実行される（Ｓ１１０）。通常文字描画処理は図８に示
される。例外文字描画処理及び通常文字描画処理は、共
にｉ番目の音声部分の下方に認識結果表示枠を描画する
とともに、その中に認識結果である文字列を描画する処
理である。

【００３０】通常文字描画処理（Ｓ１１０）又は例外文
字描画処理（Ｓ１１１）が実行された後、変数ｉがフレ
ーズ数Ｆに達したかどうかが判断され（Ｓ１１２）、達
していなければ変数ｉに１が加算され、次の音声部分に
対してＳ１０８からＳ１１２までの処理が再び実行され
る。こうして、変数ｉが１からＦまで順に増加し、それ
ぞれの変数ｉについてＳ１０８からＳ１１２までの処理
が実行されると、それまでに描画された音声編集画面が
モニタ１８により表示される（Ｓ１１４）。例えば音声
編集画面がＲＡＭ２０に描画された場合には、ＣＰＵ１
４はそれを画像処理部１６に転送すると、それが所定タ
イミングでモニタ１８に出力され、音声編集画面が表示
される。

【００３１】以上のようにして、音声編集画面として、
波形３１を表示するとともに、各音声部分の下方に認識
結果表示枠及び認識結果を表示することができる。

【００３２】図５は、フォントサイズ決定処理（Ｓ１０
８）の一例を示すフロー図である。この例では、各音声
部分が収録対象音声に係る部分であるか、非収録音声に
係る部分であるのかを、その音声部分の音圧により推定
するようにしている。この処理では、まずｉ番目の音声
部分（フレーズｉ）の音圧Ｐ_ｉ［ｄＢ］を次式（１）に
より算出する（Ｓ４０１）。ここでは、波形データが１
６ビットＰＣＭデータであるものとしており、Ｘは単位
時間あたりの波高値の絶対値の和をサンプル数で除した
値である。また、０ｘ８０００は８０００Ｈ（ヘキサ）
を意味している。同式（１）によれば、−９６ｄＢで無
音となり、０ｄＢで最大音量となる。

【００３３】

【数１】 Ｐ_ｉ＝２０ｌｏｇ_１０（Ｘ／０ｘ８０００） …（１）

【００３４】こうして音圧Ｐ_ｉを算出すると、次に音圧
Ｐ_ｉが所定閾値Ｐ１（例えば−４０ｄＢ）よりも大きい
かを判断する（Ｓ４０２）。そして、所定閾値Ｐ１より
も大きければ、フォントサイズｚ_ｉとして「大（例えば
１２ｐｔ）」を設定する（Ｓ４０４）。一方、所定閾値
Ｐ１未満であれば、次に音圧Ｐ_ｉが所定閾値Ｐ２（例え
ば−６０ｄＢ）よりも大きいかを判断する（Ｓ４０
３）。そして、所定閾値Ｐ２よりも大きければ、フォン
トサイズｚ_ｉとして「中（例えば１０ｐｔ）」を設定す
る（Ｓ４０５）。一方、音圧Ｐ_ｉが所定閾値Ｐ２以下で
あれば、フォントサイズｚ_ｉとして「小（例えば８ｐ
ｔ）」を設定する（Ｓ４０６）。

【００３５】こうすれば、各音声部分の音圧Ｐ_ｉが大き
いほどフォントサイズｚ_ｉを大きくすることができ、編
集者は認識結果表示枠３２，３４，３６等の中に表示さ
れる文字のフォントサイズを確認して、それに対応する
音声部分が収録対象音声に係るものであるのか、非収録
対象音声に係るものであるのか、の判断に役立てること
ができる。

【００３６】なお、一般に、収録対象音声は比較的しっ
かりと録音されており、音量Ｐ_ｉが大きいと考えられる
のに対し、非収録対象音声は音圧Ｐ_ｉが小さいものと考
えられることから、各音声部分の音圧Ｐ_ｉから、その音
声部分が収録対象音声に係るものであるか否かを推定す
るのには合理性があると言える。

【００３７】なお、音圧は上式（１）により算出される
ものであり、各音声部分の波高値に基づく情報である
が、各音声部分の波高値に基づく他の情報（例えば波高
値のピーク値、実効音圧、波高値の絶対値の和等）に基
づき、その音声部分が収録対象音声に係るものであるか
否かを判断するのも合理性がある。いずれにしても、各
音声部分の波高値（１又は複数）に基づき、各音声部分
が収録対象音声であるか否かを好適に推定することがで
きる。

【００３８】図６は、フォントサイズ決定処理（Ｓ１０
８）の他の例を示すフロー図である。この例では、各音
声部分が収録対象音声に係る部分であるか、非収録音声
に係る部分であるのかを、その音声部分の周波数分布に
より推定するようにしている。この処理では、まずｉ番
目の音声部分（フレーズｉ）の周波数分布を算出する
（Ｓ５０１）。周波数分布は、各音声部分が、どの周波
数帯にどの程度の成分を含んでいるか、を表す情報であ
る。

【００３９】周波数分布を算出すると、次にその周波数
分布が台詞型周波数分布であるか否かを調べる（Ｓ５０
２）。台詞型周波数分布としては、例えば多数の声優が
各種台本を読んだときの平均的な周波数分布等を採用す
ることができる。Ｓ５０２の処理では、例えばＳ５０１
で算出した周波数分布と予め用意した台詞型周波数分布
との一致度を算出し、それが所定閾値を超えるか否かに
より、台詞型か否かを判断するようにすればよい。そし
て、Ｓ５０１で算出した周波数分布が台詞型である場
合、フォントサイズｚ_ｉに「大（例えば１２ｐｔ）」を
設定し、台詞型でなければ、フォントサイズｚ_ｉに「小
（例えば８ｐｔ）」を設定する。

【００４０】こうすれば、各音声部分の周波数分布が台
詞型周波数分布に近いときに、フォントサイズｚ_ｉを大
きくすることができ、編集者は認識結果表示枠３２，３
４，３６等の中に表示される文字のフォントサイズを確
認して、それに対応する音声部分が収録対象音声（ここ
では台詞）に係るものであるのか、非収録対象音声（こ
こでは台詞外）に係るものであるのか、の判断に役立て
ることができる。

【００４１】なお、ここでは各音声部分の周波数分布が
台詞型か非台詞型かを判断するようにしたが、歌唱型か
非歌唱型かを判断するようにしてもよいし、会話型か非
会話型かを判断するようにしてもよい。いずれにして
も、予め収録対象音声（台詞、歌、会話等）の平均的な
周波数分布を用意しておき、それに各音声部分の周波数
特性が近いかどうかを調べることにより、各音声部分が
収録対象音声に係るものか否かを推定することができ
る。なお、ここでは説明の簡略のために周波数分布のみ
を用いた例を示したが、この他に、周波数分布の動的特
徴パラメータ（変化の仕方）を用いても大変有効であ
る。

【００４２】なお、一般に、収録対象音声はマイクに向
かって直接的に発音されることが多いのに対し、非収録
対象音声はマイクの遠方から発音され、或いはマイクの
方向とは外れた向きに発音されることが多いと考えられ
ることから、両者の周波数分布には違いがあり、各音声
部分の周波数分布から、その音声部分が収録対象音声に
係るものであるか否かを推定するのには合理性があると
言える。同様に、各音声部分の基本周波数（ｆ０）やゼ
ロクロス数等の他の周波数情報により、その音声部分が
収録対象音声に係るものであるか否かを推定するのにも
合理性があると言える。

【００４３】なお、男性の声優が各種台本を読んだとき
の平均的な周波数分布と、女性の声優が各種台本を読ん
だときの平均的な周波数分布と、を予め用意しておき、
Ｓ５０１で算出した周波数分布が、そのいずれに近いか
を調べることにより、各音声部分が、男性の声優が台本
を読んだものであるか、女性の声優が台本を読んだもの
であるか、を推定して、それに応じてフォントサイズや
フォントカラーを変えるようにしてもよい。こうすれ
ば、フォントサイズやフォントカラーを見て、各音声部
分が女性の声優によるものか、男性の声優によるもの
か、の判断に役立てることができる。

【００４４】図７は、フォントサイズ決定処理（Ｓ１０
８）のさらに他の例を示すフロー図である。この例で
は、各音声部分が収録対象音声に係る部分であるか、非
収録音声に係る部分であるのかを、その音声部分に対す
る音声認識処理において得られる認識結果の尤度（尤も
らしさ）により推定するようにしている。すなわち、音
声認識処理では、Ｓ１０４（図３）の音声認識処理で
は、各音声部分に対する認識結果を生成するにあたり、
多数の文字列について認識結果としての尤度を算出し、
そのうち最も尤度が高い文字列を実際の認識結果として
いる。ここでは、各音声部分に対する認識結果に対して
Ｓ１０４で算出された尤度に基づき、その音声部分が収
録対象音声に係るものであるか否かを推定している。

【００４５】この処理では、まずｉ番目の音声部分（フ
レーズｉ）の尤度α_ｉを取得する（Ｓ６０１）。なお、
尤度α_ｉはＳ１０４の処理において各音声部分に対応づ
けて保存しておくものとする。

【００４６】尤度α_ｉすると、次に尤度α_ｉ音が所定閾
値α１よりも大きいかを判断する（Ｓ６０２）。そし
て、所定閾値α１よりも大きければ、フォントサイズｚ
_ｉとして「大（例えば１２ｐｔ）」を設定する（Ｓ６０
４）。一方、所定閾値α１未満であれば、次に尤度α_ｉ
が所定閾値α２よりも大きいかを判断する（Ｓ６０
３）。そして、所定閾値α２よりも大きければ、フォン
トサイズｚ_ｉとして「中（例えば１０ｐｔ）」を設定す
る（Ｓ６０５）。一方、尤度α_ｉが所定閾値α２以下で
あれば、フォントサイズｚ_ｉとして「小（例えば８ｐ
ｔ）」を設定する（Ｓ６０６）。

【００４７】こうすれば、各音声部分のα_ｉが高いほど
フォントサイズｚ_ｉを大きくすることができ、編集者は
認識結果表示枠３２，３４，３６等の中に表示される文
字のフォントサイズを確認して、それに対応する音声部
分が収録対象音声に係るものであるのか、非収録対象音
声に係るものであるのか、の判断に役立てることができ
る。

【００４８】なお、一般に、収録対象音声は比較的明瞭
に録音されており、認識結果の尤度α_ｉが大きいと考え
られるのに対し、非収録対象音声は尤度α_ｉが小さいも
のと考えられることから、各音声部分に対する認識結果
の尤度α_ｉから、その音声部分が収録対象音声に係るも
のであるか否かを推定するのには合理性があると言え
る。

【００４９】次に、図８は、通常文字描画ルーチンを示
す図である。同図に示すように、通常文字描画ルーチン
では、まず次式（２）を満足する行数ｎが決定される
（Ｓ２０１）。

【００５０】

【数２】 ｘ_ｉ×（ｎ−１）＜ｙ_ｉ×ｚ_ｉ≦ｘ_ｉ×ｎ …（２）

【００５１】次に、行数ｎが最大行数Ｎ以下であるかが
判断される（Ｓ２０２）。行数ｎが最大行数Ｎ以下の場
合、ｉ番目の音声部分（フレーズ）の下に縦ｚ_ｉ×ｎド
ット、横ｘ_ｉドットの認識結果表示枠が描画される（Ｓ
２０３）。このとき、認識結果表示枠の左上隅のｘ座標
（水平座標）がｉ番目の音声部分のフレーズ（開始）位
置Ｐｓ_ｉとなるように描画する。その後、認識結果表示
枠の中にＳ１０４で得られたｉ番目の音声部分について
の認識結果をフォントサイズｚ_ｉで描画する（Ｓ２０
４）。

【００５２】一方、行数ｎが最大行数Ｎよりも大きい場
合、ｉ番目の音声部分の下に縦ｚ_ｉ×Ｎドット、横ｘ_ｉ
ドットの認識結果表示枠が描画される（Ｓ２０５）。こ
のとき認識結果表示枠の左上隅のｘ座標（水平座標）が
ｉ番目の音声部分のフレーズ（開始）位置Ｐｓ_ｉとなる
ように描画する。そして、Ｓ１０４で得られたｉ番目の
音声部分についての認識結果である文字列のうち、音声
編集画面への表示を省略する文字を決定する（Ｓ２０
６）。具体的には、次式（３）で示される省略文字個数
ａ_ｉを算出し、認識結果である文字列のうち、先頭文字
及び末尾文字を除き、ａ_ｉ個の連続する文字を省略文字
として選び出す。ここで、ｉｎｔ（）は括弧内の数値を
整数化する関数である。また、第２項は認識結果表示枠
で表示可能な文字数を表し、第３項は省略文字が存在す
る記号（例えば「…」等）を埋めるための文字数を１つ
用意するために設けられている。

【００５３】

【数３】

【００５４】 ａ_ｉ＝ｙ_ｉ−ｉｎｔ（ｘ_ｉ／ｚ_ｉ）×Ｎ＋１ …（３）

【００５５】そして、省略文字として選出されなかった
文字を、Ｓ２０５で描画した認識結果表示枠の中にフォ
ントサイズｚ_ｉで描画する（Ｓ２０７）。このとき、省
略文字が元々存在していた部分には、例えば「…」や
「〜」等、文字が省略されていることを表す記号を表示
するようにすれば好適である。

【００５６】以上のようにすれば、音声部分の直下に認
識結果表示枠を表示し、その中に認識結果である文字列
の一部又は全部を表示することができる。このとき、認
識結果である文字列を一部省略して音声編集画面に表示
する場合でも、先頭文字及び末尾文字は省略されないよ
うにしたので、編集者は容易に音声部分の内容を判断で
きるようになる。さらに、各認識結果表示枠の中に表示
される文字列は、そのフォントサイズが、対応する音声
部分が収録対象音声に係るものであるか否かの推定結果
に応じて決定されるようになっているので、編集者はフ
ォントサイズを見て、各音声部分が収録対象音声に係る
ものであるか否かの判断に役立てることができる。

【００５７】次に、図７は、例外文字描画ルーチンを示
す図である。同図に示すように、例外文字描画ルーチン
では、まず次式（４）が満足されるかが判断される（Ｓ
３０１）。

【００５８】

【数４】 Ｐｓ_ｉ＋ｚ_ｉ＞Ｐｓ_ｉ＋１ …（４）

【００５９】上式（４）が満足される場合、音声部分の
下側にフォントサイズｚ_ｉで文字を描画すると、右隣の
音声部分の直下に及んでしまい、そこには該音声部分に
対する認識結果を描画できなくなってしまうことから、
例外文字描画ルーチン及びその親プロセスである編集画
面表示ルーチンを中断し、例えばフォントサイズｚ_ｉ、
表示範囲、縮尺の変更を編集者に促すメッセージを表示
する。

【００６０】一方、上式（４）が満足されない場合、次
に行数ｎが最大行数Ｎ以下であるかが判断される（Ｓ３
０２）。行数ｎが最大行数Ｎ以下の場合、ｉ番目の音声
部分（フレーズ）の下に縦ｚ_ｉ×ｎドット、横ｚ_ｉドッ
トの認識結果表示枠が描画される（Ｓ３０３）。このと
き、認識結果表示枠の左上隅のｘ座標（水平座標）がｉ
番目の音声部分のフレーズ（開始）位置Ｐｓ_ｉとなるよ
うに描画する。その後、認識結果表示枠の中にＳ１０４
で得られたｉ番目の音声部分についての認識結果をフォ
ントサイズｚ_ｉで描画する（Ｓ３０４）。ここでは、認
識結果が縦書き表示されることになる。

【００６１】一方、行数ｎが最大行数Ｎよりも大きい場
合、ｉ番目の音声部分の下に縦ｚ_ｉ×Ｎドット、横ｚ_ｉ
ドットの認識結果表示枠が描画される（Ｓ３０５）。こ
のとき認識結果表示枠の左上隅のｘ座標（水平座標）が
ｉ番目の音声部分のフレーズ（開始）位置Ｐｓ_ｉとなる
ように描画する。そして、Ｓ１０４で得られたｉ番目の
音声部分についての認識結果である文字列のうち、音声
編集画面への表示を省略する文字を決定する（Ｓ３０
６）。具体的には、上式（３）で示される省略文字個数
ａ_ｉを算出し、認識結果である文字列のうち、先頭文字
及び末尾文字を除き、ａ_ｉ個の連続する文字を省略文字
として選び出す。

【００６２】そして、省略文字として選出されなかった
文字を、Ｓ３０５で描画した認識結果表示枠の中にフォ
ントサイズｚ_ｉで描画する（Ｓ３０７）。このとき、省
略文字が元々存在していた部分には、例えば「…」や
「〜」等、文字が省略されていることを表す記号を表示
するようにすれば好適である。

【００６３】以上のようにすれば、音声部分の下方に認
識結果表示枠を表示し、その中に認識結果である文字列
の一部又は全部を表示することができる。このとき、認
識結果表示枠の右側の枠線（縦線）が、右隣の音声部分
の認識結果表示枠が表示されるべき部分に入り込んでし
まう場合には、処理が中断されるようになる。

【００６４】以上説明した音声編集装置（音声編集プロ
グラム）によれば、音声編集画面に波形３１が表示され
るとともに、音声部分３８，４０，４２が、認識結果表
示枠３２，３４，３６の枠線（縦枠線）により、他の部
分（非音声部分）と区画されて表されるので、編集者は
一見しただけで波形３１に含まれる音声部分を把握する
ことができる。また、各音声部分３８，４０，４２に対
応づけて、認識結果表示枠３２，３４，３６がそれぞれ
表示され、その内部に各音声部分３８，４０，４２の認
識結果の全部又は一部が表示されるので、編集者は一見
しただけで波形３１に含まれる各音声部分がどのような
内容のものかを判断することができる。さらに、そのと
きのフォントサイズが、各音声部分が収録音声に係るも
のであるか否かの推定結果に応じて決定されるようにな
っているので、編集者はフォントサイズを見て、その内
容が収録対象音声に係るものか否かの判断に役立てるこ
とができ、音声編集の効率を格段に向上させることがで
きる。

【００６５】なお、本発明は以上の実施の形態に限定さ
れるものではない。

【００６６】例えば、音声編集画面は図２に示すものに
限らず、様々なパターンを採用することができる。例え
ば、図１０に示すように、各音声部分５８，６０，６２
に対応づけて、波形６４の下側に認識結果表示枠５２，
５４，５６をそれぞれ表示するとともに、上側にマーカ
６６，６８，７０を表示するようにして、このマーカ６
６，６８，７０の大きさを各音声部分５８，６０，６２
が収録対象音声に係るものであるかの推定結果に基づい
て決定するようにしてもよい。その他、音声部分５８，
６０，６２自体の色又はその背景色を同推定結果に応じ
て変えるようにしてもよい。いずれにしても、各音声部
分が収録対象音声に係るものか否かを、その音声部分に
対応づけて表示するようにすれば、音声の編集効率を格
段に向上させることができる。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
音声の波形を表示するとともに、前記波形に含まれる音
声部分を判断して、各音声部分が収録対象音声と非収録
対象音声のいずれに係るものかを推定し、各音声部分に
対応づけて推定結果を表示するようにしたので、編集者
は表示内容により、各音声部分が収録対象音声と非収録
対象音声のいずれに係るものかを容易に判断できるよう
になり、編集効率を向上させることができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る音声編集装置とし
て機能するコンピュータシステムの構成を示す図であ
る。

【図２】 音声編集画面の一例を示す図である。

【図３】 音声編集画面表示ルーチンを説明するフロー
図である。

【図４】 音声編集画面表示ルーチンにおいて生成され
るテーブルを示す図である。

【図５】 フォントサイズ決定ルーチンの一例を説明す
るフロー図である。

【図６】 フォントサイズ決定ルーチンの他の例を説明
するフロー図である。

【図７】 フォントサイズ決定ルーチンのさらに他の例
を説明するフロー図である。

【図８】 通常文字描画ルーチンを説明するフロー図で
ある。

【図９】 例外文字描画ルーチンを説明するフロー図で
ある。

【図１０】 音声編集画面の変形例を示す図である。

【符号の説明】

１０ コンピュータシステム、１２ バス、１４ ＣＰ
Ｕ、１６ 画像処理部、１８ モニタ、１９ ハードデ
ィスク記憶装置、２０ ＲＡＭ、２２ ＲＯＭ、２４，
２８ 入出力インタフェース、２６ メディア読み取り
装置、３０ 入力装置、３１，６４ 波形、３８，４
０，４２，５８，６０，６２ 音声部分、３２，３４，
３６，５２，５４，５６ 認識結果表示枠、６６，６
８，７０ （推定結果表示）マーカ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 11/02

Claims (5)

【特許請求の範囲】
1. 【請求項１】 音声の波形を表示する波形表示手段と、 前記波形に含まれる音声部分を判断する音声部分判断手
   段と、 前記波形に含まれる各音声部分が、収録対象音声と非収
   録対象音声のいずれに係るものかを推定する推定手段
   と、 前記波形に含まれる各音声部分に対応づけて、前記収録
   対象音声推定手段による推定結果を表示する推定結果表
   示手段と、 を含むことを特徴とする音声編集装置。
2. 【請求項２】 請求項１に記載の音声編集装置におい
   て、 前記推定手段は、前記波形に含まれる各音声部分の波高
   値に基づいて、その音声部分が収録対象音声と非収録対
   象音声のいずれに係るものかを推定することを特徴とす
   る音声編集装置。
3. 【請求項３】 請求項１又は２に記載の音声編集装置に
   おいて、 前記推定手段は、前記波形に含まれる各音声部分の周波
   数情報に基づいて、その音声部分が収録対象音声と非収
   録対象音声のいずれに係るものかを推定することを特徴
   とする音声編集装置。
4. 【請求項４】 請求項１乃至３のいずれかに記載の音声
   編集装置において、 前記波形に対して音声認識処理を施す音声認識手段をさ
   らに含み、 前記推定手段は、前記波形に含まれる各音声部分に対す
   る前記音声認識処理における認識結果の尤度に基づき、
   その音声部分が収録対象音声と非収録対象音声のいずれ
   に係るものかを推定することを特徴とする音声編集装
   置。
5. 【請求項５】 音声の波形を表示するステップと、 前記波形に含まれる音声部分を判断するステップと、 前記波形に含まれる各音声部分が、収録対象音声と非収
   録対象音声のいずれに係るものかを推定するステップ
   と、 前記波形に含まれる各音声部分に対応づけて、前記推定
   するステップでの推定結果を表示するステップと、 をコンピュータに実行させるための音声編集プログラ
   ム。