JP2003288096A - コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム - Google Patents

Abstract

(57)【要約】 【課題】 何時でも携帯端末で映画等のコンテンツの要
約を視聴することができるコンテンツ情報配信方法を提
案する。 【解決手段】 コンテンツデータベースに蓄積された音
声付映像コンテンツを利用者の携帯端末からの指示によ
り検索して指定し、この指定されたコンテンツに付属し
た音声信号をフレーム毎に分析した特徴量に基づき強調
状態にある音声区間を要約区間として抽出し、この要約
区間の音声情報と、この音声情報に同期した映像情報を
要約コンテンツとして利用者の携帯端末又は表示器付電
話機に配信するコンテンツ情報配信方法を提案する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は外出先でもデータ
センタに格納されている各種コンテンツの要約を視聴す
ることができ、視聴の結果そのコンテンツが気に入れば
その場で自宅に備えた録画装置に、そのコンテンツを録
画させることを指示することができ、外出先でもコンテ
ンツを購入することができるコンテンツ販売方法、コン
テンツ販売システム及びこのコンテンツ販売システムを
コンピュータ上で実現するプログラムを提案しようとす
るものである。

【０００２】

【従来の技術】従来より、通信網を介して映画等のコン
テンツを販売する実例が見られる。従来のこの種の販売
方法としては利用者のパーソナルコンピュータから販売
元のコンピュータにアクセスし、販売しているコンテン
ツの名称等を目録として利用者のパーソナルコンピュー
タに伝送し、利用者のパーソナルコンピュータにコンテ
ンツの名称等を表示させ、その名称の中から購入を希望
するコンテンツを指定し、そのコンテンツの要約を利用
者のパーソナルコンピュータに伝送する。

【０００３】利用者は送られて来たコンテンツの要約を
視聴し、気に入ればそのコンテンツの購入を指示し、コ
ンテンツの本体を販売元から送らせてパーソナルコンピ
ュータに取り込み購入を完了する。従来はパーソナルコ
ンピュータが存在する環境下（一般に自宅）でなければ
コンテンツの要約を視聴したり、購入の指示を出すこと
ができなかった。また、視聴できる要約は予め販売元で
作成された一定の内容の要約しか用意されていないた
め、利用者の希望する要約でないことが多い。つまり、
総延長で２時間のコンテンツを５分に要約したり、１０
分に要約したり、自由に圧縮率を選択できないため、詳
しい要約を視聴したい利用者には不満が残る。

【０００４】また、従来の要約方法としては連続する複
数フレームからなる区間動画像を動画全体の各ブロック
から抽出し、抽出した各ブロックの区間動画像をつなぎ
合わせてダイジェスト画像とする装置があった。例え
ば、日本国特開平８−９３１０号公報、日本国特開平３
−９０９６８号公報、日本国特開平６−１６５００９号
公報などに示されている。また、利用者の好みに合った
番組のみをダイジェスト録画するために、番組ガイド情
報と利用者が設定したジャンル別優先順位テーブルから
ダイジェスト番組予約表を作成してダイジェスト録画す
る方法があった。例えば、日本国特開２００１−１５７
１６９号公報などに示されている。

【０００５】また、オーディオセグメントの時間圧縮方
法として、ポーズ圧縮の割合を精密に制御し、了解性の
高いダイジェストを作成する方法があった。例えば、日
本国特開２００１−１５４７００号公報などに示されて
いる。また、テロップや音情報を使って、当該番組映像
の特徴となる場面やシーンを抽出してダイジェスト映像
とするシステムがあった。例えば、日本国特開２００１
−２３０６２号公報などに示されている。

【０００６】

【発明が解決しようとする課題】コンテンツを任意の時
間で要約、もしくはダイジェストを生成するには、コン
テンツを構成する各シーンの優先順位をあらかじめ求め
ておく必要がある。日本国特開平８−９３１０号公報、
日本国特開平３−９０９６８号公報、日本国特開平６−
１６５００９号公報では、利用者が重要と思うシーンを
ジョイスティックもしくは、複数のボタンを用いて入力
し、ダイジェスト優先度情報を付与しているが、利用者
にとってダイジェスト生成のための負担が大きく、自動
生成方法は無かった。

【０００７】日本国特開２００１−１５７１６９号公報
では、番組ガイド情報と利用者が設定したジャンル別優
先順位テーブルからダイジェスト番組予約表を作成して
ダイジェスト録画しているが、ダイジェストガイド情報
をコンテンツ作成者、もしくは送信者が作成しなければ
ならず、自動的にダイジェストを作成することは出来な
い。また、ダイジェストガイド情報の無いコンテンツの
要約への適応は不可能である。日本国特開２００１−１
５４７００号公報では、ポーズ圧縮によって、ダイジェ
ストを生成しているがポーズを除去することで元のコン
テンツの１／１０時間や１／２０時間などに要約するこ
とは困難である。

【０００８】日本国特開２０００−２３０６２号公報で
は、ダイジェスト映像生成方法として、音情報の音量値
をチェックしているが、音量情報のみから要約が生成さ
れる根拠が乏しく、また定量的な評価も行っていない。
また、テロップ情報も用いているが、テロップが存在し
ないコンテンツのダイジェストの生成や、テロップが出
現しない区間ではダイジェストを生成することは不可能
である。従ってこの要約方法は有用な要約方法ではな
い。この発明の目的は購入を希望するコンテンツの要約
を動画像を受信することができる携帯端末機或は、表示
器付の電話機等で受信し視聴することができそのコンテ
ンツの購入を希望する場合は、その携帯端末機或は表示
器付電話機等を利用して購入の手続を行なうことができ
更に、要約率も利用者が自由に設定し、コンテンツの内
容を利用者が希望する時間長に圧縮して視聴することが
できるコンテンツ販売方法、コンテンツ販売システム、
コンテンツ販売プログラムを提案しようとするものであ
る。

【０００９】

【課題を解決するための手段】この発明は音声信号と同
期する映像信号を含むコンテンツとその属性を示す補助
情報を対応付けて蓄積するコンテンツ蓄積手段を具備
し、ユーザ端末から受信した補助情報に対応するコンテ
ンツの少なくとも一部をユーザ端末に送信するコンテン
ツ情報配信方法において、少なくとも基本周波数又はピ
ッチ周期、パワー、動的特徴量の時間変化特性、又はこ
れらのフレーム間差分を含む特徴量と強調状態での出現
確率とを対応して格納した符号帳を用い、前記音声信号
をフレーム毎に分析した前記特徴量に対応する強調状態
での出現確率を求め、前記強調状態での出現確率に基づ
いて強調状態となる確率を算出し、前記強調状態となる
確率が所定の確率よりも大きい音声信号区間を要約区間
と判断し、前記要約区間に同期する映像信号のうち少な
くとも１フレームの映像信号を代表映像信号として選択
し、前記代表映像信号と要約区間の少なくとも一部の音
声信号に基づく情報を送信するコンテンツ情報配信方法
を提案する。

【００１０】この発明では更に前記符号帳が少なくとも
基本周波数又はピッチ周期、パワー、動的特徴量の時間
変化特性、又はこれらのフレーム間差分を含む特徴量と
強調状態での出現確率に対応して平静状態での出現確率
が格納され、前記音声信号をフレーム毎に分析した前記
特徴量に対応する平静状態での出現確率を求め、前記平
静状態での出現確率に基づいて平静状態となる確率を算
出し、前記強調状態となる確率の前記平静状態となる確
率に対する確率比が所定の係数より大きい音声信号区間
を要約区間と仮判定し、要約区間の時間の総和、又は要
約率として前記音声信号全区間の時間の前記要約区間の
時間の総和に対する比率を算出し、前記要約区間の時間
の総和又は前記総和の全音声信号区間に対する比である
ユーザ端末から受信または予め決められた所定の要約時
間又は要約率となる前記所定の係数を算出して要約区間
を決定するコンテンツ情報配信方法を提案する。

【００１１】この発明では更に前記符号帳が少なくとも
基本周波数又はピッチ周期、パワー、動的特徴量の時間
変化特性、又はこれらのフレーム間差分を含む特徴量と
強調状態での出現確率に対応して平静状態での出現確率
が格納され、前記音声信号をフレーム毎に分析した前記
特徴量に対応する平静状態での出現確率を求め、前記平
静状態での出現確率に基づいて平静状態となる確率を算
出し、前記強調状態となる確率の前記平静状態となる確
率に対する確率比を音声信号区間ごとに算出し、前記確
率比に対応する音声信号区間の時間を降順に累積して要
約区間の時間の総和を算出し、前記要約区間の時間の総
和又は前記総和の全音声信号区間に対する比である要約
率がユーザ端末から受信または予め決められた所定の要
約時間又は要約率となる音声信号区間を前記要約区間と
決定するコンテンツ情報配信方法を提案する。

【００１２】この発明では更に前記音声信号をフレーム
ごとに無音区間か否か、有声区間か否か判定し、所定フ
レーム数以上の無音区間で囲まれ、有声区間を含む部分
を音声小段落と判定し、音声小段落に含まれる有声区間
の平均パワーが該音声小段落内の平均パワーの所定の定
数倍より小さい音声小段落を末尾とする音声小段落群を
音声段落と判定し、前記音声信号区間は音声段落ごとに
定められたものであり、前記要約区間の時間の総和を前
記強調区間を含む音声段落ごとに累積して求めるコンテ
ンツ情報配信方法を提案する。

【００１３】この発明では更にコンテンツの音声信号の
全てをそのまま前記ユーザ端末に配信するコンテンツ情
報配信方法において、前記音声信号の配信期間中に音声
の強調確率が所定値以上又は強調確率と平静確率との比
が所定値以上となる音声信号と同期した代表静止画を抽
出し、この代表静止画を前記音声信号と共に前記ユーザ
端末に配信するコンテンツ情報配信方法を提案する。こ
の発明では更に前記要約区間の音声情報を音声認識して
テキスト情報を生成し、前記音声信号に基づく情報とし
て前記テキスト情報を送信するコンテンツ情報配信方法
を提案する。

【００１４】この発明によれば更に、前記テキスト情報
の少なくとも一部を構成する文字コードに対応する文字
画像パタンを前記代表映像に重畳して文字重畳映像を生
成し、前記代表映像信号と前記要約区間の少なくとも一
部の音声信号に基づく情報として前記文字重畳映像を送
信するコンテンツ情報配信方法を提案する。この発明で
は更に音声信号と同期する映像信号を含むコンテンツと
その属性を示す補助情報を対応付けて蓄積するコンテン
ツ蓄積手段を具備し、ユーザ端末から受信した補助情報
に対応するコンテンツの少なくとも一部をユーザ端末に
送信するコンテンツ情報配信装置において、少なくとも
基本周波数又はピッチ周期、パワー、動的特徴量の時間
変化特性、又はこれらのフレーム間差分を含む特徴量と
強調状態での出現確率とを対応して格納した符号帳と、
前記音声信号をフレーム毎に分析した前記特徴量に対応
する強調状態での出現確率を求め、前記強調状態での出
現確率に基づいて強調状態となる確率を算出する強調状
態確率計算部と、前記強調状態となる確率が所定の確率
よりも大きい音声信号区間を要約区間と判断する要約区
間決定部と、前記要約区間に同期する映像信号のうち少
なくとも１フレームの映像信号を代表映像信号として選
択する代表映像選択部と、前記代表映像信号と前記要約
区間の少なくとも一部の音声信号に基づく情報を送信す
る要約配信手段と、を有するコンテンツ情報配信装置を
提案する。

【００１５】この発明では更に音声信号と同期する映像
信号を含むコンテンツとその属性を示す補助情報を対応
付けて蓄積するコンテンツ蓄積手段を具備し、ユーザ端
末から受信した補助情報に対応するコンテンツの音声信
号の全てを前記ユーザ端末に送信するコンテンツ情報配
信装置において、少なくとも基本周波数又はピッチ周
期、パワー、動的特徴量の時間変化特性、又はこれらの
フレーム間差分を含む特徴量と強調状態での出現確率と
を対応して格納した符号帳と、前記音声信号をフレーム
毎に分析した前記特徴量に対応する強調状態での出現確
率を求め、前記強調状態での出現確率に基づいて強調状
態となる確率を算出する強調状態確率計算部と、前記強
調状態となる確率が所定の確率よりも大きい音声信号に
同期した映像信号のうち少なくとも１フレームの映像信
号を代表映像信号として選択する代表映像選択部と、前
記コンテンツの音声情報の全てと前記代表映像信号とを
前記ユーザ端末に送信する要約配信手段とを有するコン
テンツ情報配信装置を提案する。

【００１６】この発明では更に前記符号帳が少なくとも
基本周波数又はピッチ周期、パワー、動的特徴量の時間
変化特性、又はこれらのフレーム間差分を含む特徴量と
強調状態での出現確率に対応して平静状態での出現確率
が格納され、前記符号帳を用いて前記音声信号をフレー
ム毎に分析した前記特徴量に対応する平静状態での出現
確率を求め、前記平静状態での出現確率に基づいて平静
状態となる確率を算出する平静状態確率計算部と、前記
強調状態となる確率の前記平静状態となる確率に対する
確率比が所定の係数より大きい音声信号区間を要約区間
と仮判定する要約区間仮判定部と、要約区間の時間の総
和、又は要約率として前記音声信号全区間の時間の前記
要約区間の時間の総和に対する比率を算出し、前記要約
区間の時間の総和が略所定の要約時間に、又は前記要約
率が略所定の要約率となる前記所定の係数を算出して要
約区間を決定する要約区間決定部と、を有するコンテン
ツ情報配信装置を提案する。

【００１７】この発明では更に前記符号帳が少なくとも
基本周波数又はピッチ周期、パワー、動的特徴量の時間
変化特性、又はこれらのフレーム間差分を含む特徴量と
強調状態での出現確率に対応して平静状態での出現確率
が格納され、前記符号帳を用いて前記音声信号をフレー
ム毎に分析した前記特徴量に対応する平静状態での出現
確率を求め、前記平静状態での出現確率に基づいて平静
状態となる確率を算出する平静状態確率計算部と、前記
強調状態となる確率の前記平静状態となる確率に対する
確率比を音声信号区間ごとに算出し、前記確率比に対応
する音声信号区間の時間を降順に所定の確率比まで累積
して要約区間の時間の総和を算出し要約区間と仮判定す
る要約区間仮判定部と、前記要約区間の時間の総和又は
前記総和の全音声信号区間に対する比である要約率がユ
ーザ端末から受信または予め決められた所定の要約時間
又は要約率となる音声信号区間を前記要約区間と決定す
る要約区間決定部と、を有するコンテンツ情報配信装置
を提案する。

【００１８】この発明では更にコンピュータが読み取り
可能な符号によって記述され、前記コンテンツ情報配信
方法を実行するコンテンツ情報配信プログラムを提案す
る。 作用 この発明によるコンテンツ情報配信方法によれば外出先
でも携帯電話機或は表示器付電話機を使ってコンテンツ
の要約を視聴することができる。更に購入手続を行な
い、自宅に設置した記録装置に希望するコンテンツをデ
ータベースから配信させ、記録させることができる。

【００１９】この結果、利用者はパーソナルコンピュー
タを利用できる環境下でなくとも、特に外出先からでも
コンテンツの購入手続を行なうことができ、何時でも、
どこからでもコンテンツの購入を行なうことができる。
また、この発明によれば動画を受信できる携帯端末或は
表示器付電話機さえあればどこにいても購入を希望する
コンテンツの要約を視聴することができる。特にコンテ
ンツの要約時間を利用者が自由に設定できる構成とする
ことができるから、コンテンツの内容を詳しく知りた
い、或は時間の都合により短時間しか視聴できない、等
の要求に対応することができる特徴を有する。

【００２０】この発明の特徴とする点は、コンテンツ要
約時に利用者の端末からの要求に従って、どのような要
約率（圧縮率）にでもコンテンツを要約することができ
る要約方法を用いる点にある。この特徴とする要約方法
は、先願である特願２００１−２４１２７８号で本出願
人が提案した、任意の音声小段落の発話状態を判定し、
強調状態となる確率が平静状態となる確率よりも大きけ
れば、その音声小段落を強調状態にあると判定し、その
音声小段落を含む音声段落を要約区間として抽出する音
声強調状態判定方法及び音声要約方法を利用して実現す
ることができる。

【００２１】

【発明の実施の形態】ここで、この発明で用いられる音
声小段落抽出方法、音声段落抽出方法、各音声小段落毎
に強調状態となる確率及び平静状態となる確率を求める
方法について、説明する。図２に先に提案した音声要約
方法の実施形態の基本手順を示す。ステップＳ１で入力
音声信号を分析して音声特徴量を求める。ステップＳ２
で、入力音声信号の音声小段落と、複数の音声小段落か
ら構成される音声段落を抽出する。ステップＳ３で各音
声小段落を構成するフレームが平静状態か、強調状態か
発話状態を判定する。この判定に基づきステップＳ４で
要約音声を作成し、要約音声を得る。

【００２２】以下に、自然な話し言葉や会話音声を、要
約に適用する場合の実施例を述べる。音声特徴量は、ス
ペクトル情報等に比べて、雑音環境下でも安定して得ら
れ、かつ話者に依存し難いものを用いる。入力音声信号
から音声特徴量として基本周波数（ｆ０）、パワー
（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポー
ズ時間長（無音区間）（ｐｓ）を抽出する。これらの音
声特徴量の抽出法は、例えば、「音響・音響工学」（古
井貞煕、近代科学社、１９９８）、「音声符号化」（守
谷健弘、電子情報通信学会、１９９８）、「ディジタル
音声処理」（古井貞煕、東海大学出版会、１９８５）、
「複合正弦波モデルに基づく音声分析アルゴリズムに関
する研究」（嵯峨山茂樹、博士論文、１９９８）などに
述べられている。音声の動的特徴量の時間変化は発話速
度の尺度となるパラメータであり特許第２９７６９９８
号に記載のものを用いてもよい。即ち、動的変化量とし
てスペクトル包絡を反映するＬＰＣスペクトラム係数の
時間変化特性を求め、その時間変化をもとに発話速度係
数が求められるものである。より具体的にはフレーム毎
にＬＰＣスペクトラム係数Ｃ１（ｔ）、…Ｃｋ（ｔ）を
抽出して次式のような動的特徴量ｄ（ダイナミックメジ
ャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0t+f0［ｆ
×Ｃi（ｔ）］／（Σf=t-f0t+f0ｆ2）2ここで、ｆ０は
前後の音声区間フレーム数（必ずしも整数個のフレーム
でなくとも一定の時間区間でもよい）、ｋはＬＰＣスペ
クトラムの次数、ｉ＝１、２、…ｋである。発話速度の
係数として動的特徴量の変化の極大点の単位時間当たり
の個数、もしくは単位時間当たりの変化率が用いられ
る。

【００２３】実施例では例えば１００ｍｓを１フレーム
とし、シフトを５０ｍｓとする。１フレーム毎の平均の
基本周波数を求める（ｆ０´）。パワーについても同様
に１フレーム毎の平均パワー（ｐ´）を求める。更に現
フレームのｆ０´と±ｉフレーム前後のｆ０´との差分
をとり、±Δｆ０´ｉ（Δ成分）とする。パワーについ
ても同様に現フレームのｐ´と±ｉフレーム前後のｐ´
との差分±Δｐ´ｉ（Δ成分）を求める。ｆ０´、±Δ
ｆ０´ｉ、ｐ´、±Δｐ´ｉを規格化する。この規格は
例えばｆ０´、±Δｆ０´ｉをそれぞれ、音声波形全体
の平均基本周波数で割り規格化する。これら規格化され
た値をｆ０″、±ｆ０″ｉと表す。ｐ´、±Δｐ´ｉに
ついても同様に、発話状態判定の対象とする音声波形全
体の平均パワーで割り、規格化する。規格化するにあた
り、後述する音声小段落、音声段落ごとの平均パワーで
割ってもよい。これら規格化された値をｐ″、±Δｐ″
ｉと表す。ｉの値は例えばｉ＝４とする。現フレームの
前後±Ｔ１ｍｓの、ダイナミックメジャーのピーク本
数、即ち動的特徴量の変化の極大点の個数ｄｐを算出す
る。これと、現フレームの開始時刻の、Ｔ２ｍｓ前の時
刻を区間に含むフレームのｄｐとのΔ成分（−Δｄｐ）
を求める。前記±Ｔ１ｍｓのｄｐと、現フレームの終了
時刻の、Ｔ３ｍｓ後の時刻を区間に含むフレームのｄｐ
とのΔ成分（＋Δｄｐ）を求める。これら、Ｔ１、Ｔ
２、Ｔ３の値は例えばＴ１＝Ｔ２＝Ｔ３＝４５０ｍｓと
する。フレームの前後の無音区間の時間長を±ｐｓとす
る。ステップＳ１ではこれら音声特徴パラメータの各値
をフレーム毎に抽出する。

【００２４】ステップＳ２における入力音声の音声小段
落と、音声段落を抽出する方法の例を図３に示す。ここ
で音声小段落を発話状態判定を行う単位とする。ステッ
プＳ２０１で、入力音声信号の無音区間と有声区間を抽
出する。無音区間は例えばフレーム毎のパワーが所定の
パワー値以下であれば無音区間と判定し、有声区間は、
例えばフレーム毎の相関関数が所定の相関関数値以上で
あれば有声区間と判定する。有声／無声の決定は、周期
性／非周期性の特徴と同一視することにより、自己相関
関数や変形相関関数のピーク値で行うことが多い。入力
信号の短時間スペクトルからスペクトル包絡を除去した
予測残差の自己相関関数が変形相関関数であり、変形相
関関数のピークが所定の閾値より大きいか否かによって
有声／無声の判定を行い、又そのピークを与える遅延時
間によってピッチ周期１／ｆ０（基本周波数ｆ０）の抽
出を行う。これらの区間の抽出法の詳細は、例えば、
「ディジタル音声処理」（古井貞煕、東海大学出版会、
１９８５）などに述べられている。ここでは音声信号か
ら各音声特徴量をフレーム毎に分析することについて述
べたが、既に符号化等により分析された係数もしくは符
号に対応する特徴量を符号化に用いる符号帳から読み出
して用いてもよい。

【００２５】ステップＳ２０２で、有声区間を囲む無音
区間の時間がそれぞれｔ秒以上になるとき、その無音区
間で囲まれた有声区間を含む部分を音声小段落とする。
このｔは例えばｔ＝４００ｍｓとする。ステップＳ２０
３で、この音声小段落内の好ましくは後半部の、有声区
間の平均パワーと、その音声小段落の平均のパワーの値
ＢAの定数β倍とを比較し、前者の方が小さい場合はそ
の音声小段落を末尾音声小段落とし、直前の末尾音声小
段落後の音声小段落から現に検出した末尾音声小段落ま
でを音声段落として決定する。

【００２６】図４に、有声区間、音声小段落、音声段落
を模式的に示す。音声小段落を前記の、有声区間を囲む
無音区間の時間がｔ秒の条件で、抽出する。図４では、
音声小段落ｊ−１、ｊ、ｊ＋１について示している。こ
こで音声小段落ｊは、ｎ個の有声区間から構成され、平
均パワーをＰｊとする。有声区間の典型的な例として、
音声小段落ｊに含まれる、有声区間ｖの平均パワーはｐ
ｖである。音声段落ｋは、音声小段落ｊと音声小段落を
構成する後半部分の有声区間のパワーから抽出する。ｉ
＝ｎ−αからｎまでの有声区間の平均パワーｐｉの平均
が音声小段落ｊの平均パワーＰｊより小さいとき、即
ち、 Σｐｉ／（α＋１）＜βＰｊ 式（１） を満たす時、音声小段落ｊが音声段落ｋの末尾音声小段
落であるとする。ただし、Σはｉ＝ｎ−αからｎまでで
ある。式（１）のα、βは定数であり、これらを操作し
て、音声段落を抽出する。実施例では、αは３、βは
０．８とした。このようにして末尾音声小段落を区切り
として隣接する末尾音声小段落間の音声小段落群を音声
段落と判定できる。

【００２７】図２中のステップＳ３における音声小段落
発話状態判定方法の例を図５に示す。ステップＳ３０１
で、入力音声小段落の音声特徴量をベクトル量子化す
る。このために、あらかじめ少なくとも２つの量子化音
声特徴量（コード）が格納された符号帳（コードブッ
ク）を作成しておく。ここでコードブックに蓄えられた
音声特徴量と入力音声もしくは既に分析して得られた音
声の音声特徴量との照合をとり、コードブックの中から
音声特徴量間の歪（距離）を最小にする量子化音声特徴
量を特定することが常套である。

【００２８】図６に、このコードブックの作成法の例を
示す。多数の学習用音声を被験者が聴取し、発話状態が
平静状態であるものと、強調状態であるものをラベリン
グする（Ｓ５０１）。例えば、被験者が発話の中で強調
状態とする理由として、 （ａ）声が大きく、名詞や接続詞を伸ばすように発話す
る （ｂ）話し始めを伸ばして話題変更を主張、意見を集約
するように声を大きくする （ｃ）声を大きく高くして重要な名詞等を強調する時 （ｄ）高音であるが声はそれほど大きくない （ｅ）苦笑いしながら、焦りから本音をごまかすような
時 （ｆ）周囲に同意を求める、あるいは問いかけるよう
に、語尾が高音になるとき （ｇ）ゆっくりと力強く、念を押すように、語尾の声が
大きくなる時 （ｈ）声が大きく高く、割り込んで発話するという主
張、相手より大きな声で （ｉ）大きな声では憚られるような本音や秘密を発言す
る場合や、普段、声の大きい人にとっての重要なことを
発話するような時（例えば声が小さくボソボソ、ヒソヒ
ソという口調）を挙げた。この例では、平静状態とは、
前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静で
あると被験者が感じたものとした。

【００２９】尚、上述では強調状態と判定する対象を発
話であるものとして説明したが、音楽でも強調状態を特
定することができる。ここでは音声付の楽曲において、
音声から強調状態を特定しようとした場合に、強調と感
じる理由として、 （ａ）声が大きく、かつ声が高い （ｂ）声が力強い （ｃ）声が高く、かつアクセントが強い （ｄ）声が高く、声質が変化する （ｅ）声を伸長させ、かつ声が大きい （ｆ）声が大きく、かつ、声が高く、アクセントが強い （ｇ）声が大きく、かつ、声が高く、叫んでいる （ｈ）声が高く、アクセントが変化する （ｉ）声を伸長させ、かつ、声が大きく、語尾が高い （ｊ）声が高く、かつ、声を伸長させる （ｋ）声を伸長させ、かつ、叫び、声が高い （ｌ）語尾上がり力強い （ｍ）ゆっくり強め （ｎ）曲調が不規則 （ｏ）曲調が不規則、かつ、声が高い また、音声を含まない楽器演奏のみの楽曲でも強調状態
を特定することができる。その強調と感じる理由とし
て、 （ａ）強調部分全体のパワー増大 （ｂ）音の高低差が大きい （ｃ）パワーが増大する （ｄ）楽器の数が変化する （ｅ）曲調、テンポが変化する 等である。

【００３０】これらを基にコードブックを作成しておく
ことにより、発話に限らず音楽の要約も行うことができ
ることになる。平静状態と強調状態の各ラベル区間につ
いて、図２中のステップＳ１と同様に、音声特徴量を抽
出し（Ｓ５０２）、パラメータを選択する（Ｓ５０
３）。平静状態と強調状態のラベル区間の、前記パラメ
ータを用いて、ＬＢＧアルゴリズムでコードブックを作
成する（Ｓ５０４）。ＬＢＧアルゴリズムについては、
例えば、（Ｙ．Ｌｉｎｄｅ，Ａ．Ｂｕｚｏ ａｎｄ
Ｒ．Ｍ．Ｇｒａｙ，“Ａｎａｌｇｏｒｉｔｈｍ ｆｏｒ
ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇ
ｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏ
ｌ．Ｃｏｍ−２８，ｐｐ．８４−９５，１９８０）があ
る。コードブックサイズは２のｎ乗個に可変である。こ
のコードブック作成は音声小段落で又はこれより長い適
当な区間毎あるいは学習音声全体の音声特徴量で規格化
した音声特徴量を用いることが好ましい。

【００３１】図５中のステップＳ３０１で、このコード
ブックを用いて、入力音声小段落の音声特徴量を、各音
声特徴量について規格化し、その規格化された音声特徴
量をフレーム毎に照合もしくはベクトル量子化し、フレ
ーム毎にコード（量子化された音声特徴量）を得る。こ
の際の入力音声信号より抽出する音声特徴量は前記のコ
ードブック作成に用いたパラメータと同じである。強調
状態が含まれる音声小段落を特定するために、音声小段
落でのコードを用いて、発話状態の尤度（らしさ）を、
平静状態と強調状態について求める。このために、あら
かじめ、任意のコード（量子化音声特徴量）の出現確率
を、平静状態の場合と、強調状態の場合について求めて
おき、この出現確率とそのコードとを組としてコードブ
ックに格納しておく、以下にこの出現確率の求め方の例
を述べる。前記のコードブック作成に用いた学習音声中
のラベルが与えられた１つの区間（ラベル区間）の音声
特徴量のコード（フレーム毎に得られる）が、時系列で
Ｃｉ、Ｃｊ、Ｃｋ、…Ｃｎであるとき、ラベル区間αが
強調状態となる確率をＰα（ｅ）、平静状態となる確率
をＰα（ｎ）とし、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ）Ｐｅｍｐ（Ｃｊ｜Ｃｉ）
…Ｐｅｍｐ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ）Ｐｎｒｍ（Ｃｊ｜Ｃｉ）
…Ｐｎｒｍ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１） となる。ただし、Ｐｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は
コード列Ｃｉ…Ｃｘ−１の次にＣｘが強調状態となる条
件付確率、Ｐｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は同様に
Ｃｉ…Ｃｘ−１に対しＣｘが平静状態となる確率であ
る。ただし、Πはｘ＝ｉ＋１からｎまでの積である。ま
たＰｅｍｐ（Ｃｉ）は学習音声についてフレームで量子
化し、これらコード中のＣｉが強調状態とラベリングさ
れた部分に存在した個数を計数し、その計数値を全学習
音声の全コード数（フレーム数）で割り算した値であ
り、Ｐｎｒｍ（Ｃｉ）はＣｉが平静状態とラベリングさ
れた部分に存在した個数を全コード数で割り算した値で
ある。

【００３２】このラベル区間αの各状態確率を簡単にす
るために、この例ではＮ−ｇｒａｍモデル（Ｎ＜ｎ）を
用いて、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） とする。つまりＣｎよりＮ−１個の過去のコード列Ｃｎ
−Ｎ＋１…Ｃｎ−１の次にＣｎが強調状態として得られ
る確率をＰα（ｅ）とし、同様にＮ−ｇｒａｍの確率値
をより低次のＭ−ｇｒａｍ（Ｎ≧Ｍ）の確率値と線形に
補間する線形補間法を適応することが好ましい。例えば
ＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ
−１の次にＣｎが平静状態として得られる確率をＰα
（ｎ）とする。このようなＰα（ｅ）、Ｐα（ｎ）の条
件付確率をラベリングされた学習音声の量子化コード列
から全てを求めるが、入力音声信号の音声特徴量の量子
化したコード列と対応するものが学習音声から得られて
いない場合もある。そのため、高次（即ちコード列の長
い）の条件付確率を単独出現確率とより低次の条件付出
現確率とを補間して求める。例えばＮ＝３のｔｒｉｇｒ
ａｍ、Ｎ＝２のｂｉｇｒａｍ、Ｎ＝１のｕｎｉｇｒａｍ
を用いて線形補間法を施す。Ｎ−ｇｒａｍ、線形補間
法、ｔｒｉｇｒａｍについては、例えば、「音声言語処
理」（北 研二、中村 哲、永田昌明、森北出版、１９
９６、２９頁）などに述べられている。即ち、 Ｎ＝３（ｔｒｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２
Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−２Ｃｎ−１） Ｎ＝２（ｂｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−１） Ｎ＝１（ｕｎｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ）、Ｐｎｒ
ｍ（Ｃｎ） であり、これら３つの強調状態でのＣｎの出現確率、ま
た３つの平静状態でのＣｎの出現確率をそれぞれ用いて
次式により、Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）、Ｐ
ｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）を計算することにす
る。 Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｅｍｐ１Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ|Ｃｎ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ） 式（２） Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｎｒｍｌＰｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｎｒｍ２Ｐｎｒｍ（Ｃｎ|Ｃｎ−１）＋λｎｒｍ３Ｐｎｒｍ（Ｃｎ） 式（３） Ｔｒｉｇｒａｍの学習データをＮとしたとき、すなわ
ち、コードが時系列でＣ１、Ｃ２、．．．ＣＮが得られ
たとき、λｅｍｐ１、λｅｍｐ２、λｅｍｐ３の再推定
式は前出の参考文献「音声言語処理」より次のようにな
る。 λｅｍｐ１＝１／ＮΣ（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃ
ｎ−２Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λ
ｅｍｐ３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ２＝１／ＮΣ（λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ
−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−
１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ
３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ３＝１／ＮΣ（λｅｍｐ３Ｐｅｍｐ（Ｃｎ）／
（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅ
ｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ
（Ｃｎ））） ただし、Σはｎ＝１からＮまでの和である。以下同様に
してλｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められ
る。

【００３３】この例では、ラベル区間αがフレーム数Ｎ
αで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮαのと
き、このラベル区間αが強調状態となる確率Ｐα
（ｅ）、平静状態となる確率Ｐα（ｎ）は、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（４） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（５） となる。この計算ができるように前記のｔｒｉｇｒａ
ｍ、ｕｎｉｇｒａｍ、ｂｉｇｒａｍを任意のコードにつ
いて求めてコードブックに格納しておく。つまりコード
ブックには各コードの音声特徴量とその強調状態での出
現確率とこの例では平静状態での出現確率との組が格納
され、その強調状態での出現確率は、その音声特徴量が
過去のフレームでの音声特徴量と無関係に強調状態で出
現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）の
み、又はこれと、過去のフレームでの音声特徴量から現
在のフレームの音声特徴量に至るフレーム単位の音声特
徴量列毎に、その音声特徴量が強調状態で出現する条件
付確率との組合せの何れかであり、平静状態での出現確
率も同様に、その音声特徴量が過去のフレームでの音声
特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒ
ａｍ：単独出現確率と記す）のみ、又はこれと、過去の
フレームでの音声特徴量から現在のフレームの音声特徴
量に至るフレーム単位の音声特徴量列毎にその音声特徴
量が平静状態で出現する条件付確率と組合せの何れかで
ある。

【００３４】例えば図７に示すようにコードブックには
各コードＣ１、Ｃ２、…毎にその音声特徴量と、その単
独出現確率が強調状態、平静状態について、また条件付
確率が強調状態、平静状態についてそれぞれ組として格
納されている。図５中のステップＳ３０２では、入力音
声小段落の全フレームのコードについてのそのコードブ
ックに格納されている前記確率から、発話状態の尤度
を、平静状態と強調状態について求める。図８に実施例
の模式図を示す。時刻ｔから始まる音声小段落のうち、
第４フレームまでを〜で示している。前記のよう
に、ここでは、フレーム長は１００ｍｓ、フレームシフ
トを５０ｍｓとフレーム長の方を長くした。フレーム
番号ｆ、時刻ｔ〜ｔ＋１００でコードＣｉが、フレー
ム番号ｆ＋１、時刻ｔ＋５０〜ｔ＋１５０でコードＣｊ
が、フレーム番号ｆ＋２、時刻ｔ＋１００〜ｔ＋２０
０でコードＣｋが、フレーム番号ｆ＋３、時刻ｔ＋１
５０〜ｔ＋２５０でコードＣｌが得られ、つまりフレー
ム順にコードがＣｉ、Ｃｊ、Ｃｋ、Ｃｌであるとき、フ
レーム番号ｆ＋２以上のフレームでｔｒｉｇｒａｍが計
算できる。音声小段落ｓが強調状態となる確率をＰｓ
（ｅ）、平静状態となる確率をＰｓ（ｎ）とすると第４
フレームまでの確率はそれぞれ、 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ） 式（６） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ） 式（７） となる。ただし、この例では、コードブックからＣｋ、
Ｃｌの強調状態及び平静状態の各単独出現確率を求め、
またＣｊの次にＣｋが強調状態及び平静状態で各出現す
る条件付確率、更にＣｋがＣｉ、Ｃｊの次に、ＣｌがＣ
ｊ、Ｃｋの次にそれぞれ強調状態及び平静状態でそれぞ
れ出現する条件付確率をコードブックから求めると、以
下のようになる。 Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｋ｜Ｃｊ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｋ） 式（８） Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｌ｜Ｃｋ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｌ） 式（９） Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｋ｜Ｃｊ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｋ） 式（１０） Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｌ｜Ｃｋ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｌ） 式（１１） 上記（８）〜（１１）式を用いて（６）式と（７）式で
示される第４フレームまでの強調状態となる確率Ｐｓ
（ｅ）と、平静状態となる確率Ｐｓ（ｎ）が求まる。こ
こで、Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）、Ｐｎｒｍ（Ｃｋ｜
ＣｉＣｊ）はフレーム番号ｆ＋２において計算できる。

【００３５】この例では、音声小段落ｓがフレーム数Ｎ
ｓで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮｓのと
き、この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）
と平静状態になる確率Ｐｓ（ｎ）を次式により計算す
る。 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅ
ｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎ
ｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） この例ではこれらの確率が、Ｐｓ（ｅ）＞Ｐｓ（ｎ）で
あれば、その音声小段落Ｓは強調状態、Ｐｓ（ｎ）＞Ｐ
ｓ（ｅ）であれば平静状態とする。

【００３６】図９は以上説明した音声小段落抽出方法、
音声段落抽出方法、各音声小段落毎に強調状態となる確
率及び平静状態となる確率を求める方法を用いた音声強
調状態判定装置及び音声要約装置の実施形態を示す。入
力部１１に音声強調状態が判定されるべき、又は音声の
要約が検出されるべき入力音声（入力音声信号）が入力
される。入力部１１には必要に応じて入力音声信号をデ
ィジタル信号に変換する機能も含まれる。ディジタル化
された音声信号は必要に応じて記憶部１２に格納され
る。音声特徴量抽出部１３で前述した音声特徴量がフレ
ーム毎に抽出される。抽出した音声特徴量は必要に応じ
て、音声特徴量の平均値で規格化され、量子化部１４で
各フレームの音声特徴量がコードブック１５を参照して
量子化され、量子化された音声特徴量は強調確率計算部
１６と平静確率計算部１７に送り込まれる。コードブッ
ク１５は例えば図７に示したようなものである。

【００３７】強調確率計算部１６によりその量子化され
た音声特徴量の強調状態での出現確率が、コードブック
１５に格納されている対応する確率を用いて、例えば式
（８）又は（９）により計算される。同様に平静確率計
算部１７により、前記量子化された音声特徴量の平静状
態での出現確率がコードブック１５に格納されている対
応する確率を用いて、例えば式（１０）又は（１１）に
より計算される。強調確率計算部１６及び平静確率計算
部１７で各フレーム毎に算出された強調状態での出現率
と平静状態での出現確率及び各フレームの音声特徴量は
各フレームに付与したフレーム番号と共に記憶部12に格
納する。

【００３８】これら各部の制御は制御部１９の制御のも
とに順次行われる。音声要約装置の実施形態は、図９中
に実線ブロックに対し、破線ブロックが付加される。つ
まり記憶部１２に格納されている各フレームの音声特徴
量が無音区間判定部２１と有音区間判定部２２に送り込
まれ、無音区間判定部２１により各フレーム毎に無音区
間か否かが判定され、また有音区間判定部２２により各
フレーム毎に有声区間か否かが判定される。これらの無
音区間判定結果と有音区間判定結果が音声小段落判定部
２３に入力される。音声小段落判定部２３はこれら無音
区間判定、有声区間判定に基づき、先の方法の実施形態
で説明したように所定フレーム数を連続する無音区間に
囲まれた有声区間を含む部分が音声小段落と判定する。
音声小段落判定部２３の判定結果は記憶部１２に書き込
まれ、記憶部１２に格納されている音声データ列に付記
され、無音区間で囲まれたフレーム群に音声小段落番号
列を付与する。これと共に音声小段落判定部２３の判定
結果は末尾音声小段落判定部２４に入力される。

【００３９】末尾音声小段落判定部２４では、例えば図
４を参照して説明した手法により末尾音声小段落が検出
され、末尾音声小段落判定結果が音声段落判定部２５に
入力され、音声段落判定部２５により２つの末尾音声小
段落間の複数の音声小段落を含む部分を音声段落と判定
する。この音声段落判定結果も記憶部１２に書き込ま
れ、記憶部１２に記憶している音声小段落番号列に音声
段落列番号を付与する。音声要約装置として動作する場
合、強調確率計算部１６及び平静確率計算部１７では記
憶部１２から各音声小段落を構成する各フレームの強調
確率と平静確率を読み出し、各音声小段落毎の確率が例
えば式（８）及び式（１０）により計算される。強調状
態判定部１８ではこの音声小段落毎の確率計算値を比較
して、その音声小段落が強調状態か否かを判定し、要約
区間取出し部２６では音声段落中の１つの音声小段落で
も強調状態と判定されたものがあればその音声小段落を
含む音声段落を取り出す。各部の制御は制御部１９によ
り行われる。

【００４０】以上により音声で構成される音声波形を音
声小段落及び音声段落に分離する方法及び各音声小段落
毎に強調状態となる確率及び平静状態となる確率を算出
できることが理解できよう。以下では上述した各方法を
利用したこの発明による音声処理方法、音声処理装置及
び音声処理プログラムに関わる実施の形態を説明する。
図１０にこの発明の音声処理方法の実施の形態の基本手
順を示す。この実施例ではステップＳ１１で音声強調確
率算出処理を実行し、音声小段落の強調確率及び平静確
率を求める。

【００４１】ステップＳ１２では要約条件入力ステップ
Ｓ１２を実行する。この要約条件入力ステップＳ１２で
は例えば利用者に要約時間又は要約率或は圧縮率の入力
を促す情報を提供し、要約時間又は要約率或は要約率又
は圧縮率を入力させる。尚、予め設定された複数の要約
時間又は要約率、圧縮率の中から一つを選択する入力方
法を採ることもできる。ステップＳ１３では抽出条件の
変更を繰り返す動作を実行し、ステップＳ１２の要約条
件入力ステップＳ１２で入力された要約時間又は要約
率、圧縮率を満たす抽出条件を決定する。

【００４２】ステップＳ１４で要約抽出ステップを実行
する。この要約抽出ステップＳ１４では抽出条件変更ス
テップＳ１３で決定した抽出条件を用いて採用すべき音
声段落を決定し、この採用すべき音声段落の総延長時間
を計算する。ステップ１５では要約再生処理を実行し、
要約抽出ステップＳ１４で抽出した音声段落列を再生す
る。図１１は図１０に示した音声強調確率算出ステップ
の詳細を示す。ステップＳ１０１で要約対象とする音声
波形列を音声小段落に分離する。

【００４３】ステップＳ１０２ではステップＳ１０１で
分離した音声小段落列から音声段落を抽出する。音声段
落とは図４で説明したように、１つ以上の音声小段落で
構成され、意味を理解できる単位である。ステップＳ１
０３及びステップＳ１０４でステップＳ１０１で抽出し
た音声小段落毎に図７で説明したコードブックと前記し
た式（８）、（１０）等を利用して各音声小段落が強調
状態となる確率（以下強調確率と称す）Ｐｓ（ｅ）と、
平静状態となる確率（以下平静確率と称す）Ｐｓ（ｎ）
とを求める。

【００４４】ステップＳ１０５ではステップＳ１０３及
びＳ１０４において各音声小段落毎に求めた強調確率Ｐ
ｓ（ｅ）と平静確率Ｐｓ（ｎ）などを各音声小段落毎に
仕分けして記憶手段に音声強調確率テーブルとして格納
する。図１２に記憶手段に格納した音声強調確率テーブ
ルの一例を示す。図１２に示すＦ１、Ｆ２、Ｆ３…は音
声小段落毎に求めた音声小段落強調確率Ｐｓ（ｅ）と、
音声小段落平静確率Ｐｓ（ｎ）を記録した小段落確率記
憶部を示す。これらの小段落確率記憶部Ｆ１、Ｆ２、Ｆ
３…には各音声小段落Ｓに付された音声小段落番号ｉ
と、開始時刻（言語列の先頭から計時した時刻）終了時
刻、音声小段落強調確率、音声小段落平静確率、各音声
小段落を構成するフレーム数ｆｎ等が格納される。

【００４５】要約条件入力ステップＳ１２で入力する条
件としては要約すべきコンテンツの全長を１／Ｘ（Ｘは
正の整数）の時間に要約することを示す要約率Ｘ（請求
項１記載の要約率を指す）、あるいは要約時間ｔを入力
する。この要約条件の設定に対し、抽出条件変更ステッ
プＳ１３では初期値として重み係数ＷをＷ＝１に設定
し、この重み係数を要約抽出ステップＳ１４に入力す
る。要約抽出ステップＳ１４は重み係数Ｗ＝１として音
声強調確率テーブルから各音声小段落毎に格納されてい
る強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｅ）とを比較
し、 Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ） の関係にある音声小段落を抽出すると共に、更にこの抽
出した音声小段落を一つでも含む音声段落を抽出し、抽
出した音声段落列の総延長時間ＭＴ（分）を求める。

【００４６】抽出した音声段落列の総延長時間ＭＴ
（分）と要約条件で決めた所定の要約時間ＹＴ（分）と
を比較する。ここでＭＴ≒ＹＴ（ＹＴに対するＭＴの誤
差が例えば±数％程度の範囲）であればそのまま採用し
た音声段落列を要約音声として再生する。要約条件で設
定した要約時間ＹＴに対するコンテンツの要約した総延
長時間ＭＴとの誤差値が規定より大きく、その関係がＭ
Ｔ＞ＹＴであれば抽出した音声段落列の総延長時間ＭＴ
（分）が、要約条件で定めた要約時間ＹＴ（分）より長
いと判定し、図１０に示した抽出条件変更ステップＳ１
３を再実行させる。抽出条件変更ステップＳ１３では重
み係数がＷ＝１で抽出した音声段落列の総延長時間ＭＴ
（分）が要約条件で定めた要約時間ＹＴ（分）より「長
い」とする判定結果を受けて強調確率Ｐｓ（ｅ）に現在
値より小さい重み付け係数Ｗ（請求項１記載の所定の係
数の場合は現在値よりも大きくする）を乗算Ｗ・Ｐｓ
（ｅ）して重み付けを施す。重み係数Ｗとしては例えば
Ｗ＝１−０．００１×Ｋ（Ｋはループ回数）で求める。

【００４７】つまり、音声強調確率テーブルから読み出
した音声段落列の全ての音声小段落で求められている強
調確率Ｐｓ（ｅ）の配列に１回目のループではＷ＝１−
０．００１×１で決まる重み係数Ｗ＝０．９９９を乗算
し、重み付けを施す。この重み付けされた全ての各音声
小段落の強調確率Ｗ・Ｐｓ（ｅ）と各音声小段落の平静
確率Ｐｓ（ｎ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出する。この抽出結
果に従って要約抽出ステップＳ１４では抽出された音声
小段落を含む音声段落を抽出し、要約音声段落列を再び
求める。これと共に、この要約音声段落列の総延長時間
ＭＴ（分）を算出し、この総延長時間ＭＴ（分）と要約
条件で定められる要約時間ＹＴ（分）とを比較する。比
較の結果がＭＴ≒ＹＴであれば、その音声段落列を要約
音声と決定し、再生する。

【００４８】１回目の重み付け処理の結果が依然として
ＭＴ＞ＹＴであれば抽出条件変更ステップを、２回目の
ループとして実行させる。このとき重み係数ＷはＷ＝１
−０．００１×２で求める。全ての強調確率Ｐｓ（ｅ）
にＷ＝０．９９８の重み付けを施す。このように、ルー
プの実行を繰り返す毎にこの例では重み係数Ｗの値を徐
々に小さくするように抽出条件を変更していくことによ
りＷＰｓ（ｅ）＞Ｐｓ（ｎ）の条件を満たす音声小段落
の数を漸次減らすことができる。これにより要約条件を
満たすＭＴ≒ＹＴの状態を検出することができる。

【００４９】尚、上述では要約時間ＭＴの収束条件とし
てＭＴ≒ＹＴとしたが、厳密にＭＴ＝ＹＴに収束させる
こともできる。この場合には要約条件に例えば５秒不足
している場合、あと１つの音声段落を加えると１０秒超
過してしまうが、音声段落から５秒のみ再生することで
利用者の要約条件に一致させることができる。また、こ
の５秒は強調と判定された音声小段落の付近の５秒でも
よいし、音声段落の先頭から５秒でもよい。 また、上述した初期状態でＭＴ＜ＹＴと判定された場合
は重み係数Ｗを現在値よりも小さく例えばＷ＝１−０．
００１×Ｋとして求め、この重み係数Ｗを平静確率Ｐｓ
（ｎ）の配列に乗算し、平静確率Ｐｓ（ｎ）に重み付け
を施せばよい。また、他の方法としては初期状態でＭＴ
＞ＹＴと判定された場合に重み係数を現在値より大きく
Ｗ＝１＋０．００１×Ｋとし、この重み係数Ｗを平静確
率Ｐｓ（ｎ）の配列に乗算してもよい。

【００５０】また、要約再生ステップＳ１５では要約抽
出ステップＳ１４で抽出した音声段落列を再生するもの
として説明したが、音声付の画像情報の場合、要約音声
として抽出した音声段落に対応した画像情報を切り出し
てつなぎ合わせ、音声と共に再生することによりテレビ
放送の要約、あるいは映画の要約等を行うことができ
る。また、上述では音声強調確率テーブルに格納した各
音声小段落毎に求めた強調確率又は平静確率のいずれか
一方に直接重み係数Ｗを乗算して重み付けを施すことを
説明したが、強調状態を精度良く検出するためには重み
係数Ｗに各音声小段落を構成するフレームの数Ｆ乗して
ＷFとして重み付けを行うことが望ましい。

【００５１】つまり、式（８）及び式（１０）で算出す
る条件付の強調確率Ｐｓ（ｅ）は各フレーム毎に求めた
強調状態となる確率の積を求めている。また平静状態と
なる確率Ｐｓ（ｎ）も各フレーム毎に算出した平静状態
となる確率の積を求めている。従って、例えば強調確率
Ｐｓ（ｅ）に重み付けを施すには各フレーム毎に求めた
強調状態となる確率毎に重み付け係数Ｗを乗算すれば正
しい重み付けを施したことになる。この場合には音声小
段落を構成するフレーム数をＦとすれば重み係数ＷはＷ
Fとなる。

【００５２】この結果、フレームの数Ｆに応じて重み付
けの影響が増減され、フレーム数の多い音声小段落ほ
ど、つまり延長時間が長い音声小段落程大きい重みが付
されることになる。但し、単に強調状態を判定するため
の抽出条件を変更すればよいのであれば各フレーム毎に
求めた強調状態となる確率の積又は平静状態となる積に
重み係数Ｗを乗算するだけでも抽出条件の変更を行うこ
とができる。従って、必ずしも重み付け係数ＷをＷFと
する必要はない。

【００５３】また、上述では抽出条件の変更手段として
音声小段落毎に求めた強調確率Ｐｓ（ｅ）又は平静確率
Ｐｓ（ｎ）に重み付けを施してＰｓ（ｅ）＞Ｐｓ（ｎ）
を満たす音声小段落の数を変化させる方法を採ったが、
他の方法として全ての音声小段落の強調確率Ｐｓ（ｅ）
と平静確率Ｐｓ（ｎ）に関してその確率比Ｐｓ（ｅ）／
Ｐｓ（ｎ）を演算し、この確率比の降順に対応する音声
信号区間（音声小段落）を累積して要約区間の和を算出
し、要約区間の時間の総和が、略所定の要約時間に合致
する場合、そのときの音声信号区間を要約区間と決定し
て要約音声を編成する方法も考えられる。

【００５４】この場合、編成した要約音声の総延長時間
が要約条件で設定した要約時間に対して過不足が生じた
場合には、強調状態にあると判定するための確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）の値を選択する閾値を変更すれば抽
出条件を変更することができる。この抽出条件変更方法
を採る場合には要約条件を満たす要約音声を編成するま
での処理を簡素化することができる利点が得られる。上
述では各音声小段落毎に求める強調確率Ｐｓ（ｅ）と平
静確率Ｐｓ（ｎ）を各フレーム毎に算出した強調状態と
なる確率の積及び平静状態となる確率の積で算出するも
のとして説明したが、他の方法として各フレーム毎に求
めた強調状態となる確率の平均値を求め、この平均値を
その音声小段落の強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ
（ｎ）として用いることもできる。

【００５５】従って、この強調確率Ｐｓ（ｅ）及び平静
確率Ｐｓ（ｎ）の算出方法を採る場合には重み付けに用
いる重み付け係数Ｗはそのまま強調確率Ｐｓ（ｅ）又は
平静確率Ｐｓ（ｎ）に乗算すればよい。図１３を用いて
要約率を自由に設定することができる音声処理装置の実
施例を示す。この実施例では図９に示した音声強調状態
要約装置の構成に要約条件入力部３１と、音声強調確率
テーブル３２と、強調小段落抽出部３３と、抽出条件変
更部３４と、要約区間仮判定部３５と、この要約区間仮
判定部３５の内部に要約音声の総延長時間を求める総延
長時間算出部３５Ａと、この総延長時間算出部３５Ａが
算出した要約音声の総延長時間が要約条件入力部３１で
入力した要約時間の設定の範囲に入っているか否かを判
定する要約区間決定部３５Ｂと、要約条件に合致した要
約音声を保存し、再生する要約音声保存・再生部３５Ｃ
を設けた構成とした点を特徴とするものである。

【００５６】入力音声は図８で説明したように、フレー
ム毎に音声特徴量が求められ、この音声特徴量に従って
強調確率計算部１６と平静確率計算部１７でフレーム毎
に強調確率と、平静確率とを算出し、これら強調確率と
平静確率を各フレームに付与したフレーム番号と共に記
憶部１２に格納する。更に、このフレーム列番号に音声
小段落判定部で判定した音声小段落列に付与した音声小
段落列番号が付記され、各フレーム及び音声小段落にア
ドレスが付与される。この発明による音声処理装置では
強調確率算出部１６と平静確率算出部１７は記憶部１２
に格納している各フレームの強調確率と平静確率を読み
出し、この強調確率及び平静確率から各音声小段落毎に
強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）とを求め、こ
れら強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を音声強
調テーブル３２に格納する。

【００５７】音声強調テーブル３２には各種のコンテン
ツの音声波形の音声小段落毎に求めた強調確率と平静確
率とが格納され、いつでも利用者の要求に応じて要約が
実行できる体制が整えられている。利用者は要約条件入
力部３１に要約条件を入力する。ここで言う要約条件と
は要約したいコンテンツの名称と、そのコンテンツの全
長時間に対する要約率を指す。要約率としてはコンテン
ツの全長を１／１０に要約するか、或は時間で１０分に
要約するなどの入力方法が考えられる。ここで例えば１
／１０と入力した場合は要約時間算出部３１Ａはコンテ
ンツの全長時間を１／１０した時間を算出し、その算出
した要約時間を要約区間仮判定部３５の要約区間決定部
３５Ｂに送り込む。

【００５８】要約条件入力部３１に要約条件が入力され
たことを受けて制御部１９は要約音声の生成動作を開始
する。その開始の作業としては音声強調テーブル３２か
ら利用者が希望したコンテンツの強調確率と平静確率を
読み出す。読み出された強調確率と平静確率を強調小段
落抽出部３３に送り込み、強調状態にあると判定される
音声小段落番号を抽出する。強調状態にある音声区間を
抽出するための条件を変更する方法としては上述した強
調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に確率比の逆
数となる重み付け係数Ｗを乗算しＷ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出し、音声小段落を
含む音声段落により要約音声を得る方法と、確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）を算出し、この確率比を降順に累算
して要約時間を得る方法とを用いることができる。

【００５９】抽出条件の初期値としては重み付けにより
抽出条件を変更する場合には重み付け係数ＷをＷ＝１と
して初期値とすることが考えられる。また、各音声小段
落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）
の確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値に応じて強調状態
と判定する場合は初期値としてその比の値が例えばＰｓ
（ｅ）／Ｐｓ（ｎ）≧１である場合を強調状態と判定す
ることが考えられる。この初期設定状態で強調状態と判
定された音声小段落番号と開始時刻、終了時刻を表わす
データを強調小段落抽出部３３から要約区間仮判定部３
５に送り込む。要約区間仮判定部３５では強調状態と判
定した強調小段落番号を含む音声段落を記憶部１２に格
納している音声段落列から検索し、抽出する。抽出した
音声段落列の総延長時間を総延長時間算出部３５Ａで算
出し、その総延長時間と要約条件で入力された要約時間
とを要約区間決定部３５Ｂで比較する。比較の結果が要
約条件を満たしていれば、その音声段落列を要約音声保
存・再生部３５Ｃで保存し、再生する。この再生動作は
強調小段落抽出部３３で強調状態と判定された音声小段
落の番号から音声段落を抽出し、その音声段落の開始時
刻と終了時刻の指定により各コンテンツの音声データ或
は映像データを読み出して要約音声及び要約映像データ
として送出する。

【００６０】要約区間決定部３５Ｂで要約条件を満たし
ていないと判定した場合は、要約区間決定部３５Ｂから
抽出条件変更部３４に抽出条件の変更指令を出力し、抽
出条件変更部３４に抽出条件の変更を行わせる。抽出条
件変更部３４は抽出条件の変更を行い、その抽出条件を
強調小段落抽出部３３に入力する。強調小段落抽出部３
３は抽出条件変更部３４から入力された抽出条件に従っ
て再び音声強調確率テーブル３２に格納されている各音
声小段落の強調確率と平静確率との比較判定を行う。

【００６１】強調小段落抽出部３３の抽出結果は再び要
約区間仮判定部３５に送り込まれ、強調状態と判定され
た音声小段落を含む音声段落の抽出を行わせる。この抽
出された音声段落の総延長時間を算出し、その算出結果
が要約条件を満たすか否かを要約区間決定部３５Ｂで行
う。この動作が要約条件を満たすまで繰り返され、要約
条件が満たされた音声段落列が要約音声及び要約映像デ
ータとして記憶部１２から読み出されユーザ端末に配信
される。以上により音声波形を音声小段落及び音声段落
に分離する方法及び各音声小段落毎に強調状態となる確
率及び平静状態となる確率を算出できること及び音声の
要約率を自由に変更して任意の長さの要約音声を得るこ
とができることが理解できよう。

【００６２】以下では上述した各方法を利用したこの発
明によるコンテンツ情報配信方法、コンテンツ情報配信
装置、コンテンツ情報配信プログラムに関わる実施の形
態を説明する。図１にこの発明によるコンテンツ情報配
信方法及びコンテンツ情報配信装置を説明するためのブ
ロック図を示す。図中１００はコンテンツプロバイダ装
置、２００はデータセンタ、３００は端末機群、４００
は記録装置、５００は課金部、６００はこれらの間を接
続する通信網を示す。通信網６００は例えば電話回線
網、インターネット、ケーブルテレビ網、等を用いるこ
とが考えられる。

【００６３】コンテンツプロバイダ装置１００は例えば
テレビ放送局、映画配給会社等のコンテンツ供給者が管
理する計算機または通信機器を示す。自ら創作もしくは
管理するコンテンツとその名称や制作日や制作者等の書
誌情報や著作権情報を補助情報として記録する。図１で
はコンテンツプロバイダ装置１００を一つだけ示すが、
現実には、多数のコンテンツプロバイダ装置が存在する
ものと考える。コンテンツプロバイダ装置１００は販売
を希望するコンテンツ（一般に映画のような音声付映像
情報）を通信網６００を通じてデータセンタ２００に送
信する。尚、コンテンツの搬入に関しては通信網６００
を利用する形態の他に、磁気テープ、ＤＶＤ等の記録媒
体に記録した形態でデータセンタ２００に搬入する形態
も考えられる。

【００６４】データセンタ２００は例えば通信網６００
を運営する通信会社或はその他の第３者が運営してもよ
く、コンテンツデータベース２０１を備え、そこにコン
テンツプロバイダ装置１００から受信したコンテンツと
補助情報を対応付けて蓄積する。さらに検索手段２０２
と要約手段２０３と、要約配信手段２０４と、コンテン
ツ配信手段２０５と、配信先アドレス照合手段２０６
と、代表映像選択部２０７とが設けられる。端末機群３
００は動画情報を受信することができる携帯電話機３０
１或はＬモード対応形と呼ばれている表示器付電話機３
０２、或は動画情報を送信し、受信することができる情
報端末３０３等を利用することができる。この実施例で
は説明を簡素化するために以下では携帯電話機３０１を
用いて要約の依頼と、コンテンツの注文を行なうものと
して説明する。

【００６５】記録装置４００は携帯電話機３０１を利用
する利用者が所有する装置である。ここでは携帯電話機
３０１の利用者の自宅に設置されているものとする。課
金部５００は通信網６００に接続され、データセンタ２
００からコンテンツが配信されたことを示す信号を受信
し、当該配信先に対するコンテンツの対値の課金処理を
行なう。携帯電話機３０１にコンテンツの要約を配信す
る過程から、記録装置４００へコンテンツが配信されて
コンテンツの販売が完了するまでの過程を以下に説明す
る。

【００６６】（１）携帯電話機３０１からデータセンタ
２００に希望するコンテンツ名もしくはその識別情報と
必要に応じて要約率又は要約時間を送信し、データセン
タ２００で受信する。 （２）データセンタ２００では検索手段２０１が携帯電
話機３０１から送られて来たコンテンツ名に従って、デ
ータベース２０１内を検索し、与えられたコンテンツを
抽出する。 （３）検索手段２０１が抽出したコンテンツは要約手段
２０３に入力され要約手段２０３でコンテンツの要約を
生成する。ここで、コンテンツに含まれる音声信号につ
いて図１３を用いて説明した音声処理を用いて要約区間
を決定する。携帯電話機３０１から送信された要約率又
は要約時間で強調状態を判定し、強調状態に基づいて決
定される。要約率又は要約時間は必ずしも携帯電話機３
０１から入力されたものでなくともよく、または予め設
定記憶された数値（例えば、５倍、２０秒、等）を用い
てもよい。

【００６７】決定された要約区間毎に同期するコンテン
ツ映像信号から少なくとも１フレームの代表静止映像を
選択する。代表静止映像として各要約区間の映像信号の
先頭または終端、あるいは特開平８−３２９２４号公報
記載のようにフレーム間距離が予め定められた閾値より
大きくその距離変化が基準値よりも小さいフレームの画
像、つまりカット点画像を選択してもよい。あるいは、
音声の強調状態となる確率Ｐｓ（ｅ）が最大になる時刻
の画像フレーム又は音声の強調状態となる確率Ｐｓ
（ｅ）と平静状態となる確率Ｐｎ（ｅ）との確率比Ｐｓ
（ｅ）／Ｐｎ（ｅ）が最大になる時刻の画像フレームを
代表静止画像としてもよい。また、かかる代表静止画像
の選択は音声段落ごとに行ってもよい。従って、要約コ
ンテンツとして得られた各要約区間の音声信号と代表静
止画像が決定される。

【００６８】（４）要約配信手段２０４は要約手段２０
３が生成した要約コンテンツを携帯端末３０１に配信す
る。 （５）携帯電話機３０１にはデータセンタ２００から配
信された要約コンテンツのうち代表静止画像を表示器で
表示し、要約区間の音声を再生する。これにより必ずし
も全画像情報を伝送する必要性はなくなり、要約区間の
音声により情報の欠落を補える。移動通信のように通信
容量が極めて制限されている場合でもコンテンツの概要
を情報の欠落を最小限にして配信することが可能にな
る。

【００６９】（６）要約コンテンツを視聴した利用者の
操作により、当該コンテンツの全体の配信を受けること
を示すコンテンツ注文情報をデータセンタ２００に送信
する。 （７）データセンタ２００ではコンテンツ注文情報を入
力し、携帯電話機３０１に割り当てられている電話番号
や電子メールアドレス等の端末識別情報に対応する配信
先装置の識別情報を配信先アドレス照合手段２０６を用
いて特定する。 （８）アドレス照合手段２０６には予め各携帯電話３０
１の利用者名、携帯電話の端末識別情報、配信先装置の
識別情報を対応付けて記憶しておく。配信先装置は利用
者の携帯電話自体でもよいし、普段から用いているパー
ソナルコンピュータでもよい。

【００７０】（９）コンテンツ配信手段２０５は希望コ
ンテンツをコンテンツデータベース２０１から入力し識
別情報が示す配信先に送信する。 （１０）記録装置４００はアクセス検知手段４０１で通
信網６００から自己に割り当られているアドレスを検知
し、その検知信号により、記録装置４００を起動させア
ドレスに添付されているコンテンツ情報を取り込み記録
する。 （１１）課金部５００はコンテンツ配信に伴う課金処理
を行う。例えば、配信先のユーザの金融口座の金融残高
から配信したコンテンツ対価を控除するとともに、コン
テンツ販売者の金融口座の金融残高に当該コンテンツ対
価を加算して実現される。

【００７１】上述では音声の要約区間毎に、代表静止画
を抽出し、要約された音声情報と代表静止画を配信する
方法を実施例として説明したが、他の実施例として、音
声は要約せずに連続して原音声情報のままユーザ端末に
配信し、その配信期間中例えば音声の強調確率が高い部
分で代表静止画を抽出し、その代表静止画を配信する方
法も考えられる。代表静止画の抽出方法としては、 Ａ．時間ｔ秒毎に、そのｔ秒間で最も強調確率が高い音
声信号と同期した映像を代表静止画として抽出する方法
と、 Ｂ．音声小段落毎にその音声小段落期間中各フレームで
強調確率が高いフレームと同期した映像を代表静止画と
してＳ枚抽出する方法と、 Ｃ．音声小段落毎に、音声小段落の時間がｙ秒のとき、
このｙ秒を一定値ｔで正規化したｙ／ｔ枚の代表静止画
を音声の強調確率の高い音声信号と同期して抽出する方
法と、 Ｄ．音声小段落の各フレームの強調確率の値、又は強調
確率と平静確率の比の値、重み係数Ｗの値のそれぞれに
比例した枚数で代表静止画を抽出する方法。 Ｅ．前記Ｂ〜Ｄの音声小段落を音声段落に変更した抽出
方法、 等が考えられる。

【００７２】つまり、前記Ａではｔ秒間毎にそのｔ秒間
の間で最も強調確率が高い音声信号に同期した代表静止
画を例えば１枚抽出する例を示す。また前記Ｂでは音声
小段落毎に各音声小段落の強調確率が高いフレームと同
期した映像を任意のＳ枚抽出し、これを代表静止画とす
る実施例を示す。更に、前記Ｃでは音声小段落の時間ｙ
の長短に比例した枚数の静止画を抽出する実施例を示
す。更に、前記Ｄでは強調確率の値に比例した枚数の静
止画を抽出する実施例を示す。

【００７３】この実施例を実現するためには、図１に示
したコンテンツ配信手段２０５は検索手段２０２で検索
されたコンテンツの音声信号をコンテンツデータベース
２０１からそのままユーザ端末３０１又は３０２、３０
３に配信すると共に要約手段２０３で音声信号の強調確
率又は強調確率と平静確率の比Ｐｅ／Ｐｎ又は強調状態
と判定するための閾値を変更するための重みＷの値を算
出させ、その値に応じて代表映像選択部２０７で代表静
止画を抽出させ、その抽出した代表静止画を音声信号と
共に、コンテンツ配信手段２０５からユーザ端末に配信
すればよい。

【００７４】これらの実施例によれば音声信号に関して
は欠落することなく、全てを聴くことができる。これに
加えて音声に同期して音声の強調状態と判定される部分
と同期した静止画が間欠的に表示される。この結果例え
ばドラマ等は始まりから、終了までの全ての流れを知る
ことができるから、ユーザに対して伝達できる情報量が
大きいにも係わらず、実際に伝送されているデータ量を
小さくできる利点が得られる。尚、上述ではデータセン
タ２００に配信先アドレス照合手段２０６を設けた例を
説明したが、この配信先アドレス照合手段２０６は必ず
しも必要としない。つまり、配信先が携帯電話機３０１
である場合には配信先装置の識別情報として携帯電話機
３０１の識別情報を用いればよい。

【００７５】また要約手段２０３は音声認識手段を備
え、要約区間の音声信号から音韻列を特定し、その音韻
列を示すテキスト情報を生成する。音声認識手段として
は古井著「音響・音声工学」（近代科学社、１９９２
年）記載のものに限らず音波から発声内容を示すテキス
ト情報を決定するものであればよい。生成されたテキス
ト情報を音声信号の変わりに要約コンテンツの一部とし
て送信してもよい。その場合、携帯電話機３０１では文
字コードとも文字画像パタンを対応して記憶しておき、
要約コンテンツのテキストを構成する文字コードに対応
する文字画像パタンを特定し、これを字幕のように代表
画像に重畳した文字重畳画像を表示してもよい。

【００７６】また、音声信号が要約コンテンツとして伝
送される場合でも携帯電話機３０１に音声認識手段を備
えることにより、伝送された音声信号を認識して得られ
たテキスト情報に基づく文字画像パタンを生成して代表
画像に重畳した文字重畳画像を表示してもよい。要約手
段２０３において文字コードと共に文字画像パタンを対
応して記憶しておき、テキスト情報を構成する文字コー
ドに対応する文字画像パタンを特定し、これを代表画像
に重畳した文字重畳画像を生成してもよい。この場合に
は要約コンテンツとして文字重畳画像が携帯電話機３０
１に送信される。携帯電話機では文字重畳画像を表示す
る手段を備えればよく文字コードとも文字画像パタンの
対応を記憶する必要も音声認識手段を備える必要もな
い。

【００７７】いずれにせよ要約コンテンツを音声再生す
ることなく画像情報によって表示できるので、電車やバ
ス等の公共交通機関に乗車している場合のように音声再
生が制限される状況でも要約コンテンツを再生すること
ができる。データセンタ２００ではこの注文情報に添付
されて来る記録装置４００のアドレスに対して注文され
たコンテンツを配信すればよい。また、上述した本発明
のコンテンツ情報配信方法はコンテンツ情報配信プログ
ラムを実行させて実現することができる。コンテンツ情
報配信プログラムは通信回線を通じてコンピュータにイ
ンストールされるか又はＣＤ−ＲＯＭ、或は磁気ディス
クからコンピュータにインストールされてコンピュータ
内のＣＰＵに実行させる。

【００７８】

【発明の効果】以上説明したように、この発明によれば
携帯電話機３０１又は表示器付電話機その他の携帯端末
３０３の何れでも動画を受信できる端末であればデータ
センタ２００に格納しているコンテンツの要約を視聴す
ることができる。この結果、利用者は外出先でも如何な
る場所でも注目しているコンテンツの要約を視聴できる
から、この点で従来より便利である。然も要約の要約時
間又は要約率を自由に設定できるから、利用者の時間の
都合に応じた要約を視聴することができる。この点でも
従来より便利である。

【００７９】更に、要約を視聴した結果、そのコンテン
ツを購入したい場合にはその場で、コンテンツの注文を
出すことができ、注文の結果直ちにコンテンツは自己の
記録装置４００に配信され記録することができる。従っ
て、コンテンツの内容を確認することと、コンテンツを
自己の記録装置に格納し、購入するまでの手順を簡素化
することができるから、従来では考えられない程便利で
ある。

【図面の簡単な説明】

【図１】この発明によるコンテンツ情報配信装置の概要
を説明するためのブロック図。

【図２】先に提案した音声要約方法を説明するためのフ
ローチャート。

【図３】先に提案した音声段落の抽出方法を説明するた
めのフローチャート。

【図４】音声段落と音声小段落の関係を説明するための
図。

【図５】図２に示したステップＳ２における入力音声小
段落の発話状態を判定する方法の例を示すフローチャー
ト。

【図６】先に提案した音声要約方法に用いられるコード
ブックを作成する手順の例を示すフローチャート。

【図７】この発明において用いられるコードブックの記
憶例を示す図。

【図８】発話状態尤度計算を説明するための波形図。

【図９】先に提案した音声強調状態判定装置及び音声要
約装置の一実施例を説明するためのブロック図。

【図１０】要約率を自由に変更することができる要約方
法を説明するためのフローチャート。

【図１１】音声の要約に用いる音声小段落の抽出動作と
各音声小段落の強調確率算出動作、音声小段落平静確率
抽出動作を説明するためのフローチャート。

【図１２】音声要約装置に用いる音声強調確率テーブル
の構成を説明するための図。

【図１３】要約率を自由に変更することができる音声要
約装置の一例を説明するためのブロック図。

【符号の説明】

１００ コンテンツプロバイダ装置 ２００ データセンタ ２０１ コンテンツデータベース ２０２ 検索手段 ２０３ 要約手段 ２０４ 要約配信手段 ２０５ コンテンツ配信手段 ３００ 端末機群 ３０１ 携帯電話機 ３０２ 表示器付電話機 ３０３ 携帯端末 ４００ 記録装置 ５００ 課金部 ６００ 通信網

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｇ１０Ｌ 3/00 ５５１Ａ 5/93 ５３１Ｎ 7/173 ６１０ ５６１Ｈ ５２１Ｕ (72)発明者 水野 理 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 桑野 秀豪 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C053 FA14 GB06 GB11 JA03 JA05 JA16 LA15 5C064 BA07 BB10 BC18 BC23 BC25 BD02 BD08 5D015 FF00 KK01 LL11

Claims (12)

【特許請求の範囲】
1. 【請求項１】 音声信号と同期する映像信号を含むコン
   テンツとその属性を示す補助情報を対応付けて蓄積する
   コンテンツ蓄積手段を具備し、ユーザ端末から受信した
   補助情報に対応するコンテンツの少なくとも一部を前記
   ユーザ端末に送信するコンテンツ情報配信方法におい
   て、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応して格納した
   符号帳を用い、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出し、 前記強調状態となる確率が所定の確率よりも大きい音声
   信号区間を要約区間と判断し、 前記要約区間に同期する映像信号のうち少なくとも１フ
   レームの映像信号を代表映像信号として選択し、 前記代表映像信号と前記要約区間の少なくとも一部の音
   声信号に基づく情報を送信することを特徴とするコンテ
   ンツ情報配信方法。
2. 【請求項２】 前記符号帳が少なくとも基本周波数又は
   ピッチ周期、パワー、動的特徴量の時間変化特性、又は
   これらのフレーム間差分を含む特徴量と強調状態での出
   現確率に対応して平静状態での出現確率が格納され、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する平静状態での出現確率を求め、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出し、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比が所定の係数より大きい音声信号区間を要約
   区間と仮判定し、 要約区間の時間の総和、又は要約率として前記音声信号
   全区間の時間の前記要約区間の時間の総和に対する比率
   を算出し、 前記要約区間の時間の総和又は前記総和の全音声信号区
   間に対する比である要約率が前記ユーザ端末から受信ま
   たは予め決められた所定の要約時間又は要約率となる前
   記所定の係数を算出して要約区間を決定することを特徴
   とする請求項１記載のコンテンツ情報配信方法。
3. 【請求項３】 前記符号帳が少なくとも基本周波数又は
   ピッチ周期、パワー、動的特徴量の時間変化特性、又は
   これらのフレーム間差分を含む特徴量と強調状態での出
   現確率に対応して平静状態での出現確率が格納され、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する平静状態での出現確率を求め、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出し、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比を音声信号区間ごとに算出し、 前記確率比に対応する音声信号区間の時間を降順に累積
   して要約区間の時間の総和を算出し、 前記要約区間の時間の総和又は前記総和の全音声信号区
   間に対する比である要約率が前記ユーザ端末から受信ま
   たは予め決められた所定の要約時間又は要約率となる音
   声信号区間を前記要約区間と決定することを特徴とする
   請求項１記載のコテンツ情報配信方法。
4. 【請求項４】 前記音声信号をフレームごとに無音区間
   か否か、有声区間か否か判定し、 所定フレーム数以上の無音区間で囲まれ、有声区間を含
   む部分を音声小段落と判定し、 音声小段落に含まれる有声区間の平均パワーが該音声小
   段落内の平均パワーの所定の定数倍より小さい音声小段
   落を末尾とする音声小段落群を音声段落と判定し、 前記音声信号区間は音声段落ごとに定められたものであ
   り、 前記要約区間の時間の総和を前記強調区間を含む音声段
   落ごとに累積して求めることを特徴とする請求項２又は
   ３の何れかに記載のコンテンツ情報配信方法。
5. 【請求項５】 コンテンツの音声信号の全てをそのまま
   前記ユーザ端末に配信するコンテンツ情報配信方法であ
   って、 前記音声信号の配信期間中に音声の強調確率が所定値以
   上又は強調確率と平静確率との比が所定値以上となる音
   声信号と同期した代表静止画を抽出し、この代表静止画
   を前記音声信号と共に前記ユーザ端末に配信することを
   特徴とするコンテンツ情報配信方法。
6. 【請求項６】 前記要約区間の音声情報を音声認識して
   テキスト情報を生成し、前記音声信号に基づく情報とし
   て前記テキスト情報を送信することを特徴とする請求項
   １乃至４のいずれか一項に記載のコンテンツ情報配信方
   法。
7. 【請求項７】 前記テキスト情報の少なくとも一部を構
   成する文字コードに対応する文字画像パタンを前記代表
   映像に重畳して文字重畳映像を生成し、前記代表映像信
   号と前記要約区間の少なくとも一部の音声信号に基づく
   情報として前記文字重畳映像を送信することを特徴とす
   る請求項５記載のコンテンツ情報配信方法。
8. 【請求項８】 音声信号と同期する映像信号を含むコン
   テンツとその属性を示す補助情報を対応付けて蓄積する
   コンテンツ蓄積手段を具備し、ユーザ端末から受信した
   補助情報に対応するコンテンツの少なくとも一部を前記
   ユーザ端末に送信するコンテンツ情報配信装置におい
   て、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応して格納した
   符号帳と、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出する強調状態確率計算部と、 前記強調状態となる確率が所定の確率よりも大きい音声
   信号区間を要約区間と判断する要約区間決定部と、 前記要約区間に同期する映像信号のうち少なくとも１フ
   レームの映像信号を代表映像信号として選択する代表映
   像選択部と、 前記代表映像信号と前記要約区間の少なくとも一部の音
   声信号に基づく情報を送信する要約配信手段と、を有す
   ることを特徴とするコンテンツ情報配信装置。
9. 【請求項９】 音声信号と同期する映像信号を含むコン
   テンツとその属性を示す補助情報を対応付けて蓄積する
   コンテンツ蓄積手段を具備し、ユーザ端末から受信した
   補助情報に対応するコンテンツの音声信号の全てを前記
   ユーザ端末に送信するコンテンツ情報配信装置におい
   て、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応して格納した
   符号帳と、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出する強調状態確率計算部と、 前記強調状態となる確率が所定の確率よりも大きい音声
   信号に同期した映像信号のうち少なくとも１フレームの
   映像信号を代表映像信号として選択する代表映像選択部
   と、 前記コンテンツの音声情報の全てと前記代表映像信号と
   を前記ユーザ端末に送信する要約配信手段と、 を有することを特徴とするコンテンツ情報配信装置。
10. 【請求項１０】 前記符号帳が少なくとも基本周波数又
    はピッチ周期、パワー、動的特徴量の時間変化特性、又
    はこれらのフレーム間差分を含む特徴量と強調状態での
    出現確率に対応して平静状態での出現確率が格納され、 前記符号帳を用いて前記音声信号をフレーム毎に分析し
    た前記特徴量に対応する平静状態での出現確率を求め、 前記平静状態での出現確率に基づいて平静状態となる確
    率を算出する平静状態確率計算部と、 前記強調状態となる確率の前記平静状態となる確率に対
    する確率比が所定の係数より大きい音声信号区間を要約
    区間と仮判定する要約区間仮判定部と、 要約区間の時間の総和、又は要約率として前記音声信号
    全区間の時間の前記要約区間の時間の総和に対する比率
    を算出し、前記要約区間の時間の総和が略所定の要約時
    間に、又は前記要約率が略所定の要約率となる前記所定
    の係数を算出して要約区間を決定する要約区間決定部
    と、を有したことを特徴とする請求項８又は９の何れか
    に記載のコンテンツ情報配信装置。
11. 【請求項１１】 前記符号帳が少なくとも基本周波数又
    はピッチ周期、パワー、動的特徴量の時間変化特性、又
    はこれらのフレーム間差分を含む特徴量と強調状態での
    出現確率に対応して平静状態での出現確率が格納され、 前記符号帳を用いて前記音声信号をフレーム毎に分析し
    た前記特徴量に対応する平静状態での出現確率を求め、 前記平静状態での出現確率に基づいて平静状態となる確
    率を算出する平静状態確率計算部と、 前記強調状態となる確率の前記平静状態となる確率に対
    する確率比を音声信号区間ごとに算出し、 前記確率比に対応する音声信号区間の時間を降順に所定
    の確率比まで累積して要約区間の時間の総和を算出し要
    約区間と仮判定する要約区間仮判定部と、 前記要約区間の時間の総和又は前記総和の全音声信号区
    間に対する比である要約率がユーザ端末から受信または
    予め決められた所定の要約時間又は要約率となる音声信
    号区間を前記要約区間と決定する要約区間決定部と、 を有することを特徴とする請求項８又は９の何れかに記
    載のコンテンツ情報配信装置。
12. 【請求項１２】 コンピュータが読み取り可能な符号に
    よって記述され、請求項１乃至７記載の何れかのコンテ
    ンツ情報配信方法を実行することを特徴とするコンテン
    ツ情報配信プログラム。