JP2003309786A - 動画再生装置、動画再生方法及びそのコンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 人の発した音声区間を正確に検出すると共
に、検出した音声区間に従って映像と音声との同期関係
を忠実に維持しながら、ユーザの閲覧所要時間を大幅に
短縮する。 【解決手段】 動画再生装置において、動画データに含
まれる副情報に基づいて、人の発声期間を表わす区間Ａ
と、それ以外の区間Ｂとを判定すると共に、当該動画デ
ータに基づいて、区間Ａは、等速再生乃至ユーザが内容
を把握可能な所定速度（例えば等速再生の１．５乃至２
倍速）で、再生音声を伴う高速動画再生を行なう一方
で、区間Ｂは、当該所定速度より高速度（例えば等速再
生の５乃至１０倍速）で、少なくとも小音量の再生音声
を伴う高速動画再生、または無音で高速動画再生を行な
う。その際、動画再生の速度は、ユーザ・プロファイル
１４に登録されたユーザの属性情報に応じて調整可能で
ある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声の再生を伴う
動画再生技術の分野に関する。

【０００２】

【従来の技術】従来より、例えば、ビデオテープレコー
ダ等のように、音声の再生を伴う動画再生装置において
は、再生実行時にユーザが動画全体を短時間で見ること
を可能とすべく、倍速再生機能や、高速早送り機能等が
備えられている。

【０００３】また、代表的な動画再生装置であるビデオ
テープレコーダにおいては、近年、記録媒体の倍速再生
実行時に、音のエネルギが所定のしきい値以上の第１音
声区間と、当該所定のしきい値未満の第２音声区間とを
検出すると共に、その第１音声区間における音声信号の
ピッチ変換を行ないながら継続再生することにより、当
該第２音声区間を侵食しながらも、再生された音声はユ
ーザにとって多少早口ではあるもの、内容の理解が可能
な再生音を伴いながら、２倍速で記憶媒体を再生可能な
技術も提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
如く音声信号の部分的なピッチ変換処理を行うと、動画
再生時に必ずしも音声と映像との同期関係が保てないこ
とにより、例えば、再生された映像中の人物の喋ってい
る映像と、再生された音声との同期が取れないことか
ら、人間の感覚にとって不自然な再生となり、ユーザは
違和感を感じることがある。

【０００５】また、例えば特開平１０−３２７７６号公
報、特開平９−２４３３５１号公報等においては、音声
エネルギに基づいて無音状態を検出し、検出した無音状
態以外の音を人の発した音声区間とみなすことにより、
動画の要約（サマリー）を行う技術も提案されている。
しかしながら、例えばニュース番組等のように、その番
組全体を通して人の発した音声が支配的な動画において
は、音声エネルギに基づく人の発した音声区間の検出は
ある程度は可能であるものの、バックグラウンドノイズ
やバックグラウンド音楽が存在する環境下ではこの方法
は現実的ではない。

【０００６】更に、上記特許公報以前の従来技術におい
ても、音声検出を行なうと共に、検出した音声を考慮し
た動画再生を行なう技術が数多く提案されており、その
殆どが音のエネルギをしきい値処理することによって音
声を検出している。この背景には、日本語の曖昧さに起
因する問題があり、「人の声」も「音声」と言い、人の
声を含む音一般も「音声」と呼ぶことに起因しており、
このような従来技術における音のエネルギのしきい値処
理を、真の「音声検出」とひとまとめに総称するのは不
適当である。

【０００７】また、特開平９−２４７６１７号公報に
は、音声信号のＦＦＴ（高速フーリエ変換）スペクトラ
ムを算出することによって特異点を求めることによって
「音声情報等の特徴点」を検出し、その音量を分析する
技術が提案されている。しかしながら、ＦＦＴスペクト
ラムを利用する方法においては、再生すべき音声信号の
中に、広帯域のスペクトル分布となる所謂バックグラウ
ンド音楽等が含まれる場合には、その中から人の発した
声を検出することは困難である。

【０００８】このように、音声を伴う従来の動画再生に
おいては、上述したように音声区間の検出が便宜的で不
正確であるという問題があり、更に、その検出結果を用
いた動画のサマリーの作成や倍速再生を行う場合には、
再生に際して、映像と音声との同期関係が維持できない
という問題がある。

【０００９】また、近年においては、発声内容の情報
を、所謂、字幕やクロ−ズキャプション等によって、動
画データ及び音声信号と多重化、或いは別の領域帯域に
挿入されたメディアが登場しているが、このようなメデ
ィアの再生時においても、音声区間の検出結果を用いた
動画のサマリーの作成や倍速再生を行う場合には、再生
に際して、映像と音声との同期関係が維持できないとい
う問題がある。

【００１０】また、一般に、老人や子供等のユーザにと
って各種装置を使いこなすことは容易なことでななく、
且つ速い速度で発せられる音声は、その内容の理解が追
いつき難いことが知られている。従って、このようなユ
ーザにとって、上述したテープレコーダのような動画再
生装置において倍速再生等の内容の早見（短縮再生）を
行なうに際しては、再生に最適な条件が一般のユーザと
は異なる。

【００１１】更に、動体視力の弱いユーザ、早い音声に
対する聴力が弱いユーザ、或いは再生される音声を母国
語としない外国のユーザ等にとっても、上記のような動
画再生装置によって倍速再生等の内容の早見（短縮再
生）を行なうに際しては、再生に最適な条件が一般のユ
ーザとは異なる。

【００１２】そこで本発明は、人の発した音声区間を正
確に検出すると共に、検出した音声区間に従って映像と
音声との同期関係を忠実に維持しながら、ユーザの閲覧
所要時間を大幅に短縮する動画再生装置、動画再生方法
及びそのコンピュータ・プログラムの提供を目的とす
る。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る動画再生装置は、以下の構成を特徴と
する。

【００１４】即ち、音声信号と副情報とを含む動画情報
を、高速度で再生可能な動画再生装置であって、前記動
画情報に含まれる副情報に基づいて、人の発声期間を表
わす第１音声区間と、それ以外の第２音声区間とを判定
する音声区間判定手段と、前記動画情報に基づいて、前
記第１音声区間は、ユーザが内容を把握可能な所定速度
で、再生音声を伴う高速動画再生を行なう一方で、前記
第２音声区間は、前記所定速度より高速度で、少なくと
も高速動画再生を行なう早見再生手段とを備えることを
特徴とする。

【００１５】好適な実施形態において、前記早見再生手
段は、前記第２音声区間において、前記所定速度より高
速度で、少なくとも小音量の再生音声を伴う動画再生を
行なうと良い。

【００１６】好適な他の実施形態において、前記早見再
生手段は、前記第２音声区間において、前記所定速度よ
り高速度で、無音声にて動画再生を行なうと良い。

【００１７】ここで、前記副情報には、人の発した音声
区間の開始タイミングと終了タイミング、開始タイミン
グとその区間長、或いは終了タイミングとその区間長の
うち何れかが含まれる。

【００１８】また、例えば前記早見再生手段による高速
動画再生の実行を指示された際に、前記音声区間判定手
段は、再生映像が出力されるのに先立って前記動画情報
に基づいて前記第１及び第２音声区間を判定することに
より、前記音声区間判定手段による音声区間の判定と、
前記早見再生手段による高速動画再生とが、擬似的リア
ルタイムに行われると良い。

【００１９】また、例えば前記音声区間判定手段は、前
記音声信号に基づいて、前記第１音声区間を判定するに
際して、時間軸上で近接する複数の前記第１音声区間
を、統合補正する補正手段を含むことを特徴とし、この
場合、前記補正手段は、前記動画情報に含まれるシーン
チェンジ点を検出すると共に、検出した個々のシーンチ
ェンジ点のうち、着目する前記第１音声区間の始点より
も時間的に早く且つ最も近傍に位置する近傍シーンチェ
ンジ点と、その始点との時間間隔が所定のしきい値以下
である場合に、該着目する前記第１音声区間の始点を、
該近傍シーンチェンジ点に対応する情報に置き換えるこ
とによって補正すると良い。

【００２０】ここで、前記補正手段は、前記動画情報に
含まれるシーンチェンジ点を、前記副情報から抽出する
ことによって取得しても良い。

【００２１】尚、同目的は、上記の各構成を備える動画
再生装置に対応する動画再生方法によっても達成され
る。

【００２２】また、同目的は、上記の各構成を備える動
画再生装置及び方法を、コンピュータによって実現する
プログラムコード、及びそのプログラムコードが格納さ
れている、コンピュータ読み取り可能な記憶媒体によっ
ても達成される。

【００２３】

【発明の実施の形態】以下、本発明に係る動画再生装置
の一実施形態を、図面を参照して詳細に説明する。

【００２４】はじめに、本実施形態における動画再生装
置の動作の概要について、図１を参照して説明する。

【００２５】図１は、本実施形態に係る動画再生装置に
おける動画早見アルゴリズムの概念図を表す図である。

【００２６】本実施形態に係る動画再生装置は、図１に
示すように、大別して、動画早見インデックス作成部１
００と、動画早見再生部２００とからなる。

【００２７】＜動画早見インデックス作成部１００＞動
画早見インデックス作成部１００では、動画データ記憶
部１０から読み出した動画データが映像／音声／副情報
分離処理（ステップＳ101）において映像データ（映像
信号）、音声データ（音声信号）、並びに副情報に分離
される。

【００２８】そして、音声信号に対しては、音声区間読
み込み処理（ステップＳ102）及び音声区間補正処理
（ステップＳ103）が施され、映像信号に対しては、当
該副情報にシーンチェンジ点情報が含まれない場合に、
映像変化度演算処理（ステップＳ106）及びシーンチェ
ンジ点検出処理（ステップＳ107）が施され、副情報に
対しては、当該副情報にシーンチェンジ点情報が含まれ
る場合に、シーンチェンジ点読み出し処理（ステップＳ
105）が施される。早見再生区間補正処理（ステップＳ1
04）では、早見再生区間情報が生成され、生成されたこ
の情報は、動画早見インデックス記憶部１１に記憶され
る。

【００２９】即ち、音声区間読み込み処理（ステップＳ
102）では、動画データが映像／音声／副情報分離処理
（ステップＳ101）にて分離された情報に基づいて、
「人の発生内容に関する情報」と、「表示タイミング情
報」とが、音声区間読み込み結果として、当該動画デー
タから読み出される。ここで、表示タイミング情報に
は、表示開始タイミング、表示終了タイミング、並びに
区間長が含まれる。

【００３０】音声区間補正処理（ステップＳ103）で
は、上記の音声区間読み込み結果に基づいて、音声再生
時に人（ユーザ）が不快にならないように、近接する複
数の音声区間を統合することによって新たに再生すると
ころの、人の発声期間を表わす音声区間（以下、「人の
音声区間」または区間Ａと称する）の補正が行われるこ
とにより、補正済みの音声区間情報を取得する。

【００３１】例えば、高速動画再生に際する悪い態様と
して、近接する２つの区間Ａの間隔が狭い場合に、動画
再生に際して、それらの音声区間を、人が聞いて内容把
握ができる程度の速度で、音声を伴う倍速再生（例えば
２倍速再生）を行なうと共に、人の音声区間ではない区
間（以下、区間Ｂと称する）に対しては、動画再生に際
して、再生映像を人が見ることによって内容把握ができ
る程度の高倍率の倍速で再生を行うと、変化が激しく、
一般のユーザにとって聞き苦しいものとなる。

【００３２】従って、本実施形態では、音声区間補正処
理（ステップＳ103）において、人の音声区間の間隔を
考慮し、その間隔がある所定の条件を満たす場合には複
数の人の音声区間群を統合することにより、前記の聞き
苦しさを解消する。ここで、所定の条件としては、例え
ば、人の音声区間の間隔が所定のしきい値以下であるこ
とを設定するのが最も容易である。

【００３３】また、映像変化度演算処理（ステップＳ10
6）では、映像／音声／副情報分離処理（ステップＳ10
1）にて得られた映像データに対して、特開２０００−
２３５６３９号公報に記載されたフレーム間の類似比較
処理を行うことによってフレーム間類似度を演算するこ
とにより、映像変化情報が生成される。

【００３４】一般に、音声信号を含む動画データに映像
の変わり目が存在し、その直ぐ後に音声区間が始まる場
合には、動画再生に際して、ほんの一瞬高速でシーンの
先頭部分の映像が再生された後で、音声を伴う倍速再生
による再生映像が、人が聞いて把握できる速度で行われ
るため、ユーザにとって映像がちらついたような違和感
が生じる。

【００３５】そこで、本実施形態では、上記の副情報に
シーンチェンジ点情報が含まれている場合には、シーン
チェンジ点読み出し処理（ステップＳ105）において、
その副情報からシーンチェンジ点群（シーンチェンジ点
情報）を読み出し、シーンチェンジ点情報が含まれてい
ない場合には、シーンチェンジ点検出処理（ステップＳ
107）において、例えば、本願出願人による先行する特
開２０００−２３５６３９号公報に開示されたシーンチ
ェンジ点の検出技術を採用することにより、映像変化度
演算処理（ステップＳ106）にて得られた映像変化情報
に基づいて、シーンチェンジ点群（シーンチェンジ点情
報）を検出する。

【００３６】そして、早見再生区間補正処理（ステップ
Ｓ104）では、ステップＳ103における音声区間補正処理
後の音声区間の先頭よりも時間的に早く、且つ最も近傍
で、その距離が所定のしきい値以下である場合に、音声
区間の先頭を、ステップＳ105またはステップＳ107にて
取得したシーンチェンジ点に対応する情報に置き換える
ことにより、ユーザの違和感を取り除くことができる。

【００３７】上記各ステップの処理は、極めて高速に処
理が可能であるから、本実施形態では、動画早見再生部
２００による動画再生を行なうに際して、動画データ記
憶部１０から読み出した音声・副情報付き動画データを
メモリバッファ（不図示）に一時記憶しておき、動画再
生が実際に行われるのに先んじて、上記の「人の発生内
容に関する情報」を取得することにより、再生対象の動
画データの内容を予め解析すること無く、動画早見イン
デックス作成部１００による早見再生区間情報の生成プ
ロセスと、生成された早見再生区間情報及び動画データ
を利用した動画早見再生部２００による動画再生プロセ
スとを、動画全体（即ち、再生対象のコンテンツ全編）
を、擬似的リアルタイムに実行（即ち、擬似並行処理に
よって実行）することにより、ユーザは、所望する動画
コンテンツの全体（全編）を、短時間で効率良く早見す
ることが可能である。

【００３８】＜動画早見再生部２００＞次に、動画早見
再生部２００では、動画早見再生処理（ステップＳ10
7）において、再生映像はディスプレイ１２、再生音声
はスピーカ１３を利用して再生される。この動画早見再
生処理による動画再生に際しては、動画早見インデック
ス記憶部１１から読み出された早見再生区間情報に基づ
いて、ステップＳ108にて再生に要する時間が表示され
ると共に、その表示に応じてステップＳ109にて設定さ
れたユーザ所望の再生条件のフィードバックおよびユー
ザ・プロファイル１４に基づく再生条件を統合判断する
ことにより、早見再生条件の最終的な設定が行われ、設
定された早見再生条件に基づいて、動画データ記憶部１
０から読み出した動画データの動画再生が行われる。

【００３９】その際、本実施形態では、 ・区間Ａに対しては、再生される音声をユーザが聞いた
際に内容を把握できる速度で音声を伴う倍速再生が行わ
れ、 ・区間Ｂに対しては、再生される映像を見ることによっ
てユーザが内容を把握できる範囲内で高倍率の倍速再生
が行われる。

【００４０】ここで、上記の区間Ａにおける倍速再生、
即ち、人が聞いて内容を把握できる速度の再生とは、実
験では2倍速まで、望ましくは1.5倍速程度にすると良い
ことが本願出願人による実験の結果から判っている。他
方、区間Ｂに対しては、再生映像を人が見て内容が把握
できる範囲で高い倍率の倍速で再生を行うが、本願出願
人による実験の結果によれば、経験的には10倍速まで、
望ましくは5倍速以上に設定すると良いことが判ってい
る。

【００４１】区間Ｂを高倍率で倍速再生すると、一般
に、「キュルキュル」という音が出ることが知られてい
るので、ステップＳ107では、区間Ｂを高速で再生する
に際して、ユーザがそのような音を聞きたくない場合に
は、音声再生はミュートすることによって無音状態にす
る、或いは、再生時の音量を小さくすることが考えられ
る。

【００４２】区間Ａの再生速度、区間Ｂの再生速度及び
その再生時の音量に関して、最も簡単な実施方法は、動
画早見再生処理（ステップＳ107）において、予め音声
をどう処理するかを決めておく他、その再生速度を、ユ
ーザが可変で設定可能とする方法が存在する。

【００４３】しかし、一般に、例えば老人や子供等のユ
ーザにとっては各種装置を使いこなすことは容易なこと
でななく、速い速度の音声再生が行われた場合にはその
内容理解が難いことが知られており、面倒な速度調整を
行わず且つ簡易に、やや低い倍率の倍速再生することが
好ましい。これと同様に、年齢に関わらず視力の弱いユ
ーザ（視覚障害者）、特に動体視力や聴力、特に早い音
声の聴力の弱いユーザの弱いユーザ（聴覚障害者）、或
いは再生される音声を母国語としない外国のユーザ等に
とっても、速い速度の音声再生が行われた場合にはその
内容理解が難いことが知られており、これらのユーザに
とって最適な再生速度もある。

【００４４】そこで、本実施形態では、ユーザの年齢や
言語や理解できる言語や視力や聴力等の情報、更には個
々のユーザが好む基準の再生条件等のユーザに関する属
性情報を、ユーザ・プロファイル１４に予め記憶してお
き、動画早見再生処理（ステップＳ107）において、そ
のプロファイル１４を参照することにより、対象となる
ユーザに応じて、人間の発声期間を表わす音声区間（区
間Ａ）および人間の発声区間を除く区間（区間Ｂ）の再
生速度をそれぞれ決定し、個人に応じた内容理解が容易
な動画早見再生を行うことが可能となる。

【００４５】また、上述したように、区間Ｂの高倍率な
倍速再生時に、音声のミュート或いは音量を小さくする
場合にも、係る設定をプロファイル１４に予め記述して
おくことにより、個々のユーザに応じた快適な動画早見
再生を行うことが可能となる。

【００４６】更に、高齢者および動体視力にハンディキ
ャップのあるユーザに関しては、本来の早見再生という
観点からは外れるかもしれないが、区間Ａの再生速度を
等倍速度より遅く設定すると共に、区間Ｂの再生速度は
等倍速度以上に設定することにより、係るユーザが区間
Ａの音声内容を把握可能な低速再生を行いながらも、全
体としては全ての区間を低速再生する場合と比較して短
い所要時間で、動画（即ち、動画データ記憶部１０に格
納されている動画データ）を閲覧することが可能とな
る。

【００４７】また、早い音声の内容理解にハンディキャ
ップのあるユーザおよび音声内容の言語に堪能でないユ
ーザに関しては、本来の早見再生という観点からは外れ
るかもしれないが、区間Ａの再生速度を等倍速度より遅
く設定すると共に、区間Ｂの再生速度は10倍速まで、望
ましくは5倍速以上とし、係るユーザが区間Ａの音声内
容を把握可能な低速再生を行いながらも、全体としては
全ての区間を低速再生する場合と比較して短い所要時間
で、動画（即ち、動画データ記憶部１０に格納されてい
る動画データ）を閲覧することが可能となる。ここで、
音声内容の言語に堪能か否かの判断は、上述したプロフ
ァイル１４に予め記憶した識別情報（後述する表４では
得意言語）と、再生対象の動画に含まれる音声の言語種
類情報とを比較することによって行なえば良い。

【００４８】ユーザ・プロファイル１４を選択する手順
としては、例えば、ディスプレイ１２に表示されたプロ
ファイル選択画面にユーザ・プロファイルリストを表示
し、その中から、ユーザによるリモコン端末（不図示）
の操作に応じて選択することが考えられ、更に指紋や声
紋や顔認識等の個人認識技術を用いた自動的なプロファ
イル選択方法を採用しても良い。

【００４９】ところで、上記の如く個々のユーザにとっ
て最適な早見再生を行う場合に、果たして元々どの長さ
の動画がどの位の時間で早見できるかは、空き時間を活
用して早見を行おうとしているユーザにとって重要な情
報である。

【００５０】そこで、本実施形態では、ステップＳ108
において、区間Ａのトータル長を再生速度で割ることに
よって区間Ａの再生時間を計算すると共に、区間Ｂにつ
いては、当該トータル長を再生速度で割ることによって
区間Ｂの再生速度を計算し、早見に要する時間として、
算出したこれら２つの値の和を求め、元の動画を等倍再
生する場合の所要時間と共にユーザに提示する。更に、
これらの再生時間をユーザが見た上で、所望の再生時間
内に収まるように、区間Ａの再生速度や区間Ｂの再生速
度を指定することにより、ユーザ所望の再生時間に近く
なるように調節することが可能である。

【００５１】ところで、予め設定されたユーザのプロフ
ァイル１４と、ユーザが指示した所望の再生速度との関
連であるが、上記の如くステップＳ108においてプロフ
ァイル１４を用いて自動的に算出された動画早見再生に
要する時間を見たユーザが、所定のマンマシン・インタ
フェースを介して、ステップＳ109において、更に、区
間Ａおよび区間Ｂの再生速度を指定することにより、所
望の動画早見再生に要する時間（再生速度情報）を設定
した場合には、設定された所要時間内に納めるべく、自
動的、或いはユーザに確認を行った上で、係る設定され
た再生速度情報を新たにプロファイルに記憶することに
より、前回の操作情報を反映しつつ個々のユーザの好み
に応じた理解の容易な動画早見再生を行うことが可能と
なる。

【００５２】また、上述したユーザ・プロファイルに、
更に、区間Ｂの再生時の音量をどう処理するかを予め指
定しておく、或いは所定のマンマシン・インタフェース
を介してユーザが指定した場合には、その指定された音
量情報を反映しつつ個々のユーザの好みに応じた理解の
容易な動画早見再生を行うことが可能となる。

【００５３】＜動画再生装置の動作の詳細＞以下、上記
の如く概説した本実施形態に係る動画再生装置の動作の
詳細について説明する。以下の説明では、動画データ記
憶部１０に記憶された録画済の動画データ（音声信号及
び副情報を含む動画データ）に対して早見再生を行うた
めのインデックスとして早見再生区間情報を作成し、作
成したその情報を利用して、当該動画データの早見再生
を行う場合を例に説明する。

【００５４】本実施形態では、上述したように、ステッ
プＳ101の映像／音声分離処理を経た後処理として、大
別して、動画早見インデックス作成部１００による動画
早見インデックス作成処理と、動画早見再生部２００に
よる動画早見再生処理とがある。

【００５５】本実施形態における音声・副情報付き動画
データは、映像情報、音声情報、並びに副情報が多重化
されたコンテンツであり、このような情報形態のメディ
アとしては、例えば、ＤＶＤやデジタルテレビ放送等が
挙げられる。

【００５６】本実施形態において、副情報とは、動画の
セグメント情報、シーンチェンジ情報、字幕に関する情
報、時間情報等のように、映像や音声そのものとは異な
る各種の情報である。

【００５７】本実施形態において、以下の説明では、係
る副情報として、「人の発生内容に関する情報」を利用
するが、この他にも、例えば、字幕、クロ−ズキャプシ
ョン等があり、更に、人が発した音声の認識結果から得
られる音素列表記等を採用することができる。

【００５８】ここで、字幕やクロ−ズキャプションは、
聴覚障害者や自分が聴いている言語が理解できない者で
もコンテンツの内容を楽しめるように、映像信号と同期
して、人の発した音声内容に対応してオーバーレー表示
するためのものであり、このような副情報を含むコンテ
ンツは、その提供に先立って、人手により、或いは自動
または半自動的に、人の発声期間を表わす音声区間（区
間Ａ）が決定されると共に、決定された個々の音声区間
における人の発声内容は、人手によって及び／または音
声認識処理を施すことによって、当該コンテンツに付加
的な情報（本実施形態では「副情報」）として記述され
るのが一般的である。

【００５９】また、このようなコンテンツにおいて、そ
のコンテンツオリジナルな人の発した音声内容とは異な
る言語種類の字幕またはクロ−ズキャプションは、上記
の如く当該コンテンツに記述された副情報を、更に、人
手及び／または自動翻訳によって目的とする言語に翻訳
した後、追加的に記述されるのが一般的である。

【００６０】そして、このような字幕やクロ−ズキャプ
ション等の副情報は、一般に、動画再生時の表示期間を
表すための区間情報を伴っており、この区間情報は、人
の音声区間（区間Ａ）を表わすと捉えることができる。

【００６１】そこで、本実施形態では、上記のような形
態の副情報を含む音声・副情報付き動画データを対象と
して、その動画データに含まれる人の音声区間（区間
Ａ）を検出する。

【００６２】本実施形態では、上述したように、ステッ
プＳ101の映像／音声分離処理を経た後処理として、大
別して、動画早見インデックス作成部１００による動画
早見インデックス作成処理と、動画早見再生部２００に
よる動画早見再生処理とがある。

【００６３】＜動画早見インデックス作成部１００＞ （人の音声区間の検出）図２は、本実施形態において、
動画早見インデックス作成部１００にて行われる人の音
声区間の検出処理の概略を示すフローチャートであり、
上述した音声区間読み込み処理（ステップＳ102）の詳
細な手順を表わす。

【００６４】同図において、ステップＳ201では、上述
したステップＳ101における映像／音声／副情報分離処
理が施された動画ストリームで未だ読み込んでいないも
のがあるかを判断し、全て読み込み済みの場合には本処
理を終了する。

【００６５】ステップＳ202では、ステップＳ201にて未
だ読み込んでいない動画ストリームが存在すると判断さ
れたので、その動画ストリームをバッファ（不図示）に
読み込み、ステップＳ203では、読み込んだ動画ストリ
ームに含まれる副情報から、「人の発生内容に関する情
報」として、字幕、クロ−ズキャプション、音声認識の
結果得られる音素列表記、或いは音声検出結果情報をシ
ークし、その結果得られる情報を、人の音声区間（音声
区間情報）として設定する。

【００６６】ここで、読み込まれた情報の中からステッ
プＳ203において音声区間情報として何れのものを選択
するかは、存在するこれらの情報の中でその内容の確度
が高いものから選べば良く、例えば字幕＞クロ−ズキャ
プション＞音素列表記＞音声検出結果情報の順位で選択
すれば良い。

【００６７】表１は、音声区間情報として読み込んだ副
情報を例示する表であり、この例では、区間Ａとして、
発音区間０乃至２に関して、個々の区間の開始時刻（始
点）と終了時刻（終点）とが対の情報として読み込まれ
ている。

【００６８】

【表１】

【００６９】（人の音声区間の補正）上述した音声区間
補正処理（ステップＳ103）の詳細について説明する。
ステップＳ103では、動画早見再生時に再生音声を聴い
たユーザが不快感を抱かないように、時間軸上で近傍に
位置する複数の音声区間を１つの音声区間として統合す
ることによる補正が行われる。

【００７０】ここで、上述した音声区間の検出処理（図
２）によって取得した音声区間情報の補正を行なう理由
は、例えば、時間軸上で近傍に位置する２つの区間Ａの
間隔が狭い場合に、区間Ａを聞いて人が内容を把握でき
る速度で音声を伴う倍速再生を行なう一方で、区間Ｂに
対しては、再生映像を見て人が内容を把握できる範囲で
高倍率な倍速で再生を行うと、再生態様の変化が激し
く、ユーザにとって聞き苦しいものとなるからである。

【００７１】また、動画デコーダおよび再生処理の面か
らも、短い区間での速度の変化は、処理のオーバーヘッ
ドが大きく、再生動作が一時的に停止状態になり、ギク
シャクした再生になることが、一例として、マイクロソ
フト社のDirectShowを用いた本願出願人による実験にお
いて観察されている他、他の多くの動画再生手段で同様
の現象が見られる。

【００７２】そこで、本実施形態では、時間軸上で最も
近傍に位置する２つの音声区間（区間Ａ）の間隔がある
しきい値（図３ではＴｈ３）以下である場合には、これ
らの音声区間を統合することによる補正を行う。このし
きい値を決めるに当たっては、例えば、会話を行うシー
ンを想定し、会話が成り立つ程度の間を実験的に求め、
それをしきい値に用いる。この場合の処理の手順を、図
３を参照して説明する。

【００７３】図３は、本実施形態において間隔の短い音
声区間に対して行われる統合補正処理を示すフローチャ
ートである。

【００７４】同図において、ステップＳ301では、先に
検出された複数の区間Ａのうち、時間軸上で最初に位置
する区間Ａを、着目する音声区間として読み込むが、着
目すべき音声区間が無ければ本処理は終了する。

【００７５】ステップＳ302では、次に着目する音声区
間（区間Ａ）が存在するかを判断し、着目すべき音声区
間が無ければ本処理を終了し、一方、まだ存在する場合
には、以下に説明するステップＳ303乃至ステップＳ307
の処理を繰り返す。

【００７６】ステップＳ303では、ステップＳ302にて次
に着目する音声区間が存在すると判断されたので、その
音声区間（区間Ａ）を表わす音声区間情報を読み込む。
ここで、音声区間情報とは、音声区間の開始点と終点と
が対となった情報である。

【００７７】ステップＳ304では、２つの区間Ａの間
隔、即ち、時間軸上で先の音声区間（現在着目している
音声区間）の終点と、次の音声区間の開始点との間の距
離（時間間隔）を求め、この距離が所定のしきい値Ｔｈ
３以下であるかを判断する。

【００７８】ステップＳ305では、ステップＳ302にて２
つの区間Ａの間隔が所定のしきい値Ｔｈ３以下であると
判断されたので、これら２つの音声区間を、１つの音声
区間に統合する。より具体的に、統合された音声区間の
音声区間情報には、本ステップにおける処理によって、
先の音声区間の開始点が設定されると共に、次の音声区
間の終点が設定される。

【００７９】ステップＳ306では、統合された音声区間
を、現在着目する音声区間（区間Ａ）として設定し、ス
テップＳ302に戻る。

【００８０】ステップＳ307では、ステップＳ302にて２
つの区間Ａの間隔が所定のしきい値Ｔｈ３より大きいと
判断されたので、現在着目する音声区間を、そのまま１
つの補正した音声区間情報として記憶すると共に、ステ
ップＳ308では、次の音声区間を、処理対象として着目
すべき音声区間として設定し、ステップＳ302に戻る。

【００８１】このような統合処理が、扱うべき音声区間
（区間Ａ）がなくなるまで繰り返される。

【００８２】（シーンチェンジ点情報を利用した人の音
声区間の補正）一般に、音声信号を含む動画データに映
像の変わり目が存在し、その直後に区間Ａが始まる場合
には、動画再生に際して、ほんの一瞬高速でシーンの先
頭部分の映像が再生された後で、音声を伴う倍速再生に
よる再生映像が、人が聞いて把握できる速度で行われる
ため、ユーザにとって映像がちらついたような違和感が
生じる。

【００８３】そこで、本実施形態では、例えば、本願出
願人による先行する特開２０００−２３５６３９号公報
に開示されたシーンチェンジ点の検出技術を採用するこ
とにより、ステップＳ107にて検出したシーンチェンジ
点群、或いは、ステップＳ105にて副情報から読み出さ
れたシーンチェンジ点群のうち、音声区間補正処理後の
音声区間の先頭よりも時間的に早く、最も近傍で、且つ
その距離があるしきい値以下であるシーンチェンジ点が
存在する場合には、その音声区間の先頭を、該シーンチ
ェンジ点に対応する情報に置き換える補正を行なうこと
により、早見再生時のユーザの違和感を取り除く。その
際、近傍判定のためのしきい値は、高速再生の状態から
人が聞いて内容が把握できる程度の速度で音声を伴う倍
速再生へ移行する際のオーバーヘッドに応じた値であ
る。

【００８４】図４は、本実施形態においてシーンチェン
ジ点を用いて行われる音声区間統合補正処理を示すフロ
ーチャートであり、早見再生区間補正処理（ステップＳ
104）の詳細を表わす。

【００８５】同図において、まずステップＳ401では、
シーンチェンジ点検出処理（ステップＳ107）にて検出
されたシーンチェンジ点群（シーンチェンジ点情報また
はシーンチェンジ位置情報）から、時間軸上で先頭とな
るシーンチェンジ点（Ａ）を読み込む。

【００８６】シーンチェンジ点情報は、通常はフレーム
単位で記述されるが、本ステップでは、フレームレート
に基づいて時間情報に変換した後、音声区間情報と比較
することになる。即ち、本実施形態のアルゴリズムで
は、音声区間の開始点から最も近傍のシーンチェンジ点
を求めるために、連続する２つのシーンチェンジ点情報
を用いることにし、ここでは、説明の便宜上、先のシー
ンチェンジ点をＡ、次のシーンチェンジ点をＢとして、
ステップＳ401では、Ａの方へシーンチェンジ点の時間
を記憶する。

【００８７】ステップＳ402では、読み込んでない音声
区間情報があるかどうかを判断し、無い場合には処理を
終了し、読み込んでない音声区間情報がある場合にはス
テップＳ403において音声区間情報を１つ読み込む。

【００８８】ステップＳ404では、未だ読み込んでない
シーンチェンジ点情報があるかどうかを判断し、無い場
合には、ステップＳ403にて既に読み込んである音声区
間情報を、ステップＳ405において、そのまま補正済の
音声区間情報として更新記憶する。

【００８９】ステップＳ406では、ステップＳ404にて読
み込んでないシーンチェンジ点情報があると判断された
ので、そのシーンチェンジ点情報を、シーンチェンジ点
情報Ｂとして読み込む。

【００９０】ステップＳ407では、シーンチェンジ点Ａ
が、時間軸上において、ステップＳ403にて読み込んだ
現在着目する音声区間の始点より前に位置するかどうか
判断し、前に位置する場合には、ステップＳ405におい
て、補正の必要は無いとして音声区間情報をそのまま補
正済音声区間情報として更新記憶する。

【００９１】ステップＳ408では、ステップＳ407にてシ
ーンチェンジ点Ａが現在着目する音声区間の始点より前
に位置すると判断されたので、そのシーンチェンジ点Ａ
が当該音声区間の始点としきい値Ｔｈ４以内の距離に存
在するかどうかを判断し、当該しきい値Ｔｈ４以内では
ない場合には、ステップＳ409において、シーンチェン
ジ点Ｂの情報を、シーンチェンジ点Ａへコピーすること
により、次のシーンチェンジ点を判断対象とする準備を
行う。

【００９２】ステップＳ410では、ステップＳ408にてシ
ーンチェンジ点Ａが現在着目する音声区間の始点と当該
しきい値Ｔｈ４以内の距離に存在すると判断されたの
で、シーンチェンジ点Ｂが当該音声区間の始点よりも後
ろに位置するかを判断し、後ろに位置しない場合にはス
テップＳ409に進む。

【００９３】一方、ステップＳ410にてシーンチェンジ
点Ｂが当該音声区間の始点よりも後ろに位置すると判断
された場合には、ステップＳ411において、シーンチェ
ンジ点Ａが開始点であり、当該音声区間の終点が終点で
ある部分区間を、補正済の音声区間情報として更新記憶
し、ステップＳ412では、シーンチェンジ点Ｂの情報
を、シーンチェンジ点Ａにコピーすることにより、次の
シーンチェンジ点を判断対象とする準備を行う。

【００９４】即ち、上述したステップＳ407、ステップ
Ｓ408、並びにステップＳ410の判断によって、シーンチ
ェンジ点Ａが現在着目する音声区間の始点の前に位置す
ると共に、当該しきい値Ｔｈ４以下の近傍であり且つ、
最も音声区間の始点に近い点であることが確かめられて
初めて、上記のステップＳ411及びステップＳ412の処理
が行われる。

【００９５】また、ステップＳ410にてシーンチェンジ
点Ｂが当該音声区間の始点よりも後ろではないと判断さ
れた場合、当該シーンチェンジ点Ｂは、現在設定されて
いるシーンチェンジ点Ａよりも補正済音声区間の始点候
補として更にふさわしいと判断できるので、ステップＳ
409において、当該シーンチェンジ点Ｂの情報を、新た
なシーンチェンジ点Ａとしてコピーすることにより、次
のシーンチェンジ点を判断対象とする準備を行ない、そ
の後でステップＳ404の処理に戻る。但し、この場合の
シーンチェンジ点Ａは、既にステップＳ407およびステ
ップＳ408の要件を満たしているので、ステップＳ407と
ステップＳ408とをパスしてステップＳ410の判断をいき
なり行っても構わない。

【００９６】上述した音声区間統合補正処理（図４）の
手順によって取得した補正済の音声区間情報は、早見再
生区間情報として、表２に例示するようなスキーマで、
動画早見インデックス記憶部１１に記憶される。

【００９７】表２は、本実施形態におけるシーンチェン
ジ検出結果を例示する表であり、一例として、シーンチ
ェンジ点の検出を行ったフレームを、フレームレート
（30枚/Sec）を元に秒換算した結果が格納されている。

【００９８】

【表２】

【００９９】そして、表３は、本実施形態における補正
済の音声区間検出結果を例示する表であり、表２に示す
結果と表１に示す結果とに基づいて、シーンチェンジ点
を用いた音声区間の統合補正処理（図４）を、しきい値
Ｔｈ４＝ 2000 mSecで施した場合の処理結果を示す。

【０１００】

【表３】

【０１０１】表１及び表２を参照すると、音声区間０お
よび音声区間２に対しては、それぞれの音声区間の開始
点60000 mSec、400000 mSecの前で且つしきい値Ｔｈ４
である2000 mSec以内の期間にはシーンチェンジは存在
しない。また、音声区間１に対しては、開始点102000 m
Secの1500 mSecの前で且つ2000 mSec以内には、シーン
チェンジ点として、シーンチェンジＩＤ＝２（開始時間
100000 mSec）と、シーンチェンジＩＤ＝３（開始時間1
01000mSec）の２点が存在するが、図４で示したアルゴ
リズムに従って最も近傍のものを選ぶことから、結果と
して、シーンチェンジＩＤ＝３の101000mSecが選ばれ、
これが表３に反映されている。

【０１０２】＜動画早見再生部２００＞動画早見再生部
２００にて行われる動画早見再生処理（ステップＳ10
7）は、人の音声区間（区間Ａ）に対しては人が聞いて
内容を把握できる速度で音声を伴う倍速再生を行なう一
方で、人の音声区間ではない区間（区間Ｂ）に対して
は、再生映像を人が見て内容が把握できる範囲で高い倍
率の倍速で再生を行う。

【０１０３】近年、動画再生環境が整い、例えばマイク
ロソフト社の DirectShowモジュールを用いると、任意
区間の速度を指定して連続再生することが可能である。
このような機能を持つモジュールを用いることで、比較
的簡易に任意区間の再生速度の変化を実現することが可
能であり、その際、重要なのは、何の観点で速度を変化
させるかである。

【０１０４】図５は、本実施形態における動画早見再生
処理を示すフローチャートである。

【０１０５】同図において、ステップＳ601では、先に
上述したユーザ・プロファイル１４の中からユーザが所
望のものを選択するが、その具体的な手順としては、例
えば、ディスプレイ１２に図８に例示するようなユーザ
・プロファイルリストを含む表示画面を表示し、その中
からユーザがリモコン端末等を利用して、所望のプロフ
ァイルを選択すれば良い。

【０１０６】即ち、図７に示すユーザ・プロファイルリ
ストにおけるユーザ所望のプロファイルの指定は、例え
ばリモコン端末にプロファイル選択用の操作ボタンを設
けておき、これをユーザが押下するのに応じて、図９に
例示するようなメニュー表示画面が表示され、その画面
を見ながら、リモコン端末のプロファイル選択用の操作
ボタンを利用して、ユーザが所望のプロファイルを指定
する。もちろんユーザ・プロファイルの選択には、指紋
や声紋や顔認識等の個人認識技術を用いた自動的なプロ
ファイル選択方法も考えられ、こちらの方が常に正しい
プロファイルの指定が可能なため、プロファイルの指定
の誤りを起こしたり、他人のプロファイルを変更したり
内容を覗く等のトラブルを防げる。

【０１０７】また、ユーザ・プロファイルを新規に登録
する場合には、図７の表示画面において「新規登録」ボ
タンをポインタデバイスで指定すると、プロファイル名
およびその他の属性を入力するための、図８に例示する
表示画面が現れる。

【０１０８】即ち、図８は、ユーザ・プロファイル登録
用の表示画面を例示する図であり、初期状態では、識別
名と年齢以外の内容が基準値で埋められており、ユーザ
による入力操作によってユニークな識別名と年齢の入力
変更の必要がある個所のみが変更され、所定の入力値範
囲の適正チェックをパスした後、ユーザが「ＯＫ］ボタ
ンを押下するのに応じて、そのプロファイルがユーザ・
プロファイル１４に新たに追加登録される。

【０１０９】また、ユーザが所望のプロファイルの内容
変更を希望する場合、図７に示す表示画面において「変
更」ボタンを押下し、図９に示す表示画面において所望
のプロファイルを選択するのに応じて表示される図８の
表示画面において、変更を希望する項目の情報内容を変
更した後、「ＯＫ］ボタンを押下すれば良い。

【０１１０】更に、ユーザが所望のプロファイルの削除
を希望する場合、図７に示す表示画面において「削除」
ボタンを押下し、図９に示す表示画面において所望のプ
ロファイルを選択し、その後、「ＯＫ］ボタンを押下す
れば良い。

【０１１１】尚、上述した図７及び図８に示す表示画面
において、「キャンセル」ボタンが押下された場合に
は、それまでの選択操作や入力操作に対応する処理（プ
ロファイルの登録、変更、削除）はなされることなく処
理が終了する。

【０１１２】次に、ステップＳ602では、ステップＳ601
にて選択されたプロファイルが、ユーザ・プロファイル
１４に存在するかを判断し、存在する場合には、ステッ
プＳ603において対象となるプロファイルをユーザ・プ
ロファイル１４から読み込み、存在しない場合には、基
準値として予め設定されているところの、区間Ａおよび
区間Ｂの再生速度、並びに区間Ｂの再生時の音量を、ス
テップＳ606において読み込む。ここで、ユーザ・プロ
ファイルのデータスキーマ一の一例を、表４に示す。

【０１１３】

【表４】

【０１１４】表４は、本実施形態におけるユーザ・プロ
ファイルを例示する表である。基準値は、プロファイル
ＩＤ＝０に示すように記憶しておけば良く、この場合、
区間Ａの再生速度は1.5倍速、区間Ｂの再生速度は10.0
倍速、そして、区間Ｂ再生時の音量の基準値は０（即ち
音声ミュート）である。上述したユーザ・プロファイル
の新規登録時に用いられる基準値には、この値を用い
る。

【０１１５】また、表４のユーザ・プロファイルのデー
タスキーマ一において、None とは値が設定されていな
いことを表し、逆に値が設定されている場合は、その値
を最優先して再生を行う。更に、表４において、視力や
聴力の欄の Good と Poorは、その人の年齢に無関係
な、動体視力や早い音声の聴力の能力を表わす。

【０１１６】一般に、高齢になるほど耳が聞こえにくく
なる他、言葉を理解する速度の低下が見られることが多
く、また子供は言語能力が未発達のために速い速度で音
声再生を行なうと理解できなくなることが多い。

【０１１７】これらの事情を踏まえて、健常者の年齢に
適した区間Ａの再生速度、並びに区間Ｂの再生速度のテ
ンプレートを予め用意しておき、ユーザ・プロファイル
１４に記憶された年齢に基づき、これらの速度を決定す
る。

【０１１８】しかし、青年にも関わらず動体視力や早い
音声の聴力の弱い人や、外国人のため母国語とは異なる
言語（例えば日本語）速い速度で音声再生を行なうと理
解が追いつかない等、年齢に無関係な原因がある場合も
ある。このため、本実施形態では、表４に例示するユー
ザ・プロファイルのように、視力および聴力の特性を記
述しておき、これらの設定があればこちらを優先して、
区間Ａの再生速度、並びに区間Ｂの再生速度を低めに決
定する。

【０１１９】このような場合、高齢者および動体視力の
弱いユーザに関しては、本来の早見再生という観点から
は外れるかもしれないが、人の音声区間（区間Ａ）の再
生速度を等倍速度より遅い速度に決定し、人の音声区間
ではない区間（区間Ｂ）の再生速度を等倍速度以上とす
ることにより、係るユーザが区間Ａの音声内容を把握可
能な低速再生を行いながらも、全体としては全ての区間
を低速再生するよりも速い時間で動画を閲覧することが
可能となる。

【０１２０】また、早口の音声に対する聴力の弱いユー
ザおよび外国人のため早口の日本語等では理解が追いつ
かないユーザに関しては、区間Ａの再生速度を等倍速度
より遅い速度に決定し、区間Ｂの再生速度に関しては、
その年齢の健常者と同じ再生速度とすることにより、区
間Ａの音声内容を把握可能な低速再生を行いながらも、
全体としては全ての区間を低速再生するよりも速い時間
で動画を閲覧することが可能となる。

【０１２１】このように、本実施形態では、ユーザ・プ
ロファイルに対する速度決定処理は、予め健常者におけ
る年齢に適した区間Ａの再生速度および区間Ｂの再生速
度のテンプレート、動体視力や早い音声の聴力の弱い症
状、外国人のため早口の日本語では理解が追いつかない
状況を加味して総合的な判断を行う。

【０１２２】また、本実施形態において、音声内容の言
語に堪能か否かの判断は、ユーザ・プロファイル１４に
記憶されている堪能であるか否か、或いは母国語を特定
する言語種別情報と、再生対象の動画に含まれる音声内
容の言語種別情報とを比較することにより行う。近年、
ＤＶＤ等のデジタルコンテンツや、デジタルＢＳ等のデ
ジタルメディアには、音声内容の言語を特定する言語種
別情報が記憶されており、また近年ＥＰＧ（電子番組
表）等から番組内容が電子的に入手可能であるため、こ
れらの情報を用いることは現実的である。また、これら
の情報が入手できない場合であっても、地上波ＴＶ番組
でも標準設定では母国語、２カ国音声では通常メイン音
声が母国語であり且つサブ音声は外国語であるため、こ
れらの経験則に基づいて推定すれば良い。

【０１２３】ステップＳ604では、ステップＳ603にて読
み込んだユーザ所望のプロファイルに基づいて、区間Ａ
の再生速度と、区間Ｂの再生速度とを決定する。ここ
で、本ステップにおける処理の詳細を、図６を参照して
説明する。

【０１２４】図６は、本実施形態における動画早見再生
処理を示すフローチャートのうち、ステップＳ604（図
５）の処理の詳細を示すフローチャートである。

【０１２５】同図において、まずステップＳ601では、
ユーザ・プロファイル１４から先にユーザによって選択
されたプロファイルを読み込み、ステップＳ602では、
読み込んだプロファイルから取得したユーザの年齢に従
って、健常者の年齢に応じた最適な区間Ａの再生速度
と、区間Ｂの再生速度とが設定されているテンプレート
を参照することにより、そのユーザに対する区間Ａの再
生速度と、区間Ｂの再生速度とを仮決定する。

【０１２６】ステップＳ603では、ステップＳ601にて読
み込んだプロファイルに、動体視力が弱いと記述されて
いるかを判断し、その旨が記述されている場合には、ス
テップＳ604において、区間Ａの再生速度と、区間Ｂの
再生速度とを両方とも基準値より低い値に更新する。従
って、この値も、予めプロファイルに記憶しておくのが
望ましい。

【０１２７】ステップＳ605では、ステップＳ603にて当
該プロファイルに動体視力が弱いとは記述されていない
と判断されたので、当該プロファイルに、速い音声の聴
力が弱いと記述されているかを判断し、その旨が記述さ
れている場合には、ステップＳ606において、区間Ａの
再生速度のみ低い値に更新する。従って、この値も、予
めプロファイルに記憶しておくのが望ましい。

【０１２８】ステップＳ607では、ステップＳ605にて当
該プロファイルに速い音声の聴力が弱いとは記述されて
いないと判断されたので、再生すべき動画データに含ま
れる音声内容の言語種別情報が入手可能であるかを判断
し、入手可能である場合にはステップＳ608に進み、入
手不可能な場合には処理を終了する。

【０１２９】ステップＳ608では、再生すべき動画デー
タに含まれる音声内容の言語種別情報を入手すると共
に、入手した言語種別情報と、現在選択されている当該
プロファイルに記述された得意言語情報とを比較し、こ
れら２種類の情報が一致する場合には処理を終了し、一
致しない場合には、ステップＳ609において、区間Ａの
再生速度のみ低い値に更新する。従って、この値も、予
めプロファイルに記憶しておくのが望ましい。

【０１３０】即ち、図６に示す一連の処理では、ステッ
プＳ603、ステップＳ605、並びにステップＳ608のどれ
にも当たらない場合には、ステップＳ602において仮決
定された区間Ａの再生速度、並びに区間Ｂの再生速度が
そのまま採用されることになる。

【０１３１】もし、高齢や若年にもかかわらず動体視力
や早い音声の聴力が優れている場合や、逆に劣っている
場合には、区間Ａの再生速度および区間Ｂの再生速度の
変更メニューを用いて、これらの値を変更できるように
構成すると良い。この場合、ユーザは、再生映像を見な
がら、区間Ａの再生速度および区間Ｂの再生速度を適宜
変更し、自動的、或いはユーザに確認を求めた上で、設
定された再生速度情報を、当該ユーザに対応するプロフ
ァイルに記憶することにより、前回の操作情報を反映し
つつ個々のユーザに応じた理解しやすい動画早見再生を
行うことが可能となる。

【０１３２】尚、上述したプロファイルを用いずに簡易
に行うのであれば、例えば、ステップＳ601乃至ステッ
プＳ604、並びにステップＳ606の各ステップにおける処
理の代わりに、区間Ａの再生速度を0.5倍速から2倍速ま
で、区間Ｂの再生速度を2倍速から10倍速までの間で、
ユーザが動作メニューを利用して可変設定可能に構成す
る実施形態が想定される。

【０１３３】ところで、区間Ｂを高倍率で倍速再生する
と、「キュルキュル」という音が出るが、その音を聞き
たくない場合には、区間Ｂの再生時には、音声再生はミ
ュート状態とすることによって音を出なくする、或い
は、小さな音量に変更する実施形態が想定される。この
ような設定に関しても、ステップＳ603で読み込んだプ
ロファイルに予め記述しておき、動画早見再生時には、
係るプロファイルを最優先とし、ステップＳ602でプロ
ファイルが存在しないと判定された場合には、ステップ
Ｓ606では予め設定されている基準の音量を採用する。
もちろん更に簡易に行うのであれば、例えば、動画早見
再生処理が予め区間Ｂの音声再生レベルをどう処理する
か予め決めておく実施形態が想定される。

【０１３４】上記のような構成により、本実施形態で
は、区間Ａの再生速度および区間Ｂの再生速度、或いは
それら両方、並びに区間Ｂの音声レベルの指定を、ユー
ザ・プロファイルを用いることにより、個々のユーザに
最適な再生を簡便に実現することが可能となる。

【０１３５】次に、ステップＳ605では、動画早見イン
デックス記憶部１１から、補正済み音声区間情報を読み
込み、ステップＳ607では、区間Ａのトータル長を再生
速度で割ることによって区間Ａの再生時間を計算し、区
間Ｂについても同様にして再生速度を計算すると共に、
これら２つの値を足すことによってユーザが早見に要す
る時間を算出する。そして、算出された早見に要する時
間は、ディスプレイ２３等を利用してユーザに提示す
る。

【０１３６】ステップＳ608では、ステップＳ607にて早
見再生時間を認識したユーザがその時間に満足している
か否かを、リモコン端末への入力操作等を利用して判断
し、この判断でユーザが満足している場合には、ステッ
プＳ610において、上述した処理によって設定された区
間Ａおよび区間Ｂの再生速度、並びに区間Ｂの音声再生
レベルに従って、動画データ記憶部１０に記憶されてい
る再生対象の動画を再生する。

【０１３７】ステップＳ609では、ステップＳ608にてユ
ーザが満足していないと判断されたので、ユーザ所望の
再生時間に収まるように、区間Ａおよび区間Ｂの再生速
度、並びに区間Ｂの音声再生レベルを変更可能なマンマ
シン・インタフェースを提供することにより、プロファ
イルや標準設定に満足できないユーザ自身が望む再生時
間に近くなるように調節し、ステップＳ607に戻る。

【０１３８】また、ステップＳ609に対応する他の実施
形態として、現在設定されている区間Ａおよび区間Ｂの
再生速度に基づく動画再生を見ながら、それぞれの区間
に対して、ユーザ所望の再生速度を変更可能に構成し、
それに応じた早見に要する時間の算出及びその提示を行
なうことにより、プロファイルや標準設定に満足できな
いユーザ自身が望む再生時間に近くなるように調節する
構成も想定される。

【０１３９】ところでユーザ・プロファイルと、ユーザ
所望の速度指示との関連であるが、ステップＳ607にて
動画早見再生に要する時間を見たユーザが、所望の動画
早見再生に要する時間に収めるべく、区間Ａおよび区間
Ｂの再生速度を変更可能なマンマシン・インタフェース
を用いて、これらの設定を調整・変更した場合には、そ
の調整・変更後の値を、基準値として採用したいことも
ある。そこで、このような場合には、自動的、或いは図
１０に例示する確認画面により、ユーザによる確認を促
した後、「はい」が選択された場合には、ユーザによっ
て調整・変更された再生速度情報を、当該ユーザに対応
するプロファイルに記憶することにより、以降の動画再
生に際しては、前回の操作情報を反映しつつ当該ユーザ
に応じた理解しやすい動画早見再生を行うことが可能と
なる。

【０１４０】尚、上述した実施形態において、算出され
た早見再生に要する時間をユーザが確認した上で、ユー
ザ所望の再生時間に収まるように、区間Ａの再生速度お
よび区間Ｂの再生速度を変更することにより、プロファ
イルや標準設定に満足できないユーザが、自身が望む再
生時間に近くなるように調節する構成例を挙げたが、こ
の構成に限られるものではなく、例えば、ユーザが再生
映像を見ながら、区間Ａの再生速度および区間Ｂの再生
速度をそれぞれの変更可能に構成しておき、その設定に
応じた早見に要する時間を再計算し、これをユーザに提
示することにより、ユーザ自身が望む再生時間に近くな
るように調節する実施形態も存在する。

【０１４１】また、本実施形態においては、音声区間情
報を、始点と終点との対であるとして説明したが、始点
とその区間長、或いは終点と区間長からなる情報であっ
ても良い。

【０１４２】このように、上述した本実施形態によれ
ば、映像と音声との同期関係は崩すことなく、動画早見
再生時には、人の発した音声は全て内容を把握できる速
度で再生する一方で、人の発した音声の含まれない区間
（区間Ｂ）は、より高速に再生する。これにより、動画
早見再生時のトータルの閲覧時間を、等倍再生を行なっ
た場合と比較して合理的に減らすことが可能となる。

【０１４３】また、本実施形態によれば、区間Ａの再生
速度および区間Ｂの再生速度を、ユーザ・プロファイル
１４を用いることにより、個々のユーザに適した再生速
度に簡便に設定可能であると共に、区間Ｂの再生時にお
ける音量も、ユーザに適したものに設定できる。

【０１４４】更に、本実施形態によれば、早見再生に要
する時間を予め、或いは動画の再生中に表示することに
より、これに満足できないユーザは、区間Ａの再生速度
および区間Ｂの再生速度を指定することにより、当該ユ
ーザに最適な早見再生に要する時間に調整することがで
き、調整によって設定された情報は、当該ユーザに対応
するプロファイルに更新記憶することが可能であるの
で、次回の早見再生に際して適切な動画再生を行なうこ
とができる。

【０１４５】

【他の実施形態】上述した各実施形態を例に説明した本
発明は、複数の機器から構成されるシステムに適用して
も良いし、また、一つの機器からなる装置に適用しても
良い。

【０１４６】尚、本発明は、前述した各実施形態におい
て説明したフローチャートの機能を実現するソフトウェ
ア・プログラムを、上述した動画再生装置として動作す
るシステム或いは装置に直接或いは遠隔から供給し、そ
のシステム或いは装置のコンピュータが該供給されたプ
ログラムコードを読み出して実行することによっても達
成される場合を含む。その場合、プログラムの機能を有
していれば、形態は、プログラムである必要はない。

【０１４７】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明のクレームでは、本発明の機能処理
を実現するためのコンピュータプログラム自体も含まれ
る。

【０１４８】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。

【０１４９】プログラムを供給するための記録媒体とし
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。

【０１５０】その他、プログラムの供給方法としては、
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷ(World W
ide Web)サーバも、本発明のクレームに含まれるもので
ある。

【０１５１】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。

【０１５２】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行ない、その処理によっても前述した実
施形態の機能が実現され得る。

【０１５３】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行ない、その処理
によっても前述した実施形態の機能が実現される。

【０１５４】

【発明の効果】以上説明した本発明によれば、人の発し
た音声区間を正確に検出すると共に、検出した音声区間
に従って映像と音声との同期関係を忠実に維持しなが
ら、ユーザの閲覧所要時間を大幅に短縮する動画再生装
置、動画再生方法及びそのコンピュータ・プログラムの
提供が実現する。

【図面の簡単な説明】

【図１】本実施形態に係る動画再生装置における動画早
見アルゴリズムの概念図を表す図である。

【図２】本実施形態において、動画早見インデックス作
成部１００にて行われる人の音声区間の検出処理の概略
を示すフローチャートである。

【図３】本実施形態において間隔の短い音声区間に対し
て行われる統合補正処理を示すフローチャートである。

【図４】本実施形態においてシーンチェンジ点を用いて
行われる音声区間統合補正処理を示すフローチャートで
ある。

【図５】本実施形態における動画早見再生処理を示すフ
ローチャートである。

【図６】本実施形態における動画早見再生処理を示すフ
ローチャートのうち、ステップＳ604（図５）の処理の
詳細を示すフローチャートである。

【図７】ユーザ・プロファイル選択用の表示画面を例示
する図である。

【図８】ユーザ・プロファイル登録用の表示画面を例示
する図である。

【図９】本実施形態におけるユーザ・プロファイルの例
を示す図である。

【図１０】提示された動画早見再生に要する時間に満足
しないユーザが設定変更をした場合に、調整・変更され
た値を次回以降の動画再生時に基準値として用いるか確
認を促す表示画面を例示する図である。

Claims (30)

【特許請求の範囲】
1. 【請求項１】 音声信号と副情報とを含む動画情報を高
   速度で再生可能な動画再生装置であって、 前記動画情報に含まれる副情報に基づいて、人の発声期
   間を表わす第１音声区間と、それ以外の第２音声区間と
   を判定する音声区間判定手段と、 前記動画情報に基づいて、前記第１音声区間は、ユーザ
   が内容を把握可能な所定速度で、再生音声を伴う高速動
   画再生を行なう一方で、前記第２音声区間は、前記所定
   速度より高速度で、少なくとも高速動画再生を行なう早
   見再生手段と、を備えることを特徴とする動画再生装
   置。
2. 【請求項２】 前記早見再生手段は、前記第２音声区間
   において、前記所定速度より高速度で、少なくとも小音
   量の再生音声を伴う動画再生を行なうことを特徴とする
   請求項１記載の動画再生装置。
3. 【請求項３】 前記早見再生手段は、前記第２音声区間
   において、前記所定速度より高速度で、無音声にて動画
   再生を行なうことを特徴とする請求項１記載の動画再生
   装置。
4. 【請求項４】 前記副情報には、人の発した音声区間の
   開始タイミングと終了タイミング、開始タイミングとそ
   の区間長、或いは終了タイミングとその区間長のうち何
   れかが含まれることを特徴とする請求項１乃至請求項３
   の何れかに記載の動画再生装置。
5. 【請求項５】 前記早見再生手段による高速動画再生の
   実行を指示された際に、前記音声区間判定手段は、再生
   映像が出力されるのに先立って前記動画情報に基づいて
   前記第１及び第２音声区間を判定することにより、前記
   音声区間判定手段による音声区間の判定と、前記早見再
   生手段による高速動画再生とが、擬似的リアルタイムに
   行われることを特徴とする請求項１乃至請求項３の何れ
   かに記載の動画再生装置。
6. 【請求項６】 前記早見再生手段において、前記第２音
   声区間における音声再生時の音量は、予め決定されるま
   たはユーザが指定可能であることを特徴とする請求項１
   乃至請求項３の何れかに記載の動画再生装置。
7. 【請求項７】 前記音声区間判定手段は、前記音声信号
   に基づいて、前記第１音声区間を判定するに際して、時
   間軸上で近接する複数の前記第１音声区間を、統合補正
   する補正手段を含むことを特徴とする請求項１乃至請求
   項３の何れかに記載の動画再生装置。
8. 【請求項８】 前記補正手段は、前記動画情報に含まれ
   るシーンチェンジ点を検出すると共に、検出した個々の
   シーンチェンジ点のうち、着目する前記第１音声区間の
   始点よりも時間的に早く且つ最も近傍に位置する近傍シ
   ーンチェンジ点と、その始点との時間間隔が所定のしき
   い値以下である場合に、該着目する前記第１音声区間の
   始点を、該近傍シーンチェンジ点に対応する情報に置き
   換えることによって補正することを特徴とする請求項７
   記載の動画再生装置。
9. 【請求項９】 前記補正手段は、前記動画情報に含まれ
   るシーンチェンジ点を、前記副情報から抽出することに
   よって取得することを特徴とする請求項８記載の動画再
   生装置。
10. 【請求項１０】 前記早見再生手段は、前記第１音声区
    間の長さとその区間の再生速度、並びに前記第２音声区
    間の長さに基づいて、前記高速動画再生に要する所要時
    間を算出すると共に、算出した所要時間をユーザに提示
    することを特徴とする請求項１乃至請求項３の何れかに
    記載の動画再生装置。
11. 【請求項１１】 前記早見再生手段は、前記所要時間を
    提示するのに応じて、前記第１及び第２音声区間の再生
    速度の変更操作がユーザによって行われた場合に、その
    変更後の再生速度に基づいて、前記所要時間を調整する
    調整手段を含むことを特徴とする請求項１０記載の動画
    再生装置。
12. 【請求項１２】 更に、前記動画再生装置を利用可能な
    ユーザを対象として、個々のユーザに関する属性情報が
    登録されたユーザ・プロファイルを備え、 前記早見再生手段は、前記ユーザ・プロファイルに登録
    されているところの、特定ユーザに関する属性情報に従
    って、前記第１及び第２音声区間の再生速度を自動的に
    決定することを特徴とする請求項１乃至請求項３の何れ
    かに記載の動画再生装置。
13. 【請求項１３】 前記ユーザ・プロファイルには、前記
    個々のユーザに関する属性情報として、年齢、使用言
    語、動体視力、並びに早い音声の聴力のうち少なくとも
    何れかが含まれることを特徴とする請求項１２記載の動
    画再生装置。
14. 【請求項１４】 前記早見再生手段は、 前記特定ユーザに関する属性情報に従って自動的に決定
    したところの、前記第１音声区間の長さとその区間の再
    生速度、並びに前記第２音声区間の長さに基づいて、前
    記高速動画再生に要する所要時間を算出すると共に、算
    出した所要時間を該ユーザに提示すると共に、その所要
    時間を提示するのに応じて、前記第１及び第２音声区間
    の再生速度の変更操作がユーザによって行われた場合
    に、その変更後の再生速度に基づいて、前記所要時間を
    調整する調整手段を含むことを特徴とする請求項１２ま
    たは請求項１３記載の動画再生装置。
15. 【請求項１５】 前記調整手段は、前記変更後の第１及
    び第２音声区間の再生速度を、前記特定ユーザに関する
    属性情報と関連付けして、前記ユーザ・プロファイルに
    記憶し、 前記早見再生手段は、前記高速動画再生に際して、前記
    ユーザ・プロファイルに記憶された変更後の第１及び第
    ２音声区間の再生速度を反映することを特徴とする請求
    項１４記載の動画再生装置。
16. 【請求項１６】 前記早見再生手段は、 前記第２音声区間の再生態様に関する情報がユーザによ
    って指定された場合に、前記ユーザ・プロファイルに記
    憶された該ユーザに関する属性情報に対して、該再生態
    様に関する情報を関連付けして、前記ユーザ・プロファ
    イルに記憶すると共に、前記高速動画再生に際して、前
    記ユーザ・プロファイルに記憶された前記第２音声区間
    の再生態様に関する情報を反映することを特徴とする請
    求項１２記載の動画再生装置。
17. 【請求項１７】 前記第１音声区間の高速動画再生時の
    前記所定速度は、等速再生の１．５倍乃至２倍の速度で
    あることを特徴とする請求項１記載の動画再生装置。
18. 【請求項１８】 前記早見再生手段は、前記ユーザ・プ
    ロファイルに登録された前記ユーザに関する属性情報
    に、高齢者、視覚障害者、或いは聴覚障害者であること
    を示す識別情報が含まれる場合に、その識別情報に対応
    するユーザを対象として前記高速動画再生を行なうに際
    して、前記第１音声区間の再生速度は前記等倍速度より
    遅くし、前記第２音声区間の再生速度は前記等倍速度よ
    り速く行なうことを特徴とする請求項１２記載の動画再
    生装置。
19. 【請求項１９】 前記早見再生手段は、前記ユーザ・プ
    ロファイルに登録された前記ユーザに関する属性情報
    に、そのユーザの使用言語を示す識別情報が含まれ、そ
    の識別情報と、前記動画情報に含まれる言語種別情報と
    が一致しない場合には、その識別情報に対応するユーザ
    を対象として前記高速動画再生を行なうに際して、前記
    第１音声区間の再生速度は前記等倍速度より遅くし、前
    記第２音声区間の再生速度は５倍速乃至１０倍速で行な
    うことを特徴とする請求項１２記載の動画再生装置。
20. 【請求項２０】 前記ユーザ・プロファイルには、前記
    動画再生装置を利用可能な複数のユーザを対象として、
    個々のユーザに関する属性情報が登録されており、 前記早見再生手段は、特定ユーザの選択操作に応じて、
    または個人認証技術に基づいて、その特定ユーザに関す
    る属性情報を、前記ユーザ・プロファイルから取得する
    ことを特徴とする請求項１２記載の動画再生装置。
21. 【請求項２１】 更に、前記ユーザ・プロファイルに登
    録された特定ユーザに関する属性情報を、その特定ユー
    ザ自身が変更可能な属性情報変更手段を備えることを特
    徴とする請求項１２記載の動画再生装置。
22. 【請求項２２】 音声信号と副情報とを含む動画情報を
    高速度で再生可能な動画再生方法であって、 前記動画情報に含まれる副情報に基づいて、人の発声期
    間を表わす第１音声区間と、それ以外の第２音声区間と
    を判定する音声区間判定工程と、 前記動画情報に基づいて、前記第１音声区間は、ユーザ
    が内容を把握可能な所定速度で、再生音声を伴う高速動
    画再生を行なう一方で、前記第２音声区間は、前記所定
    速度より高速度で、少なくとも高速動画再生を行なう早
    見再生工程と、を有することを特徴とする動画再生方
    法。
23. 【請求項２３】 前記早見再生工程では、前記第２音声
    区間において、前記所定速度より高速度で、少なくとも
    小音量の再生音声を伴う動画再生を行なうことを特徴と
    する請求項２２記載の動画再生方法。
24. 【請求項２４】 前記早見再生工程では、前記第２音声
    区間において、前記所定速度より高速度で、無音声にて
    動画再生を行なうことを特徴とする請求項２２記載の動
    画再生方法。
25. 【請求項２５】 前記副情報には、人の発した音声区間
    の開始タイミングと終了タイミング、開始タイミングと
    その区間長、或いは終了タイミングとその区間長のうち
    何れかが含まれることを特徴とする請求項２２乃至請求
    項２４の何れかに記載の動画再生方法。
26. 【請求項２６】 前記早見再生工程にて高速動画再生を
    実行するに際して、再生映像が出力されるのに先立って
    前記音声区間判定工程における前記動画情報に基づく前
    記第１及び第２音声区間の判定を実行することにより、
    前記音声区間判定工程における音声区間の判定と、前記
    早見再生工程における高速動画再生とが、擬似的リアル
    タイムに行われることを特徴とする請求項２２乃至請求
    項２４の何れかに記載の動画再生方法。
27. 【請求項２７】 前記音声区間判定工程では、前記音声
    信号に基づいて、前記第１音声区間を判定するに際し
    て、時間軸上で近接する複数の前記第１音声区間を、統
    合補正することを特徴とする請求項２２乃至請求項２４
    の何れかに記載の動画再生方法。
28. 【請求項２８】 前記音声区間判定工程では、前記動画
    情報に含まれるシーンチェンジ点を検出すると共に、検
    出した個々のシーンチェンジ点のうち、着目する前記第
    １音声区間の始点よりも時間的に早く且つ最も近傍に位
    置する近傍シーンチェンジ点と、その始点との時間間隔
    が所定のしきい値以下である場合に、該着目する前記第
    １音声区間の始点を、該近傍シーンチェンジ点に対応す
    る情報に置き換えることによって補正することを特徴と
    する請求項２７記載の動画再生方法。
29. 【請求項２９】 請求項１乃至請求項２１の何れかに記
    載の動画再生装置を、コンピュータによって実現可能な
    動作指示をなすことを特徴とするコンピュータ・プログ
    ラム。
30. 【請求項３０】 請求項２２乃至請求項２８の何れかに
    記載の動画再生方法として、コンピュータを動作させる
    指示をなすことを特徴とするコンピュータ・プログラ
    ム。