JP2001169237A

JP2001169237A - 動画編集再生装置

Info

Publication number: JP2001169237A
Application number: JP2000021659A
Authority: JP
Inventors: Osamu Katayama; 修片山; Chuichi Kikuchi; 忠一菊池; Takamasa Koyama; 隆正小山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-09-27
Filing date: 2000-01-31
Publication date: 2001-06-22

Abstract

(57)【要約】【課題】マルチメディア分野におけるマルチメディア
コンテンツを利用したシナリオの作成方法とそれに伴う
動画や音声やイメージや文書データとの再生方法と編集
方法に関して、シナリオをシーンの集まりとして１つの
テキストファイルで一括管理し、シナリオをシーン単位
に編集再生可能としたものである。【解決手段】ＭＰＥＧ方式で圧縮されたデジタル動画
データ、またはＡＶＩ、ＡＳＦなどのファイル形式のデ
ジタル動画データを、標準の再生方法により動画のフレ
ーム情報を利用し、文書データのページとデジタル動画
データの開始と終了位置で文書のページと動画の再生区
間を設定する複数のシーンからなるシナリオを作成する
手段と、動画再生において再生位置を検出する手段と、
シナリオをシーン単位に読み込み文書データのページと
デジタル動画データの再生区間を同時に再生する手段を
利用することにより、上記目的を達成するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディア分
野におけるマルチメディアコンテンツを利用するとき
に、文書データの内容に密着に関係した動画や音声を文
書データと同時に利用するものであり、シナリオの作成
方法とそれに伴う動画や音声やイメージや文書データと
の再生方法と編集方法を実現する動画編集再生装置に関
するものである。

【０００２】

【従来の技術】マルチメディア分野におけるマルチメデ
ィアコンテンツを利用したシナリオの作成方法とそれに
伴う動画や音声やイメージや文書データとの再生方法と
編集方法に関して従来行われている方法としては、特開
平9-81768号のように、複数の制御情報からなるシナリ
オを用いる方法がある。

【０００３】図２３に従来の方法として特開平9-81768
号の動画編集再生装置の構造を示している。図２３にお
いて、１１０１はレイアウトデータを入力するレイアウ
ト情報入力手段、１１０２は入力したレイアウト情報を
管理するレイアウト情報格納部、１１０３はオブジェク
トを決定するオブジェクト入力手段、１１０４はオブジ
ェクトの情報を管理する選択オブジェクト情報格納部、
１１０５はリンク付けの命令をだすシナリオ記録指示手
段、１１０６はリンク情報を記録するシナリオ記録手
段、１１０７は生成されたシナリオを管理するシナリオ
格納部、１１０８はオブジェクトの表示開始時刻と表示
終了時刻を入力する時刻入力手段、１１０９は時刻情報
を管理する時刻情報格納部、１１１０はシナリオを再生
する実行指示手段、１１１１はシナリオを実行する実行
手段であり、複数のシナリオを管理する手段により構成
されている。

【０００４】しかし、以上のような構成においては、情
報を別々に管理しており、これらの複数の情報から制御
をおこなっており、シナリオが一括管理されていない。

【０００５】また従来の方法として、特開平5-227504号
のように制御コードを用いる方法などがあり、この方法
では動画データの位置を検出するために識別コードを付
加する必要があるという問題点があった。

【０００６】

【発明が解決しようとする課題】本発明は従来技術の以
上のような問題を解決するもので、シナリオをシーンの
集まりとして１つのテキストファイルで一括管理し、シ
ナリオをシーン単位に編集再生可能とするとともに、デ
ジタル動画再生部より得られる動画のフレームまたは再
生時間情報をもとに動画再生の制御を可能としたもので
ある。

【０００７】

【課題を解決するための手段】本発明は、上記の課題を
解決するための方法として、ＭＰＥＧ方式で圧縮された
デジタル動画データ、またはＡＶＩ（Audio Video In
terleaved）、ＡＳＦ（Advanced Streaming Format）
などのファイル形式のデジタル動画データを、標準の再
生方法により動画のフレーム情報を利用し、文書データ
のページとデジタル動画データの開始と終了位置で文書
のページと動画の再生区間を設定する複数のシーンから
なるシナリオを作成する手段と、動画再生において再生
位置を検出する手段と、シナリオをシーン単位に読み込
み文書データのページとデジタル動画データの再生区間
を同時に再生する手段を利用することにより、上記課題
を解決するものである。

【０００８】

【発明の実施の形態】以下、本発明の実施例について図
面を参照しながら説明する。

【０００９】（実施の形態１）実施の形態１は本発明の
動画編集再生装置の構成の実施例を示したものである。

【００１０】図１において、図１は動画編集再生装置の
構成、図２は図１の装置による操作画面の例である。

【００１１】図１において、１０１は動画の再生を操作
する操作部、１０２はデジタル動画データを記憶するデ
ジタル動画データ記憶部、１０３はデジタル動画データ
を既存の再生方法により再生位置が再生フレーム数また
は時間の情報として得られる動画再生部、１０４は動画
再生部１０３により再生されるデジタル動画データの位
置をフレーム数または時間情報で検出する位置検出部、
１０５は動画再生部１０３の再生位置を指定する位置指
定部、１０６は複数のページから構成される文書データ
を記憶する文書データ記憶部、１０７は文書データをペ
ージ単位で表示するテキスト表示部、１０８はテキスト
表示部１０７の表示するページを検出するページ検出
部、１０９はテキスト表示部１０７の表示するページを
指定するページ指定部、１１０は複数のシーンを格納す
るシナリオデータ格納部、１１１は複数のシーンをシナ
リオデータとして保存するシナリオ保存部、１１２は文
書データの各ページにデジタル動画データの２つの再生
位置（開始位置と終了位置）による再生区間を対応づけ
たものをシーンとして、複数のシーンからなるシナリオ
データ１１０をシーン単位で読み込むシナリオ読込部、
１１３は編集時に位置検出部１０４から得られる再生位
置とページ検出部から得られるページをもとにシーンを
設定してシナリオデータ格納部１１０に格納し、再生時
にシナリオデータ１１０に格納されたシナリオデータか
らシーンを読み込みシーンを再生する制御部である。

【００１２】図２において、１２１は図１の装置により
画面に表示される制御画面、１２２は動画再生部１０３
の表示領域、１２３はテキスト表示部１０７の表示領
域、１２４は位置指定部１０５の制御を行う位置指定制
御部、１２５はページ指定部１０９を制御するページ指
定制御部、１２６は操作部の制御を行う操作制御部であ
る。このとき、編集は、位置操作指定部１２４から位置
指定部１０５でデジタル動画データの再生区間（開始位
置、終了位置）を、ページ指定操作部１２５からページ
指定部１０９で文書データのページを指定し、これらの
指定された再生区間、ページの組をシーンとし、この設
定を複数回行い複数のシーンを設定し、これをあわせた
ものをシナリオとする。編集したシナリオはシナリオデ
ータ１１０に格納する。また再生は、操作制御１２６か
ら操作部１０１により再生が指定されると、シナリオデ
ータ１１０をシーン単位で読み込み、各シーンの再生区
間を動画再生部１０３で再生し表示領域１２２に表示す
ると同時に該シーンのページをテキスト表示部１０７に
より表示領域１２３に表示し、これをシナリオのすべて
のシーンについて順に再生を行う。以上の制御はすべて
制御部１１３で行われる。このように、本発明により、
デジタル動画データの２つの再生位置を開始位置と終了
位置として切り出す再生区間と文書データのページを対
応させたシーンを単位として、各シーンを編集して複数
のシーンからなるシナリオを作成し、このシナリオの各
シーンを順に、シーンの動画再生とページの表示を同期
させて行うことが可能となる。

【００１３】なお、このシナリオのシーン再生の順は、
図１のシナリオ読込部でシナリオを昇順のほかに逆順に
シーン単位に読み込ませることにより、図３のシナリオ
においてシーン１、２、３のように昇順のほか、シーン
３、２、１のように逆順で再生することもできる。

【００１４】図３、４は本発明の第１の動画編集再生の
概念を示している。

【００１５】図３において、２０１は再生位置（単位は
フレームまたは秒）を指定することのできるデジタル動
画データ、２０２、２０３、２０４はデジタル動画デー
タ２０１に対して２つの再生位置（開始位置と終了位
置）を指定した再生区間（開始位置、終了位置）のシー
ンで、２０２は再生区間が（１、ｉ）のシーン、２０３
は再生区間が（ｉ＋１、ｊ）のシーン、２０４は再生区
間が（ｊ＋１、ｋ）のシーン、２０５は複数のページか
らなる文書データ、２０６、２０７、２０８はそれぞれ
文書データ２０５のページ、２０９はデジタル動画デー
タの各再生区間と文書データのページを対応づけたシー
ンで、２１１、２１２、２１３はそれぞれデジタル動画
データ２０１の再生区間と文書データ２０５のページを
対応づけたシーン１、シーン２、シーン３である。

【００１６】図４は本発明の編集の具体例を示したもの
であり、図４で、２２１は図１で設定したデジタル動画
データの任意の再生区間（ａ、ｂ）を示し、２２２は文
書データのページを示している。この時、本発明の方法
では、図２のようにこの再生区間２２１をページ２２２
に対応づける方法として、２２３のように文書データの
オブジェクトとデジタル動画データのオブジェクトを文
書で記述するシナリオの先頭に指定しておき、シーンを
１行として「＜ページ、開始位置、終了位置＞」のよう
に記述してもよく、また２２４のように１行の中に文書
データのオブジェクトとデジタル動画データのオブジェ
クトを指定して記述してもよい。再生時には、１行単位
にシナリオを読み込み、１行で記述されたシナリオのシ
ーンの記述２２３または２２４に従いページ２２２と再
生区間２２１が同時に再生される。

【００１７】なお、本方式では、各シーン毎に異なるデ
ジタル動画データと文書データを表示することにより、
複数のデジタル動画データと複数の文書データを扱うこ
とが可能である。

【００１８】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００１９】（実施の形態２）図５、６は本発明の第２
の動画編集再生の方法を示している。

【００２０】図５は本発明の第２の動画編集再生による
動画編集再生装置の位置指定部の構成を示している。

【００２１】図５において、３０１は開始位置を設定す
ると同時に動画再生を開始させる始点設定部、３０２は
終了位置を設定すると同時に動画再生が停止する終点設
定部、３０３は終了位置の前後にフレームまたは時間単
位で位置を補正する位置補正部、３０４は始点設定、終
点設定、位置補正の制御を行う位置設定制御部である。

【００２２】図６は本発明の第２の動画編集再生の概念
を示している。図６において、３１１はデジタル動画デ
ータの前のシーンの再生区間の終了位置、３１２は現在
のシーンの再生区間の開始位置で、３１３は現在のシー
ンの再生区間の終了位置、３１４は次のシーンの再生区
間の開始位置、３２１は文書データの前のシーンのペー
ジ、３２２は現在のシーンのページ、３２３は次のシー
ンのページである。本発明の編集再生方法では、シナリ
オにおいてシーンの再生区間の開始位置が前のシーンの
再生区間の終了位置の次の位置に設定される。すなわ
ち、現在のシーンの再生区間の開始位置３１２は前のシ
ーンの再生区間の終了位置３１１の次の位置、次のシー
ンの再生区間の開始位置３１４は現在のシーンの再生区
間の終了位置３１３の次の位置である。この方法で編集
されたシナリオを用いて再生すると、動画再生時に前の
シーンではページ３２１が表示され、再生位置が現在の
シーンの開始位置３１２に移動するとページ３２２が表
示され、後のシーンの開始位置３１４に移動するとペー
ジ３２３が表示される。

【００２３】本発明の編集方法の処理の流れを図７で示
す。編集は図５の構成により、図７の流れに従って行わ
れる。

【００２４】図７の処理の流れに従い、まずページ指定
部１０９でページを設定し、次にシーンの再生区間の開
始位置を始点設定部３０１で設定し、開始位置より動画
を再生させ、終了位置を終点設定部３０２で指定し、そ
の位置で動画を停止させる。以上により、シーンのペー
ジと、開始位置、終了位置の設定を行う。この時、必要
に応じて位置補正部３０３により終了位置の前後に１フ
レーム単位で位置をずらし終了位置の位置を修正する。
以上の制御を位置設定制御部３０４で行う。制御部１１
３は、終了位置の設定が完了すると、ページ、開始位
置、終了位置の設定値がシーンとして設定される。次の
シーンの設定がなければ、編集は終了し、あれば次のシ
ーンの設定し、シーンの再生区間の終了位置の次の位置
を次のシーンの開始位置に設定する。この開始位置より
動画を再生し、終了位置を設定する。以降、これを繰り
返し、複数の連続するシーンによるシナリオを作成す
る。

【００２５】本発明の再生方法は図８で示す流れに従
う。図８の処理の流れに従い、制御部１１３は、動画再
生部１０３とテキスト表示部１０７を制御することによ
り、以下の一連の再生動作と表示制御を行う。まずシナ
リオのシーンを読み込み、シーンの開始位置に移動し動
画を再生すると同時にシーンのページを表示する。再生
位置がシーンの終了位置にくると次のシーンをシナリオ
読込部１１２により読込み、無ければ最終シーンとして
終了する。次のシーンがある場合は、シーンの開始位置
が前のシーンの終了位置に続いているので、動画再生部
１０３によりそのまま連続して再生するが、シーンの開
始位置でページを切り替えてテキスト表示部１０７によ
り表示する。以降、これを繰り返し、複数の連続するシ
ーンを最後まで再生する。このように、本発明では、動
画データの再生において再生位置がシーンの開始位置に
移動する毎にそのシーンに対応するページに切り替わ
る。

【００２６】なお、上記説明では、シーンの再生順を次
の再生シーンを連続する後のシーンで行っているが、図
１のシナリオ読込部１１２でシナリオを逆順にシーン単
位に読み込むことにより、動画再生部１０３で逆順に連
続して再生することが可能となり、この場合の再生順は
次の再生シーンを連続する前のシーンで行い、この時の
再生の最終シーンは、シナリオの先頭のシーンになる。

【００２７】なお、本方式では、各シーン毎に異なるデ
ジタル動画データと文書データを表示することにより、
複数のデジタル動画データと複数の文書データを扱うこ
とが可能である。

【００２８】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００２９】（実施の形態３）図９〜図１１は本発明の
第３の動画編集再生方法の概念を示している。

【００３０】図９は本発明の第３の動画編集再生による
動画編集再生装置の位置指定部の構成を示している。図
９において、４０１はデジタル動画の任意の再生位置を
設定する位置設定部、４０２は開始位置を設定すると同
時に動画再生を開始させる抽出始点設定部、４０３は終
了位置を設定すると同時に動画再生が停止する抽出終点
設定部、４０４は抽出区間の開始位置または終了位置の
前後にフレームまたは時間単位で位置を補正する抽出位
置補正部、４０５は抽出始点設定、抽出終点設定、抽出
位置補正の制御を行う抽出位置設定制御部である。

【００３１】図１０において、４１１、４１２、４１３
はデジタル動画データのシーンの再生区間の一部を抽出
する抽出区間、４１４、４１６、４１８は該抽出区間の
開始位置、４１５、４１７、４１９は該抽出区間の終了
位置、４２０、４２１、４２２はデジタル動画データの
シーンに対応する文書データのページである。本発明の
編集再生方法では、４２３のようにシナリオにおいてシ
ーンの抽出区間の開始位置および終了位置が追加され
る。この時、本発明の方法で制御部１１３の指示によっ
て動画再生部１０３により再生を行うと、シナリオを読
み込みシーンに追加された抽出区間４１１の開始位置４
１４より再生し、同時にページ４２０をテキスト表示部
１０７に表示する。再生位置が終了位置４１５にくると
次の抽出区間４１２の開始位置４１６に飛び開始位置４
１６より再生し、同時にページ４２１を表示する。再生
位置が終了位置４１７にくると次の抽出区間４１３の開
始位置４１８に飛び開始位置４１８より再生し、同時に
ページ４２２を表示する。以降、最終シーンまでシナリ
オを読み込みこれを繰り返すことにより抽出区間以外を
スキップして抽出区間のみを再生することが可能とな
る。

【００３２】図１１は、図９の構成についての抽出区間
編集の流れ図である。

【００３３】図１１において、まず、シナリオよりシー
ンを読み込み、シーンの再生区間で任意の位置を抽出区
間の開始位置として位置設定部４０１で設定する。必要
に応じて抽出位置補正部４０４で開始位置を補正する。
次に抽出始点設定部４０２により抽出区間の開始位置を
設定とともに動画を再生し、抽出終点設定部４０３によ
り終了位置としてその位置で動画を停止させる。必要に
応じて、抽出区間の終了位置を抽出位置補正部４０４に
より前後に１フレーム単位で位置をずらし終了位置の位
置を補正する。上記処理を行うと同時に、これらの設定
値は、該シーンの抽出区間として追加される。次のシー
ンの抽出区間の設定をしなければ終了する。次のシーン
の抽出区間を設定する場合は、次のシーンを再生し、抽
出区間の設定を行う。これを繰り返し、複数のシーンに
抽出区間を追加するシナリオを作成する。

【００３４】本発明の再生方法は図１２で示す流れに従
い、各シーンの抽出区間のみ再生する。図１２におい
て、まずシナリオのシーンを読み込み、抽出区間があれ
ばその開始位置に移動し動画を動画再生部１０３により
再生すると同時にシーンのページをテキスト表示部１０
７に表示する。抽出区間がなければ抽出区間があるかま
たはシーンがなくなるまで次のシーンを読み込む。再生
位置が抽出区間の終了位置にくると次のシーンを読み込
み、抽出区間の再生を行う。このように、本発明では、
動画データの再生において抽出区間の設定されたシーン
の抽出区間のみスキップして再生することが可能とな
る。

【００３５】なお、上記説明では、シーンの再生順を次
の再生シーンを連続する後のシーンで行っているが、図
１のシナリオ読込部でシナリオを逆順にシーン単位に読
み込こませることにより、逆順に連続する前のシーンで
行ってもよい。この場合は再生時の最終シーンは、シナ
リオの先頭のシーンになる。

【００３６】なお、本方式では、各シーン毎に異なるデ
ジタル動画データと文書データを表示することにより、
複数のデジタル動画データと複数の文書データを扱うこ
とが可能である。

【００３７】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００３８】（実施の形態４）図１３は本発明の動画編
集再生方法による装置の構成の実施例を示したものであ
る。

【００３９】図１３において、１０１から１１３は図１
の１０１から１１３に相当し、それぞれの機能は図１と
同じであるため説明を省略する。本発明では、図１３の
動画再生部１０３でデジタル動画データをｎ倍速で再生
する機能が追加され、動画再生部１０３のｎ倍速機能に
対してｎ倍速の高速再生を指定する高速再生指示部が追
加されている。このとき、操作部１０１より再生を行う
と、高速再生指示部５０１の指示で、動画再生部１０３
でｎ倍速の再生が行われる。

【００４０】図１４、１５は本発明の第４の動画編集再
生方法の概念を示している。

【００４１】図１４において、６０１は再生位置（単位
はフレームまたは秒）を指定することのできるデジタル
動画データ、６０２、６０３、６０４はそれぞれデジタ
ル動画データ６０１に対して設定したシーン１、２、３
の再生区間の再生時間、６０５はデジタル動画データ６
０１をｎ倍速再生するデジタル動画データ、６０６、６
０７、６０８はそれぞれ再生区間６０２、６０３、６０
４をｎ倍速再生した再生時間、６０９はデジタル動画デ
ータ６０１の再生時間、６１０はデジタル動画データ６
０５の再生時間である。この時、デジタル動画データ６
０１をｎ倍速で再生すると再生時間６０２、６０３、６
０４は一様に１／ｎとなる。デジタル動画データ６０１
の再生時間６０９がｔ秒の場合は、ｎ倍速の再生による
動画データ６０５の再生時間６１０はｔ／ｎ秒となる。

【００４２】さらに、図１５において６１１はデジタル
動画データ６０１の各シーン毎に異なる速度で再生する
動画データ、６１２はシーン１を通常の再生速度で再生
する再生時間、６１３はシーン２をｎ倍速で再生する再
生時間、６１４はシーン３をｍ倍速で再生する再生時間
である。このように、各シーン毎に異なる再生速度で再
生することも可能で、この場合再生時間６１２の再生時
間は実時間で再生時間６０２と変わらないが、再生時間
６１３の再生時間は再生時間６０３の１／ｎ、再生時間
６１４の再生時間は再生時間６０４の１／ｍとなる。

【００４３】本発明では、ｎ倍速の再生をシナリオに記
述し、各シーン毎に再生速度を指定したり、シナリオ全
体を一定の速度で再生するように指定することができ
る。その結果、図１４または図１５のような再生が可能
となる。

【００４４】なお、いままでは、再生方向が再生区間の
開始位置から終了位置への順方向で説明しているが、こ
れを＋の方向とすると、この方式では、この反対の再生
区間の終了位置から開始位置に向けた再生も可能であ
り、これを−の方向とすると、上記例はそれぞれ−ｎ倍
速による再生に対しても可能である。

【００４５】さらに、上記説明では、シーンの再生順を
次の再生シーンを連続する後のシーンで行っているが、
図１のシナリオ読込部１１２でシナリオを逆順にシーン
単位に読み込むことにより、逆順に連続して再生するこ
とが可能となり、この場合の再生順は次の再生シーンを
連続する前のシーンで行い、この時の再生の最終シーン
は、シナリオの先頭のシーンになる。

【００４６】なお、本方式では、各シーン毎に異なるデ
ジタル動画データと文書データを表示することにより、
複数のデジタル動画データと複数の文書データを扱うこ
とが可能である。

【００４７】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００４８】（実施の形態５）図１６、１７は本発明の
第５の動画再生方法の概念を示している。

【００４９】図１６において、７０１、７０２はシー
ン、７１１はシーン７０１の開始位置、７１２は開始位
置７１１からｋフレーム目の位置、７１３はシーン７０
１の終了位置、７１４はシーン７０２の開始位置、７１
５は開始位置７１４からｋフレーム目の位置、７２１は
シーン７０１に対応して表示するページ、７２２はシー
ン７０２に対応して表示するページである。

【００５０】本発明のスキップ方法は図１７で示す流れ
に従う。

【００５１】図１７において、まず、制御部１１３の指
示により動画再生部１０３はシーンの開始位置よりｋフ
レーム再生し、同時に対応するページをテキスト表示部
１０７に表示する。次に、次のシーンの開始位置へジャ
ンプし、この開始位置よりｋフレームを再生する。この
とき同時にシーンに対応するページを表示する。ｋフレ
ーム再生が終了すると、次のシーンの開始位置にスキッ
プし、これを最後のシーンまで繰り返す。実際の動作
は、図１６で、まずシーン７０１の開始位置７１１より
位置７１２までｋフレーム再生する。同時にページ７２
１を表示する。次に、次のシーン７０２の開始位置７１
４に再生位置を移し、開始位置７１４より位置７１５ま
でｋフレーム再生する。同時にページ７２２を表示す
る。ｋフレーム再生し位置７１５まで再生したら再生を
終了し、スキップにより次のシーンの開始位置に移動す
る。以降同様に最後のシーンまで上記スキップ再生を繰
り返す。

【００５２】なお、上記説明では、シーンの再生順を次
の再生シーンを連続する後のシーンで行っているが、
が、図１のシナリオ読込部１１２でシナリオを逆順にシ
ーン単位に読み込むことにより、逆順に連続して再生す
ることが可能となり、この場合の再生順は次の再生シー
ンを連続する前のシーンで行い、この時の再生の最終シ
ーンは、シナリオの先頭のシーンになる。

【００５３】なお、本方式では、各シーン毎に異なるデ
ジタル動画データと文書データを表示することにより、
複数のデジタル動画データと複数の文書データを扱うこ
とが可能である。

【００５４】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００５５】（実施の形態６）図１８は本発明の第６の
動画再生方法の概念を示している。本発明の再生方法は
デジタル動画データのフレーム情報または再生時間情報
をもとに再生終了位置を制御するもので、図１８で示す
流れに従う。

【００５６】図１８において、まず、制御部１１３によ
り、シナリオを読み込み最初のシーンのデジタル動画デ
ータの開始位置へ移動し、この開始位置より動画再生部
１０３は動画を再生する。このとき同時にシーンに対応
する文書データのページをテキスト表示部１０７に表示
する。開始位置から終了位置までの再生の終了は位置検
出部１０４がデジタル動画データの終了位置まで再生を
完了したことを検出して行う。再生が終了すると、次の
シーンのデジタル動画データの開始位置に移動する。こ
のとき、終了位置の検出は指定するフレーム数または再
生時間がデジタル動画データのフレーム数または再生時
間に一致することにより行われる。

【００５７】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。

【００５８】さらに、文書データは、テキストファイル
またはＸＭＬまたはＳＧＭＬで記述される構造化文書の
ほか、文書をイメージ化したイメージデータ、ＰＤＦ形
式の文書ファイル、ワープロ形式のファイルなどでもよ
い。

【００５９】（実施の形態７）図１９、２０は本発明の
第７の動画編集再生方法としてシナリオのタグ記述の方
法の概念を示している。ここでは、表示部の制御を直接
タグの名前として記述する方法、テキスト表示部のペー
ジ指定をタグの属性として記述する方法、１つのタグの
中に複数の表示部を記入しこれらの同時操作を行うこと
を可能とする方法の概念を示している。

【００６０】図１９は、表示部の制御を直接タグの名前
として記述する方法で、図１９において、９０１はタグ
<scenario>を用いて記述したシナリオ、９０２は名前が
st1のデジタル動画データを定義する<video>タグ、９０
３は名前がtxt1の文書データを定義する<text>タグ、９
０４、９０６はタグ名として動画を再生させる命令vide
oによりデジタル動画データst1の動作を制御する<video
>タグ、９０５、９０７はタグ名としてページを表示さ
せる命令textにより文書データtxt1の動作を制御する<t
ext>タグ、９０８、９０９はタグ名としてシーンを示す
命令sceneによりその下位のタグ<video>と<text>の同時
動作を指定するタグである。

【００６１】この時、動画再生または文書表示を制御す
る命令をタグ名としたタグ９０４、９０５、９０６、９
０７を記述し、タグ９０４、９０５の上位にこれらを同
時動作させるためのタグ９０８、およびタグ９０６、９
０７の上位にこれらを同時動作させるためのタグ９０９
を記述することによりシナリオを階層化構造により記述
することが可能である。シナリオはこのような階層化構
造の文書記述により標準のテキストエディタなどにより
容易に編集することができる。この時、制御部１０３は
階層化されたシナリオのシーンを示す<scene>単位にタ
グ９０８、９０９の順に<scene>の下の表示部制御のタ
グ<video>と<text>によるデジタル動画データと文書デ
ータの同時動作を実行する。

【００６２】さらに、図１９では、タグの中にページを
制御する属性などを記述し制御する方法が含まれてお
り、この時、タグ９０４、９０６では再生区間の開始位
置を指定するstart属性と終了位置を指定するend属性を
記述して再生区間を指定し、また、タグ９０５、９０７
ではページを指定する属性pageを記述して、属性pageで
指定するページを表示させることが可能である。

【００６３】図２０は、１つのタグの中に複数の表示部
を記入しこれらの同時操作をおこなうことを可能とする
方法で、図２０において、９１１はタグ<scenario>を用
いて記述したシナリオ、９１２は名前がst1のデジタル
動画データを定義する<video>タグ、９１３は名前がtxt
1の文書データを定義する<text>タグ、９１４は名前がt
xt2の文書データを定義する<text>タグ、９１５、９１
６は同時動作させる命令sceneによりデジタル動画デー
タst1および文書データtxt1を同時に再生または表示さ
せるタグ、９１７は同時動作させる命令sceneによりデ
ジタル動画データst1および文書データtxt2を同時に再
生または表示させるタグである。この時、タグ９１５、
９１６、９１７のように１つのタグの中にデジタル動画
データと文書データの２つの表示データを示す属性を記
述し、これらを同時に制御することにより１つのタグで
複数の表示部の同時制御が可能となる。

【００６４】図２０では、この時、タグ９１５、９１
６、９１７で文書データtxt1、txt2のページを制御する
属性pageで指定するページを表示させ、また、デジタル
動画データst1の制御を行う属性startとendにより指定
される開始位置と終了位置の再生区間の動画再生を行
う。

【００６５】これにより、シナリオは複数の表示部の同
期動作を１つのタグで実現することが可能となる。この
方法においても、シナリオを階層化構造により記述する
ことが可能で、シナリオは標準のテキストエディタなど
により容易に編集することができる。

【００６６】なお、本方式の記述方法では図１９、図２
０の<head>に複数のデジタル動画データと複数の文書デ
ータを定義し、<scene>毎にこれらから任意のデジタル
動画データと文書データ別々に呼び出して再生すること
が可能である。

【００６７】（実施の形態８）図２１は本発明の第８の
動画編集再生方法の概念を示している。図２１におい
て、表示領域の等しい複数の表示部を用意し、この中の
１つの表示部を表示させることにより、複数の文書デー
タを切り替えて表示することを可能としている。

【００６８】図２１において、１００１、１００２はそ
れぞれ表示領域が等しい表示部、１０１１、１０１２、
１０１３、１０１４はＮページからなる文書データのペ
ージ、１０２１、１０２２、１０２３、１０２４はそれ
ぞれ表示部１００１、１００２に対して行う制御、１０
２５は制御１０２１から１０２４により表示部１００１
または１００２が表示される表示画面である。

【００６９】本方式では、まず制御１０２１により表示
部１００１、１００２にそれぞれページ１０１１、１０
１２を読み込み、表示部１００１を表示、表示部１００
２を非表示に設定して表示画面にページ１を表示させ
る。この時の表示部１００２に読み込んだページ２は次
の表示のための先読みに利用される。次に、制御１０２
２により表示部１００１を非表示にしページ３を読み込
み、表示部１００２を表示に設定して表示画面にページ
２を表示させる。この時のページ３の読み込みも次の表
示のための先読みである。以後、ページＮまで表示部１
００１、１００２を交互に表示、非表示に切り替えて表
示を行うものである。この時、表示部１００１には文書
Ａ、表示部１００２には文書Ｂのページを表示させるこ
とにより文書Ａ，Ｂを交互に同一の領域で表示すること
が可能となる。

【００７０】さらに、以上では、表示オブジェクトを２
つで説明したが、この方法では、図２２のように表示領
域の等しい複数の表示部１０３１、１０３２、１０３３
を備え、これを切り替えて、複数の文書１０４１、１０
４２、１０４３のページを順にまたはランダムに表示す
ることも可能である。この場合は、複数の文書１０４
１、１０４２、１０４３のページを表示部１０３１、１
０３２、１０３３に読み込み、表示部１０３１、１０３
２、１０３３のうち表示させる表示部を表示にその外を
非表示に設定して表示させる。

【００７１】また、本方式の動画編集再生装置で扱うデ
ジタル動画データは、ＭＰＥＧ方式で圧縮されたデジタ
ル動画データまたはその音声付き、ＡＶＩ、ＡＳＦなど
のファイル形式によるデジタル動画データまたはその音
声付きのほか、ＭＰ３またはＣＯＤＥＣ方式などにより
圧縮されたデジタル音声データでもよい。さらに、文書
データは、テキストファイルまたはＸＭＬまたはＳＧＭ
Ｌで記述される構造化文書のほか、文書をイメージ化し
たイメージデータ、ＰＤＦ形式の文書ファイル、ワープ
ロ形式のファイルなどでもよい。

【００７２】

【発明の効果】以上のように本発明は、マルチメディア
コンテンツを利用するときに、文書データの内容に密着
に関連付けたデジタル動画データやデジタル音声データ
を文書データと同時に再生して利用するマルチメディア
の編集再生において、動画再生と文書または静止画表示
の同期制御を個別に設定したシーン単位に行うことが可
能となり、マルチメディア分野における動画と静止画の
同期再生などを正確に制御する方法として利用すること
ができるという効果を有する。

【図面の簡単な説明】

【図１】本発明の第１の動画編集再生方法を実現する動
画編集再生装置のブロック図

【図２】動画編集再生装置による操作画面を示す図

【図３】第１の動画編集再生方法を示す概念図

【図４】第１の動画編集再生方法の具体例を示す概念図

【図５】本発明の第２の動画編集再生方法を実現する動
画編集再生装置のブロック図

【図６】第２の動画編集再生方法を示す概念図

【図７】第２の動画編集再生方法の編集方法の処理手順
を説明するフロー図

【図８】第２の動画編集再生方法の再生方法の処理手順
を説明するフロー図

【図９】本発明の第３の動画編集再生方法を実現する動
画編集再生装置のブロック図

【図１０】第３の動画編集再生方法を示す概念図

【図１１】第３の動画編集再生方法の処理手順を説明す
るフロー図を示す概念図

【図１２】第３の動画編集再生方法の再生方法の処理手
順を説明するフロー図

【図１３】本発明の第４の動画編集再生方法を実現する
動画編集再生装置のブロック図

【図１４】第４の動画編集再生方法を示す概念図

【図１５】第４の動画編集再生方法を示す概念図

【図１６】本発明の第５の動画編集再生方法を示す概念
図

【図１７】第５の動画編集再生方法のスキップ再生方法
の処理手順を説明するフロー図

【図１８】第６の動画編集再生方法のシーン再生方法の
処理手順を説明するフロー図

【図１９】第７の動画編集再生方法としてシナリオのタ
グ記述方法を示す概念図

【図２０】第７の動画編集再生方法としてシナリオのタ
グ記述方法を示す概念図

【図２１】第８の動画編集再生方法を示す概念図

【図２２】第８の動画編集再生方法を示す概念図

【図２３】従来の動画編集再生方法を示す概念図

【符号の説明】

１０１操作部１０２デジタル動画データ記憶部１０３動画再生部１０４位置検出部１０５位置指定部１０６文書データ記憶部１０７テキスト表示部１０８ページ検出部１０９ページ指定部１１０シナリオデータ格納部１１１シナリオ保存部１１２シナリオ読込部１１３制御部３０１始点設定部３０２終点設定部３０３位置補正部３０４位置設定制御部４０１抽出位置設定部４０２抽出始点設定部４０３抽出終点設定部４０４抽出位置補正部５０１高速再生部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）

Claims

【特許請求の範囲】

【請求項１】複数のページから構成される文書データ
を記憶する文書データ記憶部と、文書データのページを
表示するテキスト表示部と、デジタル動画データを再生
する動画再生部と、前記動画再生部により再生されるデ
ジタル動画データの再生位置を検出する位置検出部と、
文書データの各ページにデジタル動画データの再生位置
としての開始位置と終了位置による再生区間を対応づけ
たものをシーンとして、複数のシーンからなるシナリオ
を格納するシナリオデータ格納部と、文書データの表示
ページを指定するページ指定部と、デジタル動画データ
の再生位置を指定する位置指定部と、前記複数のシーン
によるシナリオを作成または編集し、シナリオをシーン
単位に読み込むシナリオ読込部と、前記再生位置と表示
ページによるシーンの作成とシナリオの再生を行う制御
部とを備えたことを特徴とする動画編集再生装置。
【請求項２】前記位置指定部は、開始位置を設定する
と同時に動画再生を開始させる始点設定部と、終了位置
を設定すると同時に動画再生が停止する終点設定部と、
終了位置の前後にフレームまたは時間単位で位置を補正
する位置補正部と、各シーンに対して、各シーンの再生
区間は文書データのページにデジタル動画データの開始
位置と終了位置を対応づけ、シーンの開始位置は前のシ
ーンの終了位置の次の位置として設定し、前後のシーン
を連続させるシナリオを作成するシナリオ読込部と、動
画再生部により複数のシーンを連続して再生させ、テキ
スト表示部によりシーンの開始位置で対応するページを
表示する制御部とを備えたことを特徴とする請求項１記
載の動画編集再生装置。
【請求項３】前記制御部は、前記ページ指定部で文書
データのページを指示すると、前記テキスト表示部によ
り対応するデジタル動画データのシーンの開始位置を連
動して表示し、前記位置指定部でデジタル動画データの
再生位置を指定すると、前記テキスト表示部により対応
する文書データのページを連動して表示することを特徴
とする請求項２記載の動画編集再生装置。
【請求項４】前記位置指定部は、再生区間の任意の一
部の区間の再生位置を抽出開始位置として設定すると同
時に動画再生を開始させる抽出始点設定部と、抽出終了
位置を設定すると同時に動画再生が停止する抽出終点設
定部と、抽出開始位置または抽出終了位置の前後にフレ
ームまたは時間単位で位置を補正する抽出位置補正部
と、各シーンの再生区間の一部を抽出して再生する抽出
区間を設定し、シナリオを読み込むシナリオ読込部と、
動画再生部により各シーンを再生すると各シーンの動画
再生は抽出された一部の抽出区間のみを再生する制御部
とを備えたことを特徴とする請求項１記載の動画編集再
生装置。
【請求項５】前記制御部は、動画再生部によりシナリ
オの再生時に各シーンの抽出された抽出区間の開始位置
で動画再生を開始すると同時に対応する文書データのペ
ージをテキスト表示部に表示することを特徴とする請求
項４記載の動画編集再生装置。
【請求項６】前記動画再生部に対してデジタル動画デ
ータを一定の速度で高速に再生するための再生速度を指
示する高速再生指示部を備え、前記制御部は、高速再生
部の指示により再生速度を指示すると各シーンの再生時
間を一様に短縮して再生し、または、シナリオ読込部に
より各シーンに再生速度の情報を追加したシナリオを作
成し、シナリオを読み込み再生すると動画生成部により
各シーンの再生時間を編集時に指定した再生速度で再生
することを特徴とする請求項１記載の動画編集再生装
置。
【請求項７】前記制御部は、動画再生部によりシナリ
オの再生時に各シーンの再生区間の開始位置で動画再生
を開始すると同時に対応する文書データのページをテキ
スト表示部に表示することを特徴とする請求項６記載の
動画編集再生装置。
【請求項８】前記制御部は、動画再生部により再生速
度が再生を再生区間の終了位置から開始位置にむけた逆
方向に行う早戻しの再生を可能とすることを特徴とする
請求項６記載の動画編集再生装置。
【請求項９】前記制御部は、動画再生部によりシナリ
オの再生時に各シーンの再生区間の終了位置で動画再生
を開始すると同時に対応する文書データのページをテキ
スト表示部に表示することを特徴とする請求項８記載の
動画編集再生装置。
【請求項１０】前記制御部は、動画再生部によりシナ
リオを読み込み再生する場合、各シーンの動画再生を開
始位置より数フレームまたは数秒間のみ行い、該動画再
生が終了すると次のシーンの開始位置に飛び、前のシー
ンと同様に数フレームまたは数秒間再生し、これを繰り
返して再生することを特徴とする請求項１記載の動画編
集再生装置。
【請求項１１】前記制御部は、動画再生部によりシナ
リオの再生時に各シーンの再生区間の開始位置で動画再
生を開始すると同時に対応する文書データのページをテ
キスト表示部に表示することを特徴とする請求項１０記
載の動画編集再生装置。
【請求項１２】前記制御部は、動画再生部により各シ
ーンの動画再生を終了し、位置検出部が検出するデジタ
ル動画データの再生位置が終了位置を超えたことにより
判断しシーンの再生を終了させることを特徴とする請求
項１記載の動画編集再生装置。
【請求項１３】前記制御部は、動画再生部によりシナ
リオの再生時に各シーンの再生区間の終了位置で動画再
生を終了すると同時に対応する文書データのページのテ
キスト表示部に表示することを終了させることを特徴と
する請求項１２記載の動画編集再生装置。
【請求項１４】前記制御部は、タグの中にすべての制
御を記述した構造化されたテキストデータであって、動
画再生部およびテキスト表示部の制御を行う命令をタグ
の名前で記述したり、テキスト表示部の制御を行うタグ
の中に表示するページを指定する属性を記入し、指定さ
れたページを表示し、１つのタグの中に動画再生部とテ
キスト表示部の複数の動作命令を記入し同時制御を行う
ことができることを特徴とする請求項１記載の動画編集
再生装置。
【請求項１５】前記テキスト表示部は等しい領域をも
つ複数のテキスト表示部を備え、複数の文書データのペ
ージをテキスト表示部の数だけテキスト表示部に入力
し、このうち１つのテキスト表示部のみを表示させ、残
りのテキスト表示部を非表示にすることで、要求するペ
ージのみ表示させ、次のページを表示させる場合、表示
していたページのテキスト表示部を非表示にして次ペー
ジが格納されているテキスト表示部を表示に切り替えて
表示させ、同時に今まで表示していたテキスト表示部に
まだ入力されていない残りのページの最初のページを入
力して、これを最後のページまでページの表示順に繰り
返して複数ページを順に切り替えて表示させることを特
徴とする請求項１記載の動画編集再生装置。
【請求項１６】前記デジタル動画データの代わりにデ
ジタル音声データを用いることを特徴とする請求項１、
２、３、６、１２のいずれかに記載の動画編集再生装
置。
【請求項１７】前記文書データの代わりに複数のペー
ジ空なるデジタルイメージデータ、ＰＤＦデータ、ワー
プロデータを用いることを特徴とする１、２、３、５、
７、９、１１、１３のいずれかに記載の動画編集再生装
置。
【請求項１８】前記シナリオ読込部はシナリオをシー
ン単位に逆順に読み込み、制御部はこれを読み込みの順
に再生することを特徴とする請求項１、２、４、６記載
の動画編集再生装置。
【請求項１９】前記文書データおよび、デジタル動画
データは、ローカルマシンまたはネットワークを介した
ファイルまたはインターネットのＷｅｂ上のＵＲＬを指
定して読み込み、再生することを特徴とする請求項１、
２、４、６、１０、１２、１４、１５記載の動画編集再
生装置。