JP2001025024A - マルチメディア情報変換方法、及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 マルチメディア原文書を圧縮する際に、各素
材毎に、あるいはある素材に強制的にあわせて行うと様
々な弊害が生じるため、それぞれの素材の表示手順を記
述したシナリオ元に時間軸を生成し、一つの映像信号を
生成するマルチメディア映像生成装置と、生成された一
つの映像信号から、圧縮映像信号を生成する過程で、シ
ナリオを用いることにより素材のデータ型に適応した効
率的な符号化を行う装置とを提供する。 【解決手段】 シナリオを解析する事により時間軸を持
った情報である動画シナリオを生成する動画シナリオ生
成部１２と、動画シナリオを元に素材を合成し映像信号
を生成する事と、映像信号から効率的に圧縮映像信号を
生成する符号化部１４とを備えることにより、マルチメ
ディア原文書から効率的に一つの映像信号及び圧縮映像
信号を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インターネット上
にあるWebページに代表されるような、動画・静止画・
文字型データ・背景静止画などの異なった種類の素材
と、その表示情報を記述したシナリオ（例えばＨＴＭＬ
（Hyper Text Markup Language））と、からなるマルチ
メディア原文書を一つの映像信号に合成し、MPEGなどの
圧縮映像信号に符号化する技術に関する。

【０００２】

【従来の技術】近年、インターネット上にあるWebペー
ジに代表されるような、マルチメディア情報を利用する
ためのシステムの開発が盛んに行われている。また、イ
ンターネットのホームページを表示する場合には、パー
ソナルコンピュータ（以後ＰＣと呼ぶ）を用い、そのＰ
Ｃにインストールされた、Webページを表示および展開
するブラウザソフトにより行う。なお、ここでいう、イ
ンターネット上にあるWebページとは、ワールドワイド
ウェブ(WWW)上の各サイトに格納されている情報のこと
である。

【０００３】従来、マルチメディア原文書を表示および
展開する際には、ブラウザソフトが、 １） 動画、静止画、文字型データなどの素材を、再生
端末が"それぞれの素材毎に"、シナリオに従って展開す
る． ２） 展開されたそれぞれの素材を、指定された位置に
表示することにより複数の映像を画面上で合成する． という手順で行われていた。また、それぞれの素材は、
シナリオとともに"異なった素材として"ワールドワイド
ウェブ上のサイト等から取得する。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のマルチメディア情報を表示する方法を用いた
場合、「ブラウザソフト」と「それを動かす能力を持っ
たＰＣ」とが必要となる。例えば、静止画なら静止画展
開、文字ならばフォント展開のように、それぞれの素材
を展開して表示する機能を必要とする。そのため、マル
チメディア原文書の表示には、再生端末に多くの機能が
求められ、高コストな再生端末が必要となる、という課
題が生じていた。特に、携帯機器が普及しつつある現状
を考えると、マルチメディア情報の再生に当たり、携帯
用再生端末に多くの機能を要求することは実用性に欠け
るものである。

【０００５】そこで、再生端末に求められる機能を削減
する技術として、特開平５−２３２９１４号公報に記載
されているように、静止画を再生・表示する画像表示装
置において、高品位な静止画の上にウインドウを設け、
このウインドウに一連の静止画を連続して表示すること
により疑似的に動画表示をする技術がある。この技術に
より、静止画展開のみで、静止画と動画を含むマルチメ
ディア情報と同等のプレゼンテーション効果をもった再
生が実現可能となり、再生端末に求められる機能が削減
されるが、"静止画のみ"で素材を用意する必要がある。
それ故に、動画や文字を含む様々な素材で構成される、
マルチメディア原文書の再生はできない。

【０００６】そこで、本発明は、上記の課題を解決する
ために、マルチメディア原文書を、一つの映像信号に変
換し、生成する事を目的とする．さらに、生成する映像
信号のデータ量を軽減するために、圧縮映像信号を生成
することを目的とする。

【０００７】

【課題を解決するための手段】そこで本発明は、動画・
静止画・文字型データ・背景静止画などの異なった種類
の素材と、その表示情報を記述したシナリオと、からな
るマルチメディア原文書を、一つの映像信号に変換する
仕組みとして、シナリオを格納するシナリオ格納部と、
シナリオ格納部に格納されたシナリオを解析する事によ
り時間軸を持った情報である動画シナリオを生成する動
画シナリオ生成部と、動画シナリオを元に素材を合成し
映像信号を生成し、その映像信号から効率的に圧縮映像
信号を生成する符号化部と、を備えることにより、動画
及びMPEGなどのフォーマットに準拠した、１つの圧縮映
像音声信号に変換する．そのため、再生端末には、映像
信号または圧縮映像信号を復号化し、再生する最低限の
機能しか必要とせず、低コストな端末での再生が可能と
なる。

【０００８】また、マルチメディア原文書を映像信号に
合成する時の、マルチメディア原文書の"時間に依存し
た表示方法"であるスクロール時に発生する動きを、出
力映像信号を生成する時の、例えばMPEG等でのフレーム
間予測における動き補償での動きベクトルとして記述し
た動きベクトル情報と、マルチメディア原文書の、静止
画や文字、背景などの、時間により映像が変化しない領
域を表す前記動き予測フラグ情報とを生成する動画符号
化補助手段と、切り出された出力映像信号用のフレーム
を、動きベクトル情報と動き予測フラグ情報を元に、適
応的な符号化を行う適応型動画符号化手段と、を備える
ことにより、合成された映像信号を、素材または構成さ
れる素材の比率などにより生まれるマルチメディアタイ
トル自体の特徴に適した符号化を行う．そのため、圧縮
率が向上することと、演算量の軽減が実現され、生成さ
れた動画像の符号量が小さくなる。

【０００９】ここで、「時間に依存した表示方法」と
は、例えば、マルチメディア原文書を表示するための領
域が、マルチメディア原文書の全てを展開するために必
要な領域よりも小さい場合に、表示する部分のマルチメ
ディア原文書の展開した領域の中での位置を移動するこ
とにより、表示するための領域より大きな領域を表示す
ること等を指す。

【００１０】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて図１から図４１を用いて説明する。なお、本発明は
これら実施の形態に何等制限されるものではなく、その
要旨を逸脱しない範囲において、種々なる態様で実施し
得る。

【００１１】（実施の形態１）本実施の形態では、マル
チメディア原文書を、例えばWebブラウザなどのマルチ
メディア原文書表示装置で表示展開したイメージと同様
の見え方をする、MPEGなどのフォーマットに準拠した１
つの圧縮映像音声信号に変換する、マルチメディア情報
合成装置について説明する．なお、ここでのWebブラウ
ザとは、HTML(Hyper Text Markup Language。以下HTML
と呼ぶ)で記述されたシナリオとなるデータであるHTML
データをもとに、素材を展開し、画面上に表示すること
により、マルチメディア原文書を表示する装置である。

【００１２】また、本実施の形態で用いるマルチメディ
ア原文書とは、動画、静止画、文字、音声などの複数の
素材と、その表示情報を記したシナリオとで構成された
ものである．また、本実施の形態で用いるシナリオと
は、静止画、文字、音声などの複数の素材の表示情報
や、マルチメディア原文書の形状に関する情報を記述し
た、例えばHTMLデータのような情報である．また、素材
とは、シナリオに記述された、マルチメディア原文書を
構成する動画、静止画、文字、音声、背景となる静止画
などを表す。

【００１３】まず、本装置の全体構成について説明す
る．図1は本装置の機能ブロック図である。図1に示すよ
うに、本装置は、シナリオを格納するシナリオ格納部１
１と、 シナリオから動画シナリオを作成し、それを動
画シナリオ格納部１３へ送出する動画シナリオ生成部１
２と、 動画シナリオを格納する動画シナリオ格納部１
３と、 動画シナリオを元に圧縮映像信号を生成し、出
力圧縮映像信号格納部15に格納する符号化部14と、 出
力圧縮映像信号を格納する出力圧縮映像信号格納部15
と、を備えたものである。

【００１４】ここで、動画シナリオについて図３を用い
て詳しく説明する．図3に、動画シナリオの一例を示
す。ここで「動画シナリオ」とは、動画シナリオ生成部
がシナリオの情報と素材をもとに生成する、マルチメ
ディア原文書を展開し、１つのデジタル映像信号に変換
するために必要な情報で、シナリオを解析することに
より生成される時間軸を持っており、符号化部14が行
うフレーム合成処理と映像信号または圧縮映像信号生成
の基本情報であり、（１）出力映像信号フレーム数（図
３でのframe-num,）と、（２）原文書フレームサイズ
（図３でのframe-size-w、frame-size-h）と、（３）出
力映像信号フレームサイズ（図３でのoutput-size-w、o
utput-size-h,）と、（４）素材情報（図３でのparts-i
nfo）と、（５）スクロールアクション情報（図３でのs
croll-action）と、（６）素材アクション情報（図３で
のparts-action）とを記述するものである。

【００１５】（１）出力映像信号フレーム数は、マルチ
メディア原文書を、映像信号に変換したときの出力され
る映像信号の時間から、マルチメディア原文書が持つ動
画や音声の再生にかかる時間を除いたものをフレーム数
で表したものである． （２）原文書フレームサイズは、マルチメディア原文書
を展開したときのビットマップイメージである原文書フ
レームの縦幅及び横幅を画素数で表したものである． （３）出力映像信号フレームサイズは、出力する映像信
号の縦幅及び横幅を画素数で表したものである。

【００１６】（４）素材情報は、マルチメディア原文書
の素材に対しての情報であり、素材数分存在する。ま
た、対象となる素材に必要な情報のみを記述する． 具体的には、図４に示すように、素材ID（図４でのpart
ID）と、素材タイプ（図４でのpart-type）と、素材ネ
ーム（図４でのpart-name）と、素材サイズ（図４でのp
art-size-w と part-size-w）と、素材ポジション
（図４でのpart-pos-x と part-pos-x）と、フォント
サイズ（図４でのfont-size）と、フォントカラー（図
４でのfont-color）と、フォントタイプ（図４でのfont
-type）と、バックグラウンドカラー（図４でのBG-colo
r）と、素材配置情報（図４でのpart-behave）と、素材
フレーム数（図４でのpart-frame-num）と、を記述する
ものである。

【００１７】素材IDは、本装置が素材に、それぞれ違う
値が割り振られるようにつけるID、素材タイプは、素材
のテキストや動画といったメディアのタイプを表すも
の、素材ネームは、素材のファイル名、素材サイズは、
素材が原文書フレーム上で展開される時の縦幅及び横幅
を画素数で表したもの、素材ポジションは、原文書フレ
ームのなかで、その素材が表示される領域の開始点（左
上端）の座標を記述したもの、フォントサイズは、素材
がテキストの場合の、フォントのサイズの情報、フォン
トカラーは、素材がテキストの場合の、フォントの色の
情報、フォントタイプは、素材がテキストの場合の、フ
ォントのスタイルや種類の情報、バックグラウンドカラ
ーは、原文書フレームの、背景の色の情報、素材フレー
ム数は、動画や音声の場合に、あらかじめ素材の再生に
要する時間がわかっている場合の、素材の再生に要する
時間をフレーム数で表したもの、素材配置情報は、背景
静止画を原文書フレーム内でどのように貼り付けるか
（例えばタイルのように貼り付ける）を示した情報、で
ある。

【００１８】（５）スクロールアクション情報は、マル
チメディア原文書の時間に依存した表示方法を示す情報
であり、図５に示すような、スクロールフレームナンバ
ー（図５に示すframe-no）と、スクロール速度情報（図
５に示す横軸scroll-x 縦軸scroll-y）と、を記述する
情報である。

【００１９】スクロールフレームナンバーは、スクロー
ルの状態の変化が起きたフレームの、先頭からの対象の
フレームまでのフレーム数、スクロール速度情報は、そ
のフレームからのスクロールの状態として、縦軸、横軸
それぞれの方向に、１フレームに対してスクロールする
ピクセル数を表す情報、である。

【００２０】（６）素材アクション情報は、図６に示す
ような、アクションフレームナンバー（図６に示すfram
e-no）と、素材ID（図６に示すpart-ID）と、アクショ
ン情報（図６に示すpart-action）と、を記述する情報
である。

【００２１】アクションフレームナンバーは、素材であ
る動画や音声などの再生開始および停止するフレームの
フレームナンバー、素材IDは、素材アクション情報の対
象となる素材の素材ID、アクション情報は、動画や音声
などの時間軸を持った素材の再生や停止といったアクシ
ョンを示す情報である。

【００２２】次に、本装置の、全体の処理の流れについ
て説明する．本装置の、全体の処理の流れを図2のフロ
ーチャートに示す。図2に示す通り、本装置は、次の流
れでマルチメディア原文書を圧縮映像信号に変換する。 ステップ1：最初に動画シナリオ生成部が、シナリオ格
納部１１に格納されているシナリオを取得する ステップ２：動画シナリオ生成部が、シナリオ格納部に
納められたシナリオから、図３に示すような動画シナリ
オを生成する ステップ３：次に符号化部が、動画シナリオの情報を元
に、圧縮映像信号を生成する。

【００２３】ここで、本装置の特徴について詳細に説明
する．本装置の第１の特徴は、マルチメディア原文書
を、１つの映像信号または、MEPG２などの１つの圧縮映
像音声信号に合成、符号化する際に、時間軸の情報を生
成する点である．本装置の第２の特徴は、マルチメディ
ア原文書を、１つの圧縮映像音声信号に合成、符号化す
る際に、原文書フレームのイメージから、スクロールア
クション情報を用いて出力映像信号のフレームのイメー
ジを切り出す点である。

【００２４】本装置の第１の特徴である、マルチメディ
ア原文書を、１つの映像信号または、１つの圧縮映像音
声信号に合成、符号化する際に、時間軸の情報を生成す
ることは、動画シナリオを作成する動画シナリオ生成処
理（ステップ１）と、動画シナリオを元に、フレーム合
成し圧縮映像信号を生成する符号化処理（ステップ２）
によって実現される。

【００２５】以下、動画シナリオ生成部12の構成と、動
画シナリオ生成処理と、符号化部１４の構成と符号化処
理について、詳しく説明する。

【００２６】まず、動画シナリオ生成部１２の構成につ
いて説明する．図７は、動画シナリオ生成部の機能ブロ
ック図である。図７に示すように、本装置は、シナリオ
読み込み手段２１と、素材情報生成手段２２と、時間軸
情報生成手段２３とからなる。

【００２７】シナリオ読み込み手段２１は、シナリオ格
納部１１からシナリオを読み込み、素材情報生成手段２
２は、読み込まれたシナリオの情報から、動画シナリオ
の中の素材情報を生成し、時間軸情報生成手段２３は、
読み込まれたシナリオの情報から、時間軸を持つ情報で
ある、出力映像信号フレーム数と、スクロールアクショ
ン情報と、素材アクション情報とを生成する 次に、動画シナリオ生成処理の流れについて説明する．
動画シナリオ生成処理の流れを図9のフローチャートに
示す。図9に示す通り、動画シナリオ生成部１２は、次
の流れでシナリオから動画シナリオを生成する． ステップ5：シナリオ読み込み手段２１が、シナリオ格
納部11からシナリオを読み込む ステップ6：素材情報生成手段２２が、読み込まれたシ
ナリオの情報とシナリオに記されたマルチメディア原文
書の素材を元に、動画シナリオのなかの素材情報を生成
する ステップ7：時間軸情報生成手段２３が、読み込まれた
シナリオの情報と、動画シナリオの中の素材情報を元
に、時間軸情報を生成する 以上のようにして動画シナリオ生成部１２は、マルチメ
ディア原文書のシナリオから時間軸情報を持つ動画シナ
リオを生成する。

【００２８】次に、符号化部１４の構成について説明す
る．図１０は本装置の符号化部の機能ブロック図であ
る。図１０に示すように、本装置は、動画格納部１０１
と、静止画格納部１０２と、文字格納部１０３と、動画
復号手段１０５と、静止画展開手段１０６と、文字展開
手段１０７と、音声部品格納部１１１と、動画シナリオ
格納部１３と、フレーム部品格納部１０８と、原文書フ
レーム合成手段１１２と、原文書フレームバッファ１１
３と、出力映像信号用フレーム切り出し手段１０９と、
出力映像信号用フレームバッファ１１０と、動画符号化
手段１１５と、音声符号化手段１１４と、多重化手段１
１６と、を備える。

【００２９】動画格納部１０１は、動画素材を格納し、
静止画格納部１０２は、静止画素材を格納し、文字格納
部１０３は、文字素材を格納する。

【００３０】動画復号手段１０５は、動画を復号し中に
含まれる音声と動画の各フレームを非圧縮の状態に伸長
し、静止画展開手段１０６は、静止画素材をフレーム部
品に展開し、文字展開手段１０７は、文字素材をフレー
ム部品に展開し、音声部品格納部１１１は、音声素材お
よび、素材の音声部分を格納する。（動画シナリオ格納
部１３は、動画シナリオを格納する。）フレーム部品格
納部１０８は、フレーム部品を格納する。

【００３１】原文書フレーム合成手段１１２は、動画シ
ナリオを解析し、フレーム部品からマルチメディア原文
書を展開した時のイメージである原文書フレームを生成
し、原文書フレームバッファ１１３は、フレーム合成部
１１２によって合成されたフレームを格納する。

【００３２】出力映像信号用フレーム切り出し手段１０
９は、フレームバッファ１１３に格納されたフレームか
ら、出力映像信号を生成するためにフレームを切り出
し、出力映像信号用フレームバッファ１１０は、出力映
像信号を生成するために切り出されたフレームである出
力映像信号用フレームを格納する。

【００３３】動画符号化手段１１５は、出力映像信号用
フレームバッファ１１０に格納された出力映像信号用フ
レームを符号化し、音声符号化手段１１４は、音声部品
格納部１１１に格納された音声を符号化し、多重化手段
１１６は、符号化された動画と音声とを多重化する。

【００３４】ここで、フレーム部品について説明する。
図２４は、フレーム部品の具体例を示す図である。図２
４に示す通り、フレーム部品は素材IDと、フレーム部品
の縦と横の画素数（サイズ）と、表示する際の輝度およ
び色差信号より構成される。フレーム部品は、素材が文
字、動画、静止画のどのデータ型であっても、同一のデ
ータ構造および映像形式である。さらに映像形式は、動
画符号化部１１５が直接符号化に利用できる映像形式
（例えば４：２：２など）に統一されている。そのた
め、フレーム部品を用いたフレーム合成は非常に軽微な
処理で実現することができる。

【００３５】次に、本装置の符号化部14の、処理の流れ
について説明する．本装置の符号化部１４の、全体の処
理の流れを図１１のフローチャートに示す。図１１に示
す通り、本装置は、次の流れでマルチメディア原文書を
圧縮映像音声信号に変換する。

【００３６】ステップ１０１１：原文書フレーム合成部
１１２が、動画シナリオの情報から、動画復号部１０５
と静止画展開部１０６と文字展開部１０７とに指示して
必要なフレーム部品を生成させ、原文書フレームを生成
する． ステップ１０１２：出力映像信号用フレーム切り出し手
段１０９が、原文書フレームから、出力映像信号用フレ
ームを、図８に示すように切り出し、生成する． ステップ１０１３：動画符号化手段１１５が原文書フレ
ームバッファ１１３に格納されたフレームデータを符号
化して圧縮ビデオストリームを生成する． ステップ１０１４：音声符号化手段１１４が、音声部品
格納部１１１に格納された非圧縮音声信号を符号化して
圧縮音声ストリームを生成し、 ステップ１０１５：多重化部１１６が、圧縮ビデオスト
リームと圧縮音声ストリームとを多重化し、圧縮映像音
声信号を生成する．ここで、出力映像信号用フレーム切
り出し処理（ステップ１０１２）での、図８の＜ａ＞に
示す切り出した出力映像信号用フレーム部分は、出力映
像信号のなかの、フレームの一つとなる。

【００３７】なお、この処理の流れにおいて、出力映像
信号用フレーム切り出しと、動画符号化処理（ステップ
1013）と音声符号化処理（ステップ1014）とは逆の順
序、あるいは並行して行うことも可能である。さらに、
この処理の流れにおいて、出力映像信号用フレーム切り
出しと、動画符号化処理（ステップ1013）と音声符号化
処理（ステップ1014）とを、出力映像信号用フレーム切
り出し処理（ステップ1012）が完了する前に開始し、フ
レーム合成処理と交互あるいは並行して、生成されるフ
レームおよび音声部品を逐次符号化することも可能であ
る。

【００３８】また、フレーム部品を生成し、原文書フレ
ームを生成する処理（ステップ１０１１）で、原文書フ
レーム合成部１１２が、背景を生成する時のサイズを出
力映像信号のサイズにあわせて、調整することにより、
合成された原文書フレームのサイズを、出力映像信号の
サイズより、縦幅、横幅ともに、小さくならないように
することも可能である．以上のようにして、本装置の符
号化部１４は、動画シナリオを元に、圧縮映像信号を生
成する。

【００３９】以下、さらに本装置の詳細な動作につい
て、素材情報生成の処理（ステップ６）の説明、時間軸
情報生成の処理（ステップ７）の説明、部品生成・原文
書フレーム合成の処理（ステップ１０１１）の説明、出
力映像信号用フレーム切り出しと動画符号化の処理（ス
テップ１０１２）の説明、フレーム部品生成の処理（ス
テップ１１０４）の説明、の順に詳しく説明する。

【００４０】まず、素材情報生成の処理の流れ（ステッ
プ6）について詳しく説明する．素材情報を生成する処
理の流れを図１２のフローチャート示す。図１２に示す
とおり、素材情報生成手段２３は、シナリオを元に素材
の情報を取得し、動画シナリオ用の素材情報を生成す
る。

【００４１】ステップ１２：素材情報生成手段２３が、
シナリオに記述され、動画シナリオに反映されていない
素材が存在しなければ終了し、存在すれば、 ステップ１３：素材情報生成手段２３が、素材に対して
固有の素材IDをつける ステップ１４：素材情報生成手段２３が、素材情報の一
部である、対象となる素材の、素材タイプと、素材ネー
ムと、素材サイズ等の、各素材の種類に対応した情報を
取得する ステップ１５：素材情報生成手段２３が、ステップ１４
で生成した素材に対する情報を、素材情報として、動画
シナリオ格納部１３に格納された動画シナリオに記述す
る。

【００４２】次に、素材情報生成手段２３が素材情報を
生成する処理（ステップ１４）の説明を図１３から図１
７のフローチャートを用いて説明する。なお、素材情報
生成手段２３は、最初に素材タイプとなる情報をシナリ
オから取得する事により素材のデータ型を判断する．図
１３に素材が背景データの場合の、素材情報生成手段２
３が素材情報を生成する処理の流れを説明するフローチ
ャートを示す。図１３に示す通り、素材情報生成手段２
３は、素材が背景データの場合、次に示す流れで、素材
情報を生成する。

【００４３】ステップ２０１：素材情報生成手段２３
が、シナリオから、素材ネームと背景色情報と、背景用
イメージの表示方法といった、背景情報を取得する ステップ２０２：素材情報生成手段２３が、背景用のデ
ータが色情報であるかイメージデータであるかを判断
し、イメージデータの場合、 ステップ２０３：素材情報生成手段２３が、シナリオに
記述されている、インターネット上などのデータの格納
されている所から、背景用のイメージデータであるビッ
トマップなどの背景データを取得する ステップ２０４：素材情報生成手段２３が、素材データ
を一時的に展開し、素材サイズを取得する ステップ２０５：素材情報生成手段２３が、静止画格納
部に、背景データを格納する。

【００４４】色情報の場合、 ステップ２０６：素材情報生成手段２３が、背景用色情
報とともに、背景用の素材情報を、動画シナリオ格納部
１３に格納された動画シナリオに記述する。

【００４５】なお、素材データを一時的に展開し、素材
サイズを取得する処理（ステップ２０４）で、素材デー
タのヘッダー部分から素材サイズを取得することも可能
である。また、背景用のデータが色情報とイメージデー
タの両方を持つ場合は、両方記述することもできる。

【００４６】次に、図１４に素材がテキストデータの場
合の、素材情報生成手段２３が素材情報を生成する処理
の流れを説明するフローチャートを示す。図１４に示す
通り、素材情報生成手段２３は、素材がテキストデータ
の場合、次に示す流れで、素材情報を生成する。

【００４７】本実施例では、フォントサイズ等の、テキ
ストに対する情報と、テキストの文字数や改行による行
数から、テキストの展開されるイメージを仮想的に計算
し、素材サイズを決定することを特徴とし、シナリオに
テキストの表示される領域が明確に記述されていない場
合においても、素材サイズを決定することが出来る。

【００４８】ステップ３０１：素材情報生成手段２３
が、シナリオの中の、例えばＨＴＭＬでのH1やH2などの
文字の大きさにかかわる情報などから、フォントサイ
ズ、フォントスタイル、色情報といったテキストに対す
る情報を取得する ステップ３０２：素材情報生成手段２３が、シナリオに
記述されているテキストデータを取得する ステップ３０３：素材情報生成手段２３が、文字格納部
に取得したテキストを格納し、そのポインターを生成
し、ファイルネームとする ステップ３０４：素材情報生成手段２３が、シナリオか
ら取得した、フォントサイズ等の、テキストに対する情
報と、テキストの文字数や改行による行数から、テキス
トの展開されるイメージを仮想的に計算し、素材サイズ
を決定する。

【００４９】なお、素材情報生成手段２３が、シナリオ
に記述されているテキストデータを取得する処理（ステ
ップ３０２）で、素材情報生成手段２３は、例えばシナ
リオがHTMLで記述されている場合、テキストデータ以外
の素材の表示を示す記述から、同じくテキストデータ以
外の素材の表示を示す記述までのあいだの、マルチメデ
ィア原文書に表示するためのテキストデータの中で、フ
ォントサイズなどの、テキストに対する表示のための情
報が同じであるものを一つのテキストデータとして、取
得する。

【００５０】図１５に素材が動画データの場合の、素材
情報生成手段２３が素材情報を生成する処理の流れを説
明するフローチャートを示す。図１５に示す通り、素材
情報生成手段２３は、素材が動画データの場合、次に示
す流れで、素材情報を生成する。

【００５１】ステップ４０１：素材情報生成手段２３
が、シナリオから、動画に対する情報を、取得する ステップ４０２：素材情報生成手段２３が、シナリオ
に、その素材の、例えば動画素材を再生した場合の時間
の長さといった、時間に対する情報である時間情報があ
るかどうかを判断し、時間情報がある場合、 ステップ４０３：素材情報生成手段２３が、シナリオか
ら時間情報を取得する。

【００５２】ステップ４０４：次に素材情報生成手段２
３が、シナリオに記述されている、インターネット上な
どのデータの格納されている所から、動画データを取得
し、 ステップ４０５：素材情報生成手段２３が、シナリオか
ら取得した動画に対する情報から、素材のサイズに対す
る情報が取得可能であるかどうかを判断し、取得可能な
場合、 ステップ４０６： シナリオから素材サイズを取得し、
取得可能でない場合、 ステップ４０７：素材情報生成手段２３が、動画データ
を一時的に展開し、動画の素材サイズを取得する ステップ４０８：次に素材情報生成手段２３が、取得し
た動画データを動画格納部に格納する。

【００５３】図１６に素材が音声データの場合の、素材
情報生成手段２３が素材情報を生成する処理の流れを説
明するフローチャートを示す。図１６に示す通り、素材
情報生成手段２３は、素材が音声データの場合、次に示
す流れで、素材情報を生成する。

【００５４】ステップ５０１：素材情報生成手段２３
が、シナリオから、素材ネームなどの、音声に対する情
報を取得する ステップ５０２：素材情報生成手段２３が、シナリオ
に、その素材の、例えば音声素材を再生した場合の時間
の長さといった、時間に対する情報である時間情報があ
るかどうかを判断し、時間情報がある場合、 ステップ５０３：素材情報生成手段２３が、シナリオか
ら時間情報を取得する ステップ５０４：次に素材情報生成手段２３が、シナリ
オに記述されている、インターネット上などのデータの
格納されている所から、音声データを取得し、 ステップ５０５：素材情報生成手段２３が、取得した音
声データを音声格納部に格納する。

【００５５】図１７に素材がイメージデータの場合の、
素材情報生成手段２３が素材情報を生成する処理の流れ
を説明するフローチャートを示す。図１７に示す通り、
素材情報生成手段２３は、素材がイメージデータの場
合、次に示す流れで、素材情報を生成する。

【００５６】ステップ６０１：素材情報生成手段２３
が、シナリオから、イメージデータに対する情報を取得
する ステップ６０２：素材情報生成手段２３が、シナリオに
記述されている、インターネット上などのデータの格納
されている所から、イメージデータを取得し、 ステップ６０３：素材情報生成手段２３が、シナリオか
ら取得したイメージデータに対する情報から、素材のサ
イズに対する情報が取得可能であるかどうかを判断し、
取得可能な場合、 ステップ６０４：素材情報生成手段２３が、シナリオか
ら、イメージデータの素材サイズを取得する。

【００５７】取得可能でない場合、 ステップ６０５：素材情報生成手段２３が、イメージデ
ータを一時的に展開し、イメージデータの素材サイズを
取得する ステップ６０６：次に、素材情報生成手段２３が、取得
したイメージデータを静止画格納部に格納する。

【００５８】次に、時間軸情報生成の処理（ステップ
７）について詳しく説明する．時間軸情報を生成する処
理の流れを図１８のフローチャートに示す。図１８に示
すとおり、時間軸情報生成手段２４は、動画シナリオの
素材情報を元に、動画シナリオ用の時間軸情報を生成す
る。

【００５９】ステップ５１：時間軸情報生成手段２４
が、動画シナリオ格納部１３から、動画シナリオを読み
込む ステップ５２：時間軸情報生成手段２４が、読み込んだ
動画シナリオのなかの素材情報から、マルチメディア原
文書を表示するのに適した時間として、出力映像信号フ
レーム数を決定する ステップ５３：時間軸情報生成手段２４が、読み込んだ
動画シナリオと動画シナリオのなかの素材情報から、原
文書フレームサイズと、スクロールアクション情報と、
素材アクション情報とを生成する。

【００６０】ステップ５３の処理で、時間軸情報生成手
段２４は、出力映像信号フレーム数や、マルチメディア
原文書に含まれる素材の特徴や数といった情報から、適
当なスクロールの情報を決定し、図５に示すようなスク
ロールアクション情報を生成する．また、動画や音声な
どの素材がある場合は、その素材の振る舞いである、対
象となる素材の再生をはじめるフレームといった情報で
ある、図６に示すような素材アクション情報を生成す
る。なお、このとき、スクロールの速度は一定である必
要はない。また、動画や音声などの再生時間があらかじ
めわかっている場合は、この情報をスクロールや出力映
像信号フレーム数に反映させることも可能である。

【００６１】次に、ステップ５２に示す出力映像信号フ
レーム数生成の処理と、ステップ５３に示すスクロール
アクション情報を生成する処理の一例を、図１９と図２
０と図２１のフローチャートを用いて説明する．まず、
図１９のフローチャートを用いてステップ５２に示す出
力映像信号フレーム数生成の処理の流れを説明する。

【００６２】図１９のフローチャートで、時間軸情報生
成手段２４の処理は、マルチメディア原文書内の総文字
数を求めることによって、その値から、出力映像信号フ
レーム数を決定すること特徴としている。これにより、
マルチメディア原文書が、変換されるマルチメディア原
文書の特徴にあわせた、時間軸に対して適切な長さを持
つ１つの圧縮映像音声信号に変換される。

【００６３】ステップ１０２：時間軸情報生成手段２４
が、動画シナリオに記述され、マルチメディア原文書内
の総文字数をカウントするために処理されていないテキ
ストデータの素材が、素材情報として存在するかどうか
を判定し、存在するなら、 ステップ１０３：時間軸情報生成手段２４が、文字格納
部に格納されたテキストデータを取得し、 ステップ１０４：時間軸情報生成手段２４が、取得した
テキストデータの文字数をカウントし記憶する。

【００６４】存在しないなら、 ステップ１０５：時間軸情報生成手段２４が、記憶され
た文字数のカウントを元に、マルチメディア原文書内の
総文字数を算出する ステップ１０６：時間軸情報生成手段２４が、算出され
た総文字数から、あらかじめ決めておいた、総文字数と
それを表示するための適当な時間の関係を元に、出力映
像信号フレーム数を決定する ステップ１０７：時間軸情報生成手段２４が、出力映像
信号フレーム数を、動画シナリオ格納部１３に格納され
た動画シナリオに記述する。

【００６５】なお、ステップ１０６の処理で、総文字数
とそれを表示するための適当な時間の関係の一例とし
て、総文字数が２００文字の場合、人間がマルチメディ
ア原文書の中の文字を読む速度が一秒間に平均５文字と
仮定すると４０秒分のフレーム数が適当となる。また、
文字の大きさや、含まれる漢字の割合などを参考にして
も良い。

【００６６】次に、図２０と図２１に示すフローチャー
トを用いて、スクロールアクション情報を生成する処理
（ステップ５３）を説明する．時間軸情報生成手段２４
が、読み込んだ動画シナリオの中の素材情報から、原文
書フレームサイズを決定し、スクロールアクション情報
を生成し、素材アクション情報を生成する処理の流れを
図２０のフローチャートに示す。図２０に示すとおり、
時間軸情報生成手段２４は、動画シナリオを元に、スク
ロールアクション情報を生成し、素材アクション情報を
生成する。

【００６７】ステップ１０８：時間軸情報生成手段２４
が、動画シナリオの中の、素材情報に記述された素材配
置情報を元に、仮想的にマルチメディア原文書に、素材
を並べていくことにより、素材ポジションと原文書フレ
ームサイズを求める。

【００６８】ステップ１０９：時間軸情報生成手段２４
が、原文書フレームサイズが出力映像信号フレームサイ
ズより大きいかどうかを判断し、大きければ、 ステップ１１０：時間軸情報生成手段２４が、動画シナ
リオに記述された情報を元に、スクロールアクション情
報を生成し、 ステップ１１１：時間軸情報生成手段２４が、スクロー
ルアクション情報を、動画シナリオ格納部１３に格納さ
れた動画シナリオに記述する。

【００６９】ステップ１１２：次に、時間軸情報生成手
段２４が、取得した素材情報とスクロールアクション情
報を元に、素材アクション情報を生成し、 ステップ１１３：時間軸情報生成手段２４が、素材アク
ション情報を、動画シナリオ格納部１３に格納された動
画シナリオに記述する。

【００７０】なお、時間軸情報生成手段２４が、素材ア
クション情報を生成する処理（ステップ１１２）の一例
として、スクロールにより動画素材素材が出力映像信号
のフレームの中心にきたときに再生するように再生開始
フレームをセットする方法がある。

【００７１】ここで時間軸情報生成手段２４が、スクロ
ールアクション情報を生成する処理（ステップ１１０）
の一例を、図２１のフローチャートを用いて説明する。
図２１に示すとおり、時間軸情報生成手段２４は動画シ
ナリオを元に、スクロールアクション情報を生成する。

【００７２】図２１のフローチャートで、時間軸情報生
成手段２４のスクロールアクション情報を生成する処理
は、動画シナリオに記述された、出力映像信号フレーム
数と原文書フレームサイズから、適当なスクロール速度
を決定することを特徴とする。これにより、マルチメデ
ィア原文書が、変換されるマルチメディア原文書の特徴
にあわせた、適切なスクロール速度で表示される１つの
圧縮映像音声信号に変換される。

【００７３】ステップ７０１：時間軸情報生成手段２４
が、動画シナリオ格納部１３から、動画シナリオの中に
かかれた出力映像信号フレーム数を読み込む ステップ７０２：時間軸情報生成手段２４が、動画シナ
リオ格納部１３から、動画シナリオの中にかかれた原文
書フレームサイズを読み込む ステップ７０３：時間軸情報生成手段２４が、動画シナ
リオ格納部１３から、動画シナリオの中にかかれた出力
映像信号フレームサイズを読み込む ステップ７０４：時間軸情報生成手段２４が、原文書フ
レームサイズの縦幅から出力映像信号フレームサイズの
縦幅を引いたものを出力映像信号フレーム数で割ったも
のを、１フレームで進む縦のラインの数として、スクロ
ール速度を決定する。

【００７４】次に、部品生成・原文書フレーム合成の処
理（ステップ１０１１）の説明をする。

【００７５】図２２に原文書フレーム合成手段１１２
が、原文書フレームの素材のフレーム部品を生成し、フ
レーム部品を合成し、原文書フレームを生成する、処理
の流れを説明するフローチャートを示す。図２２に示す
通り、原文書フレーム合成手段１０８は、フレーム部品
を生成し、合成する事により、原文書フレームを生成す
る。

【００７６】ステップ１１０１：原文書フレーム合成手
段１１２が、動画シナリオ格納部から、動画シナリオの
中にかかれた動画シナリオを読み込む ステップ１１０２：原文書フレーム合成手段１１２が、
動画シナリオに記述され、原文書フレームのフレーム部
品生成に反映されていない、未処理の素材が、素材情報
として存在するかどうかを判定し、存在するなら、 ステップ１１０３：原文書フレーム合成手段１１２が、
動画シナリオから、対象となる素材の素材情報を取得す
る ステップ１１０４：原文書フレーム合成手段１１２が、
素材情報に記述された素材IDを元に、動画格納部１０
１、静止画格納部１０２等の、各種素材の格納部から、
素材を取得し、フレーム部品を生成する。存在しないな
ら、 ステップ１１０５：原文書フレーム合成手段１１２が、
動画シナリオから、原文書フレームのテンプレートとな
るフレームウインドウを作成する ステップ１１０６：原文書フレーム合成手段１１２が、
動画シナリオから、背景用の素材情報を取得し、背景フ
レーム部品があるなら、素材情報を元に、ステップ１１
０５で作成されたフレームウインドウに張り付ける ステップ１１０７：原文書フレーム合成手段１１２が、
フレームウインドウに反映されていない未処理のフレー
ム部品が存在するかどうかを判定する。存在する場合
は、 ステップ１１０８：原文書フレーム合成手段１１２が、
フレーム部品格納部１０８に格納されたフレーム部品
を、フレーム部品にかかれた、素材IDの一致する素材情
報の中にある素材ポジションの情報を元に、フレームウ
インドウに張り付ける。

【００７７】なお、ステップ１１０６の処理で、フレー
ム部品がなく色情報の場合はフレームウインドウを素材
情報のバックグラウンドカラーの色で埋める。なお、背
景用の情報がない場合は、あらかじめ決めておいた、例
えば白色といった色情報などで埋める。

【００７８】本装置の第２の特徴である、原文書フレー
ムのイメージから、スクロールアクション情報を用いて
出力映像信号のフレームのイメージを切り出すことは、
フレームバッファ１１３に格納されたフレームから、出
力映像信号を生成するためにフレームを切り出す手段で
ある出力映像信号用フレーム切り出し手段１０９により
実現される。これにより、原文書フレームの縦と横のサ
イズが、出力映像信号よりも大きかった場合にも、原文
書フレームのイメージから、出力映像信号のフレームの
イメージを切り出し、変換できる。

【００７９】図２３に、出力映像信号用フレーム切り出
し部１０９が、原文書フレームから、出力映像信号用フ
レームを、原文書フレームが出力映像信号用フレームの
サイズより大きかった場合、図８に示すように切り出す
処理（ステップ１０１２の処理）と、動画符号化部１１
５が、出力映像信号用フレーム切り出し部１０９によ
り、切り出された出力映像信号用フレームを符号化する
処理（ステップ１０１３）の流れを示す。図２３に示す
とおり、出力映像信号用フレーム切り出し部１０９と動
画符号化部１１５は、次に示す流れで、原文書フレーム
から、出力映像信号用フレームを切り出し符号化する。

【００８０】ステップ１２０１：出力映像信号用フレー
ム切り出し部１０９が、動画シナリオ格納部１３から、
動画シナリオを読み込む ステップ１２０２：出力映像信号用フレーム切り出し部
１０９が、動画シナリオのなかに、対象となる出力映像
信号用フレームに対応した、スクロールアクション情報
が存在するかどうかを判定し、存在するなら、 ステップ１２０３：出力映像信号用フレーム切り出し部
１０９が、取得した動画シナリオからスクロールアクシ
ョン情報を取得する ステップ１２０４：次に、出力映像信号用フレーム切り
出し部１０９が、動画シナリオのなかに、対象となる出
力映像信号用フレームに対応した、素材アクション情報
が存在するかどうかを判定し、存在するなら、 ステップ１２０５：出力映像信号用フレーム切り出し部
１０９が、取得した動画シナリオから素材アクション情
報を取得する ステップ１２０６：出力映像信号用フレーム切り出し部
１０９が、原文書フレーム合成手段１１２に指示し、素
材アクション情報を元に素材を１フレーム展開し、対象
となる素材のフレーム部品を作成し、フレーム部品格納
部１０８に格納する ステップ１２０７：出力映像信号用フレーム切り出し部
１０９が、ステップ１２０６の処理で展開されたフレー
ム部品をステップ１０１１の処理で作成された原文書フ
レームに張り付ける ステップ１２０８：出力映像信号用フレーム切り出し部
１０９が、スクロールアクション情報を元に、原文書フ
レームから出力動画用フレームを切り出し、出力映像信
号用フレームバッファ１１０に格納する ステップ１２０９：動画符号化部１１５が、出力映像信
号用フレームバッファ１１０に格納された出力映像信号
用フレームデータを圧縮映像信号に符号化する ステップ１２１０：出力映像信号用フレーム切り出し部
１０９が、取得した素材アクション情報に記述された対
象となる素材の再生が終了したかどうかを判断し、まだ
再生可能ならば、ステップ１２０６の処理から処理を継
続し、対象となる素材の再生が終了した場合、次の処理
（ステップ１２１３）に移る。

【００８１】また、ステップ１２０４の処理で、素材ア
クション情報が存在しなかった場合、 ステップ１２１１：出力映像信号用フレーム切り出し部
１０９が、スクロールアクション情報を元に、原文書フ
レームから出力動画用フレームを切り出し、出力映像信
号用フレームバッファ１１０に格納する ステップ１２１２：動画符号化部１１５が、出力映像信
号用フレームバッファ１１０に格納された出力映像信号
用フレームデータを圧縮映像信号に符号化し、次の処理
（ステップ１２１３）に移る ステップ１２１３：次に、出力映像信号用フレーム切り
出し部１０９が、すでに符号化したフレーム数から、動
画素材等の時間情報を持つ素材を符号化した時のカウン
トを引いたのカウントであるフレームカウントを１フレ
ーム分進める ステップ１２１４：出力映像信号用フレーム切り出し部
１０９が、取得した動画シナリオとフレームカウントを
元に未処理のフレームがあるかどうかを判断し、あった
場合は、ステップ１２０１の処理から処理を継続し、な
かった場合は終了する。

【００８２】また、ステップ１２０８の処理で、素材の
再生が始まっているので、スクロールはしないようにす
る。なお、ステップ１２０８の処理で、ステップ１２１
１の処理と同じようにスクロールをすることも可能であ
る。この場合、対象となるフレームに対するスクロール
アクション情報が、取得されてない場合は、前回取得し
たスクロールアクション情報を利用する。また、時間軸
情報生成手段２３は、最初のフレームに対しては、必ず
スクロールアクション情報を入れるようにしておく。

【００８３】また、出力映像信号用フレーム切り出し部
１０９が、原文書フレームから、出力動画用フレームを
切り出す処理（ステップ１２１１）で、対象となるフレ
ームに対するスクロールアクション情報が、取得されて
ない場合は、前回取得したスクロールアクション情報を
利用する。また、最初のフレームに対して、スクロール
アクション情報を入れるようにしておく。

【００８４】次に、フレーム部品生成の処理（ステップ
１１０４）の説明を図２５から図２７を用いて説明す
る．図２５に動画素材のフレーム部品を生成する処理の
流れを説明するフローチャートを示す。図２5に示す通
り、動画素材は、次に示す流れで、フレーム部品を生成
する。

【００８５】ステップ１３０１：動画復号部１０５が、
動画素材格納部１０１に格納されている動画素材の再生
するフレームが残っているかどうかを確認し、残ってい
ない場合は、 ステップ１３０２：動画復号部１０５が、再生が終了し
たことを出力映像信号用フレーム切り出し部１０９に知
らせ終了する。

【００８６】再生するフレームが残っている場合は、 ステップ１３０３：動画復号部１０５が、動画素材格納
部１０１より動画素材を1フレーム読み込み、 ステップ１３０４：非圧縮フレームデータに復号する。
同時に、素材中に音声が存在する場合は、動画復号部１
０５は音声を復号し、音声部品格納手段１１１に格納す
る ステップ１３０５：次に、動画復号部１０５は、復号し
たフレームデータがフレーム部品の映像形式と異なる場
合、フレーム部品の映像形式に変換し、 ステップ１３０６：復号したフレームデータのサイズ
が、指示されたサイズと異なる場合は、指示されたサイ
ズに変形し、 ステップ１３０７：フレーム部品として素材IDを付加し
てフレーム部品格納部１０８に出力する。この時２回目
以降は、同じ素材IDのフレーム部品の映像データを書き
換える。

【００８７】図２６は、静止画素材からフレーム部品を
生成する、静止画展開処理の流れを示す、フローチャー
トである。図２６に示す通り、本装置は、次に示す流れ
で静止画展開処理を行う。

【００８８】ステップ１３１１：静止画展開部１０６
が、静止画素材格納部１０２より静止画素材を読み込
み、 ステップ１３１２：非圧縮の静止画情報に伸長する。

【００８９】ステップ１３１３：次に、伸長された静止
画情報の映像形式がフレーム部品と異なる場合は、静止
画展開部１０６は、フレーム部品の映像形式に映像形式
を変換し、 ステップ１３１４： 伸長された静止画情報のサイズ
が、指示されたサイズと異なる場合は、指示されたサイ
ズに変形し、 ステップ１３１５：素材IDを付加して、フレーム部品格
納部１０８に出力する。図２７は、文字素材からフレー
ム部品を生成する、フォント展開処理の流れを示す、フ
ローチャートである。図２３に示す通り、本装置は、次
に示す流れでフォント展開処理を行う。

【００９０】ステップ１３２１：文字展開部１０７が、
文字素材格納部１０３よりテキストデータ（文字素材）
を読み込む ステップ１３２２：次に文字展開部１０７が、指示され
たサイズで文字展開用のウィンドウを生成し、 ステップ１３２３：文字展開部１０７が、文字情報をウ
ィンドウ上にフォント展開し、ビットマップデータを生
成する ステップ１３２４：次に文字展開部１０７が、生成され
たビットマップデータの映像形式をフレーム部品の映像
形式に変換し、 ステップ１３２５：素材IDを付加して、フレーム部品格
納部１０８に出力するここで説明した、動画、静止画、
文字のフレーム部品生成処理は、フレーム合成部１１２
の指示により行われる。

【００９１】以上のように、本実施の形態によれば、動
画・静止画・文字・音声などの複数の素材と、それぞれ
の素材の制御文を記述した例えばHTMLなどの言語で表さ
れたシナリオと、からなるマルチメディア原文書を、対
象となるマルチメディア原文書の特徴に合わせて動画シ
ナリオとして時間軸情報を生成することにより、MPEGな
どのフォーマットに準拠した、１つの圧縮映像音声信号
（例えば、HTML（時間軸情報を持たないHomePage情報な
どのシナリオ）などを参考にして、時間軸情報を生成
し、その時間軸方向に複数のフレームを持つディジタル
映像・音声信号）に変換することができる。

【００９２】このことにより、従来マルチメディアデー
タの閲覧のために必要であった、様々な種類の素材デー
タの復号や表示に要する煩雑な処理を不要とし、MPEGの
デコーダなど、１つの圧縮映像音声信号の復号表示処理
のみで、マルチメディアデータを閲覧できる、という有
用な効果（例えば、通常パソコンに搭載されているHome
Pageを閲覧するのに必要なブラウザソフト及びそれを再
生する機能などのない、動画再生機能のみを持った携帯
端末でも、この圧縮映像・音声信号を復号・表示するこ
とにより、パソコンでHomePageを閲覧するのと同様の効
果）を得ることができ、その実用的効果は大きい。

【００９３】また、ブラウザによって作成者が意図した
とおりの表示をしてくれないものがあるが、以上のよう
な手法によれば、マルチメディア原文書の作成者の意図
する構成及び配置で表示された映像と同様の表示が行う
ことができる。

【００９４】なお、本実施の形態では、動画、静止画、
文字、音声を素材とし、図２３に示すようなマルチメデ
ィア原文書のように、動画と静止画と文字を用いた映像
信号に対応しているが、これら４つの素材の全てがそろ
っている必要はない。また、シナリオ格納部１１は、例
えば、インターネット上のサイトにあってもよい。

【００９５】（実施の形態２）本実施の形態では、リン
クの情報を持つ、HTMLなどの言語で表されたマルチメデ
ィア原文書を、リンク先のマルチメディア原文書をふく
めて、MPEGなどのフォーマットに準拠した、１つの圧縮
映像音声信号に変換する、マルチメディア情報合成装置
について説明する。ここでいうリンクの情報とは、ある
マルチメディア原文書が、その中で別のマルチメディア
原文書を取得し、表示することができるように記述した
情報であり、例えばHTMLでは、＜A HREF= "url"＞と
いった形で記述されている。

【００９６】まず、本装置の特徴について詳細に説明す
ると、マルチメディア原文書を、リンク情報を生成する
ことにより、シナリオに記述されたリンク先のマルチメ
ディア原文書をふくめて、時間軸の情報を生成し、与え
ることにより、MEPG２などの１つの圧縮映像音声信号に
合成、符号化する点にある。つまり、図２８において、
リンク情報生成手段２０２がリンク情報を生成し、リン
ク情報を元に、符号化用シナリオ選択手段２０４が符号
化するシナリオを選択し、実施の形態１に示す装置が、
選択されたのシナリオから対象となるマルチメディア原
文書を符号化し、出力圧縮映像信号結合手段２０６が符
号化されたデータを結合することによって実現される。

【００９７】リンク情報は、図２９に示すような、リン
ク先のマルチメディア原文書を示す情報（例えばHTＭＬ
でのUＲＬ）を出力映像信号として出力したい順番に並
べたものである。

【００９８】次に、本装置の全体構成について詳しく説
明する．図２８は本装置の機能ブロック図である。図２
８に示すように、本装置は、リンク元シナリオ格納部２
０１と、リンク情報生成手段２０２と、リンク情報格納
部２０３と、符号化用シナリオ選択手段２０４と、リン
ク先シナリオ取得手段２０５と、シナリオ格納部１１
と、動画シナリオ生成部１２と、動画シナリオ格納部１
３と、符号化部14と、出力圧縮映像信号格納部15と、出
力圧縮映像信号結合手段２０６と、結合後出力圧縮映像
信号格納部２０７とからなる。

【００９９】リンク元シナリオ格納部２０１は、リンク
元となる最初のマルチメディア原文書のシナリオを格納
しておき、リンク情報生成手段２０２は、リンク元シナ
リオ格納部２０１に格納されたリンク元となるシナリオ
を元に、リンク情報を生成し、リンク情報格納部２０３
は、リンク情報生成手段202により生成されたリンク情
報を格納し、符号化用シナリオ選択手段２０４は、リン
ク情報から、符号化するマルチメディア原文書のシナリ
オを決定し、リンク先シナリオ取得手段２０５は、符号
化用シナリオ選択手段２０6より選択された、リンク先
のシナリオを取得し、実施の形態１の装置の構成の一部
であるシナリオ格納部１１に格納する。

【０１００】１１から１５は、実施の形態１の装置と基
本的に同じ装置であり、シナリオ格納部１１は、シナリ
オを格納し、動画シナリオ生成部１２は、シナリオか
ら、図３に示すような動画シナリオを作成し、動画シナ
リオ格納部１３は、動画シナリオを格納し、符号化部14
は、動画シナリオを元に圧縮映像信号を生成し、出力圧
縮映像信号格納部15は、出力圧縮映像信号を格納する。

【０１０１】出力圧縮映像信号結合手段２０６は、出力
圧縮映像信号格納部１５に格納された圧縮映像信号を生
成された順番に結合し、結合後出力圧縮映像信号格納部
２０７は、出力圧縮映像信号結合手段２０６が、結合し
た出力圧縮映像信号を格納する。

【０１０２】次に、本装置の全体の処理の流れについて
説明する．本装置の全体の処理の流れを図３０のフロー
チャートに示す。図３０に示す通り、本装置は、次の流
れでマルチメディア原文書を圧縮映像信号に変換する。

【０１０３】ステップ３００１：リンク情報生成手段２
０２が、リンク元シナリオ格納部２０１から、シナリオ
を読み込む ステップ３００２：リンク情報生成手段２０２が、ステ
ップ３００１で読み込んだシナリオの情報から、例えば
ＨＴＭＬでのURLのような、リンクに関する情報を取得
し、リンク情報を生成する ステップ３００３：リンク情報生成手段２０２が、ステ
ップ３００２で生成されたリンク情報をリンク情報格納
部２０３に格納する ステップ３００４：符号化用シナリオ選択手段２０４
が、リンク情報格納部２０３に格納されたリンク情報を
読み込む ステップ３００５：符号化用シナリオ選択手段２０４
が、ステップ３００４で読み込まれたリンク情報を元
に、圧縮映像信号に符号化するためのマルチメディア原
文書のシナリオを選択する ステップ３００６：リンク先シナリオ取得手段２０５
が、ステップ３００５で選択された、リンク先のマルチ
メディア原文書のシナリオを取得する ステップ３００７：リンク先シナリオ取得手段２０５
が、ステップ３００６で取得したリンク先のマルチメデ
ィア原文書のシナリオを、シナリオ格納部１１に格納す
る ステップ３００８：実施の形態１の装置が、シナリオ格
納部１１に格納されたシナリオを元に、実施の形態１と
同じ処理で、圧縮映像信号を生成し、出力圧縮映像信号
格納部１５に格納する ステップ３００９：出力圧縮映像信号結合手段２０６
が、出力圧縮映像信号格納部１５に格納された圧縮映像
信号を圧縮映像信号が生成された順番に結合する ステップ３０１０：出力圧縮映像信号結合手段２０６
が、結合された圧縮映像信号を、結合後出力圧縮映像信
号格納部２０７に格納し、終了する。

【０１０４】以上のように本実施の形態では、リンク情
報を持つ、HTMLなどの言語で表されたマルチメディア原
文書を、リンク情報を生成することによって、リンク先
のマルチメディア原文書をふくめて、MPEGなどのフォー
マットに準拠した、１つの圧縮映像音声信号に変換する
事ができ、一つの連続した映像信号により多くの情報を
含めることができ、その実用的効果は大きい．なお、結
合前のマルチメディア原文書一つからなる圧縮映像信号
を、結合する順番を意識的に変えることも可能である。

【０１０５】（実施の形態３）本実施の形態では、マル
チメディア原文書を圧縮映像信号に変換するときに、第
１の実施の形態で生成された動画シナリオの情報をもと
に、マルチメディア原文書の、静止画や文字、背景など
の、時間により映像が変化しない領域が、フレームの大
半を占めていて、かつ一定方向へのスクロールが発生す
るといった特徴を利用し、符号化を行うことにより、符
号化に要する演算量を軽減することを特徴とする、マル
チメディア情報合成装置について説明する。

【０１０６】まず、本装置の特徴について詳細に説明す
る．本装置の第１の特徴は、マルチメディア原文書の、
時間により映像が変化しない領域が、フレームの大半を
占めていて、かつ一定方向へのスクロールが発生すると
いった特徴を利用し、スクロール時に発生する動きを、
出力映像信号の動きとして、利用することにより符号化
に要する演算量を軽減する点である。

【０１０７】本装置の第２の特徴は、マルチメディア原
文書内の時間により映像が変化しない領域で、図３５に
示すように、出力映像信号用に切り出したn番目のフレ
ームとn+1番目のフレームと同じ映像データが入ってい
る領域があることを利用することにより符号化に要する
演算量を軽減する点である。

【０１０８】なお、ここでの「動き」とは、例えばMPEG
１やＭPEG２でのＰフレームやＢフレームといった、フ
レーム間予測を行うときに使用する、動き予測によって
得られる動きベクトルのことである。

【０１０９】次に、本装置の全体構成について説明す
る．本装置の全体の機能ブロック図は、第１の実施の形
態の、機能ブロック図である図１と同じである。本実施
の形態では、図１に示す符号化部１４の、内部の機能が
異なる。それ以外は基本的に第１の実施の形態と同じで
ある。

【０１１０】図３１に本装置の符号化部１４の機能ブロ
ック図を示す．図３１に示すように、符号化部１４は、
出力映像信号用フレーム切り出し手段１０９から得た情
報を元に動画符号化の補助を行う動画符号化補助手段４
０１が追加されたことと、第１の実施の形態での動画符
号化手段１１５が、動画符号化補助手段４０１により渡
された情報を元に、適応的な符号化を行う適応型動画符
号化手段４０２に変わったこと以外は第１の実施の形態
と同じである。

【０１１１】次に、本装置の符号化部１４の、全体の処
理の流れについて説明する．本装置の符号化部１４の、
全体の処理の流れを図３３のフローチャートに示す。図
３３に示す通り、本装置は、次の流れでマルチメディア
原文書を、スクロール時に発生する動きを利用すること
により、効率的に圧縮映像音声信号に変換する。

【０１１２】ステップ４０１１：原文書フレーム合成部
１１２が、動画シナリオの情報から、動画復号部１０５
と静止画展開部１０６と文字展開部１０７とに指示して
必要なフレーム部品を生成させ、原文書フレームを生成
する ステップ４０１２：出力映像信号用フレーム切り出し手
段１０９が、原文書フレームから、出力映像信号用フレ
ームを、図８に示すように切り出し、生成する ステップ４０１３：動画符号化補助手段４０１が、動画
シナリオから、図３７に示すような動き予測フラグ情報
と図３８に示すような動きベクトル情報を生成する ステップ４０１４：適応型動画符号化手段４０２が、動
画符号化補助手段４０１が生成した、動き予測フラグ情
報と動きベクトル情報を元に、適応的に符号化する ステップ４０１５：音声符号化手段１１４が、音声部品
格納部１１１に格納された非圧縮音声信号を符号化して
圧縮音声ストリームを生成し、 ステップ４０１６：多重化部１１６が、圧縮ビデオスト
リームと圧縮音声ストリームとを多重化し、圧縮映像音
声信号を生成する。

【０１１３】適応型動画符号化手段４０２が、動き予測
フラグ情報と動きベクトル情報を元に、適応的に符号化
する処理（ステップ４０１４）は、例えばMPEGのＰフレ
ームやＢフレームといったフレーム間予測を行うフレー
ムを生成するときに行う、動き補償の処理で、動きベク
トルを検出する処理を減らすことと、差分情報を求める
必要のないところは演算を行わないことにより演算量を
減らし、適応的な符号化を行う。

【０１１４】ここで動き予測フラグ情報と動きベクトル
情報について図３７と図３８を用いて説明する．動き予
測フラグ情報は、図３７に示すような動き予測を行い、
動画などの時間により映像の変化する素材で、動きベク
トルを求める必要がある領域と、文字や背景などの時間
により映像の変化しない素材で、動きベクトルを求める
必要のない領域とを"０"と"１"のフラグで分けたもので
ある。本実施の形態では、動きベクトルを求める必要の
ある領域の画素を含むマクロブロックに対して"０"を入
力し、動きベクトルを求める必要のない領域のマクロブ
ロックに対して"１"を入力する。 ここでいうマクロブ
ロックとは、ＭＰＥＧなどで使われる縦１６ピクセル、
横１６ピクセルの矩形領域のことである。

【０１１５】動きベクトル情報は、図３８に示すよう
な、原文書フレームから切り出された対象となる出力映
像信号用フレームが一つ前に切り出された出力映像信号
用フレームからスクロールしたベクトルをマクロブロッ
ク単位で表した情報である。このとき、出力映像信号用
フレームのスクロールにより新しく現れた領域に対して
は、動きベクトルがなく、差分情報を求める必要がある
マクロブロック（図３８において"a"と表記されている
マクロブロック）として、動きベクトルとしてあり得な
い値を入れておく。

【０１１６】なお、本実施の形態ではマクロブロック単
位で動きフラグ情報と動きベクトル情報を生成している
が、一画素から、出力映像信号のフレームの大きさを超
えない限り、任意の大きさの単位で生成することも可能
である．また、差分情報とは、今回符号化するn番目の
フレームの各画素と、前回符号化したn-1番目のフレー
ムの対象となる画素との差分値である。この時、n番目
フレームの画素の対象となる、n-1番目のフレームの、
画素の位置は、動きベクトルにより変化する。

【０１１７】この処理の流れにおいて、出力映像信号用
フレーム切り出しと、動画符号化処理（ステップ４０１
４）と音声符号化処理（ステップ４０１５）とは逆の順
序、あるいは並行して行うことも可能である。さらに、
この処理の流れにおいて、出力映像信号用フレーム切り
出しと、動画符号化処理（ステップ４０１４）と音声符
号化処理（ステップ４０１５）とを、出力映像信号用フ
レーム切り出し処理（ステップ４０１２）が完了する前
に開始し、フレーム合成処理と交互あるいは並行して、
生成されるフレームおよび音声部品を逐次符号化するこ
とも可能である。

【０１１８】また、動画符号化補助手段４０１が、動画
シナリオから、動き予測フラグ情報と動きベクトル情報
を生成する処理（ステップ４０１３）で、動画符号化補
助手段４０１は、対象となるフレームが動画などの再生
時間を除いて、何番目に切り出されたフレームかをカウ
ントしておき、対象となるフレームのスクロールアクシ
ョン情報を取得し、動きの情報を得る．また、時間軸情
報生成手段２３（図７）は、最初のフレームに対して
は、必ずスクロールアクション情報を入れるようにして
おく。

【０１１９】以上により、動き予測フラグ情報と動きベ
クトル情報を元に、スクロール時に発生する動きを、出
力映像信号の動きとして利用することと、素材の領域に
あわせ、差分情報を計算する処理を省くことにより、符
号化に要する演算量を軽減することが出来る。

【０１２０】次に、動画符号化補助手段４０１が、動き
予測フラグ情報と動きベクトル情報を生成する処理（ス
テップ４０１３）について、図３６と図３９と図４０を
用いて説明する。

【０１２１】動画符号化補助手段４０１が、動き予測フ
ラグ情報と動きベクトル情報を生成する処理（ステップ
４０１３）の流れを図３６のフローチャートに示す。図
３６に示す通り、動画符号化補助手段４０１は、次の流
れで動き予測フラグ情報と動きベクトル情報を生成す
る。

【０１２２】ステップ４１０１：動画符号化補助手段４
０１が、動画シナリオ格納部１３から動画シナリオを取
得する ステップ４１０２：動画符号化補助手段４０１が、取得
した動画シナリオを元に、動き予測フラグ情報を生成す
る ステップ４１０３：動画符号化補助手段４０１が、取得
した動画シナリオのスクロールアクション情報から動き
ベクトル情報を生成する。

【０１２３】次に動画符号化補助手段４０１が、取得し
た動画シナリオを元に、動き予測フラグ情報を生成する
処理（ステップ４１０２）の流れを図３９のフローチャ
ートに示す。図３９に示す通り、動画符号化補助手段４
０１は、次の流れで取得した動画シナリオの素材情報を
参照し、動き予測フラグ情報を生成する。

【０１２４】ステップ４２００：動画符号化補助手段４
０１が、対象となる出力映像信号用フレームの中に、未
処理の画素が存在するかどうかを判断し、存在しなかっ
た場合は終了し、存在する場合は、 ステップ４２０１：動画符号化補助手段４０１が、動画
シナリオのスクロールアクション情報から、対象となる
出力映像信号用フレームの原文書フレーム上での位置を
求める ステップ４２０２：動画符号化補助手段４０１が、動画
シナリオに未処理の素材情報が存在するかどうかを判断
し、存在したら、 ステップ４２０３：動画符号化補助手段４０１が、対象
となる素材の範囲に、マクロブロック内の画素が含まれ
ているかどうかを判断し、含まれていなかった場合はス
テップ４２０２の処理に戻り、含まれていた場合は、 ステップ４２０４：動画符号化補助手段４０１が、対象
となる素材が時間により映像データが変化する素材であ
るかどうかを判断し、時間により映像データが変化する
素材ならば、 ステップ４２０５：動画符号化補助手段４０１が、対象
となる画素に対応した、動き予測フラグ情報のデータ
に、動き予測をするフラグとして"０"を入力し、ステッ
プ４２００の処理に戻る。

【０１２５】時間により映像データが変化しない素材な
らば、 ステップ４２０６：動画符号化補助手段４０１が、対象
となるマクロブロックに対応した、動き予測フラグ情報
のデータに、動き予測をしないフラグとして"１"を入力
し、ステップ４２００の処理に戻る。

【０１２６】ステップ４２０２において、未処理の素材
が存在しない場合、 ステップ４２０７：動画符号化補助手段４０１が、対象
となるマクロブロックの存在する領域を背景領域とみな
し、対象となるマクロブロックに対応した、動き予測フ
ラグ情報のデータに、動き予測をしないフラグとして"
１"を入力し、ステップ４２００の処理に戻る。

【０１２７】次に動画符号化補助手段４０１が、取得し
た動画シナリオのスクロールアクション情報から動きベ
クトル情報を生成する処理（ステップ４１０２）の流れ
を図４０のフローチャートに示す。図４０に示す通り、
動画符号化補助手段４０１は、次の流れで取得した動画
シナリオのスクロールアクション情報から、図３８に示
す動きベクトル情報を生成する。

【０１２８】ステップ４３００：動画符号化補助手段４
０１が、スクロールアクション情報に記述された、対象
となるフレームの動きの情報（図５のscroll-x、scroll
-y）を取得する ステップ４３０１：動画符号化補助手段４０１が、対象
となる出力映像信号用フレームの中に、未処理のマクロ
ブロックが存在するかどうかを判断し、存在しなかった
場合は終了し、存在する場合は、 ステップ４３０２：動画符号化補助手段４０１が、前回
符号化したフレームの中に対象となるマクロブロックに
スクロールにより新しく出現した領域のマクロブロック
が存在するかどうかを判断し、存在しない場合は、 ステップ４３０３：動画符号化補助手段４０１が、対象
となるマクロブロックに対応した、動きベクトル情報の
データに、取得した動きの情報を動きベクトルとして入
力し、ステップ４３０１の処理に戻る ステップ４３０４：動画符号化補助手段４０１が、対象
となるマクロブロックに対応した、動きベクトル情報の
データに、差分情報を計算する必要があるフラグとし
て"a"を入力し、ステップ４３０１の処理に戻る。

【０１２９】次に、適応型動画符号化手段４０２が、動
画符号化補助手段４０１が生成した動き予測フラグ情報
と動きベクトル情報を元に、符号化を行う処理（ステッ
プ４０１４）について図３４と図４１とを用いて説明す
る。

【０１３０】図３４に適応型動画符号化手段４０２の、
例えばMPEGといった映像の圧縮を行う符号化を行うモジ
ュールを対象とした機能ブロック図を示す。図３４に示
すように、適応型動画符号化手段４０２は、適応的動き
補償部４１１と、フレーム内符号化部４１２とからな
る。

【０１３１】適応的動き補償部４１１は、入力されたフ
レームに対して、フレーム間予測を行う時、前回符号化
したn-1番目のフレーム（例えば図３２の図a）と、今回
入力されたn番目のフレーム（例えば図３２の図ｂ）と
の間で、動き予測フラグ情報と動きベクトル情報から得
られた、動きベクトル（例えば図３２の図ｃ）を利用
し、動きベクトルを検出する処理を減らすことと、差分
情報を求める必要のないところは演算を行わないように
差分情報を生成する。

【０１３２】差分情報を求める必要のないところは、例
えば図３５での、前回符号化したn-１番目のフレーム
（図３５の図a）と、n番目のフレーム（図３５の図ｂ）
とのあいだで、スクロールによって新しく現れた領域と
消えた領域を除いた部分である。

【０１３３】フレーム内符号化部４１２は、適応的動き
補償部４１１により渡された、例えばフレームの差分情
報といったフレームのデータをもとに、直交変換や量子
化や可変長符号化などを行い、圧縮映像信号を生成す
る。

【０１３４】なお、マルチメディア原文書内に時間によ
り映像の変化する素材が存在するときは、時間により映
像の変化する素材の再生中のとき以外においてこの処理
を行う。

【０１３５】次に、適応的動き補償部４１１の動き予測
フラグ情報と動きベクトル情報をもとに、動きベクトル
を検出する処理を減らすことと、差分情報を求める必要
のないところは演算を行わないように差分情報を生成す
る処理の流れについて説明する。適応的動き補償部４１
１が、動き予測フラグ情報と動きベクトル情報をもと
に、動きベクトルを検出する処理を減らすことと、差分
情報を求める必要のないところは演算を行わないように
差分情報を生成する差分情報を生成する処理の流れを図
４１のフローチャートに示す。

【０１３６】図４１に示すように、適応的動き補償部４
１１は、次のようにして動き予測フラグ情報と動きベク
トル情報をもとに、動きベクトルを検出する処理を減ら
すことと、差分情報を求める必要のないところは演算を
行わないように差分情報を生成する。

【０１３７】ステップ４４０１：適応的動き補償部４１
１が、対象となる出力映像信号用フレームの中に、未処
理のマクロブロックが存在するかどうかを判断し、存在
しなかった場合は終了し、存在する場合は、 ステップ４４０２：適応的動き補償部４１１が、対象と
なるマクロブロックの、動画符号化補助手段４０１が生
成した動き予測フラグ情報を読み込む ステップ４４０３：適応的動き補償部４１１が、対象と
なるマクロブロックが動き予測を行う必要があるマクロ
ブロックであるかどうかを判断し、動き予測を行うマク
ロブロックならば、 ステップ４４０４：適応的動き補償部４１１が、動き予
測を行う ステップ４４０５：適応的動き補償部４１１が、動き予
測によって得られた前回符号化したフレームの対象とな
るマクロブロックとの差分情報を計算し、ステップ４０
１の処理に戻る。

【０１３８】動き予測を行わないマクロブロックなら
ば、 ステップ４４０６：適応的動き補償部４１１が、対象と
なるマクロブロックの、動きベクトル情報を読み込む。

【０１３９】ステップ４４０７：適応的動き補償部４１
１が、対象となるマクロブロックの、情報が動きベクト
ル情報が、差分情報を求める必要があるという情報であ
る"a"であるかどうかを判断する。"a"でなければ、 ステップ４４０８：適応的動き補償部４１１が、差分情
報を０とし、ステップ４０１の処理に戻る。"a"なら
ば、 ステップ４４０５：適応的動き補償部４１１が、動き予
測によって得られた前回符号化したフレームの対象とな
るマクロブロックとの差分情報を計算し、ステップ４０
１の処理に戻る。

【０１４０】以上のように、本実施の形態では、動き予
測フラグ情報と動きベクトル情報を元に、スクロール時
に発生する動きを、出力映像信号の動きとして利用する
ことと、素材の領域の特徴にあわせ、差分情報を計算す
る処理を省くことにより、符号化に要する演算量を軽減
することが、具体的には、本装置の符号化部１４は、動
画シナリオを元に、マルチメディア原文書の、静止画や
文字、背景などの、時間により映像が変化しない領域
が、フレームの大半を占めていて、かつ一定方向へのス
クロールが発生するといった特徴を利用し、符号化に要
する演算量を軽減することができる。

【０１４１】

【発明の効果】以上のように、本発明のマルチメディア
情報合成装置は、インターネットのホームページに代表
されるような、動画、静止画、文字型データ、背景静止
画などの異なった種類の素材と、その一覧や提示方法及
び振る舞いを記述した、シナリオ（例えばＨＴＭＬ）と
からなるマルチメディア原文書を一つの映像信号に合成
し、MPEGなどの圧縮映像信号に符号化することができる
ため、高度/多様な機能のない再生端末でもマルチメデ
ィア文書を再生できるという効果を奏するものである。

【０１４２】また、本発明のマルチメディア映像生成装
置の、もう一つの特徴である、マルチメディア原文書の
特徴に合わせた効率的な符号化を行うことにより、少な
い演算量で圧縮映像信号が作成されるという効果を奏す
るものである。

【図面の簡単な説明】

【図１】第１の実施の形態のマルチメディア情報合成装
置の構成を示すブロック図

【図２】第１の実施の形態のマルチメディア情報合成装
置の全体の処理の流れを示すフローチャート

【図３】動画シナリオの具体例を表わした図

【図４】素材情報の具体例を表わした図

【図５】スクロールアクション情報の具体例を表わした
図

【図６】素材アクション情報の具体例を表わした図

【図７】動画シナリオ生成部の構成を示すブロック図

【図８】マルチメディア原文書のフレームイメージから
出力映像信号用のフレームを切り出す具体例を表わした
図

【図９】動画シナリオを生成する処理の流れを示すフロ
ーチャート

【図１０】本装置の符号化部の構成を示すブロック図

【図１１】マルチメディア原文書を圧縮映像音声信号に
変換する処理の流れを示すフローチャート

【図１２】素材情報を生成する全体の処理の流れを示す
フローチャート

【図１３】素材が背景データの場合の素材情報を生成す
る処理の流れを示すフローチャート

【図１４】素材がテキストデータの場合の素材情報を生
成する処理の流れを示すフローチャート

【図１５】素材が動画データの場合の素材情報を生成す
る処理の流れを示すフローチャート

【図１６】素材が音声データの場合の素材情報を生成す
る処理の流れを示すフローチャート

【図１７】素材がイメージデータの場合の素材情報を生
成する処理の流れを示すフローチャート

【図１８】時間軸情報を生成する処理の流れを示すフロ
ーチャート

【図１９】出力映像信号フレーム数を生成する処理の流
れを示すフローチャート

【図２０】動画シナリオを元にスクロールアクション情
報と素材アクション情報を生成する処理の流れを示すフ
ローチャート

【図２１】動画シナリオを元にスクロールアクション情
報を生成する処理の流れの一例を示すフローチャート

【図２２】フレーム部品を生成し原文書フレームを生成
する処理の流れを示すフローチャート

【図２３】原文書フレームから出力映像信号用フレーム
を切り出し符号化する処理の流れを示すフローチャート

【図２４】フレーム部品の具体例を表わした図

【図２５】動画素材のフレーム部品を生成する処理の流
れを示すフローチャート

【図２６】静止画素材からフレーム部品を生成する処理
の流れを示すフローチャート

【図２７】文字素材からフレーム部品を生成する処理の
流れを示すフローチャート

【図２８】第２の実施の形態のマルチメディア情報合成
装置の構成を示すブロック図

【図２９】リンク情報の具体例を表わした図

【図３０】第３の実施の形態のマルチメディア情報合成
装置の全体の処理の流れを示すフローチャート

【図３１】第３の実施の形態のマルチメディア情報合成
装置の構成を示すブロック図

【図３２】出力映像信号用に切り出したn番目のフレー
ムとn+1番目のフレームとの間の動きを示すイメージ図

【図３３】第３の実施の形態のマルチメディア情報合成
装置の符号化部の処理の流れを示すフローチャート

【図３４】映像の圧縮を行う符号化を行うモジュールを
対象としたブロック図

【図３５】出力映像信号用に切り出したn番目のフレー
ムとn+1番目のフレームと同じ映像データが入っている
領域があることを示すイメージ図

【図３６】動き予測フラグ情報と動きベクトル情報を生
成する処理の全体の流れを示すフローチャート

【図３７】動き予測フラグ情報の具体例を表わした図

【図３８】動きベクトル情報の具体例を表わした図

【図３９】動画シナリオから動き予測フラグ情報を生成
する処理の全体の流れを示すフローチャート

【図４０】動画シナリオから動きベクトル情報を生成す
る処理の全体の流れを示すフローチャート

【図４１】動き予測フラグ情報と動きベクトル情報を元
に符号化を行う処理の流れを示すフローチャート

【符号の説明】

１１ シナリオ格納部 １２ 動画シナリオ生成部 １３ 動画シナリオ格納部 １４ 符号化部 １５ 出力圧縮映像信号格納部 ２１ シナリオ読み込み手段 ２２ 素材情報生成手段 ２３ 時間軸情報生成手段 １０１ 動画格納部 １０２ 静止画格納部 １０３ 文字格納部 １０５ 動画複合手段 １０６ 静止画展開手段 １０７ 文字展開手段 １０８ フレーム部品格納部 １０９ 出力映像信号用フレーム切り出し手段 １１０ 出力映像信号用フレームバッファ １１１ 音声部品格納部 １１２ 原文書フレーム合成手段 １１３ 原文書フレームバッファ １１４ 音声符号化手段 １１５ 動画符号化手段 １１６ 多重化手段 ２０１ リンク元シナリオ格納部 ２０２ リンク情報生成手段 ２０３ リンク情報格納部 ２０４ 符号化用シナリオ選択手段 ２０５ リンク先シナリオ取得手段 ２０６ 出力圧縮映像信号結合手段 ２０７ 結合号出力圧縮映像信号格納部 ４０１ 動画符号化補助手段 ４０２ 適応型動画符号化手段 ４１１ 適応的動き補償部 ４１２ フレーム内符号化部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上野山 努 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 岩崎 修 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 小宮 大作 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 由雄 宏明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK06 LA09 MA00 MA05 NN01 PP01 PP04 PP12 PP18 RB01 RB14 RC01 SS08 SS12 SS28 UA02 UA05 UA38 5C064 BA01 BB10 BC16 BC20 BD08 BD09 BD13

Claims (36)

【特許請求の範囲】
1. 【請求項１】動画、静止画、文字、音声などの、少なく
   とも１つ以上の素材と、前記素材の表示方法を記述した
   シナリオとからなるマルチメディア原文書を、時間軸方
   向に複数のフレームを持つ１つのデジタル映像信号に変
   換するマルチメディア情報変換方法。
2. 【請求項２】マルチメディア原文書を、前記マルチメデ
   ィア原文書の作成者の意図する構成及び配置で表示する
   マルチメディア原文書表示装置により表示された映像と
   同様の、前記１つのデジタル映像信号に変換することを
   特徴とする請求項１に記載のマルチメディア情報変換方
   法。
3. 【請求項３】素材の配置情報や、種類や数または内容と
   いったマルチメディア原文書の特徴と、１つのデジタル
   映像信号の、フレームのサイズの情報とから、前記マル
   チメディア原文書の展開方法を決定し、前記１つのデジ
   タル映像信号に変換することを特徴とする請求項１に記
   載のマルチメディア情報変換方法。
4. 【請求項４】マルチメディア原文書の素材の配置情報
   や、種類や数または内容といった特徴にあわせて、変換
   後の、１つのデジタル映像信号の総時間といった、時間
   軸を持った展開方法を決定し、前記１つのデジタル映像
   信号に変換することを特徴とする請求項１に記載のマル
   チメディア情報変換方法。
5. 【請求項５】マルチメディア原文書の一部又は全てを、
   シナリオに従い静止画に展開したものである原文書フレ
   ームを生成し、前記原文書フレームから、予め決めてお
   いたサイズのフレームを複数切り出し、１つのデジタル
   映像信号を生成することを特徴とする請求項１に記載の
   マルチメディア情報変換方法。
6. 【請求項６】マルチメディア原文書を１つのデジタル映
   像信号に変換するまえに、素材をそれぞれ、素材を合成
   する映像信号と同じ信号形式のデータであるフレーム部
   品に展開しておくことを特徴とする請求項１に記載のマ
   ルチメディア情報変換方法。
7. 【請求項７】フレーム部品を生成する際に、素材が文字
   素材の場合において、シナリオから取得した文字素材に
   対する情報と、文字数や改行といった文字の表示位置を
   示す情報とから、文字の展開される領域の大きさを決定
   することを特徴とする請求項６に記載のマルチメディア
   情報変換方法。
8. 【請求項８】シナリオの情報と素材をもとに、前記シナ
   リオを解析して得られる時間軸を持ち、マルチメディア
   原文書を展開し、１つのデジタル映像信号に変換するた
   めに必要な情報である、動画シナリオを生成することを
   特徴とする請求項１に記載のマルチメディア情報変換方
   法。
9. 【請求項９】 動画シナリオが、マルチメディア原文書
   を、シナリオの情報と素材をもとに、原文書フレームに
   展開するための前記素材の配置情報や、前記素材を展開
   した時のサイズといった、前記原文書フレームを生成す
   るために必要な情報と、前記原文書フレームから、１つ
   のデジタル映像信号のフレームを切り出す領域や生成す
   るフレームの数を示す情報といった前記１つのデジタル
   映像信号を生成するために必要な情報と、を含むことを
   特徴とする請求項８に記載のマルチメディア情報変換方
   法。
10. 【請求項１０】動画シナリオ情報が、出力映像信号の総
    時間を表した情報である出力映像信号総フレーム数の情
    報を持つことを特徴とする請求項８に記載のマルチメデ
    ィア情報変換方法。
11. 【請求項１１】出力映像信号総フレーム数をマルチメデ
    ィア原文書の特徴をもとに決定することを特徴とする請
    求項１０に記載のマルチメディア情報変換方法。
12. 【請求項１２】出力映像信号総フレーム数をマルチメデ
    ィア原文書内の総文字数をもとに決定することを特徴と
    する請求項１１に記載のマルチメディア情報変換方法。
13. 【請求項１３】動画シナリオが、素材の情報と前記素材
    を展開する時に必要な情報を含む情報である素材情報を
    含むことを特徴とする請求項８に記載のマルチメディア
    情報変換方法。
14. 【請求項１４】素材情報が、前記素材の特徴を示す情報
    と、マルチメディア原文書を展開したときの前記素材が
    展開される領域と位置を示す情報と、前記素材が文字の
    場合の、文字の特徴を示す情報と、前記素材が動画や音
    声の場合に、再生に要する時間を示した情報と、前記マ
    ルチメディア原文書の背景となる静止画が存在する場
    合、の静止画の前記背景への張り付け方法を示した情報
    とを持つことが出来る情報であることを特徴とする請求
    項１３に記載のマルチメディア情報変換方法。
15. 【請求項１５】動画シナリオ情報と、素材情報をもと
    に、前記素材を展開し、合成することにより、原文書フ
    レームを生成することを特徴とする請求項８に記載のマ
    ルチメディア情報変換方法。
16. 【請求項１６】動画シナリオが、素材の時間に依存した
    振る舞いを示す情報である素材アクション情報を含むこ
    とを特徴とする請求項８に記載のマルチメディア情報変
    換方法。
17. 【請求項１７】素材アクション情報が、素材である動画
    や音声などの再生開始および停止する時間を示す情報
    と、対象となる前記素材を特定するための情報とを含む
    ことを特徴とする請求項８に記載のマルチメディア情報
    変換方法。
18. 【請求項１８】動画シナリオが、原文書フレームのサイ
    ズが、１つのデジタル映像信号の、フレームのサイズよ
    りも大きかった場合に、前記原文書フレームの中の、前
    記１つのデジタル映像信号のフレームとして切り出す領
    域の位置を縦又は横方向に動かすことであるスクロール
    に必要な情報を含む情報であるスクロールアクション情
    報を含むことを特徴とする請求項８に記載のマルチメデ
    ィア情報変換方法。
19. 【請求項１９】スクロールアクション情報が、前記スク
    ロールの状態の変化が起きる時を示す情報と、前記スク
    ロールの状態として、縦軸、横軸それぞれの方向に、前
    記スクロールする移動量を示す情報とを含むことを特徴
    とする請求項１８に記載のマルチメディア情報変換方
    法。
20. 【請求項２０】素材情報をもとに原文書フレームのサイ
    ズである原文書フレームサイズを求め、前記原文書フレ
    ームサイズと、１つのデジタル映像信号の、フレームの
    サイズをもとに、スクロールアクション情報を生成する
    ことを特徴とする請求項１８に記載のマルチメディア情
    報変換方法。
21. 【請求項２１】原文書フレームサイズの縦幅または横幅
    と、出力映像信号フレームサイズの縦幅または横幅と、
    前記出力映像信号総フレーム数とから、一定時間にスク
    ロールする移動量であるスクロール速度を決定すること
    を特徴とする請求項２０に記載のマルチメディア情報変
    換方法。
22. 【請求項２２】原文書フレームのサイズが、１つのデジ
    タル映像信号の、フレームのサイズよりも大きかった場
    合に、前記原文書フレームから、前記１つのデジタル映
    像信号のフレームである出力映像信号用フレームを切り
    出すことを特徴とする請求項８に記載のマルチメディア
    情報変換方法。
23. 【請求項２３】原文書フレームから、１つのデジタル映
    像信号の、フレームの切り出す領域の位置を、スクロー
    ルアクション情報をもとに、変化させながら、出力映像
    信号用フレームを切り出すことを特徴とする請求項２２
    に記載のマルチメディア情報変換方法。
24. 【請求項２４】原文書フレームから、切り出し位置を、
    素材アクション情報をもとに、変化させながら、出力映
    像信号用フレームを切り出すことを特徴とする請求項２
    ２に記載のマルチメディア情報変換方法。
25. 【請求項２５】シナリオに記述された、１つあるいは複
    数の前記マルチメディア原文書を素材として示す情報で
    あるリンク先情報を持つマルチメディア原文書を、前記
    リンク先情報により示されたマルチメディア原文書をふ
    くめて、１つのデジタル映像信号に変換する、マルチメ
    ディア情報変換方法。
26. 【請求項２６】シナリオを元に、動画シナリオと、リン
    ク先情報により示されたマルチメディア原文書を示す情
    報を時間軸に沿って並べた情報であるリンク情報を生成
    することを特徴とする請求項２５に記載のマルチメディ
    ア情報変換方法。
27. 【請求項２７】動画シナリオの情報をもとに、マルチメ
    ディア原文書を映像信号に合成する時の、スクロール時
    に発生する動きを、出力映像信号を生成する時の、フレ
    ーム間予測における動き補償での動きベクトルを求める
    過程に使用することを特徴とする、請求項８に記載のマ
    ルチメディア情報変換方法。
28. 【請求項２８】動画シナリオの情報をもとに、スクロー
    ル時に発生する動きを、フレーム間予測における動き補
    償での動きベクトルとして記述した動きベクトル情報を
    生成することを特徴とする、請求項２７に記載のマルチ
    メディア情報変換方法。
29. 【請求項２９】動画シナリオの情報をもとに、マルチメ
    ディア原文書の、静止画や文字、背景などの、時間によ
    り映像が変化しない領域を、フレーム間予測での、フレ
    ーム間での差分値を求める演算を省くことを特徴とす
    る、請求項８に記載のマルチメディア情報変換方法。
30. 【請求項３０】動画シナリオの情報をもとに、マルチメ
    ディア原文書の、静止画や文字、背景などの、時間によ
    り映像が変化しない領域を表す動き予測フラグ情報を生
    成することを特徴とする、請求項２９に記載のマルチメ
    ディア情報変換方法。
31. 【請求項３１】シナリオを格納するシナリオ格納部と、
    前記シナリオを解析する事により動画シナリオを生成す
    る動画シナリオ生成部と、前記動画シナリオを元に素材
    を合成し映像信号を生成する符号化部と、を備え、 前記動画シナリオは、マルチメディア原文書を展開し、
    １つのデジタル映像信号に変換するために必要な情報で
    あり、シナリオの情報と素材をもとに、前記シナリオを
    解析して得られる時間軸を持つことを特徴とするマルチ
    メディア情報変換装置。
32. 【請求項３２】 符号化部が、素材を格納する素材格納
    部と、動画シナリオと格納されたそれぞれの前記素材か
    ら原文書フレームを作成する原文書フレーム合成手段
    と、前記動画シナリオを元に、前記原文書フレームか
    ら、出力映像信号用のフレームを切り出す出力映像信号
    用フレーム切り出し手段と、切り出された出力映像信号
    用のフレームを符号化する動画符号化手段と、音声素材
    及び動画素材に含まれる音声部分から音声符号化を行う
    音声符号化手段と、符号化された音声と動画を多重化す
    る多重化手段と、を備えることを特徴とする、請求項３
    １に記載のマルチメディア情報変換装置。
33. 【請求項３３】原文書フレーム合成手段が、動画素材を
    復号し、中に含まれる音声と動画の各フレームを非圧縮
    の状態に伸長する動画復号部と、静止画素材を、前記フ
    レーム部品に展開する静止画展開部と、文字素材を前記
    フレーム部品に展開する文字展開部と、前記フレーム部
    品を格納する前記フレーム部品格納部と、を備え、 シナリオと、前記フレーム部品格納部に格納された前記
    フレーム部品から、１つのビデオストリームのフレーム
    を生成することを特徴とする請求項３２に記載のマルチ
    メディア情報変換装置。
34. 【請求項３４】リンク先の情報から、リンク情報を生成
    するリンク情報生成手段と、前記リンク情報を元に、符
    号化するシナリオを選択する符号化用シナリオ選択手段
    と、素材を格納する素材格納部と、前記シナリオを格納
    するシナリオ格納部と、動画シナリオを生成する動画シ
    ナリオ生成部と、動画シナリオと格納されたそれぞれの
    前記素材から原文書フレームを作成する原文書フレーム
    合成手段と、前記動画シナリオを元に、前記原文書フレ
    ームから、出力映像信号用のフレームを切り出す出力映
    像信号用フレーム切り出し手段と、切り出された出力映
    像信号用のフレームを符号化する動画符号化手段と、音
    声素材及び動画素材に含まれる音声部分から音声符号化
    を行う音声符号化手段と、符号化された音声と動画を多
    重化する多重化手段と、多重化された圧縮映像音声信号
    を結合する出力圧縮映像信号結合手段と、を備える請求
    項３１に記載のマルチメディア情報変換装置。
35. 【請求項３５】圧縮映像信号を生成する場合において、
    符号化部が、動画シナリオの情報をもとに、動きベクト
    ル情報を生成する動画符号化補助手段と、前記動きベク
    トル情報をフレーム間予測における動き補償での動きベ
    クトルを求める過程に使用することにより、切り出され
    た出力映像信号用のフレームを符号化を行う適応型動画
    符号化手段と、を備えることを特徴とする、請求項３１
    に記載のマルチメディア情報変換装置。
36. 【請求項３６】圧縮映像信号を生成する場合において、
    符号化部が、動画シナリオの情報をもとに、動き予測フ
    ラグ情報を生成する動画符号化補助手段と、前記動き予
    測フラグ情報をもとに符号化を行う適応型動画符号化手
    段と、を備えることを特徴とする、請求項３１に記載の
    マルチメディア情報変換装置。