JP2001507471A - イメージデータとサウンドデータをスケジュールして処理するシステムと方法 - Google Patents

イメージデータとサウンドデータをスケジュールして処理するシステムと方法

Info

Publication number
JP2001507471A
JP2001507471A JP52471598A JP52471598A JP2001507471A JP 2001507471 A JP2001507471 A JP 2001507471A JP 52471598 A JP52471598 A JP 52471598A JP 52471598 A JP52471598 A JP 52471598A JP 2001507471 A JP2001507471 A JP 2001507471A
Authority
JP
Japan
Prior art keywords
data
temporary
image
temporary data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP52471598A
Other languages
English (en)
Inventor
ブランドン，ダルバート，エル．
Original Assignee
アメリカ オンライン，インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アメリカ オンライン，インコーポレーテッド filed Critical アメリカ オンライン，インコーポレーテッド
Publication of JP2001507471A publication Critical patent/JP2001507471A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 一時的及び非一時的データの両方を、好ましくは圧縮されたフォーマットで、含む統合されたストリームのデータを作成して処理するシステム及び方法。スケジューラ(602)が、一時的データ(例えば、サウンドデータ)及び非一時的データ(例えば、画像データ)を取り込み、それらを一緒にインタリーブして統合されたデータストリーム(610)を形成する。圧縮された画像データを圧縮解除し、圧縮解除された画像データ及びあらゆる圧縮されていない画像データの両方から出力画像をつくるプロセッサが備わっている。プロセッサは、また、圧縮された一時的データを同時に圧縮解除しながら、一時的データ(604)をプレイする。一時的データ(604)は、サウンドデータ及びMIDIファイルを含む如何なるフォーマットでもよく、同様に画像データもビデオ及び静止画像を含む如何なるフォーマットでもよい。ビデオ及びサウンドデータ(MIDI及び声を含む)をスケジューリング及びプレイすることによってコンピュータスライドショーを作成することができ、このショーにおいては、ビデオ及びサウンドデータは統合されたデータストリーム(610)にインタリーブされる。

Description

【発明の詳細な説明】 イメージデータとサウンドデータをスケジュールして処理するシステムと方 法 発明の背景 1．発明の分野 本発明は、統一されたデータストリーム中にイメージとサウンドをインタリー ブしてこの統一済みデータストリームの処理を可能とするイメージとサウンドを スケジュールして処理するシステムに関する。 発明の概要と背景 マルチメディアとは、イメージとサウンドの双方をこれらを示すデータに変換 して、このデータを最終的な宛先にチャネルを介して送信する科学である。この チャネルの帯域幅が限定されたものになるに連れて、イメージとサウンドの形態 をさらに圧縮することが望ましくなる。 イメージとサウンドは通常は、モデムを用いた電話回線上でなど、有線送信で 送信される。情報圧縮によって、この限られた帯域幅のチャネルを介して送出さ れるデータの量が増す。 サウンドとイメージのデータを圧縮するさまざまな技法が技術上周知である。 例えば、技術上周知なように、イメージデータは「GIF」イメージまたは「JPE G 」イメージとして記憶することができる。イメージはまた、すべて本発明の譲受 人に譲受された同時係属米国特許出願第０８／６３６，１７０号；第０８／５４ ５，５１３号；および第０８／２７５，９４５号に述べる技法を用いて圧縮する こともできる。 サウンド圧縮もまた周知である。特に好ましい１つのサウンド圧縮の形態は、 ボコーダを用いてボイスを圧縮するというものである。ボコーダ技術は良好に確 立されたものである。音楽もまたＭＩＤＩフォーマットで送信可能である。ＭＩ ＤＩサウンドは一連の音符対時間として送信されるが、最終的なサウンドを形成 するためにこれらの音符のすべてが一緒にプレイされる。 多くの圧縮技法の成功は、２つの別々の一時的な瞬間における情報同士間の類 似度に依っている。ほとんどの圧縮技法は、実世界の情報は短い期間では余り変 化しないというモデルに基づいている。すなわち、時間の経過に対して、多くの イメージは相違より類似度をより多く有する。また、多くのアニメーションのシ ーケンスは後続シーケンス同士間では相違より類似度のほうが多い。サウンドも また圧縮できるのは、短期間での変化が非常に小さいからである。サウンドは、 さまざまな周知の技法を用いてそのサウンドをモデリングすることによってさら に圧縮することができる。サウンド圧縮技法の１例が、本発明の譲受人に譲受さ れた、同時係属米国特許出願第０８／５４５，４８７号に述べられている。 一般に、サウンドとイメージは非常に異なった技術で圧縮されなければならな い。同じ技術を使用してサウンドとイメージの双方を圧縮することができるが、 その圧縮結果はサウンドに対してもイメージに対しても最適化されない。未だ、 サウンド情報とイメージ情報は共通チャネル上で送信するのが望ましいのである 。 したがって、本発明の１つの目的は、共通チャネル上でのサウンドとイメージ の送出を容易なものとするためにサウンドとイメージを処理する特殊な方法を提 供することにある。本発明は、サウンドとイメージの処理をより効率的なものと する特殊な処理技法を含む。 第１の実施形態では、本発明は、限られた帯域幅チャネル上で動作するサウン ド送信システムである。このシステムは、コーディングされる一連のサウンドを 受信するように構成されている第１の要素を含んでいる。このシステムは、この 一連のサウンドの一部分を検査してその一連のサウンドを分析する限られた帯域 幅チャネル上で供給可能なデータ量を決定するために分析装置要素をさらに含ん でいる。要するに、このシステムは、送信可能なデータ量を計算して、システム の機能停止に導きかねないデータ不足を決定する計算要素を含んでいる。この計 算要素は、機能停止を検出でき、さらに、機能停止が検出されたら、一連のサウ ンド中に区切り点があるか否かを発見してその区切り点で一連のサウンドを停止 できる予見システムを含んでいる。 別の実施形態では、本発明は、統一データストリーム中のイメージデータとサ ウンドデータを処理する方法である。本方法は：（ａ）イメージデータとサウン ドデータをインタリーブして統一データストリムを形成するステップであり、そ のイメージデータの少なくとも１部がイメージ圧縮済みフォーマット中にあり、 そのサウンドデータの少なくとも１部がサウンド圧縮済みフォーマット中にある ステップと；（ｂ）統一されたデータストリームを処理するステップと；を含ん でいる。ステップ（ｂ）では、イメージ圧縮済みフォーマット中のイメージデー タは圧縮解除され、出力イメージはこの圧縮解除されたイメージデータおよびあ らゆる未圧縮イメージから生成され、サウンドデータは圧縮解除されながら同時 にプレイされる。 本発明のこの好ましい実施形態の詳細は添付図面と以下の記述に記載する。本 発明の詳細が知られれば、多くの追加の技術革新性と変更が当業者には明らかに なるであろう。 図面の簡単な説明 本発明のこれらの態様および他の態様を以下の添付図面を参照してここで詳述 する： 図１は、本発明に従ったデータフォーマットの図であり； 図２Ａと２Ｂは、図１のデータフォーマットのプレーヤの２つの実施態様のブ ロック図であり； 図３は、図２のプレーヤの詳細を示すブロック図であり； 図４は、プレーヤが動作する処理を示すフローチャートであり； 図５は、ＭＩＤＩファイルがプレイされる処理を示すフローチャートであり； 図６は、本発明に従って１つのデータストリーム中にサウンドとイメージの情 報をインタリーブするスケジューラのフローチャートであり； 図７は、インタリーブされたサウンドとイメージのデータがどのようにスケジ ュールされるかを示すフローチャートであり； 図８は、本発明による進行スライドショー・プレーヤの統合型プレーヤ・シス テムのブロック図であり； 図９は、本発明に従って１つのデータストリーム中に進行スライドの構成デー タをインタリーブするスケジューラを示す図であり； 図１０は、図９のスケジューラが進行スライドショーの機能停止を最小化する 処理を示すフローチャートである。 さまざまな図面中で同様の参照番号と指示は同様の要素を示す。 発明の詳細な説明 本記述の全体にわたって、図示する好ましい実施形態と実施例は、本発明に対 する制限ではなく例として考えるべきである。好ましい実施形態は多くのソース からのデータを処理しこのデータを、本明細書に述べる特殊な方法で一緒に累積 する。 本発明に従えば、スピーチデータはいかなる周知のボイスコーディングされた 形態でもあってもよい。次に、スピーチデータは一連のパケットとして符号化さ れる。このパケットの第１の部分は、一般的には１バイトと２５６バイトの間で あるパケット長を示す。この実施態様では、各パケットは約２４０ｍｓのサウン ドを提示する。より正確なプレイ時間はスピーチコードをパケットでキューイン グすることによって決定され得る。パケットの最初の部分はまた、パケットの性 質に関するさらなる情報を含む。自然なボイスはしばしば、センテンス同士間の 休止、センテンス内の休止、さらにワード内の休止などの自然の区切りを含んで いる。また、この第１の部分は、ボイスコーティングされた情報中のこれらの自 然な区切り点を記述する。以下に詳述するように、これらの区切り点は本発明で 利用される特殊な利点となるものである。 本発明によるシステムは、限られた帯域幅チャネル上でどれほどのデータ量が 供給可能であるか予見して決定する。予見システムがシステム機能停止を示すポ イントがあるかもしれない：すなわち、保証された中断されないプレイなしで継 続するにはデータが十分でないかもしれない。このような機能停止は非常に不自 然なサウンドを発生することがある。本発明によるシステムにおいては、機能停 止がシステム予見システムによって検出されたら、その機能停止は自然な区切り 点を休止させる。これによってサウンドに不自然な感じがするのを最小化する。 本発明の究極の目的は、一時的なデータを非一時的なデータと合成して統一デ ータストリームとすることである。「一時的データ」という用語は、中断されな いようにプレイされ、必ずしも一時的には実行されないとはいえ、特定の時間に 配送すべきデータを含んでいる情報のことである。一時的データの例には、サウ ンドデータ、ＭＩＤＩデータ、ビデオデータおよびいくつかのコマンドを含む。 「非一時的データ」という用語は、イメージデータ及び、イメージの表示に影響 するコマンドなどのある種のコマンドデータを含む、非中断的にプレイする必要 のない情報のことである。便利なように、この記述のいくつかの部分では、一時 的データは厳密にサウンドデータとして記述され、非一時的データは厳密にイメ ージデータとして記述される。しかしながら、一時的データと非一時的データと はそれほど厳密ではなく、もっとも広い意味に解釈されることが理解されよう。 イメージ情報は、タグ付きランレングスの形態で得るのが望ましい。このタグ には、情報の長さとタイプを示すヘッダが含まれる。例えば、情報は、ハフマン （Ｈｕｆｆｍａｎ）、テーブル形態、ＶＱ、ＤＣＴなどを含む複数の異なった形 態の内のどの形態でも圧縮可能である。初期パケットはまた、情報の追加的記述 となるものである。 サウンドデータとイメージデータはそれぞれがセグメントに形成される。各セ グメントは、上記のように、長さが１〜２５６バイトの多くのパケットを包含す る。イメージセグメントは一般的には、サウンドセグメントよりはるかに長い。 イメージセグメントは約１〜３２ＫＢの範囲になり得る。サウンドパケットは、 これまた約１〜３２ＫＢになる１つのセグメントに収集され得る。しかしながら 、ここに述べるセグメントの長さは単に例示目的であり他の長さのセグメントを 用いても良いことを理解すべきである。 本発明では、一時的データ（例えば、サウンド）のパケットは以下の詳述する ように、非一時的データ（例えば、イメージデータ）のパケット同士間にインタ リーブされる。このサウンドとイメージが結合したパッケージャは本書では「ス ケジューラ」と呼ばれる。このスケジューラもまた以下に詳述する。 その結果得られるデータフォーマットを図１に示すが、ここでは、一時的デー タ・パケット（例えばサウンド）１０２が非一時的データ・セグメント（例えば 、イメージ）１０４同士間にインタリーブされている。各一時的データ・パケッ ト１０２はヘッダ部分１１０を含むが、これは上記のような「第１の部分」のよ うな情報を含み、パケットに包含される一時的データ（例えば、サウンドデータ 、ＭＩＤＩデータ、制御データ）のタイプに関する情報を提供することが好まし い。また、各一時的データ・パケット１０２はデータ・セクションを含むが、こ のセクションはランレングスバイト１８０で分離されているサウンドデータ１７ ２を含んでいる。また、各非一時的すなわちイメージのセグメント１０４は、ヘ ッダ部分１２０とイメージデータ１２２を含んでいる。マーカ１３０と１３２は 一時的データ・パケット１０２内のさまざまな時刻でおかれる。その上、開始ヘ ッダ１５０を用いて、データフォーマット１００のさまざまなパラメータを設定 することができる。マーカ１３０および１３２並びに開始ヘッダ１５０は以下に 詳述する。一時的データ・パケット１０２はボイスコーディングされたパケット に限られるわけではなく、これまた、圧縮と非圧縮とを問わず、ビデオと音楽サ ウンドを含むことが理解されよう。また、ＭＩＤＩ、FM合成または他のあらゆる 技法を含むどの周知の方法を用いてもサウンドを実現でき、そのサウンドをいか なる周知の方法でもプレイすることができる。 プレーヤの動作を、通過式システム２００を示す図2Aを参照して述べる。本発 明の技法の特に重要な特徴は、イメージ復号化ソフトウエアがしばしば動作した 方法を利用している点である。イメージ復号化ソフトウエアは、特殊コーディン グされたイメージ情報ブロックを復号化する必要がある。この種類のたいていの イメージデコーダは、デコーダが認識するフォーマットを持つイメージだけを復 号化する。デコーダは、望ましいデータの判定基準に適合しないデータはすベて 廃棄する。図１に示す形態を持つイメージ・サウンド合成情報１００はイメージ プレーヤ２０２に渡される。イメージプレーヤ２０２は、出力イメージ２０４を 生成し、サウンドデータ２０６を無視する。しかしながら、イメージプレーヤ２ ０２は通過タイプのものである。その結果、サウンドデータ２０６は専用のサウ ンドプレーヤ・モジュール２１０に渡される。この専用のサウンドプレーヤ・モ ジュール２１０は本書に述べるように動作して、サウンド情報をさらにプレイす る。 本発明によるシステムは、ルックアップ・テーブル及び他のハード・コーディ ングを用いる多くのハードウエア・モジュールとして（すなわち、「多重スレッ ド」システムとして）形成可能であることが認められる。このシステムはソフト ウエアで実現するのがより望ましいが、この場合、コーディング・モジュールは すべて、多重スレッド・オペレーティングシステム内のダイナミック・リンク・ ライブラリ（「ＤＬＬ」）中のＡＰＩとして実現される。このシステムはまた、 「単一スレッド」システムとしても実現可能である。 プレーヤの第２の実施形態は、図２Ｂに示すように、非通過式（又は単一スレ ッド式）システム２２０である。この実施形態では、アプリケーションは、デー タ・システム１００のどの部分がサウンドでありどの部分がサウンドでないかが 分かるように構築されている。このサウンド部分は、本書に述べるように動作す るプレーヤ２２２に直接に渡される。 好ましいサウンドプレーヤを図３に示す。圧縮済みサウンドデータ３０１は、 一連の入力バッファ３０２、３０４及び３０６に入力される。入力バッファ３０ ２、３０４及び３０６の各々はある量のサウンドデータ３０１を記憶する。プレ ーヤの論理要素３１０は、空にする必要がある次のバッファからデータを選択す るために多重化プロトコルを制御することによって、入力バッファ３０２、３０ ４及び３０６すべての動作を制御する。入力バッファ３０２、３０４、３０６か ら得られた圧縮データは、プレーヤ論理要素３１０からデコーダ３１２に出力さ れる。デコーダ３１２は、パルス符号変調（「ＰＣＭ」）サウンドデータストリ ーム３１５を発生するコーディングのためのシステムに対し逆コーディング・シ ステムを用いる。ＰＣＭサウンドデータはいかなる種類のオーディオ・データ又 はボイスデータでもよいことを理解すべきである。 出力ＰＣＭサウンドデータ３１５はデコーダ３１２から複数の出力バッファ３ ２２、３２４及び３２６に送られる。出力バッファ３２２、３２４、３２６はそ れぞれ出力ＰＣＭサウンドデータを記憶する。 プレイ動作は、プレイ・コマンド３３２を発生する総合コマンド・モジュール ３３０によって指令される。プレイ・ドライバ３３５は、出力バッファ３２２、 ３２４、３２６の内のどれが次に処理するバッファとなるか決定する。次の出力 バッファからの情報が得られたら出力PCM情報３４０として出力される。追加の フォーマット変換システム３５０（例えば、ＰＣＭサウンドカード）はＰＣＭ情 報３４０を所望のフォーマット、例えばFM合成済みサウンドカードフォーマット 、オペレータ合成フォーマット又はＭＩＤＩなどに変換する。 図３に示すサウンドプレーヤの重要な特徴は、動作を継続しながら圧縮解除す る能力である、すなわち、サウンドプレーヤ３００は即座にデータを圧縮解除で きる点である。サウンドプレーヤ３００の複数バッファ構造によって、デコーダ ３１２が、入力バッファのコンテンツを復号化し、それを別の空の出力バッファ に出力するのを容易となる。次に、この空の出力バッファは適切に処理される。 重要なことは、情報は併行して圧縮解除されるので、サウンドをプレイする前に ファイル全体を圧縮解除する必要がないことである。 その上、併行して圧縮解除できるというこの能力の１部として、サウンドプレ ーヤ３００はある種のインテリジェンスを持つ必要がある。プレーヤ論理要素３ １０は、自身がプレイを継続できるか否かを入力バッファ３０２、３０４、３０ ６中のサウンドの量に基づいて決定しなければならない。入力バッファ中のサウ ンドは、限られた帯域幅チャネル上で送信可能なサウンドの量によって制限され る。この動作は、データ量とそのプレイ時間との間の図形的関係を決定すること によって継続する。 サウンドプレーヤ３００の動作のフローチャートを図４に示す。ステップ４０ １で、プレーヤ論理要素３１０は入力バッファ３０２、３０４、３０６を調査し て、事前決定された量の情報がバッファ内にあるか否か決定する。この事前決定 された情報量は「事前開始バックログ」としてラベル付けされる。この事前開始 バックログは、サウンドプレーヤ３００が安全に動作するに十分であるように設 定されるデータ量である。本書では、本発明によるさまざまなタイミングは、事 前開始バックログの事後充填を参照して考慮される。この事前開始バックログを 用いて、プレイが発生し得る前のバッファを提供する。エンド・オブ・ファイル （「ＥＯＦ」）指示は、入力バッファ内の記憶済みデータの量が事前開始バック ログに等しくない場合でさえも、常にサウンドプレーヤ３００の動作を開始する 。 事前開始バックログ又はＥＯＦがステップ４０１で決定されると、プレーヤの 動作によって、ステップ４０２などで示す時間ゼロ（Ｔ＝０）が定義される。ス テップ４０４では、サウンドデータ内の区切り点を予想することによって、入力 バッファ３０２、３０４、３０６中のサウンドシーケンスを分析する。区切り点 が見つかると、サウンドはステップ４０６で開始され、区切り点に達するまでサ ウンドはプレイされる。その一方、ステップ４０４で区切り点が見つからない場 合、動作はステップ４０８に飛び、ここで、入力バッファ３０２、３０４、３０ ６中のデータ量が本発明によって許される最大バックログより大きいか否かを決 定する。大きくない場合、制御はステップ４０４に戻り、該当のサウンドデータ の前に区切り点を探す。 区切り点がステップ４０４で決定されるか、又は最大バックログがステップ４ ０８で決定されるかすると、記憶されているサウンドはステップ４０６でプレイ される。このプレイは区切り点に遭遇するまで継続することが望ましい。 ステップ４１０では、機能停止状態が決定される。機能停止状態は、中断する 場所である区切り点を持たないデータのロスによってもたらされる。この状態に よって、プレイされたサウンドが不自然な場所で停止する。ステップ４１０で機 能停止が検出されたということは、機能停止が発生しそうなようにデータの特徴 がなっていることを示す。これは、ステップ４１５で最大バックログを再開始バ ックログ値で置き換えることによって処理される。この再開始バックログによっ て、入力バッファ・バックログ内に存在する必要があるデータの量が増し、この ため、他の機能停止がさらに発生する可能性が低くなる。 本発明の重要な特徴は、サウンドデータが送信されている実際のボーレートを 測定できる能力である。図１を参照すると、マーカ１３０と１３２はサウンドパ ケット１０２内のさまざまな時間におかれる。マーカ１３０と１３２間の距離は 特定のサウンドデータ時間を示す。マーカ１３０と１３２の各々が受信された時 間は書き留められる。マーカ受取間の時間が測定され、その時間はマーカ受取間 の実際のプレイ時間で除算される。これによって、イメージデータがサウンドの ボーレートと混合していてもサウンドデータのボーレートを測定できる。 開始ヘッダ１５０を用いて、オリジナルのバックログ、最大バックログ及び再 開始バックログなどのオリジナルのパラメータを設定することができる。これに よって、これらのパラメータはシステム中の各スライス毎に個別にコーディング され得る。また、データの種類が異なればバックログ量も異なるようにすること ができる。 ＭＩＤＩは、本発明に従って使用されるサウンドの好ましいタイプを表す。Ｍ ＩＤＩファイルはコンピュータ技術にはよく使用される。ＷｉｎｄｏｗｓTMＭＩ ＤＩファイルは、各楽器のサウンドと時間を含む多数の情報項目を含んでいる。 ＭＩＤＩファイルの各トラックは楽器を表しており、複数の時間と他の情報メッ セージを含んでいる。 先行技術においては、サウンドはさまざまなＭＩＤＩトラックの組み合わせで あるので、トラックをすべて獲得し、プレイできるようになる前にそれをすべて 一緒に取り付ける必要があった。このように、各トラックは、各々が時間とデー タを含んでいる多くのメッセージを含んでいる。これらのＭＩＤＩファイル情報 のすべてを互いに相関させて、全体的な楽器サウンドを形成しなければならない 。したがって、ＭＩＤＩファイル全体を受信し、なにかがプレイされる前にそれ を一緒に相関するというのが技術上の基準である。本発明は、即座にＭＩＤＩを プレイすることを可能とするためのＭＩＤＩ処理の技法を説明する。 本発明による標準フォーマットのＭＩＤＩファイルは、標準のＭＩＤＩフォー マットを特殊なＭＩＤＩフォーマットに変換する特殊なトランスレータによって 前処理される。この特殊なフォーマットはある時間のすべてのメッセージを一緒 にグループ化する。ひとたび特定の時間に対するすべてのメッセージが読み取ら れると、ＭＩＤＩファイルの該当する部分をプレイできる。これによって、ＭＩ ＤＩファイルの１部分を、ＭＩＤＩファイル全体が受信される前にプレイできる 。 図５に、即座にＭＩＤＩファイルをプレイするプロセスを示す。ステップ５０ ０では、上記のＭＩＤＩメッセージのすべてを含むＭＩＤＩファイル全体が獲得 される。ステップ５０２では、特定の時間のメッセージが一緒に維持されるよう に、ＭＩＤＩファイルを時間でソートする。このソートされたファイルは通常の ＭＩＤＩファイルよりいくぶん長いが、時間でソートされる。時間によってソー トされるので、特定の時間はＭＩＤＩファイル全体が受信される前にプレイでき る。ステップ５０４では、特殊な時間順序付けされたＭＩＤＩデータストリーム が作成される。次に、ステップ５０６では、この特殊なＭＩＤＩデータストリー ムが圧縮されるが、それはストリーム圧縮解除を可能とするようなフォーマット で圧縮するのが望ましい。ステップ５０８では、統一データストリーム中の他の データ・パケットでインタリーブされた圧縮済みＭＩＤＩデータ・パケットが生 成される。 重要な問題は、このインタリーブされた情報をどのようにしてサウンドデータ とイメージデータが統一されたストリーム中にどのようにスケジュールするかと いうことである。これは、本発明による改良型スケジューラで解決される。 図６は、好ましいスケジューラ６０２のブロック図である。スケジューラ６０ ２は、同じ機能を実行するハードウエア・デバイスから形成できるとはいえ、ソ フトウエア・モジュールで形成するのが好ましいことを理解すべきである。スケ ジューラ６０２は一時情報６０４、すなわちサウンドなどの、非中断方法でプレ イするのが重要な情報を受信する。またスケジューラ６０２は、イメージデータ のような非一時情報６０６を受信する。またスケジューラ６０２は、この情報す べてを一緒にインタリーブして、図６に示すようなスケジュール済み情報のスト リームを作成する。 スケジュール動作は次にように実行される。第１に、この例では、スケジュー ラ６０２は、トラック０がボイスであると決定する。スケジューラ６０２はボイ スセグメント１、６１２を時間ゼロ（ｔ０）に、ＭＩＤＩセグメント１、６１４ を時間ｔ0＋Ｖ0に置く（ここで、Ｖ0はダウンロード時間６１６である）。ボイ スセグメント１、６１２とＭＩＤＩブロック１、６１４のプレイ時間は、それら のダウンロード時間より長いことに注意。したがって、ＭＩＤＩセグメント１、 ６１４のプレイ時間６１８はそのダウンロード時間６１７より長い。同様に、ボ イスセグメント１、６１２のプレイ時間６２０はそのダウンロード時間６１６よ り長い。 このプレイ時間によって、次のボイス／ＭＩＤＩ値がいつ一時間６２２−必要 となるか定義する。オーディオ・セグメント１、６３０のプレイ時間は時間６２ ４で終了する。スケジューラ６０２はバックログ・ギャップ６２６を、次のオー ディオ・セグメント６４０のダウンロード終了とオーディオ・セグメント６３０ のプレイ時間６１８と６２０の終了６２４の間に置く。したがって、スケジュー ラ６０２は次のオーディオ・セグメント６４０の最小開始時間６２２を設定する 。 しかしながら、このようなスケジュール動作によってオーディオ・セグメント ６３０と６４０間にギャップが残ることが認識された。その上、最小プレイ時間 は、オーディオ・セグメント６３０と６４０を生成できる最新の可能時間である 。オーディオ・セグメント６３０と６４０は、必要に応じて最小プレイ時間より 前のどの時点でもダウンロードできる。オーディオ・セグメント同士間のギャッ プを用いて１１、６５０などのイメージセグメントを記憶する。 スケジュール動作がイメージセグメントとオーディオ・セグメント間で重なる と、イメージセグメント用の余地をより多く残すために、オーディオ・セグメン トはより早期な時間に移動される。その上、必要に応じて、オーディオ・セグメ ントは区切り点で分割できる。 スケジューラ６０２の全体の動作は図７のフローチャートの通りである。ステ ップ７００では、第１のトラック（「トラック０」）の情報に最高位の優先情報 が与えられる。ステップ７０２では、ダウンロード時間とプレイ時間をプロット して、次式に従って、次のオーディオ・セグメントの最新の可能開始時間（「ｓ ｔ」）を決定する： ｓｔn＝ｐｔn-1−max gap−ｄｔmaxbacklogn （１） 式（１）で、「ｎ」は現行のブロックであり、「ｎ−１」は直前のブロックで あり、「ｄｔ」はダウンロード時間であり、「ｐｔ」はプレイバック時間である 。一時情報のすべて、すなわち中断なしでプレイする必要があるすべての情報が ステップ７０３で最新の可能位置におかれて、初期マップを形成する。ステップ ７０４では、イメージ情報は隣同士のオーディオ・セグメント間のギャップには め合わされる。ステップ７０６では、どこかの情報間に重なりがあるか否か決定 される。ステップ７０６で重なりが見つかった場合、オーディオ・セグメントは ステップ７０８で戻されて重なりを避ける。見つからなかった場合、プロセスは ステップ７００で再度開始される。 全ての重なりがすべて解消されたら、ステップ７１０で、隣接したどれかのオ ーディオ・セグメントが自分たち同士間にギャップ無しで互いに隣り合って置く ことができるか否かが決定される。もしできれば、このような隣接したオーディ オ・セグメントはステップ７１０で互いに隣り合って置かれ、そうでない場合に ２つの分離したセグメントが必要なヘッダ用スペースを維持する。また、ステッ プ７１０は、オーディオ要素とイメージ要素間のすべてのデッド・スペースが、 これらの要素をスライドして戻すことによって、すなわちこれらの要素をより早 期にダウンロードするようにスケジュールすることによって除去される。 ひとたびオリジナルのバックログがどれかのバッファに入力されると、スケジ ューラ６０２は時間ゼロ（ｔ0）で開始される。上記のように、オリジナルのバ ックログは設定された値であるが、希望に応じてどの情報についてもリセット可 能である。 ステップ７１０に関連して上述した位置とスライドのアルゴリズムは、情報の 最新の可能な点を決定し、時間を過去にスライドさせてそれに対処することによ って動作する。区切り点での分離や他の技法などのさまざまな改善もまた考慮さ れている。 例示の統合式スライドショー・プレーヤ・システム８００を図８に示す。スラ イドショー情報のデータストリーム８０２はデマルチプレクサ（「ｄｅｍｕｘ」 ）８０４に、できれば本書では「アートフォーマット」として知られる専用フォ ーマットで入力される。ｄｅｍｕｘ８０４はデータストリーム８０２を分析して 、そのコンポーネント部分を決定するが、この部分は、図８の例では、イメージ ８０６、ＭＩＤＩ８０８及びスピーチ／ボイス８１０を含むことがある。 一セットのコマンド８１２もまた、データストリーム８０２から分割されて制 御要素８１４に出力されて処理される。制御要素８１４は、プレイ・シーケンス の１部としてバックログ及びプレイ時間を決定することも含めた記述の技法を用 いるのが望ましい。制御要素８１４はコマンド８１２を用いて、イベント・テー ブル８１６を形成する。イベント・テーブル８１６は、特定の時間とその時間で 発生するイベントのリストを含むフォーマットを持つ。以下に説明するように、 イベント・テーブル８１６へのエントリを用いて、制御要素８１４からプレーヤ ８００中の他の要素に送出される処理コマンド８１８を発生させる。イベント・ テーブル８１６はまた、以下に述べるように、選択された要素同士間の接続を形 成するためにも用いられる。 制御要素８１４はまた、プログラミング用コマンドをｄｅｍｕｘ８０４に送り 返すために使用されるフィードバック・ライン８２０を含んでいる。ｄｅｍｕｘ ８０４はある種の組み込みインテリジェンスを有し、さまざまなタイプのデータ とコマンドを区別するが、その組み込みインテリジェンスで他の機能を実行する ことは不可能である。例えば、ｄｅｍｕｘ８０４は出力データストリーム中のイ ンスタンスを分割することは不可能かもしれない。フィードバック・ライン８２ ０を付加することによって、ｄｅｍｕｘ８０４はインテリジェンスを追加される ことができる。特に、フィードバック・ライン８２０によって、スライドショー の作者は、希望に応じてｄｅｍｕｘ８０４のある種の機能性を制御するためにフ ィードバック・ライン８２０がｄｅｍｕｘに送出するデータストリーム８２０中 にコマンドを挿入することによってｄｅｍｕｘをプログラムすることができる。 ｄｅｍｕｘ８０４はまた、イメージデータ８０６、ＭＩＤＩデータ８０８及び スピーチ／ボイスデータ８１０をさまざまな個別のデータ処理チェーン８３０、 ８４０、８５０に送出する。図８に示すように、各データ処理チェーン８３０、 ８４０、８５０は複数のインスタンス・チェーンを含むことがある（すなわち、 多重スレッドであり得る）。例えば、イメージデータ処理チェーン８３０及びボ イスデータ処理チェーン８４０は各々が、複数の「資産」インスタンスチェーン （イメージデータ８０６のＩa、Ｉbなど及びボイスデータのＶa、Ｖbなど）を含 むことがある。イメージ資産インスタンスの各々がイメージデータ８０６の資産 を制御し、ボイス資産インスタンスの各々がボイスデータ８１０の資産を制御す る。同様に、ＭＩＤＩチェーン８４０は複数の「クリップ」インスタンスチェー ン（Ｍa、Ｍbなど）を有し、そのインスタンスの各々がＭＩＤＩファイルからの クリップを制御する。スライドショーの作者はイメージ資産及びボイス資産並び にＭＩＤＩクリップの各々を定義する。例えば、作者は第１のイメージ資産（Ｉa ）をイメージ背景として定義し、第２のイメージ資産（Ｉb）を全体イメージの 前景要素として定義したりする。 データ処理チェーン８３０、８４０、８５０の各々の中の第１の要素はそれぞ れバッファ８３２、８４２、８５２であり、これらはソフトウエア・バッファで あるのが望ましい。（分かりやすいように、本記述の残りの部分はイメージチェ ーン８３０に限り、そうでない場合はその旨注記する。）資産バッファ８３２は 、イメージ情報ブロックを形成する事前決定された量のイメージ情報を記憶する 。（望ましくは）圧縮されたデータが記憶されると、イベント・テーブル８１６ は、デコーダインスタンス要素（「ＤＩ」）８３４を開始する開始コマンド８３ ３を送出して、資産バッファ８３２とＤＩ８３４間の接続を形成する。ＤＩ８３ ４は圧縮済みイメージデータを資産バッファ８３２から受信して、そのデータを 圧縮解除して、画素データを出力する。ＤＩ８３４がこの画素データを復号した ら、このデータは復号化済みイメージバッファ８３５中に記憶される及び／又は 処理される。ひとたび画素データがＤＩ８３４からイグジットすると、ＤＩ８３ ４は他の用途に使用可能となる。 本発明によるプレーヤ８００の重要な特徴は、進行的プレイ環境で動作する能 力である。これは、例えば、ＤＩ８３４を併行して復号化する、すなわち資産バ ッファ８３２がイメージデータで充填されている間でも復号化するように設定す ることによって遂行される。その上、本発明によるアートフォーマットは、最初 に低解像度バージョン（又はスプラッシュ）のビデオイメージーこの後にこのイ メージに関するさらなる詳細が続く−を送出することによって動作可能となる。 本書に述べる本発明による統合スライドショー・プレーヤ８００及び他のシステ ムによって、データストリーム８０２中にスプラッシュ情報を最初に送出して、 そのスプラッシュを表示し、後でデータストリーム８０２中のイメージに関する さらなる詳細を送出することが可能となる。この操作は、ボイスデータ８１０と ＭＩＤＩデータ８０８を含む他の情報を同時に送出しながら実行することができ る。その上、プレーヤ８００の進行的プレイ機能によって、観察者は、プレーヤ ８００がデータストリーム８０２中のデータのすべてを受信していない状態でも 、前送りや休止などを繰り返すことができる。このような場合、例えば、観察者 がスライドショー内の時間ｔ＝ｘで休止した場合、時間が経過するに連れてイメ ージはプレイされる。これは、プレーヤ８００が受信したデータ量８０２とは無 関係に、スライドショー内の任意の時点で発生し得る。 イメージプロセッサ・インスタンス（「ＩＭＩ」）８３６もまた、イベント・ テーブル８１６によって開始することができるが、これによって制御要素８１４ はＩＭＩコマンド８３７をＩＭＩ８３６に送出する。多重スレッド式ＩＭＩ８３ ６を用いて、画素データ位置の移動、画素データの傾斜付け、画素データのアス ペクト（例えば、色や寸法）の変更といった画素データのさまざまな変更を実行 する。各ＩＭＩは、表示予定のイメージ全体の個別の資産を処理する。スライド ショーをどのように作成するかによって、スライドショーの異なる時点で、それ に応じて変わったイメージ資産を表示することができる。その上、資産は少しず つ追加して、「モンタージュ」効果を生成できる。こうする代わりに、又はそれ に追加して、より多くのイメージデータが到達するに連れて、アニメートされた イメージの解像度を向上させることができる。このように、本発明に従って、ス ライドショーの作者は、さまざまなイメージ資産を表示するタイミングとその表 示の品質（すなわち解像度）を含み、アニメートされたイメージのあらゆる部分 の表示を完全に制御できる。 ＩＭＩ８３６が、その動作を完了すると、ＩＭＩ８３６は処理チェーンから除 去されて、他の装置が使用できるようにそのリソースを開放することができる。 ＩＭＩ８３６のすべて（すなわちＩａ、Ｉｂ、Ｉｃなど）から出力されたイメー ジデータはマスタープレイ手段８３８及び／又は別のバッファ（図示せず）に送 出され、これによってプレイされ合成されたイメージが表示される。ＭＩＤＩデ ータとボイスデータの場合、ＩＭＩ８４６とＩＭＩ８５６はそのデータをマスタ ー・プレーヤ８４８と８５８に出力するが、これらのプレーヤはコマンド８４９ と８５９を制御要素８１４から受信して、サウンドクリップとＭＩＤＩクリップ のプレイを制御できる。多重スレッド式環境とは、これらインスタンスと処理の 多くが同時に実行できることを意味する。同時に実行できる処理の数はシステム ・リソースによってだけ制限される。 重要なことは、ＤＩ８３４及び／又はＩＭＩ８３６がその動作を完了しても、 復号化済みイメージバッファ８３５内に同じイメージが留まることができること である。その結果、同じデータは新しいＤＩによって再処理され、別様にイメー ジ処理される。しかしながら、使用されていないＤＩ８３４はシステム・リソー スを開放するために除去される。 上述のように、コマンド８３３と８３７によって、さまざまなプロセッサ間に リンクが生成される。図示されていないが、資産バッファ８３２はどの１つ以上 の非一時的情報８３４にカップリングしてもよい。その結果、例えば、あるコマ ンドによって、Ｉａ資産チェーン内のＤＩ８３４とＩｂ資産チェーン内の資産バ ッファ８３２の間にリンクを生成できる。次に、ＩＭＩがＩｃ資産チェーン内の イメージデータに対して縮尺操作や他の操作を実行するように指示する別のコマ ンド８３７をＩｃ資産チェーン内のＩＭＩ８３６に送出する。マスタープレイ手 段８３８は、イメージの位置、すなわち、そのイメージが位置されるべきディス プレイ（図示せず）上の位置（ｘ、ｙ）を決定する。 イメージがひとたびディスプレイ上に表示されたら、それはそのまま置かれて コンピュータ集約的な処理リソースを取り去る。またこのイメージは、ＩＭＩ８ ３６を再初期化することにより、回転されたり、縮尺されたり、色変換されたり 等が行える。上述のように、その上、比較的低いレベルのアニメーション操作を 、より良い解像度で併行して改善されているデータで実行することができる。復 号化済みイメージバッファ８３５を維持できるので、イメージに関する追加情報 もまた得ることができる。 図９に、本発明に従ったスライドショー・スケジューラ９０２を示す。一時的 データ９０４と非一時的データ９０６はスケジューラ９０２に入力され、これに よってデータの双方のタイプをスケジュールして、これらをスライドショー・デ ータ９１０の統一ストリーム中にインタリーブする。図９の例では、スケジュー ラ９０２は６パケット分のビデオ・アニメーション・データ（Ｉ1〜Ｉ6）９１５ 〜９２０をデータストリーム９１０中に互いに隣接して置く。ビデオイメージパ ケットの前に、スケジューラ９０２は、第１のボイスデータ・パケット（Ｖ1） ９１２と第１のＭＩＤＩデータ・パケット（ＭＩＤＩ1）９１４をイメージパケ ット（Ｖ1）９１５〜９２０の前のデータストリーム９１０中に置いてある。 サウンド関連のパケットＶ1９１２とＭＩＤＩ1９１４はその各々がプレイ時間は Ｔ＝４であり、イメージパケットＩ1〜Ｉ5はプレイ時間がＴ＝５であり、一方Ｉ6 はプレイ時間がＴ＝６である。スケジュール方法を以下に詳述する。 しかしながら、Ｉ4とＩ5それぞれのダウンロード時間９２２と９２４はＴ＝５ というプレイ時間が完了した後のものである。これによって、スライドショーの ビデオ部分に不自然な区切りや停止がもたらされる。したがって、本発明は、こ のような停止が最小化される、少なくともかなり減少するメカニズムを提供する 。 図１０は、停止を最小化するためにスライドショ一内のデータ・パケットをス ケジューラ９０２がスケジュールする方法のフローチャートを示す。最初に、ス テップ１００２で、スライドショー内の各パケットに、例えば特定の時間での所 望の解像度によって異なるプレイ時間が割り当てられる。図９に関連して注記し たように、複数のパケットが、作者の希望によっては同じプレイ時間を持つこと がある。例えば、ビデオイメージが合計で１５のパケットから成る場合、最初の ５つのイメージパケットに特定のプレイ時間を割り当て、残りの１０のパケット に別のプレイ時間を割り当てることができる。その結果、最初の５つのパケット のプレイ時間で、そのイメージデータが表示され、残りの１０のパケットのプレ イ時間でそのイメージが完了される。次に、ステップ１００４で、割り当てられ たプレイ時間によってパケットがソートされ、これによって同じプレイ時間を持 つパケットを一緒にグループ化する。次に、ステップ１００６では、所与のプレ イ時間で、パケットは連続的にソートされる。例えば、すべて同じプレイ時間を 持つ１つのイメージ資産に所属する５つのイメージパケットは連続的に、すなわ ち１から５まで順にソートされる。 ステップ１００８では、プレーヤがプレイできることを保証するためのプレー ヤにダウンロードされる最小のデータ量を定義する事前バックログ値が計算され る。次にステップ１０１０では、ストリーム９１０中の各データ・パケットのダ ウンロード時間が計算される。次に、ステップ１０１２では、プレイ時間が完了 したあとでダウンロードされるあらゆるパケットを突き止めて、あるプレイ時間 と次のダウンロードとの間の最大のデルタを決定する。このようなデルタの１例 を図９に示すが、この図では、自身のプレイ時間が満了したかなり後でダウンロ ードが完了するデータ・パケットＩ5のプレイ時間とダウンロード時間の間での デルタ９２６が示されている。ステップ１０１４では逆の計算をして、所与のボ ーレートでの最大のデルタ中のバイト数を決定する。あるいは、データのビット 数または他の尺度を用いてもよい。ステップ１０１６では、計算されたバイト数 を「事前ロードバイト」値として割り当てるが、この値はプレーヤがそのデータ をプレイするために受信していなければならない最小バイト数を定義する。ボー レートがステップ１０１４で用いられたボーレートのままであれば、停止は発生 しない。 本発明による多くの実施形態を説明した。それでも、本発明の精神と範囲から 逸脱することなくさまざまな変更が可能であることが理解されよう。したがって 、本発明は、添付請求の範囲以外の図示の特定の実施形態によって制限されるも のではないことを理解すべきである。
───────────────────────────────────────────────────── 【要約の続き】 ーブされる。

Claims (1)

  1. 【特許請求の範囲】 1. 限定された帯域幅のチャネルを通じて作用するサウンド伝送システムであ って、 (a) コード化する一時的データのシーケンスを受ける第1の要素と、 (b) 一時的データのシーケンスの一部を検討し、一時的データのシーケンスを 分析して限定された帯域幅のチャネルを通じて供給することのできるデータの量 を決定するアナライザ要素と、 (c) 伝送することのできるデータの量を計算し、起こり得るシステムの機能停 止をもたらし得るデータの不足を決定する計算要素であって、機能停止を検知す ることができ、機能停止が検知されると、一時的データのシーケンスの区切り点 を見つけることができ、区切り点で一時的データのシーケンスを止めることので きるシステムルックアヘッドを備えた計算要素とを、 備えていることを特徴とするサウンド伝送システム。 2. 統合されたデータストリームの一時的データ及び非一時的データをスケジ ューリング及び処理する方法であって、 (a) 一時的データ及び非一時的データをインタリーブして、非一時的データの うちの少なくとも幾らかは時間的な圧縮されたフォーマットで、非一時的データ のうちの少なくとも幾らかは非時間的な圧縮されたフォーマットで、統合された データストリームを形成することと、 (b) （1） 非時間的な圧縮されたフォーマットの非一時的データを圧縮解除し 、圧縮解除された非一時的データのうちの少なくとも幾らかと圧縮されていない 非一時的データから出力画像を作成すること、及び （2） 同時に、時間的な圧縮されたフォーマットの一時的データを圧縮解 除しながら一時的データをプレイすること、 を含む統合されたデータストリームを処理することを、 含んでいることを特徴とする方法。 3. 同時に、一時的データを圧縮解除しながら一時的データをプレイする工程 が、 (a) 統合されたデータストリームから一時的データの少なくとも幾らかを入力 バッファに入力することと、 (b) 入力バッファの一時的データを圧縮解除して圧縮解除された一時的データ を得ることと、 (c) 圧縮解除された一時的データを出力バッファに入力することと、 (d) 統合されたデータストリームから追加の一時的データを入力バッファに入 力することと、 (e) 追加の一時的データを復号しながら出力バッファに保持された圧縮解除さ れた一時的データをプレイすることを、 含んでいることを特徴とする請求項2記載の方法。 4. 圧縮解除された一時的データをプレイする工程が、 (a) 出力バッファに保持された一時的データが事前開始バックログとして知ら れる所定量のデータと同じか若しくはそれよりも大きいかどうか、又は統合され たデータストリームに含まれる一時的データの終わりを示すエンドオブファイル ("EOF")フラッグが出力バッファに保持されているかどうかを決定することと、 (b) 事前開始バックログ又はEOF指示が出力バッファにある場合には、出力バ ッファに含まれる一時的データの区切り点を探すことと、 (c) 区切り点が見つかった場合には、区切り点に達するまで、出力バッファに ある一時的データをプレイすることと、 (d) 区切り点が見つからない場合には、出力バッファにある一時的データの量 が、区切り点が見つからない場合にプレイのために出力バッファにあることが必 要な一時的データの最小量を表わす最大バックログよりも大きいかどうかを決定 することと、 (e) 出力バッファにある一時的データの量が最大バックログよりも大きい場合 には、出力バッファにある一時的データをプレイすることを、 含んでいることを特徴とする請求項3記載の方法。 5. 圧縮解除された一時的データをプレイする工程が、更に、 (a) 一時的データのプレイの間に、機能停止が生じたかどうかを検知すること と、 (b) 機能停止状態が生じた場合には、最大バックログを、区切り点が見つから ない場合にプレイのために出力バッファにあることが必要な一時的データの量を 増加させる再開始バックログで置き換えることを、含んでいることを特徴とする 請求項4記載の方法。 6. 更に、 (a) 統合されたデータストリームの種々の時点において一時的データに複数の マーカを設定することと、 (b) 複数のマーカ各々が、プレーヤに受容された時を決定するため、統合され たデータストリームをチェックすることと、 (c) 一時的データのボーレートを決定するため、選択したマーカの間の実際の プレイ時間を、選択したマーカの受容の間の時間で割ることを、 含んでいることを特徴とする請求項2記載の方法。 7. 更に、 (a) 最大バックログ、再開始バックログ、及び事前開始バックログを設定する ことと、 (b) 設定した最大バックログ、設定した再開始バックログ、及び設定した事前 開始バックログを、スタートアップヘッダに挿入することと、 (c) 入力ヘッダを、統合されたデータストリームの始めに配置することを、 含んでいることを特徴とする請求項5記載の方法。 8. 一時的データの少なくとも一部がMIDIファイルであり、MIDIファイルは複 数のトラックを含んでおり、各トラックは複数のメッセージを有し、各メッセー ジは時間データを含んでいる請求項2記載の方法であって、各々が特定の時間を 表わす複数のMIDIファイル部分を形成するため、時間データを用いてMIDIファイ ルをソートし、メッセージをまとめることを更に含んでいることを特徴とする方 法。 9. 更に、 (a) 各MIDIファイル部分を、統合されたデータストリームの各々ダウンロード 時間及びプレイ時間を有するそれぞれのオーディオ・セグメントに配置すること と、 (b) 少なくとも１つの非一時的データセグメントを、第1のオーディオ・セグ メ ントと第2のオーディオ・セグメントとの間に配置することと、 (c) 第1のオーディオ・セグメントのプレイ時間の終わり及び第2のオーディオ ・セグメントのダウンロード時間の終わりの後にバックログデータギャップを設 置することと、 (d) バックログデータギャップの後に少なくとも1つの非一時的データセグメ ントを設置することを、含んでいることを特徴とする請求項8記載の方法。 10．更に、 (a) オーディオ・セグメントを、オーディオ・セグメントの区切り点で分割し て、第1の分割オーディオ・セグメントと第2の分割オーディオ・セグメントを形 成することと、 (b) 第1の分割オーディオ・セグメントと第2の分割オーディオ・セグメントと の間に少なくとも1つの非一時的セグメントを設置することを、含んでいること を特徴とする請求項9記載の方法。 11．インタリーブする工程が、 (a) 一時的データを複数のオーディオ・セグメントに分割することと、 (b) 選択したオーディオ・セグメントと次のオーディオ・セグメントのダウン ロード時間とプレイ時間をプロットして、次のオーディオ・セグメントの最も遅 い可能な開始時間("st")を決定することと、 (c) 全てのオーディオ・セグメントを統合されたデータストリームの最も遅い 可能な位置に配置して、一時的データを含む初期マップを形成することと、 (d) 非一時的データの少なくとも1つのセグメントを、初期マップにおいて隣 接するオーディオ・セグメントの間に存在し、非一時的データのセグメントを収 容するのに十分に大きいあらゆるギャップに入れることを、含んでいることを特 徴とする請求項2記載の方法。 12．インタリーブする工程が、更に、 (a) 何れかの隣接するオーディオ・セグメントの間、又は何れかのオーディオ ・セグメントと何れかの非一時的セグメントとの間、又は何れかの隣接する非一 時的セグメントの間に、何等かの重なりが存在するかどうかを検知することと、 (b) 何等かの斯かる重なりが検知された場合には、少なくとも1つのオーディ オ・セグメントを移動させて重なりを取り除くことを、 含んでいることを特徴とする請求項11記載の方法。 13．インタリーブする工程が、更に、 (a) あらゆる重なりを取り除いた後、あらゆる隣接するオーディオ・セグメン トを、隣接するオーディオ・セグメントの間に何等のギャップなしに、互いに隣 接して配置することができるかどうかを決定することと、 (b) 統合されたデータストリームに配置されたヘッダにスペースを保存するた め、斯かるギャップのないオーディオ・セグメントを再配置してギャップを取り 除くことを、含んでいることを特徴とする請求項12記載の方法。 14．インタリーブする工程が、更に、 隣接するオーディオ・セグメントと非一時的セグメントとの間のあらゆるギャ ップを取り除くことを含んでいることを特徴とする請求項13記載の方法。 15．非一時的データのうちの少なくとも幾らかは画像データである請求項2記 載の方法であって、更に、 (a) 統合されたデータストリームにおける画像データの低解像度バージョンを 、画像データの追加の解像度を送る前に、送ることと、 (b) 低解像度バージョンを表示することと、 (c) 低解像度バージョンを表示した後、画像データの追加の解像度を送ること を、含んでいることを特徴とする方法。 16．更に、 画像データの低解像度を送り、表示しながら、一時的データを送ることを含ん でいることを特徴とする請求項15の方法。 17．一時的データがビデオデータを含み、非一時的データを圧縮解除して出力 画像を作成する工程が、 (a) ビデオデータを、コマンドのセット及び圧縮されたデータのセットを含む 複数のデータブロックに分けることと、 (b) コマンドのセットから、各々時間及びその時間に生じるイベントのリスト を有する複数のエントリを有するイベントテーブルを作成することと、 (c) 圧縮されたデータのセットからの圧縮された情報のブロックを記憶するこ とと、 (d) イベントテーブルからのコマンドに応答して圧縮された情報のブロックを 圧縮解除し、それにより、出力ピクセルデータを得ることと、 (e) 出力ピクセルデータを復号することを、 含んでいることを特徴とする請求項2記載の方法。 18．非一時的データを圧縮解除して出力画像を作成する工程が、更に、 イベントテーブルからのコマンドに応答して、出力ピクセルデータを変えるこ とを含んでいることを特徴とする請求項17記載の方法。 19．統合されたデータストリームの非一時的データ及び一時的データをスケジ ューリング及び処理をするシステムであって、 (a) 非一時的データ及び一時的データをインタリーブして、非一時的データの うちの少なくとも幾らかは画像圧縮フォーマットで、一時的データのうちの少な くとも幾らかは時間的な圧縮されたフォーマットで、統合されたデータストリー ムを形成するようになっているスケジューラと、 (b) 非時間的な圧縮されたフォーマットの非一時的データを圧縮解除し、圧縮 解除された非一時的データのうちの少なくとも幾らかと圧縮されていない非一時 的データから出力画像を作成し、一時的データがあれば、同時に、時間的な圧縮 されたフォーマットの一時的データを圧縮解除しながら一時的データをプレイす るプロセッサとを、含んでいることを特徴とするシステム。 20．プロセッサが、 (a) 統合されたデータストリームから一時的データの少なくとも幾らかを受け る入カバッファと、 (b) 入力バッファの一時的データを圧縮解除して圧縮解除された一時的データ を得る要素と、 (c) 圧縮解除された一時的データを受ける出力バッファと、 (d) 統合されたデータストリームから追加の一時的データを受ける入力バッフ ァと、 (e) 追加の一時的データを復号しながら出力バッファに保持された圧縮解除さ れた一時的データをプレイするプレーヤとを、 含んでいることを特徴とする請求項19記載のシステム。 21．プロセッサが、 (a) 出力バッファに保持された一時的データが事前開始バックログとして知ら れる所定量のデータと同じか若しくはそれよりも大きいかどうか、又は統合され たデータストリームに含まれる一時的データの終わりを示すエンドオブファイル ("EOF")フラッグが出力バッファに保持されているかどうかを決定し、 (b) 事前開始バックログ又はEOF指示が出力バッファにある場合には、出力バ ッファに含まれる一時的データの区切り点を探し、 (c) 区切り点が見つかった場合には、区切り点に達するまで、出力バッファに ある一時的データをプレイし、 (d) 区切り点が見つからない場合には、出力バッファにある一時的データの量 が、区切り点が見つからない場合にプレイのために出力バッファにあることが必 要な一時的データの最小量を表わす最大バックログよりも大きいかどうかを決定 し、 (e) 出力バッファにある一時的データの量が最大バックログよりも大きい場合 には、出力バッファにある一時的データをプレイする、 ようになっていることを特徴とする請求項20記載のシステム。 22．プロセッサが、更に、 (a) 一時的データのプレイの間に、機能停止が生じたかどうかを検知し、 (b) 機能停止状態が生じた場合には、最大バックログを、区切り点が見つから ない場合にプレイのために出力バッファにあることが必要な一時的データの量を 増加させる再開始バックログで置き換える、 ようになっていることを特徴とする請求項21記載のシステム。 23．スケジューラが、 (a) 統合されたデータストリームの種々の時点において一時的データに複数の マーカを設定し、 (b) 複数のマーカ各々が、プレーヤに受容された時を決定するため、統合され たデータストリームをチェックし、 (c) 一時的データのボーレートを決定するため、選択したマーカの間の実際の プレイ時間を、選択したマーカの受容の間の時間で割る、 ようになっていることを特徴とする請求項19記載のシステム。 24．スケジューラが、更に、 (a) 最大バックログ、再開始バックログ、及び事前開始バックログを設定し、 (b) 設定した最大バックログ、設定した再開始バックログ、及び設定した事前 開始バックログを、スタートアップヘッダに挿入し、 (c) 入力ヘッダを、統合されたデータストリームの始めに配置する、 ようになっていることを特徴とする請求項22記載のシステム。 25．一時的データの少なくとも一部がMIDIファイルであり、MIDIファイルは複 数のトラックを含んでおり、各トラックは複数のメッセージを有し、各メッセー ジは時間データを含んでいる請求項19記載のシステムであって、各々が特定の時 間を表わす複数のMIDIファイル部分を形成するため、時間データを用いてMIDIフ ァイルをソートし、メッセージをまとめるようになっていることを特徴とするシ ステム。 26．スケジューラが、更に、 (a) 各MIDIファイル部分を、統合されたデータストリームの各々ダウンロード 時間及びプレイ時間を有するそれぞれのオーディオ・セグメントに配置し、 (b) 少なくとも1つの画像データセグメントを、第1のオーディオ・セグメント と第2のオーディオ・セグメントとの間に配置し、 (c) 第1のオーディオ・セグメントのプレイ時間の終わり及び第2のオーディオ ・セグメントのダウンロード時間の終わりの後にバックログデータギャップを設 置し、 (d) バックログデータギャップの後に少なくとも1つの画像データセグメント を設置する、ようになっていることを特徴とする請求項25記載のシステム。 26．スケジューラが、更に、 (a) オーディオ・セグメントを、オーディオ・セグメントの区切り点で分割し て、第1の分割オーディオ・セグメントと第2の分割オーディオ・セグメントを形 成し、 (b) 第1の分割オーディオ・セグメントと第2の分割オーディオ・セグメントと の間に少なくとも1つの非一時的セグメントを設置する、 ようになっていることを特徴とする請求項26記載のシステム。 27．スケジューラが、 (a) 一時的データを複数のオーディオ・セグメントに分割し、 (b) 選択したオーディオ・セグメントと次のオーディオ・セグメントのダウン ロード時間とプレイ時間をプロットして、次のオーディオ・セグメントの最も遅 い可能な開始時間("st")を決定し、 (c) 全てのオーディオ・セグメントを統合されたデータストリームの最も遅い 可能な位置に配置して、一時的データを含む初期マップを形成し、 (d) 非一時的データの少なくとも1つのセグメントを、初期マップにおいて隣 接するオーディオ・セグメントの間に存在し、非一時的データのセグメントを収 容するのに十分に大きいあらゆるギャップに入れる、 ようになっていることを特徴とする請求項19記載のシステム。 28．スケジューラが、更に、 (a) 何れかの隣接するオーディオ・セグメントの間、又は何れかのオーディオ ・セグメントと何れかの非一時的セグメントとの間、又は何れかの隣接する非一 時的セグメントの間に、何等かの重なりが存在するかどうかを検知し、 (b) 何等かの斯かる重なりが検知された場合には、少なくとも1つのオーディ オ・セグメントを移動させて重なりを取り除く、 ようになっていることを特徴とする請求項27記載のシステム。 29．スケジューラが、更に、 (a) あらゆる重なりを取り除いた後、あらゆる隣接するオーディオ・セグメン トを、隣接するオーディオ・セグメントの間に何等のギャップなしに、互いに隣 接して配置することができるかどうかを決定し、 (b) 統合されたデータストリームに配置されたヘッダにスペースを保存するた め、斯かるギャップのないオーディオ・セグメントを再配置してギャップを取り 除く、 ようになっていることを特徴とする請求項28記載のシステム。 30．スケジューラが、更に、 隣接するオーディオ・セグメントと非一時的セグメントとの間のあらゆるギャ ップを取り除くようになっていることを特徴とする請求項29記載の方法。 31．非一時的データが画像データを含む請求項19記載のシステムであって、更 に、 (a) 統合されたデータストリームにおける画像データの低解像度バージョンを 、画像データの追加の解像度を送る前に、送ることができるようにする伝送要素 と、 (b) 低解像度バージョンを表示するディスプレイと、 (c) 低解像度バージョンを表示した後、画像データの追加の解像度を送る伝送 要素とを、 含んでいることを特徴とする方法。 32．伝送要素は、画像データの低解像度が送られ、表示されている間に、一時 的データを送ることを含んでいることを特徴とする請求項31のシステム。 33．一時的データがビデオデータを含み、プロセッサが、 (a) ビデオデータを、コマンドのセット及び圧縮されたデータのセットを含む 複数のデータブロックに分け、 (b) コマンドのセットから、各々時間及びその時間に生じるイベントのリスト を有する複数のエントリを有するイベントテーブルを作成し、 (c) 圧縮されたデータのセットからの圧縮された情報のブロックを記憶し、 (d) イベントテーブルからのコマンドに応答して圧縮された情報のブロックを 圧縮解除し、それにより、出力ピクセルデータを得、 (e) 出力ピクセルデータを復号する、 ようになっていることを特徴とする請求項19記載のシステム。 34．プロセッサが、更に、 イベントテーブルからのコマンドに応答して、出力ピクセルデータを変えるよ うになっていることを特徴とする請求項33記載のシステム。 35．一時的データ及び非一時的データを含む統合されたデータストリームの一 時的データのボーレートを決定する方法であって、 (a) 一時的データ及び非一時的データをインタリーブして、統合されたデータ ストリームを形成することと、 (a) 統合されたデータストリームの種々の時点において一時的データに複数の マーカを設定することと、 (b) 複数のマーカ各々が、プレーヤに受容された時を決定するため、統合され たデータストリームをチェックすることと、 (c) 一時的データのボーレートを決定するため、選択したマーカの間の実際の プレイ時間を、選択したマーカの受容の間の時間で割ることを、 含んでいることを特徴とする方法。 36．コンピュータ動画スライドショーにおいて表示された画像の機能停止を最 小限にする方法であって、 (a) 一時的データ及び非一時的データをインタリーブして、複数の画像パケッ ト及び非一時的データパケットを含む統合されたデータストリームにおいて具現 化されたをコンピュータスライドショーを作成することと、 (b) 各々の画像パケットにプレイ時間を割り当てることと、 (c) 画像パケットをプレイ時間によってソートすることと、 (c) 同じプレイ時間を割り当てられた画像パケットを順次ソートすることと、 (d) 各画像パケットに関してダウンロード時間を計算することと、 (e) 画像データのプレイ時間の後で最も遅い時間に終了するダウンロード時間 を有する最終画像パケットを設置することと、 (f) 最終画像パケットのダウンロード時間とプレイ時間との間のデータ量を計 算することと、 (g) 少なくともデータ量が受容された時にのみ、統合されたデータストリーム をプレイすることを、含んでいることを特徴とする方法。 37．統合されたデータストリームにおいて画像データとサウンドデータを含む コンピュータスライドショーをスケジューリング及び処理する方法であって、 (a) 画像データ、サウンドデータ、及びコマンドデータをインタリーブして統 合されたデータストリームにおいて具現化されたスライドショーを形成すること と、 (b) （1） 画像データ、サウンドデータ、及びコマンドデータを分けることと 、 （2） コマンドデータから複数の時間−イベントコマンドであって、各イ ベントがスライドショーに関する時間及びイベント情報を含んでいる コマンドを生成することと、 （3） 画像データを、各々少なくとも1つの画像データパケットを含む複 数の画像要素に分けることと、 （4） サウンドデータを、各々少なくとも1つのサウンドデータパケット を含む複数のサウンド要素に分けることと、 （5） 対応する時間−イベントコマンドに応答して、各々の画像データパ ケットを復号することと、 （6） 対応する時間−イベントコマンドに応答して、各々のサウンドデー タパケットを復号することを、含んでいる統合されたデータストリー ムを処理することを、含んでいることを特徴とする方法。 38．処理工程が、更に、 (a) 対応する時間−イベントコマンドがあれば、それに応答して各々の画像デ ータパケットを画像処理することと、 (b) 対応する時間−イベントコマンドがあれば、それに応答して各々のサウン ドデータパケットをサウンド処理することを、 含んでいることを特徴とする請求項38記載の方法。 39．処理工程が、更に、 (a) 復号された画像パケットのうちの少なくとも1つを記憶して、記憶された 画像パケットが実質的に何時でも処理することができるようにすることと、 (b) 復号されたサウンドパケットのうちの少なくとも1つを記憶して、記憶さ れたサウンドパケットが実質的に何時でも処理することができるようにすること を、 含んでいることを特徴とする請求項38記載の方法。 40．更に、 処理工程の工程(1)から(6)を同時に行うことを含んでいることを特徴とする請 求項38記載の方法。
JP52471598A 1996-11-25 1997-11-14 イメージデータとサウンドデータをスケジュールして処理するシステムと方法 Pending JP2001507471A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/755,586 US5951646A (en) 1996-11-25 1996-11-25 System and method for scheduling and processing image and sound data
US08/755,586 1996-11-25
PCT/US1997/021007 WO1998024032A1 (en) 1996-11-25 1997-11-14 System and method for scheduling and processing image and sound data

Publications (1)

Publication Number Publication Date
JP2001507471A true JP2001507471A (ja) 2001-06-05

Family

ID=25039772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52471598A Pending JP2001507471A (ja) 1996-11-25 1997-11-14 イメージデータとサウンドデータをスケジュールして処理するシステムと方法

Country Status (7)

Country Link
US (1) US5951646A (ja)
EP (1) EP0938709A4 (ja)
JP (1) JP2001507471A (ja)
AU (1) AU733290B2 (ja)
BR (1) BR9713427A (ja)
CA (1) CA2272600C (ja)
WO (1) WO1998024032A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290337B2 (en) 2004-06-01 2012-10-16 Panasonic Corporation Reproduction apparatus, reproduction processing circuit, reproduction method, reproduction program, and computer-readable record medium with reproduction program

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793980A (en) * 1994-11-30 1998-08-11 Realnetworks, Inc. Audio-on-demand communication system
US7349976B1 (en) 1994-11-30 2008-03-25 Realnetworks, Inc. Audio-on-demand communication system
JP3000913B2 (ja) * 1996-02-02 2000-01-17 富士ゼロックス株式会社 デ−タ伝送装置および方法
CA2284797C (en) * 1997-03-31 2004-12-28 Broadband Associates Method and system for providing a presentation on a network
US7490169B1 (en) 1997-03-31 2009-02-10 West Corporation Providing a presentation on a network having a plurality of synchronized media types
US7412533B1 (en) 1997-03-31 2008-08-12 West Corporation Providing a presentation on a network having a plurality of synchronized media types
US7143177B1 (en) 1997-03-31 2006-11-28 West Corporation Providing a presentation on a network having a plurality of synchronized media types
US6212551B1 (en) * 1997-09-15 2001-04-03 Advanced Micro Devices, Inc. Digitized audio data attachment to text message for electronic mail
GB2348069B (en) * 1998-12-21 2003-06-11 Ibm Representation of a slide-show as video
EP1696417B1 (en) * 1999-02-16 2017-07-26 Intel Corporation Audio synthesis using digital sampling of coded waveforms
KR100424231B1 (ko) * 1999-03-08 2004-03-25 파이쓰, 인크. 데이터 재생 장치, 데이터 재생 방법 및 정보 단말기
US6263371B1 (en) 1999-06-10 2001-07-17 Cacheflow, Inc. Method and apparatus for seaming of streaming content
KR20000000266A (ko) * 1999-10-08 2000-01-15 김종명 오디오 데이터를 포함하는 그래픽 파일을 생성시키는 장치
US6868419B1 (en) * 1999-10-28 2005-03-15 Lightwaves Systems Inc. Method of transmitting data including a structured linear database
US9900734B2 (en) 1999-10-28 2018-02-20 Lightwaves Systems, Inc. Method for routing data packets using an IP address based on geo position
US8085813B2 (en) 1999-10-28 2011-12-27 Lightwaves Systems, Inc. Method for routing data packets using an IP address based on geo position
US6976034B1 (en) * 1999-10-28 2005-12-13 Lightwaves Systems, Inc. Method of transmitting data including a structured linear database
US6988144B1 (en) * 1999-11-18 2006-01-17 International Business Machines Corporation Packet scheduling system and method for multimedia data
US6832245B1 (en) 1999-12-01 2004-12-14 At&T Corp. System and method for analyzing communications of user messages to rank users and contacts based on message content
US6738972B1 (en) 1999-12-30 2004-05-18 Opentv, Inc. Method for flow scheduling
JP4467220B2 (ja) 2000-03-17 2010-05-26 エイオーエル・エルエルシー 音声インスタント・メッセージング
US20130067340A1 (en) 2000-05-04 2013-03-14 Facebook, Inc. Intelligently enabled menu choices based on online presence state in address book
US9043418B2 (en) 2000-05-04 2015-05-26 Facebook, Inc. Systems and methods for instant messaging persons referenced in an electronic message
US7979802B1 (en) 2000-05-04 2011-07-12 Aol Inc. Providing supplemental contact information corresponding to a referenced individual
US8122363B1 (en) 2000-05-04 2012-02-21 Aol Inc. Presence status indicator
US8132110B1 (en) 2000-05-04 2012-03-06 Aol Inc. Intelligently enabled menu choices based on online presence state in address book
US9100221B2 (en) 2000-05-04 2015-08-04 Facebook, Inc. Systems for messaging senders and recipients of an electronic message
US6912564B1 (en) 2000-05-04 2005-06-28 America Online, Inc. System for instant messaging the sender and recipients of an e-mail message
US7546337B1 (en) 2000-05-18 2009-06-09 Aol Llc, A Delaware Limited Liability Company Transferring files
US8082355B1 (en) 2000-05-26 2011-12-20 Thomson Licensing Internet multimedia advertisement insertion architecture
US7366779B1 (en) * 2000-06-19 2008-04-29 Aol Llc, A Delaware Limited Liability Company Direct file transfer between subscribers of a communications system
US8001190B2 (en) 2001-06-25 2011-08-16 Aol Inc. Email integrated instant messaging
ATE502477T1 (de) 2000-07-25 2011-04-15 America Online Inc Videonachrichtenübermittlung
US7966187B1 (en) 2001-02-15 2011-06-21 West Corporation Script compliance and quality assurance using speech recognition
US8180643B1 (en) 2001-02-15 2012-05-15 West Corporation Script compliance using speech recognition and compilation and transmission of voice and text records to clients
US7664641B1 (en) 2001-02-15 2010-02-16 West Corporation Script compliance and quality assurance based on speech recognition and duration of interaction
US7191133B1 (en) 2001-02-15 2007-03-13 West Corporation Script compliance using speech recognition
US7739115B1 (en) 2001-02-15 2010-06-15 West Corporation Script compliance and agent feedback
WO2002075640A2 (en) * 2001-03-19 2002-09-26 Soundpix, Inc. System and method of storing data in jpeg files
US7545868B2 (en) * 2001-03-20 2009-06-09 Lightwaves Systems, Inc. High bandwidth data transport system
US7983349B2 (en) * 2001-03-20 2011-07-19 Lightwaves Systems, Inc. High bandwidth data transport system
US8766773B2 (en) * 2001-03-20 2014-07-01 Lightwaves Systems, Inc. Ultra wideband radio frequency identification system, method, and apparatus
US6990497B2 (en) * 2001-06-26 2006-01-24 Microsoft Corporation Dynamic streaming media management
US6986018B2 (en) * 2001-06-26 2006-01-10 Microsoft Corporation Method and apparatus for selecting cache and proxy policy
US7076478B2 (en) * 2001-06-26 2006-07-11 Microsoft Corporation Wrapper playlists on streaming media services
US7721280B1 (en) 2001-07-16 2010-05-18 West Corporation Automated file delivery systems and methods
US7774711B2 (en) 2001-09-28 2010-08-10 Aol Inc. Automatic categorization of entries in a contact list
US7716287B2 (en) 2004-03-05 2010-05-11 Aol Inc. Organizing entries in participant lists based on communications strengths
US7512652B1 (en) 2001-09-28 2009-03-31 Aol Llc, A Delaware Limited Liability Company Passive personalization of buddy lists
US7103157B2 (en) * 2002-09-17 2006-09-05 International Business Machines Corporation Audio quality when streaming audio to non-streaming telephony devices
US9742615B1 (en) 2002-12-31 2017-08-22 Aol Inc. Popularity index
US7263614B2 (en) 2002-12-31 2007-08-28 Aol Llc Implicit access for communications pathway
US7945674B2 (en) 2003-04-02 2011-05-17 Aol Inc. Degrees of separation for handling communications
US20040223606A1 (en) * 2003-03-03 2004-11-11 Noel Enete Host based video clips and transport mechanism
US7613776B1 (en) 2003-03-26 2009-11-03 Aol Llc Identifying and using identities deemed to be known to a user
US7961705B2 (en) * 2003-04-30 2011-06-14 Lightwaves Systems, Inc. High bandwidth data transport system
US6930759B2 (en) * 2003-09-23 2005-08-16 Eastman Kodak Company Method and apparatus for exposing a latent watermark on film
JP2005134975A (ja) * 2003-10-28 2005-05-26 Sony Corp 情報配信方法、情報配信システムおよび情報配信装置
JP3807400B2 (ja) * 2003-10-30 2006-08-09 ソニー株式会社 記録制御装置および記録制御方法
EP1544845A1 (en) * 2003-12-18 2005-06-22 Telefonaktiebolaget LM Ericsson (publ) Encoding and Decoding of Multimedia Information in Midi Format
US8595146B1 (en) 2004-03-15 2013-11-26 Aol Inc. Social networking permissions
US7505051B2 (en) * 2004-12-16 2009-03-17 Corel Tw Corp. Method for generating a slide show of an image
US7236226B2 (en) * 2005-01-12 2007-06-26 Ulead Systems, Inc. Method for generating a slide show with audio analysis
JP4658860B2 (ja) * 2006-05-30 2011-03-23 Ｏｋｉセミコンダクタ株式会社 画像データ転送回路
US7669132B2 (en) * 2006-10-30 2010-02-23 Hewlett-Packard Development Company, L.P. Matching a slideshow to an audio track
JP4183003B2 (ja) * 2006-11-09 2008-11-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US7944978B2 (en) * 2007-10-29 2011-05-17 Lightwaves Systems, Inc. High bandwidth data transport system
US20140229576A1 (en) * 2013-02-08 2014-08-14 Alpine Audio Now, LLC System and method for buffering streaming media utilizing double buffers
US9286383B1 (en) 2014-08-28 2016-03-15 Sonic Bloom, LLC System and method for synchronization of data and audio
US11130066B1 (en) 2015-08-28 2021-09-28 Sonic Bloom, LLC System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates
JP7195344B2 (ja) * 2018-07-27 2022-12-23 ドルビー ラボラトリーズ ライセンシング コーポレイション パーベイシブ・リステニングのための強制ギャップ挿入

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623690A (en) * 1992-06-03 1997-04-22 Digital Equipment Corporation Audio/video storage and retrieval for multimedia workstations by interleaving audio and video data in data file
US5440677A (en) * 1992-07-01 1995-08-08 Time Warner Interactive Group Inc. Method and apparatus for processing audio and graphic images to create an interleaved file suitable for use as a CD-ROM product
US5557749A (en) * 1992-10-15 1996-09-17 Intel Corporation System for automatically compressing and decompressing data for sender and receiver processes upon determination of a common compression/decompression method understood by both sender and receiver processes
US5631693A (en) * 1993-10-25 1997-05-20 Antec Corporation Method and apparatus for providing on demand services in a subscriber system
CA2140850C (en) * 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
US5642171A (en) * 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
US5581706A (en) * 1994-06-30 1996-12-03 Rca Thomson Licensing Corporation Method forming an audio/video interactive data signal
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
US5594660A (en) * 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5619733A (en) * 1994-11-10 1997-04-08 International Business Machines Corporation Method and apparatus for synchronizing streaming and non-streaming multimedia devices by controlling the play speed of the non-streaming device in response to a synchronization signal
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290337B2 (en) 2004-06-01 2012-10-16 Panasonic Corporation Reproduction apparatus, reproduction processing circuit, reproduction method, reproduction program, and computer-readable record medium with reproduction program

Also Published As

Publication number Publication date
CA2272600A1 (en) 1998-06-04
AU5261098A (en) 1998-06-22
BR9713427A (pt) 2000-01-25
AU733290B2 (en) 2001-05-10
CA2272600C (en) 2003-03-25
EP0938709A1 (en) 1999-09-01
US5951646A (en) 1999-09-14
WO1998024032A1 (en) 1998-06-04
EP0938709A4 (en) 2006-06-28

Similar Documents

Publication Publication Date Title
JP2001507471A (ja) イメージデータとサウンドデータをスケジュールして処理するシステムと方法
US5943648A (en) Speech signal distribution system providing supplemental parameter associated data
US7130913B2 (en) System and methods for accelerated data storage and retrieval
KR100825898B1 (ko) 소형매체형식 파일들을 동기식 멀티미디어통합언어로변환하기 위한 시스템 및 방법
JP3739609B2 (ja) マルチメディアの再生システムにおけるディジタルのビデオおよびオーディオの再生の適応型同期化のための方法および装置
RU2189119C2 (ru) Способ передачи медиа-файлов по сети связи
US6349286B2 (en) System and method for automatic synchronization for multimedia presentations
US7734800B2 (en) Multimedia timeline modification in networked client/server systems
US8675740B2 (en) Hypothetical reference decoder
US20070094029A1 (en) Speech synthesis method and information providing apparatus
US12010401B2 (en) Systems and methods for production of fragmented video content
JPH10276227A (ja) データ・ストリームの処理方法及びデータ処理システム
US20070239780A1 (en) Simultaneous capture and analysis of media content
US7458090B2 (en) Method and apparatus of displaying bit stream data, method and apparatus for generating bit stream data, and storage medium
US8185815B1 (en) Live preview
CN111866542B (zh) 音频信号处理方法、多媒体信息处理方法、装置及电子设备
MXPA99004778A (es) Sistema y metodo para programar y procesar datos de imagenes y sonido
US20030135375A1 (en) Encoding speech segments for economical transmission and automatic playing at remote computers
JP2005159878A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
CN1378360A (zh) 数据流的同步讯息触发及插入同步讯息的方法
JP2003153260A (ja) 動画像ファイル生成装置